Die Stadtmauerreste, die an einigen Stellen in Schermbeck gut erhalten sind und bewusst wieder freigelegt wurden, erinnern an die Zeit der klevischen Grafen. Schermbeck war ein Außen- und Grenzposten der Grafen von Kleve. Die Burg als Verwaltungssitz war auch Machtdemonstration und der Beginn einer blühenden Zeit, in der Schermbeck als Handelsplatz und Sitz einer Gerichtsbarkeit Bedeutung bekam. Also musste das Städtchen sich selbst schützen und verteidigen können. Eine Stadtmauer mit bewachten Toren gab dem neuen Amt Schermbeck Sicherheit.