Oudewater maakte deel uit van de Oude Hollandse Waterlinie. Vooral in de jaren na 1672 en na 1740 werden de vestingwerken van Oudewater gemoderniseerd en uitgebreid. Met de aanleg van de Nieuwe Hollandse Waterlinie was er voor Oudewater geen noodzaak meer om de vestingwerken te behouden. De Staat verkocht in 1821 de vier poorten aan de gemeenten en de vesting mocht worden ontmanteld. In 1826 kocht het gemeentebestuur ook de wallen en de verdedigingswerken buiten de poorten. Op de bastions aan de oostzijde van de stad werden in 1829 twee begraafplaatsen aangelegd. Het zou nog even duren voordat de vestingwerken echt verdwenen.
In 1855 werd besloten om de IJsselpoort en de Broeckerpoort te slopen. De IJsselpoort gaf toegang tot de IJsseldijk naar Haastrecht, Gouda, Willeskop en Montfoort. De dijk was tot in de twintigste eeuw een smalle en modderige weg. De Broeckerpoort gaf toegang tot de Hekendorperweg, een belangrijke doorgaande weg. Een jaar later werden twee walbruggen over de rivier afgebroken en daarna waren de Waardpoort en de Linschoterpoort aan de beurt.
Poorten en bruggen waren toen verdwenen, maar de aarden wallen die de stad omringden, verdwenen geleidelijker. Ze werden afgegraven in het kader van een werkgelegenheidsproject voor inwoners van Oudewater. Grachten werden gedempt als daar een stadsuitbreiding was gepland: aan de oostzijde van IJsselveere gebeurde dat tussen 1860 en 1870. De grachten ten westen van IJsselveere zijn nog grotendeels intact. De gracht langs de Biezenwal werd pas rond 1950 gedempt voor de bouw van woningen. Langs de Lange Burchwal ligt nog steeds een gracht, lokaal bekend als de 'grote gracht'.