Als in 1423 de zittende bisschop overlijdt, wordt Rudolf van Diepholt zijn opvolger. De paus is daar niet blij mee en benoemt in 1425 Zweder van Culemborg, broer van heer Johan III van Culemborg. Zweder probeert met geweld de bisschopszetel in te nemen, maar dat mislukt.
De aanhangers van Rudolf en Zweder voeren een kleine oorlog uit. Winter 1428 dringt een trouwe medestander van Rudolf, Jan van Buren, Culemborg binnen met 1500 man. Jan zoekt Zweder, die op het kasteel van zijn broer zou verblijven. De Culemborgers slaan de troepen de stad uit. Jan wordt gearresteerd en afgevoerd naar de Oude Vismarkt. Daar eindigt hij op een visbank, aan moten gehakt door woedende visvrouwen.
Veel heeft Zweder niet aan deze overwinning. Nog jaren probeert hij Rudolf te verdrijven, zonder succes.
