De Lievevrouwe- of Gevangenpoort ontleent zijn naam aan de nabijgelegen Lievevrouwekapel en, later, aan de bestemming tot gevangenis. De poort zal omstreeks het midden van de 14de eeuw gebouwd zijn en behoort daarmee tot de oudste nog bestaande stadspoorten in Nederland. Toen rond 1480 het havenkwartier omwald werd, verloor de poort zijn verdedigingsfunctie.

De Lievevrouwepoort bestond in eerste aanleg uit een hoofdpoort en een voorpoort met daarvoor de stadsgracht en een stenen brug. De hoofdpoort wordt gevormd door een poorttoren, geflankeerd door twee vroeg 14de-eeuwse ronde torens. De torens tellen elk drie verdiepingen en een zolder. De onderste twee hebben een koepelgewelf als overdekking, de bovenste heeft een moer- en kinderbalkenzoldering.
Op alle verdiepingen zijn schietgaten voor kruisbogen aanwezig, terwijl de bovenste verdieping alternerend ook werpgaten bezit. Dat ook het comfort van de gebruikers niet vergeten is, blijkt uit de aanwezigheid van twee stookplaatsen en vier gemakken in de torenkamers.
Van de poorttoren is de westgevel nog vrijwel authentiek. In de doorgang is de sleuf voor een hamei nog te zien. Op de tweede verdieping zijn thans nog de sporen zichtbaar van een verdwenen overkragende weergang met mezekouwen.

Bij een 15de-eeuwse vernieuwing van de poorttoren is boven de doorgang een woonhuis gebouwd. De gevel aan de stadszijde heeft twee arkeltorentjes. Inwendig heeft het wachtvertrek op de eerste verdieping een moer- en kinderbalkenzoldering. Tegen de zuidwand staat een laatgotische schouw. Op de tweede verdieping is eveneens een stookplaats aangebracht in een als cachot ingericht vertrek.
Op de hoofdpoort sloot aan weerszijden tot 1525 de stadsmuur aan. Die was gefundeerd op zware poeren, met daartussen grondbogen. Hierop rustte de buitenwang van de muur. Op de aan de stadszijde daarbuiten stekende delen van de poeren verrezen zware pijlers, met bogen onder de weergang. Een gedeelte van deze constructie is te zien in het toegangsportaal. Buiten is een moet van deze spaarbogenconstructie nog zichtbaar. De weergangen op de muur waren te bereiken vanuit de hoofdpoort en via buitentrappen. Die tegen de noordzijde van de poorttoren fungeert thans als toegangstrap.

Aan de westzijde was er oorspronkelijk een voorpoort, bestaande uit een ommuurd voorplein en een poortdoorgang, geflankeerd door twee torentjes. Daarvoor lag een stenen brug over de gracht. De weergang van de voorpoort was bereikbaar via nog thans zichtbare doorgangen in de ronde torens.
De vermelding van een “waeckhuys” in de Lievevrouwepoort in 1485 is de oudste aanduiding die op een gebruik als gevangenis wijst.
In 1533 kreeg de stad verlof een “vroente” te maken waar alle burgers die niet voor lijfstraffen gevangen zitten kunnen worden gedetineerd. Deze gijzelkamer bevond zich op de tweede verdieping aan de stadszijde. De cipier woonde op de eerste verdieping, het zogenaamde “Wachtlokaal”. Hierom heette het middelgebouw in de 17de eeuw dan ook het “woonhuys”. In 1612 werd het dak door een storm zwaar beschadigd, terwijl in augustus van het volgende jaar het “woonhuys” afbrandde. De reparaties namen enige jaren in beslag.

Het stadsbestuur besloot in 1619 het zeer vervallen “voorwerck” oftewel de voorpoort van de Lievevrouwepoort te doen afbreken omdat het een “grooten oncieraet” vormde. Boven de boog zou men enige “bequame canteelen” laten maken. Dit laatste slaat kennelijk op het westelijkst gedeelte van de voorpoort met de rechthoekige torentjes.
Tussen 1671 en 1747 is ook de boog afgebroken. De torentjes zijn als bruikbare bouwfragmenten opgenomen geweest in de aangrenzende huizen. Onder de bestrating is het muurwerk van de voorpoort nog bewaard gebleven.
Tot de best bewaarde resten van het verdedigingswerk behoorde de brug over de stadsgracht. Slechts de borstweringen met banken ontbraken aan dit natuurstenen bouwwerk De stadsgracht had naast de brug natuurstenen kademuren.