Het oudste bouwwerk op het onderhavige terrein is een vleugel die achter Engelsestraat 29 ligt. Het muurwerk tot aan de verdiepingsvloer dateert nog van kort na 1500. Op de maquette uit ca, 1750 is dit gebouw te zien, evenals op de kadasterkaart uit 1826. Het is uitgevoerd in rode baksteen, ca 19x8x4 cm, met een plint en hoekblokken van Gobertangersteen. In de oostgevel is nog een venster met natuurstenen neggingen aanwezig. De verdiepingsbalklaag dateert van omstreeks 1700. Wellicht in 1878 is het gebouw verhoogd en plat afgedekt. De noordgevel is later gepleisterd. Een raamkozijn daarin vertoont sporen van duimhengen en is mogelijk een gewijzigd kruisvenster.

Het nieuwe schoolgebouw uit 1878 is tweelaags en heeft nu gepleisterde gevels met 6-ruits schuifvensters. De schoolgebouwen uit 1906 en 1907 zijn éénlaags uitgevoerd in schoon metselwerk. De westgevel was in oorsprong gebouwd op een oudere tuinmuur. In de oostgevels zijn 6-ruits vensters aanwezig, bekroond met segmentbogen met trommelvullingen van siermetselwerk. In de speelzaalgevels waren bovenin ventilatieroosters aangebracht. De interieurs waren, m.u.v. een schrotenplafond, geheel uitgebroken. De later bijgebouwde loodsen en het kantoor waren industrieel van karakter en zonder enige architectonische waarde. Nadat in de 50-er jaren de Grebbe-overkluizing aan de Geweldigerstraat door betonplaten vervangen is, zijn daarbovenop het kantoor en een rij garageboxen gebouwd. De rooilijn is toen teruggelegd.

Van 1498 tot 1502 kocht de stad meerdere huizen aan de Engelsestraat op. Mogelijk gebruikmakend van bestaande gedeelten werd hier het Handelshuis der Engelse Natie opgericht ter huisvesting van de Engelse kooplieden. Het was een zeer monumentaal complex. Aan de Engelsestraat omvatte de panden 25 t/m 31. De voorgevels van nrs. 27 en 29, gebouwd in baksteen met natuurstenen speklagen, getuigen hier nog van. Aan de rechterzijde van nr. 29 was er een monumentale toegangspoort, die in de achtergevel nog grotendeels behouden is. Aan de straatzijde is daar nu een venstertravee. Het huis was wellicht, zoals ook thans nog, gegroepeerd rond binnenplaatsen. Aan de achterzijde (van nr.27?) stond er een toren. Op het erf, dat zich uitstrekt tot aan de Grebbe aan de Geweldigerstraat, stonden pakhuizen. Het huis had een brug over de Grebbe, de in de 13-de eeuw gekanaliseerde stroom die dwars door de binnenstad loopt en toen grotendeels open was. Het verloop van de Grebbe heeft de vorm van de Geweldigerstraat grotendeels bepaald. Na 1500 is de Grebbe perceelsgewijs overkluisd geraakt, waarna in de 50-er jaren van de 20ste eeuw de laatste gedeelten gedicht werden.

Aan het eind van de 16de eeuw is het complex in verval geraakt, mede door uitwoning door soldaten. Uiteindelijk restte niet meer dan ruïneuze gebouwen met muren en enkele balklagen. In 1647 is het in meerdere onderdelen verkocht en weer opgebouwd. Engelsestraat 29 was het grootste huis, waarbij ook het lange tijd door hoveniers gebruikte achtererf behoorde. In de 18de eeuw bleek er bij verkoop zelfs een voorkamer met goudleerbehang te zijn.

In 1852 werd in het complex een school gevestigd door J. Brogtrop. De stad kocht de school en liet in 1867/68 t.p.v. nr. 25 een nieuw, later verhoogd, schoolgebouw oprichten. In 1882 nam Brogtrop de school over van de gemeente. Er werd ook een internaat ingericht. In 1878 was aan de achterzijde, in het verlengde van een nu nog bestaand bouwdeel uit 1502 e.v., een nieuw schoolgebouw opgericht, waarin nog een gedenksteen aanwezig is. Vrijwel gelijktijdig zal dat voormelde oude bouwdeel verhoogd zijn. In 1906 werd loodrecht daarop achterwaarts een nieuwe schoolvleugel gebouwd, die in 1907 weer noordwaarts vergroot werd met een nieuwe speelzaal. Nadat de school in 1921 vertrokken was, kreeg het complex diverse bestemmingen. In de gebouwen aan de Engelsestraat vestigde zich een keukenfabrikant. Na een verregaande vervalfase zijn er twee woonhuizen en een handelshuis in gevestigd. Het achterterrein met de schoolvleugels van 1906/07 werd gekocht door de schilder De Waal, die er diverse loodsen, een kantoor en garages bouwde.

Op het na de verhuizing voormalige bedrijfsterrein van het schildersbedrijf, gelegen in de binnenstad van Bergen op Zoom in een bouwblok omsloten door de Engelsestraat, Nieuwstraat, Geweldigerstraat en Blauwehandstraat is een hofcomplex gerealiseerd, met gebruikmaking en herbestemming van voormalige schoolgebouwen. In 2004 is het terrein door Jaczon BV gekocht als beoogd beleggingsobject. Uiteindelijk heeft bouwbedrijf Sprangers het plan overgenomen en gerealiseerd in 2007/2008.