Ter plaatse van Het Zwijnshoofd werd aan het eind van de 15de eeuw een aanzienlijk huis gebouwd als woning voor de drossaard en later de gouverneur. Het was een complex huis met drie vleugels die een grote binnenplaats omsloten. In de hoek tussen de voor- en zijvleugel stond een toren. Aan het eind van de 19de eeuw is het pand door brand deels verwoest en in de huidige vorm herbouwd. De oostgevel en de topgevel tussen beide kappen dateren waarschijnlijk nog uit omstreeks 1500, evenals een klein gedeelte van de achtergevel en mogelijk meerdere binnen-bouwmuren. De kap is in 1923 vernieuwd in de huidige vorm als mansart-kap. In 1981 is de aansluitende bebouwing achter het hoofdgebouw afgebroken en is daar een nieuw zaalgebouw gerealiseerd.

Bij het nu uitgevoerde bouwplan is de oude omsloten binnenplaats, een van de kenmerkende onderdelen van het complex, in zijn waarde hersteld. Voor de bouw van de twee nieuwe vleugels is een traditionele vorm en architectuur gekozen, harmoniërend met het bestaande hoofdgebouw. De uitbreiding uit 1981 is afgebroken. Voor de verticale verbindingen is in de hoek tussen het oude gebouw en de toneelzaal een traptoren gemaakt waarbij de plaats nabij die van de vroeger daar staande toren ligt. Voortbouwend op bestaande elementen is zo een sfeer opgeroepen die ook refereert aan de historie van het huis.