Vanouds was de Blauwehandstraat een straat met industriële bedrijvigheid. Aanvankelijk vonden hier de lakenbereiders hun onderdak en vanaf de 16de eeuw ook de brouwerijen, waarvan de Blauwe Hand en De Swaen de belangrijkste zijn. Uit archiefmateriaal blijkt dat in de 16de eeuw een brouwerij gevestigd was op deze plaats. In de 17de en 18de eeuw was het een patriciërswoning in gebruik bij hoge militairen en notabelen. Het gebouw werd in 1840 verkocht aan de RK-parochie om er de pastorie te vestigen. Die bleef hier tot 1879, waarna het pand als RK weeshuis ingericht werd. In 1885 is het daarvoor verbouwd en uitgebreid. Na de tweede wereldoorlog kreeg het bestemmingen voor verenigings- en buurtwerk, waarvoor het pand in 1965/66 weer ingrijpend werd verbouwd. Het interieur is toen grotendeels vernieuwd, slechts enkele oude deurpartijen restten nog. In 2006 verkreeg Stichting Stadsherstel het pand met het doel er aanvankelijk 5, later 4 appartementen in te realiseren. De hoofdstructuur is daarbij grotendeels hersteld, met name ter plaatse van de middengang. Het oude trappenhuis is doorgezet naar de 2de verdieping en uitgebreid met een lift. Op de begane grond is een ruim appartement met tuin gerealiseerd, op de 1ste verdieping een tweetal appartementen aan weerszijden van het trappenhuis. Het appartement in de kap beslaat de hele 2de verdieping. De kapconstructie is met behoud van authenticiteit hersteld, ontbrekende spantbenen, blokkeels en korbelen zijn teruggebracht en grotendeels als zichtwerk hersteld. Aan de zuidzijde is een loggia in het dak uitgesneden. Aan de voorgevel is de kroonlijst ontdaan van een betimmering van boardplaten uit de 60-er jaren. Aan de achtergevel zijn diverse aanbouwsels verwijderd zodat de gevel nu weer als een gaaf geheel oogt.