1980-luvun alku oli Hämeenlinnassa raskasta aikaa etenkin vanhojen talojen ystäville. Ihmisillä oli vielä tuoreessa muistissa 60-luku, kun kymmenet vanhat puutalot purettiin käytännöllisten kerrostalojen tieltä. Vanhat talot olivat huonossa kunnossa ja kaupungissa oli huutava asuntopula.
Birger Jaarlin katu 4 on yhä edelleen piikkinä Hämeenlinnan historiassa. Vuonna 1980 Hämeenlinnassa käytiin juuri kiivasta taistelua Skogsterin kokonaisuuden ja Piparkakkutalon säilyttämisen puolesta. Skogster voitettiin kansalaistoiminnalla, mutta Birger Jaarlin katu 4:n samoin kuin Raittiusseuran talon puolesta käyty taistelu hävittiin.

Erityisen arvokkaan hienosta puutalosta tekee se, että sen on suunnitellut hämeenlinnalaisten oma poika, arkkitehti Armas Lindgren. Hänen töitään on enää jäljellä kirkkopuisto ja Skogsterin talon punatiilinen osuus.

Etenkin Birger Jaarlin kadun tontti näyttää oudolta kun siinä ei ole vielä kerrostaloja.