Tontilla oli 1800-luvulla kaksi yksikerroksista ja yksi kaksikerroksinen puurakennus. Asuinkäytössä olleet talot olivat Kirkkorinteen puolella. Raatihuoneenkadulla olleessa kaksikerroksisessa liikerakennuksessa toimi kaupungin ensimmäinen kirjakauppa.

Piparkakkutalon paikalla olleessa talossa asui esimerkiksi taiteilija Albert Edelfeltin isä lääninarkkitehti Karl Edelfelt.

Skogsterin liikevaihto nousi vuosisadan vaihteessa puoleen miljoonaan markkaan. Vuonna 1905 ylitettiin miljoonan raja.

1905 vanhat puurakennukset purettiin. Skogsterin tytäryhtiö Rakennus Oy Pohja rakennutti talojen paikalle ensin Piparkakkutalon Skogsterin asunnoksi ja aloitti liiketalon rakentamisen. Tavaratalon suunnitteli Selim A.Lindqvist.
Jo seuraavana keväänä tavaratalon ja Raatihuoneenkadun kaksikerroksisen liikerakennuksen väliin nousi Elävien kuvien teatteri Apollo.
Raatihuoneenkadun varteen rakennettiin kolmikerroksinen tiilitalo, jonka suunnitteli hämeenlinnalainen Armas Lindgren. Kun Hämeenlinnassa avattiin 1932 oma alkoholiliike, avasi se tietenkin ovensa tässä rakennuksessa.

Kuusteräksi nimensä suomentaneiden Skogstereiden valtakausi päättyi 70-luvun lopussa, kun Kesko osti yrityksen.
Ensin Kesko aikoi rakentaa tontille kokonaan uuden tavaratalon, mutta luopui aikeista nopeasti. Suunnitelmia lievennettiin ja esitettiin vanhan kivitalon ja sen kyljessä olevan tiilitalon säilyttämistä, mutta Piparkakkutalon purkamista.
Suunnitelmat järkyttivät kaupunkilaisia syvästi. Jo syksyllä 1980 Hämeenlinna-Seura, luonnonsuojeluyhdistys, taideyhdistys ja kuvaamataidonopettajat keräsivät 3 000 nimeä kunnallisaloitteeseen rakennuskokonaisuuden säilyttämiseksi.
Taistelu tavaratalon kohtalosta päättyi onnellisesti nopeasti, mutta Piparkakkutalon tulevaisuudesta taitettiin peistä vuosikausia.Kiista päättyi lopullisesti vuonna 1987, kun tavaratalo, punatiilinen liikerakennus ja Piparkakkutalo suojeltiin asemakaavalla.

Kaupankäynti jatkui vanhaan taloon rakennetussa kauppiastavaratalossa ja 80-luvulla Piparkakkutalo sai sisuksiinsa kaksi ravintolaa.

Kesko myi Skogsterin kulman 80-luvun puolivälissä Ahti-rakennusyhtiölle. 80-luvun lopussa tavaratalon omistajaksi tuli silloinen Hämeen Vakuutus (nykyinen Pohjantähti). Nykyisin kaikilla aikoinaan Skogstereille kuuluvilla kiinteistöillä on eri omistajat, mutta tavarataloa hallitsee yhä Pohjantähti.
Nykyisin vanhalla Skogsterin tontilla toimii muun muassa Hämeenlinnan historiallinen museo.

Juuri valmistunut Skogsterin tavaratalo oli ihmeiden ihme pienessä Hämeenlinnassa.