Kuusteräksi nimensä suomentaneiden Skogstereiden valtakausi päättyi 70-luvun lopussa, kun Kesko osti yrityksen.
Ensin Kesko aikoi rakentaa tontille kokonaan uuden tavaratalon, mutta luopui aikeista nopeasti. Suunnitelmia lievennettiin ja esitettiin vanhan kivitalon ja sen kyljessä olevan tiilitalon säilyttämistä, mutta Piparkakkutalon purkamista.
Suunnitelmat järkyttivät kaupunkilaisia syvästi. Jo syksyllä 1980 Hämeenlinna-Seura, luonnonsuojeluyhdistys, taideyhdistys ja kuvaamataidonopettajat keräsivät 3 000 nimeä kunnallisaloitteeseen rakennuskokonaisuuden säilyttämiseksi.
Taistelu tavaratalon kohtalosta päättyi onnellisesti, mutta Piparkakkutalon tulevaisuudesta taitettiin peistä vuosikausia.
Kiista päättyi lopullisesti vuonna 1987, kun tavaratalo, punatiilinen liikerakennus ja Piparkakkutalo suojeltiin asemakaavalla.

Kaupankäynti jatkui vanhaan taloon rakennetussa kauppiastavaratalossa ja 80-luvulla Piparkakkutalo sai sisuksiinsa kaksi ravintolaa.

Kesko myi Skogsterin kulman 80-luvun puolivälissä Ahti-rakennusyhtiölle. 80-luvun lopussa tavaratalon omistajaksi tuli silloinen Hämeen Vakuutus (nykyinen Pohjantähti).