Pikkutori eli alun perin Hevostori syntyi 1826 kaupungin laajennuksessa Saaristen virkatalon paikalle. Kaupungin asemakaavaa jatkettiin länteen kaupungin vuoden 1831 suurpalon jälkeen, mutta alueen keskimmäinen kortteli jätettiin rakentamatta.
Tori oli ilmeisesti aluksi luonnontilainen kenttä, jolle hevoset jätettiin, kun tultiin Hämeenlinnaan. Torista toivottiin alun perin kävelypuisto ja sinne istutettiin 80 vaahteraa. Torin keskelle rakennettu kirkko ei alun perin kuulunut suunnitelmiin.
Torin varrella olevat talot on rakennettu ilmeisesti vuoden 1831 jälkeen.