Der Hirschen, ein dreigeschossiges Fachwerkgebäude mit Erker, bildet zusammen mit seinen Nebenbauten, dem angebauten, ehemaligen Saalgebäude (heutiges Wohnhaus der Wirtefamilie), dem Trottgebäude (heutige Schmiede) und den zwei Scheunen ein Ensemble. Der herrschaftliche Betrieb ist der sichtbare und bewusst gestaltete Ausdruck der Familienpolitik des Stadtzürcher Geschlechts Wehrli, welches über viele Jahre hinweg die einflussreichen und machtausübenden Ämter des Stammertals in ihren Händen vereint und erhält: Vom Ende des 16. bis zum Beginn des 19. Jahrhunderts vertreten Familienmitglieder als Amtmann, Landschreiber oder Untervogt die Herrschaft des Klosters St. Gallen im Stammertal.

Die Geschichte des Hauses beginnt 1684 mit dem Bau des «Hirschen» als herrschaftlicher Landsitz mit Gutsbetrieb durch Johannes Wehrli (1643-1718). Er errichtet das Haus für sich und seine Gattin, die Steiner Bürgermeistertochter Maria Magdalena Etzwiler (1641-1702).

Nach dem Tod des Vaters übernimmt sein Sohn, Hans Peter Wehrli-Stockar (1676-1742) den Hirschen und pflegt als passionierter Landwirt das Gut. 1730 lässt er der Giebelfassade einen malerischen, dreigeschossigen Erker anfügen.

In der ersten Hälfte des 18. Jahrhunderts erhält das Innere bedeutende Ausstattungselemente wie die bemalten Renaissancetüren im 1. Stock. Diese zeigen Sujets aus der Umgebung, so z.B. die Kirche Unterstammheim oder das Schloss Schwandegg bei Waltalingen.

1777 oder 1779 werden dem Haupthaus eine Trotte und ein Saal angefügt.

1786 verkauft Amtmann Hans Konrad Wehrli (1749-1807) die gesamte Liegenschaft an den Gastwirt Johann Martin Schenk aus Uhwiesen.

Nach rund 150 Jahren in fremden Händen erwirbt 1941 Heinrich Wehrli-Naegeli zusammen mit zwei Brüdern den «Hirschen» und führt ihn damit wieder in den angestammten Familienbesitz zurück.

Nach verschiedenen kleineren Unterhaltsarbeiten ab 1965 bauen die Eigentümer 1969 eine Zentralheizung ein. Im Rahmen dieser Neuerung erfolgen Ein- und Umbauten in den Bereichen Kamin, Küche und Bad. Im gleichen Jahr zerstört ein Schwelbrand die gesamte Innenaustattung der Gaststube, die in der Folge wieder nachgebaut wird.

Nach einer gründlichen Aussenrenovation 1976 wird der Hirschen 1978 durch Bund und Kanton unter Denkmalschutz gestellt. Im Jahr 1996 geht der Hirschen in den Besitz der Familie Fritz Wehrli-Schindler über, die die Inneneinrichtung in allen Stockwerken sanft aber umfassend restauriert.