Das wunderschöne Grachtenhaus, in dem sich The Toren befindet, stammt aus dem Jahr 1618 und ist ein typisches Patrizierhaus aus jener Zeit. Die großen Grachtenhäuser wurden als Wohnung und Arbeitsplatz genutzt, und in den Kellern waren meistens die Küche und die Zimmer des Personals untergebracht.
Für die Niederlande und vor allem für Amsterdam war das siebzehnte Jahrhundert eine Blütezeit, die unter dem Namen Goldenes Jahrhundert besser bekannt ist. Gewürzhandel mit Fernost, dem heutigen Indonesien, bescherte der Stadt eine Welle des Reichtums. An der Herengracht und der Keizersgracht wurden daher auch pompöse Häuser errichtet. So manches Grachtenhaus ist reich verziert und phantastisch eingerichtet. Dennoch waren die Niederländer in jener Zeit ein genügsames Volk; von exzessiver Pracht und Prunk war das Land weit entfernt.
Zwischen 1830 und 1882 wurde das Haus von Familie Bienfait bewohnt, die das Gebäude für Fl. 13.000,- erwarb. Die Bienfaits waren Nachkommen der aus Frankreich vertriebenen Hugenotten, die im neunzehnten Jahrhundert ihr Geld mit Zuckerimport verdienten. Dafür hatten sie eigene Schiffe.
Die bemerkenswerteste Person jedoch, die das Gebäude bewohnt hat, war Abraham Kuiper, der von 1837 bis 1920 lebte. Er gründete die “Antirevolutionaire Partij” (ARP) und wurde im Jahr 1901 Premierminister der Niederlande, woraufhin er nach Den Haag umzog. Er war unter anderem Pastor und Leiter des orthodox-reformierten Teiles der Niederlande. Er wollte den Kalvinismus in einigen Punkten dem Zeitgeist anpassen, Ausgangspunkt blieb jedoch die Strenge der Lehre. Darüber hinaus war er Journalist und Verfasser von hauptsächlich theologischen und politischen Abhandlungen.
1880 gründete Kuiper die Vrije Universiteit (VU), die zweite Universität von Amsterdam. Dies war die reformierte Antwort auf die Universität von Amsterdam (UvA). In jener Zeit hatte jede religiös-soziale Strömung ihre eigenen Institute. Die Katholiken, die Sozialisten, die Protestanten und die Liberalen hatten jeweils ihre eigenen Organisationen, Rundfunk, Wohnungsbaugenossenschaften und Schulen. Das Gründen einer reformierten Universität war damals nur ein logischer Schritt.
1889 erwarb die Vrije Universiteit das Gebäude an der Keizersgracht 164 für Fl. 41.000,-. Auch die angrenzenden Gebäude – die Hausnummern 160 bis 166, wurden Teil der Universität. Das “Herrenzimmer” ('Heerenkamer', die erste Tür links neben der Treppe) war beispielsweise das so genannte “Schwitzzimmer” (‘zweetkamertje'), hier wurden die Examen abgenommen.
Der gesamte erste Stock bestand aus Hörsälen. Die riesige Bibliothek befand sich im ersten Stock.
Während des Zweiten Weltkriegs wurde das Gebäude als Unterschlupf verwendet. Die zwanzig Personen, die aus verschiedenen Gründen von den Nazis gesucht wurden, haben den Krieg alle überlebt.
1967 wurde das Gebäude zu klein für die stetig zunehmende Studentenzahl, und die Vrije Universiteit zog nach Amsterdam – Buitenveldert um.
Geschichte von The Toren Familie Toren kaufte das Gebäude mit der Hausnummer 164 im Jahr 1968. Die vier vorhergehenden Jahre hatte die Familie ein Bed & Breakfast in der Van Breestraat betrieben, in der Nähe des Vondelparks. Frau Toren denkt noch immer froh an die Zeiten zurück, in denen sie mit einem großen amerikanischen Auto die potentiellen Gäste am Hauptbahnhof abholte. Touristen, die sich suchend umsahen, sprach sie an, um sie danach mit dem Wagen zu ihrem kleinen Hotel zu fahren. Diese Zeiten waren irgendwann vorbei. Familie Toren wollte Größeres in Angriff nehmen und zog mit der ganzen Familie an die Keizersgracht …
Familie Toren, bestehend aus den Eltern mit fünf Töchtern und einem Sohn, nutzte den früheren Hörsaal der VU, der im Garten steht, als Wohnhaus.
Die anfängliche Freude über den Ankauf begann etwas zu verblassen, als sie daran dachten, dieses große Gebäude in ein Hotel umzuwandeln, denn es würde eine gigantische Arbeit werden, all die leeren Räume zu Hotelzimmern umzubauen. Man ging jedoch tatkräftig ans Werk. Herr Toren wollte jedes Zimmer mit einer eigenen Dusche und Toilette ausstatten, was in jener Zeit nicht selbstverständlich war.
Die ersten Gäste halfen beim Einrichten der Zimmer mit. Der eine brachte Vorhänge mit, der andere strich die Fensterrahmen. So wurden die ersten Zimmer vermietet und wurde das Hotel am 15. März 1969 offiziell eröffnet. Der gesamte Umbau dauerte letztendlich drei Jahre und hatte 34 Zimmer und einen Stern als Ergebnis.
Die Familie wollte ihren Gästen jedoch einen größeren Komfort bieten, und durch verschiedene Renovierungsarbeiten im Laufe der Zeit erhielt das Hotel 1978 seinen zweiten Stern. 1983 wurde das zweite Gebäude (Hausnummer 146) dem Hotel hinzugefügt, so dass sich die Zimmerzahl auf 45 erhöhte. 1988 wurden die vielen Bemühungen mit einem dritten Stern belohnt.
Seit 1991 steht Eric Toren am Ruder. Unter seiner begeisterten Leitung hat sich das Hotel zu einem der schönsten Viersternehotels von Amsterdam entwickelt.