De kavel grond met d`Olifant werd door de Molentocht in twee helften gesplitst. Het zuidelijk deel kende in 1680 al een boerderij, de stolp waarop later de familie Met zijn smederij begon. Het noordelijk deel bleef lange tijd onbebouwd. In de belastinglijst van 1733 wordt over deze kavel gemeld dat er `een oude en zeer vervallen huijsmanswoninge en bouwhuijs` staat. Waarschijnlijk is dit de zuidelijk gelegen stolp van de latere smederij van Met. De noordelijk gelegen boerderij D`Olifant is dus van jongere datum.
In 1820 kocht Klaas Swaag de kavel gelegen aan de Middenweg en noordelijk van de Molentocht. Er stond daar inmiddels een woonhuis of boerderij met de naam d`Olifant. Klaas overleed kort daarop in 1822. zijn weduwe Maartje van der Sluijs, was kastelein, zo vermeldt de transportakte. D`Olifant is dus al een café of koffiehuis. Maartje bleef achter met vijf kinderen. Hertrouwen was in die tijd de enige mogelijkheid om als weduwe het hoofd boven water te houden. Jan Boot werd haar nieuwe echtgenoot. De zaken gingen goed, want Maartje kocht in 1841 een stuk weiland aan de overkant van ruim één hectare erbij. Vijf maanden later, op 12 mei 1842, overleed zij echter en drie dagen later ook haar man. Al haar kinderen waren op Aaltje Swaag na, eveneens overleden, waardoor Aaltje de enige erfgename was. Zij was getrouwd met Jan Aartszn. Boot. In 1854 overleed zij. Jan Boot bleef achter met het café, de daarachter gelegen schuur en boomgaard en zestien hectare grasland. Hieruit kan worden afgeleid dat Jan niet alleen zijn bestaan had als kastelein.
In 1887 werden alle opstallen gesloopt. Volgens de kadastertekening stonden er twee panden achter elkaar, een grote evenwijdig aan de weg gelegen stolp (of woonhuis) en een vierkante stolp of schuur erachter. Na de sloop zien we één enkele grote stolp met de noklijn haaks op de weg ervoor terugkomen. De huidige stolp heeft achter een staart. Die moet later zijn aangebouwd. In 1890 verkocht Jan Boot zijn boerderij met in totaal ruim 7 hectare weiland voor Fl. 12.000, - aan Ariën Ariënszoon Wonder (1849-1927). Jan Boot had dus daarvoor al de nodige hectare verkocht.
Ariën Wonder was getrouwd met Neeltje Hoek (1863-1952) zijn broer was Pieter Wonder (1835-1911), burgemeester van Heerhugowaard. Ariën kon al snel gaan rentenieren en verhuisde in 1903 naar de Nieuwpoortlaan in Alkmaar. De boerderij d`Olifant verhuurde hij tijdelijk (van 1903 tot 1920) aan Aldert Koelemeij. Toen zijn dochter Nelie Wonder (1896-1988) in 1920 trouwde met Hendrik Arie Martinus Wuis (1891-1973) kwamen zij op de boerderij. Na het overlijden van moeder Neeltje Hoek in 1952 werd de boerderij d`Olifant eigendom van haar huurders Hendrik Wuis en Nelie Wonder. Henk hield vooral legkippen. Voorts had hij wat koeien en een brouwerijtje. Na hem kwam in 1961 zijn zoon Hendrik Arie Wuis (1924). Hij boerde er tot 1973. de gemeente kocht in 1971 de boerderij voor de bouw van het winkelcentrum Middenwaard en de stolp zou moeten wijken voor de nieuwbouw.
Doordat Gerard Lubbers de laatste kastelein van het gesloopte naburige café `De Rustende Jager` een bar bistro in d`Olifant begon bleef de stolp behouden. Wel veranderde de boerderij in de jaren erna ingrijpend van uiterlijk. Na hem werd het in 1976 een restaurant onder Willem en Corrie Pauw werd dit uitgebouwd. Sinds 2002 is Raymond Ongena de eigenaar van restaurant d`Olifant.