A la fin du 17e siècle, lorsque les premiers colons hollandais s'installèrent, ils baptisèrent cet endroit Nieuw Haarlem. Bien loin du New York d'alors (qui se limitait à la Batterie) les quelques fermes hollandaises connurent un réel isolement. Un siècle plus tard, vers 1790, à peine plus de 200 habitants étaient recencés.