Belle Grove beginnt mit der deutschen Einwanderung in das Shenandoah Valley von Virginia. Im 1732, Jost Hite, sein Partner Robert McKay, & 16 Familien kommen in das nördliche Tal, um sich auf 140,000 Hektar zu siegen, die in zwei Landzuteilungen erworben wurden. Ein Enkel von Jost Hite und seiner Braut Nelly Conway Madison, Schwester eines zukünftigen Präsidenten Madison, auf dem 483 Hektar großen Grundstück, auf dem später das Belle Grove Haus gebaut wurde. Im 1794 fingen die Bauarbeiten an und wurden im 1797 abgeschlossen. Das Haus wurde aus Kalkstein gebaut, der auf dem Grundstück abgebaut wurde.