اشترى جيمس مونرو، عضو مجلس الشيوخ الأمريكي؛ وحاكم ولاية فرجينيا؛ ووزير فرنسا وإنجلترا وإسبانيا والرئيس الخامس للولايات المتحدة، هذه المزرعة، التي كانت تسمى في الأصل هايلاند، في 1793. أكمل المنزل في 1799. وقد اختار صديق مونرو ومعلمه توماس جيفرسون موقع المنزل الذي يقع على مرمى البصر من مونتايسلو جيفرسون. أطلق مونرو على المنزل اسم "كوخ القلعة". غادرت عائلة مونرو هايلاند هايلاند في 1823 ؛ تم بيعها في 1826. تم افتتاحه كمتحف من قبل رجل الأعمال الخيرية جاي وينستون جونز، وتعود ملكية العقار الواقع جنوب مقاطعة ألبيمارل الآن إلى كلية ويليام وماري ويخلد ذكرى إقامة مونرو في هذه المنطقة.

كشفت الأعمال الأثرية في ما يُعرف الآن باسم هايلاند جيمس مونرو في 2016 أن مسكن عائلة مونرو لم يكن الجناح الخلفي للمسكن الرئيسي القائم حاليًا في العقار. وكان الجناح الخلفي، بدلاً من ذلك، عبارة عن بيت ضيافة يعود تاريخه إلى أوائل19القرن العشرين، واستخدمه الزوار خلال فترة رئاسة مونرو للرئاسة، وتم توسيعه فيما بعد.  من المحتمل أن يكون المسكن الرئيسي الأكبر في آش لاون-هايلاند من فترة مونرو قد دمره حريق في الفترة ما بين منتصف1830وأوائل 1850.