الجزء الأقدم من منزل كاسل هيل المكون من جزأين هو مسكن تقليدي على شكل إطار من طراز استعماري فيرجينيا بناه الدكتور توماس ووكر، وهو قائد استعماري ومستكشف للغرب، في 1764. هنا في 1781 قامت زوجة ووكر بتأخير العقيد البريطاني باناستر تارلتون لإعطاء الوطني جاك جويت الوقت الكافي لتحذير توماس جيفرسون والمشرعين في فيرجينيا من خطة تارلتون للقبض عليهم. تم تشييد الجزء الفخم المبني من الطوب، وهو مثال على كلاسيكية جيفرسون الكلاسيكية على يد البنّاء الرئيسي جون م. بيري، في 1823-24 لويليام كابل ريفس، وزير فرنسا وعضو مجلس الشيوخ الأمريكي وعضو الكونجرس الكونفدرالي. تمت إضافة المعاهد الموسيقية ذات الأعمدة في 1844 بواسطة ويليام ب. فيليبس. كانت أميلي حفيدة ريفيز، زوجة الرسام الروسي الأمير بيير تروبيتزكوي، روائية وكاتبة مسرحية. وقد اتخذت هي وزوجها من كاسل هيل منزلاً لهما في العقود الأولى من القرن 20. تقع كاسل هيل في منطقة الجبال الجنوبية الغربية التاريخية الريفية في مقاطعة ألبيمارل في مقاطعة ألبيمارل، كما تشتهر بحدائقها الواسعة وأراضيها ذات المناظر الطبيعية.