سُميت هيسي نسبةً إلى مقاطعة ماثيوز مقر عائلة أرميستيدس في مقاطعة ماثيوز، وهي عائلة استعمارية كان أفرادها بحكم الزواج أسلاف أو أقارب كل عائلة من العائلات الرائدة في فيرجينيا تقريباً. كشف التحقيق الأثري عن أساسات المنزل الاستعماري الأصلي الذي احترق في 1798. وقد تم استبداله بعد ذلك بفترة وجيزة بالهيكل الحالي المبني من الطوب الذي أقيم على بعد بضعة أقدام. من المحتمل أن يكون اختيار موقع المنزلين قد تم بسبب المنظر الرائع لخليج غودفري عند مصب نهر بيانكاتانك. ويوضح المنزل الحالي، بواجهاته الرسمية ذات الخمس شرفات وأعماله الخشبية المغطاة بألواح خشبية، استمرار الأشكال الجورجية التقليدية في المقاطعات الشرقية لفيرجينيا خلال الفترة الفيدرالية. تم ترميم قصر هيسه بدقة في أواخر 1970حيث تمت إضافة الأجنحة ذات السقف المشدود.