احتل الحاكم جيمس بربور قصر الحاكم التنفيذي في فيرجينيا لأول مرة في 1813 ، وهو أقدم قصر للحاكم في البلاد بُني لهذا الغرض. كان مهندسها المعماري، ألكسندر باريس، من مواليد ولاية ماين وعاش لفترة وجيزة في ريتشموند وأصبح فيما بعد مهندساً معمارياً رائداً في بوسطن. تم تشييد القصر بجوار مبنى الكابيتول في ولاية فرجينيا على يد الباني كريستوفر تومبكينز، وهو عبارة عن مقال بارع في الطراز الفيدرالي. وقد استضاف القصر خلال سنوات خدمته العديدة ضيوفاً مثل لافاييت، وأمير ويلز (الملك إدوارد السابع فيما بعد)، والمارشال فوش، ووينستون تشرشل، وإليزابيث، الملكة الأم. رقد جثمانا ستونوول جاكسون وبطل التنس آرثر آش في هذا المكان. وباستثناء إضافة المهندس المعماري دنكان لي لغرفة الطعام 1908 وإنشاء قاعة الرقص بعد حريق 1926 ، لم يطرأ على المنزل تغيير يذكر. تم ترميم الواجهة الخارجية أثناء إدارة باليلز عندما أعيد بناء الدرابزينات والألواح الزخرفية.  في 1990 ، حقق قصر الحاكم مكانة بارزة في التاريخ الأمريكي الأفريقي عندما أصبح مقر إقامة ل. دوغلاس وايلدر، أول حاكم أسود منتخب في أمريكا منذ إعادة الإعمار.