تم تسجيل براءة اختراع شيرلي في 1660 من قبل إدوارد هيل، سلف المالكين الحاليين. ويوضح المجمع المرتب شكلياً في مقاطعة تشارلز سيتي بشكل جيد جو القرية في مزرعة استعمارية كبرى، ولكن مع إيلاء اهتمام خاص لوضع المباني التابعة ومعالجتها المعمارية. بُني القصر والتوابع الأمامية والحظائر ومنزلان مختفيان مكونان من ثلاثة طوابق، في حوالي عام 1738 بعد زواج إليزابيث هيل، وريثة شيرلي، من جون كارتر، ابن روبرت ("الملك") كارتر. وقد أعاد تشارلز كارتر تصميم القصر في 1770s، حيث قام تشارلز كارتر بتركيب الأعمال الخشبية الداخلية الغنية وأضاف الأروقة. تم تعديل الأروقة في 1831. يقدم مجمع شيرلي الفخم، إلى جانب مجموعة المفروشات والصور العائلية المتراكمة فيه، واحدة من أكثر الصور التي لا تنسى لاستمرارية مجتمع مزارع فيرجينيا. وُلدت آن هيل كارتر، زوجة "الحصان الخفيف هاري" لي ووالدة روبرت إي لي، في شيرلي في 1773.