تأسست ملكية إليرسلي في مدينة كولونيال هايتس في 1839 على يد ديفيد دنلوب وزوجته آنا ميرسر مينج. أصبح دنلوب، وهو من مواليد آير باسكتلندا، أحد قادة صناعة التبغ في فرجينيا. وقد صمم قصره المبني على شكل قلعة في 1856 المهندس المعماري روبرت يونغ، وهو مهندس معماري من بلفاست (أيرلندا)، وكان محاطاً بأراضٍ ذات مناظر طبيعية رومانسية ذات تفاصيل غير عادية. أُصيب القصر بنيران المدافع الفيدرالية أثناء معركة سويفت كريك أثناء الحرب الأهلية في مايو 9 ، 1864 ، واستخدم فيما بعد كمقر قيادة للجنرال الكونفدرالي بي جي تي بيوريجارد. كما استخدم لواء كارولينا الجنوبية التابع للجنرال جونسون هاغود التابع للجنرال جونسون هاغود أيضًا عقار إليرسلي كمعسكر للراحة خلال شهر سبتمبر 1864 ، وذلك بعد العمل على طول سكة حديد ويلدون. وقد استعان حفيد دنلوب بشركة ريتشموند كارنيل وجونستون لإعادة تصميم القصر في 1910 على الطراز البنغالي الأكثر عصرية. وقد حل السقف المنحدر الممتد والواجهات محل السقف المسطح الأصلي، ولكن الكتلة الأساسية للمنزل والبرج أصلية.