وقد حصل ريتشارد لي، سلف عائلة لي في فيرجينيا، على براءة اختراع لمسار ديتشلي في 1651. بدأ بناء القصر الحالي في حوالي 1762 من تصميم كيندال لي، وهو أحد أحفاد ريتشارد لي، وهو من العمارة الجورجية الاستعمارية الكلاسيكية. يتميز المنزل بالأعمال الطوبية الرائعة والسقف المنحدر والأبعاد الهندسية التي تتميز بها أرقى منازل مزارع فيرجينيا. يحتفظ التصميم الداخلي بالكثير من الأعمال الخشبية الأصلية، بما في ذلك درج جورجي جدير بالملاحظة. في عام 1792 باعت عائلة لي ديتشلي إلى جيمس بول، قريب ماري بول واشنطن، والدة جورج واشنطن. وظل العقار ملكاً لعائلة بول طوال القرن 19. في عام 1932 تم شراء ديتشلي من قبل السيد والسيدة ألفريد آي دو بونت من ويلمنجتون، ديل. كانت السيدة دو بونت، وهي السيدة جيسي ديو بول السابقة (1884-1970)، على صلة قرابة بآل بولز من ديتشلي. بعد وفاة زوجها، أصبحت السيدة دو بونت واحدة من أكثر المحسنين سخاءً في أمريكا، حيث قدمت شخصيًا منحًا لعدة مئات من المؤسسات.