كان جوزيف فوستر، وهو مواطن من نيوبورت، إنجلترا، أول مالك لهذا المنزل الريفي الذي بني على شكل حرف T في مقاطعة نيو كنت بالقرب من نهر بامونكي. على الرغم من أن فقدان السجلات المبكرة لنيو كنت يحول دون التأريخ الدقيق، إلا أنه من المحتمل أن يكون المنزل قد شُيد بين 1685 و 1690 عندما كان فوستر يمثل نيو كنت في مجلس النواب. وتشترك قلعة فوستر مع قلعة كريس كروس وقلعة بيكون في مقاطعة سوري في كونها منازل العزبة الوحيدة المتبقية من فترة ستيوارت في فيرجينيا التي ترجع إلى عصر ستيوارت والتي تتصدرها شرفات مغلقة مع غرف فوقها، وهي سمة مميزة للمنازل الإنجليزية التي تعود إلى ما بعد العصور الوسطى. تم استبدال معظم الجزء الداخلي الأصلي لقلعة فوستر في أوائل 19القرن العشرين، وتم رفع الجدران المكونة من طابق واحد في الجسم الرئيسي للمنزل إلى طابقين في 1873. وعلى الرغم من هذه التغييرات، إلا أن الأجزاء الجدارية الباقية من قلعة فوستر تشكل وثيقة مهمة لأقدم فن العمارة في فرجينيا.