بُنيت ميلروز على يد تشارلز ألكسندر سكوت في 1813 بالقرب من طاحونته على نهر جيمس في مقاطعة فلوفانا. كان سكوت عضوًا في العائلة البارزة محليًا التي كانت تدير سكوتز لاندينج وأسست سكوتسفيل. يتميز المنزل المبني من الطراز الفيدرالي المكون من طابقين والمبني من الطوب ذي القاعة المركزية برابطة فلمنكية من الأعلى ورابطة أمريكية من الأسفل. يقع ميلروز بشكل مثير للغاية في الجزء العلوي من سلسلة من المدرجات الترابية التي ترتفع فوق قسم الجزر السبع من النهر، والتي يمكن سماعها ولكن لا يمكن رؤيتها من المنزل. دمر حريق نشب في 1836 جزءًا كبيرًا من الداخل، ولكن سرعان ما تم ترميم ميلروز داخل الجدران الأصلية وبقيت معظم الزخارف الداخلية من هذه الفترة. من المحتمل أن يكون السقف الصخري قد تم تركيبه في نفس الوقت.