تأسست بلومزبيري في مقاطعة أورانج في وقت ما بعد 1720 على يد الكولونيل جيمس تايلور الأب، وهو أحد أوائل ملاك الأراضي في المنطقة، وسلف كل من الرئيسين جيمس ماديسون وزاكاري تايلور. تاريخ القسم الأصلي غير موثق ولكن ربما يكون تاريخ بنائه يعود إلى 1722 لجيمس تايلور الثاني. على الرغم من أن مظهره الخارجي متواضع، إلا أن التصميم الداخلي لبلومزبري المجهز بدقة يتميز بتصميم طابق فريد من نوعه ودرج غير عادي. ووفقاً لتقاليد العائلة، كان الدرج العريض، مع درابزينه المزخرف ذو الدرابزينات المخروطية المزخرفة، يشكل معرضاً للموسيقيين. وقد تضاعف حجم المنزل بإضافة بسيطة من طابقين حوالي 1800. وقد تم الحفاظ على بلومزبري بشكل جيد بشكل غير عادي ويحتفظ بأجواء ريفية خلابة من الحقول الواسعة والتلال المشجرة عند قاعدة جبل جيردون شرق بلدة أورانج. ويوجد على الأرض مدخنة تعود للقرن 19ومقبرة تعود للقرن 18وبقايا حديقة قديمة نادرة ذات مصاطب ومنطقة غارقة.