Isabella Stewart (1840-1924)出生紐約，在學校結識波士頓的名媛，進而與她的哥哥-當時波士頓最有價值的單身漢John Lowell Gardner結婚(1960)，搬到波士頓，因為他們各處旅遊，非常愛好藝術品，到了1891年，Isabella因父親去世得到大筆遺產，經一位懂義大利文藝復興的友人(Bernard Berenson)推薦，Isabella投入大資本收購並且計畫興建收藏的地方。 1989年，她的先生去世，她繼續這件計畫，在尚未開發的Fenway買了一塊地，蓋了一幢4層樓的建築，仿威尼斯式的中庭與樓房，雖然有建築師，但她強勢主導設計，在1903年開放參觀。一到三樓為展場，四樓是她個人的住所，樓梯分開，獨立出入。
根據遺囑，整館的收藏擺設方式不能變動，各個房間各具特色，如Titian room裡有提香的畫作、Dutch room有荷蘭林布蘭和魯本斯，其他還有各國的古董傢具、佛像、甚至某些地方建築的一部份、雕像的頭、Veronese room裡皮製的牆面，這裡最出名的是失竊的畫，這是美國藝術史上最大的偷竊事件；1990年，有三人偽裝警察在半夜通過守衛闖入館內，偷走13幅著名畫家的作品，維米爾的音樂會、3幅林布蘭的畫、5件竇加手稿，這些畫沒有出現過，即使FBI仍苦無頭緒。
整館收藏雜亂，可想收藏遍及世界各地，一個房間帶我到19世紀東方，下一個帶我到16世紀歐洲，走道可能是某個地方的遺跡，為了保存藝術作品，光線昏暗，地板黑膩。
其中也有Matisse的terrace, Sanit-Tropez, 據說她是美國第一位買下Matisse作品的收藏家。Isabella 的特立獨行往往成為小報的標題，她的穿著打扮常常驚動當時的社交圈，但是她提攜年輕藝術家、與大眾分享的慈善，最為後世稱道。
