Osmanlı Devleti’nde 9 kez sadrazamlık yapan Said Paşa, 1876’da bu binayı konak olarak yaptırmıştır. 1941 yılında Sadrazam Said Paşa Konağı, Nişantaşı Kız Enstitüsü adıyla eğitim binası olarak kullanılmaya başlamıştır. 1966 yılında ise Rüştü Uzel Kız Meslek Lisesi olarak hizmet vermeye devam etmiştir. Binanın bir eğitim yapısı olarak tasarlanmadığı ve artan öğrenci sayısı sebebiyle 1971 yılında binanın bulunduğu bahçeye yeni bir bina inşa edilmiş ve okul bu yeni binaya taşınmıştır. Sadrazam Said Paşa Konağı ise 1975’te Güzel Sanatlar Genel Müdürlüğü’ne, 1982’de İTÜ Devlet Konservatuvarı Orta Bölümü’ne verilmiştir. 12 Mayıs 1988’de yapıda büyük bir yangın çıkmış ve binanın iç bölümleri tamamen yanmıştır. Bunun üzerine 1996 yılında binada büyük bir restorasyon çalışması yapılmıştır.

Yapının cephelerindeki cumbalar, kemerli pencereler gibi elemanlarda yapının geleneksel bir tasarıma sahip olduğu anlaşılmaktadır. Bodrum, zemin ve bir normal kat olmak üzere toplam 3 kattan oluşmaktadır. Yapının giriş bölümü simetrik olarak tasarlanan kıvrımlı merdivenlerle vurgulanmaktadır. Yapı, günümüzde İstanbul Moda Akademisi olarak hizmet vermektedir.