Das Museum trägt den Namen seines Gründers, Stefano Bardini (1854-1922), eines der einflussreichsten italienischen Kunsthändler, der nach Jahren intensiver Geschäftstätigkeit beschloss, seine eigene Sammlung in ein Museum zu verwandeln und sie der Stadt Florenz zu stiften. Untergebracht ist das Museum in einem Gebäude, das von Bardini 1881 erworben und restauriert wurde, um dort sein Antiquitätengeschäft zu betreiben. Mit einigen Veränderungen der Struktur und unter Verwendung authentischer Gebäudeteile, wie Giebel, Portale und Treppen, verwandelte der Kunstsammler Bardini das alte Gebäude, einst Kirche und Kloster San Gregorio della Pace, in einen stattlichen Palast im Stil der Neorenaissance, der geeignet war, außer der Ausstellungsgalerie eine Reihe von Werkstätten aufzunehmen, aus denen die Kunstwerke restauriert und verkaufsfertig hervorgingen.