Губернаторский дом был построен в 1790 г. и с 1801 г. стал постоянным местом пребывания губернатора восстановленной Пензенской губернии. После Октябрьской Революции 1917 г. в здании размещались различные учреждения, в том числе детская художественная школа № 1 им В. Е. Татлина. По постановлению Совета Министров СССР дом губернатора был признан объектом культурного наследия федерального значения.
В 2007—2010 гг. была проведена реставрация здания. В настоящее время здесь располагается Пензенская областная картинная галерея имени К. А. Савицкого. Для посетителей губернаторский дом был открыт 18 мая 2011 г. Первыми посетителями отреставрированного дома стали Олег Табаков, Евгений Миронов, Марк Захаров.
В музее хранятся более 12 тысяч произведений итальянских, французских и голландских художников, а также работы таких выдающихся представителей русской живописи, как Илья Репин, Иван Шишкин, Василий Суриков, Исаак Левитан, Михаил Врубель и др.