Музей в Каргополе был открыт в 1919 году. Он начинался с частного собрания, подаренного городу его жителем – антикваром К.Г. Колпаковым (1845-1922 гг.) Первоначально музей находился в его собственном доме, а сам К.Г. Колпаков был первым заведующим каргопольским музеем.

В 1992 году из краеведческого музея реорганизован в историко-архитектурный и художественный музей-заповедник, в состав которого вошли 18 памятников архитектуры. Среди них мировые шедевры: белокаменный собор Рождества Христова XVI века в Каргополе и деревянные храмовые ансамбли XVII-XVIII вв. в селах Саунино, Ошевенск, Лядины.

Музейный фонд насчитывает 36 тысяч единиц хранения. В экспозициях представлены иконы новгородской и московской школ, «северные письма», церковная скульптура, народная вышивка, крестьянская роспись, золотное шитье и знаменитая каргопольская игрушка. С 1997 года в музее открыта детская игровая экспозиция «Кукольный дом», действует фольклорный ансамбль. Ежегодно проводимые научные конференции на базе музея снискали известность среди российских и зарубежных ученых.