Museet har fra sin oprettelse været en videreførelse af det kongelige portrætgalleri, der havde til huse på Frederiksborg før branden i 1859. Museet er Danmarks nationale portrætgalleri og et ikonografisk center, der systematisk indsamler oplysninger om portrætter forestillende danskere.