Graščina je bila sezidana 1521 in se v virih omenja kot "stari belopeški grad". Leta 1821 jo je takratni lastnik, jeseniški trgovec, Frančišek Pavel Kos povečal in obnovil. Stavba je dobila novo ime "Kosova graščina", ki se je ohranilo do danes.

Danes je pritličje in prvo nadstropje Kosove graščine namenjeno galerijam in razstavam.
V drugem nadstropju je poleg večnamenske dvorane za kulturne prireditve tudi poročna dvorana.

V poročni dvorani v Kosovi graščini visi znana slika Maksima Gasparija z naslovom Kmečka poroka.