Sredi 14. stoletja so planinsko gospostvo z gradom pridobili Grofje Celjski, ki so ga posedovali do izumrtja rodbine leta 1456. Največ časa sta na gradu preživela Friderik II. in njegova kasnejša žena Veronika Deseniška. Leta 1456 je grad prišel v roke Habsburžanom, ki so ga dajali v najem raznim rodbinam, dokler ga nadvojvoda Ernest Avstrijski ni prodal odlični spodještajerski in kranjski plemiški rodbini Mosconov. Ti so grad posedovali od leta 1593 do 1769. Za njimi so grad posedovali Protasiji in Goriškovi. Zadnji graščak, ki je še živel v gradu je bil Gustav Bloome. Leta 1882 so začeli grad razkrivati in z leti se je spremenil v razvaline.

Grad je bil pozidan na skali nad trgom Planina. Razvaline kažejo v jedru romanske sestavine, medtem ko je južna grajska stena gotska, vhodni del in del obzidja na severo-zahodni strani pa sta renesančni. Jedro gradu je tvoril mogočen palacij, ki je bil svoj čas dolg 38 metrov, širok pa 15. Poleg mogočnega obzidja, ki v spodnjem delu meri tudi poltretji meter, je bil grad na zahodni strani zavarovan z obrambnim stolpom, ki je varoval prvotni južni dostop. V 14. stoletju so na vzhodni strani prizidali kapelo sv. Pankracija. V romanskem zidu so ohranjena originalna okna, sicer naknadno zazidana. Spodnji del tega zidu je ponekod zidan celo v obliki ribje kosti oziroma žitnega klasa (opus spicatum), kar je večja zanimivost.

Zahodno od gradu je bila v 16. stoletju sezidana nadstropna kašča, ki je v obokanem kletnem delu ohranjena do danes. Nekoliko nižje od gradu je v živo skalo vzidana klet, od katere je delno ohranjen vhodni obok.