Razvaline gradu Rifnik stojijo na starem skalnem pomolu istoimenskega hriba. Grad se prvič omenja leta 1326. Takrat je dobil Viljem Vrbovški stolp pri Rifniku. Nadaljnja lastnika sta bila brata Ivan in Martin Hertl - Rifniška. Leta 1359 je Martin Hertl - omenjen kot ministerial Celjskih grofov. Ti so imeli grad v lasti do leta 1456, ko je njihov rod izumrl.

Rifniško gospodično so nato dobili potomci Erazma Liechtenbergerja, grajskega upravitelja celjskih grofov. Kasnejši lastniki so bili v 16. stoletju sorodniki Saurani. V naslednjem stoletju je večji del gospoščine prešel na Blagovno.

Domnevno so grad razrušili uporni kmetje leta 1635, v 2. polovici 17. stoletja pa naj bi že bil razvalina. To je razvidno tudi iz Vischerjeve Topografije.

Grad je že v romanski dobi dobil svoj značilni tloris – potegnjen pravokotnik. Obsegal je trinadstropni pravokotni stolp na zahodni strani, za njim pa se je razprostiralo obzidano peterokotno dvorišče. To zasnovo so že v zgodnji gotski dobi dopolnili z novim stolpom peterokotnega tlorisa v vzhodnem delu dvorišča. Ta stolp je še danes ohranjen do višine treh nadstropij in ima gotska okna z obstenskimi sedeži ter okvire s prirezanimi robovi. V zahodni steni je okrnjen šilastoločen gotski portal s prirezanimi robovi. Sočasno je bil na mestu nekdanjega dvorišča pozidan palas. Grajsko zasnovo so povečali v 16. stoletju s peterokotnim obokom ter predgradjem. Razvaline gradu z ohranjenim prvotnim stolpom imajo poleg umetnostno-zgodovinske vrednosti tudi pomembno vedutno vrednost.