Na nejvyšší skále stával malý hrádek Šelmberk, založený zhruba před sedmi sty lety. Zanikl zřejmě vyhořením už v polovině čtrnáctého století. Dodnes se dochovaly pouze terénní nerovnosti v podobě příkopu a valu.

Zajímavostí je důvod stavby hrádku a jeho jméno. Podle historiků totiž není dochován žádný historický záznam, a tak je možné, že byl postaven jako strážiště rýžovišť nedaleko Zlatého Potoka.

Ani jméno není jisté. Český kasteolog August Sedláček tento hrad označil údajně chybně za Šelmberk. Ovšem skutečný Schellenberg stojí několik kilometrů daleko za státními hranicemi na území Německa.

Skalní útvary a blízké okolí jsou dnes součástí přírodní památky Šelmberk, která je jen asi kilometr vzdušnou čarou od osady Ostrůvek a šest kilometrů od Lesné.