Hrad Pihel byl založen asi ve 14. století a poprvé se připomíná v roce 1396. Jeho zakladatel není bezpečně známý, ale nejspíše jím byl Hynek Zajíc z Házmburka. Po jeho smrti roku 1363 se majetku ujal syn Vilém, který patřil k významným českým šlechticům, a v letech 1402-1408 se po Pihelu psal Vilémův bratr Hynek Zajíc. Před rokem 1421 hrad získal Jan z Chlumu, řečený Kepka, pocházející z blízkého Svojkova. Ten jako voják doprovázel roku 1415 Jana Husa na koncil do Kostnice, cestou se s ním spřátelil a po návratu do Čech působil jako jeden z mála Husových přívrženců v Litoměřickém kraji. Pihel však zřejmě dlouho neudržel, protože již na podzim roku 1421 jej nakrátko dobyli přívrženci krále. V červnu následujícího roku jej sice opět obsadili husité, ale v listopadu 1423 se hradu zmocnil Hynek Hlaváč z Dubé, který jej připojil k lipskému panství. Během těchto bojů byl hrad zřejmě zničen a zároveň s ním mizí i zprávy o Janovi z Chlumu. V popisu panství z roku 1455 se už Pihelský hrad neuvádí a při následujícím dělení berkovského majetku roku 1502 se stal součástí sloupského panství. Zříceniny hradu se údajně dochovaly až do 17. století, ale později byly rozebrány na stavební materiál. K jejich zániku přispělo i lámání kamene v lomu na jihozápadní straně vrchu. Dnes z hradu zůstaly jen nepatrné stopy. Na vrcholku kopce je velká obdélná jáma bývalého sklepení, nad nímž zřejmě kdysi stála hlavní věžová budova. Nižší jihovýchodní výběžek je od vrcholu oddělen mělkou sníženinou, ukončenou těsně nad stěnou lomu nevelkým pozůstatkem zdi a z dolní části hradu se zachovala malá obdélná plošina se zbytky základového zdiva na jihovýchodním nároží. V minulosti byly ve zříceninách nalezeny hroty šípů, Podkovy zvláštního tvaru, železné dveřní závěsy, části brnění a zlomek zbraně. Některé z těchto nálezů bývaly dříve vystaveny v muzeu na hradě Oybin.