Według mugolskiej legendy, Rock of Cashel zostało stworzone przez Szatana, który przelatywał nad tym miejscem z głazem w paszczy. Gdy zobaczył, że właśnie w tym miejscu św. Patryk pragnie wybudować świątynie, upuścił głaz na ziemię i w taki sposób powstało to miejsce. Jednakże i w historii świata magii góra znalazła swoje miejsce, bowiem zanim została zajęta przez mugolskie władze religijne, było to centrum alchemików, którzy w tamtych czasach nazywani byli druidami.
Obecnie na wzgórzu znajduje się kompleks budowli chrześcijańskich, które służą już tylko jako atrakcja turystyczna dla zwiedzających Irlandię, bowiem większość budynków została zniszczona w 1647 roku. Na ten kompleks składają się między innymi dwunastowieczna Kaplica Cormaca, piętnastowieczna Sala Kantorów, wybudowana w gotyckim stylu Wieża Środkowa oraz Okrągła Wieża, która jest najstarszą budowlą na Rock of Cashel. Można tam znaleźć także stary, celtycki krzyż.