Ancienne sépulture celte, au sommet du promontoire granitique se trouve un tumulus couronné de dolmens encore à demi-enterrés. Ces dolmens (dochen en breton) ont donné le nom à la pointe, après francisation en 'la torche'. Au cours de la seconde guerre mondiale, les Allemands construisirent sur la Torche des blockhaus dont l'un d'entre eux est aujourd'hui transformé en poste de secours.