Aunque diferentes vestigios arqueológicos demuestran la existencia de asentamientos humanos primitivos, una de las épocas más relevantes de este municipio se circunscribe a la actual parroquia de Bretoña, en el siglo V. Diversos autores defienden la existencia en esta zona de una sociedad cristiana procedente de la Bretaña. Se cree que fueron ellos los que fundaron un obispado bretón.En la baja Edad Media, estas tierras fueron propiedad del cabildo mindioniense, de los monasterios de Meira y Lourenzá y del conde de Lemos.En el siglo XIX destaca la cruenta batalla que los pastoricenses protagonizaron contra las tropas de Napoleón en la sierra de Carracedo.

El patrimonio artístico de Pastoriza destaca por sus numerosos cruceiros, capillas e iglesias rurales que salpican todo el término municipal. El templo de Bretoña se considera cuna de la diócesis de Mondoñedo-Ferrol, porque fue la antigua sede episcopal Britoniensis hasta el siglo VIII.En la laguna de Fonmiñá, nacimiento del río Miño, hay un monumento y un cruceiro, obras de Paz Picallo y Manuel Mayo, respectivamente.