Aínda que diferentes vestixios arqueolóxicos demostran a existencia de asentamentos humanos primitivos, unha das épocas máis relevantes deste municipio circunscríbese á actual parroquia de Bretoña, no século V. Diversos autores defenden a existencia nesta zona dunha sociedade cristiá procedente da Bretaña. Crese que foron eles os que fundaron un bispado bretón. Na baixa Idade Media, estas terras foron propiedade do cabido mindioniense, dos mosteiros de Meira e Lourenzá e do conde de Lemos. No século XIX destaca a cruenta batalla que os pastoricenses protagonizaron contra as tropas de Napoleón na serra de Carracedo. 

O patrimonio artístico da Pastoriza destaca polos seus numerosos cruceiros, capelas e igrexas rurais que salpican todo o termo municipal. O templo de Bretoña considérase berce da diocese de Mondoñedo-Ferrol, porque foi a antiga sede episcopal Britoniensis ata o século VIII. Na lagoa de Fonmiñá, nacemento do río Miño, hai un monumento e un cruceiro, obras de Paz Picallo e Manuel Maio, respectivamente.