A história de Castelo Bom perde-se no tempo. Apesar de, provavelmente, as terras que hoje compõem a freguesia terem já sido ocupadas pelos mesmos povos a que pertencem as gravuras de Foz Côa, o primeiro vestígio fidedigno da ocupação humana de Castelo Bom data da Idade do Bronze, como atesta a espada da Idade do Bronze aqui encontrada e exposta no Museu da Guarda, foi disputada por portugueses, mouros, leoneses e castelhanos, até passar definitivamente para mãos portuguesas através do Tratado de Alcanizes em 1297. O seu castelo, construído pelos Leoneses, foi, pela sua localização numa zona de fronteira sempre tensa, uma das principais praças-fortes, quer do domínio leonês no séc. XII, até ao século XIX. Recebeu foral português a 8 de novembro de 1296, por D. Dinis, e Foral Novo em 1510, por D. Manuel I. Ambos os monarcas ordenaram reparações no castelo. Durante a Guerra da Restauração (1640-1668) defendeu o País e serviu de refúgio aos Governadores da Beira. Em agosto de 1810, durante a 3ª invasão Francesa, foi invadida e saqueada, tendo o seu castelo sido severamente afetado. A população, com medo das tropas francesas, refugiou-se junto ao rio Côa, de onde assistiram à destruição da sua vila, sem nada poderem fazer. Porém, antes de partir, o povo terá escondido os haveres mais preciosos da Igreja, escavando um buraco numa humilde casa da aldeia, conseguindo salvá-los. No final da invasão, quando o povo voltou à aldeia, o cenário era desolador: as colheitas estavam destruídas, o vinho tinha sido vertido das pipas, a vila estava sem defesas e o riquíssimo acervo do Arquivo Municipal tinha sido incendiado. Os anos seguintes foram de fome e sofrimento para todos em Castelo Bom, que nunca mais viria a conhecer a prosperidade de outrora.