O pazo constrúeo, en 1511, a familia Díaz Varela no lugar de Rosende. Un dos descendentes, Carlos Recarey Díaz Varela, chega a ocupa-lo virreinato de México, e retorna á súa terra para ocupar cargos públicos, como recadador real e gobernador en Lugo, ampliando a edificación inicial a finais do século XVIII.

A familia Díaz Varela tivo unha significada presencia no mundo da cultura. Entre os últimos moradores da casa cómpre destacar a Roberto Díaz Varela, director do xornal A Mariña na Habana, Dalmiro de la Válgoma y Díaz Varela, historiador en Monforte e secretario perpetuo da Academia Nacional de Historia e Elena Quiroga, unha das grandes escritoras de Galicia e académica da lingua.

En 2005, a casa sufre un espectacular inciendio forzandoa súa restauración. Por suposto, con todo o coidado e coa máxima precisión ao modelo anterior. Entre na páxina “Amigos da Casa Grande Rosende” (en castelán).