El Arzobispo mandó poblar la zona con árboles frutales y viveros de peces para el abastecimiento de las religiosas. Contando por tanto con la que puede ser una de las primeras piscifactorias de la historia, en cuyo recuerdo se erige en 1953 un monolito en el núcleo de Torrente, cuya inscripción dice:
“A Don Diego Xelmirez, que mandó construir en el año 1129 un criadero de pescados para que las aguas del río tuvieran para el común una riqueza tan importante para la vida de las clases humildes como es la piscícola”.
Servicio Nacional de Pesca Fluvial. Ministerio de Agricultura.
Las monjas habitaron el Monasterio hasta finales del siglo XV momento en el que se trasladaron a San Pelayo de Antealtares debido a la reforma monacal realizada en tiempos de los Reyes Católicos.
El Monasterio queda abandonado unos años pasando a ser habitado por unos monjes de la Orden de los Mercedarios, recibiendo el nombre de Merced de Conxo. Con el paso de los años llegará a ser uno de los Conventos Mercedarios más ricos de España. Los monjes alargaron su estancia en el Monasterio hasta el siglo XIX, momento de la Desamortización en España, mudándose a Poio (Pontevedra).
A partir de aquí se barajan varios proyectos para el Monasterio entre ellos su derrumbe. Entre 1883 y 1885 el Cardenal Payá manda construir un hospital para enfermos mentales inaugurado el 1 de Julio de 1885. El recinto pronto quedará escaso por lo que se necesitará ampliar. En 1902 es inaugurado el nuevo edificio, anexo a la parte antigua.
