Se colocó la primera piedra el día de San José de 1882. Como los ahorros previstos no fueron suficientes, el nuevo Obispo, Cascajares, planteó un empréstito entre los feligreses. El edificio fue inaugurado por el tercer Obispo, Rancés, en octubre de 1887.

  Este amplio caserón, de notable valor arquitectónico y estético, se quedó pequeño en los años de la posguerra civil, lo que obligó a trasladar provisionalmente parte de la comunidad estudiantil a la casa del Instituto Popular de la Concepción, en la calle de la Mata.

    Como, por otra parte, la calle de Alarcos, paso normal al parque Gasset, resultaba ya demasiado ruidosa, el obispo Echeverría se decidió a levantar una nueva sede en la que se reuniera de nuevo toda la comunidad estudiantil y gozara de la paz conveniente para su vida y trabajo.

Se escogió un lugar próximo a la carretera de Porzuna, y se colocó la primera piedra en 1954, año de las bodas de oro sacerdotales del obispo, que murió el mismo año. Continuó las obras su sucesor Hervás y el edificio, sin terminar del todo, pudo acoger ya en 1960 a los primeros alumnos que estaban en el Instituto Popular de la Purísima Concepción, y en 1961 a la totalidad de los seminaristas. Al quedar sin terminar el nuevo edificio y hacerse necesarias adaptaciones para acomodarlos a las necesidades sociales y educativas actuales, se han realizado en estos últimos cuatro años (años 1994-98) las obras de remodelación.