Konwent założony w 1892 r. przez św. Rafała Kalinowskiego, pomyślany jako dom zakonny z alumnatem. W 1952 r. władze państwowe zabrały część budynku, przeznaczając go na szpital rejonowy. W roku 1981 Niższe Seminarium uzyskało prawa państwowe. Prywatne Liceum Ogólnokształcące restytuowano przy nim w 1991 r. W roku 1997 zamknięto Niższe Seminarium.

Budynek funkcjonował jako Liceum Ogólnokształcące Karmelitów Bosych z internatem aż do roku 2004. Po generalnym remoncie na miejscu Liceum powstał Dom Rekolekcyjno-Pielgrzymkowy. Kościół św. Józefa - od marca 2004 r. noszący rangę sanktuarium – jest także ośrodkiem kultu Matki Bożej Szkaplerznej, św. Rafała Kalinowskiego i bł. Alfonsa Mazurka.