Каменные монастырские здания и костел были возведены в 1736–1765 гг. Трехнефный костел Воздвижения Святого Креста был обращен алтарем на запад, а его фасад украшен статуями и галереей с коваными решетками.

Кармелитский монастырь просуществовал до 1845 года, затем он был упразднен, а здания переданы военному ведомству. В 1881 году они перешли в собственность города для устройства казарм. В начале 1901 года в связи с заменой ссылки в Сибирь тюремным заключением перед российскими властями возник вопрос строительства новых тюрем, и одна из них должна была открыться в Гродненской губернии. Выбор пал на здание бывшего Кармелитского костела. Но в 1902 году здание было признано непригодным для устройства тюрьмы. В 1904–1906годов по проекту гродненского губернского инженера В. Небольсина из бывшего Кармелитского костела и монастыря были устроены казармы Гродненского крепостного батальона. При этом разобрали костел с его великолепным фасадом до самых сводов крипты. Так навсегда исчез уникальный памятник позднего белорусского барокко, один из неповторимых архитектурных ансамблей Гродно. Сегодня здесь находится офис «Приорбанка», а в бывших казармах – жилой дом.