Монастырь основан в 1624 году красносельским старостой Андреем Консовским и его братом Яном. Первая — деревянная — церковь монастыря была отстроена в 1630-х годах, однако сгорела вместе со всеми другими постройками в пожаре 1644 года.

В 1652 году в монастыре отстроены каменный Храм Святого Иосифа Избранника Пресвятой Марии Девы и монастырский корпус. Монастырский комплекс несколько раз горел в пожарах (1656, 1740, 1835 гг.), однако каждый раз реставрировался и перестраивался. Наиболее основательная перестройка была осуществлена в 1752 году: архитектурные формы монастырских зданий приобрели черты барокко.

К концу XVIII — началу XIX веков монастырь бернардинцев занимал целый квартал, ограниченный улицами Большой и Малой Бернардинскими, Зыбитской и площадью Верхнего рынка. Ансамбль монастыря состоял из храма с пристроенным к нему братским корпусом и прочих каменных и деревянных строений, в том числе трапезной, школы, госпиталя, конюшни, пивоварни. Монастырь был обнесен высокой каменной оградой с несколькими воротами, главные из которых располагались перед церковью.

В настоящее храм представляет собой тип трехнефной без башенной базилики. Центральный неф, более высокий, накрыт двухскатной кровлей и завершается значительно выступающей трехстенной апсидой. Боковые — несколько ниже, решены в виде отдельных каплиц, перекрытых крестовыми сводами, накрыты односкатными кровлями. Интересно решен главный западный фасад храма, где сосредоточены основные декоративные элементы. Фасад имеет значительную выпуклую плоскость. Его центральная часть, соответствующая центральному нефу, выделена высокими пилястрами со своеобразными капителями и завершена щитом плавного абриса с двумя валютами по бокам. Боковые части декорированы двумя нишами, где первоначально была установлена скульптура. Главный вход представлен широким порталом, над которым расположено большое трах лепестковое окно. Боковые фасады решены более скромно, они декорированы пилястрами, между которыми расположены оконные проемы.

В 1860-е годы монастырь был упразднён, здание конфисковано у церкви в 1864 году за участие верующих в восстании. Бывшая Церковь Святого Иосифа реставрировалась в 1983 года. В нескольких сохранившихся корпусах монастыря до последнего времени располагались военные комендатура и прокуратура..

Монастырь планируется переоборудовать под гостиничный комплекс.