Некоторые историки, например, белорусский историк-медиевист, археолог А. К. Кравцевич, относят Малую церковь к храмам XII в. Первое письменное свидетельство о ней мы находим в фальсификате привилея великого князя литовского Витовта на права и свободы гродненских евреев 1389 г., который был составлен в первой половине XVI столетия. Историк архитектуры Е. Д. Квитницкая следующим образом определяет местоположение Малой церкви: одной стороной своего участка она граничила с землями Фарного костела, другой — с кагальными еврейскими кварталами, третьей и четвертой — с городскими улицами. Исследователи предполагают, что именно эта церковь изображена на гравюре Г. Адельгаузерa и М. Цюндтa 1568 г., между холмом, занятым Королевским домом, и Пречистенской церковью. Согласно гравюре, это была небольшая по объему, однонефная каменная церковь, крытая двухскатной крышей, увенчанной одной главой.
Королевские ревизоры, которые в 1680 г. составили список владельцев недвижимого имущества города и застройки городских площадей, зафиксировали факт уничтожения Малой церкви в ходе военных действий между Польшей и Россией в XVII в. В этом же инвентаре содержится упоминание о землях Малого поповского православного монастыря, которые располагались рядом с ул. Подола (сейчас это район пожарной каланчи). Это дает повод предполагать, что Малая церковь принадлежала этому монастырю.
В середине XVIII в., согласно плану города 1753 г., Малая церковь стала принадлежать униатской церкви.
В последние десятилетия XVIII в. Малая Церковь окончательно исчезает со страниц исторических документов. Последнее упоминание о ней относится к 1783 г., когда на ее площадях началось возведение королевской канцелярии и конюшен.