Yapının, Saltuklu Emîri Muzafferüddin Gazi (1124-1132) tarafından, aynı dönemde inşa edilen Tepsi Minare ile birlikte yaptırıldığı değerlendiriliyor. Yaklaşık 150 kişilik kapasiteye sahip olan Kale Mescidi, 8,95 x 9,76 metre ölçülerinde, kareye yakın bir plan üzerine kurulmuş durumda. Mescidin harim bölümü, L şeklinde düzenlenmiş iki ayakla tanımlanıyor.

Mimari açıdan Anadolu'da eşine az rastlanan bir yapıya sahip olan Kale Mescidi, yüksek kasnak üzerine oturan ve içten küçük bir kubbe ile örtülü oluşuyla dikkat çekiyor. Sade tasarımıyla öne çıkan mescitte, yalnızca mihrap süslemelidir; geri kalan tüm yapı tamamen kesme taş kullanılarak inşa edilmiştir.

Mescitte ilk namazın ne zaman kılındığına dair net bir bilgi bulunmasa da, en son toplu namaz 12 Mart 2016 tarihinde büyük bir katılımla gerçekleşti. “Yeniden Dirilmek İçin 12 Mart Sabah Namazında Erzurum’un İlk Mescidinde, Kale İçinde Buluşalım” sloganıyla düzenlenen etkinlikte yaklaşık 3 bin kişi sabah namazı için bir araya geldi.

Kale Mescidi, tarihsel ve manevi önemiyle Erzurum’un kültürel kimliğini yansıtan nadide yapılardan biri olarak bugün de varlığını koruyor.