Medrese; Sultan Veled Caddesi üzerinde, Nuriye Camii’nin güneydoğu bitişiğindeki Nuriye-i Kebir Medresesiyle yan yana, fakat ayrı bir avlu içinde idi. Önce halk tarafından eğitim hayır eseri olarak yaptırılan medrese, 1894 yılında Müsevvit Hacı Halil Efendi tarafından Nuriye Camii ile birlikte yeniden inşa ettirilmiştir. Yaptıran ve müderrislerinden dolayı medreseye, değişik adlar verilmiştir. Küçük Nuriye anlamında Nuriye-i Sagir, Kürt Hacı Halil, Kurdoğlu, Keleşzade Medresesi verilen adlardan bazılarıdır.
Medrese mimari olarak, düz, toprak damlı, tek bodrum katlıdır. Kapıları, ortadaki medrese avlusuna açılan hücrelerden oluşmakta; avlu ortasında bir havuz bulunmaktadır. Medrese odalarının girişinde, üstü örtmeli birer sundurma vardır. Bu sundurma, tek odanın penceresi önünde açık havaya çıkılan balkon gibidir. Oda altı, odunluk-kömürlük olarak kullanılmaktadır. Girişten sonra odalar, avlunun doğu, güney ve batı taraflarına sıralanmış; cami tarafına oda yapılmamıştır.
Medresede 1883’ten itibaren talebe okutulmuş; 1901 ve 1903’te on sekiz talebe öğrenim görmüştür. 1914’teki talebe miktarı, yirmi ikidir. Medrese, 1920-1923 yılları arasında, bir kısım Darülhilafe talebesine yurt hizmeti de vermiştir. 1922’de talebelerinin yanı sıra medrese camiinde de halka açık dersler verilmektedir.
Medresenin bilinen müderrisleri; Müsevvit Hacı Halil Efendi (ö. 1920), Bergamalı Hacı Hasan Efendi (1867-1940), Çopur Mustafa Efendi (1856-1948)’dir.
Medreselerin kapatılmasından sonraki yıllarda, medresenin talebe hücrelerinde, Doğu Anadolu’dan ve Bulgaristan’dan gelen göçmenler barındırılmıştır.
Yol tarafından, belediyece bir kısmı yıktırılan medrese ve arsası, Özel İdare’ce 1930’lu yıllarda satılmış; böylelikle, bir vakıf eser olan Nuriye arsası, özel mülkiyete geçmiştir. Kalıntıları 1950’lere kadar gelen medresenin yeri, günümüzde mülk ev olarak kullanılmaktadır. Neticede, medrese yok olsa da ihya edilen camisi, Nuriye adıyla hâlen hizmet vermektedir.