Karatay’a bağlı Göçü köyünde doğdu. Babası Hacı Mahmut Efendi, annesi Leyla Hanım’dır. Köprübaşı İlkokulu (1957) ve Konya İmam Hatip Lisesinin (1967) ardından 1971 yılında pekiyi derece ile Konya Yüksek İslam Enstitüsünü bitirdi.
Diyanet teşkilatında görev alarak Doğanhisar ve Akşehir vaizliklerinde bulundu. 1963 yılında evlendi. Bursa-Gemlik’teki vatani görevi (1973-1974) sonrası Kıbrıs’a atandı. Bilahare Suudi Arabistan’da Abdülaziz Üniversitesinde çalıştı (1979-1980).
Sosyal hayatta da oldukça faal olan Küçük, sırasıyla Millî Türk Talebe Birliği, Yüksek İslam Enstitüleri Federasyonu, Konya Yüksek İslam Enstitüsü Talebe Cemiyeti, Kızılay, Türk Hava Kurumu, Yeşilay, Türk Anadolu Vakfı ve Hayra Hizmet Vakfı gibi kuruluşların yönetim kurulu üyelik ve başkanlarında bulundu. Türkiye İmam Hatipliler Vakfı’nı kurup genel başkanlığını yaptı.
1983-1991 yılları arasında il başkanlığını yaptığı ANAP listesinden XVIII. Dönemde Konya milletvekili seçildi. Parlamentoda çeşitli komisyonlarda görev aldı.
30 Mayıs 1997 tarihinde vefat ettiği ve Üçler Mezarlığı’na defnedildi.
Arapça, Farsça ve Fransızca bilen Küçük’ün Ferahnur (Büyükpastırmacı), Ahmet Sami ve Leyla Betül adlarında iki kızı ile bir oğlu vardır.