Yörük asıllıdır. Çorum’un Osmancık ilçesinde, Kızılırmak Nehri kenarında bir çadırda doğmasına rağmen, Samsun’un Vezirköprü ilçesi nüfusuna kayıtlıdır. Çukurova Bölgesi’nde, “Aydınlı” diye tanınan Saçıkara aşiretine mensup olan ailesi 1950 yılında, Konya’nın Kadınhanı ilçesine bağlı Saçıkara köyüne yerleşti.
Çocukluğu koyun, kuzu ve deve güderek geçtiğinden okula gidemedi. On-on iki yaşlarında iken ağabeyinden okuma-yazmayı öğrendikten sonra okuduğu Karacaoğlan, Âşık Kerem, Sürmeli Bey, Şah İsmail, Şahmeran gibi kitapların etkisinde kalarak şiirler söylemeye başladı. Şiirlerinde göçebe kültürünün bütün zenginlikleri görülen Âşık Ali’nin dili sade, akıcı ve işlektir. Mahallî atasözü, deyim, kelimelerle orijinal benzetmelerin bolca kullanıldığı şiirlerinde “Âşık Ali” ve “Ali” mahlaslarını kullandı.
1957 yılında Emine Hanım’la evlenen Karabacak’ın, yedi çocuğundan oğulları Mestan, Karamanoğlu Mehmet Bey Üniversitesinde, Ali Karabacak da Selçuk Üniversitesinde öğretim üyesi olarak görev yapmaktadır.
1978 yılında vefat eden Âşık Ali üzerine ilk yayını Yurdanur Sakaoğlu yapmıştır. Sakaoğlu, Millî Kültür dergisinde yayımladığı “Çağdaş Bir Âşık: Ali Karabacak ve Telmih Sanatı” adlı makalesinde âşığı tanıtarak şiirlerinde sıkça kullandığı telmih sanatını örneklerle göstermiştir (Sakaoğlu, 1978, 84-90). Son yıllarında, oğlu Mestan Karabacak’ın gayretleriyle Yörtürk dergisinde birkaç şiiri yayımlandı. Oğlu Mestan Karabacak’ın hazırladığı Âşık Ali Karabacak/Hayatı-Sanatı-Şiirleri (Karaman 2001) adlı kitap, üzerine yapılan en kapsamlı çalışmadır.