Ia lahir tahun 1856 M di desa Diyangan, Kawedanan, Mertoyudan, Magelang, Jawa Tengah, dari pasangan Kyai Abdur Rahim dan Nyai Salamah. Manab adalah nama kecil beliau dan merupakan putra ketiga dari empat bersaudara. Saat usia 14 tahun, mulailah beliau melanglang dalam menimba ilmu agama dan saat itu beliau berangkat bersama sang kakak (Kiai Aliman).
Pesantren yang pertama beliau singgahi terletak di desa Babadan, Gurah, Kediri. Kemudian beliau meneruskan pengembaraan ke daerah Cepoko, 20 km arah selatan Nganjuk, di sini kurang lebih selama 6 Tahun. Setalah dirasa cukup beliau meneruskan ke Pesantren Trayang, Bangsri, Kertosono, Nganjuk Jatim, disinilah beliau memperdalam pengkajian ilmu Al-Quran. Lalu beliau melanjutkan pengembaraan ke Pesantren Sono, sebelah timur Sidoarjo, sebuah pesantren yang terkenal dengan ilmu Shorof-nya, 7 tahun lamanya beliau menuntut ilmu di Pesantren ini.
Selanjutnya beliau nyantri di Pondok Pesantren Kedungdoro, Sepanjang, Surabaya. Hingga akhirnya, beliau kemudian meneruskan pengembaraan ilmu di salah satu pesantren besar di pulau Madura, asuhan Ulama’ Kharismatik; Syaikhona Kholil Bangkalan. Cukup lama beliau menuntut ilmu di Madura, sekitar 23 tahun. Pada usia 40 tahun, KH. Abdul Karim meneruskan pencarian ilmu di Pondok Pesantren Tebu Ireng, Jombang, Jatim, yang diasuh oleh sahabat karibnya semasa di Bangkalan Madura, KH. Hasyim Asy’ari. Hingga pada akhirnya KH. Hasyim asy’ari menjodohkan KH. Abdul Karim dengan putri Kyai Sholeh dari Banjarmlati Kediri, pada tahun1328 H/ 1908 M. KH. Abdul Karim KH. Abdul Karim menikah dengan Siti Khodijah Binti KH. Sholeh, yang kemudian dikenal dengan nama Nyai Dlomroh.
Pada tahun 1950-an, tatkala KH. Abdul Karim menunaikan ibadah haji yang kedua kalinya -sebelumnya beliau melaksanakan ibadah haji pada tahun 1920-an- kondisi kesehatan beliau sudah tidak memungkinkan, namun karena keteguhan hati akhirnya keluarga mengikhlaskan kepergiannya untuk menunaikan ibadah haji, dengan ditemani sahabat akrabnya KH. Hasyim Asy’ari dan seorang dermawan asal Madiun H. Khozin. Sosok KH. Abdul Karim adalah sosok yang sangat istiqomah dan berdisiplin dalam beribadah, bahkan dalam segala kondisi apapun dan keadaan bagaimanapun, hal ini terbukti tatkala beliau menderita sakit, beliau masih saja istiqomah untuk memberikan pengajian dan memimpin sholat berjamaah, meski harus dipapah oleh para santri. Akhirnya, pada tahun 1954, tepatnya hari senin tanggal 21 Ramadhan 1374 H, KH. Abdul Karim berpulang kerahmatullah, beliau dimakamkan di belakang masjid Lirboyo.
Dua tahun kemudian KH. Abdul karim bersama istri tercinta hijrah ke tempat baru, di sebuah desa yang bernama Lirboyo, tahun 1910 M. Disinilah titik awal tumbuhnya Pondok Pesantren Lirboyo. Kemudian pada tahun 1913 M, KH. Abdul karim mendirikan sebuah Masjid di tengah-tengah komplek pondok, sebagai sarana ibadah dan sarana ta’lim wa taalum bagi santri. Pertama kali menetap di Desa Lirboyo, ia langsung melantunkan adzan. Aneh, selepas itu, semalaman penduduk desa tak bisa tidur karena perpindahan makhluk halus yang lari tunggang langgang.
Perpindahan Kiai Karim ke desa Lirboyo dilatarbelakangi atas dorongan dari mertuanya sendiri yang berharap dengan menetapnya Kiai Karim di Lirboyo akan menjadi tonggak penting syiar Islam di daerah itu. Gayung bersambut, kepala desa Lirboyo juga memohon kepada Kiai Sholeh agar berkenan menempatkan salah satu menantunya di desa Lirboyo. Dengan hal ini diharapkan Lirboyo yang semula angker dan rawan kejahatan menjadi sebuah desa yang aman dan tentram. Benar, selepas Kiai Karim melantunkan adzan, Desa Lirboyo bebas dedemit. Dan, tiga puluh lima hari setelah menempati tanah tersebut, Kiai Karim mendirikan surau mungil nan sederhana. Peristiwa bersejarah ini terjadi pada 1910.
Secara garis besar Kiai Karim adalah pribadi yang sangat sederhana dan bersahaja. Ia juga gemar mela-kukan riyadlah mengolah jiwa alias tirakat. Kealimannya juga mulai terdengar ke luar daerah. Adalah bocah bernama Umar asal Madiun, yang menjadi santri pertama yang menimba ilmu dari Kiai Karim. Kedatangannya disambut baik oleh shahibul bait, karena kedatangan musafir itu untuk menimba pengetahuan agama. Selama nyantri, Umar sangat ulet dan telaten. Ia benar-benar taat pada Kiai.
Selang beberapa waktu ada tiga santri menyusul jejak Umar. Mereka berasal dari Magelang, daerah asal Kiai Karim. Masing-masing bernama Yusuf, Shomad dan Sahil. Tidak lama kemudian datanglah dua orang santri bernama Syamsuddin dan Maulana, yang sama-sama berasal dari Gurah Kediri. Seperti santri sebelumnya, kedatangan kedua santri ini bermaksud untuk mendalami ilmu agama dari Kiai Karim. Akan tetapi baru dua hari saja mereka berdua menetap di Lirboyo, semua barang-barangnya ludes disambar pencuri. Memang pada saat itu situasi Lirboyo belum sepenuhnya aman. Di Lirboyo masih ada sisa-sisa perbuatan tangan-tangan jahil. Akhirnya mereka berdua mengurungkan niatnya untuk mencari ilmu. Mereka pulang ke kampung halamannya.
Tahun demi tahun, Pondok Pesantren Hidayatul Mubtadiin Lirboyo semakin dikenal oleh masyarakat luas dan semakin dibanjiri santri. Maka untuk menghindari hal-hal yang tidak diinginkan seperti yang dialami oleh Syamsuddin dan Maulana, dibentuk-lah satuan keamanan yang bertugas ronda keliling disekitar pondok.
Karena jumlah santri semakin membludak, dan musalla kecil tak lagi representatif, maka timbullah gagasan dari Kiai Karim untuk mendirikan masjid. Semula masjid itu amat sederhana, tidak lebih dari dinding dan atap yang terbuat dari kayu. Namun setelah beberapa lama masjid itu digunakan, bangunan itu mengalami kerapuhan. Bahkan suatu ketika masjid sederhana itu porak poranda disapu angin puting beliung. Akhirnya, KH Muhammad, kakak ipar Kiai Karim, berinisiatif membangun kembali masjid yang telah rusak itu dengan bangunan yang lebih permanen.
Setelah bermusyawarah dan meminta izin pada KH Ma’ruf Kedunglo Kediri, dalam tempo peng-garapan yang tidak terlalu lama, masjid itu sudah berdiri tegak dan megah (pada masa itu) dengan mustakanya yang menjulang tinggi. Dinding serta lantainya terbuat dari batu merah, gaya bangunannya bergaya klasik, yang merupakan perpaduan model arsitektur Jawa kuno dengan Timur Tengah. Peresmian dilakukan pada tanggal 15 Rabi’ul Awwal 1347 H. / 1928 M. Acara itu bertepatan dengan acara ngunduh mantu putri Kiai Karim yang kedua, Salamah dengan KH Manshur Paculgowang Jombang.
Sosok Kiai Karim dikenal sebagai sosok yang sangat istiqomah dan berdisiplin dalam beribadah, bahkan dalam segala kondisi apapun dan ke-adaan bagaimanapun. Hal ini terbukti tatkala menderita sakit, Kiai Karim masih saja istiqomah untuk mem-berikan pengajian dan memimpin shalat berjamaah, meski harus dipapah oleh para santri. Sebagai pengasuh ratusan santri, sikapnya yang kebapakan dan rendah hati, masih lekat diingatan para santri yang masih menangi zamannya.
Pernah, suatu ketika, ada pemuda yang berniat mondok di Lirboyo. Pakaiannya perlente sambil menenteng koper, sebuah penanda kemewahan pada zaman itu. Di gerbang pondok, ia berpapasan dengan orang tua berpenampilan sederhana. Dengan seenaknya ia minta tolong pada orang tua itu untuk membawa-kan kopernya yang berat. “Antarkan aku ke ndalem Kiai Karim,” perintah-nya. Yang dimintai tolong segera mengiyakan. Setelah sampai di rumah kiai, orang tua itu meminta sang pemuda agar menunggu Kiai Karim barang sejenak. Alangkah terperanjatnya pemuda itu saat Kiai Karim muncul dari balik pintu ruang tengah, sebab orang tua yang ia suruh menenteng kopernya itu adalah Kiai Karim! Konon, saking malunya, pemuda perlente tersebut langsung mem-batalkan niatnya mondok di Lirboyo.
Mendung kedukaan menggelayut menaungi Lirboyo, saat Kiai Karim wafat pada 1954. Sepeninggal Kiai Karim, Ponpes Lirboyo dilanjutkan para menantunya, seperti KH Marzuqi Dahlan (adik KH Ihsan Dahlan Jampes, penulis Sirajut Thalibin), KH Mahrus Ali dan KH Jauhari. Adapun menantu yang lain, KH Abdullah mengasuh pesantren Turus Gurah Kediri, KH Manshur Anwar mengasuh pesantren Tarbiyatun Nasyiin Pacolgowang Jom-bang, sedangkan KH. Zaini mengasuh pesantren Krapyak Yogyakarta.
Sekarang, pesantren yang menapak usia seabad ini dihuni sekitar 10 ribu santri. Diasuh secara kolektif oleh para cucu Kiai Karim, seperti KH Idris Marzuqi, KH Anwar Manshur, KH Imam Yahya Mahrus, KH Habibullah Zaini, dll.