Mahrus Ali lahir di dusun Gedongan, kecamatan Astanajapura, Kabupaten Cirebon, Jawa Barat, dari pasangan KH Aly bin Abdul Aziz dan Hasinah binti Kyai Sa’id, tahun 1906 M. Beliau adalah anak bungsu dari sembilan bersaudara. Masa kecil beliau dikenal dengan nama Rusydi dan lebih banyak tinggal di tanah kelahiran. Sifat kepemimpinan beliau sudah nampak saat masih kecil. Sehari-hari beliau menuntut ilmu di surau pesantren milik keluarga. Beliau diasah oleh ayah sendiri, KH Aly dan sang kakak Kandung, Kyai Afifi.
Saat berusia 18 tahun, beliau melanjutkan pencarian ilmu ke Pesantren Panggung, Tegal, Jawa Tengah, asuhan Kyai Mukhlas, kakak iparnya sendiri. Disinilah kegemaran belajar ilmu Nahwu KH. Mahrus Ali semakin teruji dan mumpuni. Selain itu KH. Mahrus Ali juga belajar silat pada Kyai Balya, ulama jawara pencak silat asal Tegal Gubug, Cirebon. Pada saat mondok di Tegal inilah KH. Mahrus Ali menunaikan ibadah haji pada tahun 1927 M.
KH.Mahrus Ali menimba ilmu Pada Kh.Cholil pengasuh pondok pesantren kasingan,Hampir lima tahun menimba ilmu di Pondok Kasingan kemudian Kh.Mahrus Ali minta Izin kepada gurunya untuk pulang kerumahnya . Ketika sampai dirumahnya di Gedongan Kh.Mahrus Ali lagi lagi mendapat sambutan dari para santri dan keluarganya dengan penuh penghormatan . Mereka para santri kagum akan kecerdasan Kh Mahrus Ali dalam memahami Kitab Alfiyah .
Rupanya Allah memberikan Futuh (Pembuka hati & Ilmu ) berkat doa Munajat dan riyadhoh sang Ibu kepada dirinya.
Tak puas dengan bekal ilmu yang dimiliki, Kh Mahrus Ali meminta izin kepada ibunya untuk menimba Imu di Pesantren Lirboyo, Tahun 1936 Kh Mahrus Ali belajar di Lirboyo di bawah asuhan Kh.Abdul karim . Melihat kecerdasan yang dimiliki Kh Mahrus Ali membuat gurunya terkagum kagum dan jatuh hati pada Kh.Mahrus Ali, maka sang Guru meminta kepada Kh Mahrus Ali untuk mau menjadi mantunya. Maka tahun 1938 Kh.Mahrus Ali menikah dengan putri gurunya bernama zainab.
Kh. Mahrus Ali sangat mencintai ilmu maka tak heran Beliau selalu berpindah pindah dari pesantren yang satu kepesantren yang lain , hal ini beliau lakukan sekedar bertabarruk kepada para ulama seperti ke Pondok pesantren tebuireng (Kh.Hasyim asyari), Pondok-Pesantren Watu congol muntilan Magelang(Kh Dalhar) pondok pesantren Langitan tuban dll.
KH.Mahrus Ali juga dikenal sebagai Ulama pejuang yang pemberani , beliau juga ikut serta Pada Pertempuran 10 Nopember 1945 melawan tentara sekutu di Surabaya. H. Mahfudz seorang Komandan Peta (pembela tanah air ) yang mula-mula menyampaikan berita gembira tentang kemerdekaan Indonesia itu kepada KH. Mahrus Ali, lalu diumumkan kepada seluruh santri lirboyo dalam pertemuan diserambi masjid. Dalam pertemuan itu pula, para santri lirboyo diajak melucuti senjata Kompitai Dai Nippon yang bermarkas di Kediri (markas itu kini dikenal dengan dengan Markas Brigif 16 Brawijaya Kodam Brawijaya) .
Tepat pada jam 22.00 berangkatlah para santri Lirboyo sebanyak 440 menuju ke tempat sasaran dibawah komando KH. Mahrus Ali dan Mayor H Mahfudz. Sebelum penyerbuan dimulai, seorang santri yang bernama Syafi’I Sulaiman yang pada waktu itu berusia 15 tahun menyusup ke dalam markas Dai Nippon yang dijaga ketat. Maksud tindakan itu adalah untuk mempelajari dan menaksir kekuatan lawan. Setelah penyelidikan dirasa sudah cukup, Syafi’i segera melapor kepada KH. Mahrus Ali dan Mayor H Mahfudz. Saat-saat menegangkan itu berjalan hingga pukul 01.00 dini hari dan berakhir ketika Mayor Mahfudz menerima kunci gudang senjata dari komandan Jepang yang sebelumnya telah diadakan diplomasi panjang lebar. Dalam penyerbuan itu , gema Takbir “Allohuakbar ” berkumandang menambah semangat juang para Santri , aroma Surga dan Mati syahid telah mereka rindukan, pada akhirnya penyerbuan itu sukses dengan gemilang.
Selang beberapa lama, Mayor H.Mahfudz melapor kembali kepada Kyai Mahrus Ali di Lirboyo bahwa Tentara sekutu yang memboncengi Belanda hendak mendarat di surabaya,pasukan itu akan kembali menjajah Indonesia yang sudah merdeka.
Mendengar itu Spontan Kyai Mahrus Aly mengatakan bahwa kemerdekaan harus kita pertahankan sampai titik darah penghabisan. Kemudian KH. Mahrus Ali mengintruksikan kepada santri lirboyo untuk berjihad kembali mengusir tentara Sekutu di Surabaya.
Maka dipilihlah santri-santri yang tangguh untuk dikirim ke Surabaya untuk bergabung dengan Mujahid lainya. Dengan gagah KH.Mahrus Ali berangkat bersama dengan para santri santri Lirboyo untuk berjuang merampas kembali kemerdekaan Indonesia.
Ketika Belanda melancarkan Agresi militer kedua,Kyai Mahrus kembali menurunkan santrinya di medan pertempuran. Kyai yang terkenal dengan pasukan berani mati ini wafat Hari senin Tanggal 06 Ramadlan 1405 H atau 26 Mei 1985, dalam usia 78 tahun,dan dimakamkan di pemakaman keluarga di Lirboyo.
