Muadz bin Jabal bin Amr bin Aus al-Khazraji, dengan nama julukan “Abu Abdurahman”, dilahirkan di Madinah. Ia memeluk Islam pada usia 18 tahun, Ia mempunyai keistimewaan sebagai seorang yang sangat pintar dan berdedikasi tinggi. Dari segi fisik, ia gagah dan perkasa. Allah juga mengaruniakan kepadanya kepandaian berbahasa serta tutur kata yang indah, Muadz termasuk di dalam rombongan yang berjumlah sekitar 72 orang Madinah yang datang berbai’at kepada Rasulullah. Setelah itu Muadz kembali ke Madinah sebagai seorang pendakwah Islam di dalam masyarakat Madinah. Ia berhasil mengislamkan beberapa orang sahabat yang terkemuka seperti misalnya Amru bin Al-Jamuh.
Pada waktu Nabi Muhammad berhijrah ke Madinah, Muaz senantiasa berada bersama dengan Rasulullah sehingga ia dapat memahami Al-Qur’an dan syariat-syariat Islam dengan baik. Hal tersebut membuatnya di kemudian hari muncul sebagai seorang yang paling ahli tentang Al-Qur’an dari kalangan para sahabat. Ia adalah orang yang paling baik membaca Al-Qur’an serta paling memahami syariat-syariat Allah. Oleh sebab itulah Rasulullah memujinya dengan bersabda, “Yang kumaksud umatku yang paling alim tentang halal dan haram ialah Muaz bin Jabal.” (Hadist Tirmidzi dan Ibnu Majah). Ia meriwayatkan hadist dari Abdullah bin Abbas, Abdullah bin Umar dan meriwayatkan darinya ialah Anas bin Malik, Masruq, Abu Thufail Amir bin Wasilah. Selain itu, Muadz merupakan salah satu dari enam orang yang mengumpulkan Al-Qur’an pada zaman Rasulullah.
Setelah kota Makkah didatangi oleh Rasulullah, penduduk Makkah memerlukan tenaga-tenaga pengajar yang tetap tinggal bersama mereka untuk mengajarkan syariat agama Islam. Rasulullah lantas menyanggupi permintaan tersebut dan meminta supaya Muaz tinggal bersama dengan penduduk Makkah untuk mengajar Al-Qur’an dan memberikan pemahaman kepada mereka mengenai agama Allah. Sifat terpuji beliau juga jelas terlihat manakala rombongan raja-raja Yaman datang menjumpai Rasulullah guna meng-isytihar-kan keislaman mereka dan meminta kepada Rasulullah supaya mengantarkan tenaga pengajar kepada mereka. Begitupun maka Rasulullah memilih Muaz untuk memegang tugas itu bersama-sama dengan beberapa orang para sahabat.
Rasulullah Shallallahu alaihi wassalam mempersaudarakanya dengan Abdullah bin Mas’ud. Nabi mengirimnya ke negeri Yaman untuk mengajar, memberikan pengetahuan agama dan mendidik sampai hapal al-Quran kepada penduduk Yaman. Rasulullah mengantarnya dengan berjalan kaki sedangkan Mu’adz berkendaraan, dan Nabi bersabda kepadanya: ” Sungguh, aku mencintaimu“.
Lantas beliau mewasiatkan kepada Muadz dengan bersabda : “Wahai Muadz! Kemungkinan kamu tidak akan dapat bertemu lagi dengan aku selepas tahun ini“, Kemudian Muadz menangis karena terlalu sedih untuk berpisah dengan Rasulullah Shallalahu alaihi wassalam. Selepas peristiwa tersebut ternyata Rasulullah wafat dan Muadz tidak lagi dapat melihatnya.
Muadz sangat terpukul atas berpulangnya Rasulullah Shallallahu alaihi wassalam. Ia bahkan menangis tersedu-sedu selama beberapa saat. Namun ia segera menyadari tanggung jawab dakwah di pundaknya. Ia senantiasa menjaga ghirah (semangat) keislamannya agar tidak surut. Setelah Umar bin Khattab dilantik menjadi khalifah, ia mengutus Muaz untuk mendamaikan pertikaian yang terjadi di kalangan Bani Kilab. Ia pun sukses menjalankan misi itu.
Pada zaman pemerintahan Khalifah Umar pula, gubernur Syam (sekarang Mesir) mengirimkan Yazid bin Abi Sofian untuk meminta guru bagi penduduknya. Lalu Umar memanggil Muaz bin Jabal, Ubaidah bin As-Somit, Abu Ayub Al-Ansary, Ubai bin Kaab dan Abu Darda’ dalam satu majelis. Khalifah Umar berkata kepada mereka : “Sesungguhnya saudara kamu di negeri Syam telah meminta bantuan daripada aku supaya mengantar siapa saja yang dapat mengajarkan Al-Qur’an kepada mereka dan memberikan pemahaman kepada mereka tentang agama Islam. Oleh karena itu bantulah aku untuk mendapat tiga orang dari kalangan kamu semoga Allah merahmati kamu. Sekiranya kamu ingin membuat pengundian, kamu boleh membuat undian, jika tidak aku akan melantik tiga orang dari kalangan kamu.”
Lalu mereka menjawab : “Kami tidak akan membuat pengundian dengan memandang bahwa Abu Ayub telah terlalu tua, sedang Ubai pun senantiasa mengalami kesakitan, dan yang tinggal hanya kami bertiga saja.” Kemudian Umar berkata kepada mereka : “Kalian mulailah bertugas di Hims, sekiranya kamu suka dengan keadaan penduduknya, bolehlah salah seorang diantara kamu tinggal di sana. Kemudian salah seorang daripada kamu hendaknya pergi ke Damsyik, dan seorang lagi pergi ke Palestina.”
Lalu mereka bertiga keluar ke Hims dan mereka meninggalkan Ubaidah bin As-Somit di sana, Abu Darda’ pergi ke Damsyik. Muaz bin Jabal terus berlalu pergi ke negara Urdun. Muaz bin Jabal berada di Urdun pada saat negeri tersebut tengah terserang wabah penyakit menular.
Mu’adz bin Jabal wafat tahun 18 H ketika terjadi wabah hebat di Urdun tersebut, waktu itu usianya 33 tahun .