Mughirah bin Syu'bah berasal dari Bani Tsaqif di Thaif. Tetapi tidak seperti kebanyakan kaumnya yang dengan gencar memusuhi Nabi SAW dan Islam, bahkan ketika Makkah telah ditaklukkan, ia justru meninggalkan kota kelahirannya tersebut menuju Madinah untuk memeluk Islam, tidak lama setelah terjadinya Perang Uhud. Walaupun selama masa jahiliahnya ia memiliki sikap yang kurang terpuji, tetapi pergaulannya dengan Nabi SAW dan para sahabat lainnya membentuk dirinya menjadi sosok berkepribadian baik dan sangat mencintai Nabi SAW.
Mughirah ikut serta dalam rombongan umrah Nabi SAW yang gagal, yakni yang berakhir dengan Perjanjian Hudaibiyah. Ketika itu utusan kaum kafir Quraisy, Urwah bin Mas'ud ats Tsaqafi, sedang berbincang dengan Rasulullah SAW tentang maksud kunjungan beliau ke Makkah. Seperti kebiasaan kaum Arab, sambil berbicara tersebut Urwah berusaha untuk memegang jenggot Nabi SAW. Tetapi saat itu Mughirah berdiri di dekat beliau, setiap kali Urwah mengulurkan tangan untuk memegang janggut Nabi SAW, Mughirah memukulkan sarung pedangnya ke tangan Urwah sambil berkata, "Undurkan tanganmu dari jenggot Rasulullah SAW!"
"Siapakah orang ini?" Tanya Urwah.
Saat itu Mughirah memang mengenakan baju besinya sehingga hanya tampak dua bola matanya saja. Ketika dijawab sahabat lainnya bahwa ia adalah Mughirah bin Syu'bah, Urwah segera berkata, "Hai pengkhianat, bukankah aku telah berusaha untuk membelamu atas pengkhianatanmu itu?"
Di masa jahiliahnya, Mughirah memang pernah dipercaya untuk mengawal suatu kaum, tetapi ia malah membunuh mereka semua dan mengambil harta mereka. Dan saat itu Urwah bin Mas'ud memang berpihak pada Mughirah, dan membela sikapnya tersebut dengan berbagai macam argumerntasi.
Nabi SAW kemudian bersabda, "Aku telah menerima keislamannya. Sedang urusan harta yang engkau bicarakan itu, aku tidak ikut campur tangan sedikitpun."
Urwah pun tidak bisa berkutik dengan pembelaan Nabi SAW tersebut. Apalagi ia melihat dengan matanya sendiri, bagaimana kokohnya kecintaan para sahabat kepada Nabi SAW dan kepada sesama muslim lainnya. Ketika Nabi SAW meludah, mereka berebut untuk menadahinya dengan tangannya. Kala beliau memerintahkan sesuatu, mereka berebut melaksanakannya. Tidak ada yang berani bersuara keras, dan mereka juga berebut air bekas wudlu beliau. Dalam kondisi seperti itu, sama saja ia bunuh diri kalau terus saja menghujat Mughirah atas perbuatannya di masa lalu.
Mughirah bin Syu'bah juga dipercaya Nabi SAW untuk menulis wahyu-wahyu yang turun. Ia juga pernah diperintahkan untuk menulis suratbalasan yang dikirimkan beliau ke Uskup Najran, untuk mengajaknya untuk memeluk Islam.
Beberapa bulan berlalu setelah Perang Hunain dan perang Thaif, ketika itu ia sedang menggembalakan unta tunggangan Nabi SAW dan para sahabat lainnya di luar Kota Madinah, tampak rombongan bani Tsaqif dari daerah Thaif, yang sebagian dari mereka adalah kerabatnya, berjalan menuju kota Madinah. Mughirah bergegas menuju masjid untuk memberitahukan Nabi SAW akan kedatangan mereka, tetapi ia bertemu Abu Bakar, dan Abu Bakar memintanya untuk tidak mengatakan kepada Nabi SAW sebelum dirinya, dan ia menerima saran Abu Bakar tersebut.
Kedatangan mereka ini karena dibayang-bayangi ketakutan akan diperangi Nabi SAW setelah mereka melakukan pembunuhan kepada Urwah bin Mas’ud, salah satu tokohnya yang telah memeluk Islam. Setelah diterima Nabi SAW, orang-orang bani Tsaqif yang dipimpin oleh Abd Yalil ini menyatakan bersedia masuk Islam, tetapi mereka minta pada beliau untuk diperbolehkan melakukan beberapa hal, seperti zina, minum khamr dan menarik/memakan riba, serta dibebaskan dari kewajiban shalat. Tentu saja semua persyaratan ditolak mentah-mentah oleh beliau.
Mereka juga sempat meminta agar diijinkan tetap menyembah berhala dalam beberapa tahun, tetapi sekali Nabi SAW menolaknya. Begitu juga ketika mereka memintanya hanya untuk beberapa bulan, minggu dan hari, Nabi SAW tetap menolaknya. Pada akhirnya mereka meminta agar tidak disuruh menghancurkan berhala-berhala sembahan mereka dengan tangan mereka sendiri. Maka Nabi SAW menerima persyaratan ini, dan beliau mengirimkan Mughirah dan Abu Sufyan bin Harb (dalam riwayat lain, sekelompok sahabat yang dipimpin Khalid bin Walid, Mughirah salah satu di antaranya), untuk menghancurkan patung-patung sembahan bani Tsaqif di Thaif.
Mughirah yang memang “putra daerah” dari Bani Tsaqif di Thaif itu, yang paling gencar dan bersemangat menghancurkan berhala-berhala tersebut. Ia berkata kepada sahabat lainnya, “Demi Allah, aku benar-benar akan membuat kalian tertawa karena sikap orang-orang Tsaqif..!!”
Setelah itu ia mengambil dua cangkul dan mendatangi berhala Lata yang selama ini menjadi sesembahan utama Bani Tsaqif, sangat dihargai dan ditinggikan sekaligus ditakuti. Dengan dua cangkul tersebut, Mughirah merobohkan berhala Lata, dan tampak penduduk Thaif bergetar penuh ketakutan, seolah-olah dunia akan runtuh menimpa mereka. Bahkan ada yang berkata, “Semoga Allah mengutuk al Mughirah, dia tentu akan dicekik penjaga berhala…!!”
Mendengar perkataan tersebut, Mughirah melompat ke hadapan mereka dan berkata, “Semoga Allah memburukkan rupa-rupa kalian, berhala ini tidak lain hanyalah tumpukan batu dan lumpur yang hina…!!”
Kemudian Mughirah mengajak para sahabat untuk menghancurkan pintu penyimpanan barang dan merobohkan pagar-pagarnya. Tidak sekedar menghancurkan bangunan-bangunannya, bahkan ia menggali dan menghancurkan pondasinya, dan mengeluarkan harta dan barang simpanan di dalamnya, untuk diserahkan kepada Nabi SAW di Madinah. Orang-orang Tsaqif hanya terpaku tak percaya dengan apa yang dilihatnya tersebut. Dengan atribut dan “kebesaran” berhala Lata itulah selama ini mereka merasa bangga dan berkuasa. Begitu semua itu rata dengan tanah, seolah-olah segala kebesaran dan kebanggaannya selama ini ikut tercerabut dari akar-akarnya.
Pada masa khalifah Umar bin Khaththab, tepatnya pada tahun 15 hijriah, pasukan muslim yang dipimpin Sa'ad bin Abi Waqqash menuju Qadisiah untuk memerangi pasukan Persiayang dipimpin oleh Rustum. Umar juga mengirim pasukan tambahan dari Madinah yang dipimpin oleh Mughirah bin Syu'bah untuk mendukung Sa'ad. Pasukan Abu Ubaidah sejumlah seribu orang yang berada di daerah Syam, juga diminta Umar untuk bergabung dengan Sa'ad.
Ketika kedua pasukan, Muslimin dan Persiatelah berhadapan, Rustum mengirim utusan menemui Sa'ad agar ia mengirim seseorang yang alim dan bijaksana kepadanya untuk melakukan pembicaraan. Sa'adpunmengirim Rib'i bin Amir. Pada hari berikutnya Rustum meminta dikirim lagi orang lainnya, Sa'ad mengirim Huzaifah bin Mihsan. Ketika pada hari berikutnya Rustum masih meminta lagi orang lainnya, Sa'ad mengirim Mughirah bin Syu'bah.
Mughirah segera memacu tunggangannya membelah kumpulan pasukan Persia tanpa sedikitpun rasa gentar. Ketika memasuki ruang pertemuan yang dipersiapkan, Rustum telah menyediakan tempat duduk yang beralaskan kain sutera, tetapi Mughirah tidak mau duduk di situ. Ia meminta seseorang di sebelah Rustum untuk melemparkan perisainya, dan ia menduduki perisai tersebut.
Pada mulanya pembicaraan berlangsung tenang, dan dalam beberapa hal Rustum mengakui kebenaran yang disampaikan oleh Mughirah. Tetapi pada akhirnya, Rustum menawarkan makanan, uang dan harta lainnya yang sangat banyak, dengan syarat pasukan muslim ditarik dari Qadisiah. Atas penawaran ini, tegas sekali Mughirah berkata, "Akankah itu terjadi jika kami memusnahkan kerajaanmu dan melemahkan kekuatanmu? Kami tidak mempunyai waktu yang banyak, kami hanya akan mengambil jizyah darimu dan kamu akan berada di bawah taklukan Madinah dan menjadi hamba kami, akibat dari kekerasan hatimu…"
Pembicaraan menjadi panas, terjadi saling mengancam dan perang mental. Rustum mengancam akan membantai habis pasukan muslim yang hanya sekitar 30.000 orang, dengan 120.000 tentaranya. Mendengar ancaman ini, dengan tegar Mughirah berkata, "Jika kalian membunuh kami, maka kami akan memasuki jannah, tetapi jika kami membunuh kalian, tempat kalian adalah neraka yang menyala-nyala…."
Inilah yang terjadi sebelum pecahnya perang Qadisiah, dan dalam peperangan itu tentara Persia yang dipimpin Rustum, yang jauh lebih besar berhasil dicerai-beraikan oleh pasukan muslimin