Dalam persiapan perang Uhud, Nabi SAW melihat beberapa orang anak yang belum cukup dewasa menyertai pasukan yang akan diberangkatkan. Mereka ini berusia antara 14 - 24 tahun, di antaranya adalah Abdullah bin Umar, Zaid bin Tsabit, Zaid bin Arqam, Usamah bin Zaid, Barra bin Azib, Usaid bin Zhuhair, Amr bin Hazm, Urabah bin Aus, Abu Sa'id al Khudry, Sa'd bin Habbah RA, Rafi bin Khadij dan Samurah bin Jundub. Mereka ini dipulangkan oleh Nabi SAW karena usianya tersebut, tentu saja mereka jadi kecewa.
Khadij RA, ayah Rafi menemui Rasulullah SAW dan meminta agar Rafi diperbolehkan ikut karena ia mempunyai keahlian memanah atau melempar tombak. Beliau mengamati Rafi dengan seksama. Rafipun menjinjitkan kakinya agar terlihat lebih tinggi. Ia juga menunjukkan ketrampilannya memainkan tombak, sehingga Rasulullah SAW sangat terkesan dan mengijinkannya mengikuti perang Uhud. Saat itu usia Rafi adalah 15 tahun. Sebenarnya pada perang Badar, Rafi telah meminta kepada Nabi SAW untuk bisa mengikutinya, tetapi saat itu beliau dengan tegas tidak mengijinkannya.
Melihat Rafi dibolehkan ikut, beberapa orang anak lainnya memaksa untuk ikut pula. Di antaranya adalah Samurah bin Jundub yang akhirnya diijinkan Nabi SAW untuk mengikuti perang tersebut setelah dia berhasil mengalahkan Rafi dalam suatu duel, yakni sekedar untuk menunjukkan kekuatannya, tidak untuk saling mengalahkan.
Pada perang Uhud ini, Rafi tertembus panah di dadanya di bawah ketiaknya, darah mengucur dan rasa sakitnya tidak bisa dihindarkan. Ia datang kepada Nabi SAW dan berkata, “Wahai Rasulullah, tolonglah anak panah itu dicabut…”
Seperti yang terjadi pada kebanyakan sahabat, ia berharap dengan bantuan beliau tersebut ia akan segera sembuh, dan segera bisa terjun lagi di medan pertempuran. Tetapi ternyata beliau bersabda, "Hai Rafi, aku bisa mencabut panah ini beserta mata panahnya dan engkau akan segera sembuh. Tetapi jika engkau mau, aku akan mencabut panah ini dan meninggalkan mata panahnya di tubuhmu, dan aku akan bersaksi pada hari kiamat bahwa engkau mati syahid."
Kebanyakan dari kita mungkin agar segera memilih tawaran Nabi SAW yang pertama. Tetapi tanpa keraguan sedikitpun, Rafi memilih yang penawaran beliau yang kedua, dicabut panahnya tetapi membiarkan mata panah tetap di tubuhnya. Akibatnya ia mengalami sakit berkepanjangan karena luka-lukanya ini. Namun demikian ia tetap berjuang dan berperang di jalan Allah (jihad fi sabilillah), baik di masa hidupnya Rasulullah SAW atau sepeninggal beliau, sampai akhirnya ia wafat di jaman khalifah Muawiyah.