Al-Qasim bin Harun Ar-Rasyid adalah putra ketiga dari Khalifah Abbasiyah Harun Ar-Rasyid (berkuasa 786–809), dan pada masa ayahnya menjadi panglima zona perbatasan dengan Kekaisaran Romawi Timur dengan posisi di Manbij. Ibunya adalah seorang budak wanita milik ayahnya yang bernama Qasif. Pada sekitar 802 atau 803, ia juga diangkat sebagai orang ketiga dalam garis suksesi kekhalifahan, setelah kakaknya Muhammad (kelak Khalifah Al-Amin, berkuasa 809–813) dan Abdullah (kelak Khalifah Al-Ma'mun, berkuasa 813–833). Pada 810, ia dicopot dari jabatannya oleh kakaknya Khalifah Al-Amin.