Tradition says Fatima al-Fihri spent a large inheritance on the mosque of al-Qarawiyyin in Fez, begun on the first day of Ramadan in 859. She is said to have used only earth, stone and sand from its own plot, so nothing of doubtful origin went into the walls, and to have fasted until it was finished. The story comes from a chronicle of about 1326.

Geleneğe göre Fatıma el-Fihrî, kendisine kalan büyük mirası Fes'teki Karaviyyin Camii'ne harcadı; temeli 859'da, ramazanın ilk günü atıldı. Yapıda yalnızca arsanın kendi toprağını, taşını ve kumunu kullandırdığı, böylece duvarlara kaynağı şüpheli hiçbir şey karışmadığı, inşaat bitene kadar da oruç tuttuğu anlatılır. Bu anlatı, 1326 dolaylarında yazılmış bir kroniğe dayanır.

Anlatının kaynağı, İbn Ebî Zer'in 1326 dolaylarında yazdığı bir Fas tarihidir. Olaylardan yaklaşık 470 yıl sonra yazıldığı için tarihçiler ayrıntılarına ihtiyatla yaklaşır. Kroniğe göre Fatıma arsaya bir de kuyu açtırmıştı. Karaviyyin adını çevresindeki mahalleden alır; buraya bugünkü Tunus'taki Kayrevan'dan göç eden aileler yerleşmişti, Fatıma'nın ailesi de bunlardandı. Kronik, kız kardeşi Meryem'in de nehrin karşı yakasındaki Endülüslüler Camii'ni yaptırdığını ekler. Camiye gelen herkes âlimlerin derslerini dinleyebilirdi; halk derse yetişsin diye dükkânların belli bir saatte kapanması âdet olmuştu. 1963'te bir kraliyet kararnamesi, yüzyıllardır ders verilen bu medreseyi modern bir üniversite olarak yeniden düzenledi.