Hz. İbrahim Aleyhisselam, Kâbe'nin inşasını bitirdikten sonra oğlu İsmail Aleyhisselam ile tavafa başlangıç sırasını bildirmek için: “İsmail, bana bir taş getir de tavafın nereden başlayacağını işaret edeyim. ” dedi. Hz. İsmail Aleyhisselam da Cebel-i Kubeys'ten bir taş alıp babasına verdi. O da tavafın başlayacağı bugünkü Kâbe'nin köşesine taşı koydu. Taş, yumurta şeklinde 18-19 santimetre yarıçapında idi. Konduğu yer, yerden üç arşın 4 parmak yüksekliğinde idi. Böyle yükseğe konmasının sebebi ve sırrı her yerden herkesin görebilmesi için idi. Rengi vaktiyle beyaz olan bu taş, çokça istilam edildiği yani selamlanıp öpüldüğü için kırmızımsı (Kırmızımsı esmer bir taş) haline gelmiştir diye rivayet edilmektedir. Hacerü'l-esved, melekler tarafından, peygamberler tarafından ve Efendimiz Muhammed Aleyhisselam tarafından öpülmüştür. Hacerü'l-Esved'i öpmek, Cenab-ı Hakk'ın saltanat-ı İlahiyesine kurbiyete (Yakınlığa) bir işaret olması itibariyle hürmet, teslim ve ikrar manasını ifade eder. İşte bunun içindir ki, Hz. Ömer Efendimiz (Ra) “Vallahi seni öpüyorum. Senin taş olduğunu, zarar ve fayda veremeyeceğini de biliyorum. Eğer Resulullah'ın seni öptüğünü görmeseydim, seni öpmezdim. ” demiştir.

Kabe, Huzaalıların eline geçtikten sonra, Hacer-i Esved, onların rakibi olan Cürhümlüler tarafından kaçırılıp sonradan Huzaa kabilesi tarafından yeniden ele geçirilerek tekrar yerine konulmuştur. Daha sonraları Abbasi Halifelerinden Muktedirbillah zamanında Mekke'yi zaptetmiş olan Karamite (Kırmitîler) reisi Tahir tarafından koparılıp Küfe Mescidine konulmuştu. 20 sene sonra, Halife Mutî' Billah tarafından 24 bin dinar karşılığında geri alınıp Mekke'ye getirilmiş, bugünkü yerine konulmuştur.

Hacer-i Esved, muhtelif zamanlardaki yangınlarda kırılmıştır. Şimdi 12 parça olarak birleştirilmiştir. Ufak bir parçası Kanuni Sultan Süleyman zamanında bir Hadım Ağası tarafından İstanbul'a nakledilmiş, Süleymaniye civarındaki Kanuni Sultan Süleyman türbesine asılmıştır.

Rivayete göre Hacer-i Esved kıyamet gününde Kabe'yi tavaf edenlere şahit olacağından bunu aşk ile yapmak gerekir. Halk arasında hacdan gelenlerin avuçlarının içlerinin öpülmesi hacca gidip tavaf edenlere Hacer-i Esvedin şahitliği bir de ya öperek ya da dokunarak veya uzaktan ellerini açarak Hacer-i Esved ile temas kurmaları sebebiyledir. Çünkü hacı “elestü birabbiküm” bezmindeki ikrarı burada yenilemiş olduğundan memleketinde henüz hacca gidememiş kimselerin onu tasdik etmeleri, avucunun içini öpmeleri bundan dolayıdır.