Kabah awalnya dibangun oleh Adam dan kemudian anak Adam, Syist, melanjutkannya. Saat terjadi banjir Nabi Nuh, Kabah ikut musnah dan Allah memerintahkan Nabi Ibrahim membangun kembali. Al-Hafiz Imaduddin Ibnu Katsir mencatat riwayat itu berasal dari ahli kitab (Bani Israil), bukan dari Nabi Muhammad.
Kabah yang dibangun Ibrahim pernah rusak pada masa kekuasaan Kabilah Amaliq. Kabah dibangun kembali sesuai rancangan yang dibuat Ibrahim tanpa ada penambahan ataupun pengurangan. Saat dikuasai Kabilah Jurhum, Kabah juga mengalami kerusakan dan dibangun kembali dengan meninggikan fondasi. Pintu dibuat berdaun dua dan dikunci.