Sebelum menjadi masjid termegah dan termewah seperti sekarang, dahulu Nabawi merupakan lahan kosong yang ditumbuhi oleh pohon-pohon kurma. Tanahnya adalah milik dua anak yaitu Sahl dan Suhail bin Amr yang kemudian dibeli oleh Rasulullah untuk dibangun masjid dan rumah beliau.
Tempat pemberhentian pertama unta yang ditunggangi Nabi Muhammad ketika beliau tiba di Masjid menjadi lokasi pembangunan Masjid ini. Awalnya Masjid Nabawi berukuran 50×50 m dengan tinggi atap sekitar 3,5m. Konon sekitar 150 tahun yang lalu, kubah masjid ini berwarna ungu. Karena kabarnya warga Arab di wilayah Hijaz sangat menyukai warna ungu.
Perbaikan Masjid Nabawi pertama kali dilakukan pada masa Khalifah Umar bin Khattab tahun 17 H dengan menambah sebidang tanah dibagian utara. Kemudian dilanjutkan semasa Usman bin Affan menjadi Khalifah. Renovasi selanjutnya dilakukan pada zaman pemerintahan Khalifah Walid bin Abdul Malik dari Dinasti Umayyah. Umar bin Abdul Aziz yang ketika itu menjabat sebagai Gubernur Madinah memerintahkan pembangunan kembali Masjid Nabawi. Dalam kesempatan itu, Umar bin Abdul Aziz menambahkan mihrab di dalam masjid.
