در طی خلافت امویان: ولید بن عبدالملک مروان پنجمی خلیفه اموی بود که از سال ۸۶ تا ۹۶ هق خلافت کرد. به امر وی در سال ۸۸ هق همگی مسجد خراب شد. و محل منزل های همسران پیامبر خداوند نیز که ویران گردیده بود در داخل مسجد به زمین خورد. در روزها خلافت چهار خلیفه اول، آرامگاه حضرت پیامبر(ص) همانند بنایی جداگانه از مسجد بوده و قبلهای از لایه های پارچه های مشمع بر بالای کلبه عایشه درست شده بود و هم اینگونه محجر کوتاهی پیرامون آن قرار داشت که عایشه امر داده بود برای تقسیم کردن تشریفات ترحیم مشهد اتاق انتظار زائران قبر پیغمبر(ص) از آرامگاه به وجود آید. بنابراین زائران از یک در وارد می شدند و درود کرده از در دیگر خارج می رفتند.
تا فرصت خلافت ولید(۸۶ تا ۹۶ ه.ق) که عمربن عبدالعزیز حکم دهنده مدینه بود، منزل نوادگان زهرا(س)، همانند قبلی در باطن مسجد قرار داشت. دراین زمان (سال ۸۶ ه. ق) آنهارا از مسجد راندند و منزل هایشان را خراب کردند. به درخواست ولیدبن عبدالملک، شاه روم تعداد متعددی معمار و پرسنل را با مصالح ساکن خودشان از روم برای مرمت مسجد مدینه به آنجا ارسال کرد. دهها معمار و پرسنل بیزانسی، با چوب و سنگ مرمر و الواح طلا و سنگهای مخصوص ساختن موزائیک، برای تجدید بنا ساختمان مسجد مدینه، بهاین شهر آمدند. نوسازی مسجد تا سال ۹۱ه.ق به طول انجامید و عمربن عبدالعزیز حکم دهنده مدینه با سنگهای منقوش و مرمرهای رومی مسجد را بازسازی کرد. سقف مسجد نیز گل اندود شد و روی دیوارهای داخلی مسجد با آب طلا و جواهرات صیقل داده شد. حجره همسران نبی- که وخیم گردیده بود-یاروهمدم با قبر پیامبر اسلام(ص) درون مسجد مدینه بهزمینخورد و اتاق بقاع با پرده از مسجد غیروابسته شد. ازآنجا که امویان حق هیچ سیرتکامل تغییری بر روی آرامگاه حضرت فرستاده را نداشتند، از علویان برای نوسازی قبر جدشان امداد منظور شد و دیوار مضاعفی گرداگرد محل دفن ساخته شد.