Hz. Peygamber, hicret sırasında Medine'ye 2 mil kadar uzaklıkta olan Kubâ'da bir mescid inşâ ettirdi. Bu mescidin inşâsını Hz. Peygamber'e tavsiye etmesi, mescid için taş toplaması ve yapılırken büyük gayret göstermesi sebebiyle Ammâr bin Yâsir'in İslâm'da ilk mescidin bânîsi olduğu söylenmiştir. Hz. Peygamber, Kubâ'dan Medine'ye doğru giderken yanlarından geçtiği kişiler kendisini dâvet ettiler. Ancak Rasûl-i Ekrem devesinin serbest bırakılmasını istedi ve mescidin yapılacağı yerin tesbitini kastederek onun görevli olduğunu söyledi. Deve Mâlik bin Neccâr'ların evlerinin önünde bir düzlükte çöktü. Hz. Peygamber bu yeri Sehl ve Süheyl adlarındaki iki yetimden satın alarak Mescid-i Nebevî'yi yaptırdı (Buhârî, Menâkıbu'l-Ensâr 45). Bu mescidin temeli de Kubâ'da olduğu gibi bir nevi merâsimle atılmış ve Hz. Peygamber inşaatta bizzat çalışmıştır. Mescid-i Nebevî'nin ilk ölçüleri 100 x 100 zirâ idi. İlk yapının 60 x 70 zirâ ebadında olduğu ve sonradan genişletildiği de rivâyet edilir. (Zirâ, arşın da denilen bir adımlık uzunluk ölçüsüdür. Yaklaşık 68 cm.dir.) Mescidin arka kısmında fakir sahâbîlerin barınması için Suffe adıyla bir yer ayrılmış, doğu duvarı boyunca Hz. Peygamber ve ailesine ait zamanla sayıları dokuza çıkan odalar inşâ edilmiştir. Yedi ay kadar süren inşaat sırasında Hz. Peygamber Ebû Eyyûb el-Ensârî'nin evinde misafir kalmıştır.
Hz. Peygamber, mahallelerde ve kabîlelerin içinde müslümanların sayısı artınca buralarda mescidler inşâ edilmesini emretti. Kısa bir müddet sonra Medine ve çevresinde birçok mescidin yapıldığı kaydedilmektedir. Bazılarında Hz. Peygamber'in de namaz kıldığı bu mescidlerin sayısı, Belâzürî'nin naklettiğine göre dokuzdur. Bu sayıya Mescid-i Nebevî ve Mescid-i Kubâ dâhil değildir. Buralarda vakit namazları kılınmakla beraber, Cuma namazı sadece Mescid-i Nebevî'de kılınmaktaydı. Bunlardan bir kısmının yeri ve kıblesi bizzat Hz. Peygamber tarafından tesbit edilmiştir.