মসজিদে নববী, প্রথম আলো এবং রাজতলে প্রকাশিত তথ্য অনুযায়ী, হিজরতের বছর ৬২২ সালে শুরু হয়েছিল এবং মদিনায় প্রবেশের পর রাসুলুল্লাহ সাঃ এর উট কাসওয়া যে জায়গাটিতে বসে পড়েছিল, সেখানেই তৈরি হয়েছে এই ঐতিহাসিক মসজিদ। মদিনায় দুই এতিম বালক সাহল ও সোহাইলের কাছ থেকে ১০ দিনারের বিনিময়ে জায়গাটি কিনে নেওয়া হয়। টাকা পরিশোধ করেন হজরত আবু বকর (রা.)। মসজিদে নির্মাণের কাজে তিনি নিজেও অংশ নিয়েছিলেন। তিনি নিজ হাতে মসজিদের ইট-পাথর বহন করেছিলেন।
মসজিদ নির্মাণের আগে সেই জমিতে পৌত্তলিকদের কয়েকটি কবর ছিল। কিছু অংশ ছিল বিরান, উঁচু-নিচু। খেজুর এবং অন্যান্য কয়েকটি গাছও ছিল। নবীজি সা. পৌত্তলিকদের কবর খোঁড়ালেন, উঁচু-নিচু জায়গা সমতল করলেন। খেজুর এবং অন্যান্য গাছ কেটে কেবলার দিকে লাগিয়ে দিলেন। তখন কেবলা ছিল বায়তুল মাকদিস।মসজিদে তিনটি দরজা লাগানো হলো। দেয়ালগুলো কাঁচা ইট এবং কাদা দিয়ে গাঁথা হয়েছিল। ছাদের ওপর খেজুর শাখা এবং পাতা বিছিয়ে দেওযা হলো। কেবলার সামনের দেয়াল থেকে পেছনের দেয়াল পর্যন্ত একশ হাত দৈর্ঘ ছিল। প্রস্থ ছিল এর থেকে কম। ভিত্তি ছিল প্রায় তিন হাত গভীর।
