في نهاية العهد المرابطي (668-869 ) تم تأسيس القواعد الأولى للمسجد الأعظم، أو الجامع الكبير، ثم قام الموحدون بتوسعته وتزيينه بثريا فخمة صنعت أيام محمد الناصر الموحدي، وأعادوا بناء صومعته بعد أن تهدمت. وفي العهد الوطاسي (910 -956) أنشئ بالمسجد الأعظم مجلس خاص بالقراءة يختمون فيه سلكة القرآن الكريم مرة كل أسبوع . وقد جدد المولى إسماعيل المسجد واستغرقت أعمال التجديد عامين كاملين انتهاء بعام 1107. وفي عام 1112 نصب منبر بجانب محرابه ثم أدخل السلطان سيدي محمد بن عبد الله على المسجد بعض الإصلاحات، وجدد الصومعة عام 1170 على إثر زلزال المدينة عام 1756/1167. وبفضل هذه الأعمال كلها فقد أصبح المسجد يغطي مساحة تقارب 2.700 متر مربع . تقوم رحابه على 143 قوسا من الأساطين . ويحوطه أحد عشر بابا منها باب الحفاظ ، وباب الحجر، وباب الخضارين، وباب سماط الشهود ، وباب الجنائز ، وباب الكتب. ويقول محمد ابن غازي عثماني صاحب كتاب «الروض الهتون في أخبار مكناسة الزيتون» «كانت في المدينة بداوة ثم تمدنت واكتسبت حضارة وزيد بعد الستمئة في جامعها الأكبر زيادة ظاهرة وجلب إليها الماء على ستة أميال من عين طيبة الماء عجيبة القدر بموضع يقال لها تاجما وأجري الماء إلى الباب الجوفي من أبواب الجامع وسمي باب الحفاة وكان تتصل بالباب الذي يسمى لهذا العهد باب الزراعيين وبنيت قريبا من هذا الجامع دار للوضوء على مثال دار الوضوء بفاس وهذا كله في أيام الموحدين». وأضاف صاحب كتاب «الروض الهتون في أخبار مكناسة الزيتون» أن المسجد عرف حادثا خلال مرحلة المرينيين «ولم يزل أهلها أيام بني مرين في خير وثروة، وكانت الصاعقة نزلت أيامهم على صومعة جامعها الأعظم والناس في صلاة العصر فقتلت نحو سبعة رجال وهدمت بعض أركان الصومعة ودخلت في تخوم الأرض بباب بإزاء الصومعة يعرف اليوم بباب الزراعيين، فانتدب لبنائها شيخ الإسلام الفقيه موسى بن معطى المعروف بالعبدوسي واستنجد أهل اليسار منهم فجمعوا من المال ما أصلحوا به ما انثلم من الصومعة المذكورة». ولعل من مميزات المسجد الأعظم بمكناس هو خزانته التي تعتبر من أعرق الخزانات بالمغرب، ويرجع تاريخ تأسيسها إلى عهد ملوك الدولة المرينية، وقد كان موقعها في الجهة الغربية من الجامع الكبير. والظاهر من كلام صاحب «أتحاف أعلام الناس بجمال أخبار حاضرة مكناس» أن موقعها الأول كان قريبا من موقعها الحالي لأنه ذكر عند كلامه على أبواب الجامع الكبير الأحد عشر أن أحد أبوابه يسمى باب الكتب وإنما اكتسب هذه الإضافة لقربه من المكتبة العلمية، كما ورد في مقال صادر بمجلة دعوة الحق عدد 234 لسنة 1984.وقد كانت الخزانة في العهد القديم تزخر بنفائس الكتب، لكن جلها تعرض للنهب والاختلاس وهذا ما جاء في كتاب «أتحاف أعلام الناس»، حيث يقول «وفي الجهة الغربية منه (الجامع الكبير) المكتبة العلمية الجامعة لمحاسن الكتب القديمة، لولا اختلاس جل نفائسها ومد اليد العدية في ذخائرها القمينة وإضاعة باقيها من ولاة الأحباس بعدم التعاهد والإصلاح أولا وتعطيل منفعتها بغلق أبوابها عن القراء ثانيا، حتى آل الأمر بسبب ذلك إلى أن صار الكثير مما بقي من كتبها التي يعز أن توجد في غيرها إلى حد لا ينتفع به لتمزقه وتلاشيه ووضعه في محل الكناسة والأزبال».