La décadence du Chellah survient rapidement. Des légendes racontent que le lieu s'est perdu par l'excès de ses richesses. Les souverains Mérinides négligent la nécropole de leurs ancêtres et ne s'y font plus inhumer. Le début du XVe siècle consacre la ruine du Chellah. Ahmed El Lihiani, un prétendant au trône, s'empare du lieu, le pille et emporte des objets précieux et de magnifiques Corans. La nécropole est ruinée mais les tombes continuent à être vénérées. Léon l'Africain en compte encore 30 en 1509. Les souverains qui y sont inhumés sont considérés comme des saints. Les Rbatis commencent même à s'y faire enterrer. Vers les XVIIe et XVIIIe siècles, le Chellah abrite une petite garnison pour contrer les bandes de pillards. Un peu plus tard, la tribu des Sabbah s'y installe. Elle rançonne habitants du voisinage et voyageurs. L'une des trois portes permettait d'ailleurs avant le protectorat, de franchir l'enceinte des corsaires (ou Moriscos). En 1755, un tremblement de terre précipite la destruction du lieu. La nature y devient exubérante et envahit la pierre. Des centaines de cigognes s'approprient le site et y installent leurs nids sur les arbres et les ruines (le minaret entre autres). Dans son état actuel, Bab Chellah remonte à 1813, au sultan Moulay Slimane.
