على الرغم من تحذير العديد من الدراسات من الأخطار المحدقة ببرج "قصر البحر" بآسفي، تتجه المعلمة العمرانية والتاريخية نحو الاندثار، بسبب تسرب مياه البحر إلى الهضبة التي يوجد فوقها القصر، التي أدت إلى انهيار جزء آخر منها. مصادر حقوقية من المدينة قالت، لجريدة هسبريس الإلكترونية، إنّ غياب ترميم هذه المعلمة البرتغالية كان من أسباب انهيار جزء جديد للمعلمة التاريخية، مضيفة أنّه "على الرغم من التحذيرات من الأخطار التي تحدق بقصر البحر، فإن الجهات المعنية بحماية هذا التراث والحفاظ عليه لم تعرها أية أهمية". وأبرزت المصادر ذاتها أن "انهيار هذا الجزء من المعلمة، التي تختزن العديد من الأحداث التاريخية المهمة، بسبب تآكل جرف "أموني"، ينضاف إلى انهيارات أخرى وقعت في تواريخ مختلفة". أبو القاسم الشبري، مدير مركز دراسات وأبحاث التراث المغربي البرتغالي، أوضح أن "أسباب تآكل هذه المنشأة العمرانية يكمن في تطاير الماء عليها حين يكون محيط البحر في حالة هيجان". وأضاف أنّ "مياه المحيط الأطلسي دخلت تحت القصر ووصلت إلى شوارع مدينة آسفي، التي أصبحت هي الأخرى مهددة بالانهيار، بالإضافة إلى الارتجاجات الهوجاء التي يحدثها قطار البضائع". وأشار الشبري إلى أنّ "التهديدات المحدقة بقصر البحر ترتبط أساسا بالوضعية الجيولوجية الهشة للجرف البحري، الذي يتعرض لتعرية حادة تتسبب في تآكله بفعل تفاعلات ميكانيكية وكيميائية،؛ وهو ما أدى إلى ظهور تشققات عمودية بالصخرة، وتشكل تجاويف ومغارات تهدد "قصر البحر" وباقي البنيات التحتية المقامة على صخرة الجرف". على الرغم من الترقيعات التي خضع لها البرج من قبل المصالح المعنية، حيث تم وضع أكياس جيوبلاستيكية قصد الحد من حدة وقوة الانكسارات والتعرية، أكد مدير المركز أنّ ترميم "قصر البحر" مجرد حلول ترقيعية لهدر المال العام، مبرزاً أن "الحل الوحيد هو استبدال الميناء بآخر ترفيهي قبالة "قصر البحر"، مما سيمكن من تحييد أمواج البحر العاتية والناسفة، ويزيد من جمالية المدينة، ويدر عليها أموالا طائلة بفعل أنشطته الرياضية والترفيهية، الوطنية والعالمية". وأضاف أنّ المسؤولية لا تتحملها وزارة الثقافة، وأن الدولة أيضا تتحمل مسؤولية إتلاف هذه المعلمة، التي قد تهوي في أي لحظة، موجهاً نداء إلى المسؤولين المغاربة بالعمل على تصنيف "قصر البحر" تراثا عالمياً. وتمّ إغلاق هذه التحفة الفنية المعمارية البرتغالية بتأثيرات مغربية، سنة 2010 في وجه الزوار من طرف وزارة الثقافة خوفا على سلامة المواطنين بسبب الخطورة التي أصبحت تمثلها بعد تآكل جزء كبير من الجرف الذي تنتصب عليه خاصة الصخرة التي بني عليها الحصن البرتغالي. وكان "قصر البحر" أول موقع احتله البرتغال لدى دخولهم مدينة آسفي، حيث استخدموه، بالنظر إلى موقعه الإستراتيجي المتصل مباشرة بالبحر، كمكان لإقامة الجنود وتخزين الأسلحة والبضائع؛ فيما اضطلعت أبراجه بوظيفة المراقبة العسكرية. واكتمل بناء "قصر البحر" عام 1523، وقد تطلب إنجازه أكثر من ثماني سنوات من العمل. وتبلغ مساحته نحو 3900م، ويعلوه برج واحد للمراقبة، ويسمى هذا الموقع التاريخي باسم "القلعة البرتغالية"، نسبة إلى الغزاة البرتغاليين الذين دشنوه عام 1508 بمدينة آسفي عقب احتلالها، إبان القرن السادس عشر، باعتباره حصنا عسكريا.