تم تشيد هدا المعلم سنة 1507 عند احتلال البرتغالي لمدينة أسفي . على مساحة تقدر ب 3900 متر مربع قرب مرسى القديم لأسفي الذي كانت به الفيتورة ( وكالة تجارية نشكها يهود أسفي سنة 1491 م ) وهو عبارة عن بناية مربعة الشكل قسم الخارجي مكون من الأسوار السداسية الضخمة .) الحائط الشمالي يبلغ طوله 61 مترا / الحائط الشرقي 51 مترا / الحائط الجنوبي يبلغ 94مترا / الحائط الغربي 74مترا / قسم الداخلي مكون من ثلاث أبراج للمراقبة والدفاع برج ملتصق بالسور وأخر خارجه يسمى " البرج البرانى " وبرج العالي . بالإضافة الى مساحة يتوسطها جب ومسقاة ودور لتخزين المواد والأسلحة . وقد أخد هدا المعلم عدة أسماء منها دار البحر و"الحصن الجديد " والدار البرتغالية والقصبة السفلى البرتغالية " والقلعة البرتغالية " تم " قصر البحر" الذي أطلقه الفرنسيين عليه سنة 1922 . ونظرا لأهميتها التاريخية تم ترتيبها في إعداد الآثار طبقا لمسطرة الترتيب المنصوص عليها في القانون 22/80بطهير شريف يوم 7/11/1922 .وضعه الحالي : تم إغلاق بشكل نهائي قصر البحر في وجه الزوار المغاربة والأجانب والجبهات الوصية تنتظر لحطة سقوطه . ويذكر أن أخر ترميم شهده قصر البحر كان سنة 1964 .أما ترميم الذي زعم المقاول انه قام به مند بضع سنيين (ترميم جزءه الغربي المجاور للبحر) فانه هوى في شهره الأول وطارت أموال الصفقة مع الأمواج العالية .