もとは里見家臣・岡本氏元の居城であったが、北条氏に対する海防の要地とするために里見義弘が元亀三年（1572）に岡本氏から城を譲り受けて大改修したという。

義弘は弟（庶長子とも）の義頼を城主とした。天正八年（1580）義弘死後に嫡子・梅王丸との相続争いに勝った義頼が居城として、子の義康が館山城に移るまで里見氏の本拠となった。尚、梅王丸（淳泰）は後に剃髪させられ、城跡東方の聖山に幽閉され一生を終えた。