備中高松城の戦い後、吉川元春は天正11年（1583年）に隠居し、隠居館の建設を開始。天正12年（1584年）までに入居しましたが、 九州出兵中の天正14年（1586年）に小倉城二の丸の陣中において病死してしまいました。
　翌年、跡を継いだ吉川元長も死去し、弟の吉川広家の代に完成。 広家が天正19年（1591年）に月山富田城へ転封した際に廃城になったとみられ、関ヶ原の戦い後の検地帳では城館跡と記されてたそうです。

最期はせめて、この地で息を引き取って欲しかった…そんな夕暮れどきの城館でした。