標高４３０ｍの臥牛山頂上付近に建つ天守は、国の重要文化財で、現存天守を持つ山城としては最も高い所にあります。鎌倉時代、有漢郷（現高梁市有漢町）の地頭秋庭重信が大松山に城を築いたのを起源とし、１６８３（天和三）年に水谷勝宗によって３年がかりで修築され、今の天守の姿になりました。
この地は山陰と山陽を結び、東西の主要街道も交差する要地であるため、戦国時代は激しい争奪戦が絶えず、目まぐるしく城主交代が繰り返されています。