高松城跡の西麓にある一区画で熊谷氏の平時の居館跡と推定されている。正面と北側の一部に築地石垣が現存し，正面中央に門の跡もある。
　土居という地名は、中世の有力な豪族の屋敷を中心とした集落があったことを物語るもので、高松山北西の麓の土居にある、高さ１．５メートル前後の苔むした石垣は、熊谷氏が日常の政務を執っていたと言われる屋敷跡で、高松城へ移ってまもなく、高直が建てたと伝えられている。
　巨石を使用した石垣は、Ｌ字型に東西４４南北３８メートルに渡って残り、門の跡と思われる｢切りかけ｣も見られる。
　この屋敷跡は、中世の豪族のものとしては、山県郡大朝町の吉川氏の館跡（国史跡）と並んで貴重なものである。