平安時代末期、藤原経清・清衡父子の居住した砦館である。別名岩谷堂要害・柄杓城（しゃくしじょう）
　人首川右岸の丘陵上（比高７０ｍ）に位置する平山城で、北端の頂部（標高１１５ｍ）を主郭に南側斜面に二の郭・三の郭・外郭があり、城域の東側は人首川に面する急斜面で、比較的緩斜面の西側には腰郭が配置されている。
　本丸とされるのは北端部の最高部・八幡神社の境内で規模は９０ｍ四方で、周辺部に土塁が築かれているほか、樹齢８００年以上といわれるイチョウの巨木が立っている
　現在は岩谷堂高校グランドとして使用されており、南西部の岩谷堂高校や岩谷堂小学校校舎がある地域が外郭と思われる。