史跡岡城跡は、大野川の支流である稲葉川を北に、白滝川を南に臨む標高３２５メートルの阿蘇溶結凝灰岩で形成された台地の上に築かれている。両河川は台地の先端部で合流し、天然の濠の役目を果たし、河川の内側は切り立った断崖絶壁になっており、深い谷に取り囲まれている。
　１１８５年、郷土の武将緒方三郎惟栄が、源頼朝と仲違いをしていた弟義経を迎える為、築城したと伝えられる。中世は志賀氏の居城となり、島津軍を退けた堅城として有名。現在残されている城郭は、中川公によって築城されたものだが、明治維新の時に取り壊されてしまったので、石垣がそびえ立っているだけだが、「兵どもの夢の跡」という雰囲気が感じられる。
　瀧廉太郎は、少年時代を竹田で過ごし、荒れ果てた岡城に登って遊んだ印象が深かったとされ、ここをモチーフにして１９０１年に中学校唱歌「荒城の月」を作曲、発表している。