紅葉やカタクリの花などが有名な香嵐渓（こうらんけい）の中心にある禅寺で、本尊は聖観世音菩薩である。応永三四（１４２７）年、この地の豪族であった足助氏一族が滅亡後、菩提を弔うために居館跡に創建された。
　座禅堂は江戸時代後期のものがそのまま現在も使用されている。重々しい鎧を身につけ目を光らせた力強い毘沙門天像は室町時代の永禄二（１５５９）年の銘が入っており、町指定文化財である。
　江戸時代の寛永一一（１６３４）年、香積寺一一世の三栄和尚は「美しい自然を、より美しく」との願いをこめて、巴川沿いの参道から香積寺にかけて、楓、杉などを、般若心経を一巻詠むごとに、一本一本植えていった。その後住民の手により植えたとされ、現在の香嵐渓になったとされている。
　毎年紅葉の時期になるとすばらしい景勝地となっている。一一月中は、日没から午後九時まで夜間のライトアップも行われ、幻想的な雰囲気が楽しめる。