緒川城（おがわじょう）は水野貞守が文明年間（１４６９～１４８７）に築城したと言われる。以来約１３０年間、水野氏の居城として栄えた。四代忠政の娘で、徳川家康の生母、後の伝通院、於大の方（おだいのかた）が亨禄元（１５２８）年に誕生した城としても知られ、城址内に於大の方出生地の碑が立っている。
　水野氏の起こりは、全国を放浪していた小川氏の末裔の貞守が、小川村の西南の台地に城を築いたのが始まりである。貞守は尾張東部の水野という地に滞在していた時、姓を「水野」と改めた。そして貞守の子孫の代となった時、いつしか小川の地を「緒川」と改めたようだ。
　水野氏は周囲の織田、松平（徳川）、今川の間で波乱の日々を送った。江戸時代には代々譜代大名として各地の藩主となる。天保の改革で知られる老中水野忠邦はこの子孫にあたる。
　地元の人からは古城（ふじろ）と呼ばれている緒川城址。現在は公園になっており、北側の土塁の一部が残っている。

　その源流は、インドの外金剛部の神にして、観世音菩薩の主宰したまう補陀洛浄土の守護神である。
　雨引山炎上の際、摩多羅神が現れ鬼類を督し、七日七夜にして荘厳な現在の観音堂を建立したといわれている。
　マダラ鬼神祭は、この鬼神の恩徳に報謝せんがために、寛永１８（１６４１）年、住職尊海が時の老中松平伊豆守信綱の庶弟であった縁を以て、幕府に願い出て許され、年中行事の大祭として修行しきったもの。３５０年の伝統を有する北関東随一の大祭である。
　寛永の昔、この祭典を始めるに当たり、時の老中松平伊豆守信綱侯が寄進された袈裟は今日に伝えられ、摩多羅鬼神祭の当日、マダラ神が被着している。