昔、時津の浜の漁師がびっくりするほど沢山の秋鯖がとれたので長崎に売りに行こうとこの下を通りかかった時、「岩が今にも落ちそうだ。落ちてから通ろう。」とじっと待っていた。そのうちに、背負っていたサバが腐ってしまった、という話からこの名前がついたとされている。
　岩石は、角閃石安山岩質の火山角れき岩（変朽安山岩となっている）である。風化作用により、残された岩が人形の様な形態をしている。
　今にも落ちそうに見えるこの岩は、四季折々に表情を変えて見せてくれる。
　ちなみに、現在上下の岩はコンクリートで固められており、落ちることはない。

　精霊流し（しょうろうながし）は、お盆の間に、この一年で亡くなった人の霊を精霊船に乗せて川や海に流す事で「西方浄土」に送る、長崎の伝統行事である。
　起源については諸説あるが、代表的な所では、航海中や長崎に来て亡くなった中国人の菩提を弔う為に行なわれた、中国の「彩舟流し」が伝わったと言われている。
　長崎では、初盆の家では大型の精霊船を作り、大人が数人がかりで担ぎ、銅鑼や爆竹を鳴らしながら流し場まで運ぶ。また、銅鑼に合わせて「どーいどい」という掛け声をあげながら進む。以前は実際に海へ流されていたが、現代では環境問題から海には流さない。
　中国の影響が色濃く出ている行事である。爆竹の騒音がすさまじいので多くの人は耳栓をしており、有名なさだまさしの歌とは大分イメージが違うと言われる。