江戸時代に書かれた『人丸秘密抄』。「文武天皇の后勝八尾大臣の娘を犯し、上総国山辺郡(現在の千葉県東金市付近)に流罪となった」ときわめて暗示的、隠喩的な書き方をしているものの、結果的には人麻呂と宮子の関係をずばりと暴いている。勝八尾(かちやみ)大臣、すなわち病的な加持祈祷好き大臣とは宮子の父藤原不比等である。
人麻呂の祖父藤原鎌足は、孝徳・皇極・天智・天武天皇らを支えた日本最大の製鐵豪族である。人麻呂は文武夫人宮子を犯し、宮子は人麻呂の子を産む。文武天皇の大宝元年(701)是年条に「夫人藤原氏に皇子誕まれる」とある。冷淡極まりない一行。首皇子、後の聖武天皇の誕生である。人麻呂の地方巡りはこの時から始まる。事実上の配流であったが、文武の治世中は人麻呂は曲がりなりにも生きていた。しかし、文武の治世中は人麻呂は曲がりなりにも生きていた。しかし文武崩御(707)の翌年708年早々に消されている。孫の首皇子を皇位につかせようとする不比等には、首の不倫の実父人麻呂はとても生かしてはおけない存在だった。「首だけは切らないでくれ」と人麻呂は死刑執行に臨み哀願している。しかし結果は斬首後に水刑死だった。
人麻呂を祀る柿本神社は全国に70社以上あり柿本寺まで加えると「人麻呂信仰」は相当な広がりを見せている。人麻呂の木像が安置されているが、ほとんどの像は胴体から首が抜ける仕掛けになっている。どっぷり水に浸かった「人丸」様が現れれば「火止まる」、火災防止の効験あらたかなのである。