時は12世紀後半、平安時代末期、1世紀も続いた摂関政治は終わり、院政が始まって上皇が法皇として院庁で政務を執られるようになりました。
　その時代は世はまさに平家全盛の時代で、平清盛は当時すでに太政大臣の職を辞していたが、その専横ぶりはますます激しいものになり、治承3年（1179）後白河法皇を鳥羽殿に幽閉し、翌4年は髙倉天皇（以仁王の弟）を退位に追い込み、平家ゆかりの安徳天皇を即位させました。
　そのように世の中は、日に日に拡大する平家の横暴が眼に余るほどになりました。
　その頃、源氏の有力者源三位頼政は平家一族のあまりにも皇室をないがしろにする挙動に見かね、後白河天皇の第2皇子として将来を期待されていた以仁王を担いで兵を挙げる計画を立て、それに呼応した以仁王は諸国に令旨を発信され、頼政を中心として平家打倒の戦を仕掛けられました。
　しかし、戦は以仁王に利あらず、宇治にて敗戦、頼政は平等院で自刃し、以仁王は南都へ落ち延びられる途中に、光明寺下で流れ矢にあたり逝去したと偽り、実は大槻光頼、渡邊俊久等十二士とひそかに頼政の領地丹波路に落ち延びられました。そして当地吉美郷里（現在の里宮髙倉神社）にお着きになりました。 里人たちは尊い王のお姿を拝し、笛・太鼓で田楽踊りを舞い、今も伝わる「ひやそ踊り」で王を慰めました。
　しかし、以仁王の矢傷は次第に悪化し、治承4年6月9日「後世、庶民の腹痛の悩みを吾れ代わって救わん」と御仁慈のお言葉を遺し、御歳29歳で昇天されました。　
　翌、養和元年（1181年）9月9日王の神霊を奥谷の森の髙倉（現在地）に移し奉り、ここに「髙倉天一大明神」として以仁王を祀る髙倉神社が創建されたのであります。