南北朝時代に下野の守護であった小山義政は、鎌倉公家であった足利氏満にそむき粕尾城（現粟野町中粕尾）に籠ったが、戦いに敗れて赤石河原で自害しました。
芳姫はその小山義政の正室で、義政に会うために侍女を一人伴って粕尾城に向かっていましたが、その時大事に持っていた乾飯の袋を宝の袋とまちがわれ、案内役のものに殺されてしまいました。その後、江戸時代になり村人はこれをあわれんで、寒沢林道の奥に芳姫のお墓を建て供養したということです。

芳姫のお墓は、現在、市の指定文化財になっており、この御堂は近年になって小山芳姫の墓保存会の人々によって建てられたものです。
※寒沢（さぶさわ）林道の奥の道は倒木などがあり、小山芳姫の墓まで行くことは困難です。