白髭神社は大坂家の先祖である源太左エ門が背負って持ってきた神「久延毘古命」（くえびこのみこと）を祀っています。源太左エ門は豊臣秀頼の家来で、大坂の陣の後、落ち延びて釜渡戸に住み着いたと云われています。

隣の上山市中山地区にある白髭神社が、近江の白髭神社から神霊勧請したということから考えると、大坂家の先祖も近江の方から落ち延びてきたか、近江の白髭神社とかかわる神を崇めていたと推察できます。

中山の白髭神社の祭神も久延毘古命であることから、分社したとも考えられますが詳しい経緯は分っていません。

参考資料：錦三郎著「釜渡戸を中心とした社会科資料」昭和２９年