平安初期に創建されたと伝えられ、川越城築城によって川越城の中に取り込まれてしまい、旧川越城の天神曲輪に位置するようになったことから「お城の天神さま」と呼ばれるようになりました。普段は領民の参詣はままならず、参詣が出来た時でも行く時は簡単に入れたお城でも、帰る時には機密保持のために厳しく調べられとされています。それが童謡「通りゃんせ」になり、天神さまへの参道が歌詞の舞台になったと伝えられています。