周朝末世，張良改名換姓逃亡在下邳時。一日在橋，遇一老人。
那老人看了看張良說：孺子你可以到橋下去替代我把履取來，張良即走下橋，撿履替他穿上。老人也不謝立即走開，張良隨後跟上。老人與張良前後三次約會後，交一卷書給他。並囑咐他熟讀後你可以功成名就。之後一定要走濟北穀城山經過。到時能看見山下一黃石。那就是我。
後來張良隨漢高祖經過濟北穀城山下，果見山下一黃石。張良想起老人囑咐的話。知道老人的化身，便把黃石起回，香火供奉。
後來張良死，他的兒子把黃石埋在他的墓內。每逢春秋祭掃時，連同黃石一併祭祀。本廟之黃石公正是上述老人，黃石公也。