Váňův kámen je opředen četnými pověstmi, které určitě ocení zejména malí návštěvníci.

Podle jedné z nich prý na tomto místě upustil čert při letu kámen, a proto se mu původně říkalo Čertuv kameň.

Svůj nynější název dostal až v 19. století podle sedláka, kterému patřily okolní pozemky.