Um den Rauhen Stein ranken sich Axel Griebling zufolge zahlreiche Legenden, so könnten dort im Mittelalter den Göttern Pferdeopfer dargebracht worden sein.
Möglicherweise war der Rauhe Stein aber auch ein Ort der früheren Gerichtsbarkeit. Doch könnte die Bezeichnung der Felsformation auch etwas mit der Sage von den Rauhnächten zu tun haben, bei denen die Wilde Jagd, bestehend aus den Seelen unnatürlich gestorbener Menschen, als wilde Horde am Himmel erscheint.