Um den Rauhen Stein ranken sich Axel Griebling zufolge zahlreiche Legenden, so könnten dort im Mittelalter den Göttern Pferdeopfer dargebracht worden sein.
Möglicherweise war der Rauhe Stein aber auch ein Ort der früheren Gerichtsbarkeit. Doch könnte die Bezeichnung der Felsformation auch etwas mit der Sage von den Rauhnächten zu tun haben, bei denen die Wilde Jagd, bestehend aus den Seelen unnatürlich gestorbener Menschen, als wilde Horde am Himmel erscheint.
Im Tal unterhalb des Rauhen Steins, Roschseifen genannt, befindet sich am Roschbach die Gemarkungsgrenze zwischen Amteroth (Ortsteil der Gemeinde Gieleroth), Fluterschen und Oberwambach. Die Bezeichnung Roschseifen lässt darauf schließen, dass man den Talboden im Mittelalter mit Sieben ausgewaschen hat, um Eisenerz, Zink und Blei zu gewinnen. red