Masyarakat setempat percaya bahwa di masa lalu, lokasi ini digunakan sebagai tempat bersumpah setelah mengadakan perundingan-perundingan penting.
Hal ini menjadikan Batu Tiang Enam tidak hanya sekadar situs batuan besar, tetapi juga memiliki nilai sejarah sebagai tempat berkumpul dan menyelesaikan masalah oleh para nenek moyang.
Salah satu cerita menarik yang disampaikan oleh warga setempat adalah tentang upaya beberapa orang untuk menggali salah satu batu guna mengetahui seberapa dalam atau besar ukuran batu tersebut.
Namun, setelah menggali sedalam dua meter, pangkal batu tersebut masih belum terlihat. Hingga akhirnya, orang-orang tersebut memutuskan untuk menghentikan penggalian.
Warga setempat, mengisahkan bahwa mereka yang terlibat dalam penggalian itu justru jatuh sakit setelahnya, menambah unsur mistis pada situs ini.
Seiring dengan kepercayaan masyarakat, Batu Tiang Enam dianggap sebagai sesuatu yang disusun dengan kekuatan luar biasa di zaman dahulu.
Ada keyakinan bahwa hanya orang-orang sakti mandraguna yang mampu menyusun batu-batu raksasa tersebut tanpa bantuan alat.
Namun, ada pula pendapat yang menyatakan bahwa susunan batu tersebut mungkin terjadi secara alami akibat kondisi alam pada masa lampau.
Hingga kini, asal-usul pasti dari susunan batu tersebut masih menjadi misteri yang belum terpecahkan.
Di samping situs Batu Tiang Enam, di wilayah yang tidak jauh dari lokasi tersebut, warga juga pernah menemukan batu megalit berbentuk singa yang dikenal sebagai Batu Singa.
Sayangnya, karena kurangnya perhatian dan pengelolaan yang baik, batu megalit tersebut kini sudah menghilang dan tidak diketahui keberadaannya.