Tanjung Lesung yang kini dikenal sebagai tempat wisata ternyata juga memiliki kisah di balik nama Tanjung Lesung itu sendiri. Kisah ini merupakan kisah rakyat turun temurun yang berasal dari daerah Banten. Di pesisir Laut Selatan Pulau Jawa, ada seorang pengembara bernama Raden Budog. Ia adalah seorang pemuda yang tampan dan gagah perkasa. Dalam pengembaraannya, ia selalu ditemani oleh seekor anjing dan kuda kesayangannya. Suatu siang seusai mandi di pantai, Raden Budog beristirahat di bawah sebuah pohon ketapang yang rindang.
Buaian angin pantai yang sejuk membuat pemuda itu begitu cepat terlelap. Dalam tidurnya, ia bermimpi mengembara ke utara dan bertemu dengan seorang gadis cantik jelita. Namun, saat ia hendak menyambut uluran tangan gadis itu tiba-tiba sebuah ranting kering jatuh mengenai dahinya. Ia pun terkejut dan langsung terbangun dari tidurnya.
Sejak peristiwa itu, hati Raden Budog tidak tenang karena senyum manis gadis itu selalu terbayang di pelupuk matanya. Walaupun hanya mimpi, namun ia merasa bahwa pertemuannya dengan gadis itu seperti kenyataan.
Oleh karena rasa penasaran, ia pun memutuskan pergi mengembara ke utara untuk mencari gadis impiannya. Setelah berhari-hari berjalan menapaki jalan yang terjal, tibalah Raden Budog di sebuah tempat tinggi yang dikenal bernama Tali Alas atau yang kini disebut Pilar. Dari tempat itulah, Raden Budog dapat melihat pemandangan samudera biru yang membentang luas dan pantai yang indah.
Sejenak ia beristirahat di tempat itu sambil menikmati bekalnya yang masih tersisa. Setelah dirasa cukup beristirahat, Raden Budog melanjutkan perjalanannya menuju ke pantai, yakni yang dikenal dengan sebutan Pantai Cawar. Sejuknya air di Pantai Cawar benar-benar menghilangkan rasa lelah Raden Budog. Setelah badannya kembali segar, pemuda itu pergi ke muara sungai yang ada di sekitar pantai untuk membasuh tubuhnya dengar air tawar.
Diceritakan bahwa akhirnya Raden Budog berhasil menyeberangi sungai yang didalamnya terdapat kampung yang diyakininya sebagai tempat tinggal gadis pujaan dalam mimpinya tersebut. Beberapa saat kemudian, alunan bunyi lesung yang merdu dari dalam kampung itu kembali terdengar. Hati Raden Budog semakin berdebar kencang karena merasa gadis itu semakin dekat di hatinya. Ia pun segera berdiri dan melangkah menuju ke sumber bunyi lesung tersebut. Begitu ia tiba di depan sebuah rumah, tampaklah gadis-gadis kampung sedang asyik bermain lesung atau ngagondang. Kebiasaan bermain lesung tersebut sudah merupakan tradisi penduduk kampung itu saat akan menanam padi. Namun, tradisi itu tidak mereka lakukan jika bertepatan di hari Jumat, karena hari Jumat dianggap sebagai hari keramat.
Akhirnya Raden Budog berhasil bertemu dengan pujaan hatinya dan mereka pun menikah. Setelah menikah dengan Sri Poh Haci, Raden Budog pun menetap dikampung itu. Setiap kali istrinya bermain lesung bersama gadis-gadis kampung, ia selalu datang menyaksikannya karena senang mendengar nada lesung itu dan sesekali belajar memainkan lesung.
Semakin lama Raden Budog semakin senang bermain lesung sehingga terkadang lupa waktu. Saking senangnya, ia tetap bermain lesung walaupun pada hari Jumat. Padahal, istrinya sudah memberi tahu sebelumnya bahwa bermain lesung pada Jumat sangat dipantangkan.
Berkali-kali para tetua kampung memperingatkan akan hal itu, namun Raden Budog yang keras kepala itu tidak menghiraukannya dan tetap bermain lesung di hari Jumat.
Perilaku Raden Budog semakin menjadi-jadi, ia terus menabuh lesung sambil melompat-lompat kegirangan kesana ke mari seperti seekor lutung (kera hitam berekor panjang). Rupanya, Raden Budog tidak menyadari jika dirinya telah menjadi seekor lutung.
Alangkah terkejutnya ia setelah melihat tangan dan kakinya telah penuh dengan bulu-bulu. Setelah meraba wajahnya dan merasa penuh dengan bulu, ia pun langsung lari terbirit-birit masuk ke dalam hutan di pinggir kampung tersebut.
Sejak itu, Raden Budog menjadi lutung dan tidak pernah lagi kembali ke wujud aslinya sebagai manusia. Menurut cerita, Sri Poh Haci akhirnya menghilang dan konon katanya menjelma menjadi Dewi Padi. Maka untuk mengenang kemahiran Sri Poh Haci bermain lesung, penduduk setempat menyebut kampung itu dengan nama Kampung Lesung. Karena berlokasi di sebuah tanjung, maka kampung itu diberi nama “Tanjung Lesung”.