“เขาสามมุก” เป็นเนินเขาเตี้ยๆ อยู่กึ่งกลางระหว่างบ้านอ่างศิลาและ หาดบางแสน ขับรถไปตามถนนเลียบริมหาด จากอ่างศิลาเป็นทางลาดขึ้นไปนั่นก็คือบริเวณที่เรียกกันว่า เขาสามมุก และ เขาสามมุกเป็นที่อยู่อาศัยของฝูงลิงจำนวนมาก ส่วนศาลเจ้าแม่สามมุกตั้ง อยู่บริเวณเชิงเขา และ ที่มุมหนึ่งของศาลเจ้าแม่สามมุก มีผู้เขียนถึงตำนานความรักของท่านไว้ดังนี้
   
       ..."เมื่อปลายรัชสมัยกรุงศรีอยุธยาบริเวณบางแสนและ เขาสามมุข ยังไม่มีบ้านเรือนและผู้คนหนาแน่นเหมือนปัจจุบันนี้ ชื่อบางแสนและเขาสามมุขก็ยังไม่ปรากฏ จะมีก็แต่ตำบลอ่างหิน ในปัจจุบันก็คือตำบลอ่างศิลาอันเป็นชุมชนของชาวประมงริมทะเล" ณ. ตำบลอ่างหินนี่เอง (อ่างศิลา) มีเจ้าของชื่อโป๊ะ หรือที่ชาวบ้านรู้จักกันในนามว่า “กำนันบ่าย” มีลูกชายชื่อว่า “แสน” 

       ..."จากตำบลอ่างหินออกไปพอประมาณมียายหลานอาศัยกันอยู่คู่หนึ่ง ยายมีชื่อเสียงเรียงนามใดไม่ได้ปรากฏไว้ ส่วนหลานสาวนั้นมีชื่อว่า “สาว มุข” อาศัยอยู่ในเมืองปลาสร้อย (จังหวัดชลบุรีในปัจจุบัน) เมื่อ บิดามารดาเสียชีวิตลง ก็ได้มาอาศัยอยู่กับยายจนกระทั่งโต “สาวมุข” มักจะชอบมานั่งเล่นดูหนุ่มสาวรวมทั้งเด็กที่มาเล่นว่าวในหน้าลมว่าวอยู่ริม เชิงเขาเป็นประจำ และมีเพื่อนที่คอยหยอกล้อเล่นเป็นประจำก็คือลิงป่าที่ลงมาจาก เขาสามมุก"
   
      ..."อยู่มาวันหนึ่งขณะที่ “สาวมุข” กำลังนั่งเล่นอยู่ ก็ได้มีว่าวตัวหนึ่งขาดลอยลงมาตกอยู่ที่หน้าของ “สาวมุข” เธอจึงเก็บว่าวตัวนั้นไว้และ มีเด็กหนุ่มชื่อแสนวิ่งตามว่าวที่ขาดลอยมาจึงได้พบกับ “สาว มุข” เขาทั้งสองได้รู้จักกันและ แสนก็ได้มอบว่าวตัวนั้นไว้เป็นที่ระลึก หลังจากนั้นทั้งสองก็ได้พบปะกันเรื่อยมาจนเกิดเป็นความรัก และได้สาบานต่อหน้าขุนเขา(เขาสามมุก) ปัจจุบัน แห่งนี้ว่า “ทั้งสองจะครองรักกันชั่วนิรันดร หาก ใครผิดคำสาบานนี้จะกระโดดหน้าผาแห่งนี้ตายตามกัน” และแสนได้มอบ แหวนวงหนึ่งให้แก่ “สาวมุข” ไว้เพื่อเป็นพยาน"
   
       ..."เมื่อกำนันบ่ายซึ่งเป็นพ่อของแสน ได้ทราบเรื่องเข้าก็เกิดความไม่พอใจ แสนได้พยายามขอร้องผู้เป็นพ่อให้ไปสู่ขอ “สามมุข” แต่กำนันบ่ายก็กีดกันและ กักบริเวณแสนไว้ จึงทำให้ทั้งสองไม่ได้พบหน้ากัน หลังจากนั้นกำนันบ่ายก็ได้ไปสู่ขอลูกสาวคนทำโป๊ะให้กับแสนและ กำหนดพิธีการแต่งงานขึ้น ข่าวนี้ได้แพร่กระจายไปทั่วอ่างหิน (อ่างศิลา) จน “สาวมุข” เองก็ได้รับรู้ถึงข่าวนี้ด้วย ในวันแต่งงานของแสนได้มีการจัดงานกันอย่างใหญ่โต สมเกียรติกับที่เป็นงานของกำนันบ่าย"
   
       ..."ตลอดระยะเวลาที่แขกได้ทยอยเข้ามารดน้ำสังข์อวยพรให้คู่บ่าวสาวทั้งสอง แสนได้แต่ก้มหน้านิ่งเสียใจอยู่กับตัวเองที่ไม่สามารถทำอะไรได้ จนกระทั่งแสนรู้สึกว่ามีน้ำสังข์ลดลงมาพร้อมกับแหวนวงหนึ่งตกลงมาด้วย แสนจำได้ดีว่าแหวนวงนี้เขาเป็นคนมอบให้ “สาวมุข” แต่พอเงย หน้าขึ้น “สาวมุข” ก็ได้วิ่งจากออกไปแล้ว แสนได้หวนคิดถึงคำสาบานที่ได้ให้กับ “สาวมุข” ไว้ จึงรีบวิ่งไปที่เชิงเขาแต่ก็สายไปเสียแล้ว “สาวมุข” ได้ขึ้นไป ที่หน้าผานั้นแล้วทิ้งร่างที่ไร้หัวใจลงดิ่งสู่ก้นผาสิ้นชีพอยู่ริมทะเล แสนผู้ที่ให้คำสาบานไว้กับ “สาวมุข” เขาจึงกระโดดลงหน้าผาตาม “สาว มุข” หญิงสาวสุดที่รักไป"
   
       ..."จากเหตุการณ์ที่เกิดขึ้นทำให้ชาวบ้านที่ทราบข่าวพากันเศร้าสลดใจเป็น อย่างมาก จึงพากันสาปแช่งกำนันบ่าย ต่อมากำนันบ่ายได้นำถ้วยชามสิ่งของต่างๆ มาไว้ในถ้ำตรงหน้าผาแห่งนั้นและตั้งชื่อภูเขาลูกนี้ว่า “เขาสามมุข” และชายหาดที่ติดกันว่า “หาดบางแสน” เพื่อเป็นอนุสรณ์รักแด่คนทั้งสองจนถึงปัจจุบัน"
   
       ... ต่อมาชาวบ้านในแถบนั้นเล่าว่า "เมื่อตกดึกได้พบเห็นร่างของหญิงสาวมายืนอยู่ตรงหน้าผานั้น เป็นประจำทุกคืน” ชาวบ้านจึงได้ช่วยกันสร้างศาลนี้ขึ้นเพื่อ เป็นที่สิงสถิตและ เป็นที่เคารพสักการะแก่ชาวบ้านและชาวประมงเมื่อเวลาที่จะ ออกเรือไปหาปลามักจะมีการมาจุดประทัดบนบาน ขอให้ได้ปลากลับมาเต็มลำเรือ อย่าต้องเผชิญกับลมพายุบางครั้งเจอลมพายุกลางทะเลก็จุดธูปบน เจ้าแม่สาม มุข ให้รอดปลอดภัยจากอันตรายก็สัมฤทธิ์ผลเรื่อยมา...
   
       จากนั้นเมื่อเรื่องราวความรักอันยิ่งใหญ่ของ เจ้าแม่สามมุข นั้นแพร่กระจายออกไป ก็มักมีคู่รักชายหญิง มาอธิษฐานขอให้ความรักของตนสมหวัง โดยเขียนชื่อตนกับคนรักไว้บนว่าว แล้วแขวนไว้บริเวณศาลโดยเชื่อกันว่า เจ้าแม่สามมุก จะดลบันดาลให้ทุก คู่รักสมหวัง และไม่พลัดพรากจากกันเหมือนดังในตำนาน
คำว่าเขา"สามมุข" เพี้ยนมาจาก "สาวมุข"