แสมสารเป็นหมู่บ้านชาวประมงที่สัตหีบเป็นเวลานานหลายสิบปีแล้ว ซึ่งมีเรือกว่า 100 ลำจอดอยู่ที่มีสะพานปลาทั้ง 7 แห่งเสมอ บนเกาะยังมีวัดหลวงพ่อดำและพิพิธภัณฑ์ธรรมชาติวิทยาเกาะและทะเลไทย อีกอย่างหนึ่งที่น่าสนใจมากคือบริเวณชายฝั่งกับหมู่เกาะเล็ก ๆ ที่นั่น จะมีช่องเล็ก ๆ สำหรับให้เรือเข้ามาเทียบชายฝั่ง เรียกว่า ช่องแสมสาร ที่บริเวณช่องแสมสารนี้เองที่เป็นที่อยู่อาศัยของปลา เพราะฉะนั้นจึงเป็นที่นิยมมากสำหรับนักท่องเที่ยวที่ชอบมาตกปลา แต่ต้องจำไว้ด้วยว่าหมู่เกาะแถวนั้นได้รับการดูแลโดยทหารเรือเพื่ออนุรักษ์ทรัพยากรธรรมชาติบนเกาะด้วย
ในตอนแรกยังไม่มีหมู่บ้านประมงแสมสาร แต่เป็นกลุ่มชาวประมงไม่กี่หลังคาเรือนอาศัยอยู่แถวนั้น แต่เพราะหมู่เกาะเล็ก ๆ ที่จับกลุ่มอยู่ด้วยกันใกล้ ๆ กับชายฝั่ง ได้เป็นตัวป้องกันคลื่นใต้น้ำจากท้องทะเลเข้ามาที่ฝั่ง และเกิดเป็นที่อยู่ของสัตว์น้ำนานาชนิด บริเวณนี้จึงเหมาะกับการทำอาชีพประมงมาก ทำให้มีชาวประมงไปอยู่ที่นั่นมากขึ้นเรื่อย ๆ จนกลายเป็นหมู่บ้านประมงในที่สุด
หมู่เกาะในบริเวณนี้ได้รับการคุ้มครองโดยทหารเรือ จึงไม่มีบุคคลทั่วไปอาศัยอยู่บนเกาะเลย และด้วยเหตุนี้เองที่ทำให้ทรัพยากรธรรมชาติของช่องแสมสารและบนเกาะต่าง ๆ มีอย่างอุดมสมบูรณ์ แต่ถึงเกาะจะได้รับการดูแลโดยทหารเรือ ในเวลากลางวันนักท่องเที่ยวสามารถขึ้นไปเที่ยวชมบางเกาะได้ เพราะงั้นช่องแสมสารจึงเป็นที่นิยมไม่น้อยเลย
ที่หมู่บ้านแสมสารจะมีท่าเทียบเรือจำนวนมากอยู่ ในช่วงเวลาเช้าตรู่ จะมีผู้คนพลุกพล่านที่ท่าเทียบเรือเหล่านี้ เพราะว่าจะมีเรือประมงกลับมาขายกุ้งหอยปูปลาเต็มไปหมด นักท่องเที่ยวอย่างเรา ๆ ก็สามารถเข้าไปซื้อได้ ซึ่งเป็นของที่ทั้งสดทั้งถูก เหมาะกับการนำมาทำอาหารมาก ๆ สิ่งที่ควรรู้อีกอย่างหนึ่งก็คือที่หมู่บ้านแห่งนี้ ยังมีอุปกรณ์ประมงให้เช่าด้วย (รวมถึงเรือด้วย) และหากใครอยากหาที่พักบริเวณนี้ก็หาได้ไม่ยากนัก
เวลาที่มาจากสัตหีบโดยใช้เส้นทางสุขุมวิทแล้ว ให้ขับเลยไปทางจังหวัดระยองจะผ่านกองเรือยุทธการและหน่วยวิชาการต่อสู้ จากนั้นจะมองเห็นสวนที่เด่นชัดอยู่ฝั่งตรงข้าม (มีอนุสาวรีย์ของรัชการลที่ 6 อยู่) ซึ่งเราต้องกลับรถมาเข้าที่นี่จากนั้นจะมีป้ายบอกทางไปหมู้บ้านแสมสารเป็นระยะ ๆ อยู่ตลอด