瀬戸内海航路の要衛として栄え、神武天皇東征時の高島[たかしま]行宮が置かれたという伝説がある。島の南側にある遊歩道の展望台からは、瀬戸内海の穏やかな光景が目前にせまる。数軒のペンションがあり、新鮮な魚介料理が味わえるほか、釣りや観光漁業も楽しめる。

島全体が国指定の名勝。総延長500mの白浜はキメが細かくて、水もきれい。シーカヤック・SUP・ウィンドサーフィンも楽しめる。岡山県の三大海水浴場の一つに数えられている。海水浴場に沿って旅館・民宿が立ち並ぶ(6軒)。

岡山県最南端にある周囲4.3kmの島。島の南側は潮流の速い海峡で、航路の安全を守るために県で最初に設置された六島灯台がある。島の東側、大石山の山肌一帯には自生の水仙の群落があり、1月中旬から2月中旬にかけて可憐な花をつける。