瀬戸内海の島々のなかでも標高340mもの高い壇山があるため湧水が豊富にあり棚田が広がり稲作が盛んである島、かつママカリ等の豊富な漁場が近くにあった事から豊かな島「豊島」と名付けられる由来となった。

第二次世界大戦後間もない頃までは乳牛が飼われており、また乳児院があったことから「ミルクの島」と呼ばれていた。

香川県では唯一の乳児院（いわゆる孤児院）である「豊島神愛館」(出典によっては「親愛館」）が1947年に設置されていたが、老朽化により2015年に坂出市に移転し、「かがわ子ども・子育て支援センター」に統合された（跡地は、ゲストハウス「mamma」として活用されている）。

2010年瀬戸内国際芸術祭の会場に選定され、直島に次いで2番目に来場者数の多い人気の「アートの島」となった。以降、レストランやホテルなどアートの島として観光客がかつてないほど訪問し、関連施設が増え、島に賑わいをもたらしている。