Dès l'Antiquité, sa situation remarquable permet la surveillance simultanée de la rade d’Hyères et d’un large espace autour du village qu’il protège des incursions sarrasines et du brigandage de tout bord. En 1531, de passage en Provence, le roi François 1er décide de consolider l’ouvrage initial et d’implanter une garnison sur l’île de Porquerolles pour la protection des habitants et du littoral provençal.

Derrière des murs de 4 mètres d'épaisseur, la tour abrite une grande salle de 6 mètres de haut, voûtée en coupole avec un oculus. Elle est surmontée d'une terrasse qui offre un point de vue exceptionnel sur l'île et la rade d'Hyères.
Les casernements abritent une exposition permanente sur le patrimoine naturel, culturel et historique de l'île.

Depuis 2020, une collaboration entre le parc national de Port-Cros et la Villa Carmignac a permis la restauration de la tour qui abrite chaque année une extension de l’exposition de la Villa Carmignac.