Cette hauteur au-dessus de la plaine fertile est sans doute fréquentée depuis au moins la fin de l’antiquité. Les chartes du XIe siècle évoquent le castrum de Grimaldo, sans doute antérieur à cette date.

Durant trois siècles favorables, le village et l’économie se développent. Le milieu du XIVe siècle marque l’arrêt de cette période faste. Les crises économiques et démographiques, associées à la peste et à la guerre, contraignent les habitants à se grouper au sommet de la colline et à construire dans les années 1370, ce rempart pour se protéger. De la porte d’entrée fortifiée qui se trouvait ici, il ne reste que quelques traces.

Les fortifications ont évolué au cours du temps : sommaires au XI-XIIIe siècle, elles s’agrandissent au XVe siècle pour être à leur apogée au XVIIe siècle. L’abandon à la fin du XVIIIe siècle, et le démontage lors de la Révolution Française, ont abouti à la destruction de ce château.

De grandes familles se succèdent, d’abord liées aux Comtes de Provence, puis au Roi Charles II. Au milieu du XVe siècle, Jean de Cossa, Grand Sénéchal, marque de son emprunte le territoire, en fondant le village de Saint-Tropez que nous connaissons encore aujourd’hui. Puis au milieu du XVIIIe siècle, les seigneurs issus de la puissante famille de Castellane agrandissent le bâtiment et font construire les tours sud.

Classé Monument Historique, il bénéficie de campagnes de restauration depuis les années 1980.