A consecuencia del ataque del pirata ingls Robert Searle a San Agustn en 1668, se decidi sustituir el fuerte de madera y edificar un castillo de piedra para proteger la ciudad. La construccin del Castillo de San Marcos empez en octubre de 1672. Los trabajadores fueron trados desde La Habana, Cuba y los trabajos se alargaron veintitrs aos, siendo completados en 1695.