Das Fort wurde zwischen 1756 und 1757 vom Staat Maryland erbaut. Es wurde von Governor Horatio Sharpe für 6000 Pfund erbaut, um das Grenzland zu schützen. Das Fort wurde nach Frederick Calvert, dem 6.Baron von Baltimore benannt und im Jahr 1757 fertiggestellt. Das Design stammt von Sebastian Vauban, einem Französischen Baumeister und ist typisch für Bauwerke dieser Art im 18.Jahrhundert. Das Fort diente als Zufluchtsort für Siedler, die vor den Indianerangriffen 1757 und 1758 flohen. Das Fort war zu jener Zeit von dem 60.Regiment und lokalen Milizen besetzt. Das Fort wurde nicht gebaut, um einem Artillerie-Angriff zu widerstehen. In den Jahren 1777 bis 1783 wurde das Fort  während des Unabhängigkeitskrieges als Gefängnis für ca. 1000 gefangene Britische und Deutsche Soldaten genutzt. Im Jahr 1791 wurde das Fort bei einer Auktion verkauft und blieb bis zum Bürgerkrieg verlassen. Nach dem Ausbruch des Krieges wurden hier Kanonen platziert, die den Chesapeake und Ohio-Kanal sowie die Baltimore-Ohio-Eisenbahnlinie schützen sollten. Das 1. Maryland-Infanterie-Regiment besetzte das Fort im Dezember 1861. Am Weihnachtstag hatte die Kompanie H es ein kleineres Gefecht mit konföderierten Soldaten. Das Regiment verließ das Fort im Februar 1862. Danach gab es eine kurze Besetzung durch die 12.Illinois-Kavallerie. Das Fort war ab 1862 nicht mehr nützlich und wurde aufgegeben. Erst 1922 wurde das Gelände wieder vom Staat Maryland gekauft und zum ersten Nationalpark in Maryland umgestaltet. Die zwischenzeitlich entdeckten Originalpläne erlaubten eine originale Rekonstruktion des Forts. Die Arbeiten daran waren 1930 beendet.

Das Fort hat eine Bastion an jeder Ecke. Die Außenwände sind 55 m lang, 5,3 m hoch und 91 cm dick. Die Bastionen haben einen Durchmesser von 33 m, sind 4,5 m hoch und 1,4 m dick. Ursprünglich waren die Bastionen mit Erde aufgefüllt. Das Haupttor liegt im südlichen teil der Festung. Von den ursprünglichen 3 Gebäuden sind nur 2 wieder im Originalzustand aus dem Jahr 1758 aufgebaut worden.. Das nördliche Gebäude, auch das Governor's House genannt, wurde nicht wieder aufgebaut.