Der James River war eine der wichtigen Wasserstraßen im Bürgerkrieg. Der tiefe, befahrbare Kanal bei Hardy's Bluff war von strategisch wichtiger Bedeutung. Von dieser Position aus konnte man den Warentransport auf dem Fluss in Richtung Richmond kontrollieren. Folglich waren beide Seiten daran interessiert, diese Position zu halten bzw. einzunehmen. Insgesamt fanden 4 Angriffe auf das Fort statt. Es wurde von ca 200 bis 400 Soldaten gegen die "Unions James River Blockadetruppen" verteidigt. Die Befestigungslinien wurden ab dem 4. Mai 1862 von General Magruder aufgegeben als starke Verbände der Union unter Generalmajor George B. McClellan von Land her vorrückten. 

Das Fort am Harden's Bluff wurde nach Generalmajor Benjamin Huger benannt, dem Kommandanten aller Verteidigungsanlagen in Südost-Virginia. Es war Teil der Befestigungslinien von General John Bankhead Magruder, die zum Schutz der rechten Flanke der Konföderierten angelegt wurden. Operationsbasis war das alte Fort Monroe bei Old Point. Mit den Bauarbeiten wurde im Juli 1861 auf Veranlassung von Colonel Andrew Talcott begonnen, einem Ingenieur aus Virginia. Bei den Bauarbeiten wurden viele Sklaven eingesetzt. Die gesamten Befestigungen erstreckten sich von Gloucester Point bis zum Fort Huger. Es sollte damit verhindert werden, das Unionstruppen über die Halbinsel auf Richmond, die Hauptstadt der Konföderierten, vorrücken könnten. Außerdem wurden die Nachschublinien der Unionstruppen auf dem York und dem James River geschlossen.

Das Fort war im März 1862 mit 13 Kanonen bestückt, darunter eine 10-inch Columbiad, vier 9-inch Dahlgrens, zwei 8-inch Columbiads und sechs 32-Pfünder. Am 8. Mai 1862 nahmen die Schiffe USS Galena, USS Aroostook und USS Port Poyal zunächst Fort Boykin und danach auch Fort Huger unter Feuer. Die kleinen Kanonen der Forts konnten aber gegen die stark gepanzerten Schiffe nichts ausrichten. Die Kanonenboote USS Monitor und USS Naugatuck beschossen Fort Huger am 12. Mai. Die Forts wurden von den Konföderierten am 17. und 18. April 1862 aufgegeben und ab 19. April 1862 von den Unionstruppen besetzt. Die Einrichtungen waren zuvor in Brand gesetzt worden, Kanonen und Wagen waren zerstört. Durch die Eroberung der Forts war der James River für die Unionstruppen die nächsten 70 km frei. Die Grenze für die Unionstruppen bildete die starke Befestigung bei Drewry's Bluff, 12 km südlich von Richmond.