Am 8. Januar 1865 wurde er seines Kommandos enthoben. Grant befahl einen zweiten Angriff auf das Fort, und diesmal sollte General Alfred Terry das Kommando übernehmen. Fünf Tage nach der Amtsenthebung von general Benjamin Butler - am 13. Januar 1865 - arbeiteten sich Unionstruppen wieder über Land bis zur Nordseite des Forts vor. Gleichzeitig wurde die Festung von der Seeseite aus durch die Kriegsflotte beschossen.  Der Beschuss war noch stärker als beim ersten Angriffsversuch und diesmal konnten sämtliche gegnerischen Geschütze ausgeschaltet werden. Auch die Minen, die über dem Land verteilt waren, wurden entweder zur Explosion gebracht oder entschärft. Der Weg zum Fort war damit frei, so dass am 15. Januar 4500 Infanteristen von Norden und 2000 Matrosen vom Meer aus angreifen konnten. Bei dem schweren Gefecht verloren fast 1000 Unionssoldaten ihr Leben. Dennoch gelang es den Yankees, die Befestigung zu durchbrechen und die 2000 gegnerischen Soldaten zu überwältigen.