Das Monument steht auf dem Libby-Hill, von wo aus man den Bereich von Richmond übersehen kann, in dem die konföderierte Marine operiert hatte. Ursprünglich sollte hier ein Denkmal für Robert E. Lee errichtet werden, das später aber an der Memorial Avenue gebaut wurde. Die Gesellschaft für konföderierte Soldaten und Seemänner wurde im Jahr 1889 gegründet. Man entschloss sich, das Monument an die Pompejus-Säule in Alexandria anzulehnen. Auf der Spitze wurde eine Bronz-Statue aus 13 Teilen aufgestellt, die die 13 Konföderierten Staaten symbolisieren sollten. Das Monument wurde im Jahr 1894 am Südende der 29.Straße aufgestellt und kostete 30.000 Dollar.