Das Lagerwurde im Frühjahr 1864 errichtet und umfasste ursprünglich 6,7 Hektar. Es war von 4,6 Meter hohen Palisaden umzäunt. Die ersten Gefangenen trafen am 27. Februar 1864 ein. Das Lager wurde bis April 1865 genutzt (in dieser Zeit gelang 329 Insassen die Flucht) und war für maximal 10.000 Gefangene ausgelegt, die maximale Belegung lag jedoch bei 32.899 Gefangenen. Infolge der immensen Überbelegung stand jedem der zusammengepferchten Insassen lediglich eine Fläche von 2,3 Quadratmetern zur Verfügung, obwohl im Sommer 1864 das Lager um 4 Hektar erweitert wurde. Das einzige Wasser, das den Gefangenen zur Verfügung stand, war ein kleiner Bach, der durch das Lager floss und gleichzeitig als Trinkwasserquelle, Latrine und Mülldeponie diente. Mangelhafte Transportkapazitäten führten zu gravierenden Engpässen bei der Nahrungsmittelversorgung des Lagers. Aufgrund der äußerst lebensfeindlichen Bedingungen, unter denen das tägliche Lagerleben stattfand, starben insgesamt 12.919 Insassen. Das Lazarett von Andersonville wurde den Anforderungen an eine solche Einrichtung in keiner Weise gerecht. Es bestand aus einer Fläche außerhalb des Lagers, wo man die Kranken unter freiem Himmel auf Brettern und Strohhaufen unterbrachte. Die Sterblichkeitsrate lag bei 30 - 100 Mann am Tag. Als General Shermans Armee im September 1864 Atlanta bedrohte, wurden Gefangene aus Andersonville nach Charleston und Savannah, sowie in ein neu errichtetes Lager bei Florence, South Carolina verlegt.