Die Nord-Virginia-Armee hatte sich am 4. Juli in Erwartung, dass Meade angreifen würde, zur Verteidigung eingerichtet. Dieser entschied sich jedoch gegen das Risiko eines Angriffs, was ihm später heftige Kritik einbrachte. Die Nord-Virginia-Armee verließ bei strömendem Regen am Abend die Stellungen und marschierte auf der Fairfield Road zum South Mountain und von dort über die Städte Hagerstown und Williamsport, beide in Maryland, nach Virginia. Während des Rückzuges galt Lees besondere Aufmerksamkeit den Verwundeten und den Versorgungskolonnen, Ersteres aus der Verantwortung als Führer, Letzteres, weil diese die einzige Möglichkeit darstellten, die Armee zu weiteren Kämpfen zu befähigen. Es gelang Lee, die teilweise unter erbarmungswürdigen Bedingungen – noch nicht einmal Stroh auf den Wagen und zu wenig Sanitäter für die Betreuung – transportierten Verwundeten, die zirka 5.000 Gefangenen, die erbeuteten Waffen und Munition und die Versorgungsfahrzeuge mit nur geringen Verlusten nach Virginia zu bringen. Meade folgte Lee nur halbherzig. Selbst als der Hochwasser führende Potomac Lee zwang, auf dem nördlichen Ufer zu verbleiben, dauerte es zu lange, bis die Potomac-Armee heran war. Das Gefecht mit der Nachhut am 14. Juli bei Falling Waters im heutigen West Virginia beendete den Gettysburg-Feldzug.