Zunächst glaubte Sedgwick, einer einzigen Infanteriebrigade gegenüberzustehen, weshalb er gegen 15:30 Uhr die konföderierten Stellungen nur mit der Division von William T. H. Brooks angriff. Brooks gelang es, McLaws' rechte Flanke zurückzudrängen, doch ein Gegenangriff stoppte den Angriff der Union und zwang Brooks zum Rückzug auf seine ursprüngliche Position; Sunset beendete den Kampf, bevor weitere Einheiten beteiligt waren. In der Nacht befahl Lee Early, am Morgen Sedgwicks linke Flanke anzugreifen, während McLaws die rechte Flanke der Union angriff. Auch in der Nacht erhielt Sedgwick keine weiteren Befehle von Hooker, außer der Genehmigung, sich über den Fluss zurückzuziehen, falls Sedgwick dies für notwendig hielt. Um 7 Uhr morgens am 4. Mai eroberte Early Marye's Heights zurück und drehte dann nach Westen, bis er Sedgwicks Hauptlinien erreichte, wobei er nach schwerem Beschuss Halt machte. Im weiteren Verlauf des Morgens startete Early eine Reihe unkoordinierter Angriffe auf Sedgwicks Stellung, die alle abgewehrt wurden. Bis 11 Uhr am 4. Mai blickte General Sedgwick in drei Richtungen; westlich in Richtung Lees Haupttrupp und der Salem Church, südlich in Richtung Andersons Division und östlich in Richtung Earlys Division. Als General Sedgwick Gerüchte hörte, dass Verstärkungen aus Richmond eingetroffen seien, empfand er, dass seine Lage immer schwieriger wurde. Er hatte bereits eine sechs Meilen lange Linie, gehalten von 20.000 Soldaten gegen nun 25.000 Konföderierte, mit nur einem Brückenkopf, auf den er sich zurückziehen konnte, wenn er scheiterte, wobei möglicherweise weitere Konföderierte eintreffen und er selbst über 5.000 Verluste hatte. Er berichtete General Hooker von seiner schwierigen Lage und bat die Hauptarmee um Unterstützung. General Hooker entgegnete jedoch, nicht anzugreifen, es sei denn, die Hauptarmee täte dasselbe. Unterdessen traf General Lee um 11 Uhr morgens im Hauptquartier von McLaws ein und informierte ihn, dass er sich nicht stark genug fühle, einen Angriff zu starten, und bat um Verstärkung. Anderson erhielt den Befehl, die anderen drei Brigaden seiner Division zu bringen und sie zwischen McLaws und Early zu positionieren; Anschließend startete er weitere Angriffe, die ebenfalls abgewehrt wurden.