Das Gebäude wurde zwischen 1768 und 1771 von William Fitzhugh errichtet. Es wurde nach William Pitt, dem Earl of Chatham benannt. Auf dem Gelände befinden sich eine Rennbahn für Pferde, eine große Gartenanlage, einige Brunnen, ein Friedhof und ein paar Nebengebäude. Bei den Kämpfen um Fredericksburg diente das Haus als Hauptquartier für General Irvin McDowell oder als Beobachtungspunkt für General Edwin Sumner. Nach den Kämpfen wurde hier ein Hospital eingerichtet. Über 130 Soldaten starben in Chatham und wurden znächst hier auch begraben. Im Garten sind Teile der Pontons (Nachbauten, 80% der Originalgröße) ausgestellt, die zur Überquerung des Rappahannock genutzt wurden.