Der Nationalfriedhof von Knoxville wurde von Generalmajor Ambrose Burnside gegründet, dessen Unionstruppen Knoxville im September 1863 auf dem Höhepunkt des Bürgerkriegs befreit hatten. Burnside übertrug die Aufgabe, den Friedhof anzulegen, seinem stellvertretenden Quartiermeister, Captain E.B. Chamberlain. Die ersten Bestattungen des Friedhofs waren die Toten der Union, die exhumiert und aus Cumberland Gap und anderen Teilen der Region überführt wurden. Chamberlains Plan war so effektiv, dass der Friedhof einer der wenigen in der Nation war, der keine Änderungen benötigte, als er am Ende des Krieges zum Nationalfriedhof erklärt wurde. Die Gräber auf dem Knoxville National Cemetery sind kreisförmig angeordnet, wobei jeder Grababschnitt durch Stege getrennt ist. Die Grababschnitte bilden jeweils ein Viertel des Kreises, wobei die Grabsteine zur Mitte hin zusammenlaufen, wo sich ein Fahnenmast und ein Tuchbaldachin befinden. Eine Steinmauer umgibt die Umfassung, deren südöstlicher Teil den Friedhof vom angrenzenden Old Gray Cemetery trennt. Der nordöstliche Teil der Mauer, in dem sich der Haupteingang befindet, wird von einem Eisenzaun überragt, wobei der Eingang durch ein eisernes Doppeltor gesichert ist. Das Verwaltungs- und Servicegebäude befindet sich direkt hinter dem Tor. Eine Markierung mit mehreren Zeilen aus dem Gedicht Bivouac of the Dead von Theodore O'Hara steht vor den Gräbern in der nordöstlichen Ecke. Bei den meisten Grabsteinen handelt es sich um Marmorgrabsteine in Standardgröße und -form, obwohl einige größere und aufwendigere Markierungen haben. Inschriften geben in der Regel den Namen und die Lebensjahre des Verstorbenen an und vermerken in einigen Fällen den Rang, die Firma und/oder den Krieg, in dem er gedient hat. Die Bestattungen sind auf Veteranen und Ehepartner von Veteranen beschränkt. Nach dem Sezessionskrieg wurden auf dem Friedhof nur noch Bestattungen der Union akzeptiert, obwohl sich auf dem Friedhof mindestens ein Grab der Konföderierten befindet. Der Friedhof wird derzeit vom Mountain Home National Cemetery verwaltet und beherbergt Veteranen aller Kriege seit dem Bürgerkrieg.

Das Denkmal für Unionssoldaten in der östlichen Ecke des Friedhofs wurde in den frühen 1900er Jahren errichtet. Im Jahr 1892 errichteten die Konföderierten-Veteranen von Knoxville auf dem Konföderierten-Nationalfriedhof in der Nähe des Mabry-Hazen-Hauses in East Knoxville ein 15 m hohes Denkmal, das von einer Statue eines konföderierten Soldaten gekrönt wurde. Um dem nicht nachstehen zu können, bildete die örtliche Sektion der Grand Army of the Republic eine Kommission unter der Leitung des ehemaligen Offiziers der Unionsarmee und Herausgeber des Knoxville Journal William Rule (1839–1928), um Geld für den Bau eines größeren Denkmals auf dem Knoxville National Cemetery zu sammeln. Das 1901 fertiggestellte Denkmal war ursprünglich 15 m hoch – die Höhe war so berechnet worden, dass sie die des Denkmals der Konföderierten übertraf – und wurde von einem bronzenen Adler mit ausgebreiteten Flügeln gekrönt. Am 22. August 1904 wurde der Adler jedoch von einem Blitz zerschmettert, dessen Geräusch Knoxville erschütterte und meilenweit zu hören war. Das neue Denkmal, das vom örtlichen Architekturbüro Baumann Brothers entworfen wurde, folgte weitgehend dem ursprünglichen Entwurf, mit der Ausnahme, dass eine Marmorstatue eines Unionssoldaten anstelle eines Adlers auf dem Denkmal platziert wurde. Es wurde am 15. Oktober 1906 fertiggestellt. Das Denkmal, das aus lokal abgebautem Marmor erbaut wurde, stellt eine mittelalterliche Festung dar, mit Buntglasfenstern und einem Innenraum und einer Treppe. Die 2,4 m hohe Soldatenstatue steht auf dem Hauptturm. Das Denkmal wird manchmal auch als "Wilder Monument" bezeichnet, da der Legende nach der Soldat das Konterfei des Unionsgenerals und Geschäftsmanns John T. Wilder aus Ost-Tennessee trägt.