Vor dem Ausbau hatte die Insel nur einen Bruchteil der heutigen Fläche und wurde unterschiedlich genutzt. Auch war sie oft von Namensänderungen betroffen. Die indianischen Ureinwohner Amerikas nannten die Insel Kioshk (gull island, „Möweninsel“). Niederländische Einwanderer nannten die Insel aufgrund ihrer Muschelbänke um 1630 oyster island („Austerninsel“), später wurde sie gibbet island („Galgeninsel“) genannt, da zu der Zeit viele Piraten am Galgen gehängt wurden. Samuel Ellis erwarb das Land 1770 während der amerikanischen Revolution, fortan wurde der Ort als öffentlicher Picknickplatz genutzt. 1785 versuchte er erfolglos, das Land zu verkaufen.

In den frühen 1800er Jahren erkannte die junge amerikanische Regierung, dass Ellis Island mit seiner freien Sicht auf die Einfahrt in den New Yorker Hafen einen strategischen Wert als Verteidigungsposten hatte. Da die Briten während der Amerikanischen Revolution problemlos und ohne großen Widerstand in New York einmarschiert waren, wurde der Schutz New Yorks zu einer obersten Priorität für die neue Regierung. Vor dem Krieg von 1812 errichtete das Kriegsministerium der Vereinigten Staaten Fort Gibson (benannt nach Colonel James Gibson, der bei der britischen Belagerung von Fort Erie tödlich verwundet wurde) auf Ellis Island.

Fort Gibson bestand aus einer Kaserne für eine kleine Garnison, einem Pulvermagazin und einer Batterie von Geschützen, die sich am östlichen Rand der Insel befanden. Nach Ellis’ Tod 1807 übernahm der Bundesstaat New York die Insel und verkaufte sie ein Jahr später für 10.000 Dollar an die Bundesregierung der Vereinigten Staaten. Fortan wurde die Insel zunächst unter der Bezeichnung Fort Gibson als Gefängnis und später als Munitionslager der Armee benutzt. Ab 1861 lautete der offizielle Name der Insel Ellis Island.