Aus Funden in den Blue Mountains schließen Archäologen, dass die Gegend des heutigen Stadtgebiets vor ungefähr 20.000 Jahren von Aborigines besiedelt wurde. Zu Beginn der Kolonisation lebten hier etwa 4.000 bis 8.000 Menschen, die vier verschiedenen Stämmen angehörten. Das waren die Eora, die Darug, die Dharawal und die Guringai. Obwohl ihre Siedlungen weitgehend verschwunden sind, sind an einigen Stellen Felszeichnungen wie die Sydney-Felsgravuren erhalten geblieben. 1770 hatte Captain James Cook südlich des heutigen Stadtzentrums die Botany Bay entdeckt und auch die Einfahrt zum Port Jackson auf seinen Karten verzeichnet. Am 18. Januar 1788 erreichte Captain Arthur Phillip mit der First Fleet die Botany Bay, die als Standort für eine Strafkolonie vorgesehen war. Während einer dreitägigen Erkundungsfahrt durch den Port Jackson (vom 21. bis 23. Januar 1788) entdeckte Phillip zunächst Manly Cove und einen Tag später auf der anderen Seite des Naturhafens eine weitere Bucht, die er nach dem damaligen britischen Innenminister Lord Sydney auf den Namen Sydney Cove taufte.

Am 26. Januar 1788 erreichte eine französische Expedition unter Jean-François de La Pérouse ebenfalls die Botany Bay. Die Engländer beschlossen am selben Tag, die Kolonie an den Sydney Cove zu verlegen. Etwa 800 Sträflinge sowie rund 500 Seeleute und Soldaten verließen in der Nähe des heutigen Circular Quay die Schiffe. Der 26. Januar ist seither Australiens Nationalfeiertag. Vermutlich zufällig brach kurz nach der Ankunft der weißen Siedler die Pockenepidemie in Australien 1789 aus, die große Teile der indigenen Bevölkerung auslöschte. Als Vermittler zwischen den Kulturen diente Bennelong, der von den Engländern gefangen genommen worden war und die englische Sprache erlernte. Während der Rum Rebellion im Jahr 1808 wurde Gouverneur William Bligh, der ehemalige Kapitän der Bounty, entmachtet. Erst Gouverneur Lachlan Macquarie schuf zwischen 1810 und 1821 die Voraussetzungen, dass sich aus der Strafkolonie eine bedeutende Stadt entwickeln konnte. Er ließ Straßen, Brücken, Hafenanlagen und öffentliche Gebäude errichten.

In den 1830er und 1840er Jahren entstanden die ersten Vororte, als immer mehr Einwanderer aus Großbritannien und Irland in Sydney ankamen. Nach dem ersten Goldrausch im Jahre 1851 wurde Sydney endgültig zum kulturellen, wirtschaftlichen und industriellen Mittelpunkt Australiens. Im letzten Viertel des 19. Jahrhunderts begann sich die Besiedelung des Umlandes zu verstärken. Bereits Mitte der 1920er Jahre zählte die Stadt mehr als eine Million Einwohner. 1931 waren wegen der Weltwirtschaftskrise etwa ein Drittel der Erwerbstätigen arbeitslos. Aber schon ein Jahr später stiegen die Preise für Wolle wieder, und die Bauindustrie erlebte einen neuen Aufschwung. 1932 entstand die Sydney Harbour Bridge, zuvor war die Gegend nördlich des Port Jackson nur umständlich erreichbar und deshalb dünn besiedelt gewesen.

Im Zweiten Weltkrieg erlitt die Stadt am 31. Mai 1942 nur geringe Schäden durch drei japanische Mini-U-Boote, von denen zwei im Hafen erbeutet wurden. Das dritte konnte entkommen, fand aber nicht zum Mutterschiff zurück. Es wurde im November 2006 17 Kilometer nordöstlich von Sydney am Long Reef Beach entdeckt. Nach Beendigung des Krieges kamen viele Migranten aus Europa nach Sydney; die Stadt wuchs weiter Richtung Wesongten. Ab Mitte des 20. Jahrhunderts begann die verstärkte Einwanderung aus asiatischen Ländern. Im Vietnamkrieg war Sydney ein wichtiger Erholungsort für US-amerikanische Soldaten. In den 1970er und 1980er Jahren entstanden, ausgelöst durch den wirtschaftlichen Aufschwung, im Central Business District zwischen den alten viktorianischen Gebäuden zahlreiche Hochhäuser. Im Januar 1994 zerstörten große Buschfeuer 200 Häuser in den Vororten von Sydney. 2000 war Sydney Austragungsort der Olympischen Sommerspiele.

Am 26. Dezember 2001 vernichteten Buschfeuer innerhalb von 23 Tagen weite Gebiete des Royal-Nationalparks und in den Blue Mountains. Rund 170 Häuser und mehr als 650.000 Hektar Wald und Farmland wurden Opfer der Flammen. Etwa 10.000 Feuerwehrleute aus dem ganzen Land waren im Einsatz, doch gelöscht wurden die Feuer erst durch starke Regenfälle mit bis zu 40 Millimeter Niederschlag. Im Dezember 2005 kam es in Cronulla, einem Vorort von Sydney, zu rassistisch motivierten Krawallen zwischen weißen Australiern und libanesisch stämmigen Australiern. Bei den Cronulla Riots wurden 30 Menschen verletzt, darunter sechs Polizisten und zwei Sanitäter. Vom 15. bis 20. Juli 2008 fand in Sydney der XXIII. Weltjugendtag statt. Am Abschlussgottesdienst mit Papst Benedikt XVI. nahmen 350.000 Pilger teil. Es war die größte Messe in der Geschichte Australiens. Ende September 2009 wurde Sydney vom stärksten Staubsturm der letzten 70 Jahre heimgesucht.