Die Gründung der Berliner Philharmoniker war Ergebnis vertraglicher Unzufriedenheit: 54 Musiker der Berliner „Bilse-Kapelle“ wollten die schlechten Konditionen und geringen Löhne nicht länger hinnehmen und gründeten ein Orchester, in dem sie selbst bestimmen und das sie selbst verwalten konnten. Gegründet am 1. Mai 1882, fanden die ersten Konzerte des neuen Orchesters noch unter dem Namen „Frühere Bilsesche Kapelle“ statt, ab Sommer 1882 firmierte das Ensemble unter „Berliner Philharmonisches Orchester“. Neben Abonnementkonzerten für (musikalisch) gebildetes Publikum – die „Philharmonischen Konzerte“ – gab es außerdem Konzerte mit „populärer Musik“, die das Einkommen der Musiker sicherten.
1887 berief man Hans von Bülow zum Chefdirigenten der Berliner Philharmoniker. Als Vertreter des neuen Selbstverständnisses der Dirigenten formte Bülow das Orchester in langen und strengen Proben zu einem der führenden Orchester Deutschlands. Als Chefdirigent folgte 1895 bis 1922 Arthur Nikisch, der musikalisch-dirigentisch andere Akzente setze, das Ansehen des Orchesters jedoch ebenfalls international mehrte – insbesondere durch europaweite Konzertreisen. In die Ära von Wilhelm Furtwängler (1922 bis 1934) fiel die Übernahme des Orchesters durch die Stadt Berlin und das Deutsche Reich, um die Finanzierung des Klangkörpers zu sichern.
Das Orchester selbst gab auch während des Zweiten Weltkriegs Konzerte – selbst nach der Zerstörung der Berliner Philharmonie durch einen Bombenangriff 1944. Das letzte Konzert vor Kriegsende fand noch am 16. April 1945 statt, das erste nach dem Krieg schon gut einen Monat später, am 26. Mai 1945.
Sergiu Celibidache leitete ab 1945 die Berliner Philharmoniker „ad interim“, bis 1952 Wilhelm Furtwängler erneut das Dirigat übernahm. Auf diesen folgte ab 1954 Herbert von Karajan, dessen Amtszeit bis 1989 währte – länger als die aller anderen Dirigenten. Karajans Nachfolger wurde Claudio Abbado. Sir Simon Rattle löste ihn 2002 ab und blieb sechzehn Jahre lang amtierender Chefdirigent der Berliner Philharmoniker. Bereits 2015, nachdem Rattle angekündigt hatte, dass er seinen Vertrag nicht verlängern werde, wurde mit Kirill Petrenko ein neuer Leiter in einem Orchesterinternen Wahlverfahren bestimmt, der das Orchester zur Spielzeit 2019/20 übernommen hat.