2차대전 말기에 영국 유수의 음반사인 HMV(현 EMI)에서 자사 소속의 녹음 전용 관현악단 창단을 추진하고 있었으며, 우선 영국 공군 소속 악단원들이 주가 된 현악 합주단 형태로 구성한 뒤 거기에 관악과 타악 주자들을 더해 정규 관현악단으로 편성하고 1945년 10월 28일에 토머스 비첨의 지휘로 첫 연주회를 가졌다. 이 악단의 결성에는 HMV의 예술 감독을 맡고 있던 녹음 프로듀서 월터 레그가 깊이 관여하고 있었고, 레그는 창단자이자 악단의 예술 감독을 겸임했다.
레그는 이 악단을 HMV의 관현악 녹음을 위해 적극적으로 활용했고, 특히 나치스 당원 출신으로 독일과 오스트리아에서 활동에 제약을 받고 있던 헤르베르트 폰 카라얀을 정기적으로 섭외해 많은 양의 음반 녹음을 했다. 이외에도 연주회 출연을 병행했는데, 리하르트 슈트라우스나 아르투로 토스카니니 등의 노장 지휘자들을 런던으로 초빙해 공연하기도 했다. 카라얀을 대단히 싫어했던 빌헬름 푸르트벵글러나 미국 망명 후 유럽으로 돌아온 유태계 지휘자 오토 클렘페러도 HMV와 계약을 맺고 있었기 때문에 이 악단을 자주 지휘해 공연과 녹음을 병행했다.
푸르트벵글러가 1954년 타계하고 카라얀이 같은 해 베를린 필하모닉 오케스트라와 계약하면서 관계가 소원해지자 레그는 클렘페러를 위주로 공연과 녹음 활동을 추진했고, 1959년에는 클렘페러를 상임 지휘자 겸 종신 음악 감독으로 임명했다. 이는 카라얀이 베를린 필에서 잡게 된 권한과 같은 효력을 갖는 막강한 직책이었고, 클렘페러는 이후 1973년에 타계할 때까지 직책을 유지하면서 악단의 발전에 크게 이바지했다.
그러나 1964년 3월에 사실상의 운영 주체였던 레그가 재정 문제를 이유로 돌연 악단을 해산하겠다고 공표해 영국 음악계에 큰 충격을 주었고, 이에 반발한 단원들은 자주 운영 체제를 구축하고 클렘페러를 악단의 회장으로 추대했다. 악단 이름도 뉴 필하모니아 오케스트라로 바꾸었고, 종래에 EMI 전속으로 활동하던 계약에서 벗어나 데카 등 다른 경쟁 음반사들과 계약하는 등 적극적으로 활로를 모색했다.
클렘페러가 고령과 건강 악화를 이유로 1971년에 지휘 활동을 중단하자 로린 마젤이 클렘페러의 부지휘자 자격으로 사실상 상임 지휘자의 직책을 수행했으며, 클렘페러 타계 후에는 이탈리아 출신의 젊은 지휘자였던 리카르도 무티를 상임 지휘자로 초빙했다. 무티는 클렘페러가 갈고 닦은 합주력과 구성력을 바탕으로 정서적이고 감각적인 표현력을 더했으며, 악단 이름의 복구를 강력히 주장해 1977년에 원래 이름인 필하모니아 오케스트라의 사용권을 되찾는 데 성공했다.
무티는 1979년에 악단으로부터 음악 감독 칭호를 수여받았고, 1982년에 라 스칼라 오페라로 옮길 때까지 클렘페러와 버금가는 권리를 보장받으며 악단을 육성했다. 무티의 후임으로는 주세페 시노폴리가 임명되었으며, 1992년부터 겸직하고 있던 드레스덴 국립 관현악단 지휘자직에 집중하기 위해 1994년 사임할 때까지 상임 지휘자를 맡았다. 시노폴리가 물러난 뒤에는 약 3년간 상임 지휘자가 공석 상태였으나, 1997년에 크리스토프 폰 도흐나니가 발탁되어 현재까지 재임 중이다.
도흐나니의 후임으로는 로스앤젤레스 필하모닉의 음악 감독을 맡고 있는 에사-페카 살로넨이 2008년 하반기에 직책을 맡았다. .... ....