Powstał w 1945 roku, by 5 lat później zyskać status zespołu zawodowego. Poczynając od I nagrody otrzymanej w 1951 roku na I Festiwalu Muzyki Polskiej w Warszawie, zyskiwał coraz większe uznanie artystyczne, występując z bogatym repertuarem, obejmującym zarówno utwory oratoryjne, jak i a cappella różnych epok.
Zespół brał udział w wielu renomowanych festiwalach polskich (Wratislavia Cantans, Warszawska Jesień, Gaude Mater w Częstochowie) i zagranicznych (w tym Festival de La Chaise-Dieu, Sagra Musicale Umbra, Maggio Musicale Fiorentino, Edinburg Festival, Flanders Festival, Biennale in Venice, Festival Gulbenkian de Música, Festival Internazionale Baalbeck, Festival d’Art Sacré de Paris, Internazionales Brucknerfest Linz, Festival Europäischer Musik, Festival Berlioz, Salzburger Festspiele). Od pierwszej edycji Festiwalu Wielkanocnego Ludwiga van Beethovena chór bierze udział w jego projektach.
Podczas licznych tournées koncertował niemal w całej Europie, a także w Iranie, Kanadzie, Libanie, Turcji, Stanach Zjednoczonych oraz byłych republikach Związku Radzieckiego. Jako pierwszy polski zespół wystąpił w mediolańskiej La Scali.
Chór towarzyszył wielu orkiestrom zagranicznym, m.in. Wiener Symphoniker, Beethoven Orchester Bonn, Orchestre de la Radio Télévision Belge, Orchestra Sinfonica della Radiotelevisione Italiana di Roma, Orchestra dell’ Accademia Nazionale di Santa Cecilia Roma, Orchestra Sinfonica dell’Emilia-Romagna „Arturo Toscanini“ Parma, Orchestra Sinfonica Siciliana di Palermo, Staatskapelle Dresden, Rundfunk-Sinfonieorchester Berlin, Rotterdams Philharmonisch Orkest, Orchestre Philharmonique du Montpellier, Stockholm Philharmonic Orchestra, Limburgs Symphonie Orkest Maastricht.
Chór Filharmonii Krakowskiej brał udział w wielkich uroczystościach o randze międzynarodowej, takich jak koncert w Watykanie w 10. rocznicę pontyfikatu Jana Pawła II (1988), koncert w Berlinie z okazji zjednoczenia Niemiec (1990), obchody 50. rocznicy wyzwolenia obozu koncentracyjnego Auschwitz w Oświęcimiu (1995) czy koncert w Watykanie z okazji zjednoczenia trzech kultur (2004).
27 kwietnia 2014 zespół uświetnił uroczystości kanonizacyjne papieży Jana XXIII oraz Jana Pawła II w Watykanie, zaś 5 maja 2014 wziął udział w specjalnym koncercie Peace through Music „In Our Age”, będącym muzycznym hołdem dla postaci kanonizowanych papieży. Koncert w waszyngtońskim Constitution Hall poprowadził Sir Gilbert Levine, nazywany – ze względu na swoją bliską współpracę oraz przyjaźń z Janem Pawłem II – „papieskim maestro”.
Zespół, oprócz monumentalnych dzieł oratoryjnych, ma w swym repertuarze opery (od dzieł Wolfganga Amadeusa Mozarta po Czarną maskę Krzysztofa Pendereckiego), a także utwory o charakterze popularnym (Misa criolla Ariela Ramíreza, Liverpool Oratorio Paula McCartneya, Requiem Andrew LloydaWebbera, czy Trionfi Carla Orffa).
Chór Filharmonii od lat uczestniczy w dziele popularyzacji muzyki Krzysztofa Pendereckiego. Perfekcyjne wykonanie trudnej zarówno w warstwie muzycznej, jak i językowej Jutrzni stało się wręcz wizytówką zespołu, a nagranie Pasji wg św. Łukasza uhonorowane zostało Grand Prix du Disque. Cenną pamiątką współpracy z kompozytorem jest dedykacja poświęcona krakowskiemu chórowi, jaka znalazła się w pierwszym wydaniu Stabat Mater.
Do znaczących osiągnięć dyskograficznych zespołu należą nagrania muzyki Wojciecha Kilara. Płyta, na której znalazły się Krzesany, Angelus oraz Victoria otrzymała nominację do prestiżowej nagrody Fryderyk (1997). Chór uczestniczył ponadto w nagraniach muzyki filmowej Wojciecha Kilara, m.in. do Drakuli w reżyserii Francisa F. Coppoli oraz Króla ostatnich dni Thomasa Toelle.
Od 2021 roku chór prowadzi Piotr Piwko.
