Neljännellä vuosisadalla Milanon piispa St. Ambrose otti käyttöön antifonaalisen laulun, jossa kuoro laulaa psalmin tai hymnin vuorotellen säkeitä. 500-luvulla Rooman paavi Pyhä Gregorius Suuri standardoi liturgian ja perusti kahdeksan musiikkimuodon järjestelmän. Tästä järjestelmästä, joka tunnetaan nimellä gregoriaaninen laulu, tuli katolisen kirkon ensisijainen musiikin muoto vuosisatojen ajan.
Keskiajalla alkoi kehittyä erilaisia muita kirkkomusiikin muotoja, kuten liturgiset draamat, moniäänisyys ja urkumusiikki. Polyfonia, jossa lauletaan kahta tai useampaa musiikkilinjaa samanaikaisesti, tuli tärkeäksi 1100-luvulla.
1500-luvulla Martin Luther aloitti protestanttisen uskonpuhdistuksen. Tämä johti erilaisten kirkkomusiikin tyylien, kuten luterilaisten koraalien ja anglikaanisen laulun, kehittymiseen. Nämä tyylilajit ovat edelleen tärkeitä osia kristillistä jumalanpalvelusta nykyään.
1800- ja 1900-luvuilla kiinnostus varhaisen kirkkomusiikin, kuten gregoriaanisen laulun ja Palestrinan teosten, tutkimista ja esittämistä kohtaan lisääntyi. Myös uutta, eri tyyleillä sävellettyä pyhää musiikkia on tulvinut.