Varhaisimmat todisteet karnaattisesta musiikista löytyvät muinaisen tamilikansan musiikillisista perinteistä. Muinaiset tamilit kehittivät musiikkijärjestelmän nimeltä Tamizh Isai, joka perustui seitsemän nuotin asteikkoon (Saptha Swaras) ja käytti erilaisia soittimia, mukaan lukien yazh (kielisoitin) ja kudam (lyömäsoitin). Tamizh Isai käytettiin uskonnollisiin seremonioihin ja kulttuuriesityksiin.
Karnaattinen musiikki kehittyi myöhemmin hinduuskonnon ja Etelä-Intian hallitsevien dynastioiden suojeluksessa. 1300-luvulla Vijayanagara-imperiumi nousi Etelä-Intiassa voimakkaaksi kuningaskunnaksi ja siitä tuli tärkeä karnaattisen musiikin kehityskeskus. Vijayanagaran hallitsijat olivat suuria musiikin ja tanssin suojelijoita, ja he rohkaisivat musiikkikoulujen ja instituutioiden kasvua. He tilasivat myös monia uusia musiikkiteoksia, mukaan lukien kritis, swaras ja jathis.
1600- ja 1700-luvuilla karnaattinen musiikki kukoisti Maratha-imperiumin ja Mysoren kuningaskunnan vallan alla. Marathan hallitsijat olivat suuria musiikin ja tanssin asiantuntijoita, ja he rohkaisivat karnaattisen musiikin kasvua hovissaan. Mysoren hallitsija Krishnaraja Wodeyar III oli suuri musiikin ja tanssin suojelija, ja hän tilasi monia uusia musiikkiteoksia.
1800-luvulla karnaattinen musiikki joutui kosketuksiin länsimaisen musiikin kanssa brittiläisen Intian kolonisoinnin seurauksena. Jotkut karnaattiset muusikot alkoivat sisällyttää musiikkiinsa länsimaisia elementtejä, kuten pianon ja viulun käyttöä. Karnaattinen musiikki säilytti kuitenkin perinteisen luonteensa ja perustui edelleen seitsemän nuotin asteikkoon sekä ragan ja talan käyttöön.
Nykyään karnaattinen musiikki on kukoistava taidemuoto, ja sitä esittävät muusikot kaikkialla maailmassa. Sitä pidetään yhtenä maailman hienostuneimmista ja monimutkaisimmista musiikkijärjestelmistä, ja sitä ihaillaan sen kauneuden, emotionaalisen syvyyden ja henkisen merkityksensä vuoksi.