Hirt syntyi New Orleansissa Louisianassa muusikkon isälle ja kotiäidille. Hän aloitti trumpetin soittamisen kuuden vuoden iässä, ja lukioon mennessä hän soitti ammattimaisesti paikallisissa seuroissa. Palveltuaan Yhdysvaltain laivastossa toisen maailmansodan aikana Hirt palasi New Orleansiin ja jatkoi musiikkiuransa.
Vuonna 1950 Hirt liittyi trumpetisti Louis Priman yhtyeeseen ja kierteli Priman kanssa useita vuosia. Vuonna 1957 Hirt jätti Priman bändin ja perusti oman yhtyeen. Hänestä tuli nopeasti yksi maailman suosituimmista jazztrumpeteista, ja hän levytti useita hittilevyjä.
Musiikkiuransa lisäksi Hirt oli myös menestyvä televisiopersoona. Hän isännöi omaa varieteohjelmaa "The Al Hirt Show" vuosina 1964–1968. Hän esiintyi myös lukuisissa muissa televisio-ohjelmissa, mukaan lukien "The Tonight Show pääosissa Johnny Carson", "The Ed Sullivan Show" ja "The Merv Griffin". Show."
Hirt kuoli syöpään New Orleansissa vuonna 1999. Hän oli 76-vuotias.