Johnson syntyi Indianapolisissa, Indianassa. Hän aloitti pasuunan soittamisen 11-vuotiaana. Hän opiskeli Arthur Jordan Conservatory of Musicissa ja Indiana University School of Musicissa.
Johnson muutti New Yorkiin vuonna 1942 ja hänestä tuli nopeasti yksi kaupungin halutuimmista pasuunan soittajista. Hän soitti Charlie Parkerin, Dizzy Gillespien, Bud Powellin ja muiden bebop-legendojen kanssa.
1950-luvulla Johnson alkoi tutkia hard bopia, uudempaa, aggressiivisempaa jazztyyliä. Hän levytti useita vaikutusvaltaisia albumeja omien bändiensä kanssa, mukaan lukien "The Eminent Jay Jay Johnson Volume 1" (1954) ja "Jay Jay Johnson with Clifford Brown" (1955).
Johnson jatkoi kiertuetta ja levytystä 1960- ja 1970-luvuilla. Hän opetti myös Berklee College of Musicissa ja Manhattan School of Musicissa.
Johnson kuoli sydänkohtaukseen Indianapolisissa vuonna 2001. Hän oli 77-vuotias.
Johnson oli pasuunan mestari. Hänellä oli ainutlaatuinen ääni, joka tunnisti välittömästi. Hän oli myös lahjakas improvisoija ja säveltäjä. Hänen musiikkinsa on vaikuttanut lukemattomiin pasuunan soittajiin ympäri maailmaa.
Tässä on joitain Johnsonin tunnetuimmista sävellyksistä:
* "Valittaa"
* "Ezz-thetic"
* "Enigma"
* "Tähdepöly"
* "Blue Funk"