Hänen merkittävin työnsä oli Cannonball Adderley Quintetin kanssa 1970-luvulla, mutta hän on työskennellyt myös monien muiden merkittävien jazzmuusikoiden kanssa, mukaan lukien Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon ja Herbie Hancock.
Sideman-työnsä lisäksi Poole on julkaissut myös useita sooloalbumeja, mukaan lukien "The Essence of John Poole" (1977), "Sweet Lucy" (1978) ja "Blue Planet Man" (1980).
Poole on myös säveltäjä ja sovittaja, ja hän on kirjoittanut musiikkia elokuviin ja televisioon. Hän on myös opettanut jazzia ja latinalaisia lyömäsoittimia Etelä-Kalifornian yliopistossa ja California Institute of the Artsissa.
Poole palkittiin Jazz Journalists Associationin "Vuoden rumpali" -palkinnolla vuosina 2004 ja 2005, ja hän on myös National Academy of Recording Arts and Sciences (NARAS) jäsen.