Joachim oli ihmelapsi ja teki debyyttinsä seitsemänvuotiaana. Hän opiskeli Stanisław Serwaczyńskin ja myöhemmin Ferdinand Davidin johdolla Leipzigin konservatoriossa. Hän opiskeli myös sävellystä Moritz Hauptmannin johdolla.
Joachimin ura solistina vei hänet ympäri Eurooppaa, ja hän esiintyi monien aikansa johtavien orkestereiden kanssa. Hän oli myös kamarimuusikko ja esiintyi monien aikansa johtavien muusikoiden kanssa, mukaan lukien Clara Schumann, Johannes Brahms ja Joseph Hellmesberger, Sr.
Joachim oli myös omistautunut opettaja ja opetti Wienin konservatoriossa vuosina 1869–1907. Hän oli myös Joachim-kvartetin perustaja, joka oli yksi aikansa tunnetuimmista jousikvarteteista.
Joachim vaikutti merkittävästi viulunsoiton kehitykseen, ja hänen opetuksellaan on ollut suuri vaikutus viulisteihin kaikkialla maailmassa. Häntä pidetään yhtenä kaikkien aikojen suurimmista viulisteista, ja hänen perintönsä inspiroi ja kouluttaa muusikoita tähän päivään asti.