Terrell syntyi Philadelphiassa, Pennsylvaniassa, ja aloitti uransa teini-iässä laulaen useissa paikallisissa ryhmissä. Vuonna 1961 hän teki sopimuksen Motown Recordsin kanssa ja julkaisi debyyttisinglensä "I Can't Believe You Love Me". Kappale oli pieni hitti, mutta se auttoi Terrelliä saamaan tunnustusta Motown-organisaatiossa.
Vuonna 1964 Terrell äänitti dueton "Ain't No Mountain High Enough" Marvin Gayen kanssa. Kappaleesta tuli suuri hitti, sillä se nousi Billboard Hot 100 -listan ykköseksi ja voitti kaksi Grammy-palkintoa. Terrell ja Gaye jatkoivat yhteistyötä, ja he julkaisivat useita menestyneitä duettoja, mukaan lukien "Your Precious Love", "You're All I Need to Get By" ja "If I Could Build My Whole World Around You".
Vuonna 1967 Terrellillä diagnosoitiin aivosyöpä. Hänelle tehtiin leikkaus ja hoito, mutta syöpä palasi vuonna 1969. Terrell kuoli Philadelphiassa 16. maaliskuuta 1970 24-vuotiaana.