Anderson syntyi Philadelphiassa Pennsylvaniassa vuonna 1902. Hän aloitti laulamisen kirkossa varhaisessa iässä ja osoitti suurta lahjakkuutta. Hän opiskeli musiikkia Philadelphia Musical Academyssa ja myöhemmin Juilliard Schoolissa New Yorkissa. Vuonna 1925 hän teki ammattidebyyttinsä New Yorkissa.
Andersonin ura oli onnistunut alusta alkaen. Hän kiersi Yhdysvalloissa ja Euroopassa esiintyen joissakin maailman arvostetuimmista konserttisaleista. Hän myös äänitti useita albumeja ja esiintyi useissa elokuvissa.
Menestyksestään huolimatta Anderson kohtasi merkittävää rotusyrjintää koko uransa ajan. Häneltä evättiin usein mahdollisuus esiintyä tietyissä paikoissa rotunsa vuoksi. Vuonna 1939 hänen oli määrä esiintyä Constitution Hallissa Washington DC:ssä, mutta salin omistava tytäryhdistys Amerikan vallankumouksesta (DAR) kieltäytyi sallimasta hänen esiintymistä rotunsa vuoksi. Tämä päätös herätti kansallista kohua, ja Anderson lopulta esitti konsertin Lincoln Memorialin portailla.
Andersonin konsertti Lincoln Memorialissa oli merkittävä käännekohta kansalaisoikeusliikkeessä. Se auttoi kiinnittämään kansallista huomiota rotuerotteluun ja inspiroi ihmisiä taistelemaan yhtäläisten oikeuksien puolesta. Anderson jatkoi esiintymistä koko elämänsä ajan, ja hänestä tuli toivon ja rohkeuden symboli afroamerikkalaisille.
Anderson sai työstään lukuisia kunnianosoituksia ja palkintoja, mukaan lukien Presidential Medal of Freedom, Yhdysvaltain korkein siviilipalkinto. Hän kuoli Portlandissa Oregonissa vuonna 1993.