Johnson syntyi Cantonissa Etelä-Dakotassa ja kasvoi maatilalla. Hän valmistui Etelä-Dakotan yliopistosta vuonna 1982 valtiotieteen tutkinnolla. Työskenneltyään useiden vuosien ajan lainsäätäjänä hänet valittiin Etelä-Dakotan edustajainhuoneeseen vuonna 1986. Hän toimi parlamentissa kuusi vuotta, joista kaksi vuotta puhujana.
Vuonna 1996 Johnson valittiin Yhdysvaltain senaattiin kukistaen nykyisen republikaanien Larry Presslerin. Hänet valittiin uudelleen toiselle toimikaudelle vuonna 2002 ja kolmannelle toimikaudelle vuonna 2008.
Johnson tunnettiin maltillisista poliittisista näkemyksistään ja halukkuudestaan työskennellä sekä republikaanien että demokraattien kanssa. Hän oli myös maatalouden ja maaseudun kehittämisen vahva kannattaja.
Vuonna 2014 Johnson ilmoitti, ettei hän aio hakea neljättä toimikautta senaatissa. Hän mainitsi päätöksensä syyksi terveysongelmia, mukaan lukien vuonna 2006 saamansa aivohalvauksen.
Johnson jätti senaatin vuonna 2015. Hän on nyt eläkkeellä ja asuu Vermillionissa Etelä-Dakotassa.