Laulu alkaa kertojalla, joka kuvailee vanhan miehen ulkonäköä:"Vanha mies, katso elämääni, olen paljon kuin sinä." Kertoja jatkaa kertomistaan siitä, kuinka hän on kokenut paljon elämässään, ja hän on oppinut paljon kokemuksistaan. Hän myöntää, ettei hän ole täydellinen, mutta hän yrittää tehdä parhaansa.
Sitten kertoja kysyy vanhalta mieheltä neuvoja elämänsä elämiseen. Vanha mies käskee häntä "ole ystävällinen" ja "ottakaa rauhallisesti". Hän myös käskee häntä "menemään hitaasti" ja "nautumaan kyydistä". Vanhan miehen neuvo on yksinkertainen, mutta syvällinen, ja se heijastaa hänen omaa viisautta ja kokemustaan.
Laulu päättyy kertojan kiittämiseen vanhaa miestä hänen neuvoistaan. Hän kertoo, että hän muistaa aina sanansa ja yrittää elää elämänsä vanhan miehen opetusten mukaan.
"Old Man" on kaunis ja koskettava laulu ikääntymisestä ja kuolevaisuudesta. Se on muistutus siitä, että olemme kaikki matkalla ja että voimme oppia paljon niiltä, jotka ovat tulleet ennen meitä. Laulu on myös elämän juhla, ja se rohkaisee meitä nauttimaan ajastamme maan päällä niin kauan kuin voimme.