Laulun sanat korostavat miehen kokemaa emotionaalista myllerrystä ja sisäistä konfliktia. Hän myöntää, että ajattelee edelleen exänsä "joka ilta ja päivä" ja että hän "ei voi olla ihmettelemättä", ajatteleeko hän myös häntä. Hän myöntää, että hänen pitäisi mennä eteenpäin, mutta huomaa olevansa kykenemätön siihen, koska hänen sydämensä on edelleen sidottu häneen.
Kuoro korostaa miehen kyvyttömyyttä palauttaa rakkautta, jota joku muu hänelle tarjoaa. Hän laulaa:"En voi rakastaa sinua takaisin, vaikka yrität kovasti" ja "Pidän edelleen kiinni siitä haamusta, mitä meillä oli." Tämä viittaa siihen, että hän ei ole emotionaalisesti valmis uuteen suhteeseen ja on edelleen kulutettu hänen tunteensa ex-kumppaniaan kohtaan.
Koko kappaleen ajan mies ilmaisee kaipauksensa menneisyyteen ja halunsa olla jälleen exänsä kanssa. Hän laulaa:"Toivon, että voisin palata takaisin ja peruuttaa kaikki tekemämme" ja "Toivon, että voisin pitää sinua sylissäni taas." Tämä viittaa siihen, että hän katuu eroa ja kamppailee hyväksyäkseen heidän eronsa todellisuuden.
Kaiken kaikkiaan "I Can't Love You Back" on koskettava kappale sydänsuruista, menetyksestä ja menneestä suhteesta eteenpäin siirtymisen haasteista. Se vangitsee sellaisen henkilön emotionaalisen myllerryksen ja haavoittuvuuden, joka kamppailee edelleen eron seurausten kanssa eikä pysty löytämään rakkautta uudelleen.