Koko kappaleen ajan Selena laulaa emotionaalisesta painoarvosta, joka kantaa heidän menneisyytensä muistoja yhdessä, mikä vaikeuttaa hänen täysin irti päästämistä ja uuden luvun aloittamista elämässään. Hän valittaa, että vaikka he ovat fyysisesti erillään, hänen entisen kumppaninsa läsnäolo vie edelleen merkittävän tilan hänen mielessään ja tunteissaan kuin jatkuva aave.
Sanoitukset kaivautuvat menneisyyden muistelemisen tuskaan viittaamalla "nauruusi" ja "sanoihin, joita sanoit", samoin kuin kamppailua löytää sulkeminen ja siirtyä eteenpäin pyyhkimättä muistoja suhteesta kokonaan. Selenan kaipuu menneisyyteen on käsinkosketeltavaa, kun hän laulaa haluavansa unohtaa ja olla vapaa, mutta ei kuitenkaan voi paeta näiden muistojen otetta.
Viime kädessä "Ghost of You" välittää eron aiheuttaman emotionaalisen veron voimakkuuden, varsinkin kun yksi henkilö kamppailee päästääkseen irti ja hyväksyäkseen, että suhde on päättynyt. Kappale koskettaa kaikkia, jotka ovat kokeneet menneen rakkauden kummittelevat jäännökset ja haasteet, jotka liittyvät parantumiseen ja sulkemisen löytämiseen merkittävän suhteen päätyttyä.