Kappaleen kertosäe toistaa riviä "En halua sinun jäännöksiäsi", mikä ilmaisee laulajan hylkäämistä menneen suhteen jäänteistä ja hänen päättäväisyyttään luoda itselleen uusi ja täyttävä tulevaisuus.
Sanoitukset maalaavat myös kuvan laulajan tunnematkasta, kun he tulevat toimeen suhteen päättymisen kanssa. He kuvaavat tuntevansa olevansa "aave" elämässään, joka kamppailee löytääkseen paikkansa maailmassa ilman entistä kumppaniaan.
Kivusta ja epävarmuudesta huolimatta laulu viittaa joustavuuden ja toivon tunteeseen. Laulaja myöntää, että menneisyys saattaa edelleen ahdistaa heitä, mutta ilmaisee päättäväisyytensä jatkaa eteenpäin.
Kaiken kaikkiaan "Your Leftovers" on koskettava kappale rakkaudesta, menetyksestä ja uusien alkujen etsimisestä. Se vangitsee raakoja tunteita ja haasteita, jotka liittyvät merkittävästä suhteesta eteenpäin siirtymiseen.