Kappaleessa Taylor laulaa kuinka hän pysyisi hänen kanssaan myöhään ajatellen, että hän olisi hänen kanssaan ikuisesti. Hän laulaa myös siitä, kuinka hän luuli voivansa muuttaa hänet ja kuinka hän piti ennen sitä täydellisenä. Lopulta Taylor kuitenkin tajusi, että hän ei voinut muuttaa häntä ja ettei hän ollut täydellinen. Hän tajusi myös, että hänellä oli parempi olla ilman häntä.
The Way I Loved You on laulu suhteen hyväksymisestä ja siitä oppimisesta. Kappale kertoo myös sen ymmärtämisestä, että et voi muuttaa ketään ja että sinulla on parempi olla ilman häntä.