Ei ole epäilystäkään siitä, että Dickens oli ihastunut Ternaniin. Hän kirjoitti hänelle intohimoisia kirjeitä, jotka sisälsivät nimenomaisia seksuaalisia viittauksia. Yhdessä kirjeessä hän kirjoitti, että hän halusi "maistaa tuota kypsää punaista suuta... syödä [hänen] mehevän ruumiin".
Heidän fyysisen suhteensa laajuutta ei kuitenkaan tunneta. Jotkut elämäkerran kirjoittajat uskovat, että he eivät koskaan harrastaneet seksiä, kun taas toiset uskovat harrastaneensa.
Selvää on, että suhteesta tuli lopulta taakka Dickensille. Hän tunsi syyllisyyttä vaimonsa pettämisestä, ja hän oli huolissaan julkisesta skandaalista.
Vuonna 1858 Dickens lopetti suhteen ja lähetti Ternanin ulkomaille Ranskaan. Hän palasi Englantiin muutamaa vuotta myöhemmin, mutta ei nähnyt Dickensiä enää.
Ternan itse ei koskaan puhunut julkisesti suhteestaan Dickensiin. Erään sukulaisensa mukaan hän "vei sen hautaan".
Vaikka heidän suhteensa yksityiskohtia ei ehkä koskaan tiedetä, ei ole epäilystäkään siitä, että Charles Dickensin ja Ellen Ternanin välinen romanssi oli merkittävä ja lopulta traaginen.