Dickens tapasi Ellen Ternanin vuonna 1857, kun tämä oli vain 18-vuotias ja hän 45-vuotias. Ternan oli näyttelijä, ja Dickens ihastui häneen välittömästi. He aloittivat salaisen suhteen, joka kesti useita vuosia.
Dickens ja Ternan olivat hyvin rakastuneita, ja he suunnittelivat menevänsä naimisiin Dickensin erottua vaimostaan Catherinen. Dickensin vaimo kuitenkin kieltäytyi myöntämästä hänelle avioeroa, joten hän ja Ternan eivät koskaan voineet olla yhdessä avoimesti.
Vuonna 1865 Dickensillä ja Ternanilla oli yhteinen lapsi, poika nimeltä Charles. Dickens oli iloinen saadessaan olla jälleen isä, ja hän rakasti poikaansa. Hänen vaimonsa sai kuitenkin tietää lapsesta ja oli raivoissaan. Hän uhkasi paljastaa suhteen yleisölle, ja Dickens pakotettiin eroamaan Ternanista.
Dickens ja Ternan eivät nähneet toisiaan enää vuoden 1865 jälkeen. Dickens kuoli vuonna 1870, ja Ternan eli vuoteen 1914 asti. Hän ei koskaan mennyt naimisiin, eikä hänellä koskaan ollut muita lapsia.