Nat King Cole meni naimisiin Maria Ellingtonin kanssa 25. joulukuuta 1936 Chicagossa hänen ensimmäisen uransa elpymisen huipulla. He olivat onnellisesti naimisissa 20 vuotta ja adoptoivat viisi lasta; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (huhtikuu 1941) ja kaksi tyttöä Carol "Cookie" Cole (1944) ja Maria Cole (1947). Heidän poikansa Nat Kelly Colesta tuli kuuluisa laulaja, lauluntekijä ja näyttelijä.
28. joulukuuta 1956 Maria Cole kuoli yllättäen keuhkosyöpään 45-vuotiaana, jolloin Nat oli syvästi tuhoutunut ja murtunut. Hän oli leski, kunnes meni naimisiin laulaja Maria Hawkinsin kanssa 8. heinäkuuta 1965. He pysyivät yhdessä, kunnes Nat King Cole kuoli ennenaikaisesti vuonna 1965.
Isyyskiista
1990-luvulla Lorna Coles-niminen nainen tuli esille väittäen olevansa Nat King Colen tytär lyhyestä suhteesta, joka hänellä oli hänen äitinsä kanssa vuonna 1947. DNA-testi vahvisti, että Lorna Coles oli todellakin Nat King Colen biologinen lapsi.