Hän syntyi Bequian saarella Saint Vincentissä ja sai siirtomaa-ajan peruskoulun. Vuonna 1930 Palmer sai stipendin käydäkseen lukion Lontoossa. Lisästipendeillä hän jatkoi lääketieteen opintoja Birminghamin yliopistossa ja valmistui vuonna 1941.
Hän palasi Länsi-Intiaan ja työskenteli Jamaikalla, Trinidad ja Tobagossa ja Saint Luciassa. Vuonna 1950 Palmer palasi Saint Vincentiin harjoittelemaan. Vuonna 1954 Palmer perusti kansanpuolueen (PPP) ja valittiin lainsäätäjäksi lakia säätävään neuvostoon. Hänet valittiin pääministeriksi vuonna 1967.
Vuonna 1979 Palmer johti Saint Vincentin ja Grenadiinit itsenäistymään Yhdistyneestä kuningaskunnasta. Kuningatar Elisabet II valitsi hänet ritariksi samana vuonna.
Vuonna 1984 Palmer jäi eläkkeelle politiikasta, ja hänet seurasi pääministerinä James Fitz-Allen Mitchell. Hän kuoli 92-vuotissyntymäpäivänään.