Connery syntyi Edinburghissa Skotlannissa vuonna 1930. Hänen isänsä oli tehdastyöläinen ja äitinsä kotisiivooja. Connery jätti koulun 13-vuotiaana ja aloitti työskentelyn maitomiehenä. Myöhemmin hän liittyi kuninkaalliseen laivastoon, jossa hän palveli kolme vuotta.
Conneryn näyttelijänura alkoi 1950-luvun alussa, kun hän esiintyi useissa pienissä rooleissa brittiläisissä elokuvissa. Hänen suuri murtonsa tuli vuonna 1962, kun hänet valittiin James Bondin rooliin elokuvassa Dr. No. Elokuva oli valtava menestys ja Connerystä tuli nopeasti yksi maailman suosituimmista näyttelijöistä.
Connery jatkoi James Bondin roolia kuudessa muussa elokuvassa, mukaan lukien From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) ja Never Say Never Again. (1983). Hän näytteli myös useissa muissa menestyneissä elokuvissa 1960- ja 1970-luvuilla, mukaan lukien The Great Escape (1963), Murder on the Orient Express (1974) ja Mies, joka olisi kuningas (1975).
1980-luvulla Conneryn ura alkoi laskea. Hän näytteli useissa huonosti vastaanotetuissa elokuvissa, mukaan lukien Outland (1981), Never Say Never Again (1983) ja The League of Extraordinary Gentlemen (2003). Hän sai kuitenkin kriitikoiden suosiota rooleistaan koskemattomissa (1987), Indiana Jones ja viimeinen ristiretki (1989) ja The Rock (1996).
Connery jäi eläkkeelle näyttelemisestä vuonna 2006. Hän on saanut työstään lukuisia palkintoja, mukaan lukien Oscar-palkinnon, kaksi BAFTA-palkintoa ja kolme Golden Globe -palkintoa. Kuningatar Elisabet II valitsi hänet myös ritariksi vuonna 2000.