On kuitenkin totta, että hän kohtasi kritiikkiä ja kiistoja koko uransa ajan, mikä johti jonkin verran jännitteisiin verkostojen ja katsojien kanssa.
Tässä on joitain esimerkkejä siitä, mikä on saattanut vaikuttaa tähän käsitykseen:
* Urheilijoiden kritiikki: Cosell tunnetaan kritisoidessaan urheilijoiden suorituskykyä, usein tylsällä ja suodattamattomalla tyylillä. Tämä johti joskus julkisiin yhteenottoihin pelaajien kanssa.
* rodulliset ja sosiaaliset kommentit: Hänet tunnettiin myös sosiaalisten ja rodun kysymyksien käsittelemisestä, joskus tavalla, jota pidettiin tuntemattomana tai loukkaavana.
* yhteenotto verkolla: Hänellä oli jonkin verran taistelevaa suhdetta verkkoihin, haastaen usein heidän auktoriteettinsa ja työnsivät rajoja kommenttinsa kanssa.
Vaikka ei koskaan ollut yhtä tapausta, joka johti hänen poistamiseen lähetystoiminnasta, nämä tekijät vaikuttivat käsitystä hänestä kiistanalaisena hahmona. Viime kädessä hän jäi eläkkeelle lähetystoiminnasta vuonna 1985, mutta se johtui enemmän hänen ikästä ja terveydestään kuin mikään erityinen kiista.