Lausun uskotaan saaneen alkunsa Yhdysvalloista 1800-luvulla, jolloin sheriffit valittiin lainvalvonnasta vastaaviksi virkamiehiksi omissa kreivikunnissaan. Kun uusi sheriffi valittiin, he toivat usein omat sijaisensa ja tekivät muutoksia tapaan, jolla lainvalvonta toteutettiin. Tämä voi johtaa merkittäviin muutoksiin paikallisyhteisössä, koska uudella sheriffillä saattaa olla erilainen lähestymistapa lainvalvontaan tai se saattaa priorisoida eri asioita kuin edellinen sheriffi.
Ajan myötä ilmaisua "uusi sheriffi kaupungissa" alettiin käyttää laajemmin viittaamaan uuteen henkilöön, joka on auktoriteettiasemassa ja joka saa aikaan muutoksia tai jolla on merkittävä vaikutus alueellaan. Sitä käytetään nykyään yleisesti useissa yhteyksissä, kuten politiikassa, liiketoiminnassa ja urheilussa.