Sanoitukset vangitsevat Benjaminin sisäisen konfliktin, kun hän kamppailee tekojensa moraalisten seurausten ja siitä aiheutuvan tunnekuorman kanssa. Kappaleesta tuli ikoninen esitys 1960-luvun vastakulttuuriliikkeelle ominaisesta seksuaalisesta tutkimisesta ja moraalisesta monitulkintaisuudesta.
Kappaleen avausrivit asettavat narratiivin sävyn, kun Benjamin myöntää kiehtovansa rouva Robinsonia ja hänen viehätystään:
"Tässä teille, rouva Robinson
Jeesus rakastaa sinua enemmän kuin sinä tiedät"
Benjamin tunnustaa suhteen kielletyn luonteen ja oman syyllisyyden ja hämmennyksen tunteensa. Viittaukset "Jeesukseen" ja "syntiin" viittaavat tilanteen moraaliseen ja uskonnolliseen pohjasävyyn, mikä heijastelee sen ajan yhteiskunnallisia odotuksia.
Kappaleen edetessä Benjamin ilmaisee kaipauksensa syvempään yhteyteen rouva Robinsonin kanssa, mutta hän tuntee myös olevansa heidän suhteensa loukussa ja tukehdutettuna:
"Tunnen maan putoavan pääni yli
Ja kun silmäni tottuivat valoon
Huomaan olevani yksin Raamatun vyöllä
Eikä minulla ole ystäviä"
Sanoitukset herättävät eristäytymisen ja yksinäisyyden tunteen korostaen Benjaminin sisäisiä kamppailuja ja hänen tekojensa emotionaalisia seurauksia.
Kertosäestä tulee toistuva refrääni koko kappaleen ajan, ja se korostaa Benjaminin onnettoman rakkauden ja hänen täyttymyksen halunsa keskeistä teemaa:
"Minne olet mennyt, Joe DiMaggio
Kansa kääntää yksinäiset katseensa sinuun
Woo hoo, hoo"
Viittaamalla Joe DiMaggioon, tunnettuun baseball-pelaajaan, joka oli tunnettu epäonnistuneista avioliitoistaan, Benjamin vertaa omaa tilannettaan ja todellisen yhteyden kaipausta yhteiskunnallisten paineiden keskellä.
"Rouva Robinson" ei ainoastaan kuvaa laittoman suhteen monimutkaisuutta, vaan se toimii myös kommenttina sosiaalisista sopimuksista, moraalisista ongelmista ja todellisen rakkauden ja hyväksynnän etsimisestä muuttuvassa yhteiskunnassa.