- Kappaleen nimi "Sweet Jane" voisi viitata marihuaanaan, koska "Jane" on huumeen slangitermi.
- Sanoitukset mainitsevat "vihreän valon", joka voisi edustaa marihuaanaan liittyvää väriä.
- Sanoitukset kuvaavat myös päähenkilön "pään pyörimistä", mikä saattaa olla viittaus marihuanan vaikutuksiin.
Lisäksi Reed tunnettiin avoimesta huumeiden käytön ja muiden kiistanalaisten aiheiden tutkimisesta musiikissaan, mikä tukee "Sweet Janen" tulkintaa marihuanasta.
On kuitenkin tärkeää huomata, että Reedin sanoitukset ovat usein avoimia monille tulkinnoille, ja viime kädessä on yksittäisen kuuntelijan päätettävissä, mitä kappale hänelle merkitsee.