Kun hän aloitti musiikin opiskelun 1950-luvun lopulla, hän aloitti säveltämisen vakavasti vasta 1960-luvun alussa. Hänen varhaisimmat tunnetut sävellyksensä juontavat tältä ajalta.
On syytä huomata, että Rileyä pidetään yhtenä minimalismin pioneereista ja hän on ollut aktiivinen säveltämisen parissa yli kuusi vuosikymmentä.