Pieni joukko Babylonin juutalaisia jäi Babyloniin persialaisten valloituksen jälkeen, ja heillä oli myöhemmin tärkeä rooli juutalaisen kulttuurin ja uskonnon kehityksessä toisen temppelin aikana. Babylonin Talmud, yksi tärkeimmistä juutalaisten lain teksteistä, koottiin Babylonissa tänä aikana.
700-luvulla jKr. arabimuslimit valloittivat Babylonin, ja siitä tuli osa islamilaista maailmaa. Kaupunki rapistui edelleen, ja 10. vuosisadalla se oli suurelta osin hylätty. Nykyään Babylonin rauniot sijaitsevat lähellä Hillahin kaupunkia nykyajan Irakissa.