* Luonto ja ulkoilu: Joule oli innokas luonnon tarkkailija ja viihtyi ulkona. Tämä kiinnostus on todennäköisesti se, mikä sai hänet tekemään kokeita vesipyörillä ja muilla luonnonilmiöillä. Hän piti myös matkustamisesta, ja hänen tieteellisiin matkoihinsa kuului usein eri maisemien tutkiminen.
* Konetekniikka: Joule oli vahvasti kiinnostunut koneenrakennuksesta ja oli taitava rakentamaan ja korjaamaan koneita. Hän vietti paljon aikaa isänsä panimossa, jossa hän hioi käytännön taitojaan ja sovelsi niitä panimoprosessien parantamiseen.
* Lukeminen ja oppiminen: Joule oli ahne lukija ja pysyi ajan tasalla aikansa tieteellisestä kehityksestä. Hän oli myös Manchester Literary and Philosophical Societyn jäsen, jossa hän osallistui aktiivisesti älyllisiin keskusteluihin.
* Musiikki: Joulen isä oli muusikko, ja hän itse soitti pianoa. Tämä viittaa siihen, että musiikki olisi voinut olla hänelle rentoutumisen ja nautinnon lähde.
Vaikka nämä ovat hänen elämäänsä ja työhönsä perustuvia päätelmiä, tarkkoja tietoja hänen harrastuksistaan on edelleen vähän. On tärkeää muistaa, että Joule keskittyi ensisijaisesti tieteelliseen etsintään ja tutkimukseen, ja hänen henkilökohtainen elämänsä ja vapaa-ajan toimintansa olivat todennäköisesti toissijaisia hänen intohimonsa tieteeseen nähden.