Tiedämme seuraavat asiat:
* Ei todisteita urheilusta: Madisonin osallistumisesta järjestäytyneeseen urheiluun tai fyysiseen toimintaan ei ole historiallisia tietoja.
* Rajoitettu vapaa-ajan toiminta: Madisonin elämä kului suurelta osin politiikasta ja älyllisistä pyrkimyksistä. Hän oli ahne lukija, innokas hallinnon tarkkailija ja omistautunut historian ja filosofian opiskelija.
* Ratsastus: Vaikka Madison ei ollutkaan urheilua, sen tiedettiin nauttivan ratsastuksesta, todennäköisesti kuljetus- ja virkistystarkoituksiin.
* Puutarhanhoito: Madison oli myös kiinnostunut maanviljelystä ja puutarhanhoidosta, ja hän hallitsi usein omaa tilaansa.
Yhteenvetona voidaan todeta, että James Madisonin elämä keskittyi älyllisiin harrastuksiin ja julkiseen palveluun, ja merkittävistä urheilu- tai vapaa-ajan harrastuksista oli vain vähän näyttöä.