Castagne aloitti uransa Virtonissa, jossa hän teki ammattidebyyttinsä vuonna 1995. Vuonna 1997 hän muutti Anderlechtiin, jossa hän voitti kolme Belgian Pro League -titteliä ja kaksi Belgian Cupia. Vuonna 2004 hän liittyi Milanoon, jossa hän voitti Serie A:n mestaruuden vuonna 2004 ja UEFA:n Mestarien liigan vuonna 2007.
Castagne debytoi Belgian maajoukkueessa vuonna 1999. Hän pelasi maansa maajoukkueessa 54 ottelua ja teki neljä maalia. Hän edusti Belgiaa vuoden 2002 jalkapallon MM-kisoissa ja vuoden 2000 UEFA:n EM-kisoissa.
Jäätyään eläkkeelle jalkapallosta vuonna 2008 Castagne työskenteli asiantuntijana Belgian televisiossa ja radiossa. Hän on myös menestyvä liikemies, joka on perustanut useita yrityksiä.
Vuonna 2021 Castagne valittiin Belgian jalkapallon Hall of Fameen.