Da giocatore ha esordito in Serie C nel Parma per poi passare dapprima alla Roma, dove ha vinto lo scudetto, e poi al Milan di Sacchi, dove ha vinto due scudetti e due Coppe dei Campioni consecutive.

Ha iniziato la carriera di allenatore, dopo essere stato vice del CT Sacchi ai mondiali del 1994, nella Reggiana in Serie B. È passato poi al Parma, alla Juventus e al Milan (2001-2009). Negli anni con la squadra rossonera ha vinto uno scudetto, una Coppa Italia, una Supercoppa italiana, due Champions League, due Supercoppe europee e un Mondiale per club. Tra il 2009 e il 2011 è stato sulla panchina del Chelsea, firmando una doppietta Premier League-FA Cup. Nella stagione 2011-2012 è subentrato in corsa sulla panchina del Paris Saint-Germain, vincendo la Ligue 1 al secondo tentativo nel 2013. Nell'estate del 2013 è stato ingaggiato dal Real Madrid, dove ha conquistato la Coppa del Re e la Champions League. Approdato al Bayern Monaco nel 2016, ha vinto la Bundesliga. È uno dei cinque allenatori (insieme a Tomislav Ivić, Ernst Happel, José Mourinho e Giovanni Trapattoni) ad aver vinto il massimo campionato di 4 paesi diversi (Premier League, Serie A, Bundesliga e Ligue 1).

Nella sua carriera ha vinto la Champions League due volte da calciatore e tre volte da allenatore (due con il Milan e una con il Real Madrid), stabilendo in questo caso un record condiviso solo con Bob Paisley e Zinédine Zidane. La conquista della coppa con la stessa squadra sia in campo che in panchina è riuscita anche a Miguel Muñoz, Josep Guardiola e Zinédine Zidane, mentre con squadre diverse è riuscita anche a Giovanni Trapattoni, Johan Cruijff e Frank Rijkaard. Considerato uno dei migliori allenatori al mondo e soprannominato Carlo Magno dalla stampa spagnola, nel 2014 entra a far parte della Hall of Fame del calcio italiano.