Enseignant : Gilles Pagès.

Sous ce titre sont regroupés les outils fondamentaux d'analyse des phénomènes aléatoires à temps discret (méthodes de martingales et chaînes de Markov) et leurs premières applications aux algorithmes stochastiques.

1. Méthodes de martingales
   • Martingales (sur et sous-martingales). Temps d'arrêt. Critères de convergence.
   • Application à la modélisation discrète des marchés financiers.
   • Exemples d'algorithmes stochastiques à pas décroissants.
   • Critères de convergence liés aux méthodes de martingales ou à la stabilité des systèmes différentiels.
2. Méthodes de chaînes de Markov finies
   • Récurrence, vitesses de convergence vers la loi stationnaire.
   • Algorithmes markoviens usuels sur un espace fini (notamment pour les images et les neurones).
   • Recuit simulé.
3. Méthodes de chaîne de Markov sur R^n
   • Stabilité d'une chaîne de Markov homogène.
   • Quelques critères de stabilité et de récurrence.
   • Applications à des séries chronologiques linéaires ou non.

Bibliographie :

• M. Duflo, Méthodes récursives aléatoires, Masson, 1990.
• M. Duflo, Algorithmes stochastiques, Collection Mathématiques et Applications 23, Springer, 1996.
• L. Ljung, G. Pflug, H. Walk, Stochastic approximation and optimization of random systems, Birkhäuser, 1992.
• S.P. Meyn, R.L. Tweedie, Markov chains and stochastic stability, Springer, 1993.
• J. Neveu, Martingales à temps discrets, Masson, 1972.