Parcours Mathématiques, Modélisation et Apprentissage Statistique

Probabilités avancées

cours: 30h TD: 30h

enseignant : N. Gozlan

Mots clés : Probabilité, Convergences Stochastiques, Martingales

Objectifs :

L’objectif de ce cours est (1) de revoir en les approfondissant les résultats de bases de probabilités vus en Licence, notamment les diverses notions de convergence pour des suites de variables aléatoires et les théorèmes limites classiques (Loi des Grands Nombres et Théorème Limite Central), et (2) d’introduire la notion d’espérance conditionnelle et de développer la théorie des martingales.

Compétences acquises :

Savoir caractériser la loi d’un vecteur aléatoire et faire des calculs d’espérance sous cette loi.
Savoir caractériser l’indépendance d’une famille de vecteurs aléatoires.
Savoir caractériser les différents modes de convergence d’une famille de vecteurs aléatoires.
Savoir calculer une espérance conditionnelles.
Savoir reconnaître une martingale.
Savoir utiliser le théorème d’arrêt pour les martingales.
Savoir démontrer la convergence d’une martingale.

Programme :

Rappels de théorie des probabilités : modèle probabiliste, tribus, mesures, variables aléatoires, espérance, caractérisation d’une loi.
Convergences stochastiques : convergences en probabilité, presque sûre, en moyenne et en loi ; comparaison de ces modes de convergence ; critères de convergence.
Indépendance : indépendance de vecteurs aléatoires ; sommes de vecteurs aléatoires indépendants ; loi des grands nombres, théorème limite central ; étude des vecteurs gaussiens.

Conditionnement et espérance conditionnelle : espérance conditionnelle par rapport à une sous tribu ; règles de calculs ; cas gaussien et à densité.
Martingales : martingales à temps discret, temps d’arrêt, convergence des martingales 

Analyse 1

cours: 30h TD: 30h

Enseignants : N. Gozlan, C. Pouchol

Mots clés : topologie des espaces métriques, analyse fonctionnelle, espaces de Hilbert, espaces de Banach, analyse de Fourier

Objectifs :

Consolider les acquis de topologie de Licence, les approfondir, et assurer l’assise théorique nécessaire à l’ensemble des autres cours du Master. 

Compétences acquises :

Savoir déterminer les propriétés d’un ensemble : est-il ouvert, fermé, complet, compact, borné, dense, etc.
Développer une aisance avec les espaces fonctionnels importants, les espaces de fonctions continues ou espaces Lp.
Savoir résoudre des problèmes par densité, par théorème de point fixe, par compacité-unicité.
Savoir régulariser une fonction par convolution.
Savoir calculer une transformée de Fourier ou une série de Fourier.
Savoir utiliser les théorèmes d’inversion de Fourier.
Savoir résoudre une équation différentielle à l’aide de la transformée de Fourier.

Programme :

Rappels de topologie de Licence : ouverts, fermés, applications continues, linéaires continues, compacité, densité, complétude. Espaces de Hilbert : projection sur un convexe fermé, bases hilbertiennes. Espaces de Banach : résultats de compacité et de densité dans les espaces Lp et les espaces de fonctions continues, théorèmes de Baire, de Banach-Steinhaus. Transformée de Fourier L1: règles de calcul, transformée de Fourier inverse, convolution, espace de Schwartz. Transformée de Fourier L2: règles de calcul, caractère isométrique. Séries de Fourier: Théorèmes de Féjer et de Dirichlet, convergence dans les espaces Lp. 

Programmation

Cours : 15h TP: 15h

enseignant : J. Delon

 

Mots clés : Python, programmation, calcul numérique  

Objectifs :

L’objectif de ce cours est de familiariser les étudiants avec la programmation et le calcul scientifique.

Compétences acquises :

Connaître et maîtriser les structures basiques de la programmation (variables, scripts, boucles, récursivité) et les limites du calcul numérique. Etre capable de concevoir et de programmer des algorithmes simples dans un langage fonctionnel (Python sera privilégié), afin de résoudre numériquement des problèmes de calcul scientifique et/ou de simuler des phénomènes concrets issus de différents domaines applicatifs (physique, biologie, etc.).

Programme :

Chaque séance donne lieu à l’implémentation d’algorithmes classiques. 

1. Introduction, rudiments d’algorithmique, librairies, bonnes pratiques 
2. Numpy et calcul matriciel, algèbre linéaire, résolution de systèmes linéaires
3. Optimisation, représentations graphiques 
4. Analyse de données (moindres carrés, K-means, RANSAC)
5. Simulations de phénomènes aléatoires

Optimisation

Cours : 30h TP : 30h

enseignants : Q. Denoyelle, C. Pouchol

 

Mots clés : problèmes d’optimisation bien posés, convexité, dualité de Lagrange, algorithmes de descente de gradient

Objectifs :

Ce cours donne les méthodes de base, théoriques et numériques, pour résoudre des problèmes d’optimisation continue différentiables. Il est notamment appliqué dans les cours de bases pour le traitement d’images et de Machine Learning I.

Compétences acquises :

Être à l’aise avec les outils essentiels du calcul différentiel : différentielle, jacobienne, hessienne.
Pouvoir déterminer les caractéristiques essentielles du problème d’optimisation : existence et unicité de solutions, régularité, convexité.
Savoir calculer le problème dual dans le cas contraint, et discuter de la dualité forte.
Savoir choisir un algorithme adapté à un problème donné, et pouvoir le coder.
Connaître les vitesses de convergence des différents algorithmes, leurs avantages et inconvénients.

Programme :

Problèmes d’optimisation continue, différentiables, convexes ou non convexes, avec et sans contraintes. Théorèmes d’existence et d’unicité. Dualité de Lagrange, conditions KKT. Algorithmes de descente de gradient, de Newton. Algorithmes de gradient projeté et d’Uzawa.

Équations Différentielles Ordinaires, Modélisation, Analyse, et Simulation

Cours : 15h TD : 15h

enseignant :  F. Crauste

Programme :

– EDO (Modélisation des phénomènes de naissance, mort, compétition, mutualisme, prédation. Dynamique des populations. Modèles proies-prédateurs de type Lotka-Volterra. Dynamique adaptative. Théorème de Cauchy-Lipschitz. Stabilité des points d’équilibre.)

– EDP hyperboliques : phénomènes de transport (Principes généraux et propriétés mathématiques. Équation de renouvellement.)

– EDP paraboliques : phénomènes de diffusion (Principes généraux et propriétés mathématiques. Analyse de Fourier. Systèmes de réaction-diffusion. Morphogénèse et motifs de Turing…)

– Méthodes de discrétisation (Différences finies). Simulations numériques.

Statistique

Cours : 30h TD : 30h

Enseignantes : F. Comte, A. Sabourin

Mots clés : Estimation paramétrique, méthodes de substitution,  maximum de vraisemblance, tests et lemme de Neymann Pearson, régression

Objectifs : Ce cours présente les méthodes classiques en statistique mathématique pour construire des estimateurs dans des modèles paramétriques, leur associer des intervalles de confiance et pour construire des tests d’hypothèse. Le cadre particulier de la régression linéaire multivariée classique sera étudié.

Compétences acquises :

• Savoir construire l’estimateur d’un paramètre dans un modèle.
• Etre capable d’étudier un estimateur paramétrique, de comparer deux estimateurs.
• Savoir mettre en place un test d’hypothèse simple ou complexe.
• Savoir estimer les paramètres d’un modèle de régression linéaire multivariée dans le cadre classique.

 

Programme :
Modèle statistique, identifiabilité – Estimation de paramètre et comparaison d’estimateurs – Lois empiriques et quantiles – Construction d’estimateurs par des méthodes de substitution (moments, quantiles) et par maximum de vraisemblance – Méthodes bayésiennes – Modèles réguliers et information de Fisher, efficacité – Intervalles de confiance – Régression linéaire multivariée – Réduction des données, exhaustivité, complétude, familles exponentielles – Tests paramétriques,  hypothèses simples et complexes, Lemme de Neyman-Pearson, tests gaussiens.

Machine Learning 1

cours : 30h TD : 30h

 

Mots Clés : 

Algorithmes de Machine Learning, apprentissage statistique, compromis biais variance, fléau de la dimension, régularisation, validation croisée

Objectifs et Compétences : 

Savoir utiliser les algorithmes de Machine Learning incontournables, interpréter les résultats en s’appuyant sur une compréhension théorique des fondamentaux de l’apprentissage statistique:

Programme :

• Cadre supervisé et non supervisé, tâches d’apprentissage typiques et  exemples (classification, régression, clustering, réduction de dimension)  
• Principe de minimisation du risque empirique, compromis biais variance et régularisation : dictionnaires finis, risque empirique, risque théorique, sur-apprentissage et régularisation, échantillon d’apprentissage et de test, compromis biais – variance, sélection d’hyper paramètres par hold-out et validation croisée

• Algorithmes:
  • Cadre supervisé: modèle linéaire et logistique réguarisé, méthodes locales: arbres de décision CART, k-NN, modèles linéaires pénalisés en grande dimension, sélection de variable,  SVM et RKHS
  •  Apprentissage non supervisé: réduction de dimension et reconnaissance de motifs, réduction de dimension, ACP, Clustering, détection d’anomalie. 

Equipe Enseignante :  

Paul Bastide,  Antoine Chambaz, Joan Glaunes, Antoine Marchina, Vittorio Perduca, Anne Sabourin, Pierre-Emmanuel Sugier, Jonathan Vacher

Analyse 2

Cours : 15h TD : 15h

Enseignant : S. Durand

Programme :

Processus du second ordre : vecteurs et processus gaussiens. – Processus 
stationnaire : fonction d’autocovariance, opérateur backward, filtrage linéaire, processus AR, MA, 
ARMA, prédiction linéaire, équations de Yule-Walker. – Représentation spectrale : séries de Fourier, densité spectrale, théorème d’Herglotz, filtrage et densité spectrale, existence de solutions pour les 
processus ARMA. – Estimation : estimation de la moyenne et de l’autocovariance 

Introduction aux EDP et méthodes numériques associées

Cours : 15h TD : 15h

Enseignant : L. Alasio

Mots clés : Équations aux dérivées partielles linéaires du premier et du second ordre, méthode des caractéristiques, méthode des différences finies, séparation des variables, méthode de l’énergie.

Objectifs :

Le cours se focalise sur l’étude analytique et numérique de quelques exemples fondamentaux d’équations aux dérivées partielles de type elliptique, parabolique et hyperbolique. On présente des applications possibles de modèles mathématiques basés sur les EDP dans d’autres disciplines (Physique, Biologie, Systèmes Complexes).

Compétences acquises :

Compréhension des méthodes classiques de résolution explicite des EDP linéaires du premier et du second ordre en une ou deux dimensions. Étude et mise en œuvre de méthodes numériques de différences finies pour les problèmes d’évolution.

Programme :

1. Équations aux dérivées partielles, notions générales (introduction, éléments de l’analyse vectorielle, exemples, classification des équations linéaires du second ordre).
2. Équations linéaires du premier ordre (courbes caractéristiques, lois de conservation en dimension 1, équations quasi-linéaires du premier ordre).
3. Introduction à la résolution numérique des EDP (méthode des différences finies, convergence, consistance, stabilité numérique, condition CFL, schémas amonts implicite pour l’équation de transport).
4. L’équation de D’Alembert ou équation des ondes (méthode de résolution sur tout l’espace : la formule de D’Alembert, dérivation informelle de la mécanique classique, séparation des variables dans un intervalle borné, conservation de l’énergie).
5. Équation de la chaleur ou de diffusion (dérivation « cinétique » informelle, séparation des variables, principe du maximum parabolique, transformée de Fourier et équation de la chaleur, schémas d’Euler explicite et implicite, méthode de l’énergie et unicité).
6. Équations de Laplace et de Poisson (fonctions harmoniques, solution fondamentale, séparation des variables, principe du maximum).

Chaînes de Markov

Cours : 15h TD : 15h

Enseignant : L. Moisan

Bases pour le traitement d’image

Cours : 15h TP : 15h

Enseignante :  J. Delon

 

Mots clés : traitement du signal et des images, Transformée de Fourier discrète, transport optimal, champs aléatoires, problèmes inverses 

Programme :

Le but de ce cours est de familiariser les étudiants avec la diversité des mathématiques utilisées en traitement du signal et des images, mais également la diversité des applications possibles de ce domaine (imagerie médicale, imagerie satellitaire, vidéo numérique, cinéma, imagerie 3D etc). Différents problèmes sont abordés, de restauration d’image (débruitage, défloutage, etc), d’édition d’image (transfert de couleurs, synthèse de textures), ou d’analyse d’image. On présente pour chacun de ces problèmes les outils mathématiques adéquats pour les traiter, tout en faisant le lien avec les différents autres cours vus dans le master.

Compétences acquises :

Compréhension des principales étapes de la chaîne d’acquisition des images.
Connaissance des principes de base du traitement du signal et des images et des espaces de représentation adéquats. Étude et mise en œuvre de différents algorithmes numériques de résolution de problèmes inverses en imagerie.

Programme :

1. Qu’est-ce-qu’une image ? Acquisition, contenu, représentations.  
2. Transformée de Fourier discrète 1D et 2D, applications en traitement du signal et de l’image.
3. Problèmes inverses et méthodes variationnelles, optimisation
4. Introduction au transport optimal pour l’imagerie
5. Représentations aléatoires et textures

UE CAPEMPLOI

UE Ouverture Professionnelle

au choix :

• Projet Tutoré
• Projet Multidisciplinaire : applications en bioinformatique et en médecine

Machine Learning 2 et Deep Learning

Cours : 30h, TD : 30h 

Optimisation et Échantillonnage avancé

Cours : 30h,  TD : 30h 

Mouvement brownien et calcul stochastique

Cours : 15h TD : 15h

Programme :

Les équations différentielles sont un formalisme mathématique qui permet de comprendre l’évolution des systèmes (physiques, chimiques, biologiques, démographiques, économiques, informatiques…) au cours du temps. Il apparaît dans de nombreux contextes applicatifs que ce formalisme ne tient pas assez compte d’un certain aléa dû par exemple aux erreurs de mesure ou à l’évolution du milieu au cours du temps. L’objet de ce cours est d’expliquer comment y remédier en introduisant du bruit (ou, plus généralement, de l’aléa) dans les équations différentielles. De nombreux exemples issus de la biologie, de l’économie ou de la physique illustrent le propos. Le cours comprend une partie programmation, en R, en Scilab ou en Python (au choix).
Les élèves qui le souhaitent pourront être initiés à Python, langage facile mais puissant, très utilisé à la fois dans le monde académique et dans l’industrie.
Le plan du cours est le suivant : Variables, vecteurs et processus gaussiens. – Mouvement brownien. – Calcul stochastique et formule d’Itô. -Equations différentielles stochastiques (introduction, générateurs et ien avec les chaines de Markov discrètes).
Des applications à la biologie, l’économie ou la physique sont données dans chaque chapitre.

 

Statistique non paramétrique

Cours : 15h TD : 15h

Objectifs :

L’objectif de ce cours est de présenter aux étudiants différentes méthodes d’estimation fonctionnelle. Ces méthodes peuvent être utilisées de façon autonomes ou bien afin de permettre de choisir un modèle paramétrique plus simple et plus facile à présenter à des professionnels ou des médecins.

Programme :

Estimation d’une densité par méthode de projection (bases fonctionnelles orthonormées, construction de l’estimateur, étude du biais, de la variance, compromis par sélection de modèle, programmation)

– Estimation d’une densité par méthode de noyau (noyau d’ordre quelconque, construction et étude de l’estimateur, compromis biais-variance par sélection de fenêtre, programmation).

– Estimation d’une fonction de régression avec les deux méthodes : noyau et projection, étude et comparaison.

– Applications en modèles de survie : estimation non paramétrique d’une densité, d’une fonction de risque instantané (hazard rate) dans le cas de modèle avec censure droite, d’une fonction de répartition en présence de censure par intervalle.

Équations aux dérivées partielles, modélisation, analyse et simulation

Cours : 15h TD : 15h

 

Imagerie biomédicale

Cours : 15h TP : 15h

Programme :

Ce cours permettra aux étudiants de découvrir l’utilisation de différentes techniques d’analyse d’images appliquées au domaine biomédical. Chaque cours présentera tout d’abord certaines méthodes d’analyse d’images (théorie, algorithme, implémentation), puis proposera aux étudiants de les utiliser dans des cas réels afin d’apprécier leur efficacité (les TPs seront réalisés en Python avec OpenCV).

Une grande partie du cours sera consacrée aux outils de morphologie mathématique (ouverture, fermeture, ligne de partage des eaux). Les méthodes d’analyse d’images abordées auront des applications en débruitage, segmentation, analyse de formes, etc.

L’ensemble permettra aux étudiants d’être capables, à l’issue du cours, de réaliser une chaîne de traitement complète d’une image. L’évaluation des étudiants sera réalisée à l’aide d’un projet à rendre avec un rapport

Problèmes inverses

Cours : 15h TD : 15h 

Programme :

L’objectif de ce cours sera d’apprendre à formuler puis à résoudre des problèmes inverses dédiés à des tâches de traitement d’images telles que le débruitage, le déflouage, l’extrapolation de spectre, etc.

Bien souvent, de tels problèmes mettent en jeu le calcul d’un minimiseur d’une fonctionnelle convexe mais non-différentiable. Le calcul numérique de tels minimiseurs est possible à l’aide d’algorithmes modernes basés sur la dualité et sur le prolongement de la notion de gradient aux fonctionnelles convexes non-différentiables.

On s’intéressera en particulier à l’algorithme de Chambolle-Pock proposé en 2011, qui offre de rigoureuses garanties mathématiques de convergence. Cet algorithme sera maintes fois mis en œuvre sur des problèmes concrets de traitement d’images.

Mots clés : maximum de vraisemblance, maximum a posteriori, moindres carrés régularisés, représentations parcimonieuses, algorithmes primaux-duaux, transformée de Legendre-Fenchel, déconvolution, tomographie.

 

UE autre parcours de la mention Mathématiques et Applications

 

Open your mind via Interdisciplinary topics 

Apprentissage par Renforcement

Cours : 24h

 

Modélisation Aléatoire Avancée

Cours : 15h,  TD : 15h

 

Deep Learning pour l’Imagerie

Cours : 15h,  TD : 15h

 

Analyse et génération d’Images

Cours : 15h,  TD : 15h