Présentation des principales méthodes mathématiques à la base des algorithmes d'apprentissage profond. Rappels et notions importantes d'algèbre linéaire utilisées en science des données : sous-espaces vectoriels; factorisations matricielles; orthogonalité; valeurs et vecteurs propres; matrices symétriques définies positives; décomposition en valeurs singulières; composantes principales; quotients de Rayleigh; tenseurs. Matrices de grande taille: algèbre linéaire numérique; moindres carrés; algèbre linéaire randomisée. Matrices de faible rang et acquisition comprimée: valeurs propres entrelacées et signaux de rang faible; décroissance rapide des valeurs singulières; algorithmes alternés; acquisition comprimée et complétion matricielle. Matrices spéciales: transformées de Fourier discrètes; graphes. Rappels et notions importantes de probabilités et de statistique pour les problèmes d'apprentissage: lois de probabilité; moments, cumulants et inégalités; matrices de covariance et lois de probabilité à plusieurs variables; moindres carrés pondérés; chaînes de Markov. Optimisation: méthode de Newton; multiplicateurs de Lagrange; méthode du gradient; méthodes du gradient stochastiques et méthode ADAM. Apprentissage à l'aide de données: réseaux de neurones profonds; réseaux de neurones convolutifs; rétropropagation; hyperparamètres. Application des notions étudiées pour des problèmes d'apprentissage profond.
- Responsable du site: Steven Dufour