MTH8302 - Analyse de régression et analyse de variance

Ce document comprend des infomations importantes. Veuillez le conserver.

Ce script notebook Jupyter reprend les mêmes exemples que le notebook Jupyter associé, illustrant les notions fondamentales d'algèbre linéaire abordées lors de la leçon 0.

Les principaux sujets couverts sont les suivants :

• Révision des concepts d’algèbre linéaire avec des exemples pratiques ;
• Génération de figures pour faciliter la compréhension des concepts mathématiques ;
• Exploration des notions telles que normes, produits matriciels, valeurs propres, vecteurs propres et formes quadratiques.

Ce notebook peut être utilisé comme référence pour exécuter le code dans un environnement Python standard, dans un IDE comme VS Code, ou en l'important sur Google Colab pour une utilisation interactive.

Ce script Python contient les mêmes exemples que le notebook Jupyter associé, illustrant les notions fondamentales abordées lors de la leçon 0.

Les principaux sujets incluent :

• Révision des concepts d’algèbre linéaire avec des exemples pratiques,
• Génération de figures pour une meilleure compréhension des concepts mathématiques,
• Exploration des normes, produits matriciels, valeurs propres, vecteurs propres, et formes quadratiques.

Ce fichier peut être utilisé comme référence pour exécuter le code directement dans un environnement Python standard ou dans un IDE comme VS Code.

Les corrections suivantes ont été apportées :

• Section "Indépendance Linéaire et Rang d’une Matrice" : Le contenu a été ajusté pour respecter la notation introduite et utilisée pendant la leçon.
• Section "Le Déterminant d’une Matrice : Interprétation Géométrique" : La valeur du déterminant a été corrigée (Déterminant = -5 au lieu de Déterminant = -3).

Contenu du Cours pour la séance du 15 Janvier 2025.

Cette ressource contient un script complet qui illustre les concepts clés et les techniques d'optimisation illustrée pendant la 2ème séance du cours. Le notebook comprend des explications détaillées, des exemples de code en Python, et des graphiques pour une compréhension approfondie des méthodes d'optimisation comme la descente de gradient et la méthode de Newton.

Annonce : Correction de la série d’exercices en classe

Bonjour à toutes et à tous,

Lors de la prochaine séance, nous corrigerons ensemble la série d’exercices MTH8302 - Exercices 1. Cette série a pour objectif de vous préparer au Devoir 1, tout en introduisant des concepts que nous verrons en régression linéaire.

Nous aborderons notamment :

• L’estimation par maximum de vraisemblance (MLE) pour les lois exponentielle et binomiale,
• Le test t en régression linéaire,
• La loi des grands nombres et le théorème central limite, avec des visualisations.

Je vous encourage vivement à tenter de résoudre ces exercices, ou au moins à les parcourir et à y réfléchir avant la séance, afin de profiter pleinement de la correction et de poser vos questions sur les points qui vous semblent moins clairs.

N’oubliez pas d’apporter vos notes, vos calculs et, si possible, votre ordinateur pour les exercices nécessitant des visualisations ou des calculs numériques en Python.

À bientôt en classe !

Bonjour à toutes et à tous,

Voici les documents et références utilisés pour la Leçon 0, qui couvre les fondements mathématiques et statistiques nécessaires pour la suite du cours. Ces ressources vous aideront à consolider votre compréhension de l’algèbre linéaire, des probabilités, des statistiques et des concepts en deep learning.

Algèbre Linéaire et Optimisation

• Linear Algebra Review
  Ce document est tiré du cours introductif au Machine Learning de Roger Grosse à l'Université de Toronto en 2021.
• CS229 - Linear Algebra Notes
  Notes sur l'algèbre linéaire et l'optimisation du cours CS229 à Stanford.
  Disponible sur le site officiel : CS 229 Stanford

Rappels en Probabilités et Statistiques

• Rappel en Probabilités
• Rappel en Statistiques
• Rappel des Tests Statistiques
  Ces documents sont issus du site Wikistat.fr, une référence utilisée dans la version précédente du cours.

Calcul Numérique et Optimisation en Deep Learning

• Deep Learning Book - Chapter 4
  Le chapitre 4 du livre "Deep Learning" couvre le calcul numérique et l'optimisation.
  Disponible en ligne : Deep Learning Book

Probabilités et Optimisation

• Deep Learning Foundations and Concepts
  Ce nouveau livre couvre les bases des probabilités et de l'optimisation en deep learning.
  Accès libre : Bishop Book
  Solutions des exercices (chapitres 2-10) : Solutions Officielles

Je vous encourage à consulter ces ressources pour approfondir votre compréhension des concepts abordés en cours.

À bientôt en classe.

Bonjour à toutes et à tous,

Comme discuté au début de la séance précédente, la dérivée de la forme quadratique doit être de la forme $(A + A^\top)x$ et non $x^\top (A + A^\top)$.

De plus, les propositions de la question 6 du problème 1 ont été rectifiées afin de correspondre aux dérivées secondes potentielles de la fonction étudiée.

Vous trouverez ici Devoir 1 avec ces rectifications. Veuillez télécharger la nouvelle version et en prendre compte dans votre travail.

N’hésitez pas à poser vos questions si nécessaire.

Bonjour à toutes et à tous,

Je mets à votre disposition des clarifications concernant les quatre premières questions du Problème 1 de la Série d'Exercices 1, ainsi que les détails relatifs au calcul des Hessiennes à partir des gradients des fonctions étudiées.

Ces explications incluent l’utilisation du produit extérieur, qui permet d’obtenir une représentation matricielle à partir d’une représentation vectorielle.

Par ailleurs, la solution de la question 2 du Problème 1 a été rectifiée en conséquence. La bonne solution à la Hessienne est :

Veuillez consulter le document mis à votre disposition ici et qui contient ces clarifications.

N’hésitez pas à poser vos questions si nécessaire.

Bonne étude

Bonjour à toutes et à tous,

Vous trouverez ici le notebook Jupyter ainsi que le script Python associés aux figures générées pour la partie du rappel mathématique portant sur :

• Les distributions de probabilités
• Les tests d'hypothèse
• Le calcul des intervalles de confiance

Ces ressources vous aideront à mieux répondre à certaines questions du devoir 1, notamment celles nécessitant la visualisation et la génération de code.

Bonne étude et bon travail à tous.

Bonjour à toutes et à tous,

Vous trouverez ici le notebook Jupyter ainsi que le script Python associés aux notions suivantes :

• Covariance
• Gaussienne Multivariée
• Loi des Grands Nombres
• Théorème Central Limite

Ces ressources vous permettront d'explorer ces concepts en profondeur et de mieux comprendre leur application, en particulier dans le cadre des exercices et du devoir 1.

Bonne étude et bon travail à tous.

Le fichier StudentGrades.csv est un jeu de données synthétique conçu pour vous permettre de manipuler un modèle de régression linéaire simple. Ce fichier contient deux variables :

• Heures étudiées : Nombre d'heures passées à étudier.
• Note obtenue : Score obtenu à un devoir en fonction du temps d'étude.

Le fichier Esperance_vie_pib.csv est un jeu de données  conçu pour vous permettre de manipuler un modèle de régression linéaire simple. Ce fichier contient deux variables :

• PIB par habitant pour chaque pays.
• Espérance de vie en année pour chaque pays.

Le dataset Boston Housing contient des informations sur le marché immobilier de Boston, avec 506 observations représentant des quartiers de la ville. Chaque observation inclut 13 variables explicatives, telles que le nombre moyen de pièces par logement (RM), le taux de criminalité (CRIM), ou encore le pourcentage de la population à faible statut socio-économique (LSTAT). L'objectif est de prédire la valeur médiane des logements (MEDV, en milliers de dollars) à partir de ces caractéristiques.

Bonjour à toutes et à tous,

J’ai mis en ligne un document de clarifications concernant :
- L’estimation par maximum de vraisemblance dans le cas de la régression linéaire multiple.
- Le calcul des intervalles de confiance et de prédiction (dans le cas de la régression linéaire multiple).

 Vous pouvez y retrouver :
- Une explication détaillée de l’estimateur du maximum de vraisemblance en régression linéaire multiple.
- La formulation mathématique des intervalles de confiance et de prédiction.
- Des exemples illustrant leur interprétation et leur utilisation.

Bonne lecture et bonne étude !

Bonjour à toutes et à tous,

J’ai mis en ligne la version finale du document de la Leçon 2 : Régression Linéaire Multiple.

Le contenu reste le même que celui des précédents transparents, avec des ajustements et mises au point pour une meilleure lisibilité et un affichage optimal des slides.

Bonne lecture et bonne étude !