Devoir 3 : Méthodes de Régularisation

Bonjour à toutes et à tous,

L'énoncé du Devoir 3 : "Méthodes de Régularisation" est désormais disponible sur Moodle. Vous avez 2 semaines pour le compléter et le soumettre.

Vous trouverez :

- L’énoncé du devoir (format PDF) avec le code Python à compléter.

- Le jeu de données `Hitters`, disponible dans la librairie ISLP.

Ce devoir vise à approfondir votre compréhension des méthodes de régularisation en régression linéaire. Vous serez amenés à :

- Comprendre les formulations probabilistes des régularisations.

- Établir les liens entre la régularisation et l'estimation Bayésienne (MAP).

- Implémenter les méthodes Ridge, Lasso et Elastic Net par vous mêmes.

- Étudier l’impact des hyperparamètres sur la performance du modèle et la sélection des variables.

- Interpréter l’évolution des erreurs de prédiction et de la parcimonie des modèles.

Modalités de remise : Un seul fichier PDF contenant toutes vos réponses y compris le code Python complété, les résultats affichés (graphiques, tableaux et autres) ainsi que vos analyses, vos réponses et justifications aux QCM.

Instructions importantes :

- Prenez le temps de lire l’ensemble du devoir avant de commencer. Cela vous permettra de mieux comprendre la logique des exercices et d’anticiper les connexions entre les questions.

- Répondez aux questions avec des explications rigoureuses et, lorsque nécessaire, des arguments mathématiques.

- Remarque sur les QCM :

  - Lorsqu’il est demandé de fournir vos réponses, cela signifie qu’il peut y avoir plus d’une bonne réponse.

  - Lorsqu’il est demandé votre réponse, une seule est attendue.

Commencez le devoir dès que possible pour avoir le temps de poser vos questions et le compléter sereinement.

Bon travail à toutes et à tous et surtout, soyez curieux !