🧠 Astuce ML : Déboguez les modèles avec le surapprentissage

Le débogage des modèles de machine learning peut être difficile et chronophage. De nombreuses choses peuvent mal tourner :

• Chargement des données
• Modélisation
• Entraînement, …

Heureusement, il existe un truc simple pour détecter les bugs rapidement : le surapprentissage. Le surapprentissage se produit lorsqu'un modèle est trop spécifique à l'ensemble d'entraînement et incapable de généraliser sur de nouvelles données.

Aussi grave que cela puisse paraître, le surapprentissage peut être votre allié pour trouver facilement des bugs dans votre code : si votre modèle surapprend, au moins le processus d'entraînement a fonctionné sur l'ensemble de données d'entraînement. C'est un indice que vous n'avez pas de bug dans votre code.

L'idée est de recréer artificiellement les conditions du surapprentissage :

• Prenez quelques lots de vos données d'entraînement
• Entraînez votre modèle dessus pendant de nombreuses étapes
• Si le modèle surapprend (la perte diminue presque jusqu'à 0 rapidement), vous avez probablement un code sans bug
• Si le modèle n'arrive pas à surapprendre, vous devez avoir un bug quelque part dans le code

🌐 Astuce Web : Attendre les Promesses simultanément avec Promise.all

Nous utilisons abondamment les promesses en JavaScript : elles représentent l'achèvement ou l'échec éventuel d'une tâche asynchrone et sa valeur résultante. La façon la plus pratique d'attendre dans le code la fin d'une promesse et d'obtenir sa valeur est d'utiliser les mots clés async/await. Cependant, si vous avez de nombreuses promesses à exécuter simultanément, ne tombez pas dans le piège de les attendre dans une boucle for. Le code deviendra synchrone, démarrant chaque promesse et attendant son résultat séquentiellement.

Créez plutôt un tableau de promesses et appelez Promise.all(tableauDePromesses) pour attendre toutes les promesses en même temps, résultant en l'exécution concurrente de toutes les promesses. Grâce à cette technique, vous pouvez effectuer plusieurs appels d'API de manière concurrente, ce qui vous fait gagner beaucoup de temps d'exécution pour votre script.

👩‍🔬 Document de recherche : Les grands modèles de langage sont des raisonneurs à zéro-shot

Les grands modèles de langage ont un potentiel de raisonnement que vous pouvez exploiter grâce à l'ingénierie des prompts (apprentissage à zéro-shot). Les grands modèles de langage sont de formidables apprenants à quelques exemples :

Utilisez un modèle pré-entraîné de grande taille et affinez-le sur quelques exemples décrivant les nouvelles tâches. En utilisant l'apprentissage à quelques exemples, ces modèles ont obtenu de très bonnes performances dans des tâches de raisonnement telles que l'arithmétique ou le raisonnement symbolique.

Et si nous n'avions même pas besoin de l'affinement ?

Les grands modèles de langage sont des raisonneurs à zéro-shot est un document récent qui explore l'apprentissage à zéro-shot pour les tâches de raisonnement. Ici, le modèle n'est pas affiné sur des exemples de tâches. Seuls les prompts sont conçus pour que le modèle puisse traiter la tâche, sans entraînement explicite.

💡 En ajoutant simplement "Réfléchissons étape par étape" avant chaque réponse du modèle, la précision a augmenté de manière significative dans les tâches de raisonnement :

👉🏽 de 17,7 % à 78,7 % sur MultiArith
👉🏽 de 10,4 % à 40,7 % sur GSM8K

Ces résultats montrent le grand potentiel d'apprentissage à zéro-shot des grands modèles de langage. ⇒ Des tâches de raisonnement de haut niveau peuvent être extraites grâce à des prompts astucieux.

🛠 Outil : Remotion, Un outil pour créer des vidéos avec React

Que vous soyez un particulier le faisant pour le plaisir, ou une entreprise avec une stratégie de contenu, la vidéo est l'un des contenus les plus consommés sur Internet.

1 milliard d'heures de vidéo regardées chaque jour sur YouTube. Remotion est un outil incroyable utilisant React pour créer des vidéos. Utilisez HTML, CSS et JavaScript pour créer des vidéos de manière programmatique.

Remotion exploite la puissance des vidéos basées sur les données :
👉🏽 Créez un modèle avec des composants React
👉🏽 Utilisez des données d'entrée pour dynamiser le contenu
👉🏽 Créez autant de vidéos que vous le souhaitez en modifiant simplement les données

Avec Remotion, vous pouvez également rendre des vidéos dans le cloud :
👉🏽 Construisez votre script décrivant la vidéo
👉🏽 Exécutez-le dans le cloud et récupérez un fichier vidéo mp4

💡 Enfin, Remotion dispose également d'un excellent lecteur vidéo avec rechargement en direct pour inspecter votre vidéo comme une application web. => Vous pouvez lire en douceur des animations pour obtenir une vidéo "parfaite" image par image. Essayez-le absolument si vous êtes intéressé par la production/montage vidéo et le développement web.

📰 Nouvelles

Hugging Face publie “Evaluate”, des métriques pour l'apprentissage automatique

Hugging Face a publié une bibliothèque pour l'évaluation des modèles. Elle contient de nombreuses métriques, compatibles avec Numpy/Pandas/PyTorch/TensorFlow/JAX. Bonus : les types d'entrée sont vérifiés pour éviter les bugs et chaque métrique est accompagnée d'une fiche décrivant les valeurs, les limitations et les plages.

GitHub prend désormais en charge les mathématiques dans le Markdown

Les équations mathématiques contiennent de nombreuses informations dans un format compressé ⇒ un excellent moyen de communiquer. GitHub prend désormais en charge les équations en Markdown en utilisant MathJax. Utilisez simplement $ pour les équations en ligne et $$ pour les équations en bloc (similaire à LaTeX).

Dans cet épisode de la newsletter, nous abordons des sujets tels que le débogage des modèles de machine learning avec le surapprentissage, l'attente concurrentielle des promesses avec Promise.all en JavaScript, le potentiel des grands modèles de langage pour le raisonnement à zéro-shot, l'outil Remotion pour créer des vidéos avec React, et les dernières actualités sur la bibliothèque "Evaluate" de Hugging Face pour l'évaluation des modèles et le support de GitHub pour les équations mathématiques dans Markdown.