What is “overfitting”?

« Surapprentissage » signifie qu'un modèle est trop complexe et, par conséquent, peu fiable pour prédire de nouvelles données. Le surapprentissage a tendance à se produire lorsqu'il y a trop de variables par rapport au nombre de points de données disponibles. Par exemple : vous pouvez n'avoir que 50 lignes de données et 100 variables (colonnes) dans le jeu de données. Le modèle prédictif peut utiliser toutes les variables pour élaborer une série de règles compliquées qui fonctionnent bien avec les données utilisées pour entraîner le modèle, alors qu'en réalité, la métrique prédite peut être influencée par seulement un ou deux prédicteurs. En règle générale, plus c'est simple, mieux c'est. Plus de variables sont introduites dans un modèle, plus il existe d'erreurs qui peuvent potentiellement masquer la véritable relation sous-jacente que vous souhaitez découvrir.