Problème du bandit manchot

Le problème du bandit manchot est une situation où l’on doit choisir à plusieurs reprises entre plusieurs actions (les « bras » du bandit), chacune associant une récompense aléatoire et inconnue. L’objectif est de maximiser la récompense totale sur le long terme, en équilibrant exploration (essayer de nouvelles options) et exploitation (choisir la meilleure option connue jusqu’ici). Ce concept vient des machines à sous (bandits manchots), où chaque levier a une probabilité de gain différente, mais invisible au départ.

En IA, cette approche est utilisée pour optimiser des décisions en temps réel, comme personnaliser des recommandations ou allouer des ressources. Par exemple, un site web peut tester différentes versions d’une page (A/B testing) et ajuster dynamiquement celle qui génère le plus de clics, sans se contenter de la première option essayée.

L’intérêt est de trouver un équilibre entre découvrir de meilleures solutions et exploiter celles déjà identifiées, sans gaspiller trop de ressources sur des options peu prometteuses.