La technique d’incitation « arbre de pensée » (Tree of Toughts ToT) dans les LLM est une méthode avancée qui utilise une approche structurée pour guider les LLM dans leurs processus de raisonnement et de génération de réponses. Elle améliore la résolution de problèmes en explorant plusieurs chemins de raisonnement, appelés « pensées ». Contrairement aux invites linéaires traditionnelles, ToT permet aux LLM d’envisager diverses solutions et stratégies possibles, notamment la projection dans l’avenir, le retour en arrière et l’auto-évaluation, ce qui la rend plus interactive et adaptable à la complexité de la tâche à accomplir.
Exploration des chemins
Chaque pensée représente une séquence de langage cohérente qui évolue vers la solution finale. Cette structure permet aux modèles de langage de raisonner délibérément en évaluant les progrès générés par les pensées dans la résolution du problème. ToT intègre les capacités du modèle à produire et évaluer des pensées avec des algorithmes de recherche tels que la recherche en largeur ou en profondeur.
Cela permet une exploration systématique des chaînes de raisonnement, avec une anticipation pour élargir les directions prometteuses et un retour en arrière lorsque les solutions sont incorrectes. ToT a excellé dans les tâches du jeu des 24, obtenant un taux de réussite de 74 % contre 4 % pour CoT. De plus, dans les tâches au niveau des mots, ToT a surpassé CoT avec un taux de réussite de 60 % contre 16 %.
Exemple
L’exemple ci-dessous illustre la structure de l’invite.
Il est important de savoir que GPT-3.5 n’obtient pas la bonne réponse pour l’exemple ci-dessous avec l’invite Chain of Thought, mais il le fait avec l’invite ToT (intégré dans GPT-4).
L’invite est :
Imagine three different experts are answering this question. All experts will write down 1 step of their thinking,then share it with the group. Then all experts will go on to the next step, etc. If any expert realises they're wrong at any point then they leave. The question is...
Ce qui donne :
Expert 1: The ball is in the living room. Expert 2: The ball is in the kitchen. Expert 3: The ball is in the bedroom. Expert 1: Bob carries the cup to the bedroom, so the ball must be in the cup. Expert 2: Oh, I see my mistake. Yes, the ball is in the cup. Expert 3: Agreed, the ball is in the cup in the bedroom. Expert 1: Next, Bob turns the cup upside down in the bedroom. Expert 2: After that, Bob walks to the garden and puts the cup down. Expert 3: Therefore, the ball must have fallen out of the cup when Bob turned it upside down in the bedroom. So, the ball is in the bedroom, not in the cup anymore. Expert 1: Oh, you're right. I made a mistake. The ball is in the bedroom, not in the cup. Expert 2: Agreed, the ball is in the bedroom. Expert 3: Bob then walks to the garage, so the ball remains in the bedroom. It is not in the garden or the garage. Expert 1: Absolutely, the ball is still in the bedroom. Expert 2: Yes, the ball hasn't moved from the bedroom. Expert 3: Therefore, the ball is in the bedroom, not in the garden or the garage. All three experts agree that the ball is in the bedroom.
FR 
EN