Few-Shot Prompting

Few-shot prompting, les exemples pour bien guider

L’invite à quelques coups (few-shot prompting) fournit aux modèles quelques exemples d’entrée-sortie pour induire une compréhension d’une tâche donnée, contrairement à l’invite à zéro coup, où aucun exemple n’est fourni. Fournir même quelques exemples de haute qualité a amélioré les performances du modèle sur des tâches complexes par rapport à l’absence de démonstration.

Cependant, l’invite à quelques coups nécessite des jetons supplémentaires pour inclure les exemples, ce qui peut devenir prohibitif pour les entrées de texte plus longues. De plus, la sélection et la composition des exemples d’invite peuvent influencer considérablement le comportement du modèle, et des biais tels que la préférence pour les mots fréquents peuvent toujours affecter les résultats de l’invite à quelques coups.

Bien que l’invite à quelques coups améliore les capacités pour les tâches complexes, en particulier parmi les grands modèles pré-entraînés comme GPT-3, une ingénierie d’invite minutieuse est essentielle pour obtenir des performances optimales et atténuer les biais involontaires du modèle.

Apprendre par l'exemple

Le principe de l’incitation en quelques coups consiste à fournir au LLM un petit ensemble d’exemples ou de démonstrations pertinents au sein même de l’incitation. Ces exemples guident le modèle, illustrant comment aborder et répondre à un type particulier de tâche ou de question. Les démonstrations sont généralement structurées comme suit :

Paires entrée-sortie : chaque démonstration se compose généralement d’une entrée (par exemple, une question ou un extrait de texte) et de sa sortie correspondante (la réponse ou la solution souhaitée).
Cohérence du format : les démonstrations conservent un format cohérent, ce qui aide le modèle à reconnaître le modèle qu’il doit suivre.
Pertinence de la tâche : les exemples fournis sont directement pertinents pour la tâche à accomplir, mettant en valeur la compétence ou les connaissances spécifiques requises.

Lorsqu’on lui présente ces démonstrations, le modèle de langage s’engage dans un processus souvent appelé « apprentissage en contexte » ou « apprentissage par l’exemple ». Il fonctionne comme suit :

Reconnaissance de modèles : le modèle analyse les exemples fournis, identifiant des modèles dans la façon dont les entrées sont transformées en sorties.
Inférence de tâche : à partir de ces modèles, le modèle déduit la nature de la tâche qu’il est invité à effectuer
Généralisation : le modèle tente ensuite de généraliser à partir des exemples donnés à de nouvelles entrées non vues.
Application : enfin, le modèle applique ce modèle appris à la nouvelle entrée fournie à la fin de l’invite.

Aider au raisonnement

Quelques conseils peuvent améliorer considérablement la capacité d’un LLM à gérer des tâches impliquant un raisonnement en plusieurs étapes, une déduction logique ou des connaissances spécifiques à un domaine.

« Donnez un diagnostic possible et expliquez votre raisonnement :
Symptômes : fièvre, toux, fatigue
Diagnostic : rhume
Explication : la combinaison de fièvre, de toux et de fatigue est typique d’un rhume. Aucun symptôme grave n’est présent, ce qui suggère une infection virale légère.
Symptômes : douleur thoracique, essoufflement, étourdissements
Diagnostic : crise cardiaque possible
Explication : la combinaison de douleur thoracique, d’essoufflement et d’étourdissements sont des signes avant-coureurs d’une possible crise cardiaque. Une attention médicale immédiate est requise.
Symptômes : maux de tête, sensibilité à la lumière, nausées
Diagnostic :
Explication : »

Cette invite guide le modèle non seulement pour fournir un diagnostic, mais aussi pour expliquer le raisonnement qui le sous-tend, en démontrant un raisonnement médical complexe.

« Diagnostic : Migraine

Explication : Ces symptômes réunis sont typiques d’une migraine. Le mal de tête associé à une sensibilité à la lumière (photophobie) est un indicateur fort de migraine, et des nausées accompagnent souvent cette affection. Bien que d’autres causes soient possibles, cette combinaison suggère fortement une migraine. »

Génération de code

Les invites à quelques coups peuvent être incroyablement utiles pour aider les LLM à générer du code qui adhère à des conventions spécifiques, suit les meilleures pratiques ou répond à des exigences particulières. Des exemples peuvent démontrer la syntaxe et la structure correctes pour un langage de programmation particulier.

Voyons comment utiliser les invites à quelques coups pour générer des fonctions Python avec des docstrings et des indications de type :

Cette invite guide le modèle pour générer une fonction avec des indications de type appropriées et une docstring détaillée, en suivant le modèle établi.

Le résultat serait :

Bien pratiquer le few-shot prompting

La qualité et la pertinence des exemples que vous choisissez sont essentielles pour réussir l’incitation à l’utilisation de quelques exemples. Voici quelques conseils :

Assurez-vous que les exemples sont directement liés à la tâche que vous souhaitez que le modèle exécute. Des exemples non pertinents peuvent perturber le modèle et entraîner de mauvaises performances.
Utilisez un ensemble diversifié d’exemples qui couvrent différents aspects de la tâche. Cela aide le modèle à mieux se généraliser à de nouvelles entrées.
Les exemples doivent être clairs et sans ambiguïté. Évitez les exemples complexes ou alambiqués qui pourraient perturber le modèle.

L’un des risques de l’incitation à l’utilisation de quelques exemples est que le modèle peut s’adapter de manière excessive aux exemples fournis, ce qui conduit à des résultats trop similaires aux exemples ou qui ne parviennent pas à se généraliser correctement à de nouvelles entrées. Pour éviter cela :

Utilisez une variété d’exemples qui couvrent différents scénarios et cas limites. Cela aide le modèle à apprendre à généraliser plutôt qu’à simplement imiter les exemples.
Évitez d’utiliser trop d’exemples, car cela peut conduire à un surajustement. Quelques exemples bien choisis sont souvent plus efficaces qu’un grand nombre d’exemples similaires.
Testez les performances du modèle sur une gamme de nouvelles entrées pour vous assurer qu’il se généralise bien. Ajustez les exemples et les invites selon les besoins en fonction de ces tests.

En suivant ces bonnes pratiques, vous pourrez créer des invites à quelques prises plus efficaces qui guideront le modèle dans l’exécution de la tâche souhaitée avec précision et efficacité.