L’ingénierie des invites est devenue une technique essentielle pour améliorer les capacités des modèles de langage à grande échelle (LLM) et des modèles de langage visuel (VLM) pré-entraînés. Elle implique la conception stratégique d’instructions spécifiques à une tâche, appelées invites, pour guider la sortie du modèle sans modifier les paramètres. En offrant un mécanisme permettant d’affiner les sorties du modèle grâce à des instructions soigneusement élaborées, l’ingénierie des invites permet à ces modèles d’exceller dans diverses tâches et domaines. Cette adaptabilité est différente des paradigmes traditionnels, où un recyclage du modèle ou un réglage fin approfondi est souvent nécessaire pour des performances spécifiques à une tâche.
https://arxiv.org/pdf/2402.07927
https://arxiv.org/pdf/2310.14735
Elements de base de GPT
Lorsque GPT-4 reçoit une invite de saisie, le texte saisi est d’abord converti en jetons que le modèle peut interpréter et traiter. Ces jetons sont ensuite gérés par des couches de transformation, qui capturent leurs relations et leur contexte. Au sein de ces couches, des mécanismes d’attention distribuent différents poids aux jetons en fonction de leur pertinence et de leur contexte. Après le traitement de l’attention, le modèle forme ses rendus internes des données d’entrée, appelés représentations intermédiaires. Ces représentations sont ensuite décodées en texte lisible par l’homme.
La méthode de base de l’invite est « d’être clair et précis ». Cela implique de formuler des invites sans ambiguïté et spécifiques, qui peuvent guider le modèle vers la génération du résultat souhaité.
L’invite de rôle est une autre méthode fondamentale de l’ingénierie des invites. Elle consiste à donner au modèle un rôle spécifique à jouer, comme celui d’un assistant utile ou d’un expert compétent. Cette méthode peut être particulièrement efficace pour guider les réponses du modèle et garantir qu’elles correspondent au résultat souhaité.
Dans l’ingénierie des invites, l’utilisation de guillemets triples est une technique utilisée pour séparer différentes parties d’une invite ou pour encapsuler des chaînes de plusieurs lignes. Cette technique est particulièrement utile lorsqu’il s’agit d’invites complexes qui incluent plusieurs composants ou lorsque l’invite elle-même contient des guillemets, ce qui permet au modèle de mieux comprendre les instructions.
En raison de la nature non déterministe des LLM, il est souvent avantageux d’essayer plusieurs fois lors de la génération de réponses. Cette technique, souvent appelée « rééchantillonnage », consiste à exécuter le modèle plusieurs fois avec la même invite et à sélectionner le meilleur résultat. Cette approche peut aider à surmonter la variabilité inhérente aux réponses du modèle et augmenter les chances d’obtenir un résultat de haute qualité.
FR 
EN