Une application de petite amie IA, c'est une fenêtre de discussion posée sur un grand modèle de langage, enveloppée dans un personnage persistant et un filtre de contenu. Toute la catégorie tient là-dedans. Ce qui sépare une application à 10 € d'une application à 20 € est rarement le modèle : ce sont les deux autres pièces.
Les trois pièces
Le modèle génère du texte. À partir de tout ce qu'il peut voir à cet instant, il prédit un message suivant plausible. Il ne se souvient de rien d'hier et n'a aucune intention. Toute apparence de volonté vient des deux pièces suivantes.
La fiche de personnage est un bloc de texte que l'application envoie au modèle avant votre message, à chaque fois : qui est ce personnage, comment il parle, ce qu'il sait de vous, ce qui s'est passé récemment. Vous ne le voyez jamais. Quand on dit qu'une application « a de la personnalité », cela signifie le plus souvent que ce fichier est bien écrit.
Le filtre décide de ce que le personnage a le droit de dire. Il s'exécute avant ou après le modèle, parfois les deux. C'est pourquoi une conversation peut basculer en plein milieu d'une scène vers un refus poli.
Pourquoi la fenêtre de contexte explique les reproches
Le modèle ne peut voir qu'une quantité de texte limitée à la fois. Ce budget, c'est la fenêtre de contexte, et la fiche de personnage, les faits mémorisés à votre sujet et la conversation récente s'y disputent la même place.
Quand une discussion s'allonge, les tours les plus anciens en sortent. L'application ne s'est pas « lassée » et n'a pas été bridée en douce. Elle ne voit tout simplement plus cette partie de l'échange. Presque tous les messages du type « c'était mieux avant » se ramènent à cela, et c'est pourquoi la façon dont la mémoire est construite compte davantage que la taille du modèle.
Ce que contient la fiche de personnage
La plupart des applications la composent à partir de quatre éléments :
- un persona : nom, âge, histoire, manière de parler ;
- des faits stables vous concernant que l'application a décidé de conserver ;
- un résumé courant de votre historique, réécrit à mesure qu'il grossit ;
- les messages récents, mot pour mot.
Les applications où l'on a encore, une semaine plus tard, l'impression que quelqu'un est resté dans la pièce — la raison pour laquelle Nomi obtient la note qu'il obtient — sont celles qui gèrent bien les deux éléments du milieu. Rien de tout cela n'apparaît sur une page tarifaire, et c'est pourquoi juger une application demande des semaines et non une soirée.
Ce que « petite amie IA » recouvre vraiment
L'étiquette s'étire sur des produits qui ne se ressemblent guère :
- les applications de compagnie, conçues pour une relation qui dure, avec journal et suivi d'humeur ;
- les applications de jeu de rôle, conçues pour des scènes et des histoires plutôt que pour la continuité ;
- les applications centrées sur l'image, où la discussion existe surtout pour produire des images et de la voix. Candy AI en est la plus proche du milieu, en traitant les trois dans un seul abonnement.
Décider laquelle des trois vous voulez réellement élimine environ la moitié de n'importe quelle liste — y compris la nôtre — avant même que le prix n'entre dans la conversation. Les deux applications ci-dessus sont d'ailleurs comparées côte à côte.
Ce qu'aucune n'est
Elles ne vous connaissent pas d'une session à l'autre, sauf si elles ont été construites pour stocker des faits et les retrouver. Elles n'ont pas de continuité d'elles-mêmes : le personnage est recréé à partir de texte au début de chaque tour. Et elles ne sont pas privées par nature — la conversation est traitée sur les serveurs de quelqu'un d'autre.
