Générer du contenu automatisé avec GPT-3

Bien que la génération de texte soit totalement surprenante, au sens où l’on peut aisément concevoir que c’est un humain et non une machine qui a écrit, il peut, dans certains cas, s’avérer nécessaire d’ôter certains mots (notamment en français) pour plus de lisibilité et donc d’avoir recours à une intervention humaine. De plus, GPT-3 fournit plusieurs sorties : ce qui semble intéressant est de mixer différentes parties de diverses sorties afin d’avoir un résultat plus qualitatif. Là encore, une intervention humaine semble nécessaire.  Le process ne serait donc pas totalement automatisé et GPT-3 resterait alors un (très bon) outil.

Une limite plus dérangeante est la capacité de l’IA à générer des textes toxiques ou biaisés (génération de contenus violents ou sexuels, invention de faits). Cela vient du fait de la grande liberté donnée au modèle pour apprendre (apprentissage automatique non-supervisé) et aux nombreuses sources, elles-mêmes toxiques et générées par l’Homme sur Internet, présentes dans les données d’apprentissage. Pour répondre à cette problématique, les concepteurs sont en train d’améliorer leur modèle en basculant vers un apprentissage par renforcement, qui se base sur les notations d’utilisateurs humains : plus une sortie sera bien notée, plus l’IA générera à l’avenir des sorties de ce type. Le nouveau modèle, appelé « InstructGPT », promet moins de toxicité, moins de biais et plus de concordance avec ce que l’utilisateur souhaite.