Dans ce nouvel épisode de Logique Floue, rencontre avec Paloma Bry, doctorante en intelligence artificielle et narration dans les jeux vidéo, qui mène sa thèse entre le CNAM et SpirOps.
Ingénieure de formation, spécialisée en machine learning, Paloma s’est ensuite tournée vers le narrative design et l’univers du jeu vidéo. Deux domaines qu’elle réunit aujourd’hui dans ses recherches autour de la narration procédurale : comment raconter une histoire dans un monde où les personnages évoluent de manière autonome et où les actions du joueur peuvent modifier le scénario prévu ?
Son objectif est d’imaginer un outil permettant aux auteurs de définir leurs intentions narratives tout en laissant le jeu s’adapter à ce qui se passe réellement. Même si un personnage essentiel à une quête disparaît, ou qu’un événement imprévu survient. Le système doit pouvoir trouver une autre voie pour que l’histoire continue, sans perdre la direction voulue par son auteur.
Plusieurs questions émergent alors :
• Comment concilier liberté du joueur et maîtrise du récit par l’auteur ?
• Jusqu’où peut-on laisser des personnages virtuels agir de manière autonome ?
• L’IA peut-elle ouvrir de nouvelles possibilités créatives sans se substituer aux auteurs ?
Paloma défend justement une autre approche : plutôt que de demander à un modèle génératif de produire l’histoire, construire un système dont les règles sont pensées et maîtrisées par les créateurs, capable de transformer leurs intentions narratives en événements au sein du jeu.
Un portrait à la croisée de la recherche, de l’intelligence artificielle et de la création, qui imagine des jeux où chaque joueur pourrait vivre une histoire différente, sans que l’auteur renonce pour autant à raconter la sienne.
[00:00] INTRODUCTION :
Logique Floue est un podcast consacré à l'intelligence artificielle et au monde qui se construit autour d'elle. Au fil des épisodes, des chercheurs, entrepreneurs, philosophes ou acteurs publics viennent partager leur vision de l'IA. D'autres épisodes sont consacrés aux femmes et aux hommes qui la développent au quotidien. Dans ce nouvel épisode, rencontre avec Paloma Bry, doctorante chez SpirOps.
[00:28] Paloma Bry :
Moi je travaille à la fabrication de cet outil, après ça reste une thèse, un projet de recherche. Donc à l'issue des trois ans, l'outil ne sera pas fait, on ne pourra pas le shipper, etc. Enfin, ça me paraît très improbable...
Je m'appelle Paloma Bry, je suis doctorante en intelligence artificielle et narration dans les jeux vidéo. Doctorante, ça veut dire que je fais une thèse, en gros. C'est une thèse, c'est un programme d'études de trois ans qui vise à prouver qu'on peut devenir chercheur au bout du compte. Et donc, cette thèse-là, je la fais entre un laboratoire qui est au Conservatoire National des Arts et Métiers, au CNAM, et en partenariat avec l'entreprise SpirOps.
[01:20] Carole :
Comment tu en es arrivé là ?
[01:25] Paloma Bry :
Moi, à la base, j'ai fait des études d'ingénieur, comme beaucoup de gens ici. Ingénieur, plutôt spécialisé à la fin en machine learning, c'est tout ce qui va être les réseaux de neurones, la technologie qui est à la base de l'IA générative aujourd'hui. Et c'était quelque chose qui était intéressant, mais qui n'était pas forcément là où je voulais aller dans le futur. Je voulais aller vers quelque chose de plus créatif. Et donc à la fin de ce parcours-là, je me suis orientée, j'ai refait une formation dans le milieu de la narration de jeux vidéo. Donc c'était une formation entre deux écoles qui sont Gobelin et Enjmin. Et donc à l'issue de cette formation, j'ai travaillé un peu dans le jeu vidéo en tant que narrative designer. Donc ce sont les personnes qui vont s'occuper du design de la narration dans les jeux, à savoir comment on créé de la narration dans un jeu vidéo, avec ses mécaniques de jeu, avec l'interactivité, avec le scénario, l'écriture, tout ce genre de fonctionnalités là. Donc j'ai fait ça entre 2 et 3 ans et je me suis rendu compte assez vite qu'en terme d'industrie, c'était pas possible de faire des choses un peu expérimentales parce que tout simplement un studio faut bien qu'il vive donc il faut qu'il sorte des jeux qui vont marcher et donc c'était pas forcément possible de faire de la narration procédurale c'est à dire la narration qui va fonctionner en partie par des algorithmes et des systèmes et je voulais explorer ça donc c'est là que j'ai monté ce projet de thèse.
Mais donc la narration procédurale, c'est un peu plus large que ça, ça sort du cadre juste de l'IA générative. La narration procédurale, c'est vraiment... Un jeu vidéo, c'est un système interactif qui fonctionne tout seul, qui fonctionne de manière autonome. À partir du moment où on l'a mis dans les mains de quelqu'un qui joue, il fonctionne tout seul, et selon le gameplay qu'on veut, si c'est des jeux de simulation comme les Sims, comme Minecraft, des jeux avec des personnages qui vont évoluer de manière autonome, des PNJ autonomes, il y a des choses qui peuvent nous échapper parce que ces agents-là, une fois qu'ils sont codés en amont, on ne maîtrise pas forcément ce qu'ils font en temps réel, ou en tout cas il faut vraiment avoir bien géré tout ce qui était les règles de comportement en amont, et donc la narration procédurale, elle va s'intéresser entre autres à ce genre de... à comment on raconte des histoires à partir de systèmes comme ça.
[03:54] Carole :
Pour toi, dans l'idéal, qu'est-ce que ça va donner à la fin ?
[03:58] Paloma Bry :
Dans l'idéal, parce que oui, c'est vrai, tu as raison, je n'ai pas vraiment explicité le sujet de ma thèse, qui est effectivement de travailler sur un outil qui permet à des narrative designers d'écrire des scénarios dans des jeux vidéo, justement, où il y a ce genre de personnages-là qui sont autonomes, il y a des systèmes, peut-être il y a des animaux, en fait, des choses qui échappent un peu au contrôle en temps réel. Donc oui, idéalement, ce qu'il faudrait, ce serait que le narrative designer ou la narrative designer puissent utiliser l'outil avec le formalisme qu'on lui propose, c'est-à-dire pas forcément en écrivant du texte dans un langage naturel, etc., mais plus en disant... Là j'ai un fermier, j'ai un loup, je veux que mon fermier fasse telle action parmi la liste d'actions que j'ai proposées et qu'il fasse ça en relation avec ce loup là, parce qu'il a envie de peut-être tuer le loup, de chasser le loup, de demander aux joueurs de... Ça peut être un truc spécifié comme ça par un narrative designer, des trucs un peu précis ou plus ou moins précis.
Et donc l'outil serait capable de comprendre ça, il serait capable de retrouver les éléments en jeu, le bon fermier s'il y en a un, ou en sélectionner un autre au hasard en fonction de où en est le joueur, qu'est-ce qui est intéressant de faire à ce moment-là, quels sont les autres objectifs narratifs qu'il peut y avoir. Donc il comprendrait ce que l'auteur a mis, il serait capable de l'interpréter, et ensuite il ferait en sorte de donner un peu les ordres, un peu comme un maître du jeu, aux différents agents pour que les événements se déroulent de la manière la plus proche possible de ce qui avait été demandé par l'auteur.
[05:30] Carole :
Mais il y a aussi des éléments qui finalement n'auraient pas été prévus par l'auteur et qui pourraient avoir lieu ?
[05:37] Paloma Bry :
Bah oui, parce que dans un jeu en temps réel, surtout un jeu qui est un peu permissif et un peu simulatoire comme ça, on ne sait pas ce que la personne qui joue va faire. On sait pas du tout... Potentiellement, moi j'ai designé une quête qui dépend d'un personnage, de ce fermier, on va le reprendre, que j'ai conçu avec soin. J'aime bien ce fermier, je lui ai donné vraiment un caractère, des choses comme ça. Et en fait, il s'avère que ce fermier est faillible, il peut être tué soit par le joueur, soit par une bête sauvage, on sait pas en fait ce qui peut se passer, et donc dans ce cas-là, il faut que l'outil puisse dire « Ah oui, du coup je n'ai plus ce fermier-là, qui j'ai parmi tous les personnages du jeu qui est suffisamment proche ? ». Peut-être, je ne sais pas, le frère du fermier, ou les parents du fermier, ou quelque chose comme ça, une personne qui serait suffisamment proche ou suffisamment semblable pour reprendre la quête à la place de ce personnage-là. Il faut que l'histoire puisse « the show must go on », en fait, il faut pouvoir retomber sur ses pattes.
[06:30] Carole :
D'accord, donc ça fait une multiplicité de scénarios et d'histoires possibles qui est très large par rapport à ce qui existe déjà aujourd'hui, ou est-ce que ton outil est déjà utilisé, évidemment sous une autre forme puisque tu ne l'as pas terminé, dans le jeu vidéo ?
[06:53] Paloma Bry :
Alors, cette problématique-là de pouvoir adapter, la narration et ce qui se passe dans le jeu à ce que fait le joueur en temps réel, c'est un peu un graal de la narration procédurale. C'est un truc que les gens recherchent depuis longtemps. Et puis en fait, ce qu'on a vu, c'est que chacun implémente un peu ses petites solutions dans son coin. Il n'y a pas quelque chose de très généraliste là-dessus. Dans l'industrie, en tout cas, souvent ça finit par... Soit on abandonne un peu cette histoire d'avoir un scénario construit avec un début, un milieu, une fin, un arc dramatique, peut-être qu'on peut abandonner cette idée-là et juste garder l'idée que, bah non, dans cette séance de jeu, il y aura peut-être des petits événements rigolos qui vont se passer, ce sera peut-être impactant émotionnellement, mais il n'y aura pas de grande cohérence d'arc, quoi. Donc il y a ce choix-là, et puis après, l'autre choix, c'est de dire, bah tant pis, on rend les systèmes moins permissifs, les personnages seront moins autonomes, ils seront plus scriptés, et dans ce cas-là, ça permet, on réduit du coup la liberté, enfin, pas forcément la liberté, mais l'impact possible des joueurs et des systèmes pour contrôler au mieux la narration donc oui souvent il y a un curseur à placer et c'est ça qui est fait, mais à ma connaissance il n'y a pas de système enfin à notre connaissance du coup parce qu'on y réfléchit ensemble il n'y a pas de système qui permet de mettre en lien ces deux opposés là.
[08:15] Carole :
Mais pour toi, il est où ton curseur ?
[08:19] Paloma Bry :
L'idée c'est que c'est au narrative designer de le placer ce curseur là, avec un outil comme celui qu'on aimerait faire dans l'idéal du coup. L'idée ce serait que si le narrative designer a envie que le contrôle soit très léger, il va pouvoir spécifier des trucs très abstraits. Il n'est pas obligé de dire : je veux que ce fermier là, le fermier Edouard, il demande aux joueurs de tuer ce loup là, vraiment le loup que j'ai designé celui qui a un œil crevé ça peut être hyper précis comme ça mais peut-être qu'il est, c'est un truc dont il n'a pas forcément besoin il n'a pas forcément envie que ce soit aussi contrôlé, aussi précis dans ce cas là il va dire : non bah j'ai juste besoin que là mon joueur il résolve un mystère parce que voilà il y a un mouton qui a disparu ou n'importe quoi qui a disparu il faut qu'ils résolvent ça et donc là c'est à l'outil de trouver ben, OK, qu'est-ce qui peut avoir disparu ? Là, j'ai vu qu'il y a un fermier. Ce fermier, il a un mouton. On peut le faire tuer par un loup. Il y a un loup dans le coin. Donc, le curseur, ce serait au narrative designer de le placer. Ça, c'est dans l'idéal, ce qu'on aimerait pouvoir atteindre.
[09:19] Carole :
D'accord. Et aujourd'hui, tu travailles au-delà de tes recherches., tu travailles à la fabrication, finalement, de cet outil ou ça reste, une idée à poursuivre pour plus tard ?
[09:33] Paloma Bry :
Mais l'idée, oui, c'est de faire au moins des petits prototypes, de dire, là, sur ce scénario-là en particulier, on aura testé ça, on a testé : est-ce que le narrative designer, il arrive bien à exprimer ce qu'il a envie d'exprimer, est-ce qu'il y a plusieurs niveaux de contrôle, est-ce qu'on a réussi à gérer ce passage d'un truc très précis, très contraint, à un truc très abstrait. Donc c'est ce genre d'hypothèse-là qu'on voudrait tester, à l'issue de la thèse, le but c'est de dire bon, on a testé ça, ça a marché, ça a moins bien marché, mais le but c'est pas forcément de produire un outil.
[10:01] Carole :
Tu travailles avec d'autres membres de l'équipe, là, ici, chez SpirOps, comment est-ce que ça s'inscrit dans ce système qu'il y a chez SpirOps où chacun a un peu sa tâche, entre guillemets ?
[10:17] Paloma Bry : Moi, c'est particulier parce que ma thèse, c'est mon propre projet. Je ne peux pas dire que je suis toute seule dessus, ce ne serait pas vrai, mais c'est mon projet, c'est assez individuel. Par contre, oui, j'ai un encadrement au niveau de SpirOps, c'est-à-dire que je travaille notamment avec Edouard, qui lui est assez calé sur tous les sujets de comment les personnages se représentent le monde sémantiquement. Donc là aujourd'hui ce que j'utilise comme outil pour prototyper c'est ce modèle de données là sur lequel Edouard travaille qui s'appelle la mémoire SpirOps. Donc on est souvent amenés à échanger là dessus parce qu'il va me parler un peu mieux de comment marche cette mémoire là, comment je peux l'utiliser, on discute de quels sont mes objectifs. Voilà, il y a Edouard et puis il y a aussi Axel, qui est expert en IA et qui est assez au courant de tous les sujets de mémoire et avec qui je travaille toutes les semaines sur ce sujet de thèse-là.
[11:25] Carole :
Là, il pourrait y avoir des gens qui te diraient « mais alors, finalement, le processus créatif, le processus humain, où est-ce qu'il a sa place dans ce que tu proposes toi ? » et potentiellement, des scénaristes qui pourraient se dire, qu'est-ce qui va se passer ? Qu'est-ce que tu as envie de leur répondre ?
[11:48] Paloma Bry :
En fait, moi ce que j'aimerais leur dire, ou en tout cas ce que j'aimerais faire avec cette recherche-là, c'est plutôt donner de nouvelles possibilités. C'est pas forcément... En fait, aujourd'hui, le genre de jeu qu'on pourrait essayer de faire avec un outil comme nous on aimerait faire, ces jeux là, ils n'existent pas forcément. C'est pas... Pour l'instant, en l'état... Bon, je peux pas... J'ai pas tout prévu, donc je connais pas assez bien l'industrie. Si ça se trouve, oui, un outil comme celui-là pourrait être utilisé pour se dire « Ah, on n'a pas besoin d'autant de gens pour écrire, finalement, on peut juste utiliser ça. » Mais en fait, le but, là, c'est plutôt de donner un nouvel outil pour créer de nouvelles façons de raconter des histoires dans d'autres jeux, je vois pas trop aujourd'hui comment il remplacerait quelqu'un, puisqu'il faut toujours quelqu'un pour donner ses intentions à l'origine. Et puis, ouais, il y aurait besoin, en fait, de cette petite main là, quoi, pour vraiment exprimer les intentions narratives, parce que le but de cet outil là, c'est juste de transformer les intentions narratives en actions concrètes dans le jeu, et le jeu, il faut quand même le faire, il faut quand même designer les règles de jeu, il faut designer les actions possibles par les personnages. Et en plus de ça, avec l'outil, il faut designer c'est quoi les objectifs narratifs de chacun. Donc en fait, ça donne aussi beaucoup de travail. Quelque part, je ne vois pas trop où il pourrait s'inscrire pour remplacer des choses qui existent déjà.
[13:18] Carole :
D'accord. Donc en fait, ça serait une forme de jeu qui n'existe pas et que ton outil permettrait de concevoir.
[13:25] Paloma Bry :
Je n'ai peut-être pas cette prétention-là, parce que c'est sûr que quelque part, quelqu'un a fait quelque chose, de peut-être similaire, je ne sais pas trop. Mais oui, l'idée, c'est de peut-être le rendre plus accessible en tout cas. Parce que là, si quelqu'un voulait faire quelque chose de similaire, il faudrait beaucoup, beaucoup développer.
[13:45] Carole :
Est-ce que toi, quand tu travailles là avec des outils d'IA, est-ce que tu as en tête justement ces problématiques que peuvent poser le développement de l'IA et ses applications ? C'est-à-dire que là, dans le cas d'un jeu vidéo, on se dit, bah oui, super, trop bien, c'est un nouveau truc, etc. Mais est-ce que tu as en tête les potentiels dérives, finalement, que ça pourrait aussi entraîner ?
[14:10] Paloma Bry :
Bah oui, tout le temps. Tout le temps, parce qu'en fait, au début, quand on réfléchissait à mon projet de thèse, et quand moi, je réfléchissais à ce que je voulais faire, il y avait cette question là de, pourquoi ne pas faire de modèles de langage, de LLM ? Pourquoi ne pas essayer d'exploiter ça justement pour générer de l'histoire, générer du scénario, etc. ? Et ça pour le coup, on est vite tombé d'accord sur le fait qu'en terme de contrôle narratif qu'on puisse exercer en tant qu'auteur, c'était vraiment pas optimal. Et moi j'ai beaucoup de mal avec la mode des LLM qui ont l'air de pouvoir tout faire et que les gens veulent vraiment absolument utiliser pour tout type d'application alors que c'est pas forcément fait pour ça. Donc oui, la raison pour laquelle aussi je travaille sur ce système-là, qui n'est pas un système d'IA génératif comme on l'entend aujourd'hui, mais un système d'IA plus à l'ancienne, c'est-à-dire qu'il faut qu'on crée à la main les systèmes sémantiques, il faut qu'on lui explique comment réfléchir, etc. Ce système-là, je le fais un peu par opposition, pour donner peut-être une autre façon de faire, une autre perspective, plutôt que les LLM qui envahissent le marché aujourd'hui. Donc c'est quelque chose qui motive aussi ma recherche.
[15:38] Carole :
Qu'est-ce qui t'enthousiasme le plus dans ce qui pourrait arriver ? Alors, il y a la création de cet outil, mais j'imagine que ça va plus loin forcément quand on est dedans. On a tendance à se dire, mais il va y avoir ça et ça, et ça va être une vraie révolution technologique et humaine aussi.
[15:56] Paloma Bry :
Je sais pas si je vois aussi loin, mais oui, en fait, ce qui est intéressant, c'est de se dire, là, je suis en train de faire un truc, à ma connaissance, personne l'a fait. J'adorerais pouvoir, moi, en tant que narrative designer, utiliser ça pour créer des histoires et m'amuser avec, et voir ce que je peux créer comme expérience de jeu, est-ce que ça va marcher. Moi, j'ai vraiment très hâte de pouvoir le tester dans un vrai jeu. Je sais pas si ce sera possible à l'issue de la thèse, mais oui, ce serait vraiment chouette de voir à quel point les histoires peuvent varier, et que les joueurs, quels impacts ils pourraient avoir là-dessus, est-ce qu'ils pourraient vraiment se l' approprier. Et en même temps, moi, en tant que narrative designer, j'ai vraiment envie de faire vivre une expérience narrative avec des émotions que j'aurais prévues. J'ai peut-être un message à faire passer aussi, j'aimerais bien voir si c'est possible de faire passer ce message tout en gardant le côté très personnel de l'expérience. Donc c'est plein de questions comme ça, plein d'hypothèses à valider, et c'est le but de la recherche, on ne sait pas si ce sera le cas à la fin. Donc il faut continuer, il faut travailler à fond et voir ce que ça va donner. Oui, oui, j'ai hâte de voir.