Débats en ligne : l’analyse formelle de concepts comme outil d’extraction de connaissances

Plan de l'article

 

Auteurs

Imen Ben Sassi

BEN SASSI Imen

Maître de conférences en Informatique                         
LIRMM UMR 5506
                       
Université Montpellier
CC477
161 rue Ada
34095 Montpellier Cedex 5
 

Hani Guenoune

GUENOUNE Hani

Chercheur
LIRMM UMR 5506
                       
Université Montpellier
CC477
161 rue Ada
34095 Montpellier Cedex 5
 

Alexandre Bazin

BAZIN Alexandre

Maître de conférences en Informatique
LIRMM UMR 5506
                       
Université Montpellier
CC477
161 rue Ada
34095 Montpellier Cedex 5
 

Marianne Huchard

HUCHARD Marianne

Professeure des universités en Informatique
LIRMM UMR 5506
                       
Université Montpellier
CC477
161 rue Ada
34095 Montpellier Cedex 5
 

Mathieu Lafourcade

LAFOURCADE Mathieu

Maître de conférences en Informatique
LIRMM UMR 5506
                       
Université Montpellier
CC477
161 rue Ada
34095 Montpellier Cedex 5
 

Jean Sallantin

SALLANTIN Jean

Directeur de recherche CNRS
LIRMM UMR 5506
Membre associé de l'ISCC
                       
Université Montpellier
CC477
161 rue Ada
34095 Montpellier Cedex 5
 

 

Citer l'article

Ben Sassi, I., Guenoune, H., Bazin, A.,  Huchard, M., Lafourcade, M., Sallantin, J. (2024). Débats en ligne : l’analyse formelle de concepts comme outil d’extraction de connaissances. Revue Intelligibilité du numérique, 6|2024. [En ligne]

 

 

Résumé : Nous présentons un processus automatisé d’assistance aux débats qui cible l’extraction d’associations entre les termes à partir des listes de termes-clés issues des arguments. Ces listes sont co-élaborées par les utilisateurs et notre système d’indexation. Notre approche cherche à inciter les utilisateurs à proposer des termes-clés, stimulant ainsi leur participation et favorisant l’intelligibilité de leur propos. L’indexation sert de levier pour amener les utilisateurs à améliorer et à enrichir les listes de termes-clés, agissant comme un moteur pour la création de propos structurés. L’algorithme sous-jacent repose sur une analyse formelle de concepts et exploite une base de connaissances, le réseau lexico-sémantique JeuxDeMots (JDM). La procédure implique plusieurs modules, aboutissant à une étape d’extraction de connaissances sous forme d’implications destinées à être intégrées dans JDM. Cette approche collaborative permet à la base de connaissances de s’enrichir au fur et à mesure de l’analyse des débats, améliorant ainsi les termes-clés suggérés par la plate-forme.

Mots-clés : extraction de connaissances, analyse formelle de concepts, indexation thématique, augmentation sémantique, base de connaissances.

 

Title : Online debates: Formal Concept Analysis as a Knowledge Extraction Tool

Abstract : We present an online debate analysis automated process aiming to extract new associations between terms from co-constructed keyword lists of arguments by users and our indexing system. The calculation of keywords encourages users to supplement or correct the keyword list, serving as an incentive tool for developing more structured contributions. The algorithm is based on formal concept analysis and relies on the JeuxDeMots knowledge base. The procedure involves multiple modules leading to a knowledge extraction step in the form of implications intended to be integrated into JDM. This cooperative approach allows the knowledge base to enrich itself as debates are analyzed, improving the platform’s suggested keywords.

Keywords : knowledge extraction, formal concept analysis, thematic indexing, semantic augmentation, knowledge base

 

1- Introduction 

Le projet AREN-DIA (ARgumentation Et Numérique - Didactique & Intelligence Artificielle)[1] a pour objectif de sensibiliser les élèves, aussi bien sur les aspects de forme que ceux de fond, à la pratique du débat dans le cadre de leur éducation à la citoyenneté. Le projet se concrétise par la création d’une plate-forme de débats, qui s’ouvre également à la société civile. Les débats menés sur l’application cherchent à assurer une éthique et une structuration des propos du débat. En offrant la possibilité d’engager des débats structurés à partir d’un texte, la plate-forme AREN[2] propose une approche renouvelant les échanges argumentatifs traditionnels. Autre fait intéressant, l’application présente la particularité d’intégrer une technologie collaborative de Traitement Automatique du Langage dont la finalité est d’augmenter l’efficacité du processus de débat.

Dans cette perspective, AREN-DIA se déploie selon un axe didactique et un axe IA. Les expériences didactiques menées au sein des lycées ont conduit à des résultats révélant un essor marqué des compétences argumentatives chez les élèves, particulièrement avec une utilisation de AREN judicieuse et insérée dans un dispositif didactique approprié (Bächtold et al., 2023).

Concernant l’axe IA et ses enjeux, nous consacrons cet article à la présentation et à l’évaluation des différents modules mis en place afin d’accompagner le débat. Au niveau général, nous nous intéressons à la manière de concevoir un mécanisme de renforcement incitant les utilisateurs à participer à l’amélioration du système d’IA produisant une représentation structurée des propos d’un débat.

La plate-forme AREN se présente donc comme un espace de débat, où les utilisateurs peuvent écrire des arguments à partir d'un texte départ posant une problématique et les arguments des autres intervenants.

Outre l’intervention des participants du débat, une procédure automatique vient compléter chaque commentaire en suggérant des termes-clés synthétisant les propos tenus. Cette opération d’indexation représente le point de départ de l’analyse et de l’accompagnement du débat par la machine. Elle est soumise à une complétion par les utilisateurs, qui seront invités à valider, invalider ou compléter ces termes-clés par ceux qu’ils estiment manquants. Afin de lever l’ambiguïté sémantique résultant de la polysémie des termes proposés, nous avons recours à une étape d’enrichissement sémantique des termes pour les préparer à l’opération d’extraction de connaissances basée sur l’analyse formelle de concepts (AFC). Ces connaissances, sous forme d’implications, seront utilisées pour mettre à jour les relations dans la base de connaissances JeuxDeMots (JDM)[3] exploitée lors de ces processus.

L'approche adoptée privilégie une architecture explicative, frugale et contrôlable, excluant les modèles neuronaux profonds et les grands modèles de langage. Elle mise sur une adaptation continue sans phase d'entraînement ou de fine-tuning supplémentaire. L'évaluation du modèle combine la satisfaction des participants au débat sur les termes clés associés aux arguments et l'analyse de l'entropie des relations sémantiques extraites et leur inclusion dans la base de connaissance JeuxDeMots.

L’article s’organise comme suit. Dans la section 2 nous présentons un état de l’art en rapport avec notre problématique, à savoir extraire des connaissances depuis les arguments des participants aux débats. Nous détaillons les étapes du fonctionnement général d’AREN dans la section 3. Nous nous pencherons sur l’algorithme d’accompagnement du débat dans la section 4, qui consiste en la production de termes-clés et d’une analyse AFC pour produire des associations de termes pertinentes. Nous définissons ensuite, dans la section 5, les différentes métriques utilisées pour évaluer l’utilité de l’augmentation sémantique des termes d’indexation des propos du débat. Nous comparons, dans la section 6, les résultats obtenus avec l’AFC avant et après l’enrichissement sémantique des termes d’indexation. Nous nous penchons, dans la section 7, sur les défis spécifiques rencontrés dans AREN, notamment l’interaction homme-machine et l’évaluation des implications obtenues avec l’AFC.

2- Etat de l’art

La tâche qui nous intéresse dans cet article est l’extraction automatique des termes-clés et des concepts à partir des arguments des débats et leur post-traitement. La question cruciale posée est celle d'un choix parmi les approches possibles pour l’extraction et du post-traitement de ces informations visant à l’apprentissage automatisé de nouvelles informations. D’une façon générale, le bénéfice pour les utilisateurs est qu’ils disposent d’une assistance aux débats et d’une analyse des arguments, deux tâches qui constituent en soi un domaine de recherche très vivace.

Cabrio et Villata ont significativement contribué à ce domaine, notamment avec leurs travaux sur l'extraction et l'analyse d'arguments dans les débats en ligne (Cabrio and Villata, 2018). L'analyse du contenu des débats présente des défis spécifiques en raison de la nature non structurée et souvent informelle des arguments. Plusieurs approches ont été développées pour extraire et analyser ces arguments dont en particulier (Habernal and Gurevych, 2017) avec un étiquetage séquentiel pour identifier les composants d'arguments dans les discours générés par les utilisateurs sur le Web. Leur modèle, basé sur une version modifiée du modèle de Toulmin, a été appliqué à un échantillon de sujets controversés liés à l'éducation. (Cabrio and Villata, 2013, a et b) se sont concentrés sur la tâche de prédiction des relations entre arguments dans un corpus de débats en ligne provenant de Debatepedia (maintenant idebate.com). Leur modèle utilise des techniques d'implication textuelle pour identifier les relations de support et d'attaque entre les arguments. (Niculae et al., 2017) ont développé un modèle de prédiction structurée pour l'argument mining, combinant la classification des unités élémentaires et l'identification des relations argumentatives. Leur approche compare les performances des SVM et des RNN, et a été évaluée sur le corpus Cornell eRulemaking (CDCP). Dans (Lippi and Torroni, 2016c) est présenté MARGOT (Mining ARGuments frOm Text), un outil pour la classification des composants d'arguments (prémisses et conclusions) et la détection de leurs frontières dans le texte. Bien que non spécifiquement conçu pour les débats en ligne, cet outil a été testé sur des ensembles de données provenant de diverses sources Web. L'analyse des arguments dans les microblogs comme Twitter (maintenant X) reste un domaine émergent de l'argument mining appliqué aux débats en ligne. D’une façon générale, l’ensemble des travaux s’accorde sur le fait que les plateformes présentent des défis uniques en raison de la brièveté des messages et de l'utilisation fréquente de langage informel, voire bruité par des formes linguistiques dégradées (dysorthographie, agrammaticalité).

Dans (Abernal & Gurevych, 2017), l'extraction automatique d'arguments dans le contenu généré par les utilisateurs sur le Web est analysée selon plusieurs axes : l’exploitation de données Web réelles provenant de multiples domaines et registres, l’adaptation d’un modèle d'argumentation testé dans une vaste étude d'annotation pour combler le fossé entre les théories normatives de l'argumentation et les phénomènes argumentatifs rencontrés dans les données réelles, et la création d’un nouveau corpus de référence (90,000 tokens dans 340 documents) pour expérimenter diverses méthodes d'apprentissage automatique afin d'identifier les composants des arguments. Le contenu Web généré par les utilisateurs dans plusieurs domaines et registres est traité en s’enracinant profondément sur les théories de l'argumentation.

Plus récemment, (Wachsmuth, Lapesa et al. 2024) introduisent une nouvelle approche pour évaluer la qualité des arguments à l’aide de grands modèles de langage (LLM) suivant des instructions (modèles dits ‘instruct’). Sont identifiés deux obstacles majeurs à l'évaluation de la qualité des arguments : la diversité des notions de qualité et la subjectivité de leur perception. Pour surmonter ces défis, l'exploitation des capacités des LLM à suivre des instructions et à utiliser des connaissances dans différents contextes constitue une piste intéressante. Plutôt que de simplement affiner les LLM sur des tâches d'évaluation spécifiques, il est proposé de les instruire systématiquement avec des théories d'argumentation, des scénarios argumentatifs et des méthodes pour résoudre des problèmes liés aux arguments. L’évaluation de la qualité des arguments peut s'organiser selon trois directions générales : les notions conceptuelles de qualité maximale et minimale, les facteurs d'influence sur la qualité des arguments, et les modèles computationnels pour évaluer ou améliorer la qualité des arguments.  Il est également désirable de fournir un cadre pour l'utilisation généralisée des LLM dans l'évaluation de la qualité des arguments, en mettant l'accent sur leur potentiel pour des applications concrètes plutôt que sur la simple amélioration des performances dans des tâches d'évaluation existantes.

Dans (Freedman, Dejl et al., 2024), une nouvelle approche pour améliorer l'explicabilité et la contestabilité des décisions prises par les grands modèles de langage (LLM) est proposée. Le concept proposé de « LLM argumentatifs » est une méthode qui utilise les LLM pour construire des cadres d'argumentation servant de base à un raisonnement formel dans la prise de décision. Cette approche vise à combiner la vaste connaissance des LLM avec la capacité de fournir des explications interprétables et contestables par les humains. La méthode est testée expérimentalement dans la tâche de vérification de revendications, montrant des résultats compétitifs et parfois supérieurs à l'état de l’art. L'objectif principal est de rendre les décisions des LLM plus transparentes et ouvertes à la contestation, ce qui est crucial pour leur utilisation responsable dans des contextes de prise de décision et de débats.

L’approche que nous avons adoptée n’implique pas de modèle neuronal profond ni non plus de grands modèles de langage car nous souhaitons une architecture explicative, relativement frugale et dont nous aurions le contrôle de bout en bout. De plus, le modèle doit s’adapter au fur et à mesure des débats de façon continue, et donc ne présente pas de phase d’entraînement complémentaire ou de fine-tuning. Dans (Ben Sassi, Guenoune, et al. 2024 a), nous avons ainsi introduit dans ce contexte un modèle de réseau de neurones discret présentant les propriétés désirées ci-dessus. L’exploitation des termes clés extraits et affinés par les participants au débat peuvent ensuite être l’objet de traitements, dont en particulier une analyse formelle de concepts, afin d’identifier et de mémoriser des relations sémantiques entre concepts (Ben Sassi, Guenoune, et al. 2024 b). Notre approche de l’évaluation de notre modèle global se fonde sur la satisfaction des participants au débat vis-à-vis des termes clés associés aux arguments mais également sur des mesures d’entropie des relations sémantiques extraites et leur inclusion dans la base de connaissance JeuxDeMots.

3- Fonctionnement de la plate-forme AREN

L’application constitue un espace de débat, faisant intervenir un ensemble d’utilisateurs. Un débat porte sur un texte support publié en amont sur la plate-forme, il est conjointement formé par le contenu du texte ainsi qu’un ensemble de commentaires créés par les utilisateurs et exprimant une opinion ciblée, une argumentation ou un avis sur un segment du texte support ou un commentaire préalablement publié.

Chaque intervention utilisateur comporte une position (d’accord ou pas d’accord), une reformulation, une argumentation et des mots-clés. La partie du texte que l’utilisateur souhaite commenter est choisie en sélectionnant, dans le texte de départ, le segment correspondant. La possibilité de sélectionner un segment aussi bien dans le texte support que dans un commentaire préalablement publié, permet la création d’embranchements dans l’arbre général du débat (cf. Figure 1).

figure1.png

Figure 1 : Fonctionnement de la plate-forme AREN sous forme de cycles entre les interactions utilisateurs, le calculateur de termes-clés IDÉFIX, l’analyse formelle de concepts (AFC), et la base de connaissance JeuxDeMots.

Les commentaires sont constitués d’un ensemble d’informations construisant le propos de l’utilisateur, parmi ces informations se définit, entre autres, la position que prend le débattant (d’accord, pas d’accord) vis-à-vis de la sélection (le segment auquel il réagit). Les champs de texte libres, de reformulation et d’argumentation, sont prévus afin de consolider puis définir, l’avis du débattant.

4- Algorithme d’accompagnement des débats

Nous présentons, dans cet article, une IA d’accompagnement de débats, KeepTalk (Knowledge Extraction for Enhanced online Public Talks and Argumentative Learning Know-how), dont un des objectifs est d’extraire des associations nouvelles entre termes à partir des listes de termes-clés des arguments d’un débat.

L’approche est organisée en plusieurs modules aboutissant à une étape d’extraction de connaissances (cf. Section 4.3) alimentée par l’analyse formelle de concepts. Après augmentation lexicale (cf. Section 4.2), cette étape permet de créer des implications entre termes (par exemple, si A est présent alors B et C sont aussi présents). Les implications produites sont destinées à être introduites dans la base de connaissances. Par exemple, si nous avons A B, C, alors dans le réseau lexical JDM nous ajouterons : A r_associated B et A r_associated C.

La procédure de description thématique (cf. Section 4.1) sur laquelle s’assoit l’algorithme s’inscrit dans une démarche collaborative, itérative et incrémentale. Les ensembles de termes indexant chaque commentaire sont coconstruits d’un côté, par la procédure automatisée (IDÉFIX), et de l’autre, par une supervision et complétion par les utilisateurs des termes extraits par IDÉFIX. Cette supervision est permise en donnant à l’utilisateur la possibilité de proposer, valider ou invalider des termes de l’ensemble proposé par l’IA accompagnant le débat. Ce retour est pris en compte lors des itérations de descriptions thématiques ultérieures, menant à une indexation de meilleure qualité. L’objectif étant d’assurer une amélioration de la base de connaissances à mesure que des débats sont analysés, avec en retour une amélioration des termes-clés suggérés par la plate-forme (via IDÉFIX) pour les arguments d’un débat.

En outre, ce mécanisme est pensé de manière à inciter les utilisateurs à proposer des termes-clés complétant les propos du débat. Plus précisément, le calcul automatique de termes-clés pour un argument est un moyen de donner envie aux utilisateurs, et en particulier à l’auteur de l’argument, de compléter voire de corriger la liste des termes-clés proposés. Un mauvais terme-clé sera en général considéré par l’utilisateur comme une tache/erreur insupportable devant être nettoyée/corrigée.

4.1- Indexation thématique

Les divers arguments des participants au débat sont contenus dans des textes bruts et non structurés. L’indexation thématique des commentaires a pour objectif d’associer ces données textuelles à une représentation structurée permettant de synthétiser les propos par des ensembles de termes-clés, référencés dans des bases de connaissances et pouvant servir de point d’entrée à une procédure automatisée. Les termes extraits peuvent désigner des concepts évoqués dans le texte ou des unités lexicales dont la saillance au sein du commentaire est jugée importante. Cette étape d’extraction de mots-clés et de concepts s’appuie sur des connaissances externes issues du réseau lexico-sémantique JDM (Lafourcade and Le Brun, 2023), et est réalisée par le service IDÉFIX [4].

JeuxDeMots, un réseau lexico-sémantique

JDM est un réseau lexico-sémantique sous forme de graphe orienté. Les nœuds du graphe représentent les termes, tandis que les arcs désignent des relations typées, pondérées et potentiellement annotées entre les termes (cf. Figure 2).

BenSassi-al-2024-figure2.png

Figure 2 : Portion du réseau lexico-sémantique JeuxDeMots. Deux raffinements du terme souris sont indiqués et sont l’objet d’une association contrastive (une positive et une négative) par le type r_patient pour un prédicat lié au terme attraper. Le chat peut attraper une souris>rongeur, mais il ne peut pas attraper une souris>fille.

Le graphe représente la polysémie des termes en explicitant des raffinements sémantiques hiérarchisés, où un sens spécifique est affilié au sens général du terme (via une relation de type r_raff de poids positif). Basé sur une série de notions, de principes et d’outils (ex. la notion de raffinement, la palette des types de relations sémantiques - les éléments d’information, des liens sémantiques entre un type de relation et son inverse (r_isa et r_hypo, par exemple), l’outil contributif Diko[5], etc.), le réseau JDM est conçu pour une utilisation humaine, mais en premier lieu comme support de connaissances pour des processus d’intelligence artificielle (analyse sémantique de texte, raisonnement, assistance à la prise de décision, résumé automatique, etc.).

Un système de pondération (arcs pondérés, éventuellement négatifs) et de valuation symbolique (annotation en méta-informations, par exemple : rare, pertinent, non pertinent, etc.) a été mis en œuvre pour faciliter des heuristiques de parcours du graphe ainsi que son exploitation. Au 15 décembre 2024, JDM contient environ 875 millions de relations entre plus de 12 millions de termes (30 millions de nœuds au total).

Le réseau JDM peut être utilisé avec des algorithmes classiques exploitant des bases de connaissances, mais également sous forme de réseau neuronal (approches hybrides, algorithmes de propagation et de rétropropagation, etc.). Parmi ces algorithmes, nous présentons deux tâches qui sont d’intérêt pour le projet AREN : le raffinement lexical et le calcul de termes et concepts clés à partir d’un texte.

Bellérophon : raffinement lexical

Bellérophon[6] est un service fourni par la plate-forme JeuxDeMots, qui à partir d’une liste de termes, permet de sélectionner les sens probables des termes polysémiques de la liste. Par exemple, à partir de la liste qui suit :

chat * souris * attraper

Nous obtenons le résultat d’activation des raffinements ci-dessous :

BenSassi-al-2024-figure3.png

Chaque raffinement est associé à une valeur numérique d’activation. Plus la valeur est élevée, plus l’activation est forte, et à l’inverse une activation négative (inhibition) correspond à un rejet du raffinement. Un poids de 0 correspond sans doute à un manque dans la base de connaissances, qui est cependant interprété dans le contexte d’un monde clos comme un rejet.

Le principe de l’algorithme sous-jacent (dit de propagation de signal) est de diffuser un signal de façon répétée dans un sous-graphe du graphe JDM et d’identifier les termes qui s’activent fortement. En premier lieu, il s’agit de construire un sous-graphe de JDM réduit à la liste LT des termes de départ auxquels on a adjoint tous les raffinements existants (liste LR) pour chaque élément de LT. Ensuite, nous sélectionnons toutes les relations de JDM définies entre toutes les paires de termes de L = LT LR. Appelons le sous-graphe obtenu GB (B comme Bellérophon).

Nous rappelons qu’il est possible que certaines relations aient un poids négatif ce qui correspond à une impossibilité (par exemple : chat>palatine *r_agent-1 attraper une souris). De par le mode de construction du réseau JDM, si une relation impliquant un raffinement est présente, la même relation appliquée aux co-raffinements sera questionnée (par exemple : frégate>oiseau r_has_part ailes et frégate>navire *r_has_part ailes) et est donc également présente avec possiblement un poids de signe différent.

Dans GB, nous associons à chaque nœud une valeur d’activation v. L’algorithme est itératif et s’arrête lors de la convergence des activations des nœuds de LR (où à défaut quand un nombre d’itérations maximum est atteint, empiriquement 10 itérations suffisent largement). À chaque tour, chaque nœud de LT voit son activation v fixée à une grandeur positive arbitraire (disons 1000 pour simplifier les idées). Cette activation est ensuite communiquée aux nœuds voisins selon les règles suivantes :

Soit N le nœud considéré et N1, N2, ,... Nk ses k voisins reliés par p relations N tp Ni (t est le type de la relation, p son poids, positif ou négatif).

  • Si v(N) > 0, l’activation de N est propagée à ses voisins Ni, chacun au prorata r(p) de p (c’est-à-dire p/Σ|pi|) : r(pv(N). L’activation d’un nœud Ni est augmentée de cette valeur : v(Np) ← v(Np) + r(p) × v(N). Cette valeur peut être négative, et dans ce dernier cas, l’activation diminue et peut elle-même devenir négative - on parle alors d’inhibition.
  • Si v(N) ≤ 0, le nœud N est dormant et n’influence pas l’activation de ses voisins.
  • A chaque tour les calculs d’activation des nœuds se font en parallèle.

L’algorithme est prouvé non-convergent dans le cas général, mais en pratique il converge quasi-systématiquement en environ 4 tours en moyenne. Les valeurs d’activation de chaque nœud à l’issue du dernier tour constituent la réponse calculée. En général, on s’intéresse à l’activation des nœuds correspondant aux raffinements. L’utilisation de cet algorithme est utile pour effectuer une désambiguïsation lexicale holistique simple des termes d’un texte, mais peut également s’avérer intéressante pour détecter des informations (relations) manquantes dans le réseau.

IDÉFIX : extraction, association et abduction de termes

IDÉFIX est une surcouche du réseau JDM fondée sur des réseaux de neurones permettant de sélectionner des concepts pertinents pour un texte fourni en entrée. Cette sélection se fait de manière abductive et locale au commentaire, par imitation des exemples déjà appris des interactions précédentes avec l’utilisateur (validation, invalidation et proposition de termes-clés).

Le service IDÉFIX de la plate-forme JDM permet de calculer des termes pertinents à partir d’un texte. Par exemple, à partir du texte qui suit :

« Ensuite, les monnaies locales permettent à une communauté d’utiliser pleinement ses ressources productives existantes, tout spécialement la force de travail inemployée, ce qui a un effet catalytique sur le reste de l’économie locale. Elles sont fondées sur le postulat que la communauté n’utilise pas pleinement ses capacités de production, par manque de pouvoir d’achat local. La monnaie alternative est utilisée pour augmenter la demande, d’où une plus grande exploitation des ressources productives. (Wikipédia Monnaie locale) »

Nous obtenons les termes suivants :

monnaies locales * ressources productives * capacités de production • économie * exploitation des ressources productives * force de travail inemployée • monnaie citoyenne * économie locale * pouvoir d’achat local * monnaie complémentaire

Pour aboutir à son résultat, IDÉFIX calcule et combine trois ensembles de termes pondérés.

Le premier ensemble, les termes extraits, est l’extraction directe des termes du texte avec lemmatisation et identification des termes composés. Dans l’exemple précédent, nous obtenons (sans les pondérations) :

Ensuite * ensuite * monnaies locales * monnaie locale * permettre de * permettre à * communauté * pleinement * ressources existantes * productif * existant * spécialement * travail de la force * force de travail inemployée * inemployé * effet catalytique * l’économie locale * reste * être fondé sur * fondées * postulat * ne pas utiliser * ses capacités * capacité de production * capacités de production * par manque * manque de pouvoir d’achat * pouvoir d’achat local * achat local * monnaie alternative * utilisé * pour augmenter * être utilisée * demande * d’exploitation * exploitation des ressources productives * économie locale * monnaie * permettre * utiliser * ressources * ressources productives * travail * effet * production * augmenter * exploitation des ressources * économie

Ce premier ensemble de termes extraits est l’objet d’une désambiguïsation lexicale via le service Bellérophon. Les sens sélectionnés pour les termes polysémiques sont ajoutés à cet ensemble.

Le second ensemble, constitué des termes associés, est l’ensemble de toutes les associations (relation r_associated dans JDM) liées positivement aux termes extraits. Dans l’exemple précédent, nous obtenons :

monnaie complémentaire | 10 * économie locale | 5.775 * économie | 4.687 * monnaie citoyenne | 3.164 * économie>activité économique | 1.281 * stimulation de l’économie | 0.765 * monnaie locale | 0.52 * production | 0.482 * exploitation des ressources présentes sur la Lune | 0.455 * travail à mi-temps | 0.451 * argent | 0.237 * agriculture locale | 0.17 * pouvoir d’achat en baisse | 0.17 * local>propre à un lieu | 0.149 * monnaie | 0.146 * monnaie virtuelle | 0.144 * être sur l’os | 0.14 * économie clandestine | 0.128 * matières premières | 0.126 * quantité de biens | 0.09 * consommation>économie | 0.09 * augmenter les bénéfices | 0.085 * manque d’emploi | 0.085 * possibilités offertes par qqch | 0.079 * produits d’un pays | 0.079 * possibilités d’actions de quelqu’un | 0.079 * produits régionaux | 0.057

On remarquera que certains termes ont un poids très faible, et qu’il convient de seuiller la réponse finale.

Le troisième ensemble, les termes activés, correspond aux activations de sortie dans un réseau neuronal construit dans JDM avec comme points d’entrée les termes extraits. Il s’agit d’un réseau neuronal discret (RND) qui associe à un ensemble de termes d’entrée un ensemble de termes de sortie (contrairement au réseau JDM qui associent des paires de termes). L’élément de base est un « neurone » qui est un nœud faisant la « glue » entre les deux ensembles (voir figure 3). Ce RDN est qualifié de discret car aucun plongement lexical n’est présent.

Le fonctionnement du RDN est similaire au mécanisme expliqué ci-dessus pour Bellérophon à quelques différences près :

BenSassi-al-2024-figure4.png

Figure 3 : Illustration du réseau neuronal discret (RDN) de JDM utilisé par IDÉFIX. Chaque neurone connecte un ensemble de termes + neurones d’entrée à un ensemble de termes + neurones de sortie. Les demi-ronds sont des neurones et les ronds correspondent à des termes. En toute généralité, un neurone peut être connecté à d’autres neurones.

  • Les neurones ne s’activent que de façon probabiliste en fonction de leur niveau d’activation et du nombre d’entrées activées (au moins la moitié) ;
  • Les nœuds de sorties activés constituent la réponse calculée ;
  • Tout nœud de sortie peut être un nœud d’entrée d’un neurone ;
  • Le calcul se réalise en une seule passe (aucune itération) ;
  • Seules les parties du RDN connectées aux entrées activées sont concernées par le calcul, qui est donc strictement localiste malgré la taille conséquente du RDN.

Au 1er janvier 2024, le RND de JDM contient environ 800,000 neurones (qui sont des nœuds particuliers du graphe de JDM) et environ 100 millions de connexions (qui sont des relations particulières du graphe de JDM). L’apprentissage de base est réalisé de façon permanente à partir des articles de Wikipédia (les articles sont analysés tour à tour en boucle, un cycle prenant environ 8 mois). Pour chaque paragraphe d’un article, les termes extraits (au sens de la procédure évoquée ci-dessus) sont les termes d’entrée. Les termes de sortie sont (la ou) les vedettes de l’article Wikipédia ainsi que les termes qui sont des liens hypertextuels dans le paragraphe concerné.

Dans l’exemple précédent, nous obtenons après seuillage :

ressources productives • capacités de production • économie • exploitation des ressources productives • inemployée • monnaie citoyenne • pouvoir d’achat local • économie locale • force de travail • monnaies locales • force de travail inemployée

Le RND permet de calculer des termes pertinents par abduction (imitation par l’exemple) non-linéaire à partir de ce qui a déjà été appris (c’est-à-dire des exemples déjà connus qui sont dans le RND). Les termes associés, eux, sont ceux qui sont sémantiquement reliés dans JDM avec un effet d’émergence linéaire.

La combinaison des trois ensembles de termes (extraits, associés, activés), une fois les poids normés, se fait de manière linéaire dans la proportion 1/6, 2/6 et 3/6. Il est tout à fait possible que la liste des termes activés soit vide, si aucun neurone n’a pu se déclencher. Cela arrive quand des sujets nouveaux sont abordés, et la liste des termes associés fait donc office de filet de sécurité (mais parfois avec des risques de confusion surtout concernant des éléments textuels à la sémantique implicite).

Ainsi IDÉFIX est le service sollicité pour calculer les termes et concepts supposément pertinents d’une contribution à un débat faite sur la plate-forme AREN. C’est ce résultat qui va être l’objet d’un traitement d’enrichissement.

4.2- Enrichissement sémantique

Afin d’assurer une représentativité des propos des utilisateurs, nous procédons à l’enrichissement des ensembles de mots-clés produits à l’étape précédente (cf. Algorithme 1). Nous cherchons, en premier lieu, à assurer une couverture sémantique suffisante en nous occupant des éventuels phénomènes d’ambiguïté lexicale[7] et engendrés par la polysémie des termes-clés (cf. Figure 4).

BenSassi-al-2024-figure5.png
Figure 4 : Exemple de désambiguïsation et d’augmentation sémantique d’indexation d’un propos d’un débat sur les monnaies locales. L’ajout du synonyme régional n’est autorisé que parce qu’il est présent ailleurs dans le débat (dans le cas de l’augmentation avec restriction).

La désambiguïsation lexicale revient à séparer les termes semblables en apparence mais dont les sens sont différents, en identifiant les raffinements sémantiques adéquats dans le réseau JDM. Les raffinements sémantiques d’un terme sont tous ses homographes, pour lesquels on identifie dans le réseau un ensemble de relations sémantiques divergeant de celui du terme à « raffiner ». L’identification du bon raffinement sémantique dans JeuxDeMots a pour objectif de considérer, dans la suite de l’algorithme, le sous-graphe incluant l’homonyme, au sens spécifique dans lequel il est utilisé dans le texte.

L’enrichissement des termes de description par leurs termes synonymes ou hyperonymes pertinents, permet, à l’inverse de la désambiguïsation, de regrouper les termes différents en apparence, dont les sens sont (quasi-)semblables.

L’intérêt de cet enrichissement est d’identifier, indépendamment des diverses variantes lexicales, les occurrences d’un sens donné, ce afin d’éviter un éparpillement des éléments de sens (relations sémantiques) pris en compte par l’algorithme, pour un terme donné.

Dans la suite de l’article, nous considérerons deux manières distinctes d’effectuer cette étape d’enrichissement. L’ajout d’un synonyme/hyperonyme dans les termes-clés d’un propos peut être réalisé sans ou avec une restriction aux termes du débat. Se restreindre aux termes-clés du débat signifie qu’un terme synonyme ou hyperonyme n’est ajouté à la liste des termes-clés (résultant de l’indexation) que s’il indexe un autre propos (uniquement, s’il existe déjà comme terme-clé d’un autre propos du débat), ceci afin d’éviter une dérive liée à des cas de synonymie foisonnante.

BenSassi-al-2024-figure6.png

4.3- Extraction de connaissances

L’extraction de connaissances à partir de l’indexation des commentaires utilise l’AFC, un cadre mathématique basé sur la théorie des treillis permettant la représentation de l’information contenue dans des données sous des formes algébriques ou logiques (Ganter and Wille, 2012).

4.3.1- Contexte formel et fermeture de Galois

L’AFC part de données sous la forme d’un contexte formel. Celui-ci est un triplet (O,A,R) où R ⊆ O × A est une relation binaire entre des objets O et les attributs A qui les décrivent. Cette relation peut être représentée sous la forme d’un tableau de croix (cf. Figure 5).

Dans AREN, les objets sont les commentaires du débat et les attributs sont les mots-clés (ou les termes) proposés par les débattants ou ajoutés lors de la phase d’indexation.

Un terme est en relation avec un commentaire s’il l’indexe. Par exemple, dans l’exemple de la Figure 5, (c4, monnaie > argent) ∈ R signifie que l’objet c4 = la loi donne une existence légale aux monnaies locales est indexé par le terme monnaie > argent.

Capture_décran_2024-12-29_à_19.21.27.png

Figure 5 : Exemple de contexte formel avec une relation binaire entre quatre commentaires (ci) : c1 = « la monnaie est une manière de faire et d’organiser la société » ; c2 = « L’acceptation dans le cadre de la loi rend la monnaie locale légale » ; c3 = « les monnaies locales nous font nous questionner sur un outil que nous banalisons la monnaie » ; c4 = « la loi donne une existence légale aux monnaies locales » et cinq termes (tj) : « organisation » ; « monnaie>argent » ; « cours légal » ; « monnaie complémentaire » ; « monnaie locale ».

Un contexte formel donne lieu à deux opérateurs de dérivation, tous deux notés ·et définis tels que

BenSassi-al-2024-figure7.png

Les compositions ·′′ de ces opérateurs forment des opérateurs de fermeture. Par exemple, dans la Figure 5, la fermeture de monnaie > argent est {monnaie > argent, monnaie locale}.

4.3.2- Génération des irréductibles

Un contexte formel est dit clarifié s’il n’a pas deux objets ayant exactement la même description ou deux attributs décrivant exactement les mêmes objets. Dans un contexte clarifié, un attribut a est dit irréductible si l’ensemble {a}des objets qu’il décrit n’est pas égal à l’intersection des ensembles d’objets décrits par d’autres attributs (Liquiere, 2021), c’est-à-dire qu’il n’existe pas d’ensemble d’attributs X tel que {a}′ = ∩{x}', x ∈X (cf. Algorithme 2).

Dans l’exemple de la Figure 5, seul l’attribut monnaie complémentaire n’est pas irréductible puisque {monnaie complémentaire} = {cours légal} ∩ {monnaie locale} . Le reste des termes, à savoir organisation, monnaie > argent, cours légal et monnaie locale, sont tous des irréductibles.

BenSassi-al-2024-figure8.png

4.3.3- Extraction des implications

Nous cherchons à extraire des régularités dans la co-occurrence des mots-clés dans l’indexation des commentaires. L’AFC offre différentes possibilités de représentation de ces régularités : implications, règles d’association, treillis de concepts ou relations causales (Bazin et al., 2022). Une implication est une règle constituée d’une paire d’ensembles d’attributs A et B, habituellement notée A B.

Une implication est dite valide dans un contexte formel donné si et seulement si tous les objets décrits par les attributs de A sont aussi décrits par les attributs de B, c’est-à-dire B A′′ (cf. Algorithme 3).

Ainsi, dans l’exemple de la Figure 5, les deux implications {cours légal, monnaie locale} → {monnaie complémentaire} et {organisation} → {cours légal} sont valides tandis que {cours légal} → {organisation} ne l’est pas. Afin de réduire le nombre de règles à présenter aux débattants, notre attention se focalise spécifiquement sur les implications de la forme {a} → B telles que a est un terme irréductible.

4.4- Enrichissement de la base de connaissances

Les implications obtenues avec l’AFC sont utilisées pour mettre à jour les relations dans la base de connaissances exploitée lors de ce processus. Donc, depuis une implication de la forme {a} → {b, c, d, e, ...} nous ajoutons dans la base de connaissances des relations a x avec x ∈ {b, c, d, e, ...}.

Dans l’exemple de la Figure 5, la mise à jour de la base de connaissances JDM se fait par l’ajout de l’association des termes « cours légal » et « organisation » et celle de « monnaie locale » et « monnaie>argent ». Ces modifications améliorent globalement la composante associative des calculs ultérieurs des indexations des propos.

Capture_décran_2024-12-30_à_08.29.50.png

5- Mesures d’évaluation des règles

Afin d’étudier l’impact de l’augmentation sémantique sur la qualité des règles, nous avons utilisé diverses métriques, notamment le support, la nouveauté et la surprise (fondée sur la co-occurrence ou le voisinage des termes).

5.1- Support

Le support peut être perçu comme un indicateur de « confiance statistique » d’une règle. Le support d’un ensemble d’attributs ou termes T est le nombre d’objets (ou de commentaires) décrits par T divisé par le nombre total d’objets. Il peut être défini par l’Equation 1.
BenSassi-al-2024-figure9.png

Trp et Trc sont respectivement les termes de la prémisse et de la conclusion de la règle r et C sont les commentaires.

5.2- Nouveauté

La nouveauté est une métrique qui a été utilisée dans les domaines de découverte de sous-groupes et de découverte de clauses (Wrobel, 1997). Une règle est considérée nouvelle si sa prémisse et sa conclusion ne sont pas statistiquement indépendantes (Lavrac et al., 1999).

La nouveauté d’une règle est définie par l’Equation 2.         BenSassi-al-2024-figure10.png

r est une règle (implication), Trp et Trc sont respectivement les termes de la prémisse et de la conclusion de la règle r.

5.3- Surprise

Bien que la pertinence puisse être facilement évaluée à l’aide du support, la mesure de la surprise (ou de l’inattendu) des règles est une tâche complexe qui nécessite souvent des études coûteuses à mener, impliquant des utilisateurs (ou des ressources externes, dans notre cas). Une règle nouvelle peut être rétrospectivement surprenante ou non, dans le sens où la connaissance disponible ne permet pas de l’expliquer rapidement/facilement.

Dans ce travail, nous ajustons deux définitions de la mesure de surprise utilisées dans le domaine de la recommandation (Kaminskas and Bridge, 2014), l’une basée sur le degré d’association sémantique entre les termes indexant les propos du débat et l’autre basée sur les termes associés aux termes d’indexation. Les deux mesures produisent un score qui indique le niveau de surprise que le terme cible a apporté à la règle.

5.3.1- Surprise basée sur la co-occurrence des termes

L’information mutuelle spécifique (Point-wise Mutual Information notée PMI) indique à quel point deux termes sont statistiquement dépendants, en fonction du nombre de propos indexés par les deux termes et chaque terme séparément (cf. Equation 3).

Les valeurs de PMI varient entre −1 et 1, où −1 signifie que les deux termes ne sont jamais utilisés ensemble pour indexer un propos, 0 signifie l’indépendance des termes et 1 signifie une co-occurrence systématique des termes.   BenSassi-al-2024-figure11.png

p(i) et p(j) représentent respectivement les probabilités qu’un propos soit indexé par les termes i et j, tandis que p(i,j) est la probabilité qu’un propos soit indexé par les deux termes i et j.

Sur la base de la PMI, la mesure de surprise d’un terme i pour la règle r est définie comme la valeur moyenne de PMI des termes dans la règle (cf. Equation 4).            BenSassi-al-2024-figure12.png

i est un terme, r est une règle (implication) et Tr sont les termes de la règle r.

La surprise basée sur la co-occurrence permet de tenir compte du contexte local du débat et des rapprochements de termes que celui-ci peut engendrer. Toutefois, l’indépendance statistique n’implique pas une similarité sémantique faible. En effet, deux contributeurs peuvent respectivement préférer utiliser le terme « vélo » ou « bicyclette ». Ces deux termes sont alors, dans le débat, en co-occurrence nulle ou faible, alors qu’ils sont sémantiquement très proches. La surprise basée sur le contenu sémantique des termes (leur voisinage, cf. Section 5.3.2) permet de tenir compte de ce type de phénomènes.

5.3.2- Surprise basée sur le voisinage des termes

Notre deuxième mesure de surprise est basée sur la distance appliquée aux termes associés aux termes cibles. Le voisinage d’un terme t dans la base de connaissances JDM est l’ensemble des termes auquel t est relié par la relation d’association d’idées. Nous avons utilisé le complément de la métrique de similarité de Jaccard pour comparer les termes (cf. Equation 5).             BenSassi-al-2024-figure13.png

Ai et Aj sont respectivement les ensembles de termes associés aux termes i et j. Dans le cas où le terme A est polysémique, on considère sa désambiguïsation lexicale pour extraire les termes qui sont associés au contexte des règles.

Par exemple, sont associés au terme « monnaie » de façon non-exhaustive les termes : « argent, pièce, billet, euro, devise », le terme « fric » aura comme termes associés : « argent, pièce, billet, euro, thune ». La distance entre ces deux termes est de 1 − 4/6 = 1/3.

Pour mesurer la surprise d’un terme, nous calculons la distance moyenne entre le terme cible i et les autres termes Tr de la règle r comme indiqué dans l’équation 6.           BenSassi-al-2024-figure14.png

i est un terme, r une règle (implication) et Tr sont les termes de la règle r.

6- Résultats et discussions

Afin d’aider à l’interprétation des résultats de l’algorithme, nous commençons dans cette section par présenter les données ayant servi à cette évaluation (cf. Section 6.1). Nous cherchons ensuite à mettre en évidence la pertinence de chaque module employé, ceci en mettant en place des configurations contrastives de l’algorithme rendant possible la comparaison des résultats permis par chaque sous-module que nous détaillons dans la Section 6.2.   

6.1- Jeux de données et configurations

Nous procédons à l’évaluation de notre approche à l’aide des données issues d’un débat sur la plate-forme AREN concernant les monnaies locales[8] intitulé « Les monnaies locales sont-elles un outil pour sauver l’économie locale et dans quelles conditions ? ». Les principales caractéristiques de notre jeu de données sont présentées dans le Tableau 1.

Capture_décran_2024-12-30_à_08.30.56.png

Tableau 1 : Statistiques du débat sur les monnaies locales.

Chaque argument d’un débattant est associé à un texte initial du débat et décrit par une reformulation, une phrase qui reflète sa compréhension du texte argumenté (« La monnaie locale est un outil financier » : Figure 4), et une opinion (83.33% des arguments sont « plutôt d’accord » et 16.67% ne sont « plutôt pas d’accord »). En total, 464 mots-clés distincts ont été utilisés pour indexer les reformulations dont 125 termes uniques sont proposés par les utilisateurs et 339 par IDÉFIX. En moyenne, chaque débattant a utilisé 5.39 termes par argument.

Nous comparons les résultats de trois variantes de notre approche pour mesurer l’effet de l’augmentation sémantique sur la qualité des résultats de l’AFC. Les détails de nos méthodes sont énumérés ci-dessous :

  • KT : Les implications sont calculées à partir du contexte d’extraction initial, défini par la relation binaire entre les reformulations des participants et les termes-clés qui les indexent.
  • KT: Le contexte d’extraction est enrichi par les synonymes des termes qui définissent les attributs pour générer les implications. On s’intéresse aux termes synonymes qui sont déjà utilisés lors de l’indexation initiale (R•) ainsi qu’à ceux qui ne le sont pas (R), donc de nouveaux termes n’apparaissant pas dans le débat.
  • KT: Identique à la configuration précédente avec des hyperonymes au lieu de synonymes.

6.2- Résultats

Nous commençons par proposer une vue quantitative des résultats des différentes configurations. Nous rapportons, dans le Tableau 2, le nombre d’attributs, irréductibles et implications dans les configurations se limitant, ou pas, aux termes-clés du débat.

BenSassi-al-2024-figure16.png

Tableau 2 : Résultats de KT (KeepTalk) avec et sans restriction aux termes-clés du débat : Le nombre d’objets demeure constant pour toutes les configurations et est égal à 48. DL/DLdésignent l’utilisation ou non de la tâche de désambiguïsation lexicale.

Quand l’ajout de termes n’est pas restreint à ceux du débat, nous observons une augmentation du nombre d’attributs. Inversement, si on se restreint aux termes du débat, le nombre d’attributs est constant. Dans tous les cas, l’utilisation de la désambiguïsation lexicale réduit le nombre d’objets produits (irréductibles et implications), ceci est conforme à l’intuition car la désambiguïsation réduit l’éparpillement lexical. Par ailleurs, l’ajout d’hyperonymes est plus productif que l’ajout de synonymes, car il est possible de trouver au moins un hyperonyme pour la quasi-totalité des attributs (qui sont des termes), ceci est beaucoup moins vrai pour les synonymes.

La première expérimentation rapporte la proportion des relations d’association qui sont considérées comme correctes/pertinentes. Ces associations sont générées à partir des règles produites (implications). Cette étape consiste en une évaluation menée manuellement par 4 intervenants adoptant le rôle « d’experts ».

Capture_décran_2024-12-30_à_08.32.13.png

Tableau 3 : Pourcentage des bonnes associations selon une évaluation manuelle menée par 4 experts.

Nous cherchons à travers le Tableau 3 à classer les configurations de notre système en termes de « qualité », du point de vue d’utilisateurs humains. Le cas 1 signifie que dans une configuration se restreignant aux termes du débat et sans procédure de désambiguïsation, 63.12% des relations d’association à ajouter à la base de connaissance sont jugés correctes par les experts. Pour la meilleure configuration (cas 3), où nous procédons à une désambiguïsation sans se limiter aux termes-clés du débat, nous obtenons 76.77% de bonnes associations.

Capture_décran_2024-12-30_à_08.32.50.png

Tableau 4 : Comparaison des résultats de l’analyse formelle de concepts : KT avec le contexte initial ; KTavec le contexte augmenté avec les synonymes ; KTavec le contexte augmenté avec les hyperonymes. L’augmentation est faite avec et sans restriction aux termes du débat.

Dans le Tableau 4, nous constatons que la nouveauté est globalement très faible, ce qui indique que l’on trouve peu d’associations n’existant pas dans la base de connaissances. Ceci est positif du point de vue de la complétude de la base. On constate par ailleurs que la surprise est globalement très haute, ce qui veut dire qu’une information nouvelle n’aurait pas pu être inférée, dans la quasi-totalité des cas. Ceci est un autre résultat très positif qui justifie l’utilité de notre approche d’extraction de connaissances.

Capture_décran_2024-12-30_à_08.33.34.png

Tableau 5: Combinaison des résultats des métriques avec la proportion des bonnes associations (évaluation manuelle) - Il s’agit d’un score et non d’un pourcentage.

Nous observons un effet conjoint à l’étape de désambiguïsation DL et à la restriction R ou non aux termes-clés du débat. Ce croisement est clarifié dans le Tableau 5. La configuration la plus favorable est celle avec une augmentation avec synonymes et hyperonymes sans R et avec étape de DL (cas 3). La seconde meilleure configuration est celle sans DL et avec R (cas 1). La pire configuration, qui a de très mauvais résultats, est la combinaison de Ret DL(cas 4). Le score du dernier cas (cas 2 : Ret DL), bien que correct, est inférieur aux cas 1 et 3.

La désambiguïsation lexicale (DL) et la restriction (R) aux termes déjà présents dans le débat, visent le même but, contrôler le foisonnement lexical, et ne pas tomber dans le piège de polysémie. L’approche avec R permet de ne pas introduire de termes qui ne sont pas apparus dans le débat, il n’y a donc aucune chance d’introduire, par accident, un terme sans rapport. Le cas 2 est intéressant car il n’est pas intuitif : en effet, on s’attendrait à ce que l’action conjointe de D et R donne les meilleurs résultats, or ce n’est pas le cas. A priori l’effet restrictif conjoint de DL et R empêche un rapprochement efficace des propos du débat. Ne pas faire de R permet d’augmenter la richesse des associations, toutefois cette richesse doit être contrôlée par la DL.

7- Conclusion et perspectives

Dans cet article, nous avons présenté une IA d’accompagnement de débats, KeepTalk, dont un des objectifs est d’extraire des associations nouvelles entre termes à partir des listes de termes-clés des arguments d’un débat. Une association pertinente est celle qui permet d’inférer des connaissances nouvelles, et qui est elle-même non ou difficilement inférable.

Le débat analysé est issu de la plateforme AREN conçue dans le cadre du projet AREN-DIA. Les participants au débat se répondant les uns aux autres, une quantité importante d’information est implicite, ce qui nous a encouragé à solliciter les utilisateurs à participer à l’indexation de leurs propos. L’exploitation des éléments d’indexation est réalisée de façon itérative durant l’entièreté du débat. Les ensembles de termes indexant chaque commentaire sont coconstruits d’un côté, par la procédure automatisée (IDÉFIX), et de l’autre, par une supervision et complétion par les utilisateurs des termes extraits par IDÉFIX. Cette supervision est permise en donnant à l’utilisateur la possibilité de proposer, valider ou invalider des termes de l’ensemble proposé par l’IA accompagnant le débat. Ce retour est pris en compte lors des itérations de descriptions thématiques ultérieures, menant à une indexation de meilleure qualité.

La partie calculatoire de l’approche proposée est organisée en plusieurs modules aboutissant à une étape d’extraction de connaissances alimentée par l’analyse formelle de concepts. Après une augmentation lexicale, cette étape permet de créer des implications entre termes (par exemple, si A est présent alors B et C sont aussi présents). Les implications produites sont destinées à être introduites dans la base de connaissances. Par exemple, si nous avons A B, C, alors dans le réseau lexical JDM nous ajouterons : A r_associated B et A r_associated C.

Les résultats obtenus sont prometteurs et soulignent l’efficacité d’effectuer conjointement une analyse basée sur l’AFC et une augmentation lexicale à partir d’une base de connaissances. La base de connaissances (JeuxDeMots) s’en trouve améliorée et par ricochet les propositions automatiques de termes-clés augmentent en pertinence. En perspective, il serait important, sur la base des scores de l’évaluation manuelle, d’agréger les scores des métriques automatiques de manière à obtenir un score global qui serait représentatif de la qualité, que nous avons cherché à obtenir ici par une évaluation manuelle. Concernant l’extraction des connaissances, en perspective, le projet explorera d’autres représentations des régularités : autres implications, règles d’association et relations causales ; ce qui permettra d’ajouter dans la base de connaissances des informations sur des types de relations plus précises (autres que les associations d’idées). Dans la continuité du schéma d’incitation de l’utilisateur à compléter ses propos, on pourrait envisager, en perspective à ce travail, l’intégration d’une IA générative à des fins d’animation ou de synthèse du débat. Cet agent produirait de nouveaux propos au débat à partir du contenu structuré issu des procédures d’indexation des commentaires des utilisateurs.

8- Références

Bächtold, M., Pallarès, G., De Checchi, K., and Munier, V. (2023). Combining debates and reflective activities to develop students’ argumentation on socioscientific issues. Journal of Research in Science Teaching, 60(4) :761–806.

Bazin, A., Couceiro, M., Devignes, M.-D., and Napoli, A. (2022). Steps towards causal formal concept analysis. International Journal of Approximate Reasoning, 142 :338–348.

Ben Sassi I., Guenoune, H., Bazin, A., Huchard, M., Lafourcade, M., and Sallantin, J. (2024 a). Dispositif d'apprentissage automatique collaboratif pour la pratique du débat. JADT 2024 - 17th International Conference on Statistical Analysis of Textual Data, Jun 2024, Bruxelles, Belgique.

Ben Sassi I., Guenoune, H., Bazin, A., Huchard, M., Lafourcade, M., and Sallantin, J. (2024 b). Extraction de connaissances basée sur l'analyse formelle de concepts en vue de l'assistance aux débats en ligne. TextMine @EGC 2024, Jan 2024, Dijon, France.

Cabrio, E., and Villata, S. (2018). Five Years of Argument Mining: A Data-driven Analysis. In International Joint Conference on Artificial Intelligence (pp. 5427-5433).

Cabrio, E., and Villata, S. (2013 a). A natural language bipolar argumentation approach to support users in online debate interactions. Argument & Computation, 4(3), 209-230.

Cabrio, E., Tonelli, S., and Villata, S. (2013 b). From discourse analysis to argumentation schemes and back: Relations and differences. In International Workshop on Computational Logic in Multi-Agent Systems (pp. 1-17). Springer, Berlin, Heidelberg.

Freedman, G., Dejl, A., Gorur, D., Yin, X., Rago, A., and Toni, F. (2024). Argumentative Large Language Models for Explainable and Contestable Decision-Making. arXiv preprint arXiv:2405.02079.

Ganter, B. and Wille, R. (2012). Formal concept analysis: mathematical foundations. Springer Science & Business Media.

Habernal, I., and Gurevych, I. (2017). Argumentation mining in user-generated web discourse. Computational Linguistics, 43(1), 125-179.

Kaminskas, M. and Bridge, D. (2014). Measuring surprise in recommender systems. In Proceedings of the Workshop on recommender systems evaluation: dimensions and design held in conjunction with RecSys 2014, REDD ’14, Silicon Valley, USA. ACM.

Lafourcade, M. and Le Brun, N. (2023). Apport du jeu pour la construction de connaissances : le projet JeuxDeMots. Technologie et innovation, 8 (Le jeu pour innover).

Lavrac, N., Flach, P. A., and Zupan, B. (1999). Rule evaluation measures: A unifying view. In Proceedings of the 9th International Workshop on Inductive Logic Programming, ILP ’99, page 174–185, Berlin, Heidelberg. Springer-Verlag.

Lippi, M., and Torroni, P. (2016). MARGOT: A web server for argumentation mining. Expert Systems with Applications, 65, 292-303.

Liquiere, M. (2021). Utilisation des irréductibles d’un treillis de concepts pour la sélection de motifs. Technical report, LIRMM, Université de Montpellier.

Niculae, V., Park, J., and Cardie, C. (2017). Argument Mining with Structured SVMs and RNNs. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 985-995).

Wachsmuth, H., Lapesa, G., Cabrio, E., Lauscher, A., Park, J., Vecchi, E.M., Villata, S., and Ziegenbein, T. (2024). Argument Quality Assessment in the Age of Instruction-Following Large Language Models. LREC/COLING 2024: 1519-153.

Wrobel, S. (1997). An algorithm for multi-relational discovery of subgroups. In: Komorowski, J., Zytkow, J. (eds) Principles of Data Mining and Knowledge Discovery. PKDD 1997. Lecture Notes in Computer Science, vol 1263. Springer, Berlin, Heidelberg. https://doi.org/10.1007/3-540-63223-9_108.


Notes

[1] . Ce projet est financé par l’Agence Nationale de la Recherche : ANR-22-FRAN-0001.

[2] . La plate-forme est accessible via le lien suivant : https://portail-aren.lirmm.fr/aren2023/

[3] . https://fr.wikipedia.org/wiki/JeuxDeMots

[4] . L’outil IDÉFIX est accessible via le lien : https://www.jeuxdemots.org/intern_extract.php

[5] . L’outil Diko est accessible via le lien : https://www.jeuxdemots.org/diko.php

[6] . https://www.jeuxdemots.org/intern_desamb.php

[7] . Ambiguïté traitée via le service Bellérophon

[8] . https://portail-aren.lirmm.fr/aren2023/debates/6

 
 

 


Imprimer   E-mail