Revue Algérienne des Sciences du Langage
Volume 10, Numéro 1, Pages 285-297
2025-06-12
The Ai Tongue-twister: Disentangling The Algorithmic Underpinnings Of Multilingual Ai
Authors : Benfareh Aicha .
Abstract
We first examined the representation of the 20 languages in M-BERT by deriving language identity representations in 1000 labeled corpora. The high performance of the language identification model in distinguishing the languages in M-BERT (mean F1 score 0.999) indicated that BERT models use strong language-specific information in their pretraining process. We then tested the M-BERT model's capability of differentiating between pairs of languages. By feeding modeling prompts that include the name of the language and a token from one of the two languages to the model, we used the model's output probability to determine which language the input was expressed in. This is effectively a language disambiguation task, and we should be able to use it to measure the model's ability to differentiate and understand pairs of languages. This simple disambiguation setup, combined with the model's ability to perform probability judgment, could serve as a test to reveal what exchanges the model is capable of processing for any given pair of languages. The AI Tongue-Twister System: In this work, we present an AI Tongue-Twister system as a simple tested to disentangle the algorithmic underpinnings of multilingual AI. The selection of tongue-twisters is language-biased to maximally expose the underlying mechanisms, encodes general linguistic knowledge about phonotactics, and can be interpreted as puzzles that need to be solved to learn the language-specific mapping from meaning to sound. The implicit required capabilities to answer tongue-twisters include listening, speaking, speech recognition, and speech synthesis – thus, multilingual systems need to combine and configure the corresponding modules during system building and training. With this tongue-twister-based methodology, the apparent confusion about what multilingual AI is, experienced in the AI4ALL summer camp, could be replaced with insights gained from the further student exploration and the research talks based on this work, resulting in the improvement of camp curricula. Nous avons d'abord examiné la représentation des 20 langues dans M-BERT en dérivant des représentations d'identité linguistique à partir de 1000 corpus étiquetés. La haute performance du modèle d'identification linguistique dans la distinction des langues dans M-BERT (score F1 moyen de 0,999) a indiqué que les modèles BERT utilisent des informations spécifiques à chaque langue lors de leur pré-entraînement. Ensuite, nous avons testé la capacité du modèle M-BERT à différencier des paires de langues. En fournissant des invites de modélisation incluant le nom de la langue et un jeton de l'une des deux langues au modèle, nous avons utilisé la probabilité de sortie du modèle pour déterminer dans quelle langue l'entrée était exprimée. Il s'agit essentiellement d'une tâche de désambiguïsation linguistique, et nous devrions pouvoir l'utiliser pour mesurer la capacité du modèle à différencier et comprendre des paires de langues. Cette configuration simple de désambiguïsation, combinée à la capacité du modèle à effectuer un jugement probabiliste, pourrait servir de test pour révéler quels échanges le modèle est capable de traiter pour toute paire de langues donnée.
Keywords
Keywords : M-BERT, Langage identification, Langage disambiguation, Probability judgment, Language-specific information ; Mots-clés : M-BERT, Identification linguistique, Désambiguïsation linguistique, Jugement probabiliste, Informations spécifiques à la langue
Les articles similaires
بوسالم أحلام
.
عابد يوسف
.
ص 117-132.
Yahia Zeghoudi
.
pages 74-88.
Said Houari Amel
.
pages 257-268.
Assia Baghdadi
.
pages 8-28.
