مجلة العلوم الاجتماعية و الانسانية

اللسانيات النفسية والتقييم التجريبي لنماذج اللغة الاصطناعية: استخدام المقاييس النفسية اللغوية كمعايير لقياس توافق النماذج مع السلوك اللغوي البشري | Psycholinguistics And The Empirical Evaluation Of Artificial Language Models: Using Psycholinguistic Metrics As Benchmarks For Model Alignment With Human Linguistic Behavior.

Auteurs : بن غليسي سعاد . بربار عبدالرحمان .

Résumé

تشهد نماذج اللغة الكبيرة تطورات متسارعة في مجالات متنوعة، لكن السؤال الجوهري يبقى: إلى أي مدى تعكس هذه النماذج السلوك اللغوي البشري الفعلي؟ يقدم هذا البحث منهجية لتقييم توافق نماذج اللغة الكبيرة، بما في ذلك النماذج العربية مثل Jais، مع المقاييس النفسية اللغوية البشرية، تعتمد المنهجية على استخدام مجموعات بيانات نفسية لغوية تم تطويرها عبر عقود من البحث التجريبي، وتشمل مقاييس الألفة، عمر الاكتساب، التجسيد، والتصويرية، وقد تم استخدام مهام تجريبية كلاسيكية في اللسانيات النفسية مثل مهام القرار المعجمي والتمهيد الدلالي لاختبار سلوك النماذج ومقارنته بالأداء البشري، تكشف النتائج عن فجوات كبيرة في قدرة النماذج اللغوية على تمثيل الخصائص الحسية الحركية للكلمات، مما يشير إلى محدودية الإدراك المُجسد في هذه النماذج، وتقدم توصيات لتطوير معايير تقييم جديدة تستند إلى البحث النفسي اللغوي التقليدي.--------------------------------------------------------------------------Large Language Models (LLMs) are witnessing rapid advancements in various fields, yet a fundamental question remains: to what extent do these models reflect actual human linguistic behavior? This research presents a comprehensive methodology for evaluating the alignment of LLMs, including Arabic models like Jais, with human psycholinguistic metrics. The methodology relies on psycholinguistic datasets developed over decades of empirical research, encompassing metrics such as familiarity, age of acquisition, concreteness, and imageability. Classic psycholinguistic experimental tasks, including lexical decision and semantic priming, were employed to test the models' behavior and compare it with human performance. The findings reveal significant gaps in the ability of LLMs to represent the sensorimotor properties of words, indicating limited embodied cognition in these models. The paper concludes with recommendations for developing new evaluation benchmarks grounded in traditional psycholinguistic research.

Mots clés

نماذج اللغة الكبيرة ; اللسانيات النفسية ; الإدراك المُجسد ; تقييم النماذج ; معايير التقييم ; المقاييس النفسية اللغوي ; Large Language Models (LLMs) ; Psycholinguistics ; Embodied Cognition ; Model Evaluation ; Evaluation Benchmarks ; Psycholinguistic Metrics