العنوان بلغة أخرى: |
Evaluation of Automated Arabic Summaries Generated with the AI Tool Chatgpt Using Textual Linguistics |
---|---|
المصدر: | مجلة البحث العلمي في الآداب |
الناشر: | جامعة عين شمس - كلية البنات للآداب والعلوم والتربية |
المؤلف الرئيسي: | أمين، مروة مصطفى السيد (مؤلف) |
المؤلف الرئيسي (الإنجليزية): | Amin, Marwa Moustafa Elsayed |
المجلد/العدد: | ع25, ج5 |
محكمة: | نعم |
الدولة: |
مصر |
التاريخ الميلادي: |
2024
|
الشهر: | يوليو |
الصفحات: | 46 - 77 |
ISSN: |
2356-8321 |
رقم MD: | 1491482 |
نوع المحتوى: | بحوث ومقالات |
اللغة: | العربية |
قواعد المعلومات: | AraBase |
مواضيع: | |
كلمات المؤلف المفتاحية: |
الملخصات الآلية | الذكاء الاصطناعي | علم النص | معيار السبك | ChatGPT | Automatic Text Summarization | Textual Linguistics | Artificial Intelligence
|
رابط المحتوى: |
المستخلص: |
مع تطور الذكاء الاصطناعي أحرزت تقنيات التلخيص تقدمًا ملحوظا، وقد استدعى تعدد تقنيات التلخيص الآلي للنصوص، ظهور آليات لتقييم هذه الملخصات، لكن كان تقييم جودة الملخصات التي تنتجها الأنظمة الآلية يعتمد في مجمله على خوارزميات رياضية، ويطبق معايير تقييم مختلفة وغير موحدة. ومن هنا تسعى هذه الدراسة إلى استخدام آلية لغوية لتقييم التلخيص الآلي (باستخدام الذكاء الاصطناعي) للنصوص العربية، عن طريق معرفة مدى تحقق مظاهر السبك في هذه الملخصات. وقد وقع اختيار الدراسة على معيار السبك تحديدًا؛ نظرًا لأنه معيار ذو صلة وثيقة بالنص، كما أن تقنيات التلخيص الآلي تشتمل على حذف التكرار، والإحالات، وهذه العناصر نفسها هي وسائل تحقق السبك. وبذلك ستبحث الدراسة في مدى تأثر الملخص بحذف مظاهر تحقق السبك منه، ومدى تحقق مظاهر السبك المعجمية والنحوية الأخرى فيه. وتتبع الدراسة المنهج الوصفي في ضوء علم اللغة النصي؛ فتصف الملخصات الآلية العربية المولدة بأداة الذكاء الاصطناعي (ChatGPT) ثم تبين مدى تحقق مظاهر السبك المعجمية والنحوية أو غيابها فيها، كما توضح الدراسة علاقة التلخيص بنوع النص؛ فتلخيص النصوص العامة يختلف عن غيرها من النصوص المتخصصة مثل الطبية والدينية والأدبية. وتتخذ الدراسة من الملخصات الآلية لنصوص من مجالات متنوعة، المولدة بأداة الذكاء الاصطناعي ChatGPT مصدرًا رئيسًا لها. وقد توصلت الدراسة لعدد من النتائج، منها: أن الأداة تجيد تلخيص أنواع النصوص كافة (عامة ومتخصصة)، لكنها أقل دقة في النصوص الأدبية والاقتصادية. كما تبين أنه على الرغم من اعتماد الأداة في التلخيص على حذف الكثير من عناصر السبك النحوية والمعجمية من النص الأصلي، فإن ذلك لم يؤثر في تماسك الملخصات؛ فقد تحققت فيها وسائل السبك أيضا وإن كانت بنسبة أقل. With the development of artificial intelligence, summarization techniques have made remarkable progress, and that has led to the emergence of mechanisms for evaluating these summaries, but the evaluation of the quality of the summaries produced by automated systems was based entirely on mathematical algorithms and applied different evaluation criteria. Hence, this study seeks to use a linguistic mechanism to evaluate the automated summary (used by artificial intelligence) of Arabic texts, by detecting how cohesion is achieved in these summaries. Thus, the study will look at how the abstract is affected by the deletion of the cohesion from it, and how other lexical and grammatical cohesion aspects are achieved in it. The study follows the descriptive approach with textual linguistics. The study uses automated summaries of texts from various fields, generated by the artificial intelligence tool ChatGPT as its main source. The study reached a number of results, including: The tool is good at summarizing all types of texts (general and specialized), but it is less accurate in literary and economic texts. It was also found that although the tool relied on the deletion of many grammatical and lexical cohesion elements from the original text, this did not affect the coherence of the abstracts. |
---|---|
ISSN: |
2356-8321 |