مدل‌های زبانی بزرگ (LLMها) سال‌هاست به عنوان ابزاری برای «دموکراتیک‌کردن دسترسی به اطلاعات» معرفی می‌شوند. اما پژوهشی تازه از مرکز MIT Media Lab نشان می‌دهد این وعده ممکن است برای همه کاربران به یک اندازه محقق نشود. این تحقیق که توسط پژوهشگران مرکز ارتباطات سازنده (CCC) وابسته به MIT انجام شده، عملکرد سه مدل هوش مصنوعی مطرح شامل OpenAI (GPT-4)، Anthropic (Claude 3 Opus) و Meta (Llama 3) را بررسی کرده است. نتایج نشان می‌دهد این چت‌بات‌ها در برخی شرایط برای کاربران با سطح تحصیلات پایین‌تر، تسلط کمتر به زبان انگلیسی یا ملیت‌های خارج از آمریکا، پاسخ‌های کم‌دقت‌تر و حتی تحقیرآمیز ارائه می‌کنند.

افت دقت برای کاربران آسیب‌پذیر

پژوهشگران از دو مجموعه‌داده استاندارد TruthfulQA و SciQ برای سنجش «درستی» و «دقت علمی» پاسخ‌ها استفاده کردند. آن‌ها پیش از هر سؤال، یک بیوگرافی کوتاه کاربر (شامل سطح تحصیلات، میزان تسلط به انگلیسی و کشور محل زندگی) به مدل ارائه کردند.
نتایج نشان داد:
• دقت پاسخ‌ها برای کاربران با تحصیلات کمتر کاهش معنادار دارد.
• کاربران غیرانگلیسی‌زبان پاسخ‌های کم‌کیفیت‌تری دریافت می‌کنند.
• بیشترین افت عملکرد مربوط به افرادی بود که هم تحصیلات پایین‌تر داشتند و هم انگلیسی زبان مادری‌شان نبود.
در بخش ملیت، مشخص شد مدل Claude 3 Opus برای کاربران ایرانی در مقایسه با کاربران آمریکایی، حتی با سطح تحصیلات یکسان، عملکرد ضعیف‌تری داشته است.

امتناع از پاسخ و لحن تحقیرآمیز

یکی از نگران‌کننده‌ترین یافته‌ها مربوط به «امتناع از پاسخ» بود. به‌عنوان مثال، Claude 3 Opus برای کاربران کم‌تحصیل و غیرانگلیسی‌زبان حدود ۱۱٪ مواقع از پاسخ دادن خودداری کرد؛ در حالی که این عدد برای کاربران کنترل‌شده تنها ۳.۶٪ بود. تحلیل دستی پاسخ‌ها نشان داد در حدود ۴۳٪ موارد مربوط به کاربران کم‌تحصیل، پاسخ‌ها لحنی تحقیرآمیز یا پدرسالارانه داشته‌اند. در برخی نمونه‌ها، مدل حتی از انگلیسی شکسته یا اغراق‌آمیز تقلید کرده است. همچنین در مواردی، مدل از پاسخ دادن به موضوعاتی مانند انرژی هسته‌ای، آناتومی یا رویدادهای تاریخی برای کاربران ایرانی یا روسی خودداری کرده، در حالی که همان سؤال را برای دیگر کاربران پاسخ داده است.

بازتابی از سوگیری‌های انسانی

این یافته‌ها با مطالعات علوم اجتماعی هم‌راستا است؛ جایی که نشان داده شده گویشوران بومی انگلیسی اغلب افراد غیر بومی را کمتر باهوش یا کم‌سواد تصور می‌کنند — حتی اگر چنین نباشد. با توجه به افزایش قابلیت‌های شخصی‌سازی مانند «Memory» در چت‌بات‌ها، نگرانی‌ها درباره تشدید نابرابری‌ها بیشتر شده است. اگر مدل‌ها بر اساس ویژگی‌های کاربر رفتار متفاوتی نشان دهند، خطر گسترش اطلاعات نادرست یا رفتار تبعیض‌آمیز افزایش می‌یابد.

جمع‌بندی:
مدل‌های زبانی بزرگ به‌عنوان ابزاری برای دسترسی برابر به دانش معرفی شده‌اند، اما این پژوهش نشان می‌دهد بدون نظارت دقیق بر سوگیری‌های سیستماتیک، ممکن است نتیجه معکوس حاصل شود. کاربرانی که بیشترین نیاز را به این ابزارها دارند، ممکن است پاسخ‌های ضعیف‌تر، نادرست یا حتی توهین‌آمیز دریافت کنند.

منبع خبر: news.mit