به گزارش رسا نشر – در یک پست وبلاگی که این پژوهش را خلاصه میکند، OpenAI «توهمات» را به عنوان «بیانیههای معقول اما نادرست تولید شده توسط مدلهای زبانی» تعریف میکند و اذعان دارد که با وجود پیشرفتها، توهمات همچنان یک چالش اساسی برای تمامی مدلهای زبانی بزرگ محسوب میشوند و به طور کامل قابل حذف نیستند.
برای روشنتر شدن این موضوع، محققان مثال میزنند که وقتی از یک چتبات پرکاربرد، در مورد عنوان پایاننامه دکتری آدام تاومن کالای (یکی از نویسندگان مقاله) سوال کردند، سه پاسخ متفاوت و اشتباه دریافت کردند. سپس از چتبات در مورد تاریخ تولد کالای سوال شد و باز هم سه تاریخ متفاوت ارائه شد که همگی نادرست بودند.
اما چرا یک چتبات میتواند تا این حد اشتباه کند و با این اطمینان به اشتباهاتش ادامه دهد؟ محققان معتقدند که توهمات تا حدودی به دلیل فرآیند پیشآموزشی ایجاد میشوند که بر درست پیشبینی کردن کلمه بعدی تمرکز دارد، بدون اینکه برچسبهای درست یا غلط به اظهارات آموزشی الصاق شود: «مدل فقط نمونههای مثبتی از زبان روان را میبیند و باید توزیع کلی را تخمین بزند.»
آنها مینویسند: «املا و پرانتزها از الگوهای ثابتی پیروی میکنند، بنابراین اشتباهات در این موارد با مقیاسبندی ناپدید میشوند. اما حقایق کمتکرار و دلخواهی مانند تاریخ تولد یک حیوان خانگی را نمیتوان فقط از روی الگوها پیشبینی کرد و همین امر منجر به توهمات میشود.»
با این حال، راهحل پیشنهادی این مقاله، کمتر بر فرآیند پیشآموزشی اولیه تمرکز دارد و بیشتر به نحوه ارزیابی مدلهای زبانی بزرگ میپردازد. این مقاله استدلال میکند که مدلهای ارزیابی فعلی، خودشان باعث ایجاد توهمات نمیشوند، بلکه «مشوقهای اشتباهی را تعیین میکنند».
محققان این ارزیابیها را با انواع آزمونهای چند گزینهای مقایسه میکنند که در آنها حدس زدن تصادفی میتواند منطقی باشد، زیرا «ممکن است خوششانس باشید و درست حدس بزنید»، در حالی که خالی گذاشتن پاسخ «یک صفر را تضمین میکند».
آنها میگویند: «به همین ترتیب، هنگامی که مدلها فقط بر اساس دقت ارزیابی میشوند، یعنی درصد سوالاتی که دقیقاً درست پاسخ میدهند، به جای گفتن «نمیدانم»، تشویق میشوند که حدس بزنند.»
بنابراین، راهحل پیشنهادی مشابه آزمونهایی (مانند SAT) است که شامل «امتیاز منفی برای پاسخهای اشتباه یا اعتبار جزئی برای خالی گذاشتن سوالات برای جلوگیری از حدس زدن کورکورانه» است. به طور مشابه، OpenAI میگوید ارزیابی مدلها باید «خطاهای مطمئن را بیش از عدم قطعیت، مجازات کند و برای عبارات مناسب عدم قطعیت، اعتبار جزئی در نظر بگیرد.»
محققان استدلال میکنند که معرفی «چند آزمون جدید آگاهی از عدم قطعیت در کنار این موارد» کافی نیست. در عوض، «ارزیابیهای مبتنی بر دقت که به طور گسترده مورد استفاده قرار میگیرند، باید بهروزرسانی شوند تا نمرهدهی آنها از حدس زدن جلوگیری کند.»
محققان میگویند: «اگر تابلوهای امتیازات اصلی به پاداش دادن به حدسهای خوششانسی ادامه دهند، مدلها به یادگیری حدس زدن ادامه خواهند داد.»
جمعبندی
پژوهش OpenAI نشان میدهد که برای کاهش «توهمات» در مدلهای هوش مصنوعی، باید به فراتر از فرآیند پیشآموزشی نگاه کرد و بر بهبود روشهای ارزیابی تمرکز نمود. اصلاح سیستمهای نمرهدهی و تشویق مدلها به ابراز عدم قطعیت، گامی حیاتی در جهت توسعه هوش مصنوعی دقیقتر و قابل اعتمادتر خواهد بود.