سیل پژوهشهای کمکیفیت در هوش مصنوعی؛ دانشگاهیان هشدار میدهند: اوضاع بههمریخته است
پژوهش هوش مصنوعی با مشکل بزرگی به نام «اسلپ» (محتوای بیکیفیت و انبوه) روبهرو شده است؛ این را استادان دانشگاه میگویند: «وضعیت یک آشوب کامل است».
به گزارش اینتیتر، پژوهش هوش مصنوعی با مشکل بزرگی به نام «اسلپ» (محتوای بیکیفیت و انبوه) روبهرو شده است؛ این را استادان دانشگاه میگویند: «وضعیت یک آشوب کامل است».
به گزارش گاردین، یک نفر به تنهایی ادعا کرده که امسال ۱۱۳ مقاله در حوزه هوش مصنوعی نوشته که ۸۹ تای آنها قرار است همین هفته در یکی از معتبرترین کنفرانسهای جهان در زمینه هوش مصنوعی و یادگیری ماشین (NeurIPS) ارائه شود. این موضوع موجی از تردید و بحث را میان دانشمندان کامپیوتر برانگیخته است.
این فرد، کوین ژو (Kevin Zhu) نام دارد؛ کسی که بهتازگی مدرک کارشناسی کامپیوتر خود را از دانشگاه برکلی کالیفرنیا گرفته و اکنون شرکت «الگوورس» (Algoverse) را اداره میکند؛ شرکتی که به دانشآموزان دبیرستانی و دانشجویان کارشناسی پژوهش و منتورینگ هوش مصنوعی میدهد و بسیاری از همین دانشآموزان دبیرستانی همبسته (co-author) مقالات او هستند. خود ژو سال ۲۰۱۸ از دبیرستان فارغالتحصیل شده بود.
مقالاتی که او در دو سال گذشته منتشر کرده موضوعاتی بسیار متنوع و عجیب دارند؛ از «استفاده از هوش مصنوعی برای پیدا کردن دامداران کوچرو در مناطق زیر صحرای آفریقا» تا «تشخیص ضایعات پوستی» و «ترجمه گویشهای اندونزیایی». او در صفحه لینکدین خود با افتخار نوشته که «بیش از ۱۰۰ مقاله در کنفرانسهای برتر در یک سال گذشته» منتشر کرده و این مقالات «توسط اوپنایآی، مایکروسافت، گوگل، استنفورد، امآیتی، آکسفورد و دیگران استناد شدهاند».
هانی فرید، استاد علوم کامپیوتر دانشگاه برکلی، در مصاحبهای این مقالات را «فاجعه» توصیف کرد و گفت: «من تقریباً مطمئنم که کل این داستان از ابتدا تا انتها فقط «وایبکدینگ» (vibe coding) است»؛ یعنی استفاده از هوش مصنوعی برای تولید کد و حتی متن مقاله به صورت سطحی و بدون عمق واقعی.
فرید با پستی در لینکدین به این موضوع اشاره کرد و بلافاصله بحثهای گستردهای میان پژوهشگران هوش مصنوعی به راه افتاد. بسیاری از آنها گفتند که رشته پرطرفدارشان در حال غرق شدن در سیل مقالات بیکیفیت است؛ سیل ناشی از فشارهای آکادمیک و در مواردی استفاده گسترده از ابزارهای هوش مصنوعی برای نوشتن مقاله.
ژو در پاسخ به سؤالات روزنامه گاردین گفت که او فقط «نظارت» (supervision) بر ۱۳۱ مقاله داشته و اینها «کارهای تیمی» بوده که در شرکتش انجام شده است. شرکت الگوورس برای یک دوره ۱۲ هفتهای آنلاین و انتخابی، ۳۳۲۵ دلار از دانشآموزان دبیرستانی و دانشجویان کارشناسی هزینه دریافت میکند و به آنها کمک میکند مقالههایشان را به کنفرانسها بفرستند.
او گفت: «حداقل من روششناسی و طراحی آزمایشها را بررسی میکنم و پیشنویس کامل مقالات را قبل از ارسال میخوانم و نظر میدهم». همچنین ادعا کرد در پروژههایی که به زبانشناسی، بهداشت یا آموزش مربوط میشد، از «محققان اصلی یا منتورهایی با تخصص مرتبط» استفاده کرده است. در مورد استفاده از هوش مصنوعی هم گفت که فقط از «ابزارهای استاندارد بهرهوری مثل مدیریت منابع، غلطیاب املایی و گاهی مدلهای زبانی برای ویرایش متن و افزایش وضوح» استفاده کردهاند.
آشوب در جامعه بررسیکنندگان مقالات
استاندارد بررسی مقالات در هوش مصنوعی با بیشتر رشتههای علمی دیگر متفاوت است. برخلاف شیمی یا زیستشناسی که داوری همتا (peer-review) بسیار سختگیرانه و طولانی است، در هوش مصنوعی و یادگیری ماشین بیشتر مقالات در کنفرانسهای بزرگ مثل NeurIPS به صورت نسبتاً غیررسمی ارائه میشوند.
به گفته هانی فرید، مورد کوین ژو فقط نوک کوه یخ است. کنفرانس NeurIPS امسال با ۲۱٬۵۷۵ مقاله مواجه شده؛ بیش از دو برابر سال ۲۰۲۰. کنفرانس ICLR هم برای سال ۲۰۲۶ نزدیک به ۲۰٬۰۰۰ مقاله دریافت کرده (۷۰٪ افزایش نسبت به سال قبل). وبلاگ چینی 36Kr در آبانماه نوشت: «داوران از کیفیت پایین مقالات شاکیاند و حتی مشکوک شدهاند که برخی کاملاً با هوش مصنوعی نوشته شدهاند. چرا این ضیافت علمی دیگر مزه سابق را نمیدهد؟»
در عین حال، دانشجویان و استادان تحت فشار شدیدی برای افزایش تعداد مقالات خود هستند. به گفته استادان، انتشار حتی ۱۰–۲۰ مقاله باکیفیت در سال برای یک پژوهشگر حرفهای هم کار بسیار سختی است، چه برسد به ۱۰۰–۱۳۰ مقاله.
فرید میگوید گاهی دانشجویانش برای بالا بردن تعداد انتشاراتشان «وایبکدینگ» میکنند. او میافزاید: «الان تب و تاب عجیبی برای ورود به هوش مصنوعی وجود دارد».
جفری والینگ، استادیار دانشگاه ویرجینیاتک، هم میگوید امسال NeurIPS از تعداد زیادی دانشجوی دکتری برای داوری استفاده کرده و این کار کیفیت داوری را پایین آورده است. «داوران گاهی باید در مدت کوتاه دهها مقاله را بخوانند و معمولاً امکان بازبینی و اصلاح وجود ندارد».
سیل «اسلپ»
با این حال، هنوز هم کارهای بسیار باارزشی از دل همین سیستم بیرون آمده؛ مثلاً مقاله معروف گوگل درباره ترنسفورمرها («Attention Is All You Need») که پایه نظری چتجیپیتی و انقلاب فعلی هوش مصنوعی است، سال ۲۰۱۷ در NeurIPS ارائه شد.
سخنگوی NeurIPS به گاردین گفته که رشد انفجاری این حوزه باعث افزایش چشمگیر تعداد مقالات و فشار زیاد بر سیستم داوری شده است. او تأکید کرد که بیشتر مقالات ژو به کارگاههای جانبی (workshops) NeurIPS فرستاده شده که فرآیند انتخاب متفاوتی دارند و معمولاً محل ارائه کارهای پژوهشگران جوان است. اما فرید این توضیح را قانعکننده نمیداند: «این توجیهی نیست برای اینکه نامت را روی ۱۰۰ مقالهای بگذاری که به هیچ وجه نتوانستهای مشارکت معنادار داشته باشی».
مشکل فراتر از NeurIPS است. کنفرانس ICLR حتی از هوش مصنوعی برای داوری حجم عظیم مقالات استفاده کرد که نتیجهاش نظرات پر از استنادهای خیالی و بسیار طولانی با فهرستهای گلولهای بود (طبق مقالهای در مجله Nature).
احساس افول کیفیت آنقدر گسترده شده که حتی «راهحل این بحران» خودش موضوع مقالات علمی شده است. در سال ۲۰۲۵ یک مقاله موضعی (position paper) از سه پژوهشگر کرهای که به این چالشها پرداخته بود، جایزه بهترین مقاله را در کنفرانس ICML را برد.
هانی فرید میگوید شرکتهای بزرگ و حتی سازمانهای کوچک ایمنی هوش مصنوعی هم حالا همه چیز را روی arXiv میریزند؛ سایتی که قبلاً فقط برای پیشچاپهای کمخواننده ریاضی و فیزیک بود. نتیجه این کار اینترنت را با حجم عظیمی از آثاری پر کرده که به عنوان «علم» ارائه میشوند ولی استانداردهای داوری علمی را طی نکردهاند.
هزینه این وضعیت چیست؟ فرید میگوید: «دیگر هیچکس – نه روزنامهنگار، نه عموم مردم و حتی متخصصان – نمیتوانند بفهمند در ادبیات علمی هوش مصنوعی واقعاً چه خبر است. نسبت سیگنال به نویز تقریباً صفر شده است. من خودم که به این کنفرانسها میروم بهسختی میفهمم چه اتفاقی دارد میافتد».
او به دانشجویانش توصیه میکند حالا دیگر وارد پژوهش هوش مصنوعی نشوند: «اگر هدف فقط بهینه کردن تعداد مقاله است، کار سختی نیست؛ فقط کار بیکیفیت و سطحی تولید کن و کنفرانسها را بمباران کن. اما اگر میخواهی کار عمیق و دقیق انجام بدهی، عملاً خلع سلاح شدهای و در رقابت عقب میمانی».
و خلاصه کلام: «همه چیز یک آشوب کامل است».
