کلودفلر به جنگ ربات‌های هوش مصنوعی می رود

به گزارش اینتیتر به نقل از تک ناک، برخی از ارائه‌دهندگان هوش مصنوعی، از جمله گوگل، OpenAI و اپل، به صاحبان وب‌سایت اجازه می‌دهند تا با اصلاح فایل robots.txt وب‌سایت خود، بات‌هایی را که برای جمع‌آوری داده‌ها و آموزش مدل‌ها استفاده می‌کنند، مسدود سازند. این فایل متنی به بات‌ها می‌گوید که به کدام صفحات وب‌سایت می‌توانند دسترسی داشته باشند. امّا همان‌گونه که کلودفلر در پستی برای اعلام ابزار مبارزه با بات‌های خود اشاره می‌کند، تمام وب‌ربایان هوش مصنوعی به این قوانین احترام نمی‌گذارند.

به نقل از  رسانۀ TechCrunch، این شرکت در وبلاگ رسمی خود می‌نویسد:

«مشتریان نمی‌خواهند بات‌های هوش مصنوعی از وب‌سایت‌هایشان بازدید کنند، به‌ویژه آنهایی که این کار را به طور غیرقانونی انجام می‌دهند.» «ما نگرانیم که برخی از شرکت‌های هوش مصنوعی که قصد دور زدن قوانین برای دسترسی به محتوا را دارند، به‌طور مداوم برای فرار از تشخیص بات‌ها سازگار شوند.»

بنابراین، کلودفلر برای رفع این مشکل، ترافیک بات‌های هوش مصنوعی و خزنده‌ها را برای تنظیم دقیق مدل‌های تشخیص خودکار بات‌ها تجزیه و تحلیل کرد. این مدل‌ها علاوه بر عوامل دیگر، در نظر می‌گیرند که آیا یک بات هوش مصنوعی ممکن است با تقلید ظاهر و رفتار شخصی که از یک مرورگر وب استفاده می‌کند، سعی در فرار از تشخیص داشته باشد. شرکت کلودفلر در این باره می‌نویسد:

«هنگامی که عوامل مخرب در مقیاس وسیع اقدام به خزیدن وب‌سایت‌ها می‌کنند، اغلب از ابزارها و چارچوب‌هایی استفاده می‌کنند که ما قادر به ردیابی اثر انگشت آنها هستیم.» «بر اساس این سیگنال‌ها، مدل‌های ما می‌توانند ترافیک ناشی از بات‌های هوش مصنوعی فرارکننده را به عنوان بات‌ها پرچم‌گذاری کنند.»

کلودفلر فرمی را برای میزبانان در راستای گزارش مشکوک شدن به بات‌های هوش مصنوعی و خزنده‌ها ایجاد کرده است و می‌گوید که به مرور زمان به لیست سیاه دستی بات‌های هوش مصنوعی ادامه خواهد داد.

با رونق هوش مصنوعی تولیدکننده و افزایش تقاضا برای داده‌های آموزش مدل، مشکل بات‌های هوش مصنوعی به شدت مورد توجه قرار گرفته است.

بسیاری از وب‌سایت‌ها که از آموزش مدل‌ها بر روی محتوای خود توسط ارائه‌دهندگان هوش مصنوعی بدون اطلاع یا جبران خسارت به آنها بیم دارند، تصمیم به مسدود کردن وب‌ربایان و خزنده‌های هوش مصنوعی گرفته‌اند. بر اساس یک مطالعه، حدود 26 درصد از 1000 وب‌سایت برتر وب، بات OpenAI را مسدود کرده‌اند و مطالعۀ دیگری مسدودسازی این بات توسط بیش از 600 ناشر اخبار را نشان داد.

با وجود این، مسدود کردن یک راه‌حل قطعی نیست. همان‌طور که قبلاً اشاره شد، به نظر می‌رسد برخی از ارائه‌دهندگان برای به دست آوردن مزیت رقابتی در هوش مصنوعی، از قوانین استاندارد حذف بات‌ها چشم‌پوشی می‌کنند. به تازگی موتور جستجوی هوش مصنوعی Perplexity متهم به جعل هویت بازدیدکنندگان مشروع برای وب‌ربایی محتوا از وب‌سایت‌ها شده است و گفته می‌شود OpenAI و Anthropic گاهی اوقات قوانین robots.txt را نادیده گرفته‌اند.

شرکت نوپای صدور مجوز محتوا، TollBit، در ماه گذشته در نامه‌ای به ناشران اعلام کرد که در واقع «بسیاری از عوامل هوش مصنوعی» استاندارد robots.txt را نادیده می‌گیرند.

ابزارهایی مانند ابزار کلودفلر می‌توانند مفید باشند، امّا تنها در صورتی که در تشخیص بات‌های هوش مصنوعی پنهانی دقیق عمل کنند. هر چند آنها مشکل پیچیده‌تر ناشران را که ریسک به خطر افتادن ترافیک ارجاعی از ابزارهای هوش مصنوعی مانند Google AI Overviews را دارند، حل نمی‌کنند. این ابزارها وب‌سایت‌هایی را که خزنده‌های خاص هوش مصنوعی را مسدود می‌سازند، از فهرست خود حذف می‌کنند.