OpenAI توسعه مدل هوش مصنوعی Astra را بهدلیل نگرانیهای امنیتی متوقف کرد
شرکت OpenAI اعلام کرد بخشی از فعالیتهای مربوط به مدل هوش مصنوعی Astra را بهدلیل افزایش نگرانیها درباره توانایی این مدل در شناسایی آسیبپذیریها و اجرای حملات سایبری بدون دخالت انسان متوقف میکند؛ تصمیمی که همزمان با افزایش نگرانیها درباره کنترلپذیری عاملهای هوش مصنوعی اتخاذ شده است.
به گزارش اینتیتر، شرکت OpenAI اعلام کرده است بخشی از فعالیتهای مربوط به مدل هوش مصنوعی Astra را بهدلیل نگرانیهای امنیتی متوقف خواهد کرد؛ تصمیمی که پس از انتشار گزارشهایی درباره خروج برخی عاملهای هوش مصنوعی از محیطهای کنترلشده و انجام اقدامات غیرمنتظره اتخاذ شده است.
به گزارش گاردین، OpenAI در ارزیابیهای خود از Astra اعلام کرده که این مدل در زمینه کدنویسی خودکار و امنیت سایبری پیشرفت قابلتوجهی داشته است. این پیشرفتها به سطحی رسیدهاند که از نظر این شرکت، تواناییهای مدل در حوزه امنیت سایبری وارد یک آستانه بحرانی شده است.
بر اساس توضیحات OpenAI، Astra میتواند بدون دخالت انسان برخی آسیبپذیریها را شناسایی و از آنها سوءاستفاده کند یا زمانی که تنها یک هدف کلی در اختیارش قرار داده شود، حملات سایبری را طراحی و اجرا کند.
با این حال، OpenAI تأکید کرده است که Astra در حادثهای که طی آن یکی از عاملهای هوش مصنوعی این شرکت در جریان یک آزمایش از محیط کنترلشده خارج شد، نقشی نداشته است. در آن حادثه، عامل هوش مصنوعی به اینترنت عمومی دسترسی پیدا کرد و یک شرکت نوپا به نام Hugging Face را هک کرد. رویترز در ماه ژوئیه نیز از موارد دیگری خبر داده بود که در آنها عاملهای خودکار هوش مصنوعی از محیطهای آزمایشی خارج شده بودند.
نگرانی درباره کنترل عاملهای هوش مصنوعی
انتشار این گزارشها نگرانیها درباره سرعت پیشرفت مدلهای هوش مصنوعی و توانایی انسان برای کنترل آنها را افزایش داده است.
با این حال، منتقدان صنعت هوش مصنوعی هشدار دادهاند که افشای چنین مواردی از سوی شرکتهایی مانند OpenAI، Anthropic و Meta ممکن است تا حدی با هدف نمایش قدرت مدلهای جدید و افزایش جذابیت آنها برای سرمایهگذاران انجام شود.
OpenAI برای جلوگیری از رفتارهای خارج از کنترل عاملهای هوش مصنوعی اعلام کرده است که قصد دارد کنترلهای امنیتی سختگیرانهتری را برای مدلهای دارای قابلیتهای پیشرفته و فعالیتهای مرتبط با آنها اعمال کند.
این اقدامات شامل استفاده از محیطهای آزمایشی ایزوله، محدود کردن دسترسی مدلها به شبکه و ابزارها، حفاظت پیشرفتهتر از وزنهای مدل، رمزگذاری و همچنین افزایش قابلیتهای نظارت و شناسایی رفتارهای غیرعادی خواهد بود.
این شرکت همچنین اعلام کرده است فعالیتهای داخلی مرتبط با Astra که با الزامات امنیتی جدید مطابقت نداشته باشند، متوقف خواهند شد.
OpenAI در بیانیه خود تأکید کرده است که برای اطمینان از استفاده مسئولانه از قابلیتهای پیشرفته مدلهایی مانند Astra و نسلهای بعدی آنها، با دولتها، مؤسسات ایمنی و جامعه مدنی همکاری خواهد کرد.
عاملهای هوش مصنوعی در آزمایشهای امنیت سایبری
این نگرانیها تنها به OpenAI محدود نمیشود. Meta نیز در همین هفته اعلام کرد یکی از مدلهای هوش مصنوعی این شرکت در جریان آزمایشهای امنیت سایبری توانسته بود به یک شرکت دیگر نفوذ کند.
از سوی دیگر، مؤسسه ایمنی هوش مصنوعی بریتانیا (AISI) در چهارم اوت اعلام کرد عاملهایی که از مدلهای OpenAI و Anthropic استفاده میکردند، در جریان یک چالش امنیت سایبری، ایمیلهای هدفمندی برای توسعهدهندگان نرمافزار ارسال کردهاند.
به گفته این مؤسسه، این تلاشها موفقیتآمیز نبودند و بررسیهای انجامشده نیز هیچ نشانهای از آسیب واقعی در دنیای خارج از محیط آزمایش نشان نداده است.
با این حال، AISI اعلام کرد این نخستین بار بوده که خطرات مرتبط با خودمختاری و فریبکاری عاملهای هوش مصنوعی بدون دریافت دستورالعمل مشخص، به این شکل آشکار در دنیای واقعی ظاهر شده است.
این مؤسسه در عین حال تأکید کرده که ارسال نرمافزار مخرب از سوی مدلها به معنای «فرار مدل از محیط آزمایشی امن» نبوده است؛ زیرا پژوهشگران عمداً دسترسی به اینترنت را برای ارزیابی حداکثر توانایی مدلها فراهم کرده بودند.
با وجود این، AISI هشدار داده است که این رفتار امکانپذیر، پایدار و جدید بوده و همین موضوع بهتنهایی نیازمند توجه جدی است.
افزایش فشار برای تدوین قوانین ایمنی هوش مصنوعی
این تحولات در شرایطی رخ دادهاند که دولت دونالد ترامپ در حال نهایی کردن چارچوبی برای نحوه آزمایش مدلهای هوش مصنوعی از نظر خطرات امنیتی و سایبری است.
OpenAI و Anthropic که در رقابت فزایندهای با شرکتهای چینی و دیگر فعالان صنعت هوش مصنوعی قرار دارند، پیشتر درباره خطرات مدلهای متنباز هشدار دادهاند.
مدلهای متنباز به مدلهایی گفته میشود که کد یا بخشهای زیربنایی آنها برای مشاهده و در برخی موارد تغییر در دسترس عموم قرار دارد. این شرکتها معتقدند چنین مدلهایی میتوانند خطرات امنیتی بیشتری ایجاد کنند و به همین دلیل خواستار وضع مقررات فدرال بیشتر در این زمینه شدهاند.
توقف بخشی از فعالیتهای مرتبط با Astra نشان میدهد که همزمان با افزایش توانایی عاملهای هوش مصنوعی در انجام مستقل وظایف پیچیده، مسئله کنترل، امنیت و جلوگیری از سوءاستفاده از این فناوری نیز به یکی از مهمترین چالشهای پیش روی شرکتهای فعال در حوزه هوش مصنوعی تبدیل شده است.
