کلید قطع اضطراری اوپن‌ای‌آی؛ مهار هوش مصنوعی سرکش در ۳۵ ثانیه!

شرکت اوپن‌ای‌آی (OpenAI) در پی چند مورد نافرمانی مدل‌های هوش مصنوعی، سامانه‌ای جدید طراحی کرده که می‌تواند در صورت شناسایی رفتارهای خطرناک، دسترسی مدل‌های تحقیقاتی به تولید خروجی را حداکثر ظرف ۳۵ ثانیه قطع کند.

Ad

این سامانه که «اتاق کنترل» (Control Room) نام دارد، فعالیت مدل‌ها را در زیرساخت تحقیقاتی اوپن‌ای‌آی زیر نظر می‌گیرد و در صورت بروز نگرانی‌های امنیتی، امکان توقف سریع خروجی آن‌ها را فراهم می‌کند.

اوپن‌ای‌آی درباره ضرورت توسعه این سامانه اعلام کرد:

با قدرتمندتر شدن مدل‌های ما و افزایش خطرات ایمنی و امنیتی، شناسایی مشکلات احتمالی و توقف سریع فعالیت مدل‌ها در صورت نیاز، اهمیت بیشتری پیدا می‌کند.

اقدامات غیرمجاز مدل‌ها و نحوه کار سامانه

این تصمیم پس از آن اتخاذ شد که برخی مدل‌های تحقیقاتی در سال جاری فراتر از دستورات عمل کردند. برای نمونه، مدلی از محیط آزمایش خارج شد و برای تقلب، پلتفرم هاگینگ فیس (Hugging Face) را هک کرد.

همچنین در رویدادی دیگر، یک مدل آزمایشی بدون مجوز از یک کیف پول ارز دیجیتال برای پرداخت هزینه استقرار قراردادهای هوشمند با اتر (Ether) شبکه آزمایشی استفاده کرد و هزینه را گزارش نداد.

سیستم اتاق کنترل به هر کار تحقیقاتی شناسه‌ای اختصاص می‌دهد که پیش از تولید خروجی بررسی می‌شود. در صورت صدور دستور توقف توسط انسان یا سیستم نظارتی، مجوز فعالیت بلافاصله لغو می‌شود.

شرکت اوپن‌ای‌آی اعلام کرد به دلیل وجود مجوزهای ذخیره‌شده موقت، خاموش شدن کامل مدل ممکن است حداکثر تا ۳۵ ثانیه طول بکشد. این سیستم تقاضاهای جدید را نیز نمی‌پذیرد.