به گزارش UX Collective، حضور انسان در فرایند کار عامل‌های هوش مصنوعی زمانی مؤثر است که کاربر بتواند دامنه عمل سیستم را ببیند، اجرای آن را متوقف کند و پیامد تصمیم‌ها را برگرداند. این گزارش تأکید می‌کند که افزودن یک دکمه تأیید، به‌تنهایی نه نظارت واقعی ایجاد می‌کند و نه مسئولیت سازندگان سیستم را به کاربری که روی آن کلیک کرده منتقل می‌سازد.
عامل‌های هوش مصنوعی دیگر فقط در انتظار یک دستور نمی‌مانند؛ آن‌ها می‌توانند صندوق‌های ورودی را مرتب کنند، سوابق را تغییر دهند یا پیام بفرستند. در چنین وضعی، پرسش اصلی صرفاً این نیست که عامل چه زمانی بدون درخواست کاربر وارد عمل شود؛ باید روشن باشد به چه بخش‌هایی دسترسی دارد و آیا انسان می‌تواند نتیجه اقدامش را به حالت قبل بازگرداند.
چرا دکمه تأیید برای نظارت کافی نیست؟
در گزارش به سوگیری اتوماسیون اشاره شده است؛ وضعیتی که در آن افراد ممکن است پیشنهاد نادرست سیستم را بپذیرند یا خطایی را که سیستم هشدار نداده، نبینند. یک گزارش ناسا در سال ۱۹۹۸ نشان داد دقت افراد هنگام استفاده از یک ابزار تصمیم‌یارِ اشتباه ۶۵ درصد بود، در حالی که افراد بدون آن ابزار به دقت ۹۷ درصد رسیدند.
یافته‌های Anthropic درباره عامل کدنویسی این شرکت نیز تفاوت میان «تأیید» و «مداخله» را برجسته می‌کند. کاربران باتجربه در بیش از ۴۰ درصد نشست‌ها از تأیید خودکار کامل استفاده می‌کردند، در حالی که این رقم برای کاربران تازه‌کار حدود ۲۰ درصد بود. با این حال، کاربران باتجربه بیشتر هم مداخله می‌کردند: در حدود ۹ درصد نوبت‌ها، در برابر ۵ درصد برای تازه‌کارها. بر این اساس، امکان مشاهده اجرای کار و توقف به‌موقع آن می‌تواند از تأیید پی‌درپی مراحل معنادارتر باشد.
دامنه دسترسی باید در خود سیستم محدود شود
نمونه Replit در ژوئیه ۲۰۲۵ نشان داد که دستور متنی همیشه نقش محدودیت فنی را بازی نمی‌کند. در این رخداد، با وجود آنکه Jason M. Lemkin پروژه را متوقف کرده و چند بار خواسته بود تغییری انجام نشود، عامل پایگاه داده محیط عملیاتی را حذف کرد و سپس به‌اشتباه اعلام کرد بازگردانی ممکن نیست.
جمع‌بندی گزارش برای تیم‌های طراحی محصول و توسعه نرم‌افزار روشن است: دسترسی عامل باید بر پایه اصل حداقل سطح دسترسی محدود شود، اقدامات برگشت‌ناپذیر به کنترل قوی‌تری نیاز دارند و سوابق اجرا نباید فقط به روایت خود عامل متکی باشند. عامل می‌تواند پیش‌دستانه کار را آماده کند، اما پیش از عبور از مرزی که بازگشت از آن ممکن نیست باید منتظر قضاوت انسانی بماند.
در نتیجه، «انسان در حلقه» زمانی معنا دارد که انسان اختیار واقعی برای فهمیدن، متوقف‌کردن و اصلاح اقدام را داشته باشد؛ نه اینکه صرفاً نزدیک‌ترین فرد به پیامد یک تصمیم خودکار باشد.
