هوش مصنوعی چگونه نقش کاربر را در ارزیابی محصول کم‌رنگ می‌کند

کارشناس پشتیبانی و مهندس محصول در حال بررسی خطاهای ارزیابی یک ابزار هوش مصنوعی کنار مانیتور

آنچه در این مقاله مطالعه می‌کنید:

۱ آذر ۱۴۰۵

۱ آذر ۱۴۰۵

به گزارش UX Collective، سرعت بالای ساخت مدل‌ها و ابزارهای هوش مصنوعی باعث شده است کاربران در بسیاری از فرایندهای توسعه، دیرتر از گذشته وارد چرخه ارزیابی شوند. مسئله اصلی حذف کامل کاربر نیست؛ بلکه انتقال او از جایگاه تعیین‌کننده معیار درست‌بودن به نقش بازبینی‌کننده محصولی است که تیم سازنده پیش‌تر درباره آن تصمیم گرفته است.

کوتاه‌شدن مسیر ساخت مدل و حذف گفت‌وگو با کاربران

Wira Indra Kusuma در این مطلب تجربه ساخت یک مدل دسته‌بندی تیکت در سال ۲۰۱۸ را مرور می‌کند. در آن پروژه، بیشتر مشتریان گزینه «سایر» را انتخاب می‌کردند یا شکایت خود را در گروه اشتباه قرار می‌دادند؛ زیرا دسته‌بندی‌ها بر اساس نگاه شرکت طراحی شده بود، نه شیوه‌ای که مشتریان و کارکنان پشتیبانی مسئله را درک می‌کردند.

تیم پروژه پیش از کار با داده‌ها، کنار کارکنان پشتیبانی نشست و روند رسیدگی به شکایت‌ها را بررسی کرد. مدل بر اساس اقدام بعدی کارکنان ساخته شد و پس از آموزش نیز خطاهای دسته‌بندی همراه با همان کاربران مرور شد. در یکی از این بررسی‌ها مشخص شد بخشی از خطاها در واقع از برچسب‌های اولیه بوده‌اند، نه از پیش‌بینی مدل؛ به این ترتیب، کاربران عملاً تعریف می‌کردند پاسخ درست چیست.

با رواج مدل‌های زبانی بزرگ، ساخت نمونه‌ای مشابه می‌تواند به یک پرامپت و چند مثال محدود شود. این سرعت، زمان توسعه را کاهش می‌دهد، اما ممکن است گفت‌وگوی ابتدایی با کاربران را پرهزینه و قابل‌حذف جلوه دهد. نمونه اولیه خیلی زود آماده می‌شود و سپس همان نمونه، به‌جای مسئله واقعی کاربر، محور بحث قرار می‌گیرد.

وقتی سازنده، معیار موفقیت را هم تعیین می‌کند

ارزیابی خودکار نیز همیشه این فاصله را جبران نمی‌کند. بر اساس نظرسنجی سال ۲۰۲۶ شرکت Galileo که ابزارهای ارزیابی عرضه می‌کند، ۶۷ درصد تیم‌ها از یک LLM به‌عنوان داور استفاده کرده‌اند و ۹۳ درصد نیز مشکلات مهمی در قابلیت اعتماد آن گزارش داده‌اند. نویسنده تأکید می‌کند که این آمار متعلق به یک فروشنده ابزار ارزیابی است و باید با احتیاط خوانده شود.

خطر اصلی زمانی شکل می‌گیرد که سازنده، دستورالعمل داوری و معیار موفقیت را بنویسد و خروجی نیز با مدلی دیگر سنجیده شود. در این چرخه بسته، امتیازها می‌توانند منظم و قابل‌اندازه‌گیری باشند، اما تجربه افرادی که واقعاً با محصول کار می‌کنند در تعریف «درست» سهم کمی دارد.

برای تیم‌های توسعه نرم‌افزار و طراحی محصول، راهکار پیشنهادی ساده است: هنگام بررسی مجموعه ارزیابی، کاربران واقعی نیز خطاها و خروجی‌ها را موردبه‌مورد بخوانند. جمع‌بندی مطلب این است که سرعت هوش مصنوعی ارزشمند است، اما مشارکت آگاهانه کاربران باید دوباره به بخشی از تعریف کیفیت محصول تبدیل شود.