به گزارش Salesforce، تیم پژوهش هوش مصنوعی این شرکت در حال توسعه Launa-Omni است؛ مدلی صوتی که مکالمه دوطرفه و هم‌زمان را برای محیط‌های سازمانی مدیریت می‌کند. نتایج تازه ارزیابی‌ها نشان می‌دهد این مدل با وجود ابعاد کوچک‌تر از چند مدل صوتی پیشرو، در پیروی از دستورها، گفت‌وگوی چندمرحله‌ای و وظایف خدمات مشتری عملکردی رقابتی دارد.
Launa-Omni چگونه مکالمه صوتی را پردازش می‌کند؟
هسته Launa-Omni یک مدل متنی سازگارشده با صوت است که گفتار و زبان را در فضای نهفته مشترکی پردازش می‌کند. سپس یک مدل تبدیل متن به گفتار که درون شرکت آموزش دیده است، پاسخ نهایی را با صدا ارائه می‌دهد. این معماری، برخلاف مدل‌های کاملاً گفتاربه‌گفتار، پاسخ متنی را پیش از پخش صدا قابل مشاهده نگه می‌دارد؛ بنابراین تیم‌ها می‌توانند خروجی را بررسی، اصلاح و هدایت کنند.
این انتخاب همچنین با سامانه‌های صوتی زنجیره‌ای تفاوت دارد. در آن سامانه‌ها، تشخیص گفتار، مدل زبانی و تولید صوت به‌صورت جداگانه و پشت سر هم فعالیت می‌کنند؛ فرایندی که ممکن است مکث ایجاد کند و بخشی از نشانه‌های صوتی مانند آهنگ، تأکید و تردید را از بین ببرد. Launa-Omni تلاش می‌کند اطلاعات صوتی را هنگام استدلال حفظ کند و در عین حال، شفافیت پاسخ متنی را از دست ندهد.
سامانه هم‌زمان این مدل پایان نوبت صحبت کاربر را تشخیص می‌دهد تا پاسخ بدون تأخیر غیرضروری آغاز شود. مدل همچنین برای تشخیص دقیق‌تر نام‌ها، تاریخ‌ها، شناسه‌های حرفی‌عددی و اصطلاحات تخصصی قابل شخصی‌سازی و تنظیم دقیق است؛ ویژگی‌هایی که در مکالمات مرتبط با پرونده مشتری، گردش‌کار یا تصمیم‌های سازمانی اهمیت دارند.
نتایج ارزیابی‌های مدل صوتی جدید
Launa-Omni در آزمون Audio MultiChallenge و طی سه اجرا، میانگین ۵۹٫۶۹ درصد را ثبت کرده است؛ در حالی که بالاترین امتیاز عمومی نمایش‌داده‌شده در این آزمون ۶۰٫۴۰ درصد بود. این ارزیابی توانایی گفت‌وگوی صوتی چندمرحله‌ای و حفظ دستورها را می‌سنجد.
همان نسخه مدل در VoiceBench امتیاز ۹۰٫۶۰ درصد به دست آورد؛ معیاری که پیروی از دستور، استدلال و ایمنی را در ۹ مجموعه‌داده بررسی می‌کند. Launa-Omni همچنین با یک سامانه اجرایی سفارشی در آزمون τ³-Voice به امتیاز کلان ۷۲٫۹ درصد رسید؛ آزمونی برای وظایف صوتی خدمات مشتری در حوزه‌های خرده‌فروشی، هواپیمایی و مخابرات.
برای درخواست‌هایی که به استدلال طولانی‌تر، جست‌وجو یا اجرای کاری پیچیده نیاز دارند، این مدل می‌تواند در کنار یک مدل پیشرفته‌تر قرار گیرد؛ در این حالت، صدا رابط تعامل باقی می‌ماند و پردازش عمیق‌تر به سامانه مناسب سپرده می‌شود. نسخه‌ای ساده‌شده از این فناوری نیز اکنون در قابلیت Slackbot Voice Dictation برای تبدیل گفتار به متن در دسترس کاربران Slack است.
در مجموع، Launa-Omni رویکردی برای ترکیب سرعت مکالمه طبیعی با امکان نظارت بر پاسخ‌ها ارائه می‌کند. نتایج اعلام‌شده می‌تواند برای تیم‌های توسعه نرم‌افزار و کسب‌وکارهایی که به دنبال اتوماسیون فرایندهای سازمانی و ساخت دستیارهای صوتی قابل کنترل هستند، قابل توجه باشد.
