محققان موسسه Skoltech و همکاران آن‌ها از Mobile TeleSystems مفهوم «پیام‌های متنی نامناسب» را معرفی کرده و یک مدل عصبی با قابلیت تشخیص عبارات نامناسب را آموزش داده‌اند و به همراه مجموعه بزرگی از پیام‌های این چنینی منتشر کرده‌اند تا بتوان از آن در مطالعات آتی نیز استفاده کرد. از جمله کاربردهای بالقوه این مدل جدید می‌توان به جلوگیری از سرافکندگی شرکت‌ها بخاطر اشتباهات چت‌بات‌هایشان، مدیریت پست‌های منتشرشده در انجمن‌های آنلاین و کنترل فرزندان توسط والدین اشاره کرد.
یکی از عواملی که باعث بدنامی چت‌بات‌ها شده، خلاقیت آن‌ها در یافتن راه‌های مختلف برای سرافکنده کردن مالک خود است. از تولید توییت‌های نژادپرستانه پس از آموزش داده شدن روی داده‌های تولید شده توسط کاربر گرفته تا تشویق افراد به خودکشی و تأیید برده‌داری، چت‌بات‌ها سابقه بدی در برخورد با آنچه نویسندگان این مقاله آن را «موضوعات حساس» می‌نامند، دارند.
موضوعات حساس چه هستند؟
موضوعات حساس موضوعاتی هستند که در صورت نقض شدن باعث بالا گرفتن بحث‌های توهین‌آمیز می‌شوند. اصولاً بحث کردن درباره این موضوعات در جامعه غیرقابل‌قبول نیست، اما به لحاظ آماری، صحبت کردن در خصوص این موضوعات با احتمال بالاتری به شهرت گوینده آسیب می‌رساند و بنابراین توسعه‌دهندگان چت‌بات‌های شرکتی باید توجه خاصی نسبت به این موضوعات داشته باشند. نویسندگان مقاله مذکور با توجه به توصیه‌های مدیران روابط عمومی و مقامات قانونی TeleSystems Mobile، ۱۸ موضوع از قبیل اقلیت‌های جنسی، سیاست، دین، خودکشی و جنایت را در گروه موضوعات حساس قرار داده‌اند. این تیم لیست مذکور را تنها نقطه‌ای برای شروع می‌داند و هیچ ادعایی در خصوص کامل و جامع بودن آن ندارد.
این مقاله با تکیه بر مفهوم موضوعات حساس، مفهومی با عنوان «اظهارات و عبارات نامناسب» را نیز ارائه می‌کند. این اظهارات لزوماً آزاردهنده نیستند، اما می‌توانند خواننده را ناامید کرده و به شهرت و اعتبار گوینده آسیب برسانند. موضوع عبارات نامناسب، مبحث حساسی است. در این پژوهش، قضاوت انسان در مورد اینکه آیا یک پیام اعتبار گوینده را در معرض خطر قرار می‌دهد یا نه، معیار اصلی برای تعیین مناسب بودن اظهارات درنظر گرفته شده است.
الکساندر پانچنکو، استادیار موسسه Skoltechو نویسنده ارشد این مقاله اظهار داشت: «نامناسب بودن یک گام فراتر از مفهوم شناخته‌شده آزاردهنده بودن است. این مفهوم ظرافت بیشتری دارد و طیف وسیع‌تری از شرایطی که در آن شهرت صاحب چت‌بات در معرض خطر قرار می‌گیرد را در بر دارد. به عنوان مثال، یک چت‌بات را در نظر بگیرید که در میانه یک گفتوگوی مودبانه و مثبت به صحبت در مورد «بهترین روش‌ها» برای خودکشی می‌پردازد. این چت‌بات به وضوح دارد محتوای مشکل‌زا تولید می‌کند، بدون آن که توهینی کرده باشد.»
آموزش مدل‌های عصبی برای تشخیص موضوعات حساس
به منظور آموزش مدل‌های عصبی برای تشخیص موضوعات حساس و پیام‌های نامناسب، تیم مربوطه دو دیتاست برچسب‌دار را از طریق یک پروژه بزرگ و جمعی تهیه کردند.
در مرحله اول، گویندگان زبان روسی وظیفه داشتند اظهارات مربوط به یک موضوع حساس را در میان پیام‌های معمولی شناسایی کرده و موضوع موردنظر را تشخیص دهند. نمونه‌های متنی برای این کار از یک سامانه پرسش و پاسخ روسی و یک وب‌سایت مشابه رددیت (Reddit) استخراج شده بود. سپس «دیتاست حساس» حاصله برای آموزش یک مدل کلاسیفایر استفاده شد. این مدل جملات بیشتری را در همان وب‌سایت‌ها پیدا کرد و به این ترتیب حجم داده ها در دیتاست تقریباً دو برابر شد.
سپس افرادی که مسئول برچسب زدن دیتاست جدید بودند، عبارات نامناسب را مشخص کردند. واروارا لوگاچوا، یکی از نویسندگان این مقاله، توضیح داد: «درصد عبارات نامناسب در متون واقعی معمولاً کم است. بنابراین، برای مقرون به صرفه بودن این کار، ما در مرحله دوم پیام‌های دلخواه را برای برچسب‌گذاری ارائه نکردیم. در عوض، پیام‌ها را از مجموعه موضوعات حساس انتخاب کردیم، زیرا وجود عبارات نامناسب در این نوع محتوا منطقی‌تر است.» اساساً افرادی که مسئول برچسب زدن بودند مجبور بودند به این سوال پاسخ دهند: «آیا این پیام به اعتبار شرکت لطمه می‌زند؟» به این ترتیب، یک مجموعه حاوی اظهارات نامناسب به دست آمد که در نهایت برای آموزش یک مدل عصبی برای تشخیص پیام‌های نامناسب استفاده شد.
موفقیت شبکه‌های عصبی
نیکولای باباکوف، یکی دیگر از نویسندگان مقالهSkoltech اظهار داشت: «ما نشان دادیم که علی‌رغم این که مفاهیم حساسیت موضوع و نامناسب بودن پیام مفاهیم پیچیده‌ای هستند و متکی بر قدرت شهودی انسان می‌باشند، شبکه های عصبی می‌توانند آن‌ها را شناسایی کنند. کلاسیفایر ما توانست در ۸۹٪ موارد به درستی حدس بزند که اگر یک انسان مسئول برچسب‌گذاری یک جمله بود، کدام عبارت را نامناسب درنظر می‌گرفت.»
هر دو مدل تشخیص حساسیت و مناسب بودن و دیتاست‌های آن‌ها با حدود ۱۶۳۰۰۰ جمله برچسب‌دار برای تشخیص (عدم) مناسب بودن و حدود ۳۳۰۰۰ جمله مربوط به موضوعات حساس که توسط تیم MTS-Skoltech تهیه شده‌اند، در دسترس عموم قرار گرفته‌اند.
باباکوف افزود: «این مدل‌ها را می‌توان با ترکیب یا استفاده از معماری‌های دیگر بهبود بخشید. یکی از راه‌های جالب برای توسعه این پروژه، تعمیم مفاهیم مناسب بودن به زبان‌های دیگر است. حساسیت موضوعات نیز تا حد زیادی به فرهنگ هر جامعه بستگی دارد. موضوعات نامناسب از نظر هر فرهنگ متفاوتند. بنابراین برای کار کردن با دیگر زبان‌ها با شرایطی کاملاً متفاوت روبه‌رو خواهیم بود. یکی دیگر از حوزه‌های مطالعاتی در این خصوص می‌تواند پیدا کردن موضوعات حساس دیگر باشد.»
منبع: هوشیو
