وقتی یک مدل هوش مصنوعی اطلاعات کافی درباره شرکت شما ندارد، این موضوع را به کاربر اعلام نمیکند. این مدلها هرگز از پاسخ دادن خودداری نمیکنند، تردید نشان نمیدهند و مرزهای پایان اطلاعات مستند خود را مشخص نمیسازند. در عوض، هوش مصنوعی به سراغ نزدیکترین موضوع مستند میرود که معمولاً یک رقیب، میانگین صنعت یا نسخهای از شرکت شما در سه سال گذشته است؛ سپس این اطلاعات جایگزین را با همان لحن مطمئن و قاطعانهای ارائه میدهد که در زمان داشتن اطلاعات واقعی به کار میبرد.
دواین فارستر (Duane Forrester)، تحلیلگر حوزه بازاریابی، معتقد است که این پدیده فراتر از یک خطای ساده است. آنچه که مدیران برند را باید نگران کند این است که چنین مشکلی با ممیزیهای سنتی محتوا (Content Audit) قابل شناسایی نیست. ممیزیهای محتوا همواره آنچه را که وجود دارد بررسی میکنند: صفحات، ساختار، پوشش موضوعی، دقت و تازگی مطالب. اما این شکست در جایی رخ میدهد که چیزی وجود ندارد؛ در فضایی که مالکیت آن در اختیار شما نیست و تنها زمانی آشکار میشود که کاربری سوالی بپرسد که شما هرگز آن را نخواهید دید.
چرا ممیزیهای سنتی محتوا این مشکل را نشان نمیدهند؟
در این شرایط، ممیزیهای فنی شما ممکن است کاملاً بینقص باشند؛ صفحات وب به درستی کار میکنند، نشانهگذاریهای اسکیما (Schema) تایید میشوند و پوشش محتوایی شما در مقایسه با رقبا منطقی به نظر میرسد. با این حال، مدل هوش مصنوعی همچنان ادعایی را درباره شرکت شما مطرح میکند که هیچیک از صفحات شما از آن پشتیبانی نمیکنند و هیچ صفحهای هم نمیتوانست مانع از تولید آن شود.
مکانیسم این اتفاق به خوبی مستند شده است. مدلهای زبانی بزرگ بهویژه در مواجهه با دانش واقعی کمتکرار (less popular factual knowledge) دچار مشکل میشوند. بزرگتر کردن ابعاد مدلها عمدتاً بازیابی حقایق محبوب و پر تکرار را بهبود میبخشد، اما برای بخش انتهایی نمودار توزیع یا همان «دنباله ضعیف» (tail) کارایی چندانی ندارد. افزایش مقیاس مدلها قرار نیست به تولیدکنندگان متوسط یا شرکتهای خدماتی منطقهای کمکی کند؛ بخش نازک توزیع اطلاعات همچنان نازک باقی میماند.
لانگپری (Longpre) و همکارانش در پژوهش خود در سال ۲۰۲۱ (EMNLP 2021) درباره «تعارضات دانش» (knowledge conflicts)، میزان اتکای مدلها به اطلاعات حفظشده در مقایسه با خواندن متن مقابل خود را اندازهگیری کردند. مسئله اصلی این است که آیا مدل تمایل به توهم (Hallucination) دارد یا خواندن واقعی متن. رفتار مدل در مواجهه با کمبود داده، امتناع از پاسخگویی نیست، بلکه تولید مطمئن پاسخ بر اساس وزنهای آماری موجود در شبکه عصبی خود است.
این پدیده با توهم تصادفی متفاوت است. توهمات عمومی تصادفی هستند و مواردی مانند ارجاع به پروندههای حقوقی جعلی یا آمارهای ساختگی را شامل میشوند که در مدلهای جدیدتر کاهش یافتهاند. اما پدیده «جایگزینی سیستماتیک» کاملاً جهتدار و بر اساس شکل شواهد موجود قابل پیشبینی است. وقتی با یک «موجودیت کمداده» (sparse entity) و یک «همسایه پرداده» (dense neighbor) مواجه شویم، مدل به طور سیستماتیک به سمت همسایه متمایل میشود. این امر در همان جهتی رخ میدهد که گرادیان توزیع دادههای آموزشی به آن اشاره دارد، نه به عنوان یک خطای تصادفی در نمونهگیری؛ به همین دلیل است که ادعای کاهش توهم در مدلهای جدیدتر، این مشکل خاص را حل نمیکند.
فارستر به نمونهای از یک مقاله تبلیغاتی اشاره میکند که برای تیمهای برندینگ نوشته شده بود و درباره توهم هوش مصنوعی در خصوص جزئیات محصولات هشدار میداد. نویسنده این مقاله برای اثبات ادعای خود از نقلقولی منتسب به پرسی لیانگ (Percy Liang)، مدیر مرکز تحقیقات مدلهای بنیادین استنفورد (Stanford’s Center for Research on Foundation Models) استفاده کرده بود. با این حال، این نقلقول در هیچ سند، سخنرانی یا مصاحبه دیگری در وب یافت نمیشود. این مقاله همچنین نقلقولهایی از دو چهره رسانهای معروف آورده بود که وجود خارجی ندارند و نرخ توهمی را به گزارش شاخص هوش مصنوعی استنفورد (Stanford HAI AI Index) نسبت داده بود که لینک آن تنها به صفحه اصلی سایت ارجاع میداد. ارجاعهای متعدد دیگری نیز به گزارشهای نیلسن (Nielsen)، گارتنر (Gartner)، کارگروه IAB و مطالعه ارزیابی امآیتی اسلون (MIT Sloan) وجود داشت که همگی به صفحه اصلی سازمانها لینک داده شده بودند و نه به سند واقعی. این نشان میدهد که چگونه مکانیسم جایگزینی از ماشین خارج شده و وارد محتوای تولیدی انسانها میشود تا در نهایت دوباره به خورد مدلهای بعدی برود.
چهار شکل مختلف «جایگزینی» اطلاعات توسط هوش مصنوعی
پدیده جایگزینی اطلاعات به چهار شکل متمایز رخ میدهد که هر کدام معمولاً به اشتباه به عنوان مشکل دیگری تشخیص داده میشوند:
- قیاس خاموش (Silent Analogy): مدل به سراغ نزدیکترین همسایه با اطلاعات غنی میرود و آن را به عنوان ویژگیهای شما توصیف میکند. برای مثال، مدل قیمتگذاری رقیب بزرگتر شما یا جدول زمانی اجرای پروژههای صنعت را به عنوان مدل شما معرفی میکند، بدون اینکه اشارهای به این جابهجایی کند.
- ارائه اطلاعات کهنه به عنوان اطلاعات روز (Staleness presented as currency):** مدل نسخهای قدیمی از شرکت شما را که در گذشته صحت داشته است، با زمان حال تطبیق میدهد؛ مانند معرفی محصولات توقفتولیدشده، مدیران سابق یا بیانیههای موقعیتیابی قدیمی.
- برخورد با شواهد ضعیف با اعتمادبهنفس بالا (Thin evidence handled with the confidence of thick evidence): مدل تفاوتی بین یک گزارش وبلاگی ساده و ۴۰ منبع مستقل قائل نمیشود و ادعای ضعیف را به عنوان یک اجماع کلی و قطعی ارائه میدهد.
- اعمال دانش دستهبندی بر یک شرکت خاص (Category knowledge applied to a specific company): مدل اطلاعات زیادی درباره صنعت شما دارد اما درباره خود شما چیزی نمیداند؛ بنابراین پاسخ مربوط به کل صنعت را به نام شرکت شما سند میزند.
چرا تولید محتوای بیشتر راهحل قطعی نیست؟
پاسخ طبیعی بسیاری از مدیران بازاریابی به این مشکل، انتشار محتوای بیشتر برای پر کردن شکافها است. با این حال، پژوهش شیاوولینو (Sciavolino) و همکارانش در سال ۲۰۲۱ (EMNLP 2021) درباره سوالات موجودیتمحور نشان داد که سیستمهای بازیابی متراکم (dense retrievers) در مواجهه با سوالات غنی از موجودیت، عملکرد بسیار ضعیفتری نسبت به روشهای پراکنده (sparse methods) دارند و تنها برای موجودیتهای رایج به خوبی تعمیم مییابند. همان سوگیری محبوبیت که حضور شما را در وزنهای مدل کمرنگ میکند، در فرآیند بازیابی اطلاعات نیز تکرار میشود. بنابراین، بازیابی اطلاعات (Retrieval) به جای اصلاح سوگیری، خود به تکرار آن منجر میشود.
چگونه باید این آسیبپذیری را شناسایی کرد؟
برای یافتن این خطاها، باید خروجیهای مدل را زیر نظر بگیرید، نه ورودیها را. شما باید به دنبال هر ادعایی باشید که مدل درباره شرکت شما مطرح میکند اما هیچ منبعی از خودتان آن را تایید نمیکند؛ مانند قابلیتی که ندارید اما با جزئیات دقیق توصیف شده است، یا مقایسه با رقیبی که بر اساس معیارهای ناخواسته شما شکل گرفته است.
روش نمونهگیری و تست شما بسیار مهم است. پرسش مستقیم از مدل برای توصیف شرکت شما با ذکر نام، کمترین اطلاعات را به دست میدهد؛ زیرا نام شرکت شما خود به عنوان یک نشانه بازیابی عمل میکند و دادههای ضعیف موجود را به متن میآورد. جایگزینیها بیشتر در سوالاتی رخ میدهند که نام شما در آنها غایب است و مدل باید خودش آن را پیشنهاد دهد؛ مانند سوالات دستهبندی با یک ویژگی خاص، سوالات مقایسهای که فقط نام رقیب شما در آنها ذکر شده، یا سوالاتی درباره یک قابلیت خاص صنعت. این شرایطی است که مدل تصمیم میگیرد آیا شما اصلاً جایی در پاسخ دارید یا خیر، و این دقیقاً همان نقطهای است که اطلاعات رقیب به نام شما قرض گرفته میشود.