در آزمایشی جدید که توسط اسلوبودان مانیک (Slobodan Manic) انجام شده، سه مدل مختلف هوش مصنوعی با فهرست متشکلی از ۲۰ محصول یکسان و درخواست‌های پایه در شش نوبت جستجو مورد سنجش قرار گرفتند. نتایج نشان داد که این مدل‌ها در هیچ‌یک از موارد درباره انتخاب محصول نهایی با یکدیگر توافق نداشتند. در شرایطی که خریدار فقط نام محصول را بدون ذکر بودجه، سلیقه یا پیشینه خرید به یک عامل هوش مصنوعی (AI agent) می‌دهد، ترجیحات داخلیِ خودِ مدل تعیین می‌کند که سفارش نهایی سهم کدام فروشگاه باشد.

این آزمایش از طریق بستری به نام Shop MCP انجام شد؛ اتصالی که شرکت Shopify در تاریخ ۱۳ اکتبر ۲۰۲۶ برای عامل‌های هوش مصنوعی فعال کرد. این اتصال به برنامه یا عامل هوشمند اجازه می‌دهد بدون نیاز به کلید API در کاتالوگی با بیش از یک میلیارد محصول جستجو کند، سبد خرید بسازد و فرآیند تسویه‌حساب را از طریق Shop Pay تکمیل کند. آزمایش مذکور لایه زیرین تصمیم‌گیری یعنی عملکرد خود مدل زبانی را فارغ از دستورالعمل‌های سفارشی شرکت‌های توسعه‌دهنده بررسی کرده است.

جزئیات آزمایش و عدم توافق مدل‌های هوش مصنوعی

در این تحقیق، سه مدل هوش مصنوعی شامل Claude Haiku 4.5 و Sonnet 5 و Opus 5 از شرکت Anthropic از طریق محیط Claude Code با تنظیمات پیش‌فرض و بدون دسترسی به وب یا ابزارهای جانبی مورد آزمایش قرار گرفتند. در مجموع ۱,۹۸۰ انتخاب در سه بخش اجرا شد:

  • شش جستجوی پایه محصول: شامل درخواست‌های ساده برای دانه‌های قهوه، بطری آب، کوله‌پشتی، کفش دویدن، هدفون بی‌سیم و مت یوگا (۵۰ بار اجرا برای هر مدل، مجموعاً ۹۰۰ انتخاب).
  • ارزیابی محدودیت بودجه و نوع پوست: بررسی جستجوی ضدآفتاب معدنی با SPF 50 به دو صورت ساده و با قید بودجه زیر ۲۵ دلار و مناسب پوست چرب (۱۰۰ بار اجرا برای هر مدل، مجموعاً ۶۰۰ انتخاب).
  • سنجش تأثیر ترتیب فهرست کاتالوگ: بررسی هشت جستجوی محصولات مراقبت از پوست در دو حالت ترتیب اصلی کاتالوگ و ترتیب معکوس (۱۰ بار اجرا برای هر مدل در هر حالت، مجموعاً ۴۸۰ انتخاب).

در شش جستجوی پایه، محبوب‌ترین محصول انتخابی توسط سه مدل در هیچ مواردی یکسان نبود. مدل‌های Haiku و Sonnet تنها در سه مورد (کوله‌پشتی، دانه‌های قهوه و بطری آب)، Sonnet و Opus در دو مورد (هدفون بی‌سیم و مت یوگا) و Haiku و Opus در یک مورد (کفش دویدن) بر سر یک محصول به توافق رسیدند. همچنین هر مدل ثبات داخلی بالایی داشت؛ به‌طوری که محبوب‌ترین محصول انتخابی Sonnet به طور میانگین ۹۴ درصد، Opus حدود ۸۹ درصد و Haiku حدود ۶۷ درصد از کل خریدهای آن مدل را به خود اختصاص داد.

معیارهای پنهان انتخاب؛ از تعداد دیدگاه‌ها تا «انتخاب‌های امن»

مدل‌های Claude Haiku 4.5 و Sonnet 5 تمایل شدیدی به انتخاب محصولاتی با بیشترین تعداد دیدگاه‌ها (Reviews) نشان دادند. برای نمونه، در جستجوی بطری آب، کاتالوگ Shopify بطری استیل برند nobl را با امتیاز ۵.۰ از مجموع ۴۴۷,۲۲۱ دیدگاه نمایش داد. مدل Haiku در ۴۵ بار از ۵۰ بار آزمایش این محصول را انتخاب کرد و مدل Sonnet نیز ۳۹ بار آن را برگزید. این در حالی است که بررسی صفحه محصول برند nobl در تاریخ ۲۴ اکتبر نشان داد که تعداد واقعی دیدگاه‌ها ۶,۵۳۷ مورد بوده و عدد موجود در کاتالوگ بسیار بزرگ‌تر از آمار واقعی صفحه فروشگاه بوده است.

در مقابل، مدل Opus 5 هرگز این بطری را انتخاب نکرد و در تمامی ۵۰ بار آزمایش، بطری Owala FreeSip با امتیاز ۴.۶ از ۳۴,۳۹۴ دیدگاه را برگزید. مدل Opus 5 در ۲۲۲ مورد از ۳۰۰ انتخاب خود در شش جستجوی پایه، علت انتخاب خود را «امن‌ترین» (safe یا safest) گزینه نامید. این مدل برای درخواست دانه‌های قهوه بدون مشخصات قبلی، برشته‌کاری متوسط (Medium Roast) را به عنوان میانه‌روترین و امن‌ترین گزینه انتخاب کرد، در حالی که دو مدل دیگر برشته‌کاری تاریک (Dark Roast) با بیشترین دیدگاه را برگزیدند.

تأثیر ترتیب فهرست و عبارات کلیدی در توصیف محصول

آزمایش تغییر ترتیب فهرست کاتالوگ نشان داد که جابه‌جایی جایگاه محصول برتر از رتبه اول به رتبه آخر فهرست ۲۰ تایی، میزان انتخاب آن توسط مدل‌ها را به شدت کاهش می‌دهد. در مجموع هشت جستجوی محصولات پوستی (۸۰ بار اجرا برای هر حالت)، میزان انتخاب محصول رتبه اول پس از انتقال به انتهای فهرست، برای مدل Haiku از ۲۸ به ۱۱، برای Sonnet از ۱۵ به ۱۱ و برای Opus از ۲۴ به ۱۰ کاهش یافت. هیچ‌یک از مدل‌ها در دلایل ارائه‌شده خود به جایگاه محصول در فهرست اشاره نکردند و صرفاً به ویژگی‌ها و دیدگاه‌ها استناد کردند.

با افزودن جزئیات به درخواست جستجو («زیر ۲۵ دلار، برای پوست چرب»)، رفتار هر سه مدل تغییر کرد. محصول رتبه اول کاتالوگ که ۴۸ دلار قیمت داشت و در حالت ساده بارها انتخاب شده بود، با افزودن این جزئیات در ۳۰۰ آزمایش کلاً کنار گذاشته شد. در این میان، کرم ضدآفتاب Sun Bum با قیمت ۱۷.۴۹ دلار که پایین‌ترین امتیاز (۴.۲ از ۱۰۵ دیدگاه) را در میان شش محصول زیر ۲۵ دلار داشت، ۳۳ بار توسط Opus انتخاب شد. علت این بود که توصیف متنی این محصول تنها گزینه‌ای بود که عبارت «بدون مسدود کردن منافذ» (without clogging pores) را در متن خود داشت.

چالش جعبه سیاه و ادعاهای راست‌آزمایی‌نشده

نتایج پژوهش نشان داد مدل‌های هوش مصنوعی ادعاهای متنی موجود در توصیف محصولات را بدون امکان راست‌آزمایی تکرار می‌کنند. در هشت جستجوی مربوط به مراقبت از پوست، عبارت «از نظر بالینی اثبات‌شده» (clinically proven) در ۶۳ مورد از دلایل انتخابی مدل‌های Sonnet و Haiku عيناً از متن توصیف محصولات نقل شده بود. همچنین عبارت «۱۱ برابر سریع‌تر» در محصولات رتینول در ۲۲ مورد توسط مدل Haiku به عنوان علت خرید ذکر شد که مستقیماً از متن کاتالوگ استخراج شده بود.

«پیش از این فروشگاه‌ها برای جلب توجه خریدار به رقابت می‌پرداختند؛ اما با ورود عامل‌های هوشمند، آن‌ها باید برای ترجیحات مدل‌های هوش مصنوعی رقابت کنند، در حالی که هیچ رتبه‌بندی آشکاری برای پایش وجود ندارد.»

بر اساس این گزارش، فروشگاه‌های اینترنتی امکان انتخاب مدلی که عامل هوشمند خریدار بر پایه آن کار می‌کند را ندارند و نمی‌توانند فرآیند تصمیم‌گیری را مشاهده کنند. با این حال، چهار اقدام عملی زیر به صاحبان کسب‌وکار توصیه شده است:

  1. اطلاعاتی را که کاتالوگ از طریق Shop MCP به هوش مصنوعی نشان می‌دهد (امتیاز، تعداد دیدگاه، خلاصه متنی و ویژگی‌ها) بررسی و صحت آن را ارزیابی کنند.
  2. توصیفات محصولات را دقیقاً با عبارات کاربردی و نیازهای مشخص خریداران (مانند عدم مسدودسازی منافذ) تدوین کنند.
  3. صحت ادعاهای مطرح‌شده در متن کاتالوگ را حفظ کنند، چرا که این ادعاها مستقیماً توسط هوش مصنوعی به عنوان دلیل خرید به مشتری ارائه می‌شوند.
  4. حوزه فعالیت خود را با شبیه‌سازی جستجوها در مدل‌های مختلف بررسی کنند تا از نحوه رفتار الگوریتم‌ها مطلع شوند.