ارقام ثبت‌شده در داشبوردهای بازاریابی برای سنجش میزان دیده شدن برندها در هوش مصنوعی (AI visibility tracking) و سهم ارجاعات (citation shares) کاملاً قابل اعتماد نیستند. بر اساس داده‌های پژوهشی جدید، مدل‌های مولد به دلیل ساختار تصادفی در پاسخ‌دهی، با هر بار پرسش نتایج متفاوتی تولید می‌کنند؛ در نتیجه ارقام نمایه شده در ابزارهای تحلیلی، صرفاً تصویری لحظه‌ای از یک هدف متغیر هستند و نباید به عنوان داده‌های قطعی در نظر گرفته شوند.
پژوهش IQRush و چالش نوسان در داده‌های هوش مصنوعی
در ۱۱ آوریل، ران سیلیسنکی (Ron Sielinski)، هم‌بنیان‌گذار شرکت IQRush — که نرم‌افزار اندازه‌گیری دیده شدن در هوش مصنوعی را عرضه می‌کند — پیش‌نویس مقاله‌ای پژوهشی را منتشر کرد که روشی برای تشخیص تفاوت‌های واقعی از نوسانات آماری ارائه می‌دهد. طبق این پژوهش، پرسش‌های مکرر از موتورهای جستجوی مبتنی بر هوش مصنوعی مانند SearchGPT، Gemini یا Perplexity با یک سوال یکسان، در هر بار اجرا می‌تواند منابع متفاوتی تولید کند.
پیش از این نیز سیلیسنکی در پژوهشی دیگر این نوسانات را بررسی کرده بود. برای نمونه، در تست SearchGPT درباره تجهیزات دویدن، سایت Tom’s Guide حدود ۹.۵ درصد از ارجاعات و سایت Runner’s World حدود ۶.۰ درصد را به خود اختصاص دادند. با اینکه Tom’s Guide در داشبورد عملکرد بهتری داشت، اما به دلیل حاشیه خطای بزرگ، ارقام این دو سایت همپوشانی داشتند و تفاوت ۳.۵ واحدی آن‌ها صرفاً در محدوده حاشیه خطا قرار می‌گرفت.
شرایط دوگانه برای پایداری رتبه‌بندی‌ها
پژوهش جدید IQRush نشان می‌دهد که برای معتبر بودن یک رتبه‌بندی در موتورهای هوش مصنوعی، دو شرط باید به‌طور هم‌زمان برقرار باشند:
- توقف تغییرات ترتیب: رتبه‌بندی‌ها باید از تغییر مداوم بایستند و پس از جمع‌آوری پاسخ‌های کافی پایدار شوند.
- فاصله بیش از حاشیه خطا: تفاوت میان سایت‌های برتر باید بزرگ‌تر از حاشیه خطای هر یک باشد. اگر تفاوت دو سایت کمتر از حاشیه خطا باشد، رتبه‌بندی صرفاً «نویز آماری» است.
در آزمایشی شامل ۳۰ تست موضوعی-پلتفرمی روی سه موتور جستجو با سوالات تولیدشده توسط ChatGPT، تعداد پاسخ‌های ارجاع‌دار مورد نیاز برای تحقق هر دو شرط بین ۳۳ تا ۹۴ پاسخ متغیر بود. در ۳ مورد از ۳۰ تست (همگی روی SearchGPT)، حتی پس از ۱۲۵ پرسش نیز رتبه‌بندی پایدار نشد، زیرا سایت‌های برتر تفاوت بسیار کمی با یکدیگر داشتند.
همچنین نرخ عدم ارائه ارجاع در SearchGPT قابل توجه است؛ به‌طوری که در یک موضوع، از ۱۲۵ پرسش مطرح‌شده تنها ۱۰۴ پاسخ دارای ارجاع بودند که نشان‌دهنده ۱۷ درصد عدم ثبت ارجاع است.
تفاوت ساختاری Gemini و SearchGPT در نمونه‌گیری
نحوه توزیع ارجاعات در پلتفرم‌های مختلف متفاوت است و بر حجم داده‌های مورد نیاز تاثیر می‌گذارد. موتور Gemini ارجاعات زیادی را در یک پاسخ روی تعداد محدودی از سایت‌ها انباشته می‌کند؛ بنابراین اطلاعات تکراری ارائه می‌دهد. در مقابل، SearchGPT ارجاعات کمتری در هر پاسخ دارد اما آن‌ها را پخش می‌کند، در نتیجه هر پاسخ آن اطلاعات مستقل بیشتری حمل می‌کند.
همچنین تحقیقات مستقلی که در آوریل توسط یولیوس شولته (Julius Schulte)، مالته بلیکر (Malte Bleeker) و فیلیپ کافمن (Philipp Kaufmann) از دانشگاه سنت گالن (University of St. Gallen) روی مجموعه داده دیگری انجام شد، نتایج مشابهی را تایید کرد: یک بار اندازه‌گیری ناپایدار است و برای دستیابی به داده قابل اعتماد باید موتورها را به‌طور مکرر نمونه‌گیری کرد.
علاوه بر این، در ماه ژانویه، رند فیشکین (Rand Fishkin) بر اساس پژوهش SparkToro اعلام کرده بود که ابزارهای هوش مصنوعی در بیش از ۹۹ درصد موارد با تکرار یک پرسش، فهرست متفاوتی از برندهای پیشنهادی ارائه می‌دهند. فیشکین به بازاریابان توصیه می‌کند پیش از هزینه برای ابزارهای ردیابی، مطمئن شوند ارائه دهنده ابزار محاسبات و ریاضیات پشت داده‌های خود (show their math) را شفاف می‌سازد.
توصیه‌های کاربردی برای مدیران برند و بازاریابان
بر اساس یافته‌های این پژوهش، چند اصل اساسی برای تحلیل داده‌های دیده شدن در هوش مصنوعی وجود دارد:
- تغییرات جزئی را پیروزی تلقی نکنید: برای نمونه، افزایش ۳ درصدی در سهم ارجاعات SearchGPT پس از به‌روزرسانی محتوا، می‌تواند صرفاً ناشی از نوسان طبیعی مدل باشد. برای اثبات موفقیت باید قبل و بعد از تغییرات، چندین بار اندازه‌گیری انجام شود.
- عدم اعتماد به رتبه‌های پایین: حاشیه خطا در رتبه‌های پایین‌تر به شدت افزایش می‌یابد. حتی در میان ۱۰ سایت برتر، حاشیه خطای معمول حدود ۵ پله است و در یک‌میزان از هر پنج مورد (۲۰ درصد) به بیش از ۱۰ پله می‌رسد.
- حرکت به سمت گزارش‌دهی با حاشیه خطا: گزارش‌دهی در حوزه دیده شدن هوش مصنوعی مانند گزارش‌های تبلیغاتی به سمت ارائه حاشیه خطا حرکت می‌کند. تا زمانی که ابزارهایی مانند Google Search Console داده‌های مربوط به ورودی‌های هوش مصنوعی را تفکیک نکنند، ارزیابی دامنه نوسان بر عهده خود بازاریابان خواهد بود.