آمارهای منتشر شده درباره نسبت خزش به ارجاع (crawl-to-refer ratio) در موتورهای هوش مصنوعی، تفاوتهای فاحشی را نشان میدهند که تصمیمگیریهای استراتژیک ناشران و بازاریابان را با چالش مواجه کرده است. به عنوان نمونه، نسبت خزش به ارجاع شرکت آنتروپیک (Anthropic) در گزارشهای مختلف معادل ۷۰,۹۰۰ به ۱، ۳۸,۰۰۰ به ۱، ۲۳,۹۵۱ به ۱، ۱۱,۱۲۲ به ۱، ۱۰,۳۰۰ به ۱، ۴,۵۸۰ به ۱ و حتی ۲,۲۳۷ به ۱ اعلام شده است. نکته قابلتوجه این است که تمامی این ارقام به دادههای شرکت کلودفلر (Cloudflare) استناد میکنند و در یک بازه زمانی تقریباً ۱۳ ماهه منتشر شدهاند؛ حتی دو مورد از این آمارها مربوط به یک ماه مشابه هستند اما اختلافی ۱۷ برابری با یکدیگر دارند. این نوسانات شدید نشاندهنده پیچیدگیهای عمیق در سنجش ترافیک ورودی از ابزارهای هوش مصنوعی است.
مفهوم نسبت خزش به ارجاع و فروپاشی مدل سنتی وب
برای درک اهمیت این موضوع، ابتدا باید مفهوم این شاخص را بررسی کرد. هر شرکت هوش مصنوعی از خزندهها (crawlers) برای جمعآوری و استخراج صفحات وبسایتها استفاده میکند. برخی از این پلتفرمها هنگام ارائه پاسخ به کاربران، لینک منبع را نیز درج میکنند تا کاربر در صورت تمایل روی آن کلیک کرده و وارد سایت اصلی شود. نسبت خزش به ارجاع، تعداد صفحات برداشتهشده توسط خزنده را با تعداد بازدیدکنندگان ارسالی به سایت مقایسه میکند. برای مثال، نسبت ۵ به ۱ به این معناست که پلتفرم مذکور ۵ صفحه را خزش کرده و در مقابل، ۱ بازدیدکننده فرستاده است. اما نسبت ۷۰,۰۰۰ به ۱ نشان میدهد که پلتفرم ۷۰ هزار صفحه را دانلود کرده و تنها ۱ کاربر را به سایت مبدا هدایت کرده است.
این شاخص به این دلیل اهمیت یافته که توافق اقتصادی سنتی میان ناشران و موتورهای جستجو از بین رفته است. در گذشته، خزندههای جستجو صفحات وب را ایندکس میکردند و در مقابل برای سایتها ترافیک میفرستادند؛ چرخهای که پایه اقتصادی انتشار محتوا در وب باز بود. اما سیستمهای هوش مصنوعی پاسخها را مستقیماً در بستر خود ارائه میدهند؛ فرآیند برداشت اطلاعات همچنان با قدرت ادامه دارد اما هدایت ترافیک به سایتها تقریباً متوقف شده است. این نسبت، دقیقترین شاخص برای نشان دادن این مبادله نابرابر است و به همین دلیل به سرعت به جلسات هیئتمدیره راه یافته و مبنای تصمیمگیری درباره مسدودسازی یا اجازه دسترسی به خزندهها شده است.
این روند در حال گسترش است. گوگل در کنفرانس توسعهدهندگان خود در ماه مه اعلام کرد که قابلیت «AI Mode» از مرز یک میلیارد کاربر ماهانه عبور کرده و حجم پرسوجوهای آن از زمان راهاندازی، در هر فصل بیش از دو برابر شده است. این آمار اگرچه به عنوان نشانهای از کاربردی بودن این ابزار ارائه شد، اما مشخص نمیکند که چه میزان از این پاسخها مانع هدایت کاربران به سایتهای مرجع شده است.
چرا آمارهای کلودفلر تا این حد متناقض به نظر میرسند؟
برخلاف تصور اولیه، این اختلاف فاحش در آمارها ناشی از بیدقتی یا دستکاری دادهها نیست. کلودفلر در ژوئیه ۲۰۲۵ این شاخص را معرفی کرد و فرمول محاسباتی آن را به طور شفاف به اشتراک گذاشت: تقسیم کل درخواستهای دریافتی از رباتهای یک پلتفرم مشخص (که پاسخ آنها HTML بوده) بر کل درخواستهای HTML که هدر ارجاعدهنده (Referer header) آنها حاوی نام دامنه آن پلتفرم بوده است. با این حال، تفاوت در چهار متغیر کلیدی (مخرج کسر) باعث ایجاد این تفاوتهای بزرگ شده است:
- بازه زمانی (Window): در نخستین پست کلودفلر، دوره نمونهبرداری از ۱۹ تا ۲۶ ژوئن ۲۰۲۵ (یک هفته) بود که در آن نسبت آنتروپیک ۷۰,۹۰۰ به ۱ و نسبت میسترال (Mistral) معادل ۰.۱ به ۱ (ارسال ۱۰ ارجاع به ازای هر خزش) ثبت شد. اما در پست دیگری در همان ماه، نسبت آنتروپیک برای کل ژوئن ۲۰۲۵ معادل ۷۳,۰۰۰ به ۱، اوپنایآی (OpenAI) معادل ۱,۷۰۰ به ۱ و گوگل تقریباً ۱۴ خزش به ازای هر ارجاع اعلام شد. تغییر در زمانبندی خزش ربات گوگل توانست این شاخص را طی یک هفته ۱۹.۴ درصد جابهجا کند.
- نوع رباتهای شمارششده: کلودفلر رباتهای آموزشی (training crawlers) و رباتهای پاسخ به کاربر (user-request crawlers) را تحت یک نام واحد ادغام میکند. این در حالی است که ربات آموزشی اطلاعات را در مقیاس انبوه جمعآوری میکند و هیچ ترافیکی برنمیگرداند، اما ربات دوم بر اساس تقاضای کاربر خزش کرده و میتواند ارجاع ایجاد کند. ادغام این دو، تصویر واقعی هیچکدام را نشان نمیدهد.
- محدوده سایتهای تحت بررسی: دادههای کلودفلر تنها ترافیک عبوری از شبکه خود این شرکت را پوشش میدهد. بررسیهای مستقل نشان داده است که تغییر جامعه آماری از شبکه کلودفلر به یک پنل تجاری کوچکتر در همان بازه زمانی، نسبت خزش به ارجاع یک پلتفرم را تا دو برابر تغییر داده است.
- عدم ثبت ارجاع در اپلیکیشنهای بومی: ارجاع زمانی ثبت میشود که هدر Referer ارسال شود. کلودفلر صراحتاً اعلام کرده ترافیک ارسالی از اپلیکیشن بومی کلود (Claude) و سایر ابزارهای مشابه فاقد این هدر هستند. بنابراین، بخش بزرگی از ترافیک ارجاعی که از طریق اپلیکیشنهای موبایل رخ میدهد، اساساً در محاسبات کلودفلر شمرده نمیشود و این نسبتها را بزرگتر از حد واقعی نشان میدهد.
پیامدهای تصمیمگیری بر اساس دادههای ناقص
این چالشها صرفاً بحثهای تئوریک نیستند. ناشران وب در حال حاضر با استناد به همین نسبتهای خزش به ارجاع تصمیم میگیرند که کدام خزندههای هوش مصنوعی را مسدود کنند. تیمهای بازاریابی نیز از این ارقام برای استدلال این موضوع استفاده میکنند که ترافیک ارجاعی هوش مصنوعی ارزش پیگیری ندارد. اتخاذ چنین تصمیماتی که بازگرداندن آنها بسیار دشوار است، بر پایه دادههایی انجام میشود که متغیرهای حیاتی آنها نادیده گرفته شدهاند.
به عنوان مثال، اگر بخش عمدهای از ارجاعات یک پلتفرم از طریق اپلیکیشن بومی آن انجام شود و در آمارها نیاید، مسدود کردن خزنده آن به معنای از دست دادن ترافیک واقعی خواهد بود. همچنین اگر آمار مربوط به دورهای باشد که پلتفرم در حال آموزش سنگین مدل خود بوده، تصمیمگیری بر اساس آن به معنای دائمی فرض کردن یک نوسان موقت است. دوان فورستر (Duane Forrester)، نویسنده این تحلیل، تأکید میکند ارقامی که فاقد بازه زمانی مشخص، نحوه گروهبندی رباتها و مرزهای جمعآوری داده باشند، عملاً غیرقابل استفاده هستند و تکیه بر آنها میتواند به استراتژیهای بازاریابی آسیب جدی وارد کند.