در عصر هوش مصنوعی، مسدود کردن رباتهای خزنده (crawlers) ممکن است برای ناشران و برندها به عنوان تنها ابزار دفاعی باقیمانده به نظر برسد، اما به گفته تیم فرانک (Tim Frank)، معاون سازمانی بخش تجاریسازی، تجارت و اقتصاد هوش مصنوعی در مایکروسافت (Microsoft)، این اقدام مانند قطع کردن تلفن در زمانی است که مشتریان تلاش میکنند با شما تماس بگیرند. فرانک در پادکست اخیر AdExchanger Talks اشاره کرد که بسیاری از کسبوکارها در حال حاضر به طور عمدی دسترسی این عوامل و سیستمهای هوشمند را مسدود میکنند، در حالی که این کانال به سرعت در حال رشد است و در صورت در دسترس نبودن، برندها هرگز توسط کاربران پیدا نخواهند شد.
رشد بیسابقه ترافیک رباتها در وب
بر اساس دادههای کلودفلر (Cloudflare) که یک ردیاب زنده برای مقایسه درخواستهای HTTP خودکار در برابر درخواستهای انسانی توزیعشده در محتوای HTML دارد، ترافیک رباتها در ماه ژوئن برای نخستین بار در تاریخ وب از ترافیک انسانی پیشی گرفت. از آن زمان تا کنون، سهم درخواستهای جستجوی آغاز شده توسط رباتها از ۵۷.۴ درصد به ۵۸.۶ درصد افزایش یافته است. این آمار نشان میدهد که نادیده گرفتن یا مسدود کردن این عوامل هوشمند میتواند بخش بزرگی از مخاطبان و مشتریان بالقوه آینده را از دسترس برندها خارج کند. فرانک هشدار میدهد که اگر کسبوکارها در این بستر حضور نداشته باشند، فرصت دیده شدن در نسل جدید موتورهای جستجو را به طور کامل از دست خواهند داد.
کیفیت اطلاعات؛ معیار جدید رقابت به جای بودجههای کلان تبلیغاتی
با این حال، اجازه دادن به خزندهها برای دسترسی به وبسایت، تضمینی برای معرفی شدن برند شما توسط آنها نیست. تیم فرانک در این زمینه اصطلاح «اطلاعات، پیشنهاد قیمت جدید است» (Information is the new bid) را مطرح میکند. در عصر هوش مصنوعی، برندهایی که توسط سیستمهای هوشمند توصیه میشوند، لزوماً آنهایی نیستند که بزرگترین بودجههای تبلیغاتی را دارند، بلکه برندهایی خواهند بود که شفافترین، کاملترین و دقیقترین دادههای محصول را ارائه میدهند.
فرانک تأکید میکند که کیفیت اطلاعات اهمیت بسیار زیادی دارد، اما تعریف اطلاعات فراتر از محتوای موجود در یک وبسایت رسمی است. عوامل هوش مصنوعی اطلاعات خود را از منابع متعددی دریافت میکنند. آنها ادعاهای خود برند را در کنار هر داده دیگری که در بستر وب پیدا کنند، ارزیابی و مقایسه میکنند و بر خلاف انسانها، هرگز در میانه راه خسته یا ملول نمیشوند. فرانک میگوید: «برای برندها، موضوع دیگر فقط روایت شخصی خودشان نیست؛ بلکه نظرات کاربران (reviews) و گفتگوها در تالارهای گفتگوی مختلف (forums) نیز اهمیت حیاتی دارد. عوامل هوشمند این دادهها را با یکدیگر تطبیق میدهند و خروجی نهایی دیگر صرفاً پیام تبلیغاتی خود برند نخواهد بود.»
ظهور استارتاپهای بهینهسازی برای موتورهای جستجوی هوش مصنوعی
این تغییر ساختاری در نحوه جستجو و بازیابی اطلاعات، زمینهساز ظهور استارتاپهای جدیدی در حوزه بهینهسازی موتورهای مولد (GEO) و بهینهسازی موتورهای پاسخگو (AEO) شده است. در حالی که برخی از این شرکتها وعدههای غیرواقعی میدهند، برخی دیگر تلاش میکنند خود را با قوانین بازی که هر چند هفته یکبار بازنویسی میشوند، هماهنگ کنند.
با این حال، به گفته مدیر مایکروسافت، ارزانترین و سادهترین راه برای برندها جهت درک جایگاه خود در جستجوهای مبتنی بر هوش مصنوعی، بسیار سادهتر از آن چیزی است که تصور میشود: فقط از خود مدلها بپرسید. فرانک پیشنهاد میکند که برندها باید با مدلهای هوش مصنوعی مانند شرکتکنندگان در یک گروه کانون (focus group) مصاحبه کنند. او میگوید: «بروید و از هر یک از مدلها بپرسید که چرا این کار را انجام میدهند و چرا چنین توصیههایی دارند. این یک تحقیق بازار کاملاً رایگان است.»
تیم فرانک در بخشهای دیگری از این گفتگو به دلایل خوشبینی خود نسبت به پروتکل جهانی تجارت (Universal Commerce Protocol) پرداخت و توصیههایی برای هدایت کسبوکارها در سه عصر اینترنت (عصر انسانی، عصر مدلهای زبانی بزرگ یا LLM و عصر عاملیت هوشمند یا agentic) ارائه کرد. او همچنین به علاقه دیرینه خود به سیاهچالهها و فضا اشاره کرد که در اوایل مسیر شغلیاش به ساخت ماهوارهها منجر شده بود.