ظهور عامل‌های هوش مصنوعی شخصی مانند «میوز» (Muse) متعلق به شرکت Meta و «داتس» (Dots) متعلق به OpenAI، در حال تقسیم وب به دو قلمرو کاملاً متفاوت است: وب‌سایت‌هایی که قراردادهای مستقیم با این عامل‌ها دارند، و وب‌سایت‌هایی که عامل‌های هوش مصنوعی با ظاهر کاربران واقعی وارد آن‌ها می‌شوند. این ابزارها قادرند درخواست کاربر را دریافت کرده، در وب جستجو کنند، فرم‌ها را پر کنند و مراحل افزودن به سبد خرید و پرداخت را انجام دهند. این تحول یادآور جهش مرورگرهای موبایل است؛ بر اساس آمار StatCounter، سهم رایانه‌های دسکتاپ از ترافیک وب جهان از ۹۸ درصد در ژانویه ۲۰۱۰ به کمتر از نصف در سال ۲۰۲۶ کاهش یافت، و اکنون انتظار می‌رود مرورگرهای مبتنی بر عامل هوش مصنوعی سهم مشابهی از مرورگرهای انسانی را تصاحب کنند. Muse در حال حاضر برای افراد ۱۸ سال به بالا در ایالات متحده و کانادا به صورت رایگان برای اکثر کاربری‌ها در دسترس است.
ساختار دوگانه وب: رابط‌های مستقیم در برابر مرورگرهای ابری
در سطح نخست، عامل‌های هوش مصنوعی از طریق رابط‌های مستقیم یا اتصال‌دهنده‌ها (Connectors) کار می‌کنند. شرکت Meta اعلام کرده است که Muse با ده‌ها شریک تجاری و دسترسی به کل کاتالوگ Shopify راه‌اندازی شده و برندهایی مانند Walmart، Best Buy، Sephora و Wayfair در حال اضافه شدن به آن هستند. در سوی دیگر، OpenAI اعلام کرده است عامل‌های Dots از طریق اکوسیستم پلاگین‌های خود می‌توانند به بیش از ۴,۰۰۰ برنامه متصل شوند. پلتفرم Shopify نیز با تنظیمات پیش‌فرض خود تحت عنوان «اجازه دهید شاپیفای برای من مدیریت کند» (Allow Shopify to manage for me) در بخش کانال‌های فروش و زیرمجموعه Agentic، فروشگاه‌ها را به صورت خودکار در کانال‌های خرید هوش مصنوعی ثبت‌نام می‌کند.
اما سطح دوم شامل سایر وب‌سایت‌ها می‌شود که فاقد این اتصالات هستند. در این سطح، Muse یک مرورگر واقعی مبتنی بر Chromium را روی یک رایانه اختصاصی امن اجرا می‌کند. همچنین OpenAI توضیح داده است که Dots می‌تواند با استفاده از رایانه ابری و مرورگر خود تقریباً هر کاری را انجام دهد. اگر وب‌سایتی فاقد رابط مستقیم باشد، عامل هوش مصنوعی به عنوان یک بازدیدکننده عادی وارد صفحه شده و با عناصر موجود روی صفحه تعامل برقرار می‌کند.
ناکارآمدی پروتکل‌های سنتی؛ عدم کارایی robots.txt در برابر عامل‌های هوش مصنوعی
بسیاری از ابزارهای کنترل سئو، از جمله فایل robots.txt و فهرست‌های مجاز خزنده‌ها، برای خزنده‌هایی طراحی شده‌اند که هویت خود را به صراحت اعلام می‌کنند. با این حال، نه Meta و نه OpenAI هیچ نام عامل کاربری (User Agent)، هدر درخواست یا امضایی برای مرورگرهای Muse یا Dots منتشر نکرده‌اند. در صفحه راهنمای Meta برای صاحبان وب‌سایت، پنج خزنده نام برده شده که Muse در میان آن‌ها نیست؛ در صفحه OpenAI نیز چهار خزنده درج شده که نامی از Dots در آن دیده نمی‌شود.
شرکت Meta توضیح داده است که حضور Muse در وب‌سایت‌ها، به عنوان فعالیت خود کاربر ثبت می‌شود. این رویکرد باعث می‌شود فایل robots.txt که صرفاً بر اساس شناسایی نام‌ها کار می‌کند، کاملاً بی‌تاثیر شود. همین امر چالش‌های حقوقی و امنیتی ایجاد کرده است؛ برای نمونه، طبق گزارش GeekWire، شرکت Amazon در ماه سپتامبر Muse را از طریق شرایط استفاده (Conditions of Use) خود مسدود کرد. سه دلیل Amazon برای این اقدام عبارت بودند از:
- عدم اطلاع‌رسانی Meta درباره دسترسی Muse به فروشگاه
- عدم شناسایی هویت عامل هنگام مرور صفحات
- احتمال ضبط و ذخیره‌سازی اطلاعات اعتبارنامه کاربران
در سوی مقابل، طبق گزارش PPC Land، شرکت HUMAN Security اعلام کرده که محصول تشخیص ربات آن قادر به شناسایی Muse است.
از DOM تا درخت دسترس‌پذیری؛ عامل‌های هوش مصنوعی چگونه صفحات را می‌خوانند؟
روش خواندن صفحات توسط عامل‌های هوش مصنوعی با خزنده‌های سنتی سئو متفاوت است. Meta اعلام کرده است که زیرعامل مرورگر Muse، صفحات را از طریق «درخت دسترس‌پذیری» (Accessibility Tree) مشاهده می‌کند نه ساختار خام DOM، و امکان اجرای جاوااسکریپت در بافت صفحه را ندارد، اگرچه اسکریپت‌های خود صفحه اجرا می‌شوند. طبق رهنمودهای گوگل، عامل‌های مرورگر ممکن است داده‌ها را از طریق تحلیل رندرهای بصری، بررسی ساختار DOM و تفسیر درخت دسترس‌پذیری جمع‌آوری کنند.
درخت دسترس‌پذیری ساختاری است که خواننده‌های صفحه برای افراد کم‌بینا استفاده می‌کنند و مرورگر Chrome آن را از DOM استخراج می‌کند. بررسی یک صفحه محصول واقعی در پلتفرم Shopify با مرورگر Chrome 154 نشان داد که اگرچه داده‌های ساختاریافته (Structured Data) عدم موجودی ۶ سایز از ۷ سایز محصول را نشان می‌داد، اما در درخت دسترس‌پذیری هر ۷ دکمه به صورت یکسان و بدون علامت عدم موجودی ثبت شده بودند. عامل هوش مصنوعی تنها پس از کلیک روی هر دکمه متوجه وضعیت موجودی می‌شد. این موضوع نشان می‌دهد کدهای فرانت‌اند و ساختار دسترس‌پذیری اهمیت بالاتری نسبت به سئوی متنی پیدا کرده‌اند.
معماری ماشین‌محور و چالش‌های تحلیل داده
تغییر رفتار عامل‌ها، تحلیل داده‌های بازاریابی را پیچیده کرده است. گوگل آنالیتیکس ۴ (GA4) در ۱۳ مه کانالی تحت عنوان AI Assistant اضافه کرد که ترافیک دستیارهای هوش مصنوعی مانند ChatGPT، Gemini و Claude را بر اساس ارجاع‌دهنده (Referrer) دسته‌بندی می‌کند، اما این ابزار تنها زمانی کار می‌کند که برنامه اطلاعات ارجاع‌دهنده را ارسال کند. از سوی دیگر، گزارش نشریه The Information بر اساس داده‌های داخلی Meta در اوایل اکتبر نشان می‌دهد که بیش از ۳ میلیون نفر حداقل هفته‌ای یک‌بار از Muse استفاده می‌کنند، اگرچه هیچ آماری از تعداد خریدهای نهایی انجام‌شده توسط این عامل‌ها منتشر نشده است.
مفهوم «معماری ماشین‌محور» (Machine-First Architecture) بر چهار پایه استوار است: هویت، ساختار، محتوا و تعامل. در حالی که سئو و بهینه‌سازی برای پاسخ‌های هوش مصنوعی (GEO) عمدتاً بر محتوا تمرکز دارند، عامل‌های خرید نیازمند سه بخش دیگر نیز هستند. بر اساس گزارش WebAIM در سال ۲۰۲۶، حدود ۹۵.۹ درصد از یک میلیون صفحه اصلی برتر وب دارای خطاهای دسترس‌پذیری WCAG 2 بوده‌اند. این امر نشان می‌دهد بهبود فرانت‌اند و درخت دسترس‌پذیری نه تنها برای کاربران انسانی خواننده صفحه، بلکه برای درآمدزایی از عامل‌های هوش مصنوعی خرید اهمیت حیاتی دارد.