در طول چند سال گذشته، موضوع دیده شدن در موتورهای جستجوی هوش مصنوعی (AI visibility) به بحث اصلی در میان متخصصان بهینه‌سازی موتورهای جستجو (SEO) تبدیل شده است. تیم‌های سئو کدهای خود را پاک‌سازی کرده و محتوای خود را بخش‌بندی کرده‌اند تا ربات‌های هوش مصنوعی راحت‌تر به آن‌ها دسترسی داشته باشند. با این حال، نتایج یک بررسی جدید روی ۵۰ وب‌سایت بزرگ جهان نشان می‌دهد که اگرچه بیشتر برندها دسترسی ربات‌های هوش مصنوعی به سایت‌های خود را تسهیل کرده‌اند، اما تقریباً هیچ‌کدام شرایطی فراهم نکرده‌اند که هوش مصنوعی بتواند محتوای آن‌ها را به طور عمیق درک کند. بدتر از آن، نزدیک به دو‌سوم این وب‌سایت‌ها، دسترسی ربات‌های مختلف هوش مصنوعی به محتوای خود را کاملاً به شانس واگذار کرده‌اند.

چارچوب سه لایه‌ای برای سنجش آمادگی در برابر هوش مصنوعی

برای درک بهتر این موضوع، یک چارچوب ممیزی آمادگی برای هوش مصنوعی با ۲۷ عنصر ممیزی در سه لایه مجزا تعریف شده است:

  • لایه اول: بازیابی‌پذیری (Retrievability). آیا هوش مصنوعی می‌تواند محتوای شما را بدون مشکل دریافت و تجزیه کند؟ این لایه پایه‌ای‌ترین بخش است که بیشتر تیم‌های سئو در حال حاضر برای آن بهینه‌سازی می‌کنند و مستقیماً با ارجاعات و ذکر نام برند در پاسخ‌های هوش مصنوعی مرتبط است.
  • لایه دوم: انتساب و معنا (Attribution and Meaning). آیا هوش مصنوعی می‌تواند تشخیص دهد که صفحات شما درباره چیست و مالک آن‌ها کیست؟ این لایه به هوش مصنوعی کمک می‌کند تا بدون حدس و گمان بفهمد کدام عدد روی صفحه قیمت محصول است و کدام قیمت تخفیف‌خورده برای اعضای باشگاه مشتریان. همچنین به هوش مصنوعی کمک می‌کند تا تفاوت بین برند خودروی Jaguar و باشگاه‌های فوتبال با همین نام را درک کند. بهینه‌سازی این لایه احتمال ارجاع دقیق را افزایش داده و خطر پاسخ‌های نادرست یا توهمات هوش مصنوعی (AI hallucinations) را کاهش می‌دهد.
  • لایه سوم: عاملیت (Agency). آیا عوامل هوش مصنوعی (AI agents) می‌توانند به قابلیت‌های وب‌سایت شما برای انجام کارهایی مانند تکمیل تراکنش‌ها دسترسی داشته باشند؟ این لایه تفاوت بین تکرار طوطی‌وار اطلاعات توسط هوش مصنوعی و توانایی تعامل واقعی آن با کسب‌وکار شما به نمایندگی از کاربر است.

نتایج ممیزی ۵۰ وب‌سایت بزرگ جهان

در این ممیزی که داده‌های آن در تاریخ ۱۲ ژوئن ۲۰۲۶ جمع‌آوری شده است، ۵۰ وب‌سایت بزرگ در حوزه‌های خرده‌فروشی، نرم‌افزار به عنوان خدمت (SaaS)، سفر، نشر و خدمات مالی مورد بررسی قرار گرفتند. نتایج نشان داد که به طور متوسط، سایت‌ها تنها کمی بیش از نیمی از پروتکل‌های تثبیت‌شده را پیاده‌سازی کرده‌اند (میانگین ۵۶.۶ درصد و میانه ۵۸.۳ درصد).

بیشترین امتیاز در این ممیزی به وب‌سایت Airbnb.com با ۷۹.۲ درصد اختصاص یافت. در لایه اول (بازیابی‌پذیری)، اکثر سایت‌ها عملکرد خوبی داشتند و تنها سه سایت امتیازی زیر ۵۰ درصد کسب کردند. اما در لایه دوم، امتیازها به شدت افت کرد. اگرچه داده‌های ساختاریافته JSON-LD در صفحه اصلی ۳۵ وب‌سایت از ۵۰ وب‌سایت (۷۰ درصد) شناسایی شد، اما این بدان معناست که نزدیک به یک‌سوم سایت‌ها فاقد هرگونه داده ساختاریافته بودند. علاوه بر این، تنها ۵ سایت از ۵۰ سایت مورد بررسی، «سیاست سیگنال‌های محتوای کلودفلر» (Cloudflare’s Content Signals Policy) را در فایل robots.txt خود پیاده‌سازی کرده‌اند؛ ابزاری که به برندها اجازه می‌دهد به جای انتخاب صفر و یکی (بلاک کردن کامل یا اجازه دادن کامل)، رویکردی استراتژیک‌تر به ربات‌های هوش مصنوعی داشته باشند.

در لایه سوم (عاملیت)، با توجه به اینکه مرورگرها و تجارت مبتنی بر عامل‌های هوش مصنوعی (agentic commerce) از اواخر سال ۲۰۲۵ پدیدار شده‌اند، از ۱۳ پروتکل شناسایی‌شده، تنها دو مورد به عنوان پروتکل‌های تثبیت‌شده طبقه‌بندی شدند. وب‌سایت‌های ebay.com و wikipedia.org دسترسی به fetch از منبع یکسان را از طریق CSP مسدود کرده‌اند. اما از ۴۸ سایتی که تست اندپوینت روی آن‌ها امکان‌پذیر بود، ۴۶ سایت امتیاز صفر کسب کردند. وب‌سایت‌های airbnb.com و vercel.com اگرچه متادیتای سرور احراز هویت OAuth را پیاده‌سازی کرده‌اند، اما متادیتای منابع محافظت‌شده OAuth را پیاده‌سازی نکرده‌اند و در نتیجه در لایه سوم تنها ۵۰ درصد امتیاز گرفتند.

رویکردهای استراتژیک برندها؛ از مسدودسازی تا رهاسازی

بررسی‌ها نشان می‌دهد که همه برندها نباید به یک شکل با هوش مصنوعی تعامل داشته باشند. برای مثال، رسانه‌های بزرگی مانند BBC، CNN و The Guardian به طور فعال بیشتر ربات‌های هوش مصنوعی را مسدود می‌کنند، زیرا مدل کسب‌وکار آن‌ها به بازدید مستقیم کاربران از سایت وابسته است. وب‌سایت amazon.com نیز با کسب امتیاز کلی ۲۹.۲ درصد، یکی از پایین‌ترین امتیازها را داشت و دسترسی تقریباً تمام ربات‌های هوش مصنوعی را مسدود کرده است.

در مقابل، سایت‌هایی مانند airbnb.com و cloudflare.com قوانین دسترسی مشخصی را برای اکثر ربات‌های بزرگ هوش مصنوعی وضع کرده‌اند. سایت‌های دیگری مانند eBay.com و tripadvisor.com نیز رویکردی انتخابی داشته و به برخی ربات‌ها اجازه دسترسی داده و برخی دیگر را مسدود کرده‌اند.

با این حال، نزدیک به دو‌سوم سایت‌های بررسی‌شده (۲۹ سایت از ۵۰ سایت) هیچ تصمیم مشخصی درباره دسترسی عامل‌های هوش مصنوعی نگرفته‌اند؛ نه چیزی را مسدود کرده‌اند و نه صراحتاً اجازه دسترسی داده‌اند. این یعنی نحوه تفسیر و استفاده از اطلاعات آن‌ها کاملاً به شانس واگذار شده است.

همچنین، استفاده از فایل llms.txt (که راهنمای خلاصه‌ای از ساختار سایت برای هوش مصنوعی ارائه می‌دهد) توسط ۱۱ سایت پیاده‌سازی شده است. برای مثال، سایت Expedia یک فایل llms.txt بسیار دقیق منتشر کرده، اما امتیاز کلی معماری هوش مصنوعی آن تنها ۳۳.۳ درصد بوده است؛ بدون داده‌های ساختاریافته JSON-LD، بدون نقشه سایت و با ارائه تنها یک‌چهارم محتوا به صورت سمت سرور (server-side). این نشان می‌دهد که انتشار یک فایل راهنما بدون اصلاح زیرساخت‌های فنی سایت، کارایی چندانی نخواهد داشت.