روز دوم نوامبر، روزنامه نیویورک تایمز (The New York Times) شکایتی حقوقی علیه شرکت Brave، توسعه‌دهنده مرورگر و موتور جستجوی Brave Search، در دادگاه ثبت کرد. بر اساس ادعای نیویورک تایمز، این شرکت بیش از ۳۰ میلیارد صفحه وب را «بدون شناساندن خود یا ارائه هیچ‌گونه سازوکار مسدودسازی به مالکان وب‌سایت‌ها» کپی کرده و سپس این محتوا را به شرکت‌های فعال در حوزه هوش مصنوعی فروخته است. اگرچه شرکت Brave هنوز به این شکایت پاسخ رسمی نداده است، اما نحوه جمع‌آوری داده‌ها و فروش آن به مدل‌های زبانی بزرگ، ابعاد جدیدی از چالش‌های حقوقی میان ناشران و شرکت‌های فناوری را آشکار ساخته است.
فروش ایندکس ۳۰ میلیارد صفحه‌ای به غول‌های هوش مصنوعی
موتور جستجوی Brave از طریق ابزاری موسوم به Brave Search API، دسترسی به ایندکس جستجوی خود را به شرکت‌های هوش مصنوعی می‌فروشد. زمانی که یک دستیار هوش مصنوعی به اطلاعات به‌روز وب نیاز دارد، به جای خزش مستقیم در وب، دسترسی به ایندکس سایر شرکت‌ها را خریداری می‌کند. بر اساس اطلاعات صفحه معرفی Brave، این API توسط برندهای مطرح هوش مصنوعی از جمله Cohere، Mistral، Perplexity و You.com مورد استفاده قرار می‌گیرد. همچنین صفحه اختصاصی هوش مصنوعی این شرکت نشان می‌دهد که ایندکس مذکور بیش از ۳۰ میلیارد صفحه را در بر می‌گیرد و روزانه میلیون‌ها صفحه جدید به آن افزوده می‌شود.
در متن دادخواست نیویورک تایمز، نام پنج شرکت هوش مصنوعی به عنوان دریافت‌کنندگان داده از Brave مطرح شده است: Anthropic، Perplexity، Mistral، xAI و Cohere. البته هیچ‌یک از این پنج شرکت مستقیماً هدف این شکایت قرار نگرفته‌اند. پرونده شرکت Anthropic و مدل هوش مصنوعی Claude در این میان قابل توجه است؛ در مارس ۲۰۲۵، Anthropic نام Brave Search را به فهرست پیمانکاران فرعی (subprocessors) خود افزود، رویدادی که وب‌سایت TechCrunch نیز آن را پوشش داد. در همان هفته، سایمون ویلیسون (Simon Willison)، توسعه‌دهنده و نویسنده وبلاگ تخصصی ابزارهای هوش مصنوعی، با ارسال پرسشی درباره پلیکان‌ها به Claude متوجه شد ۱۰ نتیجه ارائه شده توسط این مدل، دقیقاً با نتایج همان جستجو در موتور Brave مطابقت کامل دارد. پیش‌تر نیز Brave در پستی در سال ۲۰۲۳ به آموزش مدل Claude 2 اشاره کرده بود.
سازوکار پنهان‌کاری ربات خزشگر و چالش robots.txt
به طور معمول، وب‌سایت‌ها مدیریت دسترسی ربات‌های خزشگر (crawlers) را از طریق فایلی به نام robots.txt انجام می‌دهند. این سازوکار تنها زمانی کارساز است که ربات‌ها هویت و نام مشخصی داشته باشند؛ به عنوان مثال شرکت‌های OpenAI و Anthropic نام ربات‌های خود را اعلام می‌کنند تا مالکان سایت‌ها بتوانند دسترسی یک شرکت را مجاز و دیگری را مسدود کنند.
با این حال، در صفحه راهنمای رسمی Brave قید شده است که ربات خزشگر این شرکت «از شناسه کاربر (user agent) متمایز و اختصاصی استفاده نمی‌کند». توجیه Brave برای این اقدام آن است که برخی وب‌سایت‌ها تنها به ربات گوگل (Googlebot) اجازه ورود می‌دهند و اگر رباتی نام اختصاصی Brave داشته باشد، مسدود خواهد شد. بنابراین Brave اعلام کرده که از قوانین گوگل پیروی می‌کند و هر صفحه‌ای که Googlebot مجاز به خواندن آن نباشد، توسط Brave نیز خوانده نمی‌شود. این ساختار بدان معناست که مالکان وب‌سایت‌ها نمی‌توانند دسترسی گوگل را فعال نگه دارند و هم‌زمان مانع از خزش Brave شوند. تنها راه خارج شدن از ایندکس Brave، استفاده از تگ noindex است که باعث حذف صفحه از نتایج گوگل نیز می‌شود. نیویورک تایمز این اقدام را «خودداری Brave از انتشار نام ربات خزشگر وب خود» نامیده است.
استخراج محتوا برای مدل‌های زبانی و موج دعاوی حقوقی
تفاوت اصلی میان موتورهای جستجوی سنتی و فروش ایندکس، در نحوه ارجاع ترافیک است. در جستجوی عادی، کاربر پس از مشاهده نتایج روی لینک کلیک کرده و وارد سایت می‌شود. اما در محصولی که Brave ارائه می‌دهد و «LLM Context» نام دارد، اطلاعات به صورت «تکه‌های استخراج‌شده از صفحه و متاداده‌های منبع در ابعاد و قالبی که نیازهای مدل‌های لغوی بزرگ (LLM) را برآورده کند» ارائه می‌شود. در این حالت، مدل هوش مصنوعی پاسخ را بر اساس محتوای خردشده تولید می‌کند و هیچ تضمینی برای هدایت کاربر به سایت اصلی وجود ندارد. Brave علاوه بر این، ابزاری به نام Ask Brave برای ارائه پاسخ‌های مستقیم هوش مصنوعی طراحی کرده که آن هم مورد شکایت نیویورک تایمز قرار گرفته است.
هم‌زمان با شکایت نیویورک تایمز با اتهام نقض حقوق پدیدآورنده (copyright infringement) و دور زدن دیوار پرداخت (paywall)، روزنامه‌های Daily News، Chicago Tribune و Orlando Sentinel نیز دادخواست‌های جداگانه‌ای علیه Brave ثبت کرده‌اند. این نخستین درگیری حقوقی Brave بر سر ایندکس‌سازی نیست؛ پیش از این، شرکت News Corp اخطاریه‌ای برای Brave ارسال کرده بود که با شکایت متقابل Brave مواجه شد. Brave مدعی شده بود که ایندکس‌سازی وب اقدامی است که «همه اپراتورهای موتور جستجو برای بقا باید انجام دهند». با این حال، به گزارش Semafor، در ژوئیه ۲۰۲۶ شرکت News Corp مجدداً از Brave شکایت کرد و پنهان کردن ربات‌های خزشگر را مانعی برای تشخیص و مسدودسازی توسط ناشران دانست. حکم نهایی این دادگاه‌ها می‌تواند الگوی حقوقی جدیدی برای تمامی وب‌سایت‌های حاضر در این ایندکس ۳۰ میلیاردی ایجاد کند.