هر مدل‌سازی آمیخته بازاریابی (Marketing Mix Model - MMM) پس از تنظیمات اولیه می‌تواند نمودارهای متقاعدکننده‌ای از تخصیص کانال‌ها، منحنی‌های پاسخ، ضریب تعیین (R²) تمیز و پیشنهادهایی برای بازتوزیع بودجه ارائه دهد. اما این نمودارها نشان نمی‌دهند که چه مقدار از این نتایج حاصل داده‌های واقعی است و چه مقدار از آن تحت تأثیر فرضیات پیش‌فرض خود مدل شکل گرفته است. متغیرهایی مانند پنجره‌های انباشت تبلیغات (Adstock) و فروپاشی، منحنی‌های اشباع، فرضیات پیشین (Priors) و منظم‌سازی (بایسی یا ریج)، در کنار فاکتورهای فصلی، همگی بر نحوه انتساب اثربخشی کانال‌ها توسط مدل اثر می‌گذارند. تغییر این فاکتورها می‌تواند داستان کاملاً متفاوتی از یک مجموعه داده واحد روایت کند. به همین دلیل، بن ویگنرون (Ben Vigneron)، تحلیل‌گر حوزه بازاریابی، معتقد است یک مدل واحد تنها یک «نظر اولیه» است و نه یک حکم قطعی. اجرای هم‌زمان چندین مدل روی داده‌های یکسان، عدم قطعیت‌ها را آشکار کرده و تصمیم‌گیری‌های هفت‌رقمی بودجه‌های تبلیغاتی را ایمن‌تر می‌سازد.

تفاوت ابزارهای مدل‌سازی: Robyn، Meridian و PyMC-Marketing

برای کاهش نقاط کور مدل‌سازی، استفاده از سه ابزار متن‌باز با رویکردهای متفاوت پیشنهاد می‌شود:

  • Robyn (توسعه‌یافته توسط Meta): این ابزار از رگرسیون ریج (Ridge regression) همراه با جستجوی تکاملی روی ابرپارامترها استفاده می‌کند. Robyn ابزاری سریع و برای تیم‌های بازاریابی فاقد پیش‌زمینه آمار بیزی بسیار قابل دسترس است و به عنوان یک خط مبنای اولیه قوی عمل می‌کند. این ابزار بر پایه زبان R توسعه یافته است.
  • Meridian (توسعه‌یافته توسط Google): ابزاری مبتنی بر آمار بیزی و دارای ساختار سلسله‌مراتب جغرافیایی است که شاخص‌های دسترسی (Reach)، فرکانس (Frequency) و اثرات بالای قیف فروش را پوشش می‌دهد. تغییرات هزینه در سطح مناطق، سیگنال‌های آماری ارزشمندی به آن اضافه می‌کند که در مدل‌های صرفاً ملی دیده نمی‌شود. این ابزار بر پایه پایتون (Python) است.
  • PyMC-Marketing: ابزاری کاملاً بیزی و مبتنی بر پایتون است که بر روی PyMC ساخته شده و به کاربر اجازه می‌دهد فرضیات پیشین، ساختار مدل و مسیرهای اثر غیرمستقیم بین کانال‌ها را به طور کامل تعریف کند. این ابزار کنترل کاملی روی فرضیات به کاربر می‌دهد اما نیازمند متخصصی است که بتواند از این فرضیات دفاع کند.

فرآیند مقایسه و عیب‌یابی مدل‌ها

برای اجرای این استراتژی، باید ورودی‌های کاملاً یکسانی از جمله هزینه‌ها، نتایج و متغیرهای کنترل برای هر سه ابزار استفاده شود. در مرحله اول، هر سه مدل باید با تنظیمات پیش‌فرض اجرا شوند و سپس فرآیند بهینه‌سازی آغاز گردد تا تفاوت‌های ساختاری آن‌ها نمایان شود. در زمان مقایسه، تمرکز باید روی تجزیه کانال‌ها و منحنی‌های پاسخ باشد، نه آمارهای انطباق مدل مانند ضریب تعیین (R²). یک R² بالا صرفاً نشان‌دهنده انطباق مدل با داده‌های تاریخی است و لزوماً صحت روایت علّی آن را تأیید نمی‌کند.

هنگامی که نتایج مدل‌ها هم‌گرا می‌شوند، می‌توان با اطمینان تصمیم‌گیری کرد و بحث‌ها را خاتمه داد. اما در صورت واگرایی نتایج، معمولاً مشکلاتی مانند هم‌خطی کانال‌ها (Channel collinearity)، متغیرهای مخدوش‌کننده فصلی، عدم تغییر در روند هزینه‌ها (Flat spend history) یا حساسیت به پنجره انباشت تبلیغات وجود دارد. برای مثال، دو کانال که هم‌زمان با هم رشد می‌کنند باعث می‌شوند هر مدل سهم متفاوتی به آن‌ها اختصاص دهد که این مشکل تنها با یک تست نگه‌داشت (Holdout test) جغرافیایی حل می‌شود.

مطالعه موردی: تحلیل داده‌های یک برند DTC

در یک سناریو با استفاده از داده‌های فرضی یک برند مستقیم به مصرف‌کننده (DTC) که ماهیانه حدود ۱.۵ میلیون دلار در چهار کانال هزینه می‌کند و داده‌های هفتگی ۲.۵ ساله آن در هر سه مدل اجرا شده است، نتایج متفاوتی به دست آمد:

مدل Robyn بدون اعمال فرضیات پیشین، ۴۱ درصد از درآمد را به جستجوی پولی (Paid Search) اختصاص داد؛ چرا که رگرسیون ریج بیشترین اعتبار را به کانالی می‌دهد که قوی‌ترین همبستگی را با تبدیل‌ها دارد (که در این مثال جستجوی برند یا Branded Search بود). در مقابل، هر دو مدل بیزی (Meridian و PyMC-Marketing) جستجو را به عنوان بخشی از تقاضای موجود در پایین قیف در نظر گرفته و اعتبار آن را به ۱۹ تا ۲۲ درصد کاهش دادند. یک تست نگه‌داشت جغرافیایی روی جستجوی برند، نرخ واقعی را ۱۷ درصد نشان داد که به تخمین‌های بیزی بسیار نزدیک‌تر بود.

در بخش تلویزیون نیز تفاوت آشکاری وجود داشت؛ Robyn با پنجره انباشت هندسی کوتاه خود سهم تلویزیون را ۳ درصد برآورد کرد، در حالی که پنجره فروپاشی ۸ تا ۱۰ هفته‌ای در Meridian و PyMC-Marketing سهم آن را بین ۱۴ تا ۱۶ درصد نشان داد که نشان‌دهنده اثرگذاری کند و طولانی‌مدت تلویزیون است. همچنین در خصوص تقسیم سهم بین Meta و Google Shopping به دلیل هم‌زمانی رشد هزینه‌ها در فصل‌های اوج، مدل‌ها سهم‌های متفاوتی (مانند ۲۴/۱۱ درصد، ۳۱/۹ درصد و ۱۸/۲۲ درصد) را با سطوح اطمینان متفاوت ارائه دادند که نشان می‌دهد تفکیک این کانال‌ها صرفاً با داده‌های مشاهده‌ای غیرممکن است.

برنامه اجرایی سه ماهه برای پیاده‌سازی MMM چندگانه

برای پیاده‌سازی این رویکرد در یک بازه زمانی سه ماهه، مراحل زیر پیشنهاد می‌شود:

  1. جمع‌آوری یکپارچه داده‌ها: گردآوری داده‌های هفتگی هزینه‌ها، نتایج و متغیرهای کنترل با حداقل دو سال سابقه تاریخی. این مرحله زمان‌بر است اما داده‌های آماده‌شده در تمام مدل‌ها بازآفرینی می‌شوند.
  2. اجرای Robyn به عنوان خط مبنا: این سریع‌ترین راه برای رسیدن به یک تحلیل اولیه است که باید به عنوان نظر اول و نه نهایی تلقی شود.
  3. افزودن Meridian یا PyMC-Marketing: استفاده از یک مدل بیزی به عنوان دیدگاه دوم برای اعمال فرضیات پیشین و ساختارهای جغرافیایی.
  4. مقایسه منحنی‌های پاسخ و تجزیه کانال‌ها: ثبت نقاط هم‌گرایی و واگرایی به عنوان لیست یافته‌های کلیدی.
  5. طراحی یک تست جغرافیایی: اجرای یک تست برای حل بزرگ‌ترین نقطه واگرایی مدل‌ها، که نتایج آن به عنوان فرضیه پیشین در نوبت بعدی به‌روزرسانی مدل استفاده خواهد شد.