آمار آسان برای تست A/B و همسترها

adminژوئن 20, 2026

0 59 خواندن این مطلب 6 دقیقه زمان میبرد

ابزارهای تست A/B اغلب در مورد اینکه آیا چیزی “از نظر آماری قابل توجه است” دروغ می گویند. در اینجا یک فرمول بسیار ساده و از نظر ریاضی مناسب برای محاسبه آن وجود دارد.

این ویدیو مفهوم و همچنین اصل آماری را توضیح می دهد که مغالطه ذهنی را توضیح می دهد که هنگام استدلال درباره رویدادهای نادر ما را گمراه می کند.

بنابراین، آزمون AdWords شما آماده است: آیا افراد عنوان «ابزار بررسی کد» یا «ابزار بررسی کد» را انتخاب خواهند کرد؟

آنها هر دو بسیار هیجان انگیز هستند! چه کسی می تواند انتخاب کند! می دانم، می دانم، آرام باش. به تست A/B خوش آمدید.

به هر حال، روز بعد شما این نتیجه را دارید:

	گزینه A “ابزار بررسی کد”	گزینه B “ابزار بررسی کد”
کلیک ها:	31	19

آیا این قانع کننده است؟ آیا او برنده شد؟ یا باید اجازه دهید آزمایش طولانی تر شود؟ یا باید متن کاملا متفاوتی را امتحان کنید؟

پاسخ مهم است. اگر بین تست ها خیلی صبر کنید، زمان را تلف می کنید. اگر به اندازه کافی منتظر نمانید از نظر آماری قطعی است نتایج، شاید من فکر می کنم نوع بهتر است و از این فرض اشتباه برای ایجاد یک نوع جدید و غیره استفاده کنید، همه در تعقیب وحشیانه! این نه تنها اتلاف وقت است، بلکه شما را از انجام این کار باز می دارد به درستی چیزی که قرار است با a یک تست کاملا جدید.

به طور معمول، درمان آماری رسمی بسیار دشوار است، اما من اینجا هستم تا شما را نجات دهم با یک فرمول آماری قوی و در عین حال فوق العاده ساده که تعیین می کند آیا نتایج آزمون های A/B شما واقعا معنی دار هستند یا خیر.

در عرض یک دقیقه به آن خواهم رسید، اما نمی توانم مثال خنده دارتری از AdWords را اضافه نکنم. با هامی همستر، آزمایش کننده محصولات ارگانیک احتمالا مغرضانه اما فوق العاده جذاب آشنا شوید:

در فیلم هامی محصولات ارگانیک را انتخاب می کند 8 بار و متعارف 4 بار. این یک تست A/B است، درست مانند AdWords… اما قوی تر.

اگر شما هم مثل من هستید، احتمالا فکر می کنید «ارگانیک» برنده واضح است – بالاخره هامی آن را انتخاب کرد دو برابر بیشتر مانند سبزیجات معمولی اما همانطور که اغلب در مورد احتمالات و آمار اتفاق می افتد، اشتباه خواهید کرد.

این به این دلیل است که انسان‌ها در حدس زدن این چیزها از روی احساس درونی بد هستند. بیشتر مردم از مرگ در یک سانحه هواپیما بیشتر از یک تصادف اتومبیل می ترسند، حتی اگر مورد دوم 1000 برابر بیشتر باشد. از سوی دیگر، وقتی سی‌ان‌ان «انتخابات» را برای فرمانداری برگزار می‌کند، شگفت‌زده می‌شویم که تنها 1 درصد از آرای ایالتی گزارش می‌دهند. ما همچنین نمی توانیم بین الگوها و نویز تمایز قائل شویم.

خوب، باشه، ما در ریاضی بد هستیم. پس جواب چیست؟ این چیزی است که منتظرش بودید:

تعیین اینکه آیا آزمون A/B از نظر آماری معنادار است یا خیر

تعریف کنید

$$N$$ به عنوان “تعداد آزمایشات”.
برای هامی $N = 8+4 = \mathbf{12}$
برای AdWords، $N = 31+19 = \mathbf{50}$
تعریف کنید $$D$$ به عنوان “نصف تفاوت بین “برنده” و “بازنده”.
برای هامی $D = \dfrac{8-4}{2} = \mathbf{2}$
برای AdWords، $D = \dfrac{31-19}{2} = \mathbf{6}$
نتیجه آزمایش فقط در صورتی از نظر آماری معنادار است $$D^2 > N$$ .
برای هامی $$D^2 = 4$$ که هست نه بیشتر از $$12$$ درست است ناچیز.
برای AdWords، $$D^2 = 36$$ که هست نه بیشتر از $$50$$ درست است ناچیز.

بنابراین تست AdWords شما هنوز از نظر آماری قابل توجه نیست. اما شما اجازه دادید آزمایش اجرا شود. روز بعد شما 31 کلیک دیگر برای گزینه A و 19 کلیک بیشتر برای B پیدا می کنید. با اجرای مجدد تست، تفاوت اندازه گیری شده اکنون قابل توجه است:

	گزینه الف	گزینه ب	$$N$$	$$D$$	$$D^2$$	آمار سیگ؟
روز اول:	31	19	50	6	36	نه
روز دوم:	62	38	100	12	144	بله

با این حال، بسیاری از اوقات شما به اجرای آزمون ادامه می دهید و هنوز هم مهم نیست. سپس متوجه می شوید که چیز جدیدی یاد نمی گیرید. گزینه هایی که انتخاب می کنید تفاوت زیادی برای خوانندگان شما ایجاد نمی کند. این بدان معناست که زمان آن رسیده که چیز جدیدی ارائه دهید.

هنگامی که شروع به استفاده از فرمول در نمونه های دنیای واقعی می کنید، متوجه این خواهید شد وقتی N کوچک باشد، مهم بودن آماری دشوار یا حتی غیرممکن است. مثلاً بگویید یک تبلیغ با 6 کلیک و دیگری با 1 کلیک دارید. همین $$N = 7؛ D = 2.5؛ D^2 = 6.25$$ . بنابراین، با وجود اینکه A شش بر یک، B را شکست می دهد، آزمون هنوز قطعی نیست. در اینجا به ریاضیات اعتماد کنید – فقط با چند نقطه داده، واقعاً چیزی نمی دانید.

هر چه کوچکتر باشد $$N$$ تفاوت باید بیشتر باشد تا قابل توجه باشد. به طور خاص، نتایج تنها در صورتی قابل توجه است که نسبت بین A و B بزرگتر از $\frac{\sqrt{N}+2}{\sqrt{N}-2}$ . به عنوان مثال، اگر $$N = 50$$ همانطور که در مورد مثال “آزمون A/B از روز اول” ما وجود داشت، نوع برنده باید تقریباً دو برابر تعداد کلیک در مقایسه با نوع بازنده داشته باشد تا تفاوت قابل توجهی داشته باشد، برای مثال نرخ تبدیل 10٪ در مقابل 5٪. این یک تفاوت بزرگ است. اگر چیزی را پیدا کنید که به شدت بهتر است، بسیار خوب است، اما نادر است، و بنابراین تقریباً هرگز نمی توانید یک تست A/B معنی دار را با تنها 50 کلیک برای تجزیه و تحلیل پیدا کنید.

چه زمانی $$N = 100$$ برنده باید حداقل 50٪ بالاتر از بازنده باشد (که در مثال ما در روز دوم بود). که طول می کشد $$N = 1800$$ برای تشخیص مواردی که برنده فقط 10٪ بزرگتر از بازنده است.

و این خبر بدی برای تست A/B است، زیرا اغلب یک گزینه بیش از 10% بهتر از گزینه دیگر نیست، مانند “نرخ تبدیل 2.4٪” در مقابل “نرخ تبدیل 2.2٪”. این به چه معناست، به خصوص اگر N بزرگ نداشته باشید؟ معنی آن همین است شما باید به دنبال تفاوت های بزرگ باشیدنه آنهایی که ظریف هستند طرح های بسیار متفاوت را تست کنید، نه ترفندها. ترفندها فقط زمانی قابل آزمایش هستند $$N$$ عظیم است

امیدوارم این فرمول به شما در انتخاب درست هنگام اجرای تست های A/B کمک کند. به اندازه کافی ساده است که هیچ بهانه ای برای استفاده نکردن از آن ندارید! شهود انسان در مورد این چیزها بد است، و ابزارهای تست A/B اغلب از ریاضیات گمراه کننده یا نادرست استفاده می کنند، بنابراین اجازه دهید این فرمول به شما در نتیجه گیری درست کمک کند.

برنامه ای برای افرادی که از نظر ریاضی تمایل دارند: نتیجه نهایی

فرضیه صفر این است که نتایج آزمون A/B تنها به دلیل شانس است. آزمون آماری مورد نیاز ما chi-square پیرسون است.

تعریف از $\chi^2$ آمار به شرح زیر است که در آن:

$$m$$ = تعداد نتایج ممکن
$$OK_k$$ = مقدار مشاهده شده از نتایج در دسته $$k$$ ;
$$E_k$$ = مقدار مورد انتظار نتایج در دسته $$k$$ :

$\chi^2 = \sum_{k=1}^{m} \frac{(O_k – E_k)^2}{E_k}$

در مورد ساده یک تست A/B دو متغیره، $m = 2$ . $$O_1$$ و $$O_2$$ نتایج مشاهده شده و طبق تعریف هستند $$N = O_1 + O_2$$ . نتیجه مورد انتظار در فرض صفر این است که مقادیر به طور مساوی در هر دسته قرار می گیرند $$E_1 = E_2 = N/2$$ .

از جمله این در تعریف:

$\chi^2 = \frac{(O_1 – \frac{N}{2})^2}{\frac{N}{2}} + \frac{(O_2 – \frac{N}{2})^2}{\frac{N}{2}}$

اولین شماره را می توان بر حسب بازنویسی کرد $$O_1$$ و $$O_2$$ با تعویض $$N = O_1 + O_2$$ و این منجر به متغیر ما می شود $$D^2$$ همانطور که در متن اصلی تعریف شده است:

$\begin{aligned} \left(O_1 – \frac{N}{2} \right)^2 &= \left(O_1 – \frac{O_1 + O_2}{2} \right)^2 \\ &= \left(\frac{2O_1 – O_1 – O_2}{2} \right)^2 \\ &= \left(\frac{O_1 – O_2}{2} \right)^2 \\ &= D^2 \end{aligned}$

ما می توانیم با شماره دوم تکرار کنیم و بنابراین عبارت ساده می شود:

$\begin{aligned} \chi^2 &= \frac{(O_1 – \frac{N}{2})^2}{\frac{N}{2}} + \frac{(O_2 – \frac{N}{2})^2}{\frac{N}{2}} \\ &= \frac{D^2}{\frac{N}{2}} + \frac{D^2}{\frac{N}{2}} \\ &= \frac{2}{N}(2D^2) \\ &= \frac{4D^2}{N} \end{aligned}$

اکنون که فرمول ساده ای برای آماره کای دو داریم، برای تعیین معنی داری آماری به توزیع کای اسکوئر اشاره می کنیم. به طور خاص: احتمال اینکه این نتیجه تصادفی رخ دهد چقدر است؟

با نگاه کردن به توزیع در 1 درجه آزادی، باید از 3.8 برای اطمینان 95٪ و از 6.6 برای اطمینان 99٪ تجاوز کنیم. برای این فرمول عملی ساده شده، 4 را به عنوان آستانه بحرانی انتخاب کردم. تصمیم گیری در مورد $$D^2$$ خروجی را کامل می کند:

$\begin{aligned} \chi^2 &> 4 \\ \frac{4D^2}{N} &> 4 \\ D^2 &> N \end{aligned}$

(علاوه بر این، اگر $$D^2$$ بیش از دو برابر است $$N$$ از سطح اطمینان 99 درصد فراتر رفتید.)

اشتقاق عبارت دیگر در مقاله – که نسبت بین دو متغیر باید از یک آستانه معین فراتر رود تا معنی دار باشد – با شرط مرزی بودن شروع می شود و مقادیر $$A$$ و $$B$$ در چنین حالتی:

$\begin{aligned} D^2 &= N \\ D &= \sqrt{N} \\ A-\frac{N}{2} &= \sqrt{N} \\ A &= \frac{N}{2} + \sqrt{N} \end{aligned}$

به همین ترتیب، با توجه به آن $$B = N - A$$ :

$B = \frac{N}{2} – \sqrt{N}$

بنابراین:

$\begin{aligned} \frac{A}{B} &= \frac{\frac{N}{2} + \sqrt{N}}{\frac{N}{2} – \sqrt{N}} \\ &= \frac{N + 2\sqrt{N}}{N – 2\sqrt{N}} \\ &= \frac{\sqrt{N} + 2}{\sqrt{N} – 2} \\ \end{aligned}$

چاپ شده توسط: خرس باهوش