نظرية الاحتمالات 101

"لا يلعب الله بالنرد مع الكون"، ألبرت أينشتاين

"كان أينشتاين مخطئًا على الوجهين ... فليس الله فقط هو من يلعب النرد بالتأكيد، بل إنّه أحيانًا يربكنا بطرح النرد في مواضع لا يمكن رؤيتها فيها."، ستيفن هوكينغ

"«احتمال كبح معركة ليس له مكان في نظريتنا، لأنّه لا ينتمي إلى أي [تجربة عشوائية]. لا يمكن تطبيق الاحتمال على هذه المسألة أكثر مما يمكن تطبيق المفهوم الفيزيائي للشغل على «الشغل» الذي يؤديه ممثل يردد دوره.»", ريتشارد فون ميزيس، 1928 (بصياغة مُعاد صياغتها)

"لا أستطيع أن أرى لماذا تفرض «الحياد» أن نفسّر كل احتمال كتردّد في بعض التجربة العشوائية؛ وبخاصة حين لا تكون الاحتمالات في معظم المسائل سوى تردّدات في كونٍ خيالي اخترعناه لغرض واحد هو السماح بتفسيرٍ بالتردّد."، إي. تي. جينز، 1976

قبل أن نبيّن كيف نستعمل العشوائية في الخوارزميات، دعنا نُراجع بسرعة بعض المفاهيم الأساسية في نظرية الاحتمالات. ليس المقصود من هذا أن يُغني عن مساق في نظرية الاحتمالات، وإذا كنت لم ترَ هذه المادة من قبل، فإنني أنصحك بشدة بالاطلاع على مصادر إضافية كي تتمكّن من استيعابها سريعًا. ولحسن الحظ، لن نحتاج إلى كثير من المفاهيم المتقدّمة في نظرية الاحتمالات، لكن، كما سنرى، حتى ما يُسمّى بالإعداد «البسيط» لرمي $n$ عملة يمكن أن يقود إلى مسائل دقيقة ومثيرة جدًّا.

عملات عشوائية

طبيعة العشوائية والاحتمال موضوع ذو عمق فلسفي وعلمي ورياضي كبير. هل هناك عشوائية حقيقية في العالم، أم أنّه يسير بطريقة حتمية كآلية الساعة انطلاقًا من بعض الشروط الابتدائية التي وُضعت عند بدء الزمن؟ هل يشير الاحتمال إلى عدم يقيننا في معتقداتنا، أم إلى تكرار الوقوع في التجارب المتكرّرة؟ كيف يمكننا تعريف الاحتمال على مجموعات لا نهائية؟

كلّ هذه أسئلة مهمّة درسها وناقشها العلماء والرياضيون والإحصائيون والفلاسفة. ولحسن الحظ، لن نحتاج هنا إلى التعامل مع هذه الأسئلة مباشرة. سيكون اهتمامنا الأساسي بالإعداد الذي نرمي فيه $n$ عملة عشوائية غير مُتحيّزة ومستقلة. نعرّف أدناه الكائنات الاحتمالية الأساسية، وهي الأحداث (events) و_المتغيّرات العشوائية_ (random variables)، عند تقييدنا بهذا الإعداد. ويمكن تعريفها لتجارب احتمالية أو فضاءات عيّنات (sample spaces) أعمّ كثيرًا، وسنناقش لاحقًا باختصار كيف يمكن ذلك. لكنّ حالة الـ $n$ عملة تكفي تقريبًا لكل ما سنحتاجه في هذا المساق.

بدلًا من "الصورة" (heads) و"الذيل" (tails)، إذا رمّزنا وجهي كل عملة بـ "صفر" و"واحد"، أمكننا ترميز نتيجة رمي $n$ عملة كسلسلة (string) في $\{0,1\}^n$. كل نتيجة معيّنة $x\in \{0,1\}^n$ تحصل باحتمال $2^{-n}$. مثلًا، إذا رمينا ثلاث عملات، فإنّنا نحصل على كلٍّ من النتائج الثماني $000,001,010,011,100,101,110,111$ باحتمال $2^{-3}=1/8$ (انظر أيضًا الشكل التوضيحي). ويمكننا وصف تجربة رمي $n$ عملة بأنها اختيار سلسلة $x$ عشوائيًا بالتساوي من $\{0,1\}^n$، ولذلك سنستعمل الاختصار $x\sim \{0,1\}^n$ لكل $x$ مُختار وفق هذه التجربة.

الحدث (event) هو ببساطة مجموعة جزئية $A$ من $\{0,1\}^n$. احتمال $A$، الذي يُرمز إليه بـ $\Pr_{x\sim \{0,1\}^n}[A]$ (أو $\Pr[A]$ اختصارًا، حين يُفهم فضاء العيّنات من السياق)، هو احتمال أن يكون $x$ المختار عشوائيًا بالتساوي مجموعًا في $A$. لاحظ أنّ هذا هو نفسه $|A|/2^n$ (حيث يُشير $|A|$ كما جرت العادة إلى عدد عناصر المجموعة $A$). مثلًا، احتمال أن يكون في $x$ عدد زوجي من الآحاد هو $\Pr[A]$ حيث $A=\{ x : \sum_{i=0}^{n-1} x_i \;= 0 \mod 2 \}$. في حالة $n=3$، $A=\{ 000,011,101,110 \}$، وبالتالي $\Pr[A]=\tfrac{4}{8}=\tfrac{1}{2}$ (انظر الشكل التوضيحي). ويبدو أنّ هذا صحيح لكل $n$:

يمكنك أيضًا استعمال عاملَي التقاطع (intersection) ($\cap$) و_الاتحاد_ (union) ($\cup$) للحديث عن احتمال وقوع الحدث $A$ _و_الحدث $B$ معًا، أو عن احتمال وقوع الحدث $A$ أو الحدث $B$. مثلًا، الاحتمال $p$ أن يكون في $x$ عدد زوجي من الآحاد _و_أن يكون $x_0=1$ هو نفسه $\Pr[A\cap B]$ حيث $A=\{ x\in \{0,1\}^n : \sum_{i=0}^{n-1} x_i =0 \mod 2 \}$ و $B=\{ x\in \{0,1\}^n : x_0 = 1 \}$. وهذا الاحتمال يساوي $1/4$ لكل $n > 1$. (ومن تمارينك الممتعة أن تتوقّف هنا وتتحقّق من فهمك لسبب حدوث هذا.)

لأنّ التقاطع يقابل اعتبار «الضبط المنطقي» (logical AND) لشروط وقوع حدثين، بينما يقابل الاتحاد اعتبار «أو المنطقية» (logical OR)، سنستعمل أحيانًا عاملَي $\wedge$ و $\vee$ بدلًا من $\cap$ و $\cup$، ونكتب الاحتمال $p=\Pr[A \cap B]$ المعرَّف أعلاه أيضًا على الصورة $$\Pr_{x\sim \{0,1\}^n} \left[ \sum_{i=0}^{n-1} x_i =0 \mod 2 \; \wedge \; x_0 = 1 \right] \;.$$

إذا كان $A \subseteq \{0,1\}^n$ حدثًا، فإنّ $\overline{A} = \{0,1\}^n \setminus A$ يقابل الحدث الذي لا تقع فيه $A$ إطلاقًا. وبما أنّ $|\overline{A}|=2^n-|A|$، فإنّنا نحصل على $$\Pr[\overline{A}] = \tfrac{|\overline{A}|}{2^n} = \tfrac{2^n-|A|}{2^n}=1-\tfrac{|A|}{2^n} = 1- \Pr[A] \;.$$ وهذا منطقي: فبما أنّ $A$ تقع إذا وفقط إذا لم تقع $\overline{A}$ إطلاقًا، فإنّ احتمال $\overline{A}$ يجب أن يكون واحدًا ناقص احتمال $A$.

المتغيّرات العشوائية

تقابل الأحداث (events) أسئلة بنعم/لا، لكنّنا غالبًا نريد تحليل أسئلة أدقّ. مثلًا، إذا راهنّا على عجلة الروليت (roulette)، فإنّنا لا نريد تحليل ما إذا كنا قد ربحنا أم خسرنا فحسب، بل أيضًا بمقدار ما ربحناه. المتغيّر العشوائي (random variable) ذا القيمة الحقيقية هو ببساطة طريقة لربط عدد بنتيجة تجربة احتمالية. رسميًا، المتغيّر العشوائي هو دالة $X:\{0,1\}^n \rightarrow \R$ تُسند كل نتيجة $x\in \{0,1\}^n$ إلى عنصر $X(x) \in \R$. مثلًا، الدالة $SUM:\{0,1\}^n \rightarrow \R$ التي تُسند $x$ إلى مجموع إحداثياتها (أي إلى $\sum_{i=0}^{n-1} x_i$) هي متغيّر عشوائي.

التوقّع (expectation) لمتغيّر عشوائي $X$، والمُرمز إليه بـ $\E[X]$، هو القيمة المتوسطة التي يأخذها هذا العدد عبر كل السحوبات من التجربة الاحتمالية. بعبارة أخرى، يُعرَّف توقّع $X$ على النحو التالي: $$\E[X] = \sum_{x\in \{0,1\}^n} 2^{-n}X(x) \;.$$

إذا كان $X$ و $Y$ متغيّرين عشوائيين، فيمكننا تعريف $X+Y$ بأنه ببساطة المتغيّر العشوائي الذي يُسند نقطة $x\in \{0,1\}^n$ إلى $X(x)+Y(x)$. وإحدى الخصائص الأساسية والمفيدة جدًّا للتوقّع هي أنّه خطّي (linear):

وبالمثل، $\E[kX] = k\E[X]$ لكل $k \in \R$.

إذا كان $A$ حدثًا، فإنّ $1_A$ هو المتغيّر العشوائي بحيث $1_A(x)$ تساوي $1$ إذا كان $x\in A$، و $1_A(x)=0$ في غير ذلك. لاحظ أنّ $\Pr[A] = \E[1_A]$ (هل ترى لماذا؟). وباستعمال هذا وخطّية التوقّع يمكننا إثبات أحد أكثر الحدود نفعًا في نظرية الاحتمالات:

نستعمل هذه النتيجة كثيرًا في نظرية الحاسوب، فنُبرهن مثلًا أنّه إذا كان لدينا قائمة من 100 حدث سيّئ يمكن أن يقع، وكان احتمال وقوع كلٍّ منها على الأكثر $1/10000$، فإنّه باحتمال على الأقل $1-100/10000 = 0.99$ لا يقع أيّ حدث سيّئ.

التوزيعات على السلاسل

بينما نفكّر في معظم الأحيان في المتغيّرات العشوائية على أنّ ناتجها عدد حقيقي، أحيانًا نفكّر في متغيّرات عشوائية يكون ناتجها سلسلة. أي، يمكننا التفكير في دالة $Y:\{0,1\}^n \rightarrow \{0,1\}^*$ والنظر في "المتغيّر العشوائي" $Y$ بحيث يكون لكل $y\in \{0,1\}^*$ احتمال أن يُخرج $Y$ القيمة $y$ مساويًا لـ $\tfrac{1}{2^n}\left| \{ x \in \{0,1\}^n \;|\; Y(x)=y \}\right|$. ولتفادي الالتباس، سنشير عادةً إلى هذه المتغيّرات العشوائية ذات القيمة السلسلة بأنّها توزيعات (distributions) على السلاسل. إذًا، يمكن التفكير في توزيع (distribution) $Y$ على السلاسل $\{0,1\}^*$ على أنّه مجموعة منتهية من السلاسل $y_0,\ldots,y_{M-1} \in \{0,1\}^*$ واحتمالات $p_0,\ldots,p_{M-1}$ (وهي أعداد غير سالبة مجموعها واحد)، بحيث $\Pr[ Y = y_i ] = p_i$.

نُسمّي التوزيعَين $Y$ و $Y'$ متطابقين (identical) إذا كانا يُسندان الاحتمال نفسه لكل سلسلة. مثلًا، لننظر في الدالتين التاليتين $Y,Y':\{0,1\}^2 \rightarrow \{0,1\}^2$. لكل $x \in \{0,1\}^2$، نعرّف $Y(x)=x$ و $Y'(x)=x_0(x_0\oplus x_1)$ حيث $\oplus$ هي عملية XOR. ومع أنّ هاتين دالتين مختلفتان، فإنّهما تولّدان التوزيع نفسه على $\{0,1\}^2$ عند استدعائهما على مُدخل موزّع بالتساوي (uniform). ف توزيع $Y(x)$ لـ $x\sim \{0,1\}^2$ هو طبعًا التوزيع المنتظم على $\{0,1\}^2$. ومن الجهة الأخرى، فإنّ $Y'$ هو ببساطة الدالة $00 \mapsto 00$، $01 \mapsto 01$، $10 \mapsto 11$، $11 \mapsto 10$، وهي تباديل (permutation) لـ $Y$.

فضاءات عيّنات أعمّ

ومع أنّنا نفترض في معظم هذا الكتاب أنّ التجربة الاحتمالية الكامنة تقابل رمي $n$ عملة مستقلة، فإنّ كل الادّعاءات التي نُقدّمها تعمَّم بسهولة على سحب $x$ من مجموعة أعمّ منتهية أو قابلة للعدّ $S$ (ولا تعمَّم بسهولةٍ كذلك على المجموعات غير القابلة للعدّ $S$). توزيع الاحتمالات (probability distribution) على مجموعة منتهية $S$ هو ببساطة دالة $\mu : S \rightarrow [0,1]$ بحيث $\sum_{x\in S}\mu(x)=1$. ونفكّر في هذا على أنّه التجربة التي نحصل فيها على كل $x\in S$ باحتمال $\mu(x)$، ونرمز أحيانًا لذلك بـ $x\sim \mu$. وبخاصة، فإنّ رمي $n$ عملة عشوائية يقابل توزيع الاحتمالات $\mu:\{0,1\}^n \rightarrow [0,1]$ المُعرَّف بأنّ $\mu(x) = 2^{-n}$ لكل $x\in \{0,1\}^n$. الحدث (event) $A$ هو مجموعة جزئية من $S$، واحتمال $A$ الذي نرمز إليه بـ $\Pr_\mu[A]$ هو $\sum_{x\in A} \mu(x)$. المتغيّر العشوائي (random variable) هو دالة $X:S \rightarrow \R$، حيث يكون احتمال أن يكون $X=y$ مساويًا لـ $\sum_{x\in S \text{ s.t. } X(x)=y} \mu(x)$.

الارتباط والاستقلال

أدقّ المفاهيم في الاحتمالات وأكثرها أهمية هو مفهوم الاستقلال (independence) (والمفهوم المضادّ له، وهو الارتباط (correlations)). فالارتباطات الدقيقة (subtle correlations) كثيرًا ما تقف خلف المفاجآت والأخطاء في التحليل الاحتمالي والإحصائي، وقد نُسبت عدّة تنبّؤات خاطئة إلى حساب خاطئ للارتباطات بين، مثلًا، أسعار المنازل في فلوريدا وأريزونا، أو تفضيلات الناخبين في أوهايو وميتشيغان. انظر أيضًا محاضرة جو بلتزشتاين (Joe Blitzstein) ذات العنوان المناسب "الاشتراط هو روح الإحصاء". (ومسألة أخرى شائكة بالطبع هي الفرق بين الارتباط (correlation) و_السببية_ (causation). ولحسن الحظ، فهذا أيضًا نقطة لا نحتاج إلى القلق بشأنها في إعدادنا النظيف لرمي $n$ عملة.)

نُسمّي حدثين $A$ و $B$ مستقلّين (independent) إذا كان وقوع $A$ لا يجعل $B$ أكثر احتمالًا في الوقوع ولا أقلّ احتمالًا. مثلًا، إذا فكّرنا في تجربة رمي $3$ عملات عشوائية $x\in \{0,1\}^3$، وجعلنا $A$ هو الحدث $x_0=1$ و $B$ هو الحدث $x_0 + x_1 + x_2 \geq 2$، فإنّ $B$ يصبح أكثر احتمالًا في الوقوع إذا وقع $A$، وبالتالي فهذان الحدثان ليسا مستقلّين. ومن الجهة الأخرى، إذا جعلنا $C$ هو الحدث $x_1=1$، فإنّه بما أنّ رمي العملة الثانية لا يتأثّر بنتيجة رمي الأولى، يكون الحدثان $A$ و $C$ مستقلّين.

التعريف الرسمي هو أنّ الحدثين $A$ و $B$ يكونان مستقلّين إذا كان $\Pr[A \cap B]=\Pr[A] \cdot \Pr[B]$. إذا كان $\Pr[A \cap B] > \Pr[A]\cdot \Pr[B]$ نقول إنّ $A$ و $B$ مرتبطان ارتباطًا موجبًا (positively correlated)، بينما إذا كان $\Pr[ A \cap B] < \Pr[A] \cdot \Pr[B]$ نقول إنّ $A$ و $B$ مرتبطان ارتباطًا سالبًا (negatively correlated) (انظر الشكل التوضيحي).

إذا نظرنا في الأمثلة السابقة على تجربة اختيار $x\in \{0,1\}^3$، فإنّنا نرى أنّ

$$\begin{aligned} \Pr[x_0=1] &= \tfrac{1}{2} \\ \Pr[x_0+x_1+x_2 \geq 2] = \Pr[\{ 011,101,110,111 \}] &= \tfrac{4}{8} = \tfrac{1}{2} \end{aligned}$$

لكنّ

$$\Pr[x_0 =1 \; \wedge \; x_0+x_1+x_2 \geq 2 ] = \Pr[ \{101,110,111 \} ] = \tfrac{3}{8} > \tfrac{1}{2} \cdot \tfrac{1}{2}$$

وبالتالي، كما لاحظنا من قبل، فالحدثان $\{ x_0 = 1 \}$ و $\{ x_0+x_1+x_2 \geq 2 \}$ ليسا مستقلّين، بل هما في الواقع مرتبطان ارتباطًا موجبًا. ومن الجهة الأخرى، $\Pr[ x_0 = 1 \wedge x_1 = 1 ] = \Pr[ \{110,111 \}] = \tfrac{2}{8} = \tfrac{1}{2} \cdot \tfrac{1}{2}$، وبالتالي فإنّ الحدثين $\{x_0 = 1 \}$ و $\{ x_1 = 1 \}$ مستقلّان فعلًا.

الاحتمال الشرطي: إذا كان $A$ و $B$ حدثين، و $A$ يقع باحتمال غير معدوم، فإنّنا نعرّف احتمال وقوع $B$ مشروطًا بوقوع $A$ بأنّه $\Pr[B|A] = \Pr[A \cap B]/\Pr[A]$. وهذا يقابل حساب احتمال وقوع $B$ إذا كنّا نعرف أصلًا أنّ $A$ قد وقع. لاحظ أنّ $A$ و $B$ مستقلّان إذا وفقط إذا كان $\Pr[B|A]=\Pr[B]$.

أكثر من حدثّين: يمكننا تعميم هذا التعريف على أكثر من حدثّين. نقول إنّ الأحداث $A_1,\ldots,A_k$ مستقلّة متبادلًا (mutually independent) إذا لم تُغيّر معرفتنا بوقوع مجموعة جزئية معيّنة منها (أو بوقوعها من عدمه) احتمال وقوع أيّ حدث خارج تلك المجموعة. رسميًا، الشرط هو أنّه لكل مجموعة جزئية $I \subseteq [k]$، $$\Pr[ \wedge_{i\in I} A_i] =\prod_{i\in I} \Pr[A_i].$$

مثلًا، إذا كان $x\sim \{0,1\}^3$، فإنّ الأحداث $\{ x_0=1 \}$ و $\{ x_1 = 1\}$ و $\{x_2 = 1 \}$ مستقلّة متبادلًا. ومن الجهة الأخرى، فإنّ الأحداث $\{x_0 = 1 \}$ و $\{x_1 = 1\}$ و $\{ x_0 + x_1 = 0 \mod 2 \}$ ليست مستقلّة متبادلًا، رغم أنّ كل زوجٍ من هذه الأحداث مستقلّ (هل ترى لماذا؟ انظر أيضًا الشكل التوضيحي).

المتغيّرات العشوائية المستقلّة

نقول إنّ متغيّرين عشوائيين $X:\{0,1\}^n \rightarrow \R$ و $Y:\{0,1\}^n \rightarrow \R$ مستقلّان إذا كان لكل $u,v \in \R$ الحدثان $\{ X=u \}$ و $\{ Y=v \}$ مستقلّين. (ونستعمل $\{ X=u \}$ اختصارًا لـ $\{ x \;|\; X(x)=u \}$.) بعبارة أخرى، يكون $X$ و $Y$ مستقلّين إذا كان $\Pr[ X=u \wedge Y=v]=\Pr[X=u]\Pr[Y=v]$ لكل $u,v \in \R$. مثلًا، إذا اعتمد متغيّران عشوائيان على نتيجة رمي عملات مختلفة فإنّهما مستقلّان:

إذا كان $X$ و $Y$ متغيّرين عشوائيين مستقلّين، فإنّ (حيث تشير $S_X,S_Y$ إلى مجموعتَي جميع الأعداد التي لها احتمال موجب في أن تكون ناتجًا لـ $X$ و $Y$ على التوالي): $$\begin{gathered} \E[ XY ] = \sum_{a \in S_X,b \in S_Y} {\Pr[X=a \wedge Y=b]}\cdot ab \; =^{(1)} \; \sum_{a \in S_X,b \in S_Y} {\Pr[X=a]\Pr[Y=b]}\cdot ab =^{(2)} \\ \left(\sum_{a \in S_X} {\Pr[X=a]}\cdot a\right)\left(\sum_{b \in S_Y} {\Pr[Y=b]}\cdot b\right) =^{(3)} \\ \E[X] \E[Y] \end{gathered}$$ حيث إنّ المساواة الأولى ($=^{(1)}$) تنبع عن استقلال $X$ و $Y$، والمساواة الثانية ($=^{(2)}$) تنبع عن «فتح الأقواس» في الطرف الأيمن، والمساواة الثالثة ($=^{(3)}$) تنبع عن تعريف التوقّع. (وهذا ليس «إذا وفقط إذا»؛ انظر تمرين.)

ومن الحقائق المفيدة الأخرى أنّه إذا كان $X$ و $Y$ متغيّرين عشوائيين مستقلّين، فإنّ $F(X)$ و $G(Y)$ يكونان مستقلّين أيضًا مهما كانت الدوال $F,G:\R \rightarrow \R$. وهذا بديهي، لأنّ معرفتنا بـ $F(X)$ لا يمكن أن تعطينا إلا معلومات أقلّ مما تعطيناه معرفتنا بـ $X$ نفسها. وبالتالي، إذا كانت معرفتنا بـ $X$ لا تعلّمنا أيّ شيء عن $Y$ (وبالتالي لا شيء عن $G(Y)$ أيضًا)، فإنّ معرفتنا بـ $F(X)$ لن تعلّمنا الشيء نفسه. وفعلًا، لإثبات ذلك يمكننا كتابة ما يلي لكل $a,b \in \R$:

$$\begin{gathered} \Pr[ F(X)=a \wedge G(Y)=b ] = \sum_{x \text{ s.t.} F(x)=a, y \text{ s.t. } G(y)=b} \Pr[ X=x \wedge Y=y ] = \\ \sum_{x \text{ s.t.} F(x)=a, y \text{ s.t. } G(y)=b} \Pr[ X=x ] \Pr[ Y=y ] = \\ \left( \sum_{x \text{ s.t.} F(x)=a } \Pr[X=x ] \right) \cdot \left( \sum_{y \text{ s.t.} G(y)=b } \Pr[Y=y ] \right) = \\ \Pr[ F(X)=a] \Pr[G(Y)=b] . \end{gathered}$$

مجموعات المتغيّرات العشوائية المستقلّة

يمكننا توسيع مفهوم الاستقلال ليشمل أكثر من متغيّر عشوائيّين: نقول إنّ المتغيّرات العشوائية $X_0,\ldots,X_{n-1}$ مستقلّة متبادلًا (mutually independent) إذا كان لكل $a_0,\ldots,a_{n-1} \in \R$، $$\Pr\left[X_0=a_0 \wedge \cdots \wedge X_{n-1}=a_{n-1}\right]=\Pr[X_0=a_0]\cdots \Pr[X_{n-1}=a_{n-1}] .$$ وبالمثل، لدينا ما يلي

التركيز وحدود الذيل

اسم "التوقّع" (expectation) مضلّل إلى حدٍّ ما. مثلًا، لنفترض أنّك وأنا راهنّا على نتيجة رمي 10 عملات، بحيث إذا كانت كلها $1$ فندفع لك 100,000 دولار، وإلّا فتدفع أنت لي 10 دولارات. إذا كان $X:\{0,1\}^{10} \rightarrow \R$ المتغيّر العشوائي الذي يدلّ على ربحك، فإنّنا نرى أنّ

$$\E[X] = 2^{-10}\cdot 100000 - (1-2^{-10})10 \sim 90 .$$

لكنّنا لا نتوقّع حقًا أن تكون نتيجة هذه التجربة هي ربحك 90 دولارًا. بل إنّك في 99.9% من المرّات ستدفع لي 10 دولارات، وستصيب الجائزة الكبرى في 0.1% من المرّات.

لكن، إذا أعدنا هذه التجربة مرّة بعد أخرى (بعملات جديدة، وبالتالي مستقلّة)، فإنّنا على المدى البعيد نتوقّع أن يكون متوسط دخلك قريبًا من 90 دولارًا، وهذا هو السبب في قدرة الكازينوهات (casinos) على تحقيق الأرباح بطريقة يمكن التنبّؤ بها، رغم أنّ كل رهان منفرد عشوائي. مثلًا، إذا رمينا $n$ عملة مستقلّة غير مُتحيّزة، فإنّه مع نموّ $n$ يزداد عدد العملات التي تأتي وجهاً واحدًا تركّزًا (concentrated) أكثر فأكثر حول $n/2$، وفقًا لـ "منحنى الجرس" الشهير (انظر الشكل التوضيحي).

يشغل قدر كبير من نظرية الاحتمالات ما يُسمّى بحدود التركيز (concentration) أو حدود الذيل (tail bounds)، وهي حدود أعلى لاحتمال انحراف متغيّر عشوائي $X$ عن توقّعه بمقدار كبير. وأوّل هذه الحدود وأبسطها هو عدم مساواة ماركوف (Markov's inequality):

مبدأ المتوسط. ومع أنّ توقّع متغيّر عشوائي $X$ ليس «القيمة النموذجية» في كل الأحوال، يمكننا أن نُثبت أنّ $X$ مضمون أن يبلغ قيمة لا تقلّ عن توقّعه، باحتمال موجب. مثلًا، إذا كان متوسط علامة في امتحان هو $87$ نقطة، فإنّ طالبًا واحدًا على الأقل حصل على علامة $87$ أو أكثر في الامتحان. تُسمّى هذه النتيجة مبدأ المتوسط (averaging principle)، ورغم بساطتها فإنّها مفيدة على نحو مدهش.

عدم مساواة تشيبسيف

تقول عدم مساواة ماركوف إنّ متغيّرًا عشوائيًا (غير سالب) $X$ لا يمكنه أن يت جنونًا ويصبح، مثلًا، مليون ضعف توقّعه، باحتمال معتبر. لكنّنا نودّ في الأحوال المثلى أن نقول إنّ $X$ وباحتمال عالٍ يجب أن يكون قريبًا جدًّا من توقّعه، مثلًا في المدى $[0.99 \mu, 1.01 \mu]$ حيث $\mu = \E[X]$. في هذه الحالة نقول إنّ $X$ مركَّز (concentrated)، وبالتالي فإنّ توقّعه (أي متوسّطه) سيكون قريبًا من وسيطه (median) ومن طرائق أخرى لقياس "القيمة النموذجية" لـ $X$. أي إنّ عدم مساواة تشيبسيف (Chebyshev's inequality) تقول إنّ $X$ مركَّز إذا كان له انحراف معياري (standard deviation) صغير.

طريقة معيارية لقياس انحراف متغيّر عشوائي عن توقّعه هي استعمال انحرافه المعياري (standard deviation). بالنسبة إلى متغيّر عشوائي $X$، نعرّف التباينَ (variance) لـ $X$ على أنه $\mathrm{Var}[X] = \E[(X-\mu)^2]$ حيث $\mu = \E[X]$؛ أي إنّ التباين هو متوسّط المربّع للمسافة بين $X$ وتوقّعه. ويُعرَّف الانحراف المعياري (standard deviation) لـ $X$ على أنه $\sigma[X] = \sqrt{\mathrm{Var}[X]}$. (وهذا مُعرَّف جيّدًا إذ إنّ التباين، بما أنّه متوسّط مربّع، هو دائمًا عدد غير سالب.)

باستعمال عدم مساواة تشيبسيف يمكننا التحكّم في احتمال أن يكون متغيّر عشوائي على بُعد انحرافين معياريّين أو أكثر عن توقّعه.

أحد أمثلة استعمال عدم مساواة تشيبسيف هو الحالة $X = X_1 + \cdots + X_n$ حيث المتغيّرات $X_i$ مستقلّة ومتماثلة التوزيع (independent and identically distributed، وتُختصر i.i.d) بقيم في $[0,1]$ ولكلٍّ منها توقّع $1/2$. وبما أنّ $\E[X] = \sum_i \E[X_i] = n/2$، فإنّنا نودّ أن نقول إنّ $X$ على الأرجح جدًّا يقع في المجموعة $[0.499n,0.501n]$. لكنّ استعمال عدم مساواة ماركوف مباشرةً لن يفيدنا، إذ لن تخبرنا إلّا أنّ $X$ على الأرجح جدًّا يكون على الأكثر $100n$ (وهو ما كنّا نعرفه أصلًا، لأنّه يقع دائمًا بين $0$ و $n$). لكنّ، بما أنّ $X_1,\ldots,X_n$ مستقلّة، $$\mathrm{Var}[X_1+\cdots +X_n] = \mathrm{Var}[X_1]+\cdots + \mathrm{Var}[X_n] \;.$$ (نترك بيان هذا للقارئ في تمرين — تباين المتغيّرات العشوائية المستقلّة.)

بالنسبة إلى كل متغيّر عشوائي $X_i$ في $[0,1]$، لدينا $\mathrm{Var}[X_i] \leq 1$ (فإذا كان المتغيّر دائمًا في $[0,1]$ فلا يمكن أن يبتعد عن توقّعه بأكثر من $1$)، وبالتالي فإنّ المعادلة ينتج أنّ $\mathrm{Var}[X]\leq n$ وبالتالي $\sigma[X] \leq \sqrt{n}$. بالنسبة إلى $n$ الكبيرة، $\sqrt{n} \ll 0.001n$، وبخاصة إذا كان $\sqrt{n} \leq 0.001n/k$، فيمكننا استعمال عدم مساواة تشيبسيف لتحديد احتمال أنّ $X$ ليس في $[0.499n,0.501n]$ بـ $1/k^2$.

حدّ تشرنوف

تُظهر عدم مساواة تشيبسيف أصلًا علاقة بين الاستقلال والتركيز، لكن في كثير من الحالات يمكننا أن نأمل في نتيجة أقوى كثيرًا من حيث الكمّ. فإذا، كما في المثال أعلاه، كان $X= X_1+\ldots+X_n$ حيث المتغيّرات $X_i$ محدودة ومستقلّة ومتماثلة التوزيع بمتوسّط $1/2$، فإنّه مع نموّ $n$ يصبح توزيع $X$ تقريبًا التوزيع الطبيعيّ أو الغاوصيّ (normal/Gaussian) $-$ أي أنّه يتبع منحنى الجرس (bell curve) (انظر الشكل التوضيحي و الشكل التوضيحي). ولهذا التوزيع خاصية أنّه جدًّا مركَّز، بمعنى أنّ احتمال الانحراف بمقدار $k$ انحراف معياري عن المتوسط ليس $1/k^2$ فقط كما تضمنه تشيبسيف، بل هو تقريبًا $e^{-k^2}$. وبالتحديد، بالنسبة إلى متغيّر عشوائي طبيعي $X$ توقّعه $\mu$ وانحرافه المعياري $\sigma$، فإنّ احتمال أن يكون $|X-\mu| \geq k\sigma$ هو على الأكثر $2e^{-k^2/2}$. أي إنّ لدينا اضمحلالًا أسّيًّا (exponential decay) لاحتمال الانحراف.

تبيّن النظرية التالية المفيدة جدًّا أنّ هذا الاضمحلال الأسّي يحدث كلّما كان لدينا مجموع متغيّرات مستقلّة محدودة. وتُسمّى هذه النظرية بأسماء متعدّدة في مختلف المجتمعات، لكنّها تُسمّى غالبًا في أدبيات علوم الحاسوب حدّ تشرنوف (Chernoff bound):

نُغفل البرهان، إذ إنّ البرهان يرد في نصوص كثيرة، وهو يستعمل عدم مساواة ماركوف على متغيّرات عشوائية مستقلّة ومتماثلة التوزيع $Y_0,\ldots,Y_n$ من الشكل $Y_i = e^{\lambda X_i}$ لمعامل $\lambda$ مختار بعناية. انظر تمرين — حدّ تشرنوف باستعمال ستيرلينغ لإثبات الحالة البسيطة (لكنّها مفيدة إلى حدٍّ كبير وتمثيلية) حيث تأخذ كل $X_i$ القيمة $\{0,1\}$ و $p=1/2$. (وانظر أيضًا تمرين — حدّ تشرنوف الرجل الفقير لتعميم.)

تطبيق: التعلّم الخاضع للإشراف وتقليل المخاطر التجريبية

إليك تطبيقًا جيّدًا لحدّ تشرنوف. لننظر في مسألة التعلّم الخاضع للإشراف (supervised learning). يُعطى لك مجموعة $S$ من $n$ عيّنات من الشكل $(x_0,y_0),\ldots,(x_{n-1},y_{n-1})$ مسحوبة من توزيع مجهول $D$ على الثنائيات $(x,y)$. وللبساطة سنفترض أنّ $x_i \in \{0,1\}^m$ و $y_i \in \{0,1\}$. (ونستعمل هنا مفهوم التوزيع العام على المجموعة المنتهية $\{0,1\}^{m+1}$ كما نُوقش في فضاءات عيّنات أعمّ.) الهدف هو إيجاد مصنِّف (classifier) $h:\{0,1\}^m \rightarrow \{0,1\}$ يُقلِّم (minimize) خطأ الاختبار (test error) وهو الاحتمال $L(h)$ بأن يكون $h(x) \neq y$ حيث $(x,y)$ مسحوب من التوزيع $D$. أي إنّ $L(h) = \Pr_{(x,y) \sim D}[ h(x) \neq y]$.

إحدى طرائق إيجاد مثل هذا المصنِّف هي التفكير في مجموعة (collection) $\mathcal{C}$ من المصنِّفات المحتملة والنظر في المصنِّف $h$ في $\mathcal{C}$ الذي يُحقّق أفضل أداء على مجموعة التدريب (training set) $S$. ويُسمّى المصنِّف $h$ بـ مُقلِّل المخاطر التجريبية (empirical risk minimizer) (انظر أيضًا ملاحظة على التقعّر) . ويمكن استعمال حدّ تشرنوف لإظهار أنّه ما دام عدد العيّنات $n$ أكبر بما يكفي بكثير من لوغاريتم $|\mathcal{C}|$، فإنّ خطأ الاختبار $L(h)$ سيكون قريبًا من خطأ التدريب (training error) $\hat{L}_S(h)$، الذي يُعرَّف بأنّه نسبة الثنائيات $(x_i,y_i) \in S$ التي أخفق في تصنيفها. (وبالمثل، $\hat{L}_S(h) = \tfrac{1}{n}\sum_{i\in [n]} |h(x_i)-y_i|$.)