الحساب الاحتمالي

"في عام 1946 ... (سألتُ نفسي) ما احتمال أن تأتي لعبة كانفيلد (Canfield solitaire) المرصوصة بـ 52 ورقة في نتيجتها ناجحة؟ وبعد أن أمضيت وقتًا طويلًا في محاولة تقدير ذلك بحسابات توافيقية خالصة، تساءلتُ أليس هناك على الأرجح طريقةٌ أكثر عملية ... قد تكون ببساطة أن نرصفها مئة مرة ونكتفي بالنظر والعدّ"، ستانيسلاف أولام، 1983

"السمات البارزة في طريقتنا أنها احتمالية ... وأنّ احتمال الخطأ فيها ضئيل وقابلٌ للتحكم."، مايكل رابين، 1977

في أنظمة الحوسبة المبكّرة، بُذل جهدٌ كبير لطرد العشوائية (randomness) والضجيج (noise) إلى الخارج. كانت مكوّنات العتاد عرضةً لسلوكٍ غير حتمي (non-deterministic) لأسبابٍ عديدة، سواء كان ذلك فرطَ سخونة أنابيب التفريغ (vacuum tubes) أو حشراتٍ مادية فعلية (physical bugs) تسبّب قصرًا في الدارات (انظر الشكل التوضيحي). وهذا ما دفع جون فون نيومان (John von Neumann)، أحد رواد الحوسبة الأوائل، إلى كتابة ورقةٍ عن كيفية تصحيح أخطاء (error correct) الحساب، مقدّمًا فيها مفهومَ التكرار الاحتياطي (redundancy).

ولذلك فإنّ من المدهش حقًّا أنّ العشوائية لم تبدُ عقبةً فحسب بل صحّت موردًا (_resource`) للحساب، إذ مكّنتنا من إنجاز مهامٍ بكفاءةٍ أعلى بكثير ممّا كان معروفًا من قبل. ومن أولى تطبيقاتها كان جون فون نيومان نفسه. وحين كان طريح الفراش يلعب ورقَ اللعب، لاحظ ستان أولام (Stan Ulam) أنّ حساب إحصاءات نظامٍ ما يمكن إنجازه بكثير أكبرَ سرعةً عبر تشغيل عدة محاكاةً عشوائية. وقد ذكر هذه الفكرة لفون نيومان الذي انبسط لها كثيرًا؛ فقد تبيّن أنّها كانت حاسمةً في حسابات نقل النيوترونات (neutron transport) التي كانت لازمةً لتطوير القنبلة الذرية ثمّ لاحقًا القنبلة الهيدروجينية. ولأنّ هذا المشروع كان مصنّفًا بدرجةٍ عالية، اخترع أولام وفون نيومان ومتعاونوهما الاسمَ الرمزيّ «مونت كارلو» (Monte Carlo) لهذا الأسلوب (مستوهِمينَ بالكازينوهات الشهيرة التي كان خالُ أولام يراهن فيها). ورسخ هذا الاسم، وما زالت الخوارزميات العشوائية تُعرف إلى اليوم باسم خوارزميات مونت كارلو.^[1]

في هذا الفصل سنرى بعض أمثلة الخوارزميات العشوائية التي تستعمل العشوائيةَ لحساب كميةٍ ما بطريقةٍ أسرع أو أبسط ممّا كان معروفًا بغير ذلك. وسنصف الخوارزميات بأسلوبٍ غير رسميّ / بأسلوب «الشيفرة الزائفة» (pseudo-code)، لا بوصفها برامجَ آلات تورينج أو برامجَ NAND-TM/NAND-RAM. وفي نمذجة الحساب الاحتمالي سنناقش كيف نُوسِّع نماذجَ الحوسبة التي رأيناها من قبل كي تتضمّن القدرةَ على «قذف العملات» (toss coins).

إيجاد قطعٍ قصوى جيّدة تقريبًا

لنبدأ بالمثال التالي. تذكّر مسألةَ القطع الأقصى (maximum cut problem)، أي إيجاد القطع الذي يُعظّم عدد الحواف، انطلاقًا من رسمٍ بيانيٍّ $G=(V,E)$. هذه المسألة $\mathbf{NP}$-صعبة، ما يعني أننا لا نعرف أيّ خوارزمية فعّالة تحلّها، لكنّ التعميمَ العشوائيّ (randomization) يتيح خوارزميةً بسيطة تقطع نصف الحواف على الأقلّ:

الخوارزميات العشوائية تعمل في الحالة الأسوأ. من المغري التفكير في خوارزميةٍ عشوائيةٍ مثل خوارزمية مبرهنة — تقريب القطع الأقصى على أنّها خوارزميةٌ تعمل من أجل «رسمٍ بيانيٍّ مدخلٍ عشوائي»، لكنّها في الحقيقة أفضلُ من ذلك بكثير. فالـتوقّع في هذه المبرهنة لا يُؤخذ على اختيار الرسم البيانيّ، بل على الاختيارات العشوائية للخوارزمية وحدها. وبخاصة، لكلِّ رسمٍ بيانيٍّ $G$ فإنّ الخوارزمية مضمونةٌ أن تقطع نصف حواف الرسم البيانيّ المدخل في المتوسط. أي أنّ

سنعرّف رسميًّا أكثر في نمذجة الحساب الاحتمالي ما الذي يعنيه «احتمالٌ جيّد»، لكنّ النقطةَ الجوهرية هي أنّ هذا الاحتمال لا يُؤخذ أبدًا إلّا على اختيارات الخوارزمية العشوائية، في حين لا يُختار المدخلُ عشوائيًّا.

تكبيرُ نجاح الخوارزميات العشوائية

يمنحنا مبرهنة — تقريب القطع الأقصى خوارزميةً تقطع $m/2$ حافةً في المتوسط. لكنّنا، كما رأينا من قبل، لا يستتبع التوقّعُ فورًا التركيزَ (concentration)، ولذلك قد يكون من المُسبق أن يحدث، حين نُشغّل الخوارزميةَ، أنّنا في معظم المرّات لا نحصل على قطعٍ يطابق التوقّع. ولحسن الحظّ، يمكننا تكبيرَ احتمال النجاح بتكرار العملية عدّةَ مرّاتٍ وإخراج أفضلِ قطعٍ نجده. ولنبدأ بالحجّة بأنّ احتمالَ نجاح الخوارزمية أعلاه في قطع $m/2$ حافةً على الأقلّ ليس صغيرًا جدًّا.

تكبيرُ النجاح

لمّة يبيّن أنّ خوارزميتنا تنجح على الأقلّ بعضَ الوقت، لكنّنا نودّ أن ننجح في كلِّ الأوقات تقريبًا. والطريقةُ المحقِّقةُ لذلك هي ببساطةٍ أن نُكرِّر خوارزميتنا مرّاتٍ كثيرة، مع عشوائيةٍ جديدةٍ في كلِّ مرّة، ثمّ نُخرج أفضلَ قطعٍ نحصل عليه في إحدى هذه التكرارات. ويبيّن أنّنا سنحصل، باحتمالٍ شديدِ الارتفاع، على قطعٍ من حجمٍ لا يقلّ عن $m/2$. على سبيل المثال، إن كرّرنا هذه التجربة $2000m$ مرّة، فإنّنا (باستعمال المتباينة $(1-1/k)^k \leq 1/e \leq 1/2$) نستطيع أن نبيّن أنّ احتمالَ ألّا نقطع مرّةً واحدةً $m/2$ حافةً على الأقلّ، حيث $k=2m$، هو على الأكثر

$$(1-1/(2m))^{2000 m} = (1-1/k)^{1000 k} = ((1-1/k)^{k})^{1000} \leq 2^{-1000} \;.$$

وبشكلٍ أعمّ، يمكن للحسابات نفسها أن تُستخدم لإثبات المبرهنة التالية:

التكبيرُ من الجهتين

اعتمد التحليلُ أعلاه على حقيقة أنّ القطعَ الأقصى له خطأٌ من جهةٍ واحدة (one-sided error). وبهذا نعني أنّنا إن حصلنا على قطعٍ من حجمٍ لا يقلّ عن $m/2$ فإنّنا نعرف أنّنا قد نجحنا. وهذا شائعٌ في الخوارزميات العشوائية، لكنه ليس الحالةَ الوحيدة. وبخاصة، لنفكّر في مهمّة حساب دالةٍ منطقيةٍ ما $F:\{0,1\}^* \rightarrow \{0,1\}$. خوارزميةٌ عشوائية $A$ لحساب $F$، عند إعطائها مدخلًا $x$، قد تقذف العملات وتفلح في إخراج $F(x)$ باحتمالٍ، مثلًا، $0.9$. نقول إنّ لـ $A$ خطأً من الجهتين (two-sided errors) إذا كان هناك احتمالٌ موجب أن يُخرج $A(x)$ القيمةَ $1$ عندما يكون $F(x)=0$، واحتمالٌ موجب أن يُخرج $A(x)$ القيمةَ $0$ عندما يكون $F(x)=1$. وفي هذه الحالة، لا يمكننا — لتكبير نجاح $A$ — أن نكتفي بتكرارها $k$ مرّةٍ وإخراج $1$ إذا أعطت إحدى تلك التكراراتِ $1$، ولا أن نُخرج $0$ إذا أعطت إحدى التكراراتِ $0$. لكنّنا نستطيع إخراجَ القيمة الأكثر تكرارًا (majority value) في هذه التكرارات. وبموجب حدّ شيرنوف (Chernoff bound) (مبرهنة — حدّ تشرنوف/هويفدينغ)، فإنّ احتمالَ أن يكون أسّيَّ القرب من $1$ (أي $1-2^{\Omega(k)}$) هو احتمالَ أن نسبةَ التكرارات التي يُخرج فيها $A$ القيمةَ $F(x)$ ستكون على الأقلّ، مثلًا، $0.89$، وفي هذه الحالات سنُخرج بالطبع الإجابةَ الصحيحة.

ينتقل ما سبق إلى المبرهنة التالية

نُغفل برهانَ مبرهنة — التكبيرُ من الجهتين، لأنّنا سنُثبت نتيجةً أعمّ لاحقًا في مبرهنة — التكبير.

ماذا يعني هذا؟

لقد بيّنا خوارزميةً احتماليةً تُخرج، على أيّ رسمٍ بيانيٍّ $G$ من $m$ حافة، قطعًا من حجمٍ لا يقلّ عن $m/2$ حافةٍ باحتمالٍ لا يقلّ عن $1-2^{-1000}$. وهل يعني ذلك أنّ بإمكاننا اعتبارُ هذه المسألة «سهلة»؟ وهل ينبغي لنا أن نُحذّر قليلًا من استعمال خوارزميةٍ احتمالية، ما دام قد تفشل أحيانًا؟

أوّلًا، من المهمّ أن نشدّد على أنّ هذا ما يزال ضمانًا في الحالةِ الأسوأ (worst case). أي إنّنا لا نفترض شيئًا عن الرسم البيانيّ المدخل: فالاحتمال يعود فقط إلى العشوائية الداخلية للخوارزمية. ولو بدت الخوارزميةُ الاحتماليةُ أقلَّ إرضاءً مقارنةً بخوارزميةٍ حتميةٍ مضمونةٍ أن تعطي مخرجًا، فلتُدرك معنى احتمالِ فشلٍ قدره $2^{-1000}$، ولاحظ ما يلي:

• احتمالُ الفوز في سحبِ يانصيب ماساتشوستس Mega Millions هو واحدٌ على $(75)^5\cdot 15$، أي ما يقارب $2^{-35}$. ومن ثمّ فإنّ $2^{-1000}$ يقابل الفوزَ باليانصيب نحوَ $300$ مرّةٍ متتالية، وعندئذٍ ربّما لا يهتمّك كثيرًا فشلُ خوارزميتك.

• احتمالُ أن يصيبَ ساكنٌ في الولايات المتحدة صاعقةَ برقٍ هو نحو $1/700000$، ويقابل ذلك احتمالًا قدره نحو $2^{-45}$ أن تصيبك صاعقةٌ في الثانيةِ ذاتها التي تقرأ فيها هذه الجملة (وبعدها أيضًا ربّما لا يهتمّك كثيرًا أداءُ الخوارزمية).

• ولأنّ عمر الأرض نحوَ 5 مليارات سنة، يمكننا تقديرُ احتمال أن يصيبنا في هذه اللحظةِ بعينها كوكبٌ صغيرٌ بحجم الكوكب الذي أدّى إلى انقراض الديناصورات بنحو $2^{-60}$. ومن المرجّح جدًّا أن تفشل خوارزميةٌ حتميةٌ أيضًا إن حدث هذا.

إذن، من الناحية العملية، الخوارزميةُ الاحتماليةُ لا تقلّ قيمةً عن الخوارزمية الحتمية. لكنّ السؤالَ نظريًّا يبقى مثيرًا للاهتمام: هل تمنح الخوارزمياتُ العشوائيةُ فعليًّا قوةً أكبر، أم أنّه لكلِّ مسألةٍ حسابيةٍ يمكن حلّها بخوارزميةٍ احتماليةٍ توجد خوارزميةٌ حتميةٌ تكادُ يكون أداؤها متساويًا؟^[2] على سبيل المثال، سنرى في تمرين — خوارزميةُ قطعٍ حتمية أنّ هناك بالفعل خوارزميةً حتميةً تستطيع قطعَ $m/2$ حافةً على الأقلّ في رسمٍ بيانيٍّ من $m$ حافة. وسنناقش هذا السؤال بصفةٍ عامّةٍ في نمذجة الحساب الاحتمالي. ول الآن، لنرَ مثالين أو ثلاثة تؤدّي فيها العشوائيةُ إلى خوارزمياتٍ أفضلَ بإحدى المعاني من الخوارزميات الحتمية المعروفة.

حلُّ SAT بالتعميم العشوائي

مسألةُ 3SAT $\mathbf{NP}$ صعبة، ومن ثمّ من المرجّح ألّا يكون لها خوارزميةُ زمنٍ متعدّدِ الحدود (ولا حتى أسّيّ-فرعي (subexponential)). لكنّ هذا لا يعني أنّنا لا نستطيع أن نفعل أفضلَ قليلًا على الأقلّ من الخوارزمية البديهية $2^n$ لمسألة 3SAT ذاتِ $n$ متغيّرًا. أفضلُ الخوارزميات المعروفة للحالةِ الأسوأ لمسألة 3SAT هي خوارزمياتٌ عشوائية، وهي مرتبطةٌ بالخوارزمية البسيطة التالية، وتُستعمل في الممارسة العمليّة صورٌ منها أيضًا:

زمنُ تنفيذ هذه الخوارزمية هو $S\cdot T \cdot poly(n)$، ولذلك فإنّ السؤالَ الجوهريّ هو: كم يمكن أن نجعل $S$ و $T$ صغيرين بحيث يصبح احتمالُ أن تُخرج WalkSAT القيمةَ Unsatisfiable على صيغةٍ مُحقِّقة $\varphi$ صغيرًا. من المعروف أنّنا نستطيع فعلَ ذلك مع $ST = \tilde{O}((4/3)^n) = \tilde{O}(1.333\ldots^n)$ (انظر تمرين — تحليلٌ أفضلُ لخوارزمية walksat لنتيجةٍ أضعف)، لكنّنا سنبيّن أدناه تحليلًا أبسطَ يعطي $ST= \tilde{O}(\sqrt{3}^n) = \tilde{O}(1.74^n)$، وهو ما يبقى أفضلَ بكثير من الحدّ البديهي $2^n$.^[3]

المطابقةُ الثنائية

مسألةُ المطابقة (matching) من المسائل النموذجية في التحسين، وتظهر في كلِّ أنواع التطبيقات: مطابقةُ السكان بالمستشفيات، ومطابقةُ متبرّعي الكلى بالمرضى، ومطابقةُ الرحلات بالطواقم، وغيرها كثير. ومن صورها النموذجية المطابقةُ التامّةُ الثنائية (bipartite perfect matching). في هذه المسألة، يُعطى لنا رسمٌ ثنائيّ $G = (L\cup R,E)$ له $2n$ رأسًا موزّعةً على مجموعتين $L$ و $R$ من حجم $n$ لكلٍّ منهما، بحيث لكلِّ حافةٍ طرفٌ في $L$ والطرفُ الآخر في $R$. الهدفُ هو تحديدُ ما إذا كانت هناك مطابقةٌ تامّة (perfect matching)، أي مجموعةٌ جزئية $M \subseteq E$ من $n$ حافةٍ متمايزة (متباعدة). أي أنّ $M$ تطابق كلَّ رأسٍ في $L$ برأسٍ فريدٍ في $R$.

تبيّن أنّ مسألةَ المطابقة الثنائية لها خوارزميةُ زمنٍ متعدّدِ الحدود، إذ يمكننا اختصارُ إيجاد مطابقةٍ في $G$ إلى إيجاد أقصى تدفّقٍ (أو بما يكافئه، أصغر قطعٍ) في رسمٍ بيانيٍّ ذي صلة $G'$ (انظر الشكل التوضيحي). غير أنّنا سنرى خوارزميةً احتماليةً مختلفةً لتحديد ما إذا كان رسمٌ بيانيٌّ ما يحتوي على هذه المطابقة.

لنسمِّ رؤوسَ $G$ بـ $L = \{ \ell_0,\ldots,\ell_{n-1} \}$ و $R = \{ r_0, \ldots, r_{n-1} \}$. تتوافق المطابقةُ $M$ مع تبديلٍ (permutation) $\pi \in S_n$ (أي دالةٍ أحاديةٍ تامّة $\pi: [n] \rightarrow [n]$)، حيث لكلِّ $i\in [n]$ نُعرِّف $\pi(i)$ بأنّه $j$ الفريدُ بحيث تحتوي $M$ على الحافة $\{ \ell_i ,r_j \}$. نُعرِّف مصفوفةً $A=A(G)$ بحجم $n\times n$ بحيث $A_{i,j}=1$ إذا وفقط إذا كانت الحافةُ $\{\ell_i,r_j\}$ موجودة، و $A_{i,j}=0$ وإلّا. يوحي التطابقُ بين المطابقات والتبديلات بالمُدّعى التالي:

عندئذٍ يملك $G$ مطابقةً تامّةً إذا وفقط إذا لم يكن $P$ متطابقًا مع الصفر. أي أنّ $G$ يملك مطابقةً تامّةً إذا وفقط إذا وُجد تعيينُ $x=(x_{i,j})_{i,j\in [n]} \in \R^{n^2}$ بحيث $P(x) \neq 0$.^[4]

وكما رأينا من قبل، لكلّ $x \in \R^{n^2}$ نستطيع حسابُ $P(x)$ بحساب مُحدِّد (determinant) المصفوفة $A(x)$، التي تُحصل باستبدال $A_{i,j}$ بـ $A_{i,j}x_{i,j}$. وهذا يختزلُ اختبارَ وجود مطابقةٍ تامّةٍ إلى مسألةِ اختبارِ انعدام القيمة (zero testing) للمتعدّدات الحدود: معطى متعدّدُ حدودٍ ما $P(\cdot)$، نختبر ما إذا كان $P$ متطابقًا مع الصفر أم لا. والحدسُ وراء خوارزميتنا العشوائية لاختبار انعدام القيمة هو التالي:

إذا لم يكن متعدّدُ الحدود متطابقًا مع الصفر، فلا يمكن أن يكون له «عددٌ كبيرٌ جدًّا» من الجذور.

وهذا الحدسُ يبدو إلى حدٍّ ما معقولًا. فلمتعدّدات الحدود في متغيّرٍ واحد، نعرف أنّ دالةً خطّيةً غيرَ صفريةٍ لها جذرٌ واحدٌ على الأكثر، وأنّ دالةً تربيعيةً (مثلًا قطعٌ مكافئ) لها جذران على الأكثر، وبشكلٍ عام فإنّ معادلةً من الدرجة $d$ لها $d$ جذورٍ على الأكثر. ولو كان في أكثرَ من متغيّرٍ واحد يمكن أن يكون هناك عددٌ لا نهائيّ من الجذور (مثلًا المتعدّدُ الحدود $x_0+y_0$ يصيرُ صفرًا على المستقيم $y=-x$) فإنّ مجموعةَ الجذور تبقى «صغيرةً جدًّا» مقارنةً بمجموعة كلِّ المداخل. على سبيل المثال، تكون جذورُ متعدّدِ حدودٍ في متغيّرَين على صورةِ منحنى، وتكون جذورُ متعدّدِ حدودٍ في ثلاثةِ متغيّراتٍ على صورةِ سطح، وبشكلٍ عامٍّ تكون جذورُ متعدّدِ حدودٍ في $n$ متغيّرًا فضاءً من البعد $n-1$.

يقودنا هذا الحدسُ إلى الخوارزمية العشوائية البسيطة التالية:

لتقرير ما إذا كان $P$ متطابقًا مع الصفر، اختر مدخلًا «عشوائيًّا» $x$ وتحقّق ممّا إذا كان $P(x)\neq 0$.

وهذا معقولٌ تمامًا: إذا كانت الجذورُ «قليلةً» فقط، فإنّنا نتوقّع أن يكون المدخلُ العشوائيُّ $x$ باحتمالٍ عالٍ ليس أحدَ تلك الجذور. غير أنّه، حتى نحوّل هذا إلى خوارزميةٍ فعلية، نحتاج أن نجعل كلًّا من الحدس ومفهوم المدخلِ «العشوائي» دقيقًا. واختيارُ عددٍ حقيقيٍّ عشوائيٍّ مسألةٌ عويصة، خاصّةً حين لا يكون لديك سوى عددٍ منتهٍ من العملات، ولذلك نبدأ باختصار المهمّة إلى سياقٍ منتهٍ. وسنستعمل النتيجةَ التالية:

نُغفل برهانَ مبرهنة — مبرهنةُ شوارتز–زيبل (وهو ليس معقّدًا جدًّا). ونلاحظ أنّها لا تصحّ على الأعداد الحقيقية فحسب، بل على أيِّ حقلٍ (field) أيضًا. وبما أنّ متعدّدَ حدود المطابقة $P$ في لمّة — متعدّدُ حدود المطابقة درجتُه على الأكثر $n$، فإنّ مبرهنة — مبرهنةُ شوارتز–زيبل يقودُ مباشرةً إلى خوارزميةٍ بسيطةٍ لاختبار ما إذا كان غيرَ صفريّ:

يمكن تحسينُ هذه الخوارزمية أكثرَ (انظر مثلًا تمرين — مطابقةٌ ثنائيةٌ أسرع (تحدٍّ) (challenge)). ولو لم تكن أسرعَ بالضرورة من الخوارزميات المعتمدةِ على القطع في حلّ المطابقة التامّة، فإنّ لها بعضَ المزايا. وبخاصة، فإنّها أكثرُ ملاءمةً للتوازي. (غير أنّ لها أيضًا عيبًا كبيرًا: أنّها لا تُنتج مطابقةً، بل تكتفي بالإفادة بوجود واحدة.) ومبرهنةُ شوارتز–زيبل، وخوارزميةُ اختبارِ انعدام القيمة المرافقةُ لها للمتعدّدات الحدود، مستعملةٌ على نطاقٍ واسعٍ في علم الحاسوب، بما في ذلك عدّةُ سياقاتٍ لا نعرف فيها أيَّ خوارزميةٍ حتميةٍ تضاهي أداؤها.