The goal, and why it fails

الهدف، ولماذا يفشل

Slide 10 states the goal plainly: compute P(w | h), the probability of a word w given a history h. Concretely:

تضع الشريحة 10 الهدف بوضوح: احسب P(w | h)، أي احتمال كلمة w بشرط تاريخ سابق h. وبشكل ملموس:

P(blue | The water of Walden Pond is so beautifully)

The obvious plan is to count. Go find every occurrence of the history in a giant corpus, count how many times blue followed it, divide. Slide 10 says that is impossible, for two reasons it lists explicitly:

الخطة البديهية هي العدّ: ابحث عن كل ظهور لهذا التاريخ في corpus ضخم، واحسب كم مرة جاءت blue بعده، ثم اقسم. تقول الشريحة 10 إن هذا مستحيل، لسببين تذكرهما صراحة:

1. Histories are too long. There is no bound on how much text precedes a word.

   التواريخ طويلة جداً. لا يوجد أي حد أعلى لمقدار النص الذي يسبق الكلمة.

2. Most exact histories never occur. Language is creative. "The water of Walden Pond is so beautifully" has almost certainly appeared zero times in whatever corpus you have. Zero occurrences means you cannot divide, and anything you do manage to count is based on one or two examples.

   معظم التواريخ الدقيقة لا تظهر أبداً. اللغة إبداعية: عبارة "The water of Walden Pond is so beautifully" لم تظهر على الأغلب ولا مرة واحدة في أي corpus لديك. والظهور الصفري يعني أنك لا تستطيع القسمة من الأساس، وأي عدّ تنجح في الحصول عليه سيكون مبنياً على مثال أو مثالين فقط.

Note which problem is the real killer. It is not that long histories are slow to count. It is that the count is zero, so there is no estimate at all. This is sparsity, and it will come back on every page after this one.

لاحظ أي المشكلتين هي القاتلة فعلاً. المشكلة ليست أن التواريخ الطويلة بطيئة في العدّ، بل أن العدّ يساوي صفراً، فلا يوجد تقدير من الأساس. هذه هي مشكلة sparsity، وستعود إليك في كل صفحة بعد هذه الصفحة.

The chain rule: exact, and that is the problem

قاعدة السلسلة: دقيقة، وهذه هي المشكلة

Slide 11 gives the chain rule for sequences:

تعطي الشريحة 11 قاعدة chain rule للمتسلسلات:

P(w_1:n) = ∏_k=1..n P(w_k | w_1:k-1)

Read it as: the probability of a whole sentence equals the product of the probability of each word given everything before it. The slide's own expansion:

اقرأها كالتالي: احتمال الجملة كاملة يساوي حاصل ضرب احتمال كل كلمة بشرط كل ما جاء قبلها. وهذا هو التوسيع الذي تعرضه الشريحة نفسها:

P("its water is so transparent")
  = P(its)
  × P(water      | its)
  × P(is         | its water)
  × P(so         | its water is)
  × P(transparent| its water is so)

Two facts about this that must not get merged:

حقيقتان عن هذا الأمر يجب ألا تختلطا عندك أبداً:

The Markov assumption: just truncate the history

افتراض ماركوف: اقطع التاريخ فحسب

Slide 12 is the pivot of the entire lecture. The fix is blunt: throw away all but the last few words of the history.

الشريحة 12 هي محور المحاضرة كلها. والحل فيها صريح وبسيط: تخلّص من التاريخ كله إلا آخر كلمات قليلة منه.

P(w_n | w_1:n-1) ≈ P(w_n | w_n-N+1:n-1)

The left side conditions on the entire history from word 1. The right side conditions only on the window starting at position n - N + 1. That window has length (n - 1) - (n - N + 1) + 1 = N - 1 words.

الطرف الأيسر من المعادلة يشترط على التاريخ كامله بدءاً من الكلمة الأولى، أما الطرف الأيمن فيشترط فقط على النافذة التي تبدأ عند الموضع n - N + 1. وطول هذه النافذة هو (n - 1) - (n - N + 1) + 1 = N - 1 كلمة.

Slide 12's two instances:

الحالتان المذكورتان في الشريحة 12:

• Bigram (N = 2): P(w_n | w_n-1). One word of context.

  Bigram (N = 2): P(w_n | w_n-1)، أي كلمة واحدة من context.

• Trigram (N = 3): P(w_n | w_n-2, w_n-1). Two words of context.

  Trigram (N = 3): P(w_n | w_n-2, w_n-1)، أي كلمتان من context.

The off-by-one, stated once and properly

خطأ الفرق بواحد (off-by-one)، مشروحاً مرة واحدة وبشكل صحيح

يقارن الجدول أربعة نماذج: unigram وbigram وtrigram و4-gram، ويعطي لكل منها قيمة N وعدد كلمات context والصيغة الشرطية والنافذة الفعلية على الجملة. الذي يجب أن تلاحظه: عمود N دائماً أكبر بواحد من عمود كلمات context، وunigram سياقه صفر تماماً، وعمود النافذة يضم الكلمة المتوقعة نفسها فيكون طوله N لا N - 1.

Slide 13's example, read correctly

مثال الشريحة 13، مقروءاً بشكل صحيح

Slide 13 shows the bigram approximation on the Walden sentence:

تعرض الشريحة 13 تقريب bigram مطبقاً على جملة Walden:

P(blue | The water of Walden Pond is so beautifully) ≈ P(blue | beautifully)

Eight words of history go in, one word survives. That is the trade slide 13's bullets name: we trade long-range context for learnability from finite data. Larger N keeps more context but makes counts sparser, so you have less data per n-gram.

ثماني كلمات من التاريخ تدخل، وكلمة واحدة فقط تبقى. وهذه هي المقايضة التي تسميها نقاط الشريحة 13: نحن نقايض long-range context مقابل القدرة على التعلم من بيانات محدودة. فكلما كبرت N حافظت على سياق أطول، لكن صارت الأعداد أكثر تشتتاً، فتقل البيانات المتوفرة لكل n-gram.

Sentence probability under a bigram model

احتمال الجملة في نموذج bigram

Slide 14 gives the bigram sentence formula and, critically, the boundary tokens:

تعطي الشريحة 14 معادلة احتمال الجملة في نموذج bigram، والأهم من ذلك: boundary tokens.

P(w_1:n) ≈ ∏_k=1..n P(w_k | w_k-1)

The slide's two bullets are both exam-worthy:

نقطتا الشريحة كلتاهما تستحقان الحفظ للاختبار:

1. You need boundary tokens <s> and </s>. Without <s> the first word has no predecessor, so P(w₁ | w₀) is undefined. <s> supplies w₀.

   تحتاج إلى boundary tokens وهما <s> و</s>. بدون <s> لا تجد الكلمة الأولى أي كلمة تسبقها، فيصبح P(w₁ | w₀) غير معرّف. و<s> هو الذي يوفر w₀.

2. </s> makes it a proper distribution over all sentence lengths. Without an end token, the probabilities of all sentences of every length would not sum to 1, because nothing ever charges you for stopping. </s> is the "I am finished" event and it has to carry probability mass.

   </s> هو ما يجعلها proper distribution على كل أطوال الجمل. بدون end token لن يكون مجموع احتمالات كل الجمل بكل أطوالها مساوياً للواحد، لأن لا شيء يحاسبك على التوقف. فـ</s> هو حدث "انتهيت"، ولا بد أن يحمل نصيباً من probability mass.

padded:  <s>  its  water  is  so  transparent  </s>
index:    0    1     2     3   4       5          6

bigram factors, one per real token plus the end token:

P(<s> its water is so transparent </s>)
  = P(its         | <s>)
  x P(water       | its)
  x P(is          | water)
  x P(so          | is)
  x P(transparent | so)
  x P(</s>        | transparent)

factors = 6

bigram  : <s> I want to eat </s>
trigram : <s> <s> I want to eat </s>

Unigram vs bigram vs trigram: what actually changes

Unigram مقابل bigram مقابل trigram: ما الذي يتغير فعلاً

Slide 15 is a three-column comparison. Here it is with the consequences filled in.

الشريحة 15 عبارة عن مقارنة من ثلاثة أعمدة، وهذه هي المقارنة نفسها مع إضافة النتائج المترتبة على كل حالة.

يلخص الجدول ما يحدث لكل شيء عند الانتقال من N إلى N + 1. المطلوب أن تلاحظ أن الصفوف تمشي في اتجاهين متعاكسين: السياق وطلاقة النص المُولَّد يتحسنان، لكن عدد parameters يُضرب في حجم vocabulary، ويهبط عدّ كل n-gram بشدة، وتنفجر الأصفار. هذه هي المقايضة بعينها، وهي سبب وجود smoothing.

Slide 13 compresses all of this into one line: "Larger n captures more context but increases sparsity." That sentence is the answer to any "what is the trade-off" question on this lecture.

تضغط الشريحة 13 كل هذا في سطر واحد: "Larger n captures more context but increases sparsity." هذه الجملة وحدها هي الجواب على أي سؤال عن trade-off في هذه المحاضرة.