What PMI asks

ما الذي يسأله PMI

tf-idf was for term-document matrices. PMI is for the term-context matrix, where both the rows and the columns are words.

tf-idf كان لمصفوفة term-document، أما PMI فهو لمصفوفة term-context، حيث الصفوف كلمات والأعمدة كلمات أيضاً.

Slide 53 states the question: do events x and y co-occur more than if they were independent?

تطرح الشريحة 53 السؤال: هل يظهر الحدثان x وy معاً أكثر مما لو كانا مستقلين؟

في الأعلى joint probability أي P(x, y)، وفي الأسفل حاصل ضرب الـ marginals أي P(x) P(y)، والـ log بالأساس 2. الـ marginals تأتي من مجموع الصف ومجموع العمود، كل منهما مقسوم على المجموع الكلي للمصفوفة. وفي PPMI تُحوَّل أي نتيجة سالبة إلى صفر.

For two words:

وللكلمتين:

الصيغة نفسها بأسماء الكلمات: في الأعلى احتمال ظهور word₁ وword₂ معاً، وفي الأسفل حاصل ضرب الـ marginal لكل منهما، والـ log بالأساس 2. وPPMI يقصّ السالب إلى صفر.

Read the fraction, not the log. The denominator P(x)P(y) is what the joint probability would be if the two words were statistically independent. That is the chance baseline. The numerator is what you actually observed.

اقرأ الكسر، لا الـ log. المقام P(x)P(y) هو ما كان سيكون عليه الاحتمال المشترك لو كانت الكلمتان مستقلتين إحصائياً، أي خط أساس المصادفة. والبسط هو ما رصدته فعلاً.

• Ratio > 1: they co-occur more than chance. PMI is positive.

  النسبة > 1: تظهران معاً أكثر من المصادفة، فـ PMI موجب.

• Ratio = 1: exactly independent. PMI = log₂(1) = 0.

  النسبة = 1: استقلال تام، فـ PMI = log₂(1) = 0.

• Ratio < 1: they co-occur less than chance. PMI is negative.

  النسبة < 1: تظهران معاً أقل من المصادفة، فـ PMI سالب.

Credit on the slide goes to Church and Hanks, 1989.

تنسب الشريحة الفكرة إلى Church and Hanks, 1989.

Why PPMI, slide 54

لماذا PPMI، الشريحة 54

PMI ranges from −∞ to +∞. The slide's objection is only about the negative half, and this is the most likely conceptual question on the page.

مدى PMI من −∞ إلى +∞. واعتراض الشريحة على النصف السالب فقط، وهذا أرجح سؤال نظري في الصفحة.

A negative PMI claims two words co-occur less often than chance. To establish that reliably you need an enormous corpus. The slide gives the argument in numbers:

قيمة PMI السالبة تدّعي أن الكلمتين تظهران معاً أقل من المصادفة، وإثبات ذلك بثقة يحتاج corpus ضخماً جداً. والشريحة تعطي البرهان بالأرقام:

suppose P(w1) = 10^-6 and P(w2) = 10^-6

independence would predict
  P(w1) x P(w2) = 10^-6 x 10^-6 = 10^-12

to show that these words co-occur LESS than chance, you must
show that the observed P(w1, w2) is reliably BELOW 10^-12.

in a corpus of 10^9 words you expect the pair about 10^-3 times.
you will observe it zero times whether or not the words repel
each other. the data cannot distinguish the two cases.

The fix is blunt. Replace every negative PMI with 0.

الحل حاسم وبسيط: استبدل كل PMI سالب بصفر.

هذه صيغة PPMI: في الأعلى الاحتمال المشترك P(w₁,w₂)، وفي الأسفل حاصل ضرب الـ marginals P(w₁)P(w₂) (مجموع الصف ومجموع العمود، كل منهما على المجموع الكلي)، ثم log بالأساس 2، ثم max مع 0 الذي يقصّ أي سالب إلى صفر.

The slide 55 version writes the same thing as a case split, which is worth recognizing:

تكتب الشريحة 55 الشيء نفسه بصيغة حالتين، ويجدر أن تعرفها:

اقرأها هكذا: ppmi_ij يساوي pmi_ij إذا كان pmi_ij > 0، وإلا فهو 0. وهي نفس معنى max(pmi, 0).

PMI versus PPMI

PMI مقابل PPMI

يقارن الجدول PMI وPPMI: المدى (−∞ إلى +∞ مقابل 0 إلى +∞)، ومعنى "غير مترابط" (قيمة قريبة من الصفر في الاثنين)، ومعنى "متنافر" (سالب كبير في PMI، وغير قابل للتعبير عنه في PPMI لأنه يُقصّ إلى صفر)، وموثوقية السوالب، وتبعثر المصفوفة (PPMI متبعثرة ومعظم خلاياها أصفار)، والاستخدام في متجهات الكلمات حيث PPMI هو المعيار.

Note what PPMI costs you: it cannot represent repulsion at all. That is a deliberate trade. We give up an unreliable signal to get a cleaner, sparser matrix.

لاحظ ثمن PPMI: لا يستطيع التعبير عن التنافر إطلاقاً، وهذه مقايضة مقصودة. نتخلى عن إشارة غير موثوقة مقابل مصفوفة أنقى وأكثر تبعثراً.

The notation on slide 55

الرموز في الشريحة 55

Slide 55 moves from probabilities to a recipe for an actual matrix. Matrix F has W rows (words) and C columns (contexts). The cell f_ij is the number of times word w_i occurs in context c_j.

تنتقل الشريحة 55 من الاحتمالات إلى وصفة عملية لمصفوفة حقيقية. المصفوفة F فيها W صفاً (كلمات) وC عموداً (contexts). والخلية f_ij هي عدد مرات ظهور الكلمة w_i في السياق c_j.

Everything is a count divided by the grand total of all cells.

كل شيء هنا عدد مقسوم على المجموع الكلي لكل الخلايا.

الـ joint probability لخلية واحدة: الخلية f_ij في الأعلى، ومجموع كل خلايا المصفوفة في الأسفل.

الـ marginal للكلمة i: مجموع الصف كله في الأعلى، والمجموع الكلي (total) في الأسفل.

الـ marginal للسياق j: مجموع العمود كله في الأعلى، والمجموع الكلي نفسه في الأسفل.

التجميع النهائي: في الأعلى الاحتمال المشترك p_ij، وفي الأسفل حاصل ضرب الـ marginals p_i* p_*j، أي مجموع الصف ومجموع العمود كل منهما على المجموع الكلي، والـ log بالأساس 2، ثم ppmi_ij = max(pmi_ij, 0) يقصّ أي سالب إلى صفر.

The star means "summed over that index". p_i* is the row marginal, p_*j is the column marginal. The denominator total is the same single number everywhere: the sum of every cell in the matrix.

النجمة تعني "جُمع على هذا الدليل". فـ p_i* هو marginal الصف، وp_*j هو marginal العمود. والمقام total هو الرقم الواحد نفسه في كل مرة: مجموع كل خلايا المصفوفة.

يرسم المخطط المسار من اليسار إلى اليمين: count matrix أي f_ij، ثم القسمة على total لتحصل على joint probs أي p_ij. ومن المصفوفة نفسها يتفرّع صندوقان: row marginal وهو rowsum / total، وcolumn marginal وهو colsum / total. تتجمع الثلاثة في صندوق pmi وهو log2 لـ joint / (p(w) p(c))، ثم max(·,0) يوصلك إلى PPMI الذي لا ينزل تحت الصفر أبداً. والسطر الأخير يؤكد: مجموع كلي واحد يقسم كل شيء، الخلايا ومجاميع الصفوف ومجاميع الأعمدة.

The lecture's count matrix, slide 56

مصفوفة العدّات في المحاضرة، الشريحة 56

Four words as rows, five context words as columns. The last row and last column are the sums the slide prints for you.

أربع كلمات في الصفوف، وخمس كلمات سياق في الأعمدة. والصف الأخير والعمود الأخير هما المجاميع التي تطبعها الشريحة لك.

يعرض الجدول أعداد f_ij الخام من الشريحة 56: الصفوف cherry، strawberry، digital، information، والأعمدة computer، data، result، pie، sugar. العمود الأخير count(w) هو مجموع الصف، والصف الأخير count(context) هو مجموع العمود، وزاوية أسفل اليمين 11716 هي المجموع الكلي. اقرأ الخلية التي تحتاجها من تقاطع الصف والعمود، مثل information / data = 3982.

The number in the bottom-right corner, 11716, is the grand total. It is the only denominator you will use. Check it: 486 + 80 + 3447 + 7703 = 11716, and 4997 + 5673 + 473 + 512 + 61 = 11716. The row sums and the column sums must agree.

الرقم في زاوية أسفل اليمين، 11716، هو المجموع الكلي، وهو المقام الوحيد الذي ستستخدمه. تحقّق منه: 486 + 80 + 3447 + 7703 = 11716، و4997 + 5673 + 473 + 512 + 61 = 11716. يجب أن يتطابق مجموع الصفوف مع مجموع الأعمدة.

Divide everything by 11716

اقسم كل شيء على 11716

This is the slide's second table: joint probabilities, with the row marginal p(w) on the right and the column marginal p(context) along the bottom.

هذا جدول الشريحة الثاني: الاحتمالات المشتركة، مع marginal الصف p(w) على اليمين وmarginal العمود p(context) في الأسفل.

هذا هو الجدول السابق نفسه بعد قسمة كل خلية على 11716. الخلايا الداخلية هي p(w, context)، والعمود الأخير p(w) هو marginal الصف، والصف الأخير p(context) هو marginal العمود، ومجموع الكل في الزاوية 1.0000. فمثلاً الخلية information / data هي 0.3399، وp(information) = 0.6575، وp(data) = 0.4842.

The slide spells out three of these, and they are the ones you want to be able to reproduce:

تفصّل الشريحة ثلاثة منها، وهي التي يجب أن تقدر على إعادة حسابها:

p(w=information, c=data) = 3982 / 11716 = 0.3399
p(w=information)         = 7703 / 11716 = 0.6575
p(c=data)                = 5673 / 11716 = 0.4842

ثلاث قسمات، والمقام 11716 في الثلاث: البسط 3982 هو خلية واحدة فيعطي الاحتمال المشترك 0.3399، والبسط 7703 هو مجموع صف information فيعطي 0.6575، والبسط 5673 هو مجموع عمود data فيعطي 0.4842.

Notice that the joint cell uses a single cell on top, the row marginal uses the whole row on top, and the column marginal uses the whole column on top. The bottom is 11716 every single time.

لاحظ أن الاحتمال المشترك بسطه خلية واحدة، وmarginal الصف بسطه الصف كله، وmarginal العمود بسطه العمود كله. أما المقام فهو 11716 في كل مرة بلا استثناء.

STEP 0  read the raw count
  f(information, data) = 3982

STEP 1  grand total
  total = 486 + 80 + 3447 + 7703 = 11716

STEP 2  joint probability
  p(information, data) = 3982 / 11716 = 0.33988  -> 0.3399

STEP 3  row marginal (word)
  row sum for information = 3325 + 3982 + 378 + 5 + 13 = 7703
  p(information) = 7703 / 11716 = 0.65748  -> 0.6575

STEP 4  column marginal (context)
  col sum for data = 8 + 0 + 1683 + 3982 = 5673
  p(data) = 5673 / 11716 = 0.48421  -> 0.4842

STEP 5  the chance baseline
  p(information) x p(data) = 0.6575 x 0.4842 = 0.31836

STEP 6  the ratio
  0.3399 / 0.31836 = 1.06765
  observed co-occurrence is about 6.8 percent above chance

STEP 7  log base 2
  pmi = log2(1.06765) = 0.0944

STEP 8  max with 0
  ppmi = max(0.0944, 0) = 0.0944   ->  0.09 in the slide's matrix

PPMI(cherry, pie)         the strong association

  f(cherry, pie) = 442
  p(cherry, pie) = 442 / 11716  = 0.03773
  p(cherry)      = 486 / 11716  = 0.04148
  p(pie)         = 512 / 11716  = 0.04370
  baseline       = 0.04148 x 0.04370 = 0.0018127
  ratio          = 0.03773 / 0.0018127 = 20.81
  pmi            = log2(20.81) = 4.379
  ppmi           = max(4.379, 0) = 4.38        matches the slide

cherry and pie co-occur about 21 times more often than chance.
that factor of 21 is why the PPMI is above 4: log2(16) = 4.

PPMI(cherry, computer)    the negative cell

  f(cherry, computer) = 2
  p(cherry, computer) = 2 / 11716    = 0.00017071
  p(cherry)           = 486 / 11716  = 0.04148
  p(computer)         = 4997 / 11716 = 0.42651
  baseline            = 0.04148 x 0.42651 = 0.017692
  ratio               = 0.00017071 / 0.017692 = 0.009649
  pmi                 = log2(0.009649) = -6.70      NEGATIVE
  ppmi                = max(-6.70, 0) = 0           matches the slide

the ratio is below 1, so the log is negative, so the cell is clipped.
this is the step people forget. do not write -6.70 in a PPMI matrix.

PMI before clipping, PPMI after

PMI قبل القص، وPPMI بعده

Every cell of the matrix, computed twice. The left number is raw PMI. The right number is what slide 57 prints.

كل خلايا المصفوفة محسوبة مرتين: الرقم على اليسار هو PMI الخام، والرقم على اليمين هو ما تطبعه الشريحة 57.

يعطي الجدول كل خلية مرتين بصيغة PMI → PPMI. الخلايا المظللة هي السالبة التي صارت 0، مثل cherry / computer من −6.70 إلى 0. والخلايا الناجية تبقى كما هي، مثل cherry / pie عند 4.38 وstrawberry / sugar عند 5.51. وخلايا strawberry مع computer وdata تظهر −∞ لأن العدد صفر، وتصبح 0 أيضاً.

Twelve of the twenty cells get clipped. The resulting matrix is sparse, and the surviving values draw a clean picture: cherry and strawberry live with pie and sugar, digital and information live with computer and data. The raw count matrix did not say that nearly so clearly, because digital and information had enormous counts that swamped everything.

اثنتا عشرة خلية من العشرين تُقصّ، فتصبح المصفوفة متبعثرة، والقيم الباقية ترسم صورة واضحة: cherry وstrawberry تسكنان مع pie وsugar، وdigital وinformation تسكنان مع computer وdata. مصفوفة الأعداد الخام لم تقل ذلك بهذا الوضوح، لأن أعداد digital وinformation الضخمة كانت تطغى على كل شيء.

Where a count is 0, the joint probability is 0 and log₂(0) is −∞. The max with 0 handles that too, so you never have to special-case it.

حين يكون العدد 0، يكون الاحتمال المشترك 0 وlog₂(0) يساوي −∞. وmax مع 0 يعالج هذه الحالة أيضاً، فلا تحتاج معاملة خاصة لها.

PMI is biased toward rare events, slides 58 and 59

PMI منحاز نحو الأحداث النادرة، الشريحتان 58 و59

Look at the formula again. P(c) sits in the denominator. If a context word is very rare, P(c) is tiny, the ratio blows up, and the PMI is huge. So very rare words get very high PMI values, whether or not the association is real.

انظر الصيغة مرة أخرى: P(c) في المقام. فإذا كانت كلمة السياق نادرة جداً صار P(c) ضئيلاً، فانفجرت النسبة وصار PMI هائلاً. إذن الكلمات النادرة جداً تحصل على قيم PMI عالية جداً، سواء كان الارتباط حقيقياً أم لا.

A context word seen twice in the whole corpus, both times next to your target word, gets a spectacular PMI. It should not. You have two observations.

كلمة سياق ظهرت مرتين فقط في corpus كامل، والمرتان بجوار كلمتك الهدف، تحصل على PMI مذهل. وهذا لا ينبغي، فأنت تملك رصدتين فقط.

Slide 58 gives two solutions:

تعطي الشريحة 58 حلّين:

1. Give rare context words slightly higher probabilities, which shrinks the denominator blow-up.

   ارفع احتمالات كلمات السياق النادرة قليلاً، فيقلّ انفجار المقام.

2. Use add-one smoothing, which has a similar effect.

   استخدم add-one smoothing، وأثره شبيه.

The alpha = 0.75 trick, slide 59

حيلة alpha = 0.75، الشريحة 59

Raise the context probabilities to the power α = 0.75 and renormalize.

ارفع احتمالات السياق إلى القوة α = 0.75 ثم أعد التطبيع.

في الأعلى count(c) مرفوعاً للقوة α، وفي الأسفل مجموع كل الأعداد مرفوعة للقوة نفسها، وذلك لإعادة التطبيع، مع α = 0.75.

Raising a probability below 1 to a fractional power pushes it up, and the push is proportionally much larger for small values. So P_α(c) > P(c) for rare c, and the inflated denominator stops rare contexts from faking high PMI.

رفع احتمال أقل من 1 إلى قوة كسرية يدفعه للأعلى، والدفع أكبر نسبياً للقيم الصغيرة. إذن P_α(c) > P(c) للسياق النادر، والمقام المتضخم يمنع السياقات النادرة من تزييف PMI عالٍ.

two contexts: P(a) = 0.99 (very common), P(b) = 0.01 (very rare)

raise both to the power 0.75
  0.99^0.75 = 0.99249
  0.01^0.75 = 0.03162

renormalize by their sum
  denominator = 0.99249 + 0.03162 = 1.02411

  P_alpha(a) = 0.99249 / 1.02411 = 0.9691  ->  0.97
  P_alpha(b) = 0.03162 / 1.02411 = 0.0309  ->  0.03

the rare context went from 0.01 to 0.03, roughly tripled.
the common context barely moved, 0.99 down to 0.97.

a bigger P(c) in the denominator means a smaller ratio, which
means a smaller PMI for the rare context. that is the fix.

The other fix, add-one smoothing, works by adding a constant to every count before you compute probabilities. Adding 1 to a cell that was 0 is a large relative change; adding 1 to a cell that was 3982 is nothing. So smoothing also flattens the distribution and pulls down the inflated PMI of rare pairs. The slide says add-one specifically; the general family is add-k.

الحل الآخر، add-one smoothing، يعمل بإضافة ثابت إلى كل عدد قبل حساب الاحتمالات. فإضافة 1 إلى خلية كانت 0 تغيير نسبي كبير، وإضافة 1 إلى خلية كانت 3982 لا تعني شيئاً. إذن الـ smoothing يسطّح التوزيع أيضاً ويسحب PMI المتضخم للأزواج النادرة إلى الأسفل. والشريحة تذكر add-one تحديداً، والعائلة العامة هي add-k.

Thirty-second recap

خلاصة في ثلاثين ثانية