The paradox, slide 45

المفارقة، الشريحة 45

Every cell of a co-occurrence matrix is currently a raw frequency. Slide 45 says that is a bad representation, and sets up the tension in two bullets:

كل خلية في co-occurrence matrix هي الآن تكرار خام. تقول الشريحة 45 إن هذا تمثيل سيئ، وتطرح التناقض في نقطتين:

• Frequency is useful. If sugar appears a lot near apricot, that is real information about what apricot means.

  التكرار مفيد فعلاً. فإذا ظهرت sugar كثيراً قرب apricot، فهذه معلومة حقيقية عن معنى apricot.

• But overly frequent words like the, it, they are not informative about context. They appear near everything.

  لكن الكلمات المفرطة في الشيوع مثل the وit وthey غير مفيدة في وصف السياق، لأنها تظهر قرب كل شيء.

So frequency is both the signal and the noise. The slide calls it a paradox: "How can we balance these two conflicting constraints?"

إذن التكرار هو الإشارة والضجيج في الوقت نفسه. تسمّي الشريحة ذلك تناقضاً: "How can we balance these two conflicting constraints?"

Resolve it like this. We want words that are frequent in THIS document but rare across the collection. A word that is everywhere discriminates nothing.

والحل هكذا: نريد الكلمات المتكررة في هذا المستند تحديداً والنادرة في المجموعة كلها. والكلمة الموجودة في كل مكان لا تميّز شيئاً.

Two solutions, slide 46

حلّان، الشريحة 46

The lecture names exactly two weighting schemes, and you should be able to say which is used where:

تذكر المحاضرة طريقتَي وزن فقط، ويجب أن تعرف أيّهما تُستخدم مع أي مصفوفة:

يقابل الجدول بين الطريقتين: tf-idf لمصفوفة term-document، وفكرتها تقليل وزن الكلمات التي تظهر في مستندات كثيرة، فتحصل "the" و"it" على idf منخفض جداً. وPMI / PPMI لمصفوفة term-context (كلمة مع كلمة)، وفكرتها هل تظهر الكلمتان معاً أكثر مما تتوقعه الصدفة.

This page is tf-idf. PMI is the next page.

هذه الصفحة عن tf-idf، وPMI في الصفحة التالية.

Term frequency, slide 47

تكرار المصطلح (term frequency)، الشريحة 47

The simple version:

النسخة البسيطة:

المعادلة تعرّف tf في صورته الخام: مجرد count(t, d)، أي عدد مرات ظهور الكلمة t داخل المستند d، بلا أي log.

But the slide says: "instead of using raw count, we squash a bit", and gives the log form.

لكن الشريحة تقول: "instead of using raw count, we squash a bit"، ثم تعطي صيغة الـ log.

هذه صيغة الشريحة: يُطبَّق log بالأساس 10 على count(t, d) + 1، في عبارة واحدة بلا تقسيم حالات، فتعمل حتى عندما يكون count = 0. أما صيغة الكتاب 1 + log₁₀(count) فتُستخدم فقط عندما يكون count أكبر من صفر، وtf = 0 فيما عدا ذلك.

Why squash. A word appearing 100 times in a document is not 100 times more important than a word appearing once. It is maybe twice as important. Raw counts over-reward repetition. The log compresses the scale so that going from 1 to 10 matters about as much as going from 10 to 100.

لماذا نضغط المقياس. الكلمة التي تظهر 100 مرة في مستند ليست أهم بـ 100 مرة من كلمة ظهرت مرة واحدة، بل أهم بمرتين تقريباً. التكرارات الخام تكافئ الإعادة أكثر من اللازم، والـ log يضغط المقياس فيصبح الانتقال من 1 إلى 10 بأهمية الانتقال من 10 إلى 100 تقريباً.

Why the +1. It handles count = 0 gracefully: log₁₀(0 + 1) = log₁₀(1) = 0, so an absent word gets tf = 0 instead of log(0) = −∞.

ولماذا +1. لأنه يعالج حالة count = 0 بسلاسة: log₁₀(0 + 1) = log₁₀(1) = 0، فتأخذ الكلمة الغائبة tf = 0 بدلاً من log(0) الذي يساوي سالب ما لا نهاية.

What the squash does, in numbers:

ما يفعله الضغط، بالأرقام:

يضع الجدول ثلاثة أعمدة جنباً إلى جنب: count الخام، وraw tf، وlog₁₀(count+1). اقرأ كل سطر كتحويل: 0 تبقى 0، و1 تصبح 0.301، و7 تصبح 0.903، و13 تصبح 1.146، و100 تصبح 2.004، و1000 تصبح 3.000.

Raw tf spans a factor of 1000. Squashed tf spans a factor of 10. That is the point.

مدى raw tf يمتد بعامل 1000، ومدى tf المضغوط يمتد بعامل 10 فقط. وهذا هو المقصود.

Document frequency, slide 48

تكرار المستند (document frequency)، الشريحة 48

المعادلة تعرّف df_t: عدد المستندات التي تظهر فيها الكلمة t مرة واحدة على الأقل. لا يوجد log هنا، ولا علاقة له بعدد مرات الظهور.

The slide puts the warning in its own bullet, which is a strong hint it is examinable: this is not collection frequency, which is the total count of t across all documents.

تضع الشريحة التحذير في نقطة مستقلة، وهذه إشارة قوية إلى أنه مادة سؤال: هذا ليس collection frequency، الذي هو العدد الكلي لظهور t في كل المستندات.

The slide's example, from Shakespeare:

مثال الشريحة، من Shakespeare:

الجدول يقارن Romeo وaction: لكل منهما collection frequency يساوي 113، لكن document frequency هو 1 لـ Romeo و31 لـ action.

Both words occur 113 times in total. Identical collection frequency. But Romeo occurs inside a single play and action is spread over 31 of them. Collection frequency cannot tell them apart. Document frequency can, instantly.

كلتا الكلمتين تظهر 113 مرة إجمالاً، أي collection frequency متطابق. لكن Romeo محصورة في مسرحية واحدة، وaction موزّعة على 31 مسرحية. collection frequency لا يفرّق بينهما، وdocument frequency يفرّق فوراً.

Romeo is a perfect search term for one play. action is useless as a discriminator. That difference is the entire motivation for df.

Romeo كلمة بحث مثالية للوصول إلى مسرحية واحدة، وaction لا قيمة لها كمميّز. هذا الفرق هو كل الدافع وراء df.

Inverse document frequency, slide 49

مقلوب تكرار المستند (inverse document frequency)، الشريحة 49

المعادلة: idf_t هو log بالأساس 10 للكسر N / df_t. البسط N هو عدد المستندات في المجموعة كلها، والمقام df_t هو عدد المستندات التي تحتوي الكلمة t. اقسم أولاً، ثم خذ الـ log.

N is the total number of documents in the collection. The lecture's Shakespeare collection has N = 37 plays.

N هو العدد الكلي للمستندات في المجموعة، ومجموعة Shakespeare في المحاضرة فيها N = 37 مسرحية.

Read the fraction before the log. N/df is large when the word is in few documents and shrinks to 1 when the word is in every document. The log just compresses that, exactly like it did for tf.

اقرأ الكسر قبل الـ log: قيمة N/df تكون كبيرة عندما تكون الكلمة في مستندات قليلة، وتتقلص إلى 1 عندما تكون في كل مستند. والـ log يضغط ذلك فقط، تماماً كما فعل مع tf.

This is slide 49's table, with the arithmetic verified against log₁₀(37/df):

هذا جدول الشريحة 49، وقد تم التحقق من حسابه مقابل log₁₀(37/df):

الجدول مرتب بـ df تصاعدياً، والعمود الثالث يعرض الكسر N / df قبل أخذ الـ log، والرابع هو idf بعده. اقرأه هكذا: Romeo عند df = 1 يعطي 1.57، ثم salad 1.27، وFalstaff 0.967، وforest 0.489، وbattle 0.246، وwit 0.037، وfool 0.012، وأخيراً good وsweet عند df = 37 = N فيصبح idf = 0.

Sorted by idf, the pattern is impossible to miss. Rare words get high idf. Universal words get idf exactly 0.

بالترتيب حسب idf يصبح النمط واضحاً تماماً: الكلمات النادرة تأخذ idf عالياً، والكلمات الموجودة في كل مكان تأخذ idf يساوي صفراً بالضبط.

يرسم الشكل منحنى idf = log₁₀(37/df): المحور الأفقي هو df من 1 إلى N = 37، والمحور الرأسي هو idf من 0 إلى 1.57. النقاط المعلّمة هي Romeo عند df=1 وidf=1.57، وFalstaff عند df=4 وidf=0.967، وbattle عند df=21 وidf=0.246، ثم good وsweet عند df=37=N وidf=0. المنحنى يهبط بحدة في المستندات الأولى ثم يستوي، وكل ما في الذيل المستوي هو عملياً stopword.

What counts as a document, slide 50

ما الذي يُعدّ مستنداً، الشريحة 50

Nothing in the formula says what a document is. You choose it, and the choice changes every number.

لا شيء في المعادلة يحدّد ما هو المستند. أنت تختاره، والاختيار يغيّر كل رقم بعده.

• A whole Shakespeare play, as in the table above.

  مسرحية Shakespeare كاملة، كما في الجدول أعلاه.

• A Wikipedia article.

  مقالة Wikipedia.

• A paragraph. The slide says: "for the purposes of tf-idf, documents can be anything; we often call each paragraph a document."

  فقرة واحدة. تقول الشريحة: "for the purposes of tf-idf, documents can be anything; we often call each paragraph a document."

• A sliding window of a fixed number of words, which is what you would use to build a term-context matrix.

  نافذة منزلقة بعدد ثابت من الكلمات، وهي ما تستخدمه لبناء مصفوفة term-context.

Smaller documents mean more documents, so N goes up and df goes down for topical words, so idf spreads out further. Choosing paragraphs instead of whole plays gives you a sharper weighting.

المستندات الأصغر تعني مستندات أكثر، فيزيد N وينقص df للكلمات الموضوعية، فيتوزع idf على مدى أوسع. واختيار الفقرات بدل المسرحيات الكاملة يعطي وزناً أدق.

The final value, slide 51

القيمة النهائية، الشريحة 51

المعادلة النهائية: w_t,d هو حاصل ضرب tf_t,d في idf_t، ضرب مباشر بلا log إضافي.

Two factors, multiplied. tf is about this document. idf is about the whole collection. A word scores high only if it is frequent here AND rare elsewhere. If either factor is near zero, the product is near zero.

عاملان مضروبان: tf يتعلق بهذا المستند، وidf يتعلق بالمجموعة كلها. فالكلمة تأخذ درجة عالية فقط إذا كانت متكررة هنا ونادرة في غيره، وإذا قارب أحد العاملين الصفر قارب الناتج الصفر.

Raw counts

العدّات الخام

الجدول يعرض التكرارات الخام: الصفوف هي الكلمات battle وgood وfool وwit، والأعمدة هي أربع مسرحيات، As You Like It وTwelfth Night وJulius Caesar وHenry V. كل خلية هي count(t, d).

Read this table and good dominates everything. It has the biggest number in every column by a wide margin. If you used raw counts, every play would look like it is mostly about being good.

اقرأ هذا الجدول فتجد good مسيطرة على كل شيء، فلها أكبر رقم في كل عمود بفارق واسع. ولو استخدمت التكرارات الخام لظهرت كل مسرحية كأنها عن الخير.

After tf-idf

بعد tf-idf

الجدول نفسه بعد تطبيق tf-idf، بنفس الصفوف والأعمدة. صف good كله أصفار، وأعلى قيمة في الجدول هي battle في Henry V عند 0.28. قارن كل خلية بنظيرتها في جدول التكرارات الخام.

good is now an entire row of zeros, because its df is 37 out of 37 plays. The 114 occurrences in As You Like It are multiplied by idf = 0 and vanish.

صف good صار أصفاراً كاملة لأن df لها 37 من 37 مسرحية. والـ 114 ظهوراً في As You Like It تُضرب في idf = 0 فتتبخر.

Meanwhile battle, which had the smallest raw numbers in the table, now has the largest tf-idf values. Its idf of 0.246 is about twenty times larger than fool's 0.012, which is enough to overcome the fact that fool occurs far more often.

في المقابل battle، التي كانت أصغر أرقامها الخام في الجدول، صارت أكبر قيم tf-idf. فـ idf لها 0.246، أي نحو عشرين ضعف 0.012 الخاصة بـ fool، وهذا كافٍ للتغلب على أن fool تظهر أكثر منها بكثير.

Raw count versus tf-idf, side by side

العدّ الخام مقابل tf-idf، جنباً إلى جنب

الجدول يقارن raw count مقابل tf-idf في خمسة بنود: أعلى خلية في الجدول، وما تسهم به good، وما تكافئه كل طريقة، ومصير stopwords، وهل تستخدم معلومات المجموعة كلها. عمود tf-idf هو السلوك المطلوب في كل بند.

Doing it by hand

الحساب باليد

1. Count how many times the word occurs in the target document. That is count(t,d).

   عدّ كم مرة تظهر الكلمة في المستند المقصود. هذا هو count(t,d).

2. tf = log₁₀(count + 1). If the count is 0, tf = 0 and you can stop, the answer is 0.

   tf = log₁₀(count + 1). وإذا كان count صفراً فإن tf = 0 ويمكنك التوقف، فالجواب 0.

3. Count how many documents contain the word at least once. That is df.

   عدّ كم مستنداً يحتوي الكلمة مرة واحدة على الأقل. هذا هو df.

4. idf = log₁₀(N / df). If df = N, idf = 0 and the answer is 0.

   idf = log₁₀(N / df). وإذا كان df = N فإن idf = 0 والجواب 0.

5. Multiply. w = tf × idf.

   اضرب: w = tf × idf.

idf(battle) = 0.246     idf(good) = 0      idf(fool) = 0.012     idf(wit) = 0.037

battle, As You Like It
  count = 1
  tf    = log10(1 + 1)  = log10(2)  = 0.3010
  w     = 0.3010 x 0.246 = 0.0740    -> 0.074   matches slide

battle, Twelfth Night
  count = 0
  tf    = log10(0 + 1)  = log10(1)  = 0
  w     = 0 x 0.246 = 0              -> 0       matches slide

battle, Julius Caesar
  count = 7
  tf    = log10(7 + 1)  = log10(8)  = 0.9031
  w     = 0.9031 x 0.246 = 0.2222    -> 0.22    matches slide

battle, Henry V
  count = 13
  tf    = log10(13 + 1) = log10(14) = 1.1461
  w     = 1.1461 x 0.246 = 0.2819    -> 0.28    matches slide

good, As You Like It          the stopword case
  count = 114
  tf    = log10(114 + 1) = log10(115) = 2.0607     a large tf
  df    = 37     good appears in all 37 plays
  idf   = log10(37 / 37) = log10(1) = 0
  w     = 2.0607 x 0 = 0             -> 0       matches slide

the big tf is completely irrelevant. one zero factor kills the product.

fool, Twelfth Night
  count = 58
  tf    = log10(59) = 1.7709
  w     = 1.7709 x 0.012 = 0.02125   -> 0.021   matches slide

wit, As You Like It
  count = 20
  tf    = log10(21) = 1.3222
  w     = 1.3222 x 0.037 = 0.04892   -> 0.049   matches slide

wit, Julius Caesar
  count = 2
  tf    = log10(3) = 0.4771
  w     = 0.4771 x 0.037 = 0.01765   -> 0.018   matches slide

Thirty-second recap

خلاصة في ثلاثين ثانية