The term-document matrix

مصفوفة term-document

Slide 31. The construction is embarrassingly simple: pick some words, pick some documents, count how often each word occurs in each document.

الشريحة 31. البناء بسيط إلى حدّ مُحرج: اختر بعض الكلمات، واختر بعض المستندات، ثم عُدّ كم مرة تظهر كل كلمة في كل مستند.

The slide's example is four Shakespeare plays by four words. These are the actual figures on the slide.

مثال الشريحة هو أربع مسرحيات لشكسبير مقابل أربع كلمات. وهذه هي الأرقام الفعلية الموجودة على الشريحة.

اقرأ الجدول هكذا: كل صف كلمة (battle وgood وfool وwit)، وكل عمود مسرحية، والخلية هي عدد مرات ظهور تلك الكلمة في تلك المسرحية. مثلاً fool تظهر 58 مرة في Twelfth Night ومرة واحدة فقط في Julius Caesar.

The caption on slide 31 is "Each document is represented by a vector of words." Read down the As You Like It column and you get [1, 114, 36, 20]. That four-number list is the document, as far as this model is concerned.

عنوان الشريحة 31 هو "Each document is represented by a vector of words." أي أن كل مستند يُمثَّل بمتجه من الكلمات. اقرأ عمود As You Like It من أعلى إلى أسفل فتحصل على [1, 114, 36, 20]. هذه القائمة ذات الأرقام الأربعة هي المستند نفسه، بقدر ما يعني هذا النموذج.

One matrix, two readings

مصفوفة واحدة وقراءتان

This is the key idea on the page, and it is the reason the same matrix shows up on four consecutive slides.

هذه هي الفكرة الأساسية في الصفحة، وهي السبب في ظهور المصفوفة نفسها في أربع شرائح متتالية.

الشريحتان 31 و34 هما الجدول نفسه مع تمييز مختلف: الأعمدة تعطيك مستندات، والصفوف تعطيك كلمات. في الرسم، العمود المميَّز هو متجه المستند Twelfth Night = [0, 80, 58, 15]، والصف المميَّز هو متجه الكلمة fool = [36, 58, 1, 4].

Visualising document vectors

تصوير متجهات المستندات

Slide 32 takes two of the four rows, fool and battle, and plots each play as a point in that 2D space. The exact coordinates on the slide are [fool, battle].

تأخذ الشريحة 32 صفّين من الصفوف الأربعة، fool وbattle، وترسم كل مسرحية كنقطة في هذا الفضاء ثنائي الأبعاد. والإحداثيات الدقيقة على الشريحة هي [fool, battle].

الشريحة 32. المحور الأفقي هو fool والعمودي هو battle. الكوميديّتان (As You Like It [36, 1] وTwelfth Night [58, 0]) تمتدان على محور fool، والمسرحيتان التاريخيتان (Julius Caesar [1, 7] وHenry V [4, 13]) تلتصقان بمحور battle. فالكوميديّتان تشيران تقريباً إلى الاتجاه نفسه، والتاريخيتان كذلك، والمجموعتان تشيران إلى اتجاهين مختلفين بوضوح.

Words can be vectors too

الكلمات يمكن أن تكون متجهات أيضاً

Slide 34 flips the highlight from columns to rows and reads off two word vectors:

تقلب الشريحة 34 التمييز من الأعمدة إلى الصفوف، وتقرأ متجهَي كلمتين:

• battle = [1, 0, 7, 13], so battle is "the kind of word that occurs in Julius Caesar and Henry V".

  battle = [1, 0, 7, 13]، أي أن battle هي "نوع الكلمة التي تظهر في Julius Caesar وHenry V".

• fool = [36, 58, 1, 4], so fool is "the kind of word that occurs in comedies, especially Twelfth Night".

  fool = [36, 58, 1, 4]، أي أن fool هي "نوع الكلمة التي تظهر في الكوميديا، خصوصاً Twelfth Night".

Nothing changed except the direction you read. The same matrix that powered document search is now a model of word meaning, exactly as Idea 1 from the previous page demanded.

لم يتغيّر شيء سوى اتجاه القراءة. المصفوفة نفسها التي شغّلت البحث في المستندات أصبحت الآن نموذجاً لمعنى الكلمة، تماماً كما طلبت الفكرة الأولى (Idea 1) في الصفحة السابقة.

The more common version: the word-word matrix

النسخة الأكثر شيوعاً: مصفوفة word-word

Slide 35, also called the term-context matrix. Documents are a crude notion of context. Shakespeare plays are tens of thousands of words long, so "occurs in the same play" is a very weak signal of shared meaning.

الشريحة 35، وتُسمّى أيضاً term-context matrix. المستندات مفهوم خشن للسياق. مسرحيات شكسبير طولها عشرات الآلاف من الكلمات، لذلك فإن "الظهور في المسرحية نفسها" إشارة ضعيفة جداً على المعنى المشترك.

So replace the columns. Instead of documents, the columns are context words, and a context is a small window around the target word (the standard choice is plus or minus 4 words).

لذلك نستبدل الأعمدة. بدلاً من المستندات تصبح الأعمدة كلمات سياق (context words)، والسياق نافذة صغيرة حول الكلمة الهدف (الاختيار المعتاد هو 4 كلمات قبلها و4 بعدها).

تقول الصيغة: الخلية (i, j) تساوي عدد مرات ظهور كلمة السياق j داخل النافذة المحيطة بالكلمة i.

The slide's principle: two words are similar in meaning if their context vectors are similar. It illustrates with four target words and four corpus snippets:

مبدأ الشريحة: تتشابه كلمتان في المعنى إذا تشابهت متجهات سياقهما. وتوضّح ذلك بأربع كلمات هدف وأربعة مقاطع من نص:

  is traditionally followed by   cherry        pie, a traditional dessert
         often mixed, such as   strawberry    rhubarb pie. Apple pie
computer peripherals and personal  digital    assistants. These devices usually
        a computer. This includes  information  available on the internet

في كل سطر الكلمة الهدف في المنتصف (cherry وstrawberry وdigital وinformation) وحولها سياقها. لاحظ أن cherry وstrawberry تحيط بهما كلمات مثل pie وdessert، بينما تحيط بـ digital وinformation كلمات مثل computer وinternet.

And here is the resulting matrix, with the slide's actual counts. The ... columns stand for the rest of the vocabulary, which is the point: this table is a tiny window onto something enormous.

وهذه هي المصفوفة الناتجة بالعدّات الفعلية من الشريحة. الأعمدة ... تمثّل بقية المفردات، وهذا هو المقصود: هذا الجدول نافذة صغيرة جداً على شيء ضخم.

الخلايا المميّزة هي الأرقام الكبيرة: cherry مع pie 442، وstrawberry مع pie 60، وdigital مع computer وdata 1670 و1683، وinformation مع computer وdata 3325 و3982. وعمود aardvark كله أصفار.

Read it the way slide 35 wants. cherry and strawberry both load on pie and sugar and are near zero on computer and data. digital and information do the exact reverse. Two clusters fall out of raw counts, with no labels and no supervision.

اقرأها كما تريد الشريحة 35. cherry وstrawberry كلتاهما مرتفعتان على pie وsugar، وقريبتان من الصفر على computer وdata. وdigital وinformation تفعلان العكس تماماً. مجموعتان تخرجان من العدّات الخام، بلا تسميات ولا إشراف.

Slide 36 plots the second pair on the data and computer axes: digital = [1683, 1670] and information = [3982, 3325]. Note the shape of that picture. information is a much longer arrow than digital, because information is a more frequent word, but the two arrows point in almost the same direction. That mismatch between length and direction is exactly why the next topic is cosine similarity rather than raw distance.

ترسم الشريحة 36 الزوج الثاني على محورَي data وcomputer: digital = [1683, 1670] وinformation = [3982, 3325]. لاحظ شكل هذه الصورة. سهم information أطول بكثير من سهم digital لأن information كلمة أكثر تكراراً، لكن السهمين يشيران تقريباً إلى الاتجاه نفسه. وهذا التفاوت بين الطول والاتجاه هو بالضبط سبب أن الموضوع التالي هو cosine similarity لا المسافة الخام.

Term-document versus word-word

Term-document مقابل word-word

المصفوفة term-document صفوفها |V| كلمة وأعمدتها D مستند، فشكلها |V| × D. والمصفوفة word-word صفوفها |V| كلمة وأعمدتها |V| كلمة سياق، فشكلها |V| × |V| وهي مربّعة.

الجدول الثاني يقارن بينهما: في term-document العمود مستند كامل، والخلية تعدّ ظهور الكلمة i في المستند j، والسياق مستند كامل، وبُعد متجه الكلمة D، والاستخدام الأساسي استرجاع المعلومات وتشابه المستندات، وهي الفكرة الأصلية. وفي word-word العمود كلمة سياق من المفردات، والخلية تعدّ ظهور الكلمة j في نافذة الكلمة i، والسياق نافذة صغيرة (عادة 4 كلمات من كل جانب)، وبُعد متجه الكلمة |V|، والاستخدام الأساسي تشابه الكلمات وword embeddings، وحكم المحاضرة أنها "الأكثر شيوعاً".

Sparsity, again

التناثر (sparsity) مرة أخرى

A word-word matrix is |V| × |V|. For a realistic vocabulary of 50,000 words that is 2.5 billion cells, and almost every one of them is zero, because almost no pair of words ever occurs in the same small window. aardvark is the slide's joke: a whole column of zeros.

المصفوفة word-word شكلها |V| × |V|. ولمفردات واقعية من 50,000 كلمة يعني ذلك 2.5 مليار خلية، كلها تقريباً أصفار، لأن معظم أزواج الكلمات لا تظهر أبداً في النافذة الصغيرة نفسها. وaardvark هي نكتة الشريحة: عمود كامل من الأصفار.

Window size: a preview worth banking now

حجم النافذة: لمحة مسبقة تستحق أن تحفظها الآن

The size of the context window is a knob, and it changes what kind of neighbour you get back. This comes up later in the lecture but it is cheap to learn here.

حجم نافذة السياق مقبض تتحكم به، وهو يغيّر نوع الجيران الذين تحصل عليهم. يأتي هذا لاحقاً في المحاضرة، لكن تعلّمه هنا رخيص.

What is still missing

ما الذي لا يزال ناقصاً

You can now build vectors. You still cannot compare them, and the raw counts are badly behaved: good has large counts in all four plays and therefore tells you nothing, while information dwarfs digital purely because it is a commoner word. The next pages fix both: cosine similarity for comparison, then tf-idf and PPMI for reweighting.

تستطيع الآن بناء المتجهات، لكنك ما زلت لا تستطيع مقارنتها، والعدّات الخام سيئة السلوك: good عدّاتها كبيرة في المسرحيات الأربع كلها فلا تخبرك بشيء، وinformation تتفوّق على digital لمجرد أنها كلمة أكثر شيوعاً. والصفحات التالية تعالج الأمرين: cosine similarity للمقارنة، ثم tf-idf وPPMI لإعادة الوزن.