The question slide 18 asks

السؤال الذي تطرحه الشريحة 18

The last page produced a wish list: synonymy, similarity, relatedness, antonymy, connotation. Slide 18 asks whether we can build one theory of how to represent word meaning that accounts for at least some of those desiderata.

أنتجت الصفحة السابقة قائمة مطالب: synonymy، similarity، relatedness، antonymy، connotation. وتسأل الشريحة 18: هل يمكننا بناء نظرية واحدة لتمثيل معنى الكلمة تحقق بعض هذه المطالب على الأقل؟

The answer the lecture gives: vector semantics. The slide's own two claims about it:

الجواب الذي تعطيه المحاضرة: vector semantics. وللشريحة ادعاءان عنه:

• It is the standard model in language processing.

  إنه النموذج القياسي في معالجة اللغة (the standard model in language processing).

• It handles many of our goals.

  وإنه يحقق كثيراً من أهدافنا.

Where the idea comes from: two quotes

من أين جاءت الفكرة: اقتباسان

Slide 20 supplies the missing definition that links them. One way to define "usage" is: words are defined by their environments, meaning the words around them. Harris then says that identical environments imply synonymy.

تقدّم الشريحة 20 التعريف الناقص الذي يربط بينهما. إحدى طرق تعريف "الاستخدام" هي: الكلمات تُعرَّف بـ environments الخاصة بها، أي بالكلمات المحيطة بها. ثم يقول Harris إن تطابق البيئات يعني synonymy.

That chain is the distributional hypothesis. Learn the two names in order: Wittgenstein gives the slogan, Harris gives the testable version.

هذه السلسلة هي distributional hypothesis. احفظ الاسمين بالترتيب: Wittgenstein يعطي الشعار، وHarris يعطي الصيغة القابلة للاختبار.

The ongchoi example

مثال ongchoi

Slide 21. This is the best teaching device in the whole lecture. Work through it honestly; do not skip to the answer.

الشريحة 21، وهي أفضل أداة تعليمية في المحاضرة كلها. اعمل عليها بصدق ولا تقفز إلى الجواب.

Suppose you see these three sentences and you have never met the word before:

افترض أنك رأيت هذه الجمل الثلاث ولم تقابل الكلمة من قبل أبداً:

Ong choi is delicious sauteed with garlic.
Ong choi is superb over rice.
Ong choi leaves with salty sauces.

الأسطر الثلاثة كلها عن ong choi. ما يهمك فيها ليس معنى الجملة بل الكلمات المجاورة: delicious، sauteed، garlic، rice، leaves، salty.

And separately, in other texts, you have seen these:

وبشكل منفصل، في نصوص أخرى، رأيت هذه الأسطر:

...spinach sauteed with garlic over rice
Chard stems and leaves are delicious
Collard greens and other salty leafy greens

هذه الأسطر عن spinach وchard وcollard greens، وتحمل الكلمات المجاورة نفسها تقريباً. اقرأ المجموعتين وقارن بينهما كلمة بكلمة.

Slide 22 reveals the answer: ongchoi is Ipomoea aquatica, water spinach. It is also called kangkong, rau muong, or in Chinese 空心菜. You were right, and you were right without ever being told.

تكشف الشريحة 22 الجواب: ongchoi هو Ipomoea aquatica، أي water spinach، ويسمى أيضاً kangkong أو rau muong أو بالصينية 空心菜. كنت محقاً، ومحقاً دون أن يخبرك أحد.

Idea 1 and Idea 2

الفكرة 1 والفكرة 2

Slides 23 to 25 name the two halves and then glue them together. The exam can ask for either half by name, so keep the numbering.

الشرائح 23 إلى 25 تسمّي النصفين ثم تلصقهما معاً. والامتحان قد يسأل عن أي نصف بالاسم، فاحفظ الترقيم.

1. Idea 1: defining meaning by linguistic distribution. Define the meaning of a word by its distribution in language use, meaning its neighbouring words or grammatical environments. This is Wittgenstein plus Harris plus ongchoi.

   Idea 1: تعريف المعنى بالتوزيع اللغوي. عرّف معنى الكلمة بتوزيعها في استخدام اللغة، أي بـ الكلمات المجاورة أو grammatical environments. هذا هو Wittgenstein زائد Harris زائد ongchoi.

2. Idea 2: meaning as a point in space (Osgood et al. 1957). From the previous page: valence, arousal, dominance. Three numbers per word, so the connotation of a word is a vector in 3-space. The idea generalises: meaning is a point in multidimensional space.

   Idea 2: المعنى نقطة في فضاء (Osgood et al. 1957). من الصفحة السابقة: valence وarousal وdominance، ثلاثة أرقام لكل كلمة، فتكون connotation الكلمة متجهاً في فضاء ثلاثي الأبعاد. والفكرة تتعمّم: المعنى نقطة في فضاء متعدد الأبعاد.

Slide 25 simply puts them on one slide, because the combination is the whole model:

تضع الشريحة 25 الفكرتين في شريحة واحدة، لأن الجمع بينهما هو النموذج كله:

يُقرأ الصندوق كمعادلة: Idea 1 (المعنى = التوزيع) زائد Idea 2 (المعنى = نقطة في فضاء) يساوي النتيجة المظللة: الكلمة متجه يُتعلَّم من الكلمات المجاورة لها. هذا السطر الأخير هو ما تكتبه لو طُلب منك تعريف vector semantics في سطر واحد.

Defining meaning as a point in space based on distribution

تعريف المعنى كنقطة في فضاء بناءً على التوزيع (distribution)

Slide 26 states the three consequences. These are the sentences most likely to be quoted back at you.

تذكر الشريحة 26 ثلاث نتائج، وهي الجمل الأكثر احتمالاً أن تُقتبس عليك في الامتحان.

• Each word is a vector, not just "good" or "w₄₅".

  كل كلمة هي متجه (vector)، وليست مجرد رمز مثل "good" أو "w₄₅".

• Similar words are nearby in semantic space.

  الكلمات المتشابهة قريبة من بعضها في semantic space.

• We build this space automatically, by seeing which words are nearby in text.

  نبني هذا الفضاء آلياً، بملاحظة أي الكلمات تظهر متجاورة في النص.

That third bullet is the engineering payoff. Nobody hand-labels anything. You point the method at raw text and the space builds itself.

النقطة الثالثة هي المكسب الهندسي: لا أحد يصنّف شيئاً يدوياً. توجّه الطريقة إلى نص خام، فيبني الفضاء نفسه بنفسه.

يرسم الشكل semantic space في بعدين تخطيطياً، وفيه ثلاثة عناقيد: leafy greens (ومعها ongchoi وspinach وchard وcollard greens)، وtech words، وbeverages. اقرأه هكذا: الكلمات ذات التوزيع المتشابه تسقط قريبة من بعضها، فيجد ongchoi نفسه داخل عنقود الأوراق الخضراء بلا أن يعرّفه أحد. والنقطة المعزولة cup هي الدرس المهم: مرتبطة بـ coffee لكنها بعيدة عنها، فالارتباط (relatedness) لا يعني التشابه (similarity).

The word "embedding"

كلمة "embedding"

Slide 27 defines the term you have been waiting for.

تعرّف الشريحة 27 المصطلح الذي كنت تنتظره.

If an exam asks "why the word embedding?", the answer is the etymology on this slide: the word is embedded into a vector space.

إذا سأل الامتحان "why the word embedding?" فالجواب هو الاشتقاق الموجود في هذه الشريحة: الكلمة مغروسة في فضاء متجهات.

Why vectors? The sentiment analysis argument

لماذا المتجهات؟ حجة تحليل المشاعر (sentiment analysis)

Slide 28. This is the slide that justifies the whole effort, and it is a likely short-answer question. The argument is a direct comparison.

الشريحة 28، وهي الشريحة التي تبرّر كل هذا الجهد، وسؤال مقالي قصير محتمل. والحجة فيها مقارنة مباشرة.

The two kinds of embeddings this course covers

نوعا الـ embeddings اللذان يغطيهما المقرر

Slide 29 sets up the structure of everything that follows. Learn this split now, because the next several pages live inside it.

تضع الشريحة 29 هيكل كل ما سيأتي بعدها. تعلّم هذا التقسيم الآن، لأن الصفحات التالية كلها تسكن داخله.

يقارن الجدول عمودين: Sparse ومثاله tf-idf، وDense ومثاله Word2vec. اقرأه صفاً صفاً: المتجهات المتناثرة طويلة (بُعد لكل كلمة في vocabulary أو لكل وثيقة، فآلاف إلى ملايين) ومعظم قيمها أصفار، وتأتي من عدّ الكلمات المجاورة. أما الكثيفة فقصيرة (بضع مئات من الأبعاد) وتأتي من تدريب classifier يتنبأ إن كانت كلمة محتملة الظهور بالجوار. والصف الأخير هو الدور في المقرر: tf-idf حصان Information Retrieval وbaseline شائع، والكثيف هو التمثيل الحديث الذي يُمتد لاحقاً إلى contextual embeddings.

The other member of the sparse family you will meet shortly is PPMI, positive pointwise mutual information. It is a different reweighting of the same raw counts. tf-idf and PPMI are both count-based and both sparse; word2vec is predict-based and dense.

العضو الآخر في عائلة sparse الذي ستقابله قريباً هو PPMI، أي positive pointwise mutual information، وهو إعادة ترجيح مختلفة لنفس العدّات الخام. فـ tf-idf وPPMI كلاهما قائم على العدّ وكلاهما sparse، أما word2vec فقائم على التنبؤ وdense.

Where this goes next

إلى أين نتجه بعد ذلك

You now have the claim (a word is a vector built from its neighbours) but no actual numbers. The next page builds the first concrete vectors by literally counting: the term-document matrix and the word-word matrix.

أصبح عندك الادعاء (الكلمة متجه مبني من مجاوراتها) لكن بلا أرقام فعلية. والصفحة التالية تبني أول متجهات ملموسة بالعدّ الحرفي: term-document matrix وword-word matrix.