Start with what is wrong with the vectors you already have

ابدأ بما هو خاطئ في المتجهات التي لديك بالفعل

Everything up to now has given you one vector per word, built out of counts. tf-idf vectors and PPMI vectors are both built this way.

كل ما سبق أعطاك متجهاً واحداً لكل كلمة، مبنياً من العدّات. ومتجهات tf-idf ومتجهات PPMI كلاهما مبني بهذه الطريقة.

Slide 61 lists two complaints about those vectors:

تذكر الشريحة 61 اعتراضين على هذه المتجهات:

• They are long. The length is |V|, the size of the vocabulary, so 20,000 to 50,000 numbers per word.

  إنها طويلة. طولها |V|، أي حجم المفردات، فهي من 20,000 إلى 50,000 رقم لكل كلمة.

• They are sparse. Most of those 20,000 numbers are zero, because most words never co-occur with most other words.

  إنها متشتّتة (sparse). معظم هذه الأرقام الـ 20,000 أصفار، لأن معظم الكلمات لا تظهر أبداً مع معظم الكلمات الأخرى.

The alternative the slide proposes is vectors that are short (50 to 1000 numbers) and dense (most entries are non-zero). Those are what we call embeddings.

البديل الذي تقترحه الشريحة متجهات قصيرة (من 50 إلى 1000 رقم) وكثيفة (dense، أي معظم قيمها غير صفرية). وهذه هي ما نسمّيه embeddings.

Why would short and dense be better?

لماذا يكون القصير الكثيف أفضل؟

Slide 62 gives three reasons plus a fourth that is really an admission.

تعطي الشريحة 62 ثلاثة أسباب، ورابعاً هو في الحقيقة اعتراف.

1. Fewer weights to tune. If you feed a word vector into a machine learning model as a feature, a 300-dimensional vector means 300 weights. A 50,000-dimensional vector means 50,000 weights, and you probably do not have enough data to fit them.

   أوزان أقل للضبط. إذا أدخلت متجه كلمة إلى نموذج تعلّم آلي كميزة، فمتجه بـ 300 بُعد يعني 300 وزن. ومتجه بـ 50,000 بُعد يعني 50,000 وزن، وعلى الأرجح ليس لديك بيانات كافية لملاءمتها.

2. Better generalization. Dense vectors may generalize better than explicit counts, because they are forced to compress and so cannot memorize.

   تعميم أفضل. قد تعمّم المتجهات الكثيفة أفضل من العدّات الصريحة، لأنها مُجبرة على الضغط فلا تستطيع الحفظ.

3. They capture synonymy. This is the strongest argument, so read it slowly.

   تلتقط الترادف. هذه أقوى حجة، فاقرأها ببطء.

4. In practice, they work better. The slide actually says this. It is an empirical claim, not a theoretical one.

   عملياً، تعمل بشكل أفضل. الشريحة تقول هذا فعلاً. إنه ادعاء تجريبي لا نظري.

The synonymy argument is worth unpacking because it is the one an exam can ask you to explain. In a sparse count vector, car and automobile are two separate dimensions. They are synonyms, but the vector has no way to know that.

حجة الترادف تستحق التفكيك لأنها الحجة التي قد يطلب منك الامتحان شرحها. في متجه العدّ المتشتّت، car وautomobile بُعدان منفصلان. هما مترادفتان، لكن المتجه لا يملك أي طريقة لمعرفة ذلك.

So take two words: one that often appears next to car, and one that often appears next to automobile. Those two words should come out similar, because they occur in the same kind of context. But in the sparse representation their non-zero entries land in different columns, so their dot product on those columns is zero and they look unrelated.

خذ إذن كلمتين: واحدة تظهر كثيراً بجانب car، وأخرى تظهر كثيراً بجانب automobile. هاتان الكلمتان يجب أن تخرجا متشابهتين، لأنهما تظهران في النوع نفسه من السياق. لكن في التمثيل المتشتّت تقع قيمهما غير الصفرية في أعمدة مختلفة، فيكون dot product بينهما على هذه الأعمدة صفراً وتبدوان غير مرتبطتين.

Dense vectors do not have one dimension per word, so there is no column to miss. The car dimension and the automobile dimension simply do not exist as separate things.

المتجهات الكثيفة ليس فيها بُعد لكل كلمة، فلا يوجد عمود يُفلت منك. بُعد car وبُعد automobile ببساطة غير موجودين كشيئين منفصلين.

Sparse versus dense, side by side

المتناثر (sparse) مقابل الكثيف (dense)، جنباً إلى جنب

الجدول يقارن: المتجه المتشتّت (tf-idf وPPMI) طوله من 20,000 إلى 50,000، ومعظم قيمه أصفار، وكل بُعد فيه كلمة سياق محددة، ونحصل عليه بالعدّ ثم إعادة الوزن، ويحتاج عشرات الآلاف من الأوزان لاحقاً، ولا يعالج car / automobile. والمتجه الكثيف (word2vec وGloVe) طوله من 50 إلى 1000، ومعظم قيمه غير صفرية، وأبعاده بلا معنى قابل للتسمية، ونحصل عليه بتدريب نموذج تنبؤ، ويحتاج بضع مئات من الأوزان فقط، ويعالج الترادف.

Where short dense vectors come from

من أين تأتي المتجهات القصيرة الكثيفة

Slide 63 names the families.

تسمّي الشريحة 63 العائلات.

The slide then names a third thing, and it is important that you see it as a different category, not a third method of the same kind.

ثم تذكر الشريحة شيئاً ثالثاً، ومن المهم أن تراه فئة مختلفة، لا طريقة ثالثة من النوع نفسه.

Everything above produces static embeddings. One word gets exactly one vector, forever, no matter what sentence it appears in. The word bank gets one vector that is some blurry average of the river sense and the money sense.

كل ما سبق ينتج static embeddings (تمثيلات ثابتة). كل كلمة تحصل على متجه واحد بالضبط، إلى الأبد، مهما كانت الجملة التي تظهر فيها. فكلمة bank تحصل على متجه واحد هو متوسط ضبابي لمعنى ضفة النهر ومعنى المصرف.

Contextual embeddings (ELMo, BERT) break that rule. They compute a distinct embedding for a word in its context, so there is a separate embedding for each token of a word. Two occurrences of bank in two sentences get two different vectors. That is the whole distinction the slide is drawing.

Contextual embeddings (ELMo وBERT) تكسر هذه القاعدة. فهي تحسب تمثيلاً مختلفاً للكلمة في سياقها، فيكون لكل ظهور (token) للكلمة تمثيله الخاص. ظهوران لكلمة bank في جملتين يحصلان على متجهين مختلفين. هذا هو كل التمييز الذي ترسمه الشريحة.

Slide 64 is the practical note: you do not have to train these yourself. Word2vec (Mikolov et al.) and GloVe (Pennington, Socher, Manning) are both published as downloadable pretrained vectors.

الشريحة 64 ملاحظة عملية: لا يلزمك تدريب هذه بنفسك. Word2vec (Mikolov et al.) وGloVe (Pennington, Socher, Manning) منشوران كلاهما كمتجهات مُدرَّبة مسبقاً قابلة للتنزيل.

The word2vec idea in one sentence

فكرة word2vec في جملة واحدة

Slide 65 gives the headline: word2vec is popular, very fast to train, the code is on the web, and the idea is predict rather than count. The specific variant this course cares about is skip-gram with negative sampling, abbreviated SGNS.

تعطي الشريحة 65 العنوان الرئيسي: word2vec شائع، وسريع جداً في التدريب، وكوده متاح على الويب، وفكرته تنبّأ بدل أن تعُدّ (predict rather than count). والنسخة المحددة التي تهمّ هذا المقرر هي skip-gram with negative sampling، واختصارها SGNS.

Slide 66 is where the trick becomes concrete, and it is genuinely a trick. Here is the move:

في الشريحة 66 تصبح الحيلة ملموسة، وهي حيلة فعلاً. إليك الحركة:

Instead of counting how often each word w occurs near apricot, train a classifier on a binary prediction task. The question the classifier answers is: is w likely to show up near apricot? Yes or no.

بدلاً من عدّ كم مرة تظهر كل كلمة w قرب apricot، درّب مصنِّفاً على مهمة تنبؤ ثنائية. والسؤال الذي يجيب عنه المصنِّف: هل يُرجَّح أن تظهر w قرب apricot؟ نعم أو لا.

Now the key line on the slide, which looks like a joke the first time you read it: we do not actually care about this task. We will never use the classifier. What we want is the weights it learns along the way, and those weights are the word embeddings.

والآن السطر الأهم في الشريحة، والذي يبدو كنكتة أول مرة تقرأه: نحن لا نهتم فعلاً بهذه المهمة. لن نستخدم المصنِّف أبداً. ما نريده هو الأوزان التي يتعلّمها في الطريق، وهذه الأوزان هي تمثيلات الكلمات (word embeddings).

Self-supervision, which is the reason this is free

الإشراف الذاتي (self-supervision)، وهو سبب أن هذا مجاني

Supervised learning normally needs labelled data, and labelled data needs humans. Slide 66 calls out why that is not a problem here.

التعلّم الموجَّه يحتاج عادةً بيانات موسومة، والبيانات الموسومة تحتاج بشراً. وتوضّح الشريحة 66 لماذا ليست هذه مشكلة هنا.

A word c that actually occurs near apricot in the corpus is the gold correct answer. The corpus labels itself. Any word sitting in the window is a yes; any random word from the lexicon is a no. No human labels required. The slide credits Bengio et al. (2003) and Collobert et al. (2011).

الكلمة c التي تظهر فعلاً قرب apricot في النص هي الجواب الصحيح الذهبي. النص يَسِم نفسه بنفسه. أي كلمة داخل النافذة جوابها نعم، وأي كلمة عشوائية من المعجم جوابها لا. لا حاجة لوسوم بشرية. وتنسب الشريحة الفكرة إلى Bengio et al. (2003) وCollobert et al. (2011).

The four-step recipe

الوصفة ذات الخطوات الأربع

Slide 67 states the whole algorithm in four lines. Memorize these four, in this order, and you can reconstruct the rest of the lecture.

تعرض الشريحة 67 الخوارزمية كلها في أربعة أسطر. احفظ هذه الأربعة بهذا الترتيب، وستستطيع إعادة بناء بقية المحاضرة.

1. Treat the target word t and a neighbouring context word c as positive examples.

   اعتبر الكلمة الهدف t وكلمة السياق المجاورة c أمثلة موجبة (positive examples).

2. Randomly sample other words in the lexicon to get negative examples.

   اسحب عشوائياً كلمات أخرى من المعجم لتحصل على أمثلة سالبة (negative examples).

3. Use logistic regression to train a classifier to distinguish those two cases.

   استخدم logistic regression لتدريب مصنِّف يميّز بين الحالتين.

4. Use the learned weights as the embeddings.

   استخدم الأوزان المُتعلَّمة بوصفها embeddings.

Where the training data comes from

من أين تأتي بيانات التدريب

Slide 68 shows the mechanism. You slide a window along real running text. With a +/- 2 word window, you take 2 words to the left and 2 words to the right of whatever word you are currently standing on.

تُظهر الشريحة 68 الآلية. تُمرِّر نافذة على نص حقيقي متصل. مع نافذة +/- 2 تأخذ كلمتين على يسار الكلمة التي تقف عليها حالياً وكلمتين على يمينها.

The slide's sentence is:

جملة الشريحة هي:

الأقواس المربّعة تحيط بالنافذة، والكلمة المميّزة في وسطها apricot هي الهدف.

Standing on apricot, the window brackets five words. The target is apricot and the four context words are labelled c1 through c4.

عندما تقف على apricot تحيط النافذة بخمس كلمات. الهدف هو apricot، وكلمات السياق الأربع موسومة من c1 إلى c4.

بيانات تدريب skip-gram، الشريحة 68. النافذة ثابتة العرض وتنزلق على النص. كل موضع تتوقف عنده ينتج هدفاً واحداً وحتى 2L كلمة سياق، وكل زوج منها يصبح مثال تدريب موجباً.

الجدول يسرد النافذة: c1 = tablespoon في الموضع -2، وc2 = of في الموضع -1، والهدف w = apricot في الموضع 0، وc3 = jam في الموضع +1، وc4 = a في الموضع +2. الأربعة كلها كلمات سياق.

What the classifier is actually asked

ما الذي يُسأل عنه المصنِّف فعلاً

Slide 69 turns the window into a question. The classifier is handed a candidate (word, context) pair and must score it. Two of the slide's own examples:

تحوّل الشريحة 69 النافذة إلى سؤال. يُعطى المصنِّف زوجاً مرشّحاً (word, context) وعليه أن يعطيه درجة. مثالان من الشريحة نفسها:

(apricot, jam)        <- jam really was in the window
(apricot, aardvark)   <- aardvark was not, we made it up

الزوج (apricot, jam) حقيقي لأن jam كانت فعلاً في النافذة، والزوج (apricot, aardvark) مختلَق لأن aardvark لم تكن فيها.

And the classifier assigns each pair a probability:

ويعطي المصنِّف كل زوج احتمالاً:

السطر الأول P(+ | w, c) هو احتمال أن يكون الزوج جاراً حقيقياً. والسطر الثاني P(− | w, c) = 1 − P(+ | w, c) هو احتمال ألّا يكون كذلك.

Two numbers that sum to one. That is the entire output. It is a coin flip, not a vocabulary-sized decision.

رقمان مجموعهما واحد. هذا هو المُخرَج كله. إنه رمي عملة، لا قرار بحجم المفردات.

Similarity is just the dot product

التشابه هو ببساطة dot product

Slide 70 is a reminder plus one new word. The reminder: two vectors are similar if they have a high dot product, and cosine is just a normalized dot product.

الشريحة 70 تذكير مع كلمة جديدة واحدة. التذكير: يتشابه متجهان إذا كان dot product بينهما كبيراً، وcosine ليس إلا dot product مُطبَّعاً.

The new word is the proportionality sign:

والكلمة الجديدة هي علامة التناسب:

تُقرأ: التشابه بين w وc يتناسب طردياً مع w · c.

So the classifier's notion of "is c a neighbour of w" is going to be built on nothing more than w · c.

إذن مفهوم المصنِّف عن "هل c جار لـ w" سيُبنى على w · c لا أكثر.

But the slide immediately flags a problem. A dot product is an unbounded real number. It can be 0.3, it can be −17, it can be 400. A probability has to live in [0, 1]. And cosine does not rescue us either, because cosine lives in [−1, 1] and the slide says flatly that cosine is not a probability either.

لكن الشريحة تنبّه فوراً إلى مشكلة. dot product عدد حقيقي غير محدود: قد يكون 0.3، وقد يكون −17، وقد يكون 400. أما الاحتمال فيجب أن يقع في [0, 1]. وcosine لا ينقذنا أيضاً، لأنه يقع في [−1, 1]، والشريحة تقول صراحة إن cosine ليس احتمالاً هو الآخر.

Turning a dot product into a probability

تحويل dot product إلى احتمال

Slide 71 solves it with the sigmoid from logistic regression. The sigmoid takes any real number and squashes it into (0, 1), monotonically: bigger input, bigger output.

تحلّ الشريحة 71 المشكلة بالـ sigmoid من logistic regression. الـ sigmoid يأخذ أي عدد حقيقي ويضغطه إلى (0, 1) بشكل رتيب: مُدخل أكبر يعني مُخرجاً أكبر.

السطر الأول: P(+ | w, c) = σ(c · w) = 1 / (1 + e^−c·w). والسطر الثاني: P(− | w, c) = 1 − P(+ | w, c) = σ(−c · w) = 1 / (1 + e^c·w).

Look carefully at the second line. The negative case is not some new formula. It is the same sigmoid with the sign of the dot product flipped. That identity, σ(−x) = 1 − σ(x), is the single most useful fact on this page, because it is what lets the loss function on slide 80 be written entirely in terms of σ.

انظر جيداً إلى السطر الثاني. الحالة السالبة ليست صيغة جديدة، بل هي الـ sigmoid نفسه بعد قلب إشارة dot product. وهذه المتطابقة، σ(−x) = 1 − σ(x)، هي أكثر حقيقة مفيدة في هذه الصفحة، لأنها ما يسمح بكتابة دالة الخسارة في الشريحة 80 كاملةً بدلالة σ.

مصنِّف skip-gram كله في سطر واحد. متجه الهدف w يأتي من المصفوفة W، ومتجه السياق المرشّح c يأتي من المصفوفة C، وdot product يقيس مدى توافقهما، والـ sigmoid يحوّل هذا العدد غير المحدود إلى احتمال نعم أو لا. والأرقام مأخوذة من المثال المحلول أدناه.

w(apricot)   = [ 0.5,  1.0, -0.5]
c(jam)       = [ 1.0,  1.0,  0.0]     a real neighbour
c(aardvark)  = [-2.0,  0.0,  2.0]     a random word

DOT PRODUCT, POSITIVE PAIR
  0.5 x  1.0 =  0.5
  1.0 x  1.0 =  1.0
 -0.5 x  0.0 =  0.0
  c(jam) . w = 0.5 + 1.0 + 0.0 = 1.5

SIGMOID
  exp(-1.5)              = 0.2231
  1 + 0.2231             = 1.2231
  P(+|apricot, jam)      = 1 / 1.2231 = 0.8176
  P(-|apricot, jam)      = 1 - 0.8176 = 0.1824

  cross-check with the flipped-sign form:
  sigma(-1.5) = 1 / (1 + exp(1.5)) = 1 / (1 + 4.4817)
              = 1 / 5.4817 = 0.1824          matches

DOT PRODUCT, NEGATIVE PAIR
  0.5 x -2.0 = -1.0
  1.0 x  0.0 =  0.0
 -0.5 x  2.0 = -1.0
  c(aardvark) . w = -1.0 + 0.0 - 1.0 = -2.0

SIGMOID
  exp(2.0)                    = 7.3891
  1 + 7.3891                  = 8.3891
  P(+|apricot, aardvark)      = 1 / 8.3891 = 0.1192
  P(-|apricot, aardvark)      = 1 - 0.1192 = 0.8808

But there are four context words, not one

لكن هناك أربع كلمات سياق، لا واحدة

Slide 72 points out the gap. σ(c · w) scores one context word. The window has L of them (four, in the running example).

تشير الشريحة 72 إلى الثغرة. σ(c · w) يعطي درجة لكلمة سياق واحدة، بينما في النافذة L كلمة (أربع في المثال الجاري).

The slide's fix is the simplest possible one: assume independence and multiply.

وعلاج الشريحة أبسط ما يمكن: افترض الاستقلال واضرب.

السطر الأول: احتمال أن تكون كل كلمات السياق من c₁ إلى c_L جيراناً حقيقيين هو حاصل ضرب σ(c_i · w) لكل i من 1 إلى L. والسطر الثاني: لوغاريتم ذلك هو مجموع log σ(c_i · w).

The second line is the first line with a log taken on both sides. Logs turn products into sums, which is why every loss function you will see from here on is a sum and not a product. Nothing new is being assumed in the second line.

السطر الثاني هو السطر الأول بعد أخذ اللوغاريتم للطرفين. اللوغاريتمات تحوّل حواصل الضرب إلى مجاميع، ولهذا كل دالة خسارة ستراها من الآن فصاعداً مجموع لا حاصل ضرب. لا يُفترض أي شيء جديد في السطر الثاني.

sigma(1.5) = 0.8176          (computed above, for jam)

sigma(0.8):
  exp(-0.8)      = 0.4493
  1 + 0.4493     = 1.4493
  sigma(0.8)     = 1 / 1.4493 = 0.6900

PRODUCT FORM
  P(+|w, {jam, of}) = 0.8176 x 0.6900 = 0.5641

LOG FORM, same answer
  ln(0.8176) = -0.2014
  ln(0.6900) = -0.3713
  sum        = -0.5727
  exp(-0.5727) = 0.5641         matches the product form

Slide 73 in one breath

الشريحة 73 في نفَس واحد

The skip-gram classifier is a probabilistic classifier. Give it a test target word w and its context window of L words c_1:L, and it estimates the probability that w occurs in this window, based on the similarity of w's embedding to the embeddings of c_1:L.

مصنِّف skip-gram مصنِّف احتمالي. أعطه كلمة هدف اختبارية w ونافذة سياقها من L كلمة c_1:L، فيقدّر احتمال أن تظهر w في هذه النافذة، بناءً على تشابه تمثيل w مع تمثيلات c_1:L.

And then the line that sets up the entire next page: to compute this, we just need embeddings for all the words. There is no other parameter. No hidden layer, no weight matrix beyond the embeddings themselves. The embeddings are the model.

ثم السطر الذي يمهّد للصفحة التالية كلها: لحساب هذا نحتاج فقط إلى embeddings لكل الكلمات. لا يوجد أي معامل آخر. لا طبقة مخفية، ولا مصفوفة أوزان غير الـ embeddings نفسها. الـ embeddings هي النموذج.

Two sets of embeddings, not one

مجموعتان من الـ embeddings، لا واحدة

Slide 74 is the one that trips people up, so here it is slowly.

الشريحة 74 هي التي يتعثّر فيها الناس، فإليك شرحها ببطء.

Every word plays two roles in training. Sometimes it is the target in the middle of the window. Sometimes it is a context word sitting beside somebody else's target. Word2vec gives it a separate vector for each role.

كل كلمة تلعب دورين في التدريب. أحياناً تكون الهدف في وسط النافذة، وأحياناً تكون كلمة سياق بجانب هدف كلمة أخرى. وword2vec يعطيها متجهاً منفصلاً لكل دور.

• W is the matrix of target embeddings. Rows 1 through |V|.

  W هي مصفوفة تمثيلات الهدف (target). الصفوف من 1 إلى |V|.

• C is the matrix of context and noise embeddings. Rows |V|+1 through 2V.

  C هي مصفوفة تمثيلات السياق والضوضاء (context and noise). الصفوف من |V|+1 إلى 2V.

Both matrices have one row per vocabulary word and d columns. Stacked together they form θ, the full parameter vector of the model, which therefore has 2V rows of width d.

كلتا المصفوفتين فيها صف لكل كلمة في المفردات وd عمود. وعند تكديسهما معاً تشكّلان θ، متجه المعاملات الكامل للنموذج، والذي يكون فيه إذن 2V صف بعرض d.

الشريحة 74. كل كلمة في المفردات تظهر مرتين في θ، مرة في W ومرة في C. وapricot كهدف وapricot ككلمة سياق متجهان مختلفان بـ d بُعد، ويُحدَّث كل منهما بتدرّجات مختلفة.

Thirty-second recap

خلاصة في ثلاثين ثانية