The previous page ended with a classifier that can score a pair and two matrices, W and C, full of numbers. Nobody has said where those numbers come from. They start out random. This page is the process that fixes them.

انتهت الصفحة السابقة بمصنِّف يستطيع إعطاء درجة لزوج، وبمصفوفتين W وC مليئتين بالأرقام. لكن لم يقل أحد من أين تأتي هذه الأرقام. إنها تبدأ عشوائية، وهذه الصفحة هي العملية التي تصلحها.

Slides 76 to 78: building the training set

الشرائح 76 إلى 78: بناء مجموعة التدريب

Three slides, each adding one piece to the same picture. The sentence is the one from slide 68, with apricot as target and a ±2 window.

ثلاث شرائح، كل واحدة تضيف قطعة إلى الصورة نفسها. الجملة هي جملة الشريحة 68، وapricot هي الهدف، والنافذة ±2.

Step one: the positives

الخطوة الأولى: الأمثلة الموجبة

Every context word in the window becomes a positive example, paired with the target. Four context words give four rows.

كل كلمة سياق في النافذة تصبح مثالاً موجباً مقترناً بالهدف. أربع كلمات سياق تعطي أربعة صفوف.

الأمثلة الموجبة الأربعة: (apricot, tablespoon) و(apricot, of) و(apricot, jam) و(apricot, a). العمود t هو الهدف والعمود c هو كلمة السياق.

Note what is not recorded: how far away the context word was, or which side it was on. tablespoon at distance 2 and jam at distance 1 produce identical rows. Position inside the window is thrown away.

لاحظ ما لا يُسجَّل: كم كانت كلمة السياق بعيدة، وفي أي جانب كانت. tablespoon على بُعد 2 وjam على بُعد 1 تنتجان صفّين متطابقين في الشكل. الموضع داخل النافذة يُرمى.

Step two: the negatives

الخطوة الثانية: الأمثلة السالبة

A classifier trained only on yes-examples would learn to say yes to everything. It needs things to say no to.

المصنِّف الذي يُدرَّب على أمثلة "نعم" فقط سيتعلّم أن يقول نعم لكل شيء. يحتاج إلى أشياء يقول لها لا.

Slide 77 states the rule in one sentence: for each positive example we will grab k negative examples, sampling by frequency.

تذكر الشريحة 77 القاعدة في جملة واحدة: لكل مثال موجب نأخذ k أمثلة سالبة، بسحب يعتمد على التكرار (sampling by frequency).

A negative example keeps the same target and swaps in a random word from the lexicon, called a noise word. The one constraint is that the noise word must not be the target itself.

المثال السالب يُبقي الهدف نفسه ويضع مكان كلمة السياق كلمة عشوائية من المعجم تُسمّى كلمة ضوضاء (noise word). والقيد الوحيد أن كلمة الضوضاء يجب ألّا تكون الهدف نفسه.

Slide 78 shows the full table with k = 2. Four positives times two negatives each gives eight negative rows.

تعرض الشريحة 78 الجدول الكامل مع k = 2. أربعة أمثلة موجبة، لكل منها مثالان سالبان، فيكون المجموع ثمانية صفوف سالبة.

الأمثلة السالبة الثمانية كلها تقرن apricot بكلمة ضوضاء: aardvark وmy وwhere وcoaxial وseven وforever وdear وif.

Look at the noise words the slide picked: aardvark, my, where, coaxial, seven, forever, dear, if. A mix of rare content words and extremely common function words. That mix is not an accident, and the next section is about why.

انظر إلى كلمات الضوضاء التي اختارتها الشريحة: aardvark وmy وwhere وcoaxial وseven وforever وdear وif. خليط من كلمات محتوى نادرة وكلمات وظيفية شائعة جداً. هذا الخليط ليس صدفة، والقسم التالي يشرح السبب.

What "sampling by frequency" actually means

ماذا يعني فعلاً "أخذ العينات حسب التكرار" (sampling by frequency)

The naive reading of "sampling by frequency" would be: pick noise words with probability P(w), their plain unigram probability. Draw the with probability P(the), draw aardvark with probability P(aardvark), and so on.

القراءة الساذجة لـ "sampling by frequency" هي: اسحب كلمات الضوضاء باحتمال P(w)، أي احتمالها الأحادي (unigram) العادي. اسحب the باحتمال P(the)، واسحب aardvark باحتمال P(aardvark)، وهكذا.

That is almost right, and it fails for a specific reason. Word frequency is brutally skewed. If you sample purely by P(w), almost every negative example you ever generate is a function word, and genuinely rare words like aardvark or coaxial will essentially never be picked. Their context vectors in C would then never receive a gradient and would stay at their random initial values forever.

هذا صحيح تقريباً، لكنه يفشل لسبب محدد. تكرار الكلمات منحرف بشدة. إذا سحبت بحسب P(w) فقط، فكل مثال سالب تولّده تقريباً سيكون كلمة وظيفية، والكلمات النادرة فعلاً مثل aardvark أو coaxial لن تُختار عملياً أبداً. وعندها لن تتلقى متجهات سياقها في C أي تدرّج، وستبقى على قيمها العشوائية الأولية إلى الأبد.

The fix is to flatten the distribution by raising every count to a power less than one before normalizing:

العلاج هو تسطيح التوزيع برفع كل عدّ إلى أُسّ أقل من واحد قبل التطبيع:

تُقرأ: P_α(w) يساوي عدّ الكلمة مرفوعاً إلى α، مقسوماً على مجموع عدّات كل الكلمات مرفوعة إلى α، مع α = 0.75.

Why does an exponent below 1 flatten things? Because raising to a fractional power shrinks large numbers much harder than small ones. 100^0.75 = 31.6, so 100 shrank by a factor of about 3.2. But 1^0.75 = 1, which did not shrink at all. The big counts get pulled down toward the small ones, and after renormalizing, the rare words have gained probability mass at the expense of the frequent ones.

لماذا يسطّح الأُسّ الأقل من 1 التوزيع؟ لأن الرفع إلى أُسّ كسري يقلّص الأعداد الكبيرة أكثر بكثير من الصغيرة. 100^0.75 = 31.6، أي أن 100 تقلّصت بمعامل يقارب 3.2. لكن 1^0.75 = 1، فلم تتقلّص إطلاقاً. العدّات الكبيرة تُسحب نحو الصغيرة، وبعد إعادة التطبيع تكسب الكلمات النادرة كتلة احتمال على حساب الكلمات الشائعة.

Setting α = 1 would give you back plain frequency sampling. Setting α = 0 would give you uniform sampling, every word equally likely. α = 0.75 sits between them, closer to frequency than to uniform, and is the value that works best in practice.

وضع α = 1 يعيدك إلى السحب بالتكرار العادي. ووضع α = 0 يعطيك سحباً منتظماً (uniform) تكون فيه كل كلمة متساوية الاحتمال. وα = 0.75 يقع بينهما، أقرب إلى التكرار منه إلى المنتظم، وهو القيمة الأفضل عملياً.

الأُسّ α = 0.75 يسطّح توزيع السحب. العمود الأطول يخسر كتلة والعمود الأقصر يكسبها، فتدخل الكلمات النادرة مجموعة الأمثلة السالبة بما يكفي لتتلقى تحديثات التدرّج. والعدّات وراء هذا الرسم هي العدّات التوضيحية في المثال المحلول أدناه.

P(a) = 0.99    a very frequent word
P(b) = 0.01    a rare word

RAISE TO 0.75
  .99^0.75 = 0.992491
  .01^0.75 = 0.031623        (because .01 = 10^-2, so .01^.75 = 10^-1.5)

NORMALIZE
  denominator = 0.992491 + 0.031623 = 1.024114

  P_a(a) = 0.992491 / 1.024114 = 0.969122  ->  0.97
  P_a(b) = 0.031623 / 1.024114 = 0.030878  ->  0.03

  check: 0.969122 + 0.030878 = 1.000000     good

RESULT
  the rare event went from 0.01 to 0.03, three times more likely
  the frequent event went from 0.99 to 0.97, barely touched

counts:  the = 100,  of = 50,  apricot = 10,  aardvark = 1
total = 100 + 50 + 10 + 1 = 161

RAW UNIGRAM PROBABILITIES (alpha = 1)
  P(the)      = 100 / 161 = 0.6211
  P(of)       =  50 / 161 = 0.3106
  P(apricot)  =  10 / 161 = 0.0621
  P(aardvark) =   1 / 161 = 0.0062

RAISE EACH COUNT TO 0.75
  100^0.75 = 31.6228
   50^0.75 = 18.8030
   10^0.75 =  5.6234
    1^0.75 =  1.0000
  new denominator = 31.6228 + 18.8030 + 5.6234 + 1.0000 = 57.0492

NORMALIZE
  P_a(the)      = 31.6228 / 57.0492 = 0.5543
  P_a(of)       = 18.8030 / 57.0492 = 0.3296
  P_a(apricot)  =  5.6234 / 57.0492 = 0.0986
  P_a(aardvark) =  1.0000 / 57.0492 = 0.0175

  check: 0.5543 + 0.3296 + 0.0986 + 0.0175 = 1.0000   good

WHO WON AND WHO LOST
  the       0.6211 -> 0.5543     lost mass
  of        0.3106 -> 0.3296     gained slightly
  apricot   0.0621 -> 0.0986     gained, about 1.6x
  aardvark  0.0062 -> 0.0175     gained, about 2.8x

Slide 79: what "learning" means here

الشريحة 79: ماذا يعني "التعلّم" هنا

You now have a pile of positive pairs and a bigger pile of negative pairs, plus an initial set of embedding vectors that are random. The goal of learning is to adjust those word vectors so that we:

لديك الآن كومة من الأزواج الموجبة وكومة أكبر من الأزواج السالبة، ومجموعة أولية من متجهات التمثيل العشوائية. وهدف التعلّم هو ضبط متجهات الكلمات هذه بحيث:

• Maximize the similarity of the target/context pairs (w, c_pos) drawn from the positive data.

  نرفع إلى الحد الأقصى تشابه أزواج الهدف والسياق (w, c_pos) المأخوذة من البيانات الموجبة.

• Minimize the similarity of the (w, c_neg) pairs drawn from the negative data.

  نخفض إلى الحد الأدنى تشابه الأزواج (w, c_neg) المأخوذة من البيانات السالبة.

Two goals, pulling in opposite directions. Every formula on the rest of this page is a mechanical consequence of those two bullets.

هدفان يشدّان في اتجاهين متعاكسين. وكل معادلة في بقية هذه الصفحة نتيجة آلية لهاتين النقطتين.

Slide 80: the loss function, line by line

الشريحة 80: دالة الخسارة (loss function)، سطراً سطراً

The slide shows four equal signs. They are not four different ideas, they are one idea rewritten four times. Here is each step and the single move that produces it.

تعرض الشريحة أربع علامات مساواة. ليست أربع أفكار مختلفة، بل فكرة واحدة أُعيدت كتابتها أربع مرات. إليك كل خطوة والحركة الوحيدة التي تنتجها.

Line 1. Inside the bracket is the probability of getting everything right at once: the real neighbour scored as a +, and every one of the k noise words scored as a −. They are multiplied because we assume independence, same assumption as slide 72. The minus log in front turns "make this big" into "make this small", which is what a loss has to be.

السطر 1. داخل القوس احتمال أن يكون كل شيء صحيحاً معاً: الجار الحقيقي حصل على +، وكل واحدة من كلمات الضوضاء الـ k حصلت على −. تُضرب لأننا نفترض الاستقلال، وهو الافتراض نفسه في الشريحة 72. وسالب اللوغاريتم في المقدمة يحوّل "اجعل هذا كبيراً" إلى "اجعل هذا صغيراً"، وهذا ما يجب أن تكون عليه الخسارة.

Line 2. The log of a product is the sum of the logs. Pure algebra, no new assumption.

السطر 2. لوغاريتم حاصل الضرب هو مجموع اللوغاريتمات. جبر خالص، بلا افتراض جديد.

Line 3. Substitute P(−) = 1 − P(+), which is slide 72's definition.

السطر 3. عوّض P(−) = 1 − P(+)، وهو تعريف الشريحة 72.

Line 4. Substitute P(+|w, c) = σ(c · w), and use the identity σ(−x) = 1 − σ(x) to collapse the 1 − P(+) term into a single sigmoid with a flipped sign. This is the form you should be able to write from memory.

السطر 4. عوّض P(+|w, c) = σ(c · w)، واستخدم المتطابقة σ(−x) = 1 − σ(x) لتحويل الحد 1 − P(+) إلى sigmoid واحد بإشارة مقلوبة. هذه هي الصيغة التي يجب أن تستطيع كتابتها من الذاكرة.

Read the final line as two instructions

اقرأ السطر الأخير كتعليمتين

اقرأ الجدول: الحد الموجب هو log σ(c_pos · w)، والإشارة داخل σ هي dot product كما هو، وعدده حدّ واحد، ويصغر عندما يرتفع c_pos · w، وأثره الهندسي سحب w وc_pos نحو بعضهما. والحد السالب هو Σ log σ(−c_negi · w)، والإشارة داخل σ هي dot product مقلوباً، وعدده k حدود، ويصغر عندما ينخفض c_neg · w، وأثره دفع w وكل c_neg بعيداً عن بعضهما.

Slide 81: how to minimize it

الشريحة 81: كيف نصغّرها

Stochastic gradient descent. The slide's plain-English version: we will adjust the word weights to make the positive pairs more likely and the negative pairs less likely, over the entire training set.

الانحدار التدرّجي العشوائي (Stochastic gradient descent). والصياغة البسيطة في الشريحة: سنضبط أوزان الكلمات لنجعل الأزواج الموجبة أرجح والأزواج السالبة أقل ترجيحاً، على مجموعة التدريب كلها.

"Stochastic" means we do not compute the loss over the whole corpus before moving. We take one training instance (one w with its c_pos and its k noise words), compute the gradient for just that instance, take a small step, then move on to the next instance.

"Stochastic" تعني أننا لا نحسب الخسارة على النص كله قبل أن نتحرك. نأخذ مثال تدريب واحداً (w واحدة مع c_pos الخاصة بها وكلمات الضوضاء الـ k)، ونحسب التدرّج لهذا المثال فقط، ونخطو خطوة صغيرة، ثم ننتقل إلى المثال التالي.

Slide 82: one step of gradient descent, in pictures

الشريحة 82: خطوة واحدة من gradient descent، بالصور

The slide draws θ again, with W on top and C below, and marks three rows. The corpus fragment is "…apricot jam…", so w = apricot (from W), c_pos = jam (from C), and with k = 2 the two noise words are matrix and Tolstoy (also from C).

ترسم الشريحة θ مجدداً، وW في الأعلى وC في الأسفل، وتميّز ثلاثة صفوف. مقطع النص هو "…apricot jam…"، فتكون w = apricot (من W)، وc_pos = jam (من C)، ومع k = 2 تكون كلمتا الضوضاء matrix وTolstoy (من C أيضاً).

Three arrows come out of the apricot row:

تخرج ثلاثة أسهم من صف apricot:

• move apricot and jam closer, increasing c_pos · w

  قرّب apricot وjam من بعضهما، فيزيد c_pos · w

• move apricot and matrix apart, decreasing c_neg1 · w

  أبعِد apricot وmatrix عن بعضهما، فيقل c_neg1 · w

• move apricot and Tolstoy apart, decreasing c_neg2 · w

  أبعِد apricot وTolstoy عن بعضهما، فيقل c_neg2 · w

Note that the arrows are bidirectional in effect. The update moves the apricot row in W and moves the jam, matrix and Tolstoy rows in C. Four vectors change on every single training instance.

لاحظ أن الأسهم ثنائية الاتجاه في أثرها. التحديث يحرّك صف apricot في W ويحرّك صفوف jam وmatrix وTolstoy في C. أربعة متجهات تتغير في كل مثال تدريب.

الشريحة 82 مرسومة هندسياً. المتجهات الأربعة كلها تنطلق من نقطة الأصل. التدرّج يدير c_pos نحو w (فيرفع dot product)، ويدير كل c_neg بعيداً عن w (فيخفضه)، بينما تنتقل w نفسها إلى موضع وسط. المقطع "…apricot jam…" مع k = 2.

Slide 83: the gradient descent reminder

الشريحة 83: تذكير بـ gradient descent

Two properties of every gradient step, stated on the slide:

خاصيتان لكل خطوة تدرّج، كما تذكرهما الشريحة:

• Direction: we move in the reverse direction from the gradient of the loss function. The gradient points uphill; we want downhill, hence the minus sign.

  الاتجاه: نتحرك في الاتجاه المعاكس لتدرّج دالة الخسارة. التدرّج يشير إلى الصعود، ونحن نريد النزول، ومن هنا علامة السالب.

• Magnitude: we move by the value of that gradient, weighted by a learning rate η. A higher learning rate means w moves faster.

  المقدار: نتحرك بقيمة ذلك التدرّج مضروبة في معدل تعلّم η. ومعدل تعلّم أعلى يعني أن w تتحرك أسرع.

تُقرأ: w الجديدة تساوي w القديمة ناقص η مضروبة في مشتقة الخسارة بالنسبة إلى w.

That is the generic form from logistic regression. The next two slides just plug the skip-gram loss into it.

هذه هي الصيغة العامة من logistic regression. والشريحتان التاليتان تعوّضان فيها خسارة skip-gram فقط.

Slide 84: the three derivatives

الشريحة 84: المشتقات الثلاث

Differentiate the final line of slide 80 with respect to each of the three kinds of vector involved. The slide gives the answers:

اشتقّ السطر الأخير من الشريحة 80 بالنسبة لكل نوع من الأنواع الثلاثة من المتجهات. والشريحة تعطي الأجوبة:

المشتقات الثلاث: بالنسبة إلى c_pos هي [σ(c_pos · w) − 1] w، وبالنسبة إلى c_neg هي [σ(c_neg · w)] w، وبالنسبة إلى w هي [σ(c_pos · w) − 1] c_pos زائد مجموع [σ(c_negi · w)] c_negi على كلمات الضوضاء الـ k.

You do not need to derive these for the exam, but you do need to read them, because the structure is extremely regular and that is what makes them memorable.

لا تحتاج إلى اشتقاقها في الامتحان، لكنك تحتاج إلى قراءتها، لأن بنيتها منتظمة جداً وهذا ما يجعلها سهلة التذكّر.

Every bracket is the same shape: the model's predicted probability minus the true label. For a positive pair the true label is 1, so the bracket is σ(·) − 1. For a negative pair the true label is 0, so the bracket is σ(·) − 0, which is just σ(·). That is the standard logistic regression error term, (prediction − truth).

كل قوس له الشكل نفسه: الاحتمال الذي تنبّأ به النموذج ناقص الوسم الحقيقي. في الزوج الموجب الوسم الحقيقي 1، فيكون القوس σ(·) − 1. وفي الزوج السالب الوسم الحقيقي 0، فيكون القوس σ(·) − 0، أي σ(·) فقط. وهذا هو حد الخطأ المعتاد في logistic regression: (التنبؤ ناقص الحقيقة).

And whatever is outside the bracket is the other vector in the dot product. Differentiating with respect to c gives you w on the outside. Differentiating with respect to w gives you c on the outside. The third line has k+1 terms because w participates in k+1 dot products, one with c_pos and one with each noise word.

وما هو خارج القوس هو المتجه الآخر في dot product. الاشتقاق بالنسبة إلى c يعطيك w في الخارج، والاشتقاق بالنسبة إلى w يعطيك c في الخارج. والسطر الثالث فيه k+1 حدود لأن w تشارك في k+1 من حواصل الضرب النقطي، واحد مع c_pos وواحد مع كل كلمة ضوضاء.

Slide 85: the SGD update equations

الشريحة 85: معادلات التحديث في SGD

Start with randomly initialized C and W, then incrementally apply these. Each one is "old value minus η times the matching derivative from slide 84".

ابدأ بـ C وW مُهيّأتين عشوائياً، ثم طبّق هذه التحديثات تدريجياً. كل واحد منها هو "القيمة القديمة ناقص η مضروبة في المشتقة المقابلة من الشريحة 84".

التحديثات الثلاثة: c_pos الجديدة تساوي القديمة ناقص η [σ(c_pos · w) − 1] w، وc_neg الجديدة تساوي القديمة ناقص η [σ(c_neg · w)] w، وw الجديدة تساوي القديمة ناقص η مضروبة في مشتقة w كاملة. وكل ما في الطرف الأيمن يُقرأ من القيم القديمة عند الزمن t.

Sanity-check the signs before you trust yourself on an exam. For the positive pair, σ(·) is between 0 and 1, so the bracket σ(·) − 1 is negative. Minus η times a negative number is a plus, so c_pos moves in the direction of w. Correct: that is the pull.

تحقّق من الإشارات قبل أن تثق بنفسك في الامتحان. في الزوج الموجب σ(·) بين 0 و1، فيكون القوس σ(·) − 1 سالباً. وسالب η مضروباً في عدد سالب يعطي موجباً، فتتحرك c_pos في اتجاه w. صحيح: هذا هو السحب.

For a negative pair the bracket σ(·) is positive. Minus η times a positive number is a minus, so c_neg moves away from w. Correct: that is the push.

وفي الزوج السالب يكون القوس σ(·) موجباً. وسالب η مضروباً في عدد موجب يعطي سالباً، فتتحرك c_neg بعيداً عن w. صحيح: هذا هو الدفع.

SETUP
  w     (apricot) = [0.5, 0.5]
  c_pos (jam)     = [1.0, 0.0]
  c_neg (matrix)  = [0.0, 1.0]
  eta = 0.2,  k = 1

DOT PRODUCTS
  c_pos . w = 1.0(0.5) + 0.0(0.5) = 0.5 + 0.0 = 0.5
  c_neg . w = 0.0(0.5) + 1.0(0.5) = 0.0 + 0.5 = 0.5

  both are 0.5, so right now the model cannot tell jam from matrix

SIGMOIDS
  exp(-0.5)       = 0.606531
  1 + 0.606531    = 1.606531
  sigma(0.5)      = 1 / 1.606531 = 0.622459
  sigma(-0.5)     = 1 - 0.622459 = 0.377541

LOSS BEFORE THE STEP
  L = -[ ln sigma(c_pos . w) + ln sigma(-c_neg . w) ]
    = -[ ln(0.622459)        + ln(0.377541)         ]
    = -[ -0.474078           + -0.974076            ]
    = 1.448154

UPDATE c_pos        bracket = sigma(0.5) - 1 = 0.622459 - 1 = -0.377541
  eta x bracket            = 0.2 x (-0.377541) = -0.075508
  (eta x bracket) x w      = -0.075508 x [0.5, 0.5] = [-0.037754, -0.037754]
  c_pos_new = [1.0, 0.0] - [-0.037754, -0.037754]
            = [1.037754, 0.037754]

UPDATE c_neg        bracket = sigma(0.5) = 0.622459
  eta x bracket            = 0.2 x 0.622459 = 0.124492
  (eta x bracket) x w      = 0.124492 x [0.5, 0.5] = [0.062246, 0.062246]
  c_neg_new = [0.0, 1.0] - [0.062246, 0.062246]
            = [-0.062246, 0.937754]

UPDATE w            two terms inside the bracket
  term 1 = (sigma(0.5) - 1) x c_pos = -0.377541 x [1.0, 0.0] = [-0.377541, 0.0]
  term 2 = (sigma(0.5))     x c_neg =  0.622459 x [0.0, 1.0] = [0.0, 0.622459]
  sum    = [-0.377541, 0.622459]
  eta x sum = 0.2 x [-0.377541, 0.622459] = [-0.075508, 0.124492]
  w_new  = [0.5, 0.5] - [-0.075508, 0.124492]
         = [0.575508, 0.375508]

DID IT WORK? recompute both dot products with the new vectors
  c_pos_new . w_new = 1.037754(0.575508) + 0.037754(0.375508)
                    = 0.597236 + 0.014178
                    = 0.611414      was 0.5, went UP

  c_neg_new . w_new = -0.062246(0.575508) + 0.937754(0.375508)
                    = -0.035823 + 0.352134
                    = 0.316311      was 0.5, went DOWN

LOSS AFTER THE STEP
  sigma(0.611414)  = 0.648264
  sigma(-0.316311) = 0.421574
  L = -[ ln(0.648264) + ln(0.421574) ]
    = -[ -0.433458    + -0.863760    ]
    = 1.297218

  1.448154 -> 1.297218, the loss went down. one step, four vectors moved.

Slide 86: so what do you do with C?

الشريحة 86: إذن ماذا تفعل بـ C؟

Training is over. You are holding two matrices and you only wanted one set of word vectors. Slide 86 resolves it.

انتهى التدريب. بين يديك مصفوفتان، وأنت أردت مجموعة واحدة فقط من متجهات الكلمات. والشريحة 86 تحسم ذلك.

SGNS learns two sets of embeddings: the target embedding matrix W and the context embedding matrix C. The slide's answer: it is common to just add them together, representing word i as the vector w_i + c_i.

SGNS يتعلّم مجموعتين من التمثيلات: مصفوفة تمثيلات الهدف W ومصفوفة تمثيلات السياق C. وجواب الشريحة: من الشائع ببساطة جمعهما، فتُمثَّل الكلمة i بالمتجه w_i + c_i.

Both matrices are |V| by d, so the addition is elementwise and the result is still d-dimensional. You do not concatenate, which would give 2d dimensions.

كلتا المصفوفتين بحجم |V| في d، فالجمع يتم عنصراً بعنصر والناتج يبقى بـ d بُعد. أنت لا تضمّهما متتاليين (concatenate)، فذلك يعطي 2d بُعد.

The textbook (SLP3 chapter 5) lists the other common option: throw away C entirely and represent word i by w_i alone. Both appear in real implementations. What you must not do is leave the question unanswered, because W on its own and C on its own are two different embedding spaces.

ويذكر الكتاب (SLP3 الفصل 5) الخيار الشائع الآخر: ارمِ C كلياً ومثّل الكلمة i بـ w_i وحدها. وكلا الخيارين موجود في تطبيقات حقيقية. أما ما يجب ألّا تفعله فهو ترك السؤال بلا جواب، لأن W وحدها وC وحدها فضاءا تمثيل مختلفان.

Slide 87: the whole method in five lines

الشريحة 87: الطريقة كلها في خمسة أسطر

1. Start with V random d-dimensional vectors as initial embeddings.

   ابدأ بـ V متجهاً عشوائياً بـ d بُعد كتمثيلات أولية.

2. Train a classifier based on embedding similarity. Take a corpus, and take pairs of words that co-occur as positive examples.

   درّب مصنِّفاً مبنياً على تشابه التمثيلات. خذ نصاً، وخذ أزواج الكلمات التي تظهر معاً كأمثلة موجبة.

3. Take pairs of words that do not co-occur as negative examples.

   خذ أزواج الكلمات التي لا تظهر معاً كأمثلة سالبة.

4. Train the classifier to distinguish these by slowly adjusting all the embeddings to improve the classifier performance.

   درّب المصنِّف على التمييز بينها بضبط كل التمثيلات ببطء لتحسين أداء المصنِّف.

5. Throw away the classifier code and keep the embeddings.

   ارمِ كود المصنِّف واحتفظ بالتمثيلات.

Line 5 is the punchline that slide 66 promised. The classifier was never the point.

السطر 5 هو الخلاصة التي وعدت بها الشريحة 66. المصنِّف لم يكن الهدف أبداً.

Slide 88: the hyperparameters worth memorizing

الشريحة 88: المعاملات الفائقة (hyperparameters) التي تستحق الحفظ

These are short, numeric, and extremely easy to turn into an exam question.

هذه قصيرة، ورقمية، وسهل جداً تحويلها إلى سؤال امتحان.

القيم: النموذج skip-gram with negative sampling أي SGNS. وعدد الأمثلة السالبة k من 15 إلى 20 للبيانات الصغيرة، ومن 2 إلى 5 للبيانات الضخمة، والبيانات الضخمة هي الحالة المعتادة فيكون عملياً من 2 إلى 5. وبُعد التمثيل d = 300، و100 أو 50 ممكنان أيضاً. وحجم النافذة من 5 إلى 10، أي ±5 إلى ±10.

The k rule is the counter-intuitive one, so hold on to the reasoning: less data means you need more negatives per positive, because with a small corpus you simply do not have enough examples and the extra noise words are doing the work of regularizing the model. With a billion-word corpus you already have enough signal and k = 2 to 5 is plenty.

قاعدة k هي المخالفة للحدس، فتمسّك بالتعليل: بيانات أقل تعني أنك تحتاج أمثلة سالبة أكثر لكل مثال موجب، لأن النص الصغير لا يعطيك أمثلة كافية، وكلمات الضوضاء الإضافية تقوم بعمل تنظيم النموذج (regularizing). ومع نص من مليار كلمة لديك إشارة كافية أصلاً، وk = 2 إلى 5 يكفي تماماً.

Thirty-second recap

خلاصة في ثلاثين ثانية