Self-supervised training: cross-entropy and teacher forcingالتدريب الذاتي الإشراف: الإنتروبيا المتقاطعة والتغذية القسرية

Take the sentence “so long and thanks for all the fish”. Without asking any annotator, you can already write down one training example for every word after the first: after so the answer is long, after so long it is and, after so long and it is thanks, and so on. The sentence is both the question and the answer key.

خذ الجملة «so long and thanks for all the fish». من دون أن تسأل أي مُعلِّق بشري، تستطيع أن تكتب مثال تدريب واحدًا لكل كلمة بعد الأولى: بعد so الإجابة هي long، وبعد so long هي and، وبعد so long and هي thanks، وهكذا. الجملة هي السؤال ومفتاح الإجابة في الوقت نفسه.

The training algorithm in two linesخوارزمية التدريب في سطرين

This is why a Neural language model is trained by Self-supervised training. The algorithm on the slide is short because the idea is short:

لهذا السبب يُدرَّب neural language model بطريقة self-supervised training. الخوارزمية في الشريحة قصيرة لأن الفكرة نفسها قصيرة:

1. Take a corpus of raw text.خذ corpus من النص الخام.
2. At each time step t, ask the model for a distribution over the next word, compare it with the word that actually comes next, and use gradient descent to reduce the prediction error.عند كل خطوة زمنية t، اطلب من النموذج توزيعًا على الكلمة التالية، وقارنه بالكلمة التي تأتي فعلًا بعدها، واستخدم gradient descent لتقليل خطأ التنبؤ.

Nothing in this loop needs a human. In supervised sentiment classification someone must tag each review as positive or negative. Here the “label” at position t is the token at position t+1, so every sentence ever written is free training data. That is the economic reason language models can be trained on billions of words.

لا شيء في هذه الحلقة يحتاج إلى إنسان. في تصنيف المشاعر الخاضع للإشراف (supervised) يجب أن يوسم شخصٌ ما كل مراجعة بأنها إيجابية أو سلبية. أما هنا فإن «التسمية» عند الموضع t هي الـ token عند الموضع t+1، لذلك كل جملة كُتبت في التاريخ هي بيانات تدريب مجانية. وهذا هو السبب الاقتصادي الذي يجعل تدريب نماذج اللغة على مليارات الكلمات ممكنًا.

Compare this with the Count-based (n-gram) language model of lecture 3. An n-gram model is “trained” by counting and normalizing, which has a closed-form answer. A neural model has millions of weights inside a Recurrent neural network (RNN) and a Softmax, and no formula gives the best weights directly. So we need a single number that says how wrong the model is, and then we follow its gradient downhill. That number is the loss in the next concept.

قارن هذا بـ count-based (n-gram) language model في المحاضرة 3. نموذج الـ n-gram «يُدرَّب» بالعدّ ثم التطبيع (normalizing)، ولذلك له حل بصيغة مغلقة (closed-form). أما النموذج العصبي فلديه ملايين الأوزان داخل RNN وsoftmax، ولا توجد معادلة تعطي أفضل الأوزان مباشرة. لذلك نحتاج إلى رقم واحد يقول مدى خطأ النموذج، ثم نتبع تدرّجه (gradient) نزولًا. هذا الرقم هو الخسارة في المفهوم التالي.

Shrink the vocabulary to four words, {so, long, and, thanks}. The model has just read so and outputs ŷ = [0.1, 0.6, 0.2, 0.1]. The true next word is long. How bad was this guess, as a single number?

صغّر المفردات إلى أربع كلمات، {so, long, and, thanks}. النموذج قرأ للتو so وأخرج ŷ = [0.1, 0.6, 0.2, 0.1]. الكلمة التالية الصحيحة هي long. ما مدى سوء هذا التخمين، معبَّرًا عنه برقم واحد؟

What a good loss must doما الذي يجب أن تفعله الخسارة الجيدة

Slide 20 lists the requirements in plain words. We want the model to put high probability on the true word w. The loss should therefore be small when that probability is high and large when it is low, and training should move the weights to raise the probability of the true word. The loss that does this is the same one you met for logistic regression and skip-gram in lecture 4: the Cross-entropy loss.

الشريحة 20 تسرد المتطلبات بكلمات بسيطة. نريد من النموذج أن يضع احتمالًا عاليًا على الكلمة الصحيحة w. لذلك يجب أن تكون الخسارة صغيرة عندما يكون ذلك الاحتمال عاليًا وكبيرة عندما يكون منخفضًا، ويجب أن يحرّك التدريب الأوزان لرفع احتمال الكلمة الصحيحة. الخسارة التي تحقق ذلك هي نفسها التي رأيتها مع logistic regression وskip-gram في المحاضرة 4: cross-entropy loss.

From the full sum to one termمن المجموع الكامل إلى حد واحد

Cross-entropy measures the gap between two distributions: the correct one y_t and the predicted one ŷ_t that the softmax produced. Written out over the whole vocabulary V:

تقيس الإنتروبيا المتقاطعة الفجوة بين توزيعين: التوزيع الصحيح y_t والتوزيع المتنبأ به ŷ_t الذي أنتجه الـ softmax. وعند كتابتها على كامل المفردات V:

The correct distribution is one-hot. It puts 1 on the word that really comes next and 0 on every other word. Multiply anything by 0 and it disappears, so every term in the sum vanishes except the one for the true word, where the factor is 1:

التوزيع الصحيح من نوع one-hot. فهو يضع 1 على الكلمة التي تأتي فعلًا بعدها ويضع 0 على كل كلمة أخرى. أي شيء يُضرب في 0 يختفي، لذلك تتلاشى كل حدود المجموع ما عدا حد الكلمة الصحيحة، حيث يكون المعامل 1:

Drag the slider and watch the shape of -ln p. Between 0.6 and 1 the curve is almost flat, so a model that is already right gains little from becoming more confident. Below about 0.1 the curve climbs steeply, so a confident miss is punished hard. That asymmetry is exactly what pushes the model to never give the true word a near-zero probability.

اسحب المؤشر وراقب شكل -ln p. بين 0.6 و1 يكون المنحنى شبه مسطح، لذلك فإن النموذج المصيب أصلًا لا يكسب الكثير من زيادة ثقته. وتحت 0.1 تقريبًا يصعد المنحنى بحدة، لذلك يُعاقَب الخطأ الواثق بشدة. هذا اللاتماثل هو بالضبط ما يدفع النموذج إلى ألا يعطي الكلمة الصحيحة احتمالًا قريبًا من الصفر أبدًا.

From one word to a whole sequenceمن كلمة واحدة إلى تسلسل كامل

A training sentence gives one loss per position. The figure on slide 14 (and again on slide 42 for transformers) sums the per-step losses and divides by the length T, so the sequence loss is the average:

جملة التدريب الواحدة تعطي خسارة واحدة لكل موضع. الشكل في الشريحة 14 (ومرة أخرى في الشريحة 42 مع الـ transformers) يجمع خسائر الخطوات ويقسمها على الطول T، لذلك تكون خسارة التسلسل هي المتوسط:

Back to “so long and thanks”. At step 2 the model has read so long and predicts the instead of and. It pays its loss, -log ŷ[and]. Now, what should it read at step 3: its own mistaken the, or the real word and?

لنعد إلى «so long and thanks». عند الخطوة 2 قرأ النموذج so long وتنبأ بـ the بدلًا من and. يدفع خسارته، -log ŷ[and]. والآن، ماذا يجب أن يقرأ عند الخطوة 3: كلمته الخاطئة the، أم الكلمة الحقيقية and؟

The ruleالقاعدة

Teacher forcing answers: always the real word. At each position t the model sees the correct tokens w_(1:t), computes the loss -log ŷ_t[w_(t+1)] for the next token, and then, at position t+1, its own prediction is ignored. The gold word w_(t+1) is added to the context and training moves on. In an RNN this means the input at each step is the true word, combined with the Hidden state that summarizes the true history so far.

يجيب teacher forcing: دائمًا الكلمة الحقيقية. عند كل موضع t يرى النموذج الـ tokens الصحيحة w_(1:t)، ويحسب الخسارة -log ŷ_t[w_(t+1)] للـ token التالي، ثم عند الموضع t+1 يُتجاهَل تنبؤه هو. تُضاف الكلمة الصحيحة (gold) w_(t+1) إلى السياق ويمضي التدريب. في الـ RNN يعني هذا أن المُدخل عند كل خطوة هو الكلمة الحقيقية، مع hidden state الذي يلخّص التاريخ الحقيقي حتى تلك اللحظة.

Why train this wayلماذا نتدرب بهذه الطريقة

• Stable targets. Every step is graded against a sensible history. Early in training the model's own guesses are nearly random, so feeding them back would turn later steps into nonsense and their losses would teach nothing useful.أهداف مستقرة. كل خطوة تُقيَّم مقابل تاريخ منطقي. في بداية التدريب تكون تخمينات النموذج شبه عشوائية، فلو أعدناها إليه كمُدخلات لتحولت الخطوات اللاحقة إلى هراء، ولما علّمت خسائرها شيئًا مفيدًا.
• Faster convergence. One early mistake cannot derail the rest of the sentence, so each gradient carries a clean signal. Jurafsky and Martin note that teacher forcing speeds up training.تقارب أسرع. خطأ مبكر واحد لا يمكنه أن يُخرج بقية الجملة عن مسارها، لذلك يحمل كل gradient إشارة نظيفة. ويذكر Jurafsky وMartin أن teacher forcing يسرّع التدريب.
• Inputs known in advance. Because no input depends on a sampled output, the whole input and target sequence is fixed before the forward pass. An RNN still computes hidden states in order, but nothing has to be sampled between steps. A transformer goes further: with the Causal (masked) self-attention, it computes all positions' losses in one pass, which is the Parallel training you will see in part 8.المدخلات معروفة مسبقًا. لأنه لا يوجد مُدخل يعتمد على مُخرج تم أخذه بالعيّنة (sampled)، فإن تسلسل المدخلات والأهداف كله محدد قبل الـ forward pass. الـ RNN ما زال يحسب الـ hidden states بالترتيب، لكن لا حاجة إلى أخذ أي عيّنة بين الخطوات. والـ transformer يذهب أبعد من ذلك: مع causal mask، يحسب خسائر كل المواضع في تمريرة واحدة، وهذا هو parallel training الذي ستراه في الجزء 8.

The price: exposure biasالثمن: exposure bias