The language modeling head, weight tying and end-to-end trainingرأس نمذجة اللغة وربط الأوزان والتدريب من الطرف إلى الطرف

Feed the model the words So long and thanks for. After the last of its L transformer blocks, the column above for holds a single vector of d = 768 numbers. That vector has seen the whole context through causal attention, but it is not a word. To predict the next token we need one score for each of the 50,000 tokens in the vocabulary, and then a proper probability for each.

أعطِ النموذج الكلمات So long and thanks for. بعد آخر كتلة من كتل transformer البالغ عددها L، يحمل العمود الواقع فوق for متجهًا واحدًا من d = 768 رقمًا. هذا المتجه رأى السياق كله عبر الانتباه السببي (causal attention)، لكنه ليس كلمة. لكي نتنبأ بالرمز التالي نحتاج إلى درجة (score) واحدة لكل رمز من الرموز البالغ عددها 50,000 في المفردات، ثم إلى احتمال حقيقي لكل منها.

What the head doesماذا يفعل الرأس

The Language modeling head is that missing circuit. It takes h_N^L, the output of the final layer L at the last token N, and outputs a distribution over the vocabulary V. It has exactly two steps: a linear map to one score per word, then a Softmax that turns the scores into probabilities. The word head is borrowed from the general idea of a task-specific circuit placed on top of a pretrained transformer; this one is the head for language modeling. At inference only the last position matters, because only its prediction is new. During training the same head runs at every position, which we return to in the third concept.

رأس نمذجة اللغة language modeling head هو تلك الدائرة الناقصة. يأخذ h_N^L، وهو مخرج الطبقة الأخيرة L عند آخر رمز N، ويُخرج توزيعًا احتماليًا على المفردات V. له خطوتان فقط: تحويل خطي إلى درجة واحدة لكل كلمة، ثم دالة softmax التي تحوّل الدرجات إلى احتمالات. كلمة «رأس» مستعارة من الفكرة العامة لدائرة خاصة بمهمة معينة توضع فوق transformer مدرَّب مسبقًا، وهذا هو الرأس الخاص بنمذجة اللغة. عند الاستدلال (inference) لا يهم إلا الموضع الأخير، لأن تنبؤه وحده هو الجديد. أما أثناء التدريب فيعمل الرأس نفسه عند كل موضع، وسنعود إلى ذلك في المفهوم الثالث.

Trace the shapesتتبّع الأبعاد

Read the head as a chain of matrix products on row vectors. The hidden vector is a row of d numbers. The Unembedding layer U has d rows and |V| columns, so the product has one entry per vocabulary item. Those entries are the Logits. Softmax keeps the shape and changes only the values.

اقرأ الرأس على أنه سلسلة من عمليات ضرب المصفوفات على متجهات صفّية (row vectors). المتجه المخفي صفّ من d رقمًا. ومصفوفة إلغاء التضمين unembedding U لها d صفًّا و|V| عمودًا، لذلك يحتوي حاصل الضرب على عنصر واحد لكل عنصر في المفردات. هذه العناصر هي الـlogits. أما softmax فتحافظ على الأبعاد وتغيّر القيم فقط.

There is a useful way to read one logit. Column k of Eᵀ is row k of E, which is the input embedding e_k of word k. So $u_k = h_N^L \cdot e_k$: the score of a word is the dot product between the model's final vector and that word's own embedding. The head asks, for every word in the vocabulary, how well its embedding lines up with what the model now wants to say.

هناك طريقة مفيدة لقراءة logit واحد. العمود k من Eᵀ هو الصف k من E، وهو تضمين المدخل e_k للكلمة k. إذن $u_k = h_N^L \cdot e_k$: درجة الكلمة هي حاصل الضرب النقطي (dot product) بين المتجه النهائي للنموذج وتضمين تلك الكلمة نفسها. فالرأس يسأل، لكل كلمة في المفردات، إلى أي مدى يتوافق تضمينها مع ما يريد النموذج قوله الآن.

Weight tying: one matrix, two directionsربط الأوزان (weight tying): مصفوفة واحدة واتجاهان

Look at the bottom of the model. The Embedding matrix E E has one row per token and one column per dimension, so it is |V| × d. A token enters as a one-hot row of shape 1 × |V|; multiplying it by E selects that token's row and gives a 1 × d vector. Now look at the top. The head needs a matrix that goes the other way, from 1 × d back to 1 × |V|. The transpose Eᵀ has exactly that shape. Using it is called Weight tying: the same numbers convert word to vector at the bottom and vector to word scores at the top, which is why SLP3 calls Eᵀ the unembedding.

انظر إلى أسفل النموذج. مصفوفة التضمين embedding matrix E لها صف واحد لكل رمز وعمود واحد لكل بُعد، لذلك أبعادها |V| × d. يدخل الرمز على هيئة صف من نوع one-hot بأبعاد 1 × |V|، وضربه في E يختار صف ذلك الرمز ويعطي متجهًا بأبعاد 1 × d. انظر الآن إلى الأعلى. يحتاج الرأس إلى مصفوفة تسير في الاتجاه المعاكس، من 1 × d عودةً إلى 1 × |V|. والمدوّر Eᵀ له هذه الأبعاد بالضبط. استخدامه يُسمّى ربط الأوزان weight tying: الأرقام نفسها تحوّل الكلمة إلى متجه في الأسفل، وتحوّل المتجه إلى درجات للكلمات في الأعلى، ولهذا يسمّي كتاب SLP3 المصفوفة Eᵀ بالـunembedding (إلغاء التضمين).

Fewer parameters is the first reason. The second is consistency. With tying, a word gets a high score at the top exactly when the final vector points in the same direction as that word's input embedding, so input and output vectors live in one space. Every gradient that reaches the head also updates E, so rare words whose input rows are seldom used still learn from being predicted. Press and Wolf showed that tying the two matrices lowers perplexity across several language models, Inan, Khosravi and Socher derived the same tie from a loss framework, and the original transformer shares this matrix between its embeddings and its pre-softmax layer.

قلة المعاملات هي السبب الأول. والسبب الثاني هو الاتساق. مع الربط، تحصل الكلمة على درجة عالية في الأعلى تمامًا عندما يشير المتجه النهائي في الاتجاه نفسه لتضمين تلك الكلمة في المدخل، فتعيش متجهات المدخل والمخرج في فضاء واحد. كل تدرّج (gradient) يصل إلى الرأس يحدّث E أيضًا، لذلك فإن الكلمات النادرة التي نادرًا ما تُستخدم صفوفها في المدخل تظل تتعلّم من كونها هدفًا للتنبؤ. بيّن Press وWolf أن ربط المصفوفتين يخفّض الـperplexity في عدة نماذج لغة، واشتق Inan وKhosravi وSocher الربط نفسه من إطار لدالة الخسارة، كما أن الـtransformer الأصلي يشارك هذه المصفوفة بين طبقات التضمين والطبقة التي تسبق softmax.

Logits are scores, probabilities are a distributionالـlogits درجات، والاحتمالات توزيع

Shrink the vocabulary to three words and suppose the head produces u = [2.0, 1.0, 0.1]. These numbers are not probabilities. They sum to 3.1, and the head could just as well have produced a negative logit. Softmax fixes both problems: exponentiate each logit so it becomes positive, then divide by the total so the results sum to 1.

قلّص المفردات إلى ثلاث كلمات، وافترض أن الرأس ينتج u = [2.0, 1.0, 0.1]. هذه الأرقام ليست احتمالات. مجموعها 3.1، وكان بإمكان الرأس أيضًا أن ينتج logit سالبًا. تعالج softmax المشكلتين معًا: ارفع كل logit أسيًا ليصبح موجبًا، ثم اقسم على المجموع لكي يكون مجموع النتائج 1.

One consequence is worth knowing for the exam. Adding the same constant to every logit changes nothing: [3.0, 2.0, 1.1] gives the same [0.659, 0.242, 0.099], because the factor e^1 cancels between numerator and denominator. Only differences between logits matter.

هناك نتيجة تستحق أن تعرفها للاختبار. إضافة الثابت نفسه إلى كل logit لا تغيّر شيئًا: [3.0, 2.0, 1.1] تعطي النتيجة نفسها [0.659, 0.242, 0.099]، لأن العامل e^1 يُختصر بين البسط والمقام. الفروق بين الـlogits هي وحدها المهمة.

The head has produced y, a probability for every token. The model still has not written anything. Something outside the network has to choose one token, write it down, and ask the model again. That choose-append-repeat cycle is what turns a next-word predictor into a text generator.

أنتج الرأس y، أي احتمالًا لكل رمز. لكن النموذج لم يكتب شيئًا بعد. لا بد أن يقوم شيء خارج الشبكة باختيار رمز واحد، وكتابته، ثم سؤال النموذج من جديد. دورة «اختر، ألحِق، كرّر» هذه هي ما يحوّل أداة التنبؤ بالكلمة التالية إلى مولّد للنصوص.

Sample, append, run againاسحب، ألحِق، شغّل من جديد

Slide 41 draws the finished model in a slightly different notation: the final-layer vector at position i, h_i^L, goes through U and softmax to give the distribution for position i + 1, and a token w_{i+1} is sampled from it. When i is the last position N, this is exactly the head from the previous concept. The sampled token is appended to the input, the model runs again on the longer sequence, and the loop continues until it produces an end token or reaches a length limit. This is Autoregressive generation, the same loop you saw for the RNN language model in Part 3, now driven by a Decoder-only model.

ترسم الشريحة 41 النموذج المكتمل بترميز مختلف قليلًا: متجه الطبقة الأخيرة عند الموضع i، أي h_i^L، يمر عبر U وsoftmax ليعطي التوزيع الخاص بالموضع i + 1، ثم يُسحب منه رمز w_{i+1}. عندما يكون i هو الموضع الأخير N، يكون هذا هو الرأس نفسه من المفهوم السابق بالضبط. يُلحق الرمز المسحوب بالمدخل، ويُشغَّل النموذج من جديد على التسلسل الأطول، وتستمر الحلقة حتى ينتج رمز النهاية أو يبلغ حدًّا للطول. هذا هو التوليد الانحداري الذاتي autoregressive generation، وهو الحلقة نفسها التي رأيتها مع نموذج اللغة RNN في الجزء 3، لكنها الآن تُدار بنموذج من نوع decoder-only.

Always taking the most likely token, greedy decoding, is the deterministic alternative. It tends to produce repetitive, generic text, which is why sampling is the usual choice; SLP3 also shows how dividing the logits by a temperature before softmax sharpens or flattens y before the draw. Try both in the panel below: each click runs the head on the last token, shows h, the unembedding, the logits and the probabilities, and appends the chosen token.

أخذ الرمز الأرجح دائمًا، أي فك الترميز الجشع (greedy decoding)، هو البديل الحتمي. وهو يميل إلى إنتاج نص مكرر وعام، ولهذا يكون السحب العشوائي (sampling) هو الخيار المعتاد. ويبيّن SLP3 أيضًا كيف أن قسمة الـlogits على درجة حرارة (temperature) قبل softmax تجعل y أكثر حدّة أو أكثر تسطّحًا قبل السحب. جرّب الطريقتين في اللوحة أدناه: كل نقرة تشغّل الرأس على الرمز الأخير، وتعرض h، ومصفوفة إلغاء التضمين، والـlogits، والاحتمالات، ثم تُلحق الرمز المختار.

Take the training sentence So long and thanks for all. The model reads So long and thanks for and, at each of those five positions, must predict the word that actually comes next: long, and, thanks, for, all. One sentence gives five training examples, and the labels come free from the text itself. That is Self-supervised training.

خذ جملة التدريب So long and thanks for all. يقرأ النموذج So long and thanks for، وعليه عند كل موضع من هذه المواضع الخمسة أن يتنبأ بالكلمة التي تأتي بعده فعلًا: long، and، thanks، for، all. جملة واحدة تعطي خمسة أمثلة تدريب، والتسميات (labels) تأتي مجانًا من النص نفسه. هذا هو التعلّم الذاتي الإشراف self-supervised learning.

The model from bottom to topالنموذج من الأسفل إلى الأعلى

1. Input encoding. Each token is looked up in E to get its token embedding, and a learned positional embedding for its position (the boxed 1, 2, 3, 4, 5 on slide 42) is added: $x_i = E[w_i] + E_{\text{pos}}[i]$. The Positional encoding is needed because attention alone ignores word order.ترميز المدخل. يُبحث عن كل رمز في E للحصول على تضمين الرمز (token embedding)، ثم يُضاف إليه تضمين موضعي متعلَّم (positional embedding) خاص بموضعه (الأرقام المؤطّرة 1, 2, 3, 4, 5 في الشريحة 42): $x_i = E[w_i] + E_{\text{pos}}[i]$. الترميز الموضعي positional encoding ضروري لأن الانتباه وحده يتجاهل ترتيب الكلمات.
2. Stacked blocks. The vectors x_1 … x_T pass through L identical transformer blocks. Each uses causal self-attention, so position t sees only tokens 1 … t and cannot peek at the word it must predict.الكتل المكدّسة. تمر المتجهات x_1 … x_T عبر L كتلة متطابقة من transformer blocks. تستخدم كل كتلة causal self-attention (الانتباه الذاتي السببي)، لذلك لا يرى الموضع t إلا الرموز 1 … t، ولا يستطيع أن يختلس النظر إلى الكلمة التي عليه أن يتنبأ بها.
3. A head at every position. The same language modeling head, with the same U = Eᵀ, runs on every final vector h_t^L, giving a distribution ŷ_t for the next token.رأس عند كل موضع. يعمل رأس نمذجة اللغة نفسه، بالمصفوفة نفسها U = Eᵀ، على كل متجه نهائي h_t^L، فيعطي توزيعًا ŷ_t للرمز التالي.
4. Loss per position. With a one-hot target, Cross-entropy loss reduces to the negative log probability of the true next token, −log ŷ_t[w_{t+1}]. Slide 42 writes these as −log y_long, −log y_and and so on.الخسارة لكل موضع. مع هدف من نوع one-hot، تختزل خسارة الإنتروبيا المتقاطعة cross-entropy loss إلى سالب لوغاريتم احتمال الرمز التالي الصحيح، −log ŷ_t[w_{t+1}]. وتكتبها الشريحة 42 على هيئة −log y_long و−log y_and وهكذا.
5. Average and backpropagate. The loss for a sequence of length T is the mean of the per-position losses. Its gradient flows back through the heads, every block and the input encoding, so all weights are learned together, including E, which with tying is updated from both ends.خذ المتوسط ثم طبّق الانتشار العكسي. الخسارة لتسلسل طوله T هي متوسط خسائر المواضع. ويتدفق تدرّجها عائدًا عبر الرؤوس، وكل الكتل، وترميز المدخل، فتُتعلَّم جميع الأوزان معًا، بما فيها E التي تُحدَّث من الطرفين في حال الربط.

Why it all happens in one passلماذا يحدث كل شيء في تمريرة واحدة

During training every position is fed the true previous tokens, never the model's own guesses. That is Teacher forcing. Because all targets are known in advance and the causal mask stops each position from seeing its own target, all T predictions and losses can be computed in a single forward pass with matrix operations. This Parallel training is the practical advantage over an RNN, which must step through the sequence one token at a time, and it is what makes training on trillions of tokens feasible.

أثناء التدريب يُعطى كل موضع الرموز السابقة الصحيحة، وليس تخمينات النموذج نفسه أبدًا. هذا هو الـteacher forcing. ولأن جميع الأهداف معروفة مسبقًا، ولأن القناع السببي (causal mask) يمنع كل موضع من رؤية هدفه، يمكن حساب جميع التنبؤات والخسائر البالغ عددها T في تمريرة أمامية واحدة بعمليات المصفوفات. هذا التدريب المتوازي parallel training هو الميزة العملية مقارنةً بالـRNN، التي يجب أن تمر على التسلسل رمزًا رمزًا، وهو ما يجعل التدريب على تريليونات الرموز ممكنًا.