Self-attention, multi-head, positional, cross and causal attentionالانتباه الذاتي والرؤوس المتعددة والموضعي والمتقاطع والسببي

Take the sentence “the cat sat because it was tired”. To build a better vector for “it”, the model wants to pull in information from “cat” and mostly ignore “because”. It needs three things for every word: a way to ask what it is looking for, a way to advertise what it contains, and the content it would hand over if chosen.

خذ الجملة “the cat sat because it was tired”. لكي يبني النموذج متجهًا أفضل للكلمة “it”، يريد أن يسحب معلومات من “cat” وأن يتجاهل “because” في الغالب. يحتاج لكل كلمة إلى ثلاثة أشياء: طريقة ليسأل عمّا يبحث عنه، وطريقة ليعلن عمّا يحتويه، والمحتوى الذي سيسلّمه إن وقع عليه الاختيار.

Three roles for every tokenثلاثة أدوار لكل token

Self-attention gives each input vector x_i those three roles through three learned matrices. These are the query, key and value projections:

يمنح الـ Self-attention كل متجه دخل x_i هذه الأدوار الثلاثة عبر ثلاث مصفوفات مُتعلَّمة. هذه هي إسقاطات الـ query, key and value:

• The query q_i is what position i is looking for.الـ query q_i هو ما يبحث عنه الموضع i.
• The key k_j is what position j offers to be matched against.الـ key k_j هو ما يعرضه الموضع j لتتم المطابقة معه.
• The value v_j is what position j actually contributes once chosen.الـ value v_j هو ما يساهم به الموضع j فعليًا بعد أن يقع عليه الاختيار.

The same token plays all three roles, but with different matrices, so “what I look for” and “what I offer” can differ. That separation is the whole point: “it” may look for an animate noun while advertising itself as a pronoun.

الـ token نفسه يؤدي الأدوار الثلاثة، لكن بمصفوفات مختلفة، فيمكن أن يختلف «ما أبحث عنه» عن «ما أعرضه». وهذا الفصل هو بيت القصيد: قد تبحث “it” عن اسم لكائن حي بينما تعلن عن نفسها بوصفها ضميرًا.

Score, normalize, mixاحسب الدرجة، طبّع، امزج

Attention for one query is three steps. Score every key by a dot product with the query. Turn the scores into weights with a Softmax, so they are positive and sum to one. Use the weights to average the values.

الـ attention لـ query واحد ثلاث خطوات. أعطِ كل key درجة بحاصل الضرب النقطي (dot product) مع الـ query. حوّل الدرجات إلى أوزان بـ softmax، فتصبح موجبة ومجموعها واحد. استخدم الأوزان لحساب متوسط الـ values.

Stack every query as a row of Q, every key as a row of K and every value as a row of V, and all N outputs come out of one matrix expression. That is Scaled dot-product attention, and it is why a transformer can process a whole sequence in parallel instead of step by step.

رصّ كل query كصف في Q، وكل key كصف في K، وكل value كصف في V، فتخرج المخرجات الـ N كلها من تعبير مصفوفي واحد. هذا هو الـ scaled dot-product attention، ولهذا يستطيع الـ transformer معالجة التسلسل كله بالتوازي بدلًا من خطوة بخطوة.

Read the formula term by term. QKᵀ is an N × N table: row i, column j holds q_i · k_j, how well position i’s question matches position j’s label. Dividing by √d_k rescales it. The softmax is applied to each row separately, so row i becomes a probability distribution over the positions i attends to. Multiplying by V replaces each row of weights with the matching weighted average of value vectors.

اقرأ الصيغة حدًّا حدًّا. QKᵀ جدول بحجم N × N: الصف i والعمود j يحملان q_i · k_j، أي مدى تطابق سؤال الموضع i مع وسم (label) الموضع j. القسمة على √d_k تعيد تقييسه. يُطبَّق الـ softmax على كل صف منفصلًا، فيصبح الصف i توزيعًا احتماليًا على المواضع التي ينتبه إليها i. والضرب في V يستبدل كل صف من الأوزان بالمتوسط الموزون المقابل له من متجهات الـ values.

Reproduce the example in the calculator, then change one key and watch the weights move. Make k_2 = [3, 0] and the second token’s weight jumps from 0.198 to 0.673. The causal toggle belongs to the last concept of this part; come back to it there.

أعد إنتاج المثال في الآلة الحاسبة، ثم غيّر key واحدًا وراقب الأوزان وهي تتحرك. اجعل k_2 = [3, 0] فيقفز وزن الـ token الثاني من 0.198 إلى 0.673. أما مفتاح الـ causal فينتمي إلى آخر مفهوم في هذا الجزء؛ عُد إليه هناك.

Why divide by √d_kلماذا نقسم على √d_k

Suppose the components of q and k are independent with mean 0 and variance 1. Their dot product is a sum of d_k such products, so it has mean 0 and variance d_k (Vaswani et al., 2017). With d_k = 64, typical scores spread with a standard deviation of 8. Two scores of 16 and 8 give softmax weights of 0.9997 and 0.0003: practically one-hot, and in that flat region of the softmax the gradients are tiny. Divide by √64 = 8 and the scores become 2 and 1, giving 0.731 and 0.269, a distribution that can still learn.

افترض أن مكوّنات q وk مستقلة، متوسطها 0 وتباينها 1. حاصل ضربهما النقطي مجموع d_k من هذه الحواصل، فمتوسطه 0 وتباينه d_k (Vaswani et al., 2017). عندما d_k = 64 تنتشر الدرجات المعتادة بانحراف معياري 8. درجتان قيمتاهما 16 و8 تعطيان أوزان softmax قدرها 0.9997 و0.0003: أي one-hot عمليًا، وفي هذه المنطقة المسطحة من الـ softmax تكون الـ gradients ضئيلة. اقسم على √64 = 8 فتصبح الدرجتان 2 و1، وتعطيان 0.731 و0.269، وهو توزيع ما زال قادرًا على التعلّم.

In “the chef who ran the kitchen tasted the soup”, the word “tasted” needs at least two different things at once: its subject (“chef”, five words back) and its object (“soup”). One softmax row produces one weighted average, and an average that tries to point at both ends up pointing at neither very clearly.

في الجملة “the chef who ran the kitchen tasted the soup” تحتاج الكلمة “tasted” إلى شيئين مختلفين على الأقل في آن واحد: فاعلها (“chef”، على بعد خمس كلمات إلى الوراء) ومفعولها (“soup”). صف واحد من الـ softmax ينتج متوسطًا موزونًا واحدًا، والمتوسط الذي يحاول الإشارة إلى الاثنين معًا ينتهي بألّا يشير إلى أيٍّ منهما بوضوح.

Several attentions side by sideعدة عمليات attention جنبًا إلى جنب

Multi-head attention runs h attention computations in parallel, each with its own projections. Each head can learn a different relation: one tracks subjects, another nearby words, another coreference. The heads sit at the same depth and see the same input; they differ only in their weights.

الـ multi-head attention يشغّل h عمليات attention بالتوازي، لكلٍّ منها إسقاطاتها الخاصة. يستطيع كل رأس أن يتعلم علاقة مختلفة: رأس يتتبع الفاعل، وآخر الكلمات المجاورة، وثالث الإحالة المشتركة (coreference). الرؤوس تقع على العمق نفسه وترى الدخل نفسه؛ ولا تختلف إلا في أوزانها.

The original transformer uses d = 512 and h = 8, so each head works with d_k = d_v = 512 / 8 = 64. Follow the shapes for a sequence of N tokens:

يستخدم الـ transformer الأصلي d = 512 وh = 8، فيعمل كل رأس بـ d_k = d_v = 512 / 8 = 64. تتبّع الأبعاد لتسلسل من N من الـ tokens:

Because each head is a slice of size d/h, the cost barely changes. The eight heads together hold 3 × 8 × 512 × 64 = 786,432 projection weights, exactly the 3 × 512 × 512 of a single full-width head, and Wᴼ adds 262,144, for 1,048,576 in all (ignoring biases). You get eight attention patterns for the price of one.

لأن كل رأس شريحة بحجم d/h، فإن التكلفة بالكاد تتغير. الرؤوس الثمانية معًا تحمل 3 × 8 × 512 × 64 = 786,432 وزنًا للإسقاط، وهو بالضبط 3 × 512 × 512 لرأس واحد بالعرض الكامل، ويضيف Wᴼ مقدار 262,144، فيكون المجموع 1,048,576 (دون احتساب الـ biases). تحصل على ثمانية أنماط attention بثمن نمط واحد.

Feed “dog bites man” and “man bites dog” into one unmasked self-attention layer with no position information. The vector computed for “dog” is identical in both sentences. Its query meets the same set of keys, and a sum does not care in which order its terms are listed.

أدخل “dog bites man” و“man bites dog” في طبقة self-attention واحدة بلا mask وبلا أي معلومات عن المواضع. المتجه المحسوب لـ “dog” يكون متطابقًا في الجملتين. فالـ query الخاص بها يلتقي بمجموعة الـ keys نفسها، والمجموع لا يبالي بترتيب حدوده.

Attention is blind to orderالـ attention أعمى عن الترتيب

Formally, self-attention is permutation equivariant: shuffle the input rows and the output rows shuffle in exactly the same way, with no value changing. An RNN gets order for free because it reads left to right. A Transformer must be told. The fix on slide 29 is a Positional encoding: a vector for each position, added to the token embedding before the first block.

رياضيًا، الـ self-attention متكافئ مع التبديل (permutation equivariant): بعثِر صفوف الدخل فتتبعثر صفوف المخرج بالطريقة نفسها تمامًا، دون أن تتغير أي قيمة. الـ RNN يحصل على الترتيب مجانًا لأنه يقرأ من اليسار إلى اليمين. أما الـ transformer فيجب أن يُخبَر به. والحل في الشريحة 29 هو positional encoding: متجه لكل موضع يُضاف إلى الـ embedding الخاص بالـ token قبل أول كتلة (block).

Addition keeps the dimension at d, so every later matrix keeps its shape. In the figure the green embedding x_1 for “Je” and the yellow position vector t_1 have the same four cells and are summed cell by cell.

الجمع يُبقي البُعد عند d، فتحتفظ كل مصفوفة لاحقة بأبعادها. في الشكل، الـ embedding الأخضر x_1 للكلمة “Je” ومتجه الموضع الأصفر t_1 لهما الخلايا الأربع نفسها، ويُجمعان خلية بخلية.

The sinusoidal recipeالوصفة الجيبية (sinusoidal)

The original transformer uses fixed sines and cosines rather than learned position vectors. Dimension pair (2i, 2i+1) oscillates at its own frequency:

يستخدم الـ transformer الأصلي دوال sin وcos ثابتة بدلًا من متجهات مواضع مُتعلَّمة. كل زوج من الأبعاد (2i, 2i+1) يتذبذب بتردده الخاص:

The first pair turns fast (one radian per position), later pairs turn ever more slowly, with wavelengths from 2π up to 10000 · 2π. Read together, the pairs act like the hands of a clock: the fast hand distinguishes neighbours, the slow hands distinguish distant positions. Because sin(a + b) and cos(a + b) expand into sines and cosines of a and b, the vector for pos + k is a fixed linear function of the vector for pos, which makes relative offsets easy to learn.

الزوج الأول يدور بسرعة (راديان واحد لكل موضع)، والأزواج اللاحقة تدور أبطأ فأبطأ، بأطوال موجية من 2π حتى 10000 · 2π. إذا قُرئت الأزواج معًا فهي تعمل كعقارب الساعة: العقرب السريع يميّز المواضع المتجاورة، والعقارب البطيئة تميّز المواضع البعيدة. ولأن sin(a + b) وcos(a + b) تُفكّان إلى دوال sin وcos لـ a وb، فإن متجه الموضع pos + k دالة خطية ثابتة لمتجه الموضع pos، وهذا يجعل تعلّم الإزاحات النسبية (relative offsets) سهلًا.

Translating “the green witch arrived” into Spanish, the decoder has produced “llegó la” and must choose the next word. It needs two sources: what it has written so far, and the full English sentence. Cross-attention is how it reads the second.

عند ترجمة “the green witch arrived” إلى الإسبانية، أنتج الـ decoder “llegó la” وعليه أن يختار الكلمة التالية. يحتاج إلى مصدرين: ما كتبه حتى الآن، والجملة الإنجليزية كاملة. والـ cross-attention هو الطريقة التي يقرأ بها المصدر الثاني.

Queries from the decoder, keys and values from the encoderالـ queries من الـ decoder، والـ keys والـ values من الـ encoder

In an Encoder-decoder (seq2seq) transformer, each decoder block has an extra layer of Cross-attention. It is the same scaled dot-product attention, but the inputs come from two places. The queries are projections of the decoder’s previous layer. The keys and values are projections of the final output of the encoder stack, H^enc, the same for every decoder block.

في transformer من نوع encoder-decoder، تحتوي كل كتلة decoder على طبقة إضافية من الـ cross-attention. إنه الـ scaled dot-product attention نفسه، لكن مدخلاته تأتي من مكانين. الـ queries إسقاطات للطبقة السابقة في الـ decoder. والـ keys والـ values إسقاطات للمخرج النهائي لكومة الـ encoder، H^enc، وهو نفسه لكل كتل الـ decoder.

The question comes from the target side (“what do I need next?”); the answers come from the source side. If the source has n tokens and the target has m, then Q is m × d_k, K is n × d_k, and QKᵀ is m × n: one row of weights over the source words for every target position. No causal mask is needed here, because the whole source sentence is known before decoding starts.

السؤال يأتي من جهة الهدف («ماذا أحتاج تاليًا؟»)؛ والإجابات تأتي من جهة المصدر. إذا كان في المصدر n من الـ tokens وفي الهدف m، فإن Q بحجم m × d_k، وK بحجم n × d_k، وQKᵀ بحجم m × n: صف واحد من الأوزان على كلمات المصدر لكل موضع في الهدف. لا حاجة هنا إلى causal mask، لأن جملة المصدر كلها معروفة قبل أن يبدأ فك الترميز (decoding).

The decoder block in orderكتلة الـ decoder بالترتيب

1. Causal self-attention over the target tokens produced so far.الـ causal self-attention على tokens الهدف التي أُنتجت حتى الآن.
2. Cross-attention into the encoder output.الـ cross-attention إلى مخرج الـ encoder.
3. The position-wise feedforward network.شبكة الـ feedforward التي تعمل على كل موضع منفردًا (position-wise).

Each sublayer is wrapped in a Residual connection and Layer normalization, as in the encoder’s Transformer block. The encoder blocks have only the first and last of these, and their self-attention is unmasked.

كل طبقة فرعية مغلّفة بـ residual connection وlayer normalization، كما في الـ transformer block الخاص بالـ encoder. كتل الـ encoder لا تحتوي إلا على الأولى والأخيرة من هذه الطبقات، والـ self-attention فيها بلا mask.

Train a language model on “the cat sat on the mat” with all six tokens visible to every position. Position 2 has to predict “sat”, and nothing stops it from simply attending to position 3, which is “sat”. Training loss drops to nothing and the model learns to copy, not to predict.

درّب نموذج لغة على “the cat sat on the mat” مع جعل الـ tokens الستة كلها مرئية لكل موضع. على الموضع 2 أن يتنبأ بـ “sat”، ولا شيء يمنعه من أن ينتبه ببساطة إلى الموضع 3، وهو “sat” نفسها. تهبط خسارة التدريب (training loss) إلى لا شيء، ويتعلم النموذج النسخ لا التنبؤ.

Hide everything to the rightأخفِ كل ما على اليمين

Causal self-attention fixes this inside the score matrix. Before the softmax, every entry with j > i (a key in the future of the query) is replaced by -∞. Since exp(-∞) = 0, those keys get exactly zero weight, and row i only mixes v_1 to v_i.

الـ Causal self-attention يعالج هذا داخل مصفوفة الدرجات. قبل الـ softmax، يُستبدل كل عنصر فيه j > i (أي key في مستقبل الـ query) بـ -∞. وبما أن exp(-∞) = 0، تحصل هذه الـ keys على وزن صفر تمامًا، ولا يمزج الصف i إلا v_1 حتى v_i.

Read the matrix row by row. Row 1 can only see itself, so its weight on k_1 is always 1. Row 4 sees everything. On slide 31 the left figure shows the same thing as arrows: y_3 receives input from x_1, x_2, x_3 only.

اقرأ المصفوفة صفًّا صفًّا. الصف 1 لا يرى إلا نفسه، فوزنه على k_1 دائمًا 1. والصف 4 يرى كل شيء. في الشريحة 31 يعرض الشكل الأيسر الشيء نفسه على هيئة أسهم: y_3 يتلقى مدخلات من x_1 وx_2 وx_3 فقط.

Try it in the calculator above: switch on the causal mask and set the query at i = 2. Key 3 is now -∞, the remaining weights are 2.028 / 3.028 = 0.670 and 1 / 3.028 = 0.330, and y = [0.670, 0.330].

جرّب ذلك في الآلة الحاسبة أعلاه: فعّل الـ causal mask واجعل الـ query عند i = 2. يصبح الـ key رقم 3 الآن -∞، والأوزان المتبقية 2.028 / 3.028 = 0.670 و1 / 3.028 = 0.330، وy = [0.670, 0.330].

Why this matters beyond correctnessلماذا يهمّ هذا أبعد من مجرد الصحة

The mask is what makes Parallel training possible. With Teacher forcing, the whole correct sentence is fed in at once, and one masked matrix multiplication produces every position’s prediction simultaneously, each one honestly blind to its own answer. An RNN must instead walk through the positions one at a time. At generation time, the same mask matches Autoregressive generation, where future tokens do not exist yet anyway.

الـ mask هو ما يجعل الـ parallel training ممكنًا. مع الـ teacher forcing تُدخَل الجملة الصحيحة كاملة دفعة واحدة، وعملية ضرب مصفوفات واحدة مع الـ mask تنتج تنبؤ كل موضع في آن واحد، وكل تنبؤ أعمى بأمانة عن إجابته. أما الـ RNN فعليه أن يمرّ على المواضع واحدًا تلو الآخر. وفي وقت التوليد يتوافق الـ mask نفسه مع الـ autoregressive generation، حيث لا توجد الـ tokens المستقبلية بعدُ أصلًا.