Decoder-only, encoder-only and encoder-decoder modelsنماذج Decoder-only وEncoder-only وEncoder-decoder

Take the phrase So long and thanks for, five tokens, and push it through one layer of a transformer. Each position produces an output vector by attending to other positions. The only design decision left is this: when position 3 (the word and) builds its output, which of the five inputs may it look at?

خذ العبارة So long and thanks for، وهي خمسة رموز (tokens)، ومرّرها عبر طبقة واحدة من transformer. كل موضع ينتج متجه مخرجات بالانتباه إلى مواضع أخرى. القرار التصميمي الوحيد المتبقي هو: عندما يبني الموضع 3 (الكلمة and) مخرجاته، فإلى أي من المدخلات الخمسة يُسمح له أن ينظر؟

One block, three wiringsكتلة واحدة، ثلاث طرق توصيل

There are exactly three useful answers, and each defines a model family that slide 33 draws side by side.

هناك ثلاث إجابات مفيدة بالضبط، وكل منها تحدد عائلة من النماذج ترسمها الشريحة 33 جنبًا إلى جنب.

1. Only to the left. Position 3 may read positions 1, 2 and 3, never 4 or 5. This is causal (masked) self-attention, and the model built from it is a decoder-only model. Because it never sees the future, it can be trained to predict the next word, and it can generate text. In the slide figure every arrow points straight up or up and to the right.إلى اليسار فقط. يمكن للموضع 3 أن يقرأ المواضع 1 و2 و3، ولا يقرأ أبدًا 4 أو 5. هذا هو causal (masked) self-attention أي الانتباه الذاتي السببي (المقنّع)، والنموذج المبني عليه هو decoder-only model. ولأنه لا يرى المستقبل أبدًا، يمكن تدريبه على التنبؤ بالكلمة التالية، ويمكنه توليد النص. في شكل الشريحة، كل سهم يتجه إلى الأعلى مباشرة أو إلى الأعلى واليمين.
2. Everywhere. Position 3 may read all five positions, left and right. This is ordinary bidirectional self-attention, and the model is an encoder-only model. Its arrows in the figure cross in both directions. Seeing the future makes next-word prediction trivial (the answer is in the input), so it is trained on a different task, and its outputs are drawn as empty ovals: vectors that represent each token in context, not predicted words.في كل مكان. يمكن للموضع 3 أن يقرأ المواضع الخمسة كلها، يسارًا ويمينًا. هذا هو self-attention العادي ثنائي الاتجاه، والنموذج هو encoder-only model. أسهمه في الشكل تتقاطع في الاتجاهين. رؤية المستقبل تجعل التنبؤ بالكلمة التالية أمرًا تافهًا (فالإجابة موجودة في المدخلات)، لذلك يُدرَّب على مهمة مختلفة، وتُرسم مخرجاته كأشكال بيضاوية فارغة: متجهات تمثل كل رمز في سياقه، لا كلمات متنبأ بها.
3. Two stacks talking. An encoder reads a whole source sequence bidirectionally. A separate decoder writes the target sequence causally, and every decoder position also reads every final encoder state through cross-attention. This is the encoder-decoder transformer. In the figure, the fan of lines from the left stack to the top of the right stack is cross-attention.مكدسان يتحاوران. يقرأ encoder تسلسل المصدر كاملًا بشكل ثنائي الاتجاه. ويكتب decoder منفصل التسلسل الهدف بشكل سببي، وكل موضع في الـ decoder يقرأ أيضًا كل حالة نهائية للـ encoder عبر cross-attention. هذا هو الـ transformer من نوع encoder-decoder. في الشكل، مروحة الخطوط الممتدة من المكدس الأيسر إلى أعلى المكدس الأيمن هي الـ cross-attention.

The grid makes the difference countable. With $N$ tokens, bidirectional attention computes $N^2$ scores. Causal attention keeps only $N(N+1)/2$ of them, because every score with key position $j > i$ is replaced by $-\infty$ before the softmax, which turns it into a weight of exactly zero. For N = 5 that is 15 of 25.

تجعل الشبكة الفرق قابلًا للعدّ. مع $N$ رمزًا، يحسب الانتباه ثنائي الاتجاه $N^2$ درجة (score). أما الانتباه السببي فيُبقي $N(N+1)/2$ منها فقط، لأن كل درجة يكون فيها موضع المفتاح $j > i$ تُستبدل بـ $-\infty$ قبل الـ softmax، مما يحوّلها إلى وزن يساوي صفرًا تمامًا. عندما N = 5 يكون ذلك 15 من 25.

The comparison to memorizeالمقارنة التي يجب حفظها

Hide one word: So long [MASK] thanks for all the fish. You can fill the gap with and almost instantly, and you used both sides to do it. So long on the left suggests a farewell, and thanks on the right demands a conjunction. A model that may only look left would have to guess from So long alone.

أخفِ كلمة واحدة: So long [MASK] thanks for all the fish. يمكنك ملء الفراغ بـ and فورًا تقريبًا، وقد استخدمت الجانبين لفعل ذلك. فـ So long على اليسار توحي بالوداع، وthanks على اليمين تتطلب أداة عطف. أما النموذج الذي لا يُسمح له إلا بالنظر إلى اليسار فعليه أن يخمّن من So long وحدها.

What an encoder is trained to doما الذي يُدرَّب عليه الـ encoder

That gap-filling game is the training objective of the most popular encoders, the masked language models (MLMs) of the BERT family. A bidirectional encoder cannot be trained to predict the next word, because full attention would let each position simply read the next word from the input. So the input is corrupted instead. In BERT, 15% of the tokens are chosen for prediction. Of those, 80% are replaced by the special token [MASK], 10% by a random word, and 10% are left unchanged. The model then predicts the original token at each chosen position, using cross-entropy as before. The targets come from the raw text itself, so this is still self-supervised training.

لعبة ملء الفراغات هذه هي هدف التدريب لأشهر الـ encoders، أي نماذج اللغة المقنّعة (masked language models أو MLMs) من عائلة BERT. لا يمكن تدريب encoder ثنائي الاتجاه على التنبؤ بالكلمة التالية، لأن الانتباه الكامل يسمح لكل موضع بأن يقرأ الكلمة التالية ببساطة من المدخلات. لذلك تُفسَد المدخلات بدلًا من ذلك. في BERT يُختار 15% من الرموز للتنبؤ بها. ومن هذه، يُستبدل 80% بالرمز الخاص [MASK]، و10% بكلمة عشوائية، و10% تُترك دون تغيير. ثم يتنبأ النموذج بالرمز الأصلي في كل موضع مختار، مستخدمًا cross-entropy كما سبق. الأهداف تأتي من النص الخام نفسه، لذلك يظل هذا self-supervised training أي تدريبًا ذاتي الإشراف.

Representations, then fine-tuningتمثيلات، ثم fine-tuning

The purpose of an encoder is not to generate text. Its output is one contextual vector per input token, the ovals at the top of the encoder panel on slide 33. The vector for bank in river bank differs from the one in bank loan, because each was built by attending to the whole sentence. To use these vectors, you add a small task head and continue training on labeled data, which is fine-tuning. For sentiment, a classifier reads one vector that summarizes the sentence and outputs positive or negative. For named entity recognition, a classifier reads every token's vector and outputs a tag such as person or location.

الغرض من الـ encoder ليس توليد النص. مخرجاته متجه سياقي واحد لكل رمز من المدخلات، وهي الأشكال البيضاوية في أعلى لوحة الـ encoder في الشريحة 33. متجه bank في river bank (ضفة النهر) يختلف عن متجهها في bank loan (قرض بنكي)، لأن كلًا منهما بُني بالانتباه إلى الجملة كاملة. ولاستخدام هذه المتجهات، تضيف رأسًا صغيرًا للمهمة (task head) وتواصل التدريب على بيانات موسومة، وهذا هو fine-tuning. في تحليل المشاعر (sentiment)، يقرأ مصنِّف متجهًا واحدًا يلخص الجملة ويُخرج إيجابي أو سلبي. وفي التعرف على الكيانات المسماة (named entity recognition)، يقرأ مصنِّف متجه كل رمز ويُخرج وسمًا مثل شخص أو مكان.

Translate merci pour tout into English. The output, thanks for everything, is a new sequence in a different language, and its length need not match the input. Neither family so far fits cleanly. An encoder alone outputs one vector per French word, not English words. A decoder alone can write English, but it has no special place for a source sentence it must stay faithful to.

ترجم merci pour tout إلى الإنجليزية. المخرج، thanks for everything، تسلسل جديد بلغة مختلفة، ولا يلزم أن يطابق طوله طول المدخل. لا تناسب أي من العائلتين السابقتين هذه المهمة بشكل نظيف. فالـ encoder وحده يُخرج متجهًا واحدًا لكل كلمة فرنسية، لا كلمات إنجليزية. والـ decoder وحده يستطيع كتابة الإنجليزية، لكن ليس لديه مكان خاص لجملة مصدر يجب أن يبقى وفيًا لها.

Read everything, then write left to rightاقرأ كل شيء، ثم اكتب من اليسار إلى اليمين

The encoder-decoder transformer is trained to map one sequence to another. The encoder reads the entire source bidirectionally, exactly like an encoder-only model, and produces one contextual vector per source token. The decoder generates the target one token at a time with causal self-attention over the target words so far. Between the two sits cross-attention: in each decoder block, the queries come from the decoder, while the keys and values come from the final encoder output. So when the decoder is about to write everything, it can put most of its attention weight on tout.

يُدرَّب الـ transformer من نوع encoder-decoder على تحويل تسلسل إلى تسلسل آخر. يقرأ الـ encoder المصدر كاملًا بشكل ثنائي الاتجاه، تمامًا مثل نموذج encoder-only، وينتج متجهًا سياقيًا واحدًا لكل رمز في المصدر. ويولّد الـ decoder الهدف رمزًا بعد رمز مع causal self-attention على الكلمات الهدف حتى الآن. وبين الاثنين يوجد cross-attention: في كل كتلة decoder تأتي الاستعلامات (queries) من الـ decoder، بينما تأتي المفاتيح والقيم (keys وvalues) من المخرج النهائي للـ encoder. لذلك عندما يوشك الـ decoder على كتابة everything، يستطيع أن يضع معظم وزن انتباهه على tout.

This is the same encoder-decoder idea you met with RNNs, with one big repair. An RNN encoder squeezed the whole source into a single final hidden state, a bottleneck for long sentences. A transformer decoder can look at every encoder state directly, at every step, with its own attention weights. It is also the architecture of the original transformer paper, which was built for machine translation.

هذه هي فكرة الـ encoder-decoder نفسها التي قابلتها مع الـ RNNs، مع إصلاح كبير واحد. كان encoder الـ RNN يضغط المصدر كله في حالة مخفية نهائية واحدة (hidden state)، وهذا عنق زجاجة للجمل الطويلة. أما decoder الـ transformer فيستطيع النظر إلى كل حالة من حالات الـ encoder مباشرة، في كل خطوة، بأوزان انتباه خاصة به. وهي أيضًا معمارية ورقة الـ transformer الأصلية، التي بُنيت للترجمة الآلية.

Where it is usedأين يُستخدم

• Machine translation: one language in, another language out. The canonical seq2seq task.الترجمة الآلية: لغة تدخل، ولغة أخرى تخرج. إنها مهمة الـ seq2seq النموذجية.
• Speech recognition: a sequence of acoustic feature frames in, a sequence of words out. Whisper is an encoder-decoder transformer of this kind.التعرف على الكلام: تسلسل من إطارات الخصائص الصوتية (acoustic feature frames) يدخل، وتسلسل من الكلمات يخرج. وWhisper هو transformer من نوع encoder-decoder من هذا الصنف.
• Other sequence-to-sequence text tasks such as summarization, which T5 and BART handle by casting every task as text in, text out.مهام نصية أخرى من نوع تسلسل إلى تسلسل مثل التلخيص، التي يتعامل معها T5 وBART بصياغة كل مهمة على أنها نص يدخل ونص يخرج.

Type So long and thanks into a chatbot. To continue, it must choose the next word using only what is already written, because nothing to the right exists yet. It picks for, appends it, and repeats. This is the whole job of a decoder-only model, and it is how GPT-style LLMs work.

اكتب So long and thanks في روبوت محادثة. ليكمل، يجب أن يختار الكلمة التالية مستخدمًا فقط ما كُتب بالفعل، لأنه لا شيء موجود على اليمين بعد. فيختار for، ويضيفها، ويكرر. هذه هي وظيفة نموذج decoder-only كلها، وهكذا تعمل نماذج LLMs على طريقة GPT.

Three names, one modelثلاثة أسماء، نموذج واحد

A decoder-only model predicts words left to right. The slides list its three other names, and each one describes a different face of the same rule.

الـ decoder-only model يتنبأ بالكلمات من اليسار إلى اليمين. تذكر الشرائح أسماءه الثلاثة الأخرى، وكل اسم يصف وجهًا مختلفًا للقاعدة نفسها.

• Causal LLM: the output at position i depends only on causes, positions 1 to i, never on effects to its right. This is the causal mask.Causal LLM (سببي): المخرج في الموضع i يعتمد فقط على الأسباب، أي المواضع من 1 إلى i، ولا يعتمد أبدًا على النتائج التي على يمينه. هذا هو causal mask.
• Autoregressive LLM: each generated token is fed back as input for the next one, so the model regresses on its own previous outputs. This is autoregressive generation.Autoregressive LLM (ذاتي الانحدار): كل رمز مولَّد يُعاد إدخاله كمدخل للرمز التالي، فالنموذج ينحدر (regresses) على مخرجاته السابقة نفسها. هذا هو autoregressive generation.
• Left-to-right LLM: the direction in which it reads and writes. For Arabic text the order is really first-to-last token in reading order, which is right to left on the page; the model does not care about screen direction, only sequence order.Left-to-right LLM (من اليسار إلى اليمين): الاتجاه الذي يقرأ ويكتب به. في النص العربي يكون الترتيب في الحقيقة من الرمز الأول إلى الأخير بترتيب القراءة، وهو من اليمين إلى اليسار على الصفحة. النموذج لا يهتم باتجاه الشاشة، بل بترتيب التسلسل فقط.

The training objective is the one from the RNN language model: at every position, predict the next word, and pay $-\log \hat{y}[w_{\text{true}}]$. Why is it called a decoder when there is no encoder? It is the decoder half of the original encoder-decoder transformer with the cross-attention removed. The original transformer came first; the decoder-only language model was carved out of it later.

هدف التدريب هو نفسه هدف نموذج اللغة المبني على الـ RNN: في كل موضع، تنبأ بالكلمة التالية، وادفع $-\log \hat{y}[w_{\text{true}}]$. لماذا يُسمى decoder مع أنه لا يوجد encoder؟ لأنه نصف الـ decoder من الـ transformer الأصلي من نوع encoder-decoder بعد إزالة الـ cross-attention. الـ transformer الأصلي جاء أولًا، ثم اقتُطع منه نموذج اللغة decoder-only لاحقًا.

Train an RNN language model on So long and thanks for all. It must compute hidden state 1, then use it for hidden state 2, then 3: five dependent steps, each waiting for the last. A transformer computes all five positions' predictions, and all five losses, in a single forward pass. Slide 37 states the payoff in one line: training can be in parallel.

درّب نموذج لغة مبنيًا على RNN على So long and thanks for all. يجب أن يحسب الحالة المخفية 1، ثم يستخدمها للحالة المخفية 2، ثم 3: خمس خطوات متتابعة يعتمد بعضها على بعض، كل منها تنتظر سابقتها. أما الـ transformer فيحسب تنبؤات المواضع الخمسة كلها، والخسائر الخمس كلها، في تمرير أمامي واحد. تذكر الشريحة 37 الفائدة في سطر واحد: يمكن أن يكون التدريب متوازيًا.

Why the positions do not have to wait for each otherلماذا لا تحتاج المواضع إلى انتظار بعضها

Two facts combine. First, teacher forcing: during training the input at every position is the true previous text, not the model's own guess, so the entire input row So long and thanks for and the entire target row long and thanks for all are known before the pass begins. Second, the causal mask: although all five positions are computed together as one matrix product, position 2 cannot attend to positions 3 to 5, so it never sees its own target and. Each position is therefore an honest next-word prediction, and all of them are computed at once. An input of N tokens, with the target row shifted one place to the right, gives N training examples per forward pass. That is parallel training, and it is what made pretraining on enormous corpora practical.

حقيقتان تجتمعان. الأولى teacher forcing: أثناء التدريب يكون المدخل في كل موضع هو النص السابق الحقيقي، لا تخمين النموذج نفسه، لذلك يكون صف المدخلات كاملًا So long and thanks for وصف الأهداف كاملًا long and thanks for all معروفين قبل بدء التمرير. الثانية causal mask: مع أن المواضع الخمسة تُحسب معًا كضرب مصفوفات واحد، لا يستطيع الموضع 2 الانتباه إلى المواضع من 3 إلى 5، فلا يرى أبدًا هدفه and. لذلك كل موضع هو تنبؤ نزيه بالكلمة التالية، وكلها تُحسب دفعة واحدة. مدخل من N رمزًا، مع إزاحة صف الأهداف موضعًا واحدًا إلى اليمين، يعطي N مثالًا تدريبيًا في كل تمرير أمامي. هذا هو parallel training أي التدريب المتوازي، وهو ما جعل التدريب المسبق على مدوّنات نصية ضخمة أمرًا عمليًا.

The figure on slide 37 shows the pipeline per position: input embedding, the shared transformer block, a linear layer, a softmax over the vocabulary, and a loss box $-\log y_{\text{long}}$, $-\log y_{\text{and}}$, and so on. The loss is the cross-entropy from part 4: the negative log of the probability given to the correct next word.

يُظهر الشكل في الشريحة 37 خط المعالجة لكل موضع: تضمين المدخل (input embedding)، ثم transformer block المشتركة، ثم طبقة خطية (linear layer)، ثم softmax على المفردات، ثم صندوق الخسارة $-\log y_{\text{long}}$، $-\log y_{\text{and}}$، وهكذا. الخسارة هي cross-entropy من الجزء 4: سالب لوغاريتم الاحتمال المعطى للكلمة التالية الصحيحة.

Put numbers on it. Suppose that in one forward pass the softmax at each position gives the correct next word the probabilities below. All five rows come out of the same pass.

لنضع أرقامًا. افترض أنه في تمرير أمامي واحد يعطي الـ softmax في كل موضع الكلمة التالية الصحيحة الاحتمالات أدناه. الصفوف الخمسة كلها تخرج من التمرير نفسه.

Generation is still one token at a timeالتوليد ما زال رمزًا واحدًا في كل مرة

At inference time the trick disappears. To write the continuation, the model must sample word t + 1 before it can use it as input for word t + 2. There is no known target row to feed in. Producing N new tokens therefore needs N forward passes in sequence, exactly as in autoregressive generation with an RNN.

عند الاستدلال (inference) تختفي هذه الحيلة. لكتابة التكملة، يجب أن يختار النموذج الكلمة t + 1 قبل أن يستطيع استخدامها كمدخل للكلمة t + 2. لا يوجد صف أهداف معروف لإدخاله. لذلك يحتاج إنتاج N رمزًا جديدًا إلى N تمريرًا أماميًا متتابعًا، تمامًا كما في autoregressive generation مع الـ RNN.