Neural Language Modelsنماذج اللغة العصبية

Take the sentence "The students who sat the midterm on Monday ___". A trigram model sees only "on Monday" and has no idea the blank belongs to a plural subject six words back. Every idea in this lecture is a better answer to that one problem: how to let the prediction depend on the whole history, not a fixed window of counts.

خذ الجملة "The students who sat the midterm on Monday ___". نموذج الـ trigram لا يرى إلا "on Monday"، وليست لديه أي فكرة أن الفراغ يعود إلى فاعل جمع يقع قبل ست كلمات. كل فكرة في هذه المحاضرة هي إجابة أفضل عن هذه المشكلة الواحدة: كيف نجعل التنبؤ يعتمد على التاريخ كله، لا على نافذة ثابتة من الأعداد.

The lecture is organized in four arcs, and each one fixes a limit of the one before it.

تنتظم المحاضرة في أربعة محاور، وكل محور يعالج قيدًا في المحور الذي قبله.

1. Deep learning architectures: The Recurrent neural network (RNN) reads a sequence one token at a time and carries a memory forward. The Long short-term memory (LSTM) adds gates so that memory survives longer, and the Encoder-decoder (seq2seq) joins two RNNs so input and output sequences can have different lengths.معماريات التعلم العميق: تقرأ recurrent neural network التسلسل token تلو الآخر وتحمل معها ذاكرة إلى الأمام. ويضيف الـ LSTM بوابات (gates) حتى تصمد تلك الذاكرة مدة أطول، ويربط الـ encoder-decoder شبكتي RNN معًا حتى يمكن أن يختلف طول تسلسل الإدخال عن طول تسلسل الإخراج.
2. Neural language models: A Neural language model uses an RNN to predict the next word, replacing the sparse counts of a Count-based (n-gram) language model with learned vectors, and is trained with cross-entropy and teacher forcing.نماذج اللغة العصبية: يستخدم neural language model شبكة RNN للتنبؤ بالكلمة التالية، فيستبدل الأعداد المتناثرة (sparse counts) في count-based LM بمتجهات متعلَّمة، ويُدرَّب باستخدام cross-entropy وteacher forcing.
3. Transformers: The Transformer drops recurrence entirely and lets every position look at every other position directly through Self-attention.المحوّلات: يتخلى الـ transformer عن التكرار تمامًا، ويسمح لكل موضع بأن ينظر إلى كل موضع آخر مباشرة عبر self-attention.
4. Transformer language models: Stacks of transformer blocks become decoder-only models such as GPT and encoder-only models such as BERT, with a language modeling head on top.نماذج اللغة المبنية على المحوّل: تتحول طبقات متراصّة من كتل المحوّل إلى نماذج من نوع decoder-only مثل GPT، ونماذج من نوع encoder-only مثل BERT، وفوقها رأس لنمذجة اللغة (language modeling head).

Keep the thread in mind as you read: RNNs process tokens in order, so they are natural for sequences but slow to train and forgetful over long distances. Transformers answer both complaints. You cannot appreciate why attention matters until you have seen exactly where recurrence breaks, and that is what the rest of this part sets up.

أبقِ هذا الخيط في ذهنك وأنت تقرأ: تعالج الـ RNN الـ tokens بالترتيب، لذلك هي طبيعية للتسلسلات، لكنها بطيئة في التدريب وتنسى عبر المسافات الطويلة. المحوّلات تجيب عن الشكويين معًا. ولن تقدّر أهمية الانتباه (attention) حتى ترى بالضبط أين ينهار التكرار، وهذا ما تمهّد له بقية هذا الجزء.

Consider three jobs. Decide whether a movie review is positive. Tag every word of a sentence with its part of speech. Translate an English sentence into Arabic. All three take a sentence as input, yet they need very different networks, because what comes out differs: one label, one label per word, or a whole new sentence.

تأمّل ثلاث مهام. قرّر هل مراجعة فيلم إيجابية. ضع لكل كلمة في جملة وسمَ قسمها الكلامي (part of speech). ترجم جملة إنجليزية إلى العربية. المهام الثلاث كلها تأخذ جملة مدخلًا، ومع ذلك تحتاج إلى شبكات مختلفة جدًا، لأن ما يخرج مختلف: تسمية واحدة، أو تسمية لكل كلمة، أو جملة جديدة كاملة.

These input/output configurations are the sequence task shapes. Slide 3 reproduces Andrej Karpathy's well-known figure of five of them. Red boxes are inputs, green boxes are the hidden state, blue boxes are outputs, and the horizontal green arrows are the recurrence that carries state from one step to the next. The slide gives no example task, so here is the mapping you should be able to reproduce in an exam.

هذه التشكيلات من الإدخال والإخراج هي sequence task shapes (أشكال مهام التسلسل). تعيد الشريحة 3 رسم الشكل المشهور لـ Andrej Karpathy الذي يعرض خمسة منها. المربعات الحمراء هي المدخلات، والخضراء هي الحالة المخفية (hidden state)، والزرقاء هي المخرجات، والأسهم الخضراء الأفقية هي التكرار الذي ينقل الحالة من خطوة إلى التالية. لا تعطي الشريحة أي مهمة مثالًا، لذلك إليك الربط الذي يجب أن تستطيع إعادة كتابته في الاختبار.

Pick a shape below and try to name a task for it before revealing the examples. The diagram redraws with the same color code as the slide: grey for inputs, the accent color for hidden states, teal for outputs.

اختر شكلًا أدناه وحاول أن تسمّي مهمة له قبل أن تكشف الأمثلة. يُعاد رسم المخطط بنفس ترميز الألوان في الشريحة: الرمادي للمدخلات، ولون التمييز (accent) للحالات المخفية، والأزرق المخضرّ (teal) للمخرجات.

Read the figure by asking two questionsاقرأ الشكل بطرح سؤالين

You do not need to memorize five pictures. Ask two questions of any task. First, is the input a sequence, and is the output a sequence? That separates one to one, one to many, many to one and many to many. Second, if both are sequences, does each output line up with one input, at the same moment it is read? If yes, the shape is synchronized. If the output can only start once the whole input has been seen, it is delayed.

لا تحتاج إلى حفظ خمس صور. اطرح سؤالين على أي مهمة. الأول: هل الإدخال تسلسل، وهل الإخراج تسلسل؟ هذا يفصل بين one to one وone to many وmany to one وmany to many. الثاني: إذا كان كلاهما تسلسلًا، فهل يقابل كل مخرج مدخلًا واحدًا، في نفس اللحظة التي يُقرأ فيها؟ إذا كانت الإجابة نعم، فالشكل متزامن (synchronized). وإذا كان الإخراج لا يمكن أن يبدأ إلا بعد رؤية الإدخال كاملًا، فهو مؤجَّل (delayed).

Sentiment is many to one: the review is a sequence, the verdict is one label, and the network reads every word before deciding from its final hidden state. Spam detection is the same shape. Part-of-speech tagging and named entity recognition are synchronized many to many: the word "book" gets its tag when it is read, and the output has exactly as many labels as the input has tokens. Image captioning is one to many: one image vector in, a sentence out.

تحليل المشاعر (sentiment) هو many to one: المراجعة تسلسل، والحكم تسمية واحدة، والشبكة تقرأ كل كلمة قبل أن تقرر من حالتها المخفية الأخيرة. كشف الرسائل المزعجة (spam detection) له نفس الشكل. أما وسم أقسام الكلام (part-of-speech tagging) والتعرف على الكيانات المسماة (named entity recognition) فهما many to many متزامن: الكلمة "book" تأخذ وسمها عند قراءتها، وعدد التسميات في الإخراج يساوي تمامًا عدد الـ tokens في الإدخال. ووصف الصور (image captioning) هو one to many: متجه صورة واحد يدخل، وجملة تخرج.

Why translation needs the delayed shapeلماذا تحتاج الترجمة إلى الشكل المؤجَّل

Slide 9 later in this lecture gives the example that makes the point. English "Zaid went to his house" is five tokens. The Arabic ذهب زيد إلى بيته is four words, glossed "went Zaid to his-house". Two things break a synchronized model here. The lengths differ (five against four, because "his house" becomes one word), and the order differs (Arabic puts the verb first, verb-subject-object, while English puts the subject first). A synchronized network must emit the Arabic verb at the moment it reads "Zaid", before it has even seen "went". The only safe plan is to read the whole source first and then generate: the delayed shape, which is exactly the Encoder-decoder (seq2seq) of the next part.

تعطي الشريحة 9 لاحقًا في هذه المحاضرة المثال الذي يوضح الفكرة. الجملة الإنجليزية "Zaid went to his house" فيها خمسة tokens. والعربية ذهب زيد إلى بيته أربع كلمات، ومقابلها الحرفي "went Zaid to his-house". هناك أمران يكسران النموذج المتزامن هنا. الأطوال مختلفة (خمسة مقابل أربعة، لأن "his house" تصبح كلمة واحدة)، والترتيب مختلف (العربية تقدّم الفعل، فعل ثم فاعل ثم مفعول، بينما تقدّم الإنجليزية الفاعل). على الشبكة المتزامنة أن تُخرج الفعل العربي في اللحظة التي تقرأ فيها "Zaid"، قبل أن ترى حتى "went". الخطة الآمنة الوحيدة هي قراءة المصدر كاملًا أولًا ثم التوليد: أي الشكل المؤجَّل، وهو بالضبط الـ encoder-decoder في الجزء التالي.

Read the sentence "the movie was not good" one word at a time and keep a single running note in your head. After "not" the note says "something negative may be coming"; after "good" it says "negative overall". You never reread the sentence. You only update the note with the new word. That running note is the Hidden state, and the rule that updates it is the recurrent cell.

اقرأ الجملة "the movie was not good" كلمة كلمة، واحتفظ في ذهنك بملاحظة جارية واحدة. بعد "not" تقول الملاحظة "قد يأتي شيء سلبي"؛ وبعد "good" تقول "سلبية في المجمل". أنت لا تعيد قراءة الجملة أبدًا، بل تحدّث الملاحظة بالكلمة الجديدة فقط. تلك الملاحظة الجارية هي hidden state (الحالة المخفية)، والقاعدة التي تحدّثها هي الخلية التكرارية.

Slide 4 opens the architectures arc with its two families, RNNs and transformers. This part covers the first. Slide 5 draws the simplest Recurrent neural network (RNN) cell, taken from Christopher Olah's diagram: the previous hidden state h_(t-1) enters from the left, the current input x_t from below, both are combined and passed through one tanh layer, and the result leaves to the right as the new state h_t and upward as the output o_t.

تفتتح الشريحة 4 محور المعماريات بعائلتيه: RNNs والمحوّلات. يغطي هذا الجزء الأولى. وترسم الشريحة 5 أبسط خلية recurrent neural network، مأخوذة من مخطط Christopher Olah: تدخل الحالة المخفية السابقة h_(t-1) من اليسار، ويدخل الإدخال الحالي x_t من الأسفل، ويُدمجان ويمرّان عبر طبقة tanh واحدة، وتخرج النتيجة إلى اليمين بوصفها الحالة الجديدة h_t وإلى الأعلى بوصفها المخرج o_t.

The recurrence, written outمعادلة التكرار مكتوبة بالتفصيل

• x_t is the input at step t, for text usually a word embedding of size d_x.x_t هو الإدخال عند الخطوة t، وهو في النصوص عادة word embedding بحجم d_x.
• h_t is the hidden state of size d_h; h_0 is usually a zero vector.h_t هي الحالة المخفية بحجم d_h؛ وh_0 عادة متجه أصفار.
• W_xh (d_h × d_x) maps the input into the hidden space, W_hh (d_h × d_h) maps the old state into the new one, b is a bias.W_xh (d_h × d_x) تنقل الإدخال إلى الفضاء المخفي، وW_hh (d_h × d_h) تنقل الحالة القديمة إلى الحالة الجديدة، وb هو الانحياز (bias).
• W_hy maps the state to output scores, and a Softmax turns them into a probability distribution when the task needs one.W_hy تنقل الحالة إلى درجات الإخراج، ثم تحوّلها softmax إلى توزيع احتمالي عندما تحتاج المهمة إلى ذلك.

Jurafsky and Martin write the same equations as h_t = g(U h_(t-1) + W x_t) and y_t = f(V h_t), so in the textbook U is the recurrent matrix, W the input matrix and V the output matrix. The letters change between sources; the roles do not. The tanh keeps every component of h_t between -1 and 1, so the state cannot grow without bound as the sequence gets longer.

يكتب Jurafsky وMartin نفس المعادلات على الصورة h_t = g(U h_(t-1) + W x_t) وy_t = f(V h_t)، فتكون U في الكتاب هي المصفوفة التكرارية، وW مصفوفة الإدخال، وV مصفوفة الإخراج. الحروف تتغير بين المصادر، أما الأدوار فلا. وتُبقي tanh كل مكوّن من h_t بين -1 و1، فلا تستطيع الحالة أن تنمو بلا حد كلما طال التسلسل.

One set of weights, reused at every stepمجموعة أوزان واحدة يُعاد استخدامها في كل خطوة

The single most important property of the cell is that W_hh, W_xh, b and W_hy are the same at every time step. When you unroll the network over a four-word sentence you draw four boxes, but they are four copies of one cell, not four networks. The textbook says it directly: the weights are shared across all time steps, while new values of h and y are computed at each step.

أهم خاصية على الإطلاق في الخلية أن W_hh وW_xh وb وW_hy هي نفسها في كل خطوة زمنية. عندما تفرد (unroll) الشبكة على جملة من أربع كلمات ترسم أربعة صناديق، لكنها أربع نسخ من خلية واحدة، لا أربع شبكات. ويقولها الكتاب صراحة: الأوزان مشتركة عبر كل الخطوات الزمنية، بينما تُحسب قيم جديدة لـ h وy في كل خطوة.

Parameter sharing buys three things. The model handles sentences of any length with the same network. The number of parameters is fixed: with d_x = 100 and d_h = 128, the recurrent layer has 128 × 128 + 128 × 100 + 128 = 29,312 parameters whether the sentence has five words or five hundred. And whatever the cell learns about a pattern such as "not" followed by an adjective applies at every position, not only at the position where it was seen in training.

تمنحنا مشاركة المعاملات (parameter sharing) ثلاثة أشياء. يتعامل النموذج مع جمل بأي طول بنفس الشبكة. وعدد المعاملات ثابت: مع d_x = 100 وd_h = 128 تحتوي الطبقة التكرارية على 128 × 128 + 128 × 100 + 128 = 29,312 معاملًا سواء كانت الجملة خمس كلمات أو خمسمئة. وكل ما تتعلمه الخلية عن نمط ما، مثل "not" متبوعة بصفة، ينطبق في كل موضع، لا في الموضع الذي رأته فيه أثناء التدريب فقط.

Running the cell by handتشغيل الخلية يدويًا

The vectors hide what the recurrence does, so shrink everything to scalars. Use w_hh = 0.5, w_xh = 1, b = 0, start from h_0 = 0, and feed a single pulse followed by silence: x = [1, 0, 0, 0].

المتجهات تخفي ما يفعله التكرار، لذلك صغّر كل شيء إلى قيم عددية (scalars). استخدم w_hh = 0.5 وw_xh = 1 وb = 0، وابدأ من h_0 = 0، وأدخل نبضة واحدة يتبعها صمت: x = [1, 0, 0, 0].

Step through the same network below, and try the other recurrent weights. With w_hh = 1 the trace decays more slowly (0.762, 0.642, 0.566, 0.513); with w_hh = 2 the state saturates near 0.95 and holds itself there with no input at all, while the flat tanh makes every local factor small.

تنقّل خطوة بخطوة في نفس الشبكة أدناه، وجرّب الأوزان التكرارية الأخرى. مع w_hh = 1 يتلاشى الأثر ببطء أكبر (0.762, 0.642, 0.566, 0.513)؛ ومع w_hh = 2 تتشبّع الحالة قرب 0.95 وتثبّت نفسها هناك دون أي إدخال، بينما يجعل الجزء المسطّح من tanh كل عامل محلي صغيرًا.

What the slides imply but never say: vanishing gradientsما تلمّح إليه الشرائح ولا تقوله أبدًا: تلاشي التدرّج (vanishing gradients)

Fading in the forward pass has a twin in training. To learn that a word at step 1 matters for a prediction at step 4, backpropagation must send the error back through every intermediate state. Each step multiplies it by the local derivative

للتلاشي في التمرير الأمامي (forward pass) توأم في التدريب. لكي تتعلم الشبكة أن كلمة عند الخطوة 1 مهمة لتنبؤ عند الخطوة 4، يجب أن يرسل الانتشار العكسي (backpropagation) الخطأ عائدًا عبر كل حالة وسيطة. وكل خطوة تضربه في المشتقة المحلية

In our example these factors are 0.434, 0.484 and 0.496, so ∂h_4 / ∂h_1 ≈ 0.434 × 0.484 × 0.496 ≈ 0.104. Because the derivative of tanh is at most 1, any |w_hh| < 1 makes every factor smaller than 1, and the product shrinks geometrically with distance. Large weights do not rescue it either: they push tanh into saturation, where 1 - h² is tiny. This is the Vanishing gradient problem. Jurafsky and Martin describe it as gradients being driven to zero by the repeated multiplications of backpropagation through time, and Pascanu, Mikolov and Bengio show that the opposite case, factors above 1, causes exploding gradients, which are usually handled by clipping.

في مثالنا هذه العوامل هي 0.434 و0.484 و0.496، لذلك ∂h_4 / ∂h_1 ≈ 0.434 × 0.484 × 0.496 ≈ 0.104. ولأن مشتقة tanh لا تتجاوز 1، فإن أي |w_hh| < 1 تجعل كل عامل أصغر من 1، فيتقلص حاصل الضرب هندسيًا مع المسافة. والأوزان الكبيرة لا تنقذ الموقف أيضًا: فهي تدفع tanh إلى التشبّع، حيث تكون 1 - h² صغيرة جدًا. هذه هي مشكلة vanishing gradient. يصفها Jurafsky وMartin بأنها تدرّجات تُدفع نحو الصفر بسبب الضرب المتكرر في الانتشار العكسي عبر الزمن (backpropagation through time)، ويبيّن Pascanu وMikolov وBengio أن الحالة المعاكسة، أي عوامل أكبر من 1، تسبب انفجار التدرّج (exploding gradients)، الذي يُعالج عادة بالقصّ (clipping).

Read this sentence word by word: “The keys that I left on the kitchen table yesterday aregone.” To choose are rather than is, a model must remember that the subject, keys, was plural, and hold that fact across eight intervening words while ignoring table, which is singular. A simple RNN rewrites its whole Hidden state at every step, so the fact “plural subject” has to survive eight full rewrites. In practice it fades, and during training the signal that should teach it to survive fades too: this is the Vanishing gradient problem.

اقرأ هذه الجملة كلمة كلمة: “The keys that I left on the kitchen table yesterday are gone.” (المفاتيح التي تركتها على طاولة المطبخ أمس اختفت). لكي يختار النموذج are بدلًا من is، يجب أن يتذكر أن الفاعل keys جمع، وأن يحتفظ بهذه المعلومة عبر ثماني كلمات فاصلة متجاهلًا كلمة table وهي مفردة. شبكة RNN البسيطة تعيد كتابة hidden state (الحالة المخفية) بالكامل في كل خطوة، لذلك يجب أن تنجو معلومة “الفاعل جمع” من ثماني عمليات إعادة كتابة كاملة. عمليًا تتلاشى هذه المعلومة، وأثناء التدريب تتلاشى أيضًا الإشارة التي يفترض أن تعلّمها البقاء: هذه هي مشكلة vanishing gradient (تلاشي التدرج).

The Long short-term memory (LSTM) changes the design rather than the training. It adds a second vector that runs beside the hidden state, the Cell state C(t), and it only lets three small learned switches touch it. One switch decides what to erase, one decides what to write, and one decides how much of the memory to reveal. When nothing needs to change, the switches can leave the memory almost untouched for many steps. The diagram on slide 6 is Christopher Olah’s drawing: the horizontal line across the top of each block is the cell state, the yellow boxes are learned layers, and the pink circles are elementwise operations.

تغيّر LSTM التصميم نفسه لا طريقة التدريب. فهي تضيف متجهًا ثانيًا يسير بجانب الحالة المخفية، وهو cell state (حالة الخلية) C(t)، ولا تسمح بلمسه إلا لثلاثة مفاتيح صغيرة متعلَّمة. مفتاح يقرر ماذا يُمحى، ومفتاح يقرر ماذا يُكتب، ومفتاح يقرر كم يُكشف من الذاكرة. عندما لا يلزم تغيير شيء، تستطيع المفاتيح أن تترك الذاكرة شبه سليمة لخطوات كثيرة. المخطط في الشريحة 6 من رسم Christopher Olah: الخط الأفقي أعلى كل كتلة هو حالة الخلية، والمربعات الصفراء طبقات متعلَّمة، والدوائر الوردية عمليات تُجرى عنصرًا بعنصر.

Every gate is the same recipeكل البوابات تتبع الوصفة نفسها

All three gates on slide 7 share one form. Take the previous hidden state and the current input, glue them into one longer vector [h(t-1), x(t)] (this bracket is concatenation, not a list of two things fed separately), multiply by the gate’s own weight matrix, add its bias, and squash with the sigmoid σ. The sigmoid output lies between 0 and 1. That is all the arrow in “(0 → 1)” on the slide means: the range of the gate value, not a transition from 0 to 1 over time.

البوابات الثلاث في الشريحة 7 لها الشكل نفسه. خذ الحالة المخفية السابقة والمدخل الحالي، وألصقهما في متجه واحد أطول [h(t-1), x(t)] (هذا القوس يعني الضمّ concatenation، وليس قائمة من شيئين يُمرَّر كل منهما وحده)، ثم اضربه في مصفوفة الأوزان الخاصة بالبوابة، وأضف الانحياز (bias)، ثم اضغطه بدالة sigmoid σ. ناتج sigmoid يقع بين 0 و1. وهذا كل ما يعنيه السهم في “(0 → 1)” على الشريحة: إنه مدى قيمة البوابة، وليس انتقالًا من 0 إلى 1 مع مرور الزمن.

A fourth layer has the same shape but uses tanh instead of σ. It proposes the new content, the candidate C̃(t), with values between -1 and 1 so it can push memory up or down:

طبقة رابعة لها الشكل نفسه لكنها تستخدم tanh بدلًا من σ. هي تقترح المحتوى الجديد، أي المرشح C̃(t)، بقيم بين -1 و1 حتى تستطيع رفع الذاكرة أو خفضها:

Then the two update lines, which are the heart of the LSTM:

ثم يأتي سطرا التحديث، وهما قلب LSTM:

The slide writes the products with a dot, f(t) · C(t-1). Here the dot means the elementwise (Hadamard) product, written ⊙ above: component k of the result is component k of f(t) times component k of C(t-1). It is not a dot product, which would collapse two vectors into one number. Because each component has its own gate value, the LSTM can keep dimension 3 (say, “subject is plural”) while erasing dimension 7 in the same step.

تكتب الشريحة حواصل الضرب بنقطة، f(t) · C(t-1). النقطة هنا تعني الضرب عنصرًا بعنصر (elementwise أو Hadamard product)، المكتوب ⊙ في المعادلات أعلاه: المكوّن k من الناتج يساوي المكوّن k من f(t) مضروبًا في المكوّن k من C(t-1). إنه ليس الضرب النقطي (dot product) الذي يختزل متجهين في رقم واحد. ولأن لكل مكوّن قيمة بوابة خاصة به، تستطيع LSTM أن تحتفظ بالبُعد 3 (مثلًا “الفاعل جمع”) وتمحو البُعد 7 في الخطوة نفسها.

What each gate does at its extremesماذا تفعل كل بوابة عند قيمها القصوى

• Forget gate near 1: the old memory passes through almost unchanged. Near 0: it is wiped. A language model might drop the subject’s number once the verb has been produced.forget gate (بوابة النسيان) قريبة من 1: تمر الذاكرة القديمة شبه دون تغيير. قريبة من 0: تُمسح. قد يتخلص نموذج لغة من معلومة عدد الفاعل بعد أن يكون قد أنتج الفعل.
• Input gate near 0: nothing new is written, whatever the candidate says. Near 1: the full candidate is added.input gate (بوابة الإدخال) قريبة من 0: لا يُكتب شيء جديد مهما كان المرشح. قريبة من 1: يُضاف المرشح كاملًا.
• Output gate near 0: the memory is kept privately and h(t) is close to 0, so this step’s prediction ignores it. Near 1: the whole squashed memory tanh(C(t)) is shown.output gate (بوابة الإخراج) قريبة من 0: تُحفظ الذاكرة سرًّا وتكون h(t) قريبة من 0، فيتجاهلها تنبؤ هذه الخطوة. قريبة من 1: تظهر الذاكرة المضغوطة كاملة tanh(C(t)).

Note the separation: the output gate changes only h(t), never C(t). The LSTM can hide a fact for ten words and still have it intact when it becomes useful.

لاحظ هذا الفصل: بوابة الإخراج تغيّر h(t) فقط، ولا تغيّر C(t) أبدًا. تستطيع LSTM أن تخفي معلومة لعشر كلمات وتبقى سليمة لديها عندما تصبح مفيدة.

Real gate values come out of a sigmoid, so they approach 0 and 1 but never reach them exactly. The presets use the limits to make the behavior obvious. Try holding f at 1 and i at 0, then move the output gate: h(t) changes, C(t) does not.

قيم البوابات الحقيقية تخرج من sigmoid، لذلك تقترب من 0 و1 لكنها لا تصل إليهما تمامًا. الإعدادات الجاهزة تستخدم الحدود لتجعل السلوك واضحًا. جرّب تثبيت f عند 1 وi عند 0، ثم حرّك بوابة الإخراج: تتغير h(t) ولا تتغير C(t).

Why the additive update helpsلماذا يساعد التحديث الجمعي

In a simple RNN, h(t) = g(U h(t-1) + W x(t)): the old state goes through a weight matrix and a squashing function at every step, and backpropagation multiplies by those factors again and again on the way back, so the gradient tends to shrink toward zero. In the LSTM, the direct path from C(t-1) to C(t) is just “multiply by f(t), then add something.” There is no weight matrix and no squashing on that path, so its local derivative is simply f(t). When the forget gate stays near 1, information flows forward and gradient flows backward along the cell line with little loss. This is often called a gradient highway. It eases the vanishing gradient problem; it does not abolish it, because a forget gate below 1 still shrinks the signal over very long spans.

في RNN البسيطة، h(t) = g(U h(t-1) + W x(t)): تمر الحالة القديمة عبر مصفوفة أوزان ودالة ضاغطة في كل خطوة، والانتشار العكسي (backpropagation) يضرب في هذه العوامل مرة بعد مرة في طريق العودة، فيميل التدرج إلى الانكماش نحو الصفر. أما في LSTM فالمسار المباشر من C(t-1) إلى C(t) هو ببساطة “اضرب في f(t) ثم أضف شيئًا”. لا توجد على هذا المسار مصفوفة أوزان ولا دالة ضاغطة، لذلك مشتقته المحلية هي f(t) فقط. عندما تبقى بوابة النسيان قريبة من 1، تتدفق المعلومات إلى الأمام والتدرج إلى الخلف على خط الخلية بخسارة قليلة. يُسمى هذا غالبًا الطريق السريع للتدرج (gradient highway). إنه يخفف مشكلة تلاشي التدرج ولا يلغيها، لأن بوابة نسيان أقل من 1 ما زالت تقلّص الإشارة عبر مسافات طويلة جدًا.

Slide 8 names three ideas with one bullet each. They answer three different questions: can the gating be simpler, can a position see words to its right, and can the network be deeper?

تذكر الشريحة 8 ثلاث أفكار بنقطة واحدة لكل منها. وهي تجيب عن ثلاثة أسئلة مختلفة: هل يمكن أن تكون البوابات أبسط؟ هل يمكن لموضع ما أن يرى الكلمات التي على يمينه؟ وهل يمكن أن تكون الشبكة أعمق؟

The GRU: two gates, no separate cellGRU: بوابتان ولا خلية منفصلة

The Gated recurrent unit (GRU) merges the LSTM’s cell state and hidden state into one vector h(t) and uses two gates instead of three. The reset gate r(t) decides how much of the past to use when proposing new content. The update gate z(t) decides how to blend old and new, playing the role of the LSTM’s forget and input gates together:

تدمج GRU حالة الخلية والحالة المخفية في LSTM في متجه واحد h(t)، وتستخدم بوابتين بدلًا من ثلاث. بوابة إعادة الضبط (reset gate) r(t) تقرر كم يُستخدم من الماضي عند اقتراح المحتوى الجديد. بوابة التحديث (update gate) z(t) تقرر كيف يُمزج القديم بالجديد، فتؤدي دور بوابتي النسيان والإدخال في LSTM معًا:

With z(t) near 0 the old state is copied, the same carry-forward behavior as an LSTM with its forget gate open and input gate closed. With fewer parameters per unit, a GRU is a little cheaper and often performs about as well; neither one wins on every task.

عندما تكون z(t) قريبة من 0 تُنسخ الحالة القديمة، وهو سلوك الحمل إلى الأمام نفسه في LSTM عندما تكون بوابة النسيان مفتوحة وبوابة الإدخال مغلقة. ولأن عدد معاملات كل وحدة أقل، فإن GRU أرخص قليلًا وكثيرًا ما تؤدي بمستوى مقارب؛ ولا تتفوق أي منهما في كل المهام.

Bidirectional RNNs: read both waysشبكات RNN ثنائية الاتجاه: القراءة في الاتجاهين

Consider tagging bank in “I sat by the bank of the river.” A left-to-right RNN at bank has seen only “I sat by the,” but the deciding word, river, comes later. A Bidirectional RNN runs two independent RNNs over the sentence: a forward one from the first word to the last and a backward one from the last word to the first. At each position it concatenates the two states, so the representation of bank carries information from both sides. The top figure on slide 8 shows exactly that: RNN 1 forward, RNN 2 backward, outputs concatenated.

فكّر في وسم كلمة bank في “I sat by the bank of the river.” (جلست عند ضفة النهر). شبكة RNN تقرأ من اليسار إلى اليمين لم ترَ عند bank إلا “I sat by the”، لكن الكلمة الحاسمة، river، تأتي لاحقًا. شبكة bidirectional RNN (ثنائية الاتجاه) تشغّل شبكتي RNN مستقلتين على الجملة: أمامية من الكلمة الأولى إلى الأخيرة، وخلفية من الكلمة الأخيرة إلى الأولى. وعند كل موضع تضم الحالتين، فيحمل تمثيل bank معلومات من الجانبين. الشكل العلوي في الشريحة 8 يبيّن ذلك تمامًا: RNN 1 أمامية، وRNN 2 خلفية، والمخرجات مضمومة.

The price is that the backward RNN cannot start until the last word exists. That is fine for tagging, classification and encoding a sentence that is already complete. It is impossible for generating text left to right, where the future words are exactly what you are trying to produce.

الثمن أن الشبكة الخلفية لا تستطيع البدء حتى توجد الكلمة الأخيرة. هذا مقبول في الوسم والتصنيف وترميز جملة مكتملة أصلًا. لكنه مستحيل عند توليد النص من اليسار إلى اليمين، حيث الكلمات المستقبلية هي بالضبط ما تحاول إنتاجه.

Stacked RNNs: depth over timeشبكات RNN المكدسة: عمق فوق الزمن

A Stacked (multi-layer) RNN places RNN layers on top of each other. Layer 1 reads the word embeddings x(1) … x(n) and produces a sequence of hidden states; that entire output sequence becomes the input sequence of layer 2, and so on. The final output is taken from the top layer. As in deep feedforward networks, lower layers tend to capture local, surface patterns and higher layers more abstract ones. The bottom figure on slide 8 shows three stacked layers. More layers cost more computation and are harder to train, so the right depth is found by experiment.

شبكة stacked RNN (المكدسة) تضع طبقات RNN بعضها فوق بعض. الطبقة 1 تقرأ تضمينات الكلمات (word embeddings) x(1) … x(n) وتنتج تسلسلًا من الحالات المخفية؛ ويصبح تسلسل المخرجات هذا بأكمله تسلسل مدخلات الطبقة 2، وهكذا. ويؤخذ المخرج النهائي من الطبقة العليا. وكما في الشبكات الأمامية العميقة، تميل الطبقات السفلى إلى التقاط أنماط محلية سطحية، والطبقات العليا إلى أنماط أكثر تجريدًا. الشكل السفلي في الشريحة 8 يبيّن ثلاث طبقات مكدسة. الطبقات الإضافية تكلّف حسابًا أكثر وتجعل التدريب أصعب، لذلك يُحدَّد العمق المناسب بالتجربة.

These ideas combine. LSTM or GRU units can be placed into any of these layouts, which is why slide 11 can speak of a stacked bidirectional LSTM, a “stacked BLSTM.”

هذه الأفكار تتجمع معًا. يمكن وضع وحدات LSTM أو GRU في أي من هذه التركيبات، ولهذا تتحدث الشريحة 11 عن LSTM مكدسة ثنائية الاتجاه، أي “stacked BLSTM”.

Slide 9 translates “Zaid went to his house” into Arabic: ذهب زيد إلى بيته (dhahab zayd ’iilaa baytihi), glossed word by word as “went Zaid to his-house.” The verb moves to the front, because Arabic often uses verb, subject, object order. The two words his house become one word, بيته, so five English words come out as four Arabic words.

تترجم الشريحة 9 الجملة “Zaid went to his house” إلى العربية: ذهب زيد إلى بيته (dhahab zayd ’iilaa baytihi)، ومقابلها كلمة بكلمة بالإنجليزية “went Zaid to his-house.” ينتقل الفعل إلى البداية، لأن العربية تستخدم كثيرًا ترتيب الفعل ثم الفاعل ثم المفعول. والكلمتان his house تصبحان كلمة واحدة، بيته، فتخرج خمس كلمات إنجليزية على شكل أربع كلمات عربية.

Try to do this with a tagger that emits one output per input as it reads. At the first English word, Zaid, the tagger would have to emit the first Arabic word, went, which it has not seen yet. The output at each position depends on the whole input, not on the word at the same position, and the output length need not match the input length. That is what slide 9 means by “the output sequence is a complex function of the entire input sequence.”

حاول أن تفعل ذلك بأداة وسم (tagger) تُخرج مخرجًا واحدًا لكل مدخل أثناء القراءة. عند أول كلمة إنجليزية، Zaid، سيتعين على الأداة إخراج أول كلمة عربية، “ذهب” (went)، وهي لم ترها بعد. المخرج عند كل موضع يعتمد على المدخل كله، لا على الكلمة في الموضع نفسه، ولا يلزم أن يساوي طول المخرج طول المدخل. هذا ما تقصده الشريحة 9 بقولها “تسلسل المخرجات دالة معقدة لتسلسل المدخلات بأكمله”.

Two networks with one job eachشبكتان، لكل منهما مهمة واحدة

The Encoder-decoder (seq2seq) architecture, also called sequence to sequence, splits the work. An encoder reads the entire input x(1) … x(n) and builds a contextualized representation of it, which the slide calls the context. A decoder receives that context and generates the output y(1) … y(m) one token at a time, with m free to differ from n. Slide 10’s figure is that idea and nothing more: encoder, context, decoder. It does not yet say what the encoder and decoder are made of; LSTMs, CNNs and transformers can all fill those boxes.

معمارية encoder-decoder، وتسمى أيضًا sequence to sequence، تقسم العمل. المُرمِّز (encoder) يقرأ المدخل كاملًا x(1) … x(n) ويبني له تمثيلًا سياقيًا، تسميه الشريحة context (السياق). والمُفكِّك (decoder) يستقبل هذا السياق ويولّد المخرج y(1) … y(m) رمزًا (token) بعد رمز، مع حرية أن يختلف m عن n. شكل الشريحة 10 هو هذه الفكرة لا أكثر: مُرمِّز، سياق، مُفكِّك. ولا يحدد بعد مما يُصنع المُرمِّز والمُفكِّك؛ فـLSTM وCNN وtransformers كلها يمكن أن تملأ هذين الصندوقين.

Slide 11 is figure 14.17 from the textbook. It translates the English “the green witch arrived” into the Spanish “llegó la bruja verde,” glossed “arrived the witch green”: the verb moves to the front and the adjective moves after the noun, the same kind of reordering as the Arabic example.

الشريحة 11 هي الشكل 14.17 من الكتاب. يترجم الجملة الإنجليزية “the green witch arrived” (وصلت الساحرة الخضراء) إلى الإسبانية “llegó la bruja verde,” ومقابلها كلمة بكلمة “arrived the witch green”: ينتقل الفعل إلى البداية وتنتقل الصفة إلى ما بعد الاسم، وهو النوع نفسه من إعادة الترتيب في المثال العربي.

Walking through the figureالمرور على الشكل خطوة خطوة

1. Encode. The source words the, green, witch, arrived are embedded and fed through the RNN one by one. The figure notes that the output of the source is ignored: no softmax prediction is used while reading the English.الترميز. كلمات المصدر the, green, witch, arrived تُحوَّل إلى تضمينات وتُمرَّر عبر RNN واحدة تلو الأخرى. يوضح الشكل أن مخرجات المصدر تُتجاهل: لا يُستخدم أي تنبؤ softmax أثناء قراءة الإنجليزية.
2. Hand over the context. The final hidden state, h(n) (the green box), becomes the context c, and it initializes the decoder: h(0) of the decoder = c. In the textbook’s fuller version, c is also fed to every decoder step so its influence does not fade.تسليم السياق. الحالة المخفية الأخيرة h(n) (الصندوق الأخضر) تصبح السياق c، وتُستخدم لتهيئة المُفكِّك: h(0) of the decoder = c. وفي النسخة الأكمل في الكتاب، تُمرَّر c أيضًا إلى كل خطوة من خطوات المُفكِّك حتى لا يتلاشى أثرها.
3. Start decoding. The separator <s> is the first decoder input. The decoder computes a softmax over the Spanish vocabulary and produces llegó.بدء فك الترميز. الفاصل <s> هو أول مدخل للمُفكِّك. يحسب المُفكِّك softmax على مفردات الإسبانية ويُنتج llegó.
4. Feed back. At inference time, each generated word is the next input, which is Autoregressive generation: llegó produces la, la produces bruja, and so on. During training, the correct previous word is fed instead, which is Teacher forcing.التغذية الراجعة. وقت الاستدلال (inference) تكون كل كلمة مولَّدة هي المدخل التالي، وهذا هو autoregressive generation (التوليد الانحداري الذاتي): llegó تُنتج la، وla تُنتج bruja، وهكذا. أما أثناء التدريب فتُمرَّر الكلمة السابقة الصحيحة بدلًا من ذلك، وهذا هو teacher forcing.
5. Stop. Decoding ends when the model emits </s>.التوقف. ينتهي فك الترميز عندما يُخرج النموذج </s>.

Each target word is predicted from the target words already produced and the source, which reaches the decoder only through c. In other words, the decoder is the RNN language model of part 03 with its starting state replaced by a summary of the source sentence.

كل كلمة هدف يُتنبأ بها من كلمات الهدف التي أُنتجت سابقًا ومن المصدر، والمصدر لا يصل إلى المُفكِّك إلا عبر c. بعبارة أخرى، المُفكِّك هو نموذج اللغة المبني على RNN من الجزء 03، مع استبدال حالته الابتدائية بملخص لجملة المصدر.

What real encoders look likeكيف تبدو المُرمِّزات الحقيقية

The slide’s two bullets describe practice, not the drawing. Stacked architectures are the norm, and the states of the top layer are taken as the encoder’s output. A widely used encoder is a stacked bidirectional LSTM, and at each position the forward and backward top-layer states are concatenated. This is the same combination of the three slide-8 ideas: LSTM units, bidirectional reading (allowed here, because the source sentence is complete before encoding starts), and stacking. The decoder, which generates, stays left to right.

النقطتان في الشريحة تصفان الممارسة الفعلية، لا الرسم. المعماريات المكدسة هي القاعدة، وتؤخذ حالات الطبقة العليا على أنها مخرج المُرمِّز. ومن المُرمِّزات الواسعة الاستخدام LSTM مكدسة ثنائية الاتجاه، وعند كل موضع تُضم الحالتان الأمامية والخلفية للطبقة العليا. هذا هو الجمع نفسه بين أفكار الشريحة 8 الثلاث: وحدات LSTM، والقراءة ثنائية الاتجاه (مسموحة هنا لأن جملة المصدر مكتملة قبل بدء الترميز)، والتكديس. أما المُفكِّك، الذي يولّد، فيبقى من اليسار إلى اليمين.

The bottleneckعنق الزجاجة

Everything the decoder knows about the source sentence must pass through one fixed-size vector, c = h(n). For four words that is manageable. For a forty-word sentence, the same vector must hold every name, number and clause, and the first words have been through the most updates before the encoder finishes, so they tend to be represented least well. Making the vector larger helps only a little. This is the bottleneck problem, and its solution, letting the decoder look at all encoder states with weights that change at every output step, is attention, which part 05 introduces.

كل ما يعرفه المُفكِّك عن جملة المصدر يجب أن يمر عبر متجه واحد ثابت الحجم، c = h(n). مع أربع كلمات يمكن التعامل مع ذلك. أما مع جملة من أربعين كلمة، فيجب أن يحمل المتجه نفسه كل اسم ورقم وعبارة، والكلمات الأولى تكون قد مرت بأكبر عدد من التحديثات قبل أن ينتهي المُرمِّز، لذلك تميل إلى أن تكون الأسوأ تمثيلًا. وتكبير المتجه لا يساعد إلا قليلًا. هذه هي مشكلة عنق الزجاجة (bottleneck)، وحلها هو السماح للمُفكِّك بالنظر إلى كل حالات المُرمِّز بأوزان تتغير عند كل خطوة إخراج، وهذا هو الانتباه (attention) الذي يقدمه الجزء 05.

Suppose your training corpus contains "the cat sat on the mat" many times but never "the dog sat on the rug". A trigram model asked for $P(\text{rug} \mid \text{on the})$ after a dog sentence has nothing to say about dogs or rugs specifically. To the count table, cat and dog are just two unrelated column numbers. Every fact it knows about cats is useless for dogs.

افترض أن مدوّنة التدريب (corpus) تحتوي الجملة "the cat sat on the mat" مرات كثيرة، لكنها لا تحتوي أبدًا "the dog sat on the rug". نموذج trigram يُسأل عن $P(\text{rug} \mid \text{on the})$ بعد جملة عن الكلب لا يملك ما يقوله عن الكلاب أو السجاد تحديدًا. بالنسبة لجدول العدّ، cat وdog مجرد رقمي عمودين لا علاقة بينهما. وكل معلومة يعرفها عن القطط عديمة الفائدة للكلاب.

Count-based models: Markov assumption plus countingالنماذج القائمة على العدّ: افتراض ماركوف مع العدّ

A Count-based (n-gram) language model makes two moves. It assumes the next word depends only on the previous n-1 words (an n-th order Markov assumption in the slide's phrasing), and it estimates each conditional probability as a ratio of counts, then smooths so that unseen events do not get probability zero. Both moves are where the trouble lives. The window throws away anything older than n-1 words, and the counts treat each word as an atomic symbol, so the model cannot generalize from one word to a similar one. Making n larger to see more context makes the problem worse, because the number of possible n-grams grows as |V|^n: with |V| = 10,000, there are already 10^12 possible trigrams, almost all unseen.

يقوم count-based LM بخطوتين. يفترض أن الكلمة التالية تعتمد فقط على آخر n-1 كلمة (افتراض ماركوف من الرتبة n بحسب صياغة الشريحة)، ويقدّر كل احتمال شرطي بوصفه نسبة بين عددين، ثم يطبّق التنعيم (smoothing) كي لا تحصل الأحداث غير المرئية على احتمال صفر. والمشكلة تكمن في هاتين الخطوتين بالذات. النافذة تتخلص من كل ما هو أقدم من n-1 كلمة، والعدّ يعامل كل كلمة رمزًا ذريًا مستقلًا، فلا يستطيع النموذج التعميم من كلمة إلى كلمة مشابهة لها. وتكبير n لرؤية سياق أوسع يزيد المشكلة سوءًا، لأن عدد الـ n-grams الممكنة ينمو بمقدار |V|^n: فمع |V| = 10,000 يوجد بالفعل 10^12 trigram ممكن، وكلها تقريبًا لم تُرَ قط.

Neural models: words as vectors, parameters learnedالنماذج العصبية: الكلمات متجهات، والمعاملات متعلَّمة

A Neural language model attacks sparsity by representing each word as a dense vector. Training pushes words that appear in similar contexts toward similar vectors, so cat and dog end up close, and mat and rug end up close. Now the evidence from "the cat sat on the mat" also raises the probability of "the dog sat on the rug", because the network's computation is smooth in its inputs: nearby input vectors give nearby outputs. Bengio and colleagues (2003) put it this way: a new sentence can receive high probability if its words are close in representation space to words in sentences already seen. The second bullet of slide 13 matters too: nothing is counted. The vectors and all other weights are parameters learned by gradient descent as part of training.

يعالج neural language model مشكلة التناثر بتمثيل كل كلمة متجهًا كثيفًا (dense vector). التدريب يدفع الكلمات التي تظهر في سياقات متشابهة نحو متجهات متشابهة، فينتهي الأمر بـ cat وdog متقاربتين، وبـ mat وrug متقاربتين. والآن فإن الدليل الآتي من "the cat sat on the mat" يرفع أيضًا احتمال "the dog sat on the rug"، لأن حسابات الشبكة سلسة بالنسبة لمدخلاتها: المتجهات المتقاربة في المدخل تعطي مخرجات متقاربة. وقد عبّر عن ذلك Bengio وزملاؤه (2003) هكذا: الجملة الجديدة يمكن أن تنال احتمالًا عاليًا إذا كانت كلماتها قريبة في فضاء التمثيل من كلمات في جمل سبق رؤيتها. والنقطة الثانية في الشريحة 13 مهمة كذلك: لا شيء يُعدّ هنا. المتجهات وكل الأوزان الأخرى معاملات تُتعلَّم بالانحدار التدرجي (gradient descent) جزءًا من التدريب.

Lecture 04 learned embeddings with a separate method such as word2vec. Here the embedding matrix is part of the language model itself and is learned together with everything else. And because an RNN carries a hidden state forward, it also drops the fixed window: it conditions on the whole prefix, not just the last n-1 words.

في المحاضرة 04 تعلّمنا التضمينات (embeddings) بطريقة منفصلة مثل word2vec. أما هنا فمصفوفة التضمين جزء من نموذج اللغة نفسه وتُتعلَّم مع كل شيء آخر. ولأن RNN تحمل حالة مخفية إلى الأمام، فإنها تتخلص أيضًا من النافذة الثابتة: تشترط على البادئة كاملة (prefix)، لا على آخر n-1 كلمة فقط.

Take the prefix "So long and" from the slide's figure. The model must output a probability for every vocabulary word as the next word, and it should put a lot of mass on "thanks". Here is the exact path a word takes from input to that distribution, in the notation of Jurafsky and Martin (SLP3), which slide 14 uses.

خذ البادئة "So long and" من رسم الشريحة. يجب أن يُخرج النموذج احتمالًا لكل كلمة في المفردات بوصفها الكلمة التالية، وينبغي أن يضع كتلة احتمالية كبيرة على "thanks". وهذا هو المسار الدقيق الذي تسلكه الكلمة من المدخل إلى ذلك التوزيع، بترميز Jurafsky وMartin (SLP3) الذي تستخدمه الشريحة 14.

The four equationsالمعادلات الأربع

1. Embed. The current word arrives as a one-hot vector $x_t$. Multiplying by the Embedding matrix E just selects one column of $E$, the word's vector $e_t$.التضمين. تصل الكلمة الحالية متجهًا أحادي الساخن (one-hot) $x_t$. والضرب في embedding matrix يختار ببساطة عمودًا واحدًا من $E$، وهو متجه الكلمة $e_t$.
2. Recur. The new Hidden state mixes the old state, weighted by $U$, with the new word, weighted by $W$, and passes the sum through a nonlinearity $g$ such as tanh. This is the Recurrent neural network (RNN) cell of part 1; nothing new except that the input is a word embedding.التكرار. الـ hidden state الجديدة تمزج الحالة القديمة، موزونة بـ $U$، مع الكلمة الجديدة، موزونة بـ $W$، ثم تمرّر المجموع عبر دالة غير خطية $g$ مثل tanh. هذه هي خلية RNN من الجزء 1؛ لا جديد فيها سوى أن المدخل تضمين كلمة.
3. Score and normalize. $V h_t$ gives one score per vocabulary word, and Softmax turns the scores into a probability distribution $\hat{y}_t$. Its entry $\hat{y}_t[k]$ is $P(w_{t+1} = k \mid w_1, \ldots, w_t)$.حساب الدرجات والتطبيع. يعطي $V h_t$ درجة (score) واحدة لكل كلمة في المفردات، وتحوّل softmax هذه الدرجات إلى توزيع احتمالي $\hat{y}_t$. والمدخل $\hat{y}_t[k]$ منه يساوي $P(w_{t+1} = k \mid w_1, \ldots, w_t)$.
4. Pay for the mistake. In training, the Cross-entropy loss at step t looks up the probability the model gave to the true next word and takes minus its log. Part 4 derives why the full cross-entropy collapses to this one term.دفع ثمن الخطأ. أثناء التدريب، تبحث cross-entropy loss عند الخطوة t عن الاحتمال الذي أعطاه النموذج للكلمة التالية الصحيحة وتأخذ سالب لوغاريتمه. الجزء 4 يشتق لماذا تنهار الـ cross-entropy الكاملة إلى هذا الحد الوحيد.

Every shape, and where the parameters liveكل الأبعاد، وأين تقع المعاملات

Shapes are the fastest way to check you remember the equations correctly, because a wrong matrix cannot be multiplied. Write |V| for the vocabulary size, d_e for the embedding size and d_h for the hidden size. SLP3 sets d_e = d_h = d for simplicity, which makes $W$ and $U$ both d × d.

الأبعاد أسرع طريقة للتأكد من أنك تتذكر المعادلات بشكل صحيح، لأن المصفوفة الخاطئة لا يمكن ضربها. اكتب |V| لحجم المفردات، وd_e لحجم التضمين، وd_h لحجم الحالة المخفية. يضع SLP3 القيمة d_e = d_h = d للتبسيط، مما يجعل $W$ و$U$ كلتيهما بحجم d × d.

A trained RNN LM can write. Give it only the start marker <s>. It outputs a distribution over the first word; you pick "So". Now "So" becomes the next input, the model updates its hidden state and outputs a distribution for the second word; you pick "long", and so on. The model is reading its own writing.

نموذج RNN LM المدرَّب يستطيع الكتابة. أعطه علامة البداية <s> فقط. سيُخرج توزيعًا على الكلمة الأولى، فتختار "So". الآن تصبح "So" المدخل التالي، فيحدّث النموذج حالته المخفية ويُخرج توزيعًا للكلمة الثانية، فتختار "long"، وهكذا. النموذج يقرأ ما يكتبه بنفسه.

The procedureالإجراء

1. Feed <s> as the first input and compute $\hat{y}_1$.أدخل <s> مدخلًا أول واحسب $\hat{y}_1$.
2. Choose a word from that softmax distribution.اختر كلمة من توزيع softmax هذا.
3. Look up the chosen word's embedding and use it as the input at the next step, carrying the hidden state forward.ابحث عن تضمين الكلمة المختارة واستخدمه مدخلًا في الخطوة التالية، مع حمل الحالة المخفية إلى الأمام.
4. Repeat until the model produces </s> or a maximum length is reached.كرّر حتى يُنتج النموذج </s> أو يُبلَغ الحد الأقصى للطول.

This is Autoregressive generation: each output is conditioned on outputs the model itself chose earlier. SLP3 notes the name is used loosely, since a true autoregressive model in statistics is linear, while an LM is not. The procedure is exactly the Shannon-style sampling of lecture 03, with one change that matters: an n-gram sampler forgets everything older than n-1 words, while the RNN carries the whole prefix in $h_t$.

هذا هو autoregressive generation: كل مخرج مشروط بمخرجات اختارها النموذج نفسه سابقًا. يلاحظ SLP3 أن الاسم مستخدم بتساهل، لأن النموذج الانحداري الذاتي الحقيقي في الإحصاء خطي، بينما نموذج اللغة ليس كذلك. والإجراء هو بالضبط الاختيار العشوائي على طريقة Shannon من المحاضرة 03، مع تغيير واحد مهم: مولّد n-gram ينسى كل ما هو أقدم من n-1 كلمة، بينما تحمل RNN البادئة كاملة في $h_t$.

How to choose the word: greedy, sampling and temperatureكيف نختار الكلمة: الجشع، والاختيار العشوائي، ودرجة الحرارة

Step 2 hides a design choice. Greedy decoding always takes the most probable word. It is deterministic, so the same prefix always produces the same text, and SLP3 notes it tends to be generic and repetitive. Random sampling draws a word in proportion to its probability, which gives variety but sometimes picks a strange low-probability word. Temperature sampling sits between the two: divide the scores by $\tau$ before the softmax.

الخطوة 2 تخفي قرار تصميم. فك الترميز الجشع (greedy decoding) يأخذ دائمًا الكلمة الأعلى احتمالًا. وهو حتمي، فالبادئة نفسها تنتج دائمًا النص نفسه، ويلاحظ SLP3 أنه يميل إلى نص عام ومكرر. أما الاختيار العشوائي (random sampling) فيسحب كلمة بنسبة احتمالها، وهذا يعطي تنوعًا لكنه يختار أحيانًا كلمة غريبة منخفضة الاحتمال. والاختيار بدرجة الحرارة (temperature sampling) يقع بين الاثنين: اقسم الدرجات على $\tau$ قبل softmax.

Try it below. The toy model starts at <s> with about 0.62 on "the". Run greedy twice and you get the same sentence. Switch to sampling and pick "dog" when it comes up: after "on the", rug becomes likely instead of mat, because the hidden state still remembers the subject from four steps back, something a trigram model could not do.

جرّبه بالأسفل. النموذج المصغّر يبدأ من <s> باحتمال نحو 0.62 على "the". شغّل الوضع الجشع مرتين فتحصل على الجملة نفسها. انتقل إلى الاختيار العشوائي واختر "dog" عندما تظهر: بعد "on the" تصبح rug مرجّحة بدلًا من mat، لأن الحالة المخفية لا تزال تتذكر الفاعل من أربع خطوات سابقة، وهذا ما لا يستطيعه نموذج trigram.

Slide 16 shows the same model again, but its equations come from Stanford CS224n, not SLP3. Read it with slide 14 in mind and you hit a trap at once: the output distribution is $\operatorname{softmax}(U h^{(t)} + b_2)$, yet on slide 14 the matrix $U$ was the recurrent one. Same letter, different matrix.

الشريحة 16 تعرض النموذج نفسه مرة أخرى، لكن معادلاتها مأخوذة من Stanford CS224n لا من SLP3. اقرأها وفي ذهنك الشريحة 14 وستقع في فخ فورًا: توزيع الإخراج هو $\operatorname{softmax}(U h^{(t)} + b_2)$، مع أن المصفوفة $U$ في الشريحة 14 كانت المصفوفة التكرارية. الحرف نفسه، والمصفوفة مختلفة.

Beyond the letters, slide 16 adds two real details. It includes bias vectors b_1 and b_2, which SLP3 drops to keep the equations short. And it states the output space explicitly, $\hat{y}^{(t)} \in \mathbb{R}^{|V|}$, which is the shape check from the previous concept. Its figure also shows an initial hidden state h^(0), usually a vector of zeros, and the softmax histogram over the vocabulary at the last step, with mat and floor as likely continuations of "The cat slept quietly on the".

بعيدًا عن الحروف، تضيف الشريحة 16 تفصيلين حقيقيين. فهي تتضمن متجهي الانحياز b_1 وb_2، اللذين يحذفهما SLP3 لإبقاء المعادلات قصيرة. وتنص صراحة على فضاء الإخراج $\hat{y}^{(t)} \in \mathbb{R}^{|V|}$، وهو فحص الأبعاد نفسه من المفهوم السابق. ويُظهر رسمها أيضًا حالة مخفية ابتدائية h^(0)، وهي عادة متجه من الأصفار، ومدرّج softmax على المفردات في الخطوة الأخيرة، حيث mat وfloor تكملتان مرجّحتان لـ "The cat slept quietly on the".

Feed the RNN LM a five-word sentence and then a five-hundred-word article. The second run takes a hundred times as many steps, but it uses exactly the same E, W, U and V. Nothing in the parameter count mentions the sentence length. That one fact explains most of slide 17.

أدخل إلى RNN LM جملة من خمس كلمات ثم مقالًا من خمسمئة كلمة. التشغيل الثاني يستغرق خطوات أكثر بمئة مرة، لكنه يستخدم بالضبط E وW وU وV نفسها. لا شيء في عدد المعاملات يتعلق بطول الجملة. وهذه الحقيقة الواحدة تفسّر معظم الشريحة 17.

Why the model size does not grow with input lengthلماذا لا يزداد حجم النموذج بزيادة طول المدخل

The parameter count from the forward-pass worked example, d_e|V| + d_h d_e + d_h^2 + |V| d_h, contains no term for the sequence length T. Length only changes how many times the cell is applied. Compare the two alternatives. A count-based model that wants more context needs a larger n, and its table can grow as |V|^n. A fixed-window neural LM, as in Bengio and colleagues, concatenates the window's embeddings, so its first weight matrix grows with the window size, and CS224n notes that each window position gets its own separate weights. The RNN applies one rule at every step instead, which is weight sharing across time.

عدد المعاملات من المثال المحلول في التمرير الأمامي، d_e|V| + d_h d_e + d_h^2 + |V| d_h، لا يحتوي أي حد لطول التسلسل T. الطول يغيّر فقط عدد مرات تطبيق الخلية. قارن بالبديلين. النموذج القائم على العدّ الذي يريد سياقًا أوسع يحتاج n أكبر، وجدوله قد ينمو بمقدار |V|^n. ونموذج اللغة العصبي ذو النافذة الثابتة، كما عند Bengio وزملائه، يضم تضمينات النافذة متتالية، فتكبر مصفوفة أوزانه الأولى مع حجم النافذة، ويلاحظ CS224n أن لكل موضع في النافذة أوزانه المنفصلة. أما RNN فتطبّق قاعدة واحدة في كل خطوة، وهذا هو تشارك الأوزان عبر الزمن (weight sharing across time).

The two remaining problemsالمشكلتان الباقيتان

Recurrent computation is slow. To compute $h_t$ you need $h_{t-1}$, which needs $h_{t-2}$, and so on. A sequence of T words therefore takes T steps one after another, even during training when every word is already known. A GPU cannot spread one sequence's time steps across its cores. Transformers remove this dependency and train all positions at once; that is the Parallel training of the transformer parts later in this lecture.

الحساب التكراري بطيء. لحساب $h_t$ تحتاج $h_{t-1}$، التي تحتاج $h_{t-2}$، وهكذا. لذلك يستغرق تسلسل من T كلمة عدد T من الخطوات واحدة بعد الأخرى، حتى أثناء التدريب حين تكون كل الكلمات معروفة مسبقًا. لا تستطيع GPU توزيع الخطوات الزمنية لتسلسل واحد على أنويتها. المحوّلات (Transformers) تزيل هذا الاعتماد وتدرّب كل المواضع دفعة واحدة؛ وهذا هو parallel training في أجزاء المحوّلات لاحقًا في هذه المحاضرة.

Long-range information is hard in practice. In theory, $h_t$ can carry the first word of the document. In practice, the gradient that tells early steps how to help a late prediction is multiplied by one factor per step on the way back, and over many steps it shrinks toward zero. That is the Vanishing gradient problem, and it is why gated cells such as the LSTM of part 2 exist. Even an LSTM squeezes the whole past into a fixed-size vector, the bottleneck that attention removes in part 5.

المعلومات البعيدة صعبة الاستخدام عمليًا. نظريًا، يمكن لـ $h_t$ أن تحمل الكلمة الأولى من المستند. عمليًا، التدرّج (gradient) الذي يخبر الخطوات المبكرة كيف تساعد تنبؤًا متأخرًا يُضرب في معامل واحد لكل خطوة في طريق العودة، وعبر خطوات كثيرة يتقلص نحو الصفر. هذه هي مشكلة vanishing gradient، ولهذا وُجدت الخلايا ذات البوابات مثل LSTM في الجزء 2. وحتى LSTM تضغط الماضي كله في متجه ثابت الحجم، وهو عنق الزجاجة (bottleneck) الذي يزيله الانتباه (attention) في الجزء 5.

In the slide's example, the input is "I saw a cat". A first RNN reads the words and produces hidden states h_1^(1) to h_4^(1). A second RNN treats that sequence of states as its input sequence and produces h_1^(2) to h_4^(2). Only the second layer's states feed the softmax that predicts "saw a cat on".

في مثال الشريحة، المدخل هو "I saw a cat". تقرأ RNN أولى الكلمات وتنتج الحالات المخفية من h_1^(1) إلى h_4^(1). ثم تعامل RNN ثانية هذا التسلسل من الحالات بوصفه تسلسل مدخلاتها وتنتج من h_1^(2) إلى h_4^(2). وحالات الطبقة الثانية وحدها تغذّي softmax التي تتنبأ بـ "saw a cat on".

This is a Stacked (multi-layer) RNN. Each layer has its own recurrent matrix and its own input matrix, and each carries its own hidden state through time, starting from its own h_0. The second layer's input matrix is d_h × d_h, because its input is a hidden state rather than an embedding. SLP3 reports that stacked RNNs generally outperform single-layer ones, likely because layers learn representations at different levels of abstraction, much as early visual areas detect edges that later areas assemble into shapes. The cost is more training time, and the best number of layers depends on the task and data.

هذه stacked RNN. لكل طبقة مصفوفتها التكرارية الخاصة ومصفوفة إدخالها الخاصة، وكل منها تحمل حالتها المخفية الخاصة عبر الزمن، بدءًا من h_0 الخاصة بها. مصفوفة إدخال الطبقة الثانية بحجم d_h × d_h، لأن مدخلها حالة مخفية لا تضمين. ويذكر SLP3 أن شبكات RNN المكدّسة تتفوق عمومًا على ذات الطبقة الواحدة، على الأرجح لأن الطبقات تتعلم تمثيلات على مستويات مختلفة من التجريد، كما تكتشف المناطق البصرية المبكرة الحواف التي تجمّعها المناطق اللاحقة في أشكال. والثمن هو وقت تدريب أطول، والعدد الأمثل للطبقات يعتمد على المهمة والبيانات.

Take the sentence “so long and thanks for all the fish”. Without asking any annotator, you can already write down one training example for every word after the first: after so the answer is long, after so long it is and, after so long and it is thanks, and so on. The sentence is both the question and the answer key.

خذ الجملة «so long and thanks for all the fish». من دون أن تسأل أي مُعلِّق بشري، تستطيع أن تكتب مثال تدريب واحدًا لكل كلمة بعد الأولى: بعد so الإجابة هي long، وبعد so long هي and، وبعد so long and هي thanks، وهكذا. الجملة هي السؤال ومفتاح الإجابة في الوقت نفسه.

The training algorithm in two linesخوارزمية التدريب في سطرين

This is why a Neural language model is trained by Self-supervised training. The algorithm on the slide is short because the idea is short:

لهذا السبب يُدرَّب neural language model بطريقة self-supervised training. الخوارزمية في الشريحة قصيرة لأن الفكرة نفسها قصيرة:

1. Take a corpus of raw text.خذ corpus من النص الخام.
2. At each time step t, ask the model for a distribution over the next word, compare it with the word that actually comes next, and use gradient descent to reduce the prediction error.عند كل خطوة زمنية t، اطلب من النموذج توزيعًا على الكلمة التالية، وقارنه بالكلمة التي تأتي فعلًا بعدها، واستخدم gradient descent لتقليل خطأ التنبؤ.

Nothing in this loop needs a human. In supervised sentiment classification someone must tag each review as positive or negative. Here the “label” at position t is the token at position t+1, so every sentence ever written is free training data. That is the economic reason language models can be trained on billions of words.

لا شيء في هذه الحلقة يحتاج إلى إنسان. في تصنيف المشاعر الخاضع للإشراف (supervised) يجب أن يوسم شخصٌ ما كل مراجعة بأنها إيجابية أو سلبية. أما هنا فإن «التسمية» عند الموضع t هي الـ token عند الموضع t+1، لذلك كل جملة كُتبت في التاريخ هي بيانات تدريب مجانية. وهذا هو السبب الاقتصادي الذي يجعل تدريب نماذج اللغة على مليارات الكلمات ممكنًا.

Compare this with the Count-based (n-gram) language model of lecture 3. An n-gram model is “trained” by counting and normalizing, which has a closed-form answer. A neural model has millions of weights inside a Recurrent neural network (RNN) and a Softmax, and no formula gives the best weights directly. So we need a single number that says how wrong the model is, and then we follow its gradient downhill. That number is the loss in the next concept.

قارن هذا بـ count-based (n-gram) language model في المحاضرة 3. نموذج الـ n-gram «يُدرَّب» بالعدّ ثم التطبيع (normalizing)، ولذلك له حل بصيغة مغلقة (closed-form). أما النموذج العصبي فلديه ملايين الأوزان داخل RNN وsoftmax، ولا توجد معادلة تعطي أفضل الأوزان مباشرة. لذلك نحتاج إلى رقم واحد يقول مدى خطأ النموذج، ثم نتبع تدرّجه (gradient) نزولًا. هذا الرقم هو الخسارة في المفهوم التالي.

Shrink the vocabulary to four words, {so, long, and, thanks}. The model has just read so and outputs ŷ = [0.1, 0.6, 0.2, 0.1]. The true next word is long. How bad was this guess, as a single number?

صغّر المفردات إلى أربع كلمات، {so, long, and, thanks}. النموذج قرأ للتو so وأخرج ŷ = [0.1, 0.6, 0.2, 0.1]. الكلمة التالية الصحيحة هي long. ما مدى سوء هذا التخمين، معبَّرًا عنه برقم واحد؟

What a good loss must doما الذي يجب أن تفعله الخسارة الجيدة

Slide 20 lists the requirements in plain words. We want the model to put high probability on the true word w. The loss should therefore be small when that probability is high and large when it is low, and training should move the weights to raise the probability of the true word. The loss that does this is the same one you met for logistic regression and skip-gram in lecture 4: the Cross-entropy loss.

الشريحة 20 تسرد المتطلبات بكلمات بسيطة. نريد من النموذج أن يضع احتمالًا عاليًا على الكلمة الصحيحة w. لذلك يجب أن تكون الخسارة صغيرة عندما يكون ذلك الاحتمال عاليًا وكبيرة عندما يكون منخفضًا، ويجب أن يحرّك التدريب الأوزان لرفع احتمال الكلمة الصحيحة. الخسارة التي تحقق ذلك هي نفسها التي رأيتها مع logistic regression وskip-gram في المحاضرة 4: cross-entropy loss.

From the full sum to one termمن المجموع الكامل إلى حد واحد

Cross-entropy measures the gap between two distributions: the correct one y_t and the predicted one ŷ_t that the softmax produced. Written out over the whole vocabulary V:

تقيس الإنتروبيا المتقاطعة الفجوة بين توزيعين: التوزيع الصحيح y_t والتوزيع المتنبأ به ŷ_t الذي أنتجه الـ softmax. وعند كتابتها على كامل المفردات V:

The correct distribution is one-hot. It puts 1 on the word that really comes next and 0 on every other word. Multiply anything by 0 and it disappears, so every term in the sum vanishes except the one for the true word, where the factor is 1:

التوزيع الصحيح من نوع one-hot. فهو يضع 1 على الكلمة التي تأتي فعلًا بعدها ويضع 0 على كل كلمة أخرى. أي شيء يُضرب في 0 يختفي، لذلك تتلاشى كل حدود المجموع ما عدا حد الكلمة الصحيحة، حيث يكون المعامل 1:

Drag the slider and watch the shape of -ln p. Between 0.6 and 1 the curve is almost flat, so a model that is already right gains little from becoming more confident. Below about 0.1 the curve climbs steeply, so a confident miss is punished hard. That asymmetry is exactly what pushes the model to never give the true word a near-zero probability.

اسحب المؤشر وراقب شكل -ln p. بين 0.6 و1 يكون المنحنى شبه مسطح، لذلك فإن النموذج المصيب أصلًا لا يكسب الكثير من زيادة ثقته. وتحت 0.1 تقريبًا يصعد المنحنى بحدة، لذلك يُعاقَب الخطأ الواثق بشدة. هذا اللاتماثل هو بالضبط ما يدفع النموذج إلى ألا يعطي الكلمة الصحيحة احتمالًا قريبًا من الصفر أبدًا.

From one word to a whole sequenceمن كلمة واحدة إلى تسلسل كامل

A training sentence gives one loss per position. The figure on slide 14 (and again on slide 42 for transformers) sums the per-step losses and divides by the length T, so the sequence loss is the average:

جملة التدريب الواحدة تعطي خسارة واحدة لكل موضع. الشكل في الشريحة 14 (ومرة أخرى في الشريحة 42 مع الـ transformers) يجمع خسائر الخطوات ويقسمها على الطول T، لذلك تكون خسارة التسلسل هي المتوسط:

Back to “so long and thanks”. At step 2 the model has read so long and predicts the instead of and. It pays its loss, -log ŷ[and]. Now, what should it read at step 3: its own mistaken the, or the real word and?

لنعد إلى «so long and thanks». عند الخطوة 2 قرأ النموذج so long وتنبأ بـ the بدلًا من and. يدفع خسارته، -log ŷ[and]. والآن، ماذا يجب أن يقرأ عند الخطوة 3: كلمته الخاطئة the، أم الكلمة الحقيقية and؟

The ruleالقاعدة

Teacher forcing answers: always the real word. At each position t the model sees the correct tokens w_(1:t), computes the loss -log ŷ_t[w_(t+1)] for the next token, and then, at position t+1, its own prediction is ignored. The gold word w_(t+1) is added to the context and training moves on. In an RNN this means the input at each step is the true word, combined with the Hidden state that summarizes the true history so far.

يجيب teacher forcing: دائمًا الكلمة الحقيقية. عند كل موضع t يرى النموذج الـ tokens الصحيحة w_(1:t)، ويحسب الخسارة -log ŷ_t[w_(t+1)] للـ token التالي، ثم عند الموضع t+1 يُتجاهَل تنبؤه هو. تُضاف الكلمة الصحيحة (gold) w_(t+1) إلى السياق ويمضي التدريب. في الـ RNN يعني هذا أن المُدخل عند كل خطوة هو الكلمة الحقيقية، مع hidden state الذي يلخّص التاريخ الحقيقي حتى تلك اللحظة.

Why train this wayلماذا نتدرب بهذه الطريقة

• Stable targets. Every step is graded against a sensible history. Early in training the model's own guesses are nearly random, so feeding them back would turn later steps into nonsense and their losses would teach nothing useful.أهداف مستقرة. كل خطوة تُقيَّم مقابل تاريخ منطقي. في بداية التدريب تكون تخمينات النموذج شبه عشوائية، فلو أعدناها إليه كمُدخلات لتحولت الخطوات اللاحقة إلى هراء، ولما علّمت خسائرها شيئًا مفيدًا.
• Faster convergence. One early mistake cannot derail the rest of the sentence, so each gradient carries a clean signal. Jurafsky and Martin note that teacher forcing speeds up training.تقارب أسرع. خطأ مبكر واحد لا يمكنه أن يُخرج بقية الجملة عن مسارها، لذلك يحمل كل gradient إشارة نظيفة. ويذكر Jurafsky وMartin أن teacher forcing يسرّع التدريب.
• Inputs known in advance. Because no input depends on a sampled output, the whole input and target sequence is fixed before the forward pass. An RNN still computes hidden states in order, but nothing has to be sampled between steps. A transformer goes further: with the Causal (masked) self-attention, it computes all positions' losses in one pass, which is the Parallel training you will see in part 8.المدخلات معروفة مسبقًا. لأنه لا يوجد مُدخل يعتمد على مُخرج تم أخذه بالعيّنة (sampled)، فإن تسلسل المدخلات والأهداف كله محدد قبل الـ forward pass. الـ RNN ما زال يحسب الـ hidden states بالترتيب، لكن لا حاجة إلى أخذ أي عيّنة بين الخطوات. والـ transformer يذهب أبعد من ذلك: مع causal mask، يحسب خسائر كل المواضع في تمريرة واحدة، وهذا هو parallel training الذي ستراه في الجزء 8.

The price: exposure biasالثمن: exposure bias

Read this sentence: "The chicken didn’t cross the road because it was too tired." You know at once that it means the chicken. Roads do not get tired. To build a good vector for it, a model has to pull in information from chicken, which sits 6 tokens earlier.