Sequence task shapes and the recurrent cellأشكال مهام التسلسل والخلية المتكررة

Take the sentence "The students who sat the midterm on Monday ___". A trigram model sees only "on Monday" and has no idea the blank belongs to a plural subject six words back. Every idea in this lecture is a better answer to that one problem: how to let the prediction depend on the whole history, not a fixed window of counts.

خذ الجملة "The students who sat the midterm on Monday ___". نموذج الـ trigram لا يرى إلا "on Monday"، وليست لديه أي فكرة أن الفراغ يعود إلى فاعل جمع يقع قبل ست كلمات. كل فكرة في هذه المحاضرة هي إجابة أفضل عن هذه المشكلة الواحدة: كيف نجعل التنبؤ يعتمد على التاريخ كله، لا على نافذة ثابتة من الأعداد.

The lecture is organized in four arcs, and each one fixes a limit of the one before it.

تنتظم المحاضرة في أربعة محاور، وكل محور يعالج قيدًا في المحور الذي قبله.

1. Deep learning architectures: The Recurrent neural network (RNN) reads a sequence one token at a time and carries a memory forward. The Long short-term memory (LSTM) adds gates so that memory survives longer, and the Encoder-decoder (seq2seq) joins two RNNs so input and output sequences can have different lengths.معماريات التعلم العميق: تقرأ recurrent neural network التسلسل token تلو الآخر وتحمل معها ذاكرة إلى الأمام. ويضيف الـ LSTM بوابات (gates) حتى تصمد تلك الذاكرة مدة أطول، ويربط الـ encoder-decoder شبكتي RNN معًا حتى يمكن أن يختلف طول تسلسل الإدخال عن طول تسلسل الإخراج.
2. Neural language models: A Neural language model uses an RNN to predict the next word, replacing the sparse counts of a Count-based (n-gram) language model with learned vectors, and is trained with cross-entropy and teacher forcing.نماذج اللغة العصبية: يستخدم neural language model شبكة RNN للتنبؤ بالكلمة التالية، فيستبدل الأعداد المتناثرة (sparse counts) في count-based LM بمتجهات متعلَّمة، ويُدرَّب باستخدام cross-entropy وteacher forcing.
3. Transformers: The Transformer drops recurrence entirely and lets every position look at every other position directly through Self-attention.المحوّلات: يتخلى الـ transformer عن التكرار تمامًا، ويسمح لكل موضع بأن ينظر إلى كل موضع آخر مباشرة عبر self-attention.
4. Transformer language models: Stacks of transformer blocks become decoder-only models such as GPT and encoder-only models such as BERT, with a language modeling head on top.نماذج اللغة المبنية على المحوّل: تتحول طبقات متراصّة من كتل المحوّل إلى نماذج من نوع decoder-only مثل GPT، ونماذج من نوع encoder-only مثل BERT، وفوقها رأس لنمذجة اللغة (language modeling head).

Keep the thread in mind as you read: RNNs process tokens in order, so they are natural for sequences but slow to train and forgetful over long distances. Transformers answer both complaints. You cannot appreciate why attention matters until you have seen exactly where recurrence breaks, and that is what the rest of this part sets up.

أبقِ هذا الخيط في ذهنك وأنت تقرأ: تعالج الـ RNN الـ tokens بالترتيب، لذلك هي طبيعية للتسلسلات، لكنها بطيئة في التدريب وتنسى عبر المسافات الطويلة. المحوّلات تجيب عن الشكويين معًا. ولن تقدّر أهمية الانتباه (attention) حتى ترى بالضبط أين ينهار التكرار، وهذا ما تمهّد له بقية هذا الجزء.

Consider three jobs. Decide whether a movie review is positive. Tag every word of a sentence with its part of speech. Translate an English sentence into Arabic. All three take a sentence as input, yet they need very different networks, because what comes out differs: one label, one label per word, or a whole new sentence.

تأمّل ثلاث مهام. قرّر هل مراجعة فيلم إيجابية. ضع لكل كلمة في جملة وسمَ قسمها الكلامي (part of speech). ترجم جملة إنجليزية إلى العربية. المهام الثلاث كلها تأخذ جملة مدخلًا، ومع ذلك تحتاج إلى شبكات مختلفة جدًا، لأن ما يخرج مختلف: تسمية واحدة، أو تسمية لكل كلمة، أو جملة جديدة كاملة.

These input/output configurations are the sequence task shapes. Slide 3 reproduces Andrej Karpathy's well-known figure of five of them. Red boxes are inputs, green boxes are the hidden state, blue boxes are outputs, and the horizontal green arrows are the recurrence that carries state from one step to the next. The slide gives no example task, so here is the mapping you should be able to reproduce in an exam.

هذه التشكيلات من الإدخال والإخراج هي sequence task shapes (أشكال مهام التسلسل). تعيد الشريحة 3 رسم الشكل المشهور لـ Andrej Karpathy الذي يعرض خمسة منها. المربعات الحمراء هي المدخلات، والخضراء هي الحالة المخفية (hidden state)، والزرقاء هي المخرجات، والأسهم الخضراء الأفقية هي التكرار الذي ينقل الحالة من خطوة إلى التالية. لا تعطي الشريحة أي مهمة مثالًا، لذلك إليك الربط الذي يجب أن تستطيع إعادة كتابته في الاختبار.

Pick a shape below and try to name a task for it before revealing the examples. The diagram redraws with the same color code as the slide: grey for inputs, the accent color for hidden states, teal for outputs.

اختر شكلًا أدناه وحاول أن تسمّي مهمة له قبل أن تكشف الأمثلة. يُعاد رسم المخطط بنفس ترميز الألوان في الشريحة: الرمادي للمدخلات، ولون التمييز (accent) للحالات المخفية، والأزرق المخضرّ (teal) للمخرجات.

Read the figure by asking two questionsاقرأ الشكل بطرح سؤالين

You do not need to memorize five pictures. Ask two questions of any task. First, is the input a sequence, and is the output a sequence? That separates one to one, one to many, many to one and many to many. Second, if both are sequences, does each output line up with one input, at the same moment it is read? If yes, the shape is synchronized. If the output can only start once the whole input has been seen, it is delayed.

لا تحتاج إلى حفظ خمس صور. اطرح سؤالين على أي مهمة. الأول: هل الإدخال تسلسل، وهل الإخراج تسلسل؟ هذا يفصل بين one to one وone to many وmany to one وmany to many. الثاني: إذا كان كلاهما تسلسلًا، فهل يقابل كل مخرج مدخلًا واحدًا، في نفس اللحظة التي يُقرأ فيها؟ إذا كانت الإجابة نعم، فالشكل متزامن (synchronized). وإذا كان الإخراج لا يمكن أن يبدأ إلا بعد رؤية الإدخال كاملًا، فهو مؤجَّل (delayed).

Sentiment is many to one: the review is a sequence, the verdict is one label, and the network reads every word before deciding from its final hidden state. Spam detection is the same shape. Part-of-speech tagging and named entity recognition are synchronized many to many: the word "book" gets its tag when it is read, and the output has exactly as many labels as the input has tokens. Image captioning is one to many: one image vector in, a sentence out.

تحليل المشاعر (sentiment) هو many to one: المراجعة تسلسل، والحكم تسمية واحدة، والشبكة تقرأ كل كلمة قبل أن تقرر من حالتها المخفية الأخيرة. كشف الرسائل المزعجة (spam detection) له نفس الشكل. أما وسم أقسام الكلام (part-of-speech tagging) والتعرف على الكيانات المسماة (named entity recognition) فهما many to many متزامن: الكلمة "book" تأخذ وسمها عند قراءتها، وعدد التسميات في الإخراج يساوي تمامًا عدد الـ tokens في الإدخال. ووصف الصور (image captioning) هو one to many: متجه صورة واحد يدخل، وجملة تخرج.

Why translation needs the delayed shapeلماذا تحتاج الترجمة إلى الشكل المؤجَّل

Slide 9 later in this lecture gives the example that makes the point. English "Zaid went to his house" is five tokens. The Arabic ذهب زيد إلى بيته is four words, glossed "went Zaid to his-house". Two things break a synchronized model here. The lengths differ (five against four, because "his house" becomes one word), and the order differs (Arabic puts the verb first, verb-subject-object, while English puts the subject first). A synchronized network must emit the Arabic verb at the moment it reads "Zaid", before it has even seen "went". The only safe plan is to read the whole source first and then generate: the delayed shape, which is exactly the Encoder-decoder (seq2seq) of the next part.

تعطي الشريحة 9 لاحقًا في هذه المحاضرة المثال الذي يوضح الفكرة. الجملة الإنجليزية "Zaid went to his house" فيها خمسة tokens. والعربية ذهب زيد إلى بيته أربع كلمات، ومقابلها الحرفي "went Zaid to his-house". هناك أمران يكسران النموذج المتزامن هنا. الأطوال مختلفة (خمسة مقابل أربعة، لأن "his house" تصبح كلمة واحدة)، والترتيب مختلف (العربية تقدّم الفعل، فعل ثم فاعل ثم مفعول، بينما تقدّم الإنجليزية الفاعل). على الشبكة المتزامنة أن تُخرج الفعل العربي في اللحظة التي تقرأ فيها "Zaid"، قبل أن ترى حتى "went". الخطة الآمنة الوحيدة هي قراءة المصدر كاملًا أولًا ثم التوليد: أي الشكل المؤجَّل، وهو بالضبط الـ encoder-decoder في الجزء التالي.

Read the sentence "the movie was not good" one word at a time and keep a single running note in your head. After "not" the note says "something negative may be coming"; after "good" it says "negative overall". You never reread the sentence. You only update the note with the new word. That running note is the Hidden state, and the rule that updates it is the recurrent cell.

اقرأ الجملة "the movie was not good" كلمة كلمة، واحتفظ في ذهنك بملاحظة جارية واحدة. بعد "not" تقول الملاحظة "قد يأتي شيء سلبي"؛ وبعد "good" تقول "سلبية في المجمل". أنت لا تعيد قراءة الجملة أبدًا، بل تحدّث الملاحظة بالكلمة الجديدة فقط. تلك الملاحظة الجارية هي hidden state (الحالة المخفية)، والقاعدة التي تحدّثها هي الخلية التكرارية.

Slide 4 opens the architectures arc with its two families, RNNs and transformers. This part covers the first. Slide 5 draws the simplest Recurrent neural network (RNN) cell, taken from Christopher Olah's diagram: the previous hidden state h_(t-1) enters from the left, the current input x_t from below, both are combined and passed through one tanh layer, and the result leaves to the right as the new state h_t and upward as the output o_t.

تفتتح الشريحة 4 محور المعماريات بعائلتيه: RNNs والمحوّلات. يغطي هذا الجزء الأولى. وترسم الشريحة 5 أبسط خلية recurrent neural network، مأخوذة من مخطط Christopher Olah: تدخل الحالة المخفية السابقة h_(t-1) من اليسار، ويدخل الإدخال الحالي x_t من الأسفل، ويُدمجان ويمرّان عبر طبقة tanh واحدة، وتخرج النتيجة إلى اليمين بوصفها الحالة الجديدة h_t وإلى الأعلى بوصفها المخرج o_t.

The recurrence, written outمعادلة التكرار مكتوبة بالتفصيل

• x_t is the input at step t, for text usually a word embedding of size d_x.x_t هو الإدخال عند الخطوة t، وهو في النصوص عادة word embedding بحجم d_x.
• h_t is the hidden state of size d_h; h_0 is usually a zero vector.h_t هي الحالة المخفية بحجم d_h؛ وh_0 عادة متجه أصفار.
• W_xh (d_h × d_x) maps the input into the hidden space, W_hh (d_h × d_h) maps the old state into the new one, b is a bias.W_xh (d_h × d_x) تنقل الإدخال إلى الفضاء المخفي، وW_hh (d_h × d_h) تنقل الحالة القديمة إلى الحالة الجديدة، وb هو الانحياز (bias).
• W_hy maps the state to output scores, and a Softmax turns them into a probability distribution when the task needs one.W_hy تنقل الحالة إلى درجات الإخراج، ثم تحوّلها softmax إلى توزيع احتمالي عندما تحتاج المهمة إلى ذلك.

Jurafsky and Martin write the same equations as h_t = g(U h_(t-1) + W x_t) and y_t = f(V h_t), so in the textbook U is the recurrent matrix, W the input matrix and V the output matrix. The letters change between sources; the roles do not. The tanh keeps every component of h_t between -1 and 1, so the state cannot grow without bound as the sequence gets longer.

يكتب Jurafsky وMartin نفس المعادلات على الصورة h_t = g(U h_(t-1) + W x_t) وy_t = f(V h_t)، فتكون U في الكتاب هي المصفوفة التكرارية، وW مصفوفة الإدخال، وV مصفوفة الإخراج. الحروف تتغير بين المصادر، أما الأدوار فلا. وتُبقي tanh كل مكوّن من h_t بين -1 و1، فلا تستطيع الحالة أن تنمو بلا حد كلما طال التسلسل.

One set of weights, reused at every stepمجموعة أوزان واحدة يُعاد استخدامها في كل خطوة

The single most important property of the cell is that W_hh, W_xh, b and W_hy are the same at every time step. When you unroll the network over a four-word sentence you draw four boxes, but they are four copies of one cell, not four networks. The textbook says it directly: the weights are shared across all time steps, while new values of h and y are computed at each step.

أهم خاصية على الإطلاق في الخلية أن W_hh وW_xh وb وW_hy هي نفسها في كل خطوة زمنية. عندما تفرد (unroll) الشبكة على جملة من أربع كلمات ترسم أربعة صناديق، لكنها أربع نسخ من خلية واحدة، لا أربع شبكات. ويقولها الكتاب صراحة: الأوزان مشتركة عبر كل الخطوات الزمنية، بينما تُحسب قيم جديدة لـ h وy في كل خطوة.

Parameter sharing buys three things. The model handles sentences of any length with the same network. The number of parameters is fixed: with d_x = 100 and d_h = 128, the recurrent layer has 128 × 128 + 128 × 100 + 128 = 29,312 parameters whether the sentence has five words or five hundred. And whatever the cell learns about a pattern such as "not" followed by an adjective applies at every position, not only at the position where it was seen in training.

تمنحنا مشاركة المعاملات (parameter sharing) ثلاثة أشياء. يتعامل النموذج مع جمل بأي طول بنفس الشبكة. وعدد المعاملات ثابت: مع d_x = 100 وd_h = 128 تحتوي الطبقة التكرارية على 128 × 128 + 128 × 100 + 128 = 29,312 معاملًا سواء كانت الجملة خمس كلمات أو خمسمئة. وكل ما تتعلمه الخلية عن نمط ما، مثل "not" متبوعة بصفة، ينطبق في كل موضع، لا في الموضع الذي رأته فيه أثناء التدريب فقط.

Running the cell by handتشغيل الخلية يدويًا

The vectors hide what the recurrence does, so shrink everything to scalars. Use w_hh = 0.5, w_xh = 1, b = 0, start from h_0 = 0, and feed a single pulse followed by silence: x = [1, 0, 0, 0].

المتجهات تخفي ما يفعله التكرار، لذلك صغّر كل شيء إلى قيم عددية (scalars). استخدم w_hh = 0.5 وw_xh = 1 وb = 0، وابدأ من h_0 = 0، وأدخل نبضة واحدة يتبعها صمت: x = [1, 0, 0, 0].

Step through the same network below, and try the other recurrent weights. With w_hh = 1 the trace decays more slowly (0.762, 0.642, 0.566, 0.513); with w_hh = 2 the state saturates near 0.95 and holds itself there with no input at all, while the flat tanh makes every local factor small.

تنقّل خطوة بخطوة في نفس الشبكة أدناه، وجرّب الأوزان التكرارية الأخرى. مع w_hh = 1 يتلاشى الأثر ببطء أكبر (0.762, 0.642, 0.566, 0.513)؛ ومع w_hh = 2 تتشبّع الحالة قرب 0.95 وتثبّت نفسها هناك دون أي إدخال، بينما يجعل الجزء المسطّح من tanh كل عامل محلي صغيرًا.

What the slides imply but never say: vanishing gradientsما تلمّح إليه الشرائح ولا تقوله أبدًا: تلاشي التدرّج (vanishing gradients)

Fading in the forward pass has a twin in training. To learn that a word at step 1 matters for a prediction at step 4, backpropagation must send the error back through every intermediate state. Each step multiplies it by the local derivative

للتلاشي في التمرير الأمامي (forward pass) توأم في التدريب. لكي تتعلم الشبكة أن كلمة عند الخطوة 1 مهمة لتنبؤ عند الخطوة 4، يجب أن يرسل الانتشار العكسي (backpropagation) الخطأ عائدًا عبر كل حالة وسيطة. وكل خطوة تضربه في المشتقة المحلية

In our example these factors are 0.434, 0.484 and 0.496, so ∂h_4 / ∂h_1 ≈ 0.434 × 0.484 × 0.496 ≈ 0.104. Because the derivative of tanh is at most 1, any |w_hh| < 1 makes every factor smaller than 1, and the product shrinks geometrically with distance. Large weights do not rescue it either: they push tanh into saturation, where 1 - h² is tiny. This is the Vanishing gradient problem. Jurafsky and Martin describe it as gradients being driven to zero by the repeated multiplications of backpropagation through time, and Pascanu, Mikolov and Bengio show that the opposite case, factors above 1, causes exploding gradients, which are usually handled by clipping.

في مثالنا هذه العوامل هي 0.434 و0.484 و0.496، لذلك ∂h_4 / ∂h_1 ≈ 0.434 × 0.484 × 0.496 ≈ 0.104. ولأن مشتقة tanh لا تتجاوز 1، فإن أي |w_hh| < 1 تجعل كل عامل أصغر من 1، فيتقلص حاصل الضرب هندسيًا مع المسافة. والأوزان الكبيرة لا تنقذ الموقف أيضًا: فهي تدفع tanh إلى التشبّع، حيث تكون 1 - h² صغيرة جدًا. هذه هي مشكلة vanishing gradient. يصفها Jurafsky وMartin بأنها تدرّجات تُدفع نحو الصفر بسبب الضرب المتكرر في الانتشار العكسي عبر الزمن (backpropagation through time)، ويبيّن Pascanu وMikolov وBengio أن الحالة المعاكسة، أي عوامل أكبر من 1، تسبب انفجار التدرّج (exploding gradients)، الذي يُعالج عادة بالقصّ (clipping).