LSTM gates, RNN variants and encoder-decoder RNNsبوابات LSTM ومتغيرات RNN وشبكات Encoder-decoder

Read this sentence word by word: “The keys that I left on the kitchen table yesterday aregone.” To choose are rather than is, a model must remember that the subject, keys, was plural, and hold that fact across eight intervening words while ignoring table, which is singular. A simple RNN rewrites its whole Hidden state at every step, so the fact “plural subject” has to survive eight full rewrites. In practice it fades, and during training the signal that should teach it to survive fades too: this is the Vanishing gradient problem.

اقرأ هذه الجملة كلمة كلمة: “The keys that I left on the kitchen table yesterday are gone.” (المفاتيح التي تركتها على طاولة المطبخ أمس اختفت). لكي يختار النموذج are بدلًا من is، يجب أن يتذكر أن الفاعل keys جمع، وأن يحتفظ بهذه المعلومة عبر ثماني كلمات فاصلة متجاهلًا كلمة table وهي مفردة. شبكة RNN البسيطة تعيد كتابة hidden state (الحالة المخفية) بالكامل في كل خطوة، لذلك يجب أن تنجو معلومة “الفاعل جمع” من ثماني عمليات إعادة كتابة كاملة. عمليًا تتلاشى هذه المعلومة، وأثناء التدريب تتلاشى أيضًا الإشارة التي يفترض أن تعلّمها البقاء: هذه هي مشكلة vanishing gradient (تلاشي التدرج).

The Long short-term memory (LSTM) changes the design rather than the training. It adds a second vector that runs beside the hidden state, the Cell state C(t), and it only lets three small learned switches touch it. One switch decides what to erase, one decides what to write, and one decides how much of the memory to reveal. When nothing needs to change, the switches can leave the memory almost untouched for many steps. The diagram on slide 6 is Christopher Olah’s drawing: the horizontal line across the top of each block is the cell state, the yellow boxes are learned layers, and the pink circles are elementwise operations.

تغيّر LSTM التصميم نفسه لا طريقة التدريب. فهي تضيف متجهًا ثانيًا يسير بجانب الحالة المخفية، وهو cell state (حالة الخلية) C(t)، ولا تسمح بلمسه إلا لثلاثة مفاتيح صغيرة متعلَّمة. مفتاح يقرر ماذا يُمحى، ومفتاح يقرر ماذا يُكتب، ومفتاح يقرر كم يُكشف من الذاكرة. عندما لا يلزم تغيير شيء، تستطيع المفاتيح أن تترك الذاكرة شبه سليمة لخطوات كثيرة. المخطط في الشريحة 6 من رسم Christopher Olah: الخط الأفقي أعلى كل كتلة هو حالة الخلية، والمربعات الصفراء طبقات متعلَّمة، والدوائر الوردية عمليات تُجرى عنصرًا بعنصر.

Every gate is the same recipeكل البوابات تتبع الوصفة نفسها

All three gates on slide 7 share one form. Take the previous hidden state and the current input, glue them into one longer vector [h(t-1), x(t)] (this bracket is concatenation, not a list of two things fed separately), multiply by the gate’s own weight matrix, add its bias, and squash with the sigmoid σ. The sigmoid output lies between 0 and 1. That is all the arrow in “(0 → 1)” on the slide means: the range of the gate value, not a transition from 0 to 1 over time.

البوابات الثلاث في الشريحة 7 لها الشكل نفسه. خذ الحالة المخفية السابقة والمدخل الحالي، وألصقهما في متجه واحد أطول [h(t-1), x(t)] (هذا القوس يعني الضمّ concatenation، وليس قائمة من شيئين يُمرَّر كل منهما وحده)، ثم اضربه في مصفوفة الأوزان الخاصة بالبوابة، وأضف الانحياز (bias)، ثم اضغطه بدالة sigmoid σ. ناتج sigmoid يقع بين 0 و1. وهذا كل ما يعنيه السهم في “(0 → 1)” على الشريحة: إنه مدى قيمة البوابة، وليس انتقالًا من 0 إلى 1 مع مرور الزمن.

A fourth layer has the same shape but uses tanh instead of σ. It proposes the new content, the candidate C̃(t), with values between -1 and 1 so it can push memory up or down:

طبقة رابعة لها الشكل نفسه لكنها تستخدم tanh بدلًا من σ. هي تقترح المحتوى الجديد، أي المرشح C̃(t)، بقيم بين -1 و1 حتى تستطيع رفع الذاكرة أو خفضها:

Then the two update lines, which are the heart of the LSTM:

ثم يأتي سطرا التحديث، وهما قلب LSTM:

The slide writes the products with a dot, f(t) · C(t-1). Here the dot means the elementwise (Hadamard) product, written ⊙ above: component k of the result is component k of f(t) times component k of C(t-1). It is not a dot product, which would collapse two vectors into one number. Because each component has its own gate value, the LSTM can keep dimension 3 (say, “subject is plural”) while erasing dimension 7 in the same step.

تكتب الشريحة حواصل الضرب بنقطة، f(t) · C(t-1). النقطة هنا تعني الضرب عنصرًا بعنصر (elementwise أو Hadamard product)، المكتوب ⊙ في المعادلات أعلاه: المكوّن k من الناتج يساوي المكوّن k من f(t) مضروبًا في المكوّن k من C(t-1). إنه ليس الضرب النقطي (dot product) الذي يختزل متجهين في رقم واحد. ولأن لكل مكوّن قيمة بوابة خاصة به، تستطيع LSTM أن تحتفظ بالبُعد 3 (مثلًا “الفاعل جمع”) وتمحو البُعد 7 في الخطوة نفسها.

What each gate does at its extremesماذا تفعل كل بوابة عند قيمها القصوى

• Forget gate near 1: the old memory passes through almost unchanged. Near 0: it is wiped. A language model might drop the subject’s number once the verb has been produced.forget gate (بوابة النسيان) قريبة من 1: تمر الذاكرة القديمة شبه دون تغيير. قريبة من 0: تُمسح. قد يتخلص نموذج لغة من معلومة عدد الفاعل بعد أن يكون قد أنتج الفعل.
• Input gate near 0: nothing new is written, whatever the candidate says. Near 1: the full candidate is added.input gate (بوابة الإدخال) قريبة من 0: لا يُكتب شيء جديد مهما كان المرشح. قريبة من 1: يُضاف المرشح كاملًا.
• Output gate near 0: the memory is kept privately and h(t) is close to 0, so this step’s prediction ignores it. Near 1: the whole squashed memory tanh(C(t)) is shown.output gate (بوابة الإخراج) قريبة من 0: تُحفظ الذاكرة سرًّا وتكون h(t) قريبة من 0، فيتجاهلها تنبؤ هذه الخطوة. قريبة من 1: تظهر الذاكرة المضغوطة كاملة tanh(C(t)).

Note the separation: the output gate changes only h(t), never C(t). The LSTM can hide a fact for ten words and still have it intact when it becomes useful.

لاحظ هذا الفصل: بوابة الإخراج تغيّر h(t) فقط، ولا تغيّر C(t) أبدًا. تستطيع LSTM أن تخفي معلومة لعشر كلمات وتبقى سليمة لديها عندما تصبح مفيدة.

Real gate values come out of a sigmoid, so they approach 0 and 1 but never reach them exactly. The presets use the limits to make the behavior obvious. Try holding f at 1 and i at 0, then move the output gate: h(t) changes, C(t) does not.

قيم البوابات الحقيقية تخرج من sigmoid، لذلك تقترب من 0 و1 لكنها لا تصل إليهما تمامًا. الإعدادات الجاهزة تستخدم الحدود لتجعل السلوك واضحًا. جرّب تثبيت f عند 1 وi عند 0، ثم حرّك بوابة الإخراج: تتغير h(t) ولا تتغير C(t).

Why the additive update helpsلماذا يساعد التحديث الجمعي

In a simple RNN, h(t) = g(U h(t-1) + W x(t)): the old state goes through a weight matrix and a squashing function at every step, and backpropagation multiplies by those factors again and again on the way back, so the gradient tends to shrink toward zero. In the LSTM, the direct path from C(t-1) to C(t) is just “multiply by f(t), then add something.” There is no weight matrix and no squashing on that path, so its local derivative is simply f(t). When the forget gate stays near 1, information flows forward and gradient flows backward along the cell line with little loss. This is often called a gradient highway. It eases the vanishing gradient problem; it does not abolish it, because a forget gate below 1 still shrinks the signal over very long spans.

في RNN البسيطة، h(t) = g(U h(t-1) + W x(t)): تمر الحالة القديمة عبر مصفوفة أوزان ودالة ضاغطة في كل خطوة، والانتشار العكسي (backpropagation) يضرب في هذه العوامل مرة بعد مرة في طريق العودة، فيميل التدرج إلى الانكماش نحو الصفر. أما في LSTM فالمسار المباشر من C(t-1) إلى C(t) هو ببساطة “اضرب في f(t) ثم أضف شيئًا”. لا توجد على هذا المسار مصفوفة أوزان ولا دالة ضاغطة، لذلك مشتقته المحلية هي f(t) فقط. عندما تبقى بوابة النسيان قريبة من 1، تتدفق المعلومات إلى الأمام والتدرج إلى الخلف على خط الخلية بخسارة قليلة. يُسمى هذا غالبًا الطريق السريع للتدرج (gradient highway). إنه يخفف مشكلة تلاشي التدرج ولا يلغيها، لأن بوابة نسيان أقل من 1 ما زالت تقلّص الإشارة عبر مسافات طويلة جدًا.

Slide 8 names three ideas with one bullet each. They answer three different questions: can the gating be simpler, can a position see words to its right, and can the network be deeper?

تذكر الشريحة 8 ثلاث أفكار بنقطة واحدة لكل منها. وهي تجيب عن ثلاثة أسئلة مختلفة: هل يمكن أن تكون البوابات أبسط؟ هل يمكن لموضع ما أن يرى الكلمات التي على يمينه؟ وهل يمكن أن تكون الشبكة أعمق؟

The GRU: two gates, no separate cellGRU: بوابتان ولا خلية منفصلة

The Gated recurrent unit (GRU) merges the LSTM’s cell state and hidden state into one vector h(t) and uses two gates instead of three. The reset gate r(t) decides how much of the past to use when proposing new content. The update gate z(t) decides how to blend old and new, playing the role of the LSTM’s forget and input gates together:

تدمج GRU حالة الخلية والحالة المخفية في LSTM في متجه واحد h(t)، وتستخدم بوابتين بدلًا من ثلاث. بوابة إعادة الضبط (reset gate) r(t) تقرر كم يُستخدم من الماضي عند اقتراح المحتوى الجديد. بوابة التحديث (update gate) z(t) تقرر كيف يُمزج القديم بالجديد، فتؤدي دور بوابتي النسيان والإدخال في LSTM معًا:

With z(t) near 0 the old state is copied, the same carry-forward behavior as an LSTM with its forget gate open and input gate closed. With fewer parameters per unit, a GRU is a little cheaper and often performs about as well; neither one wins on every task.

عندما تكون z(t) قريبة من 0 تُنسخ الحالة القديمة، وهو سلوك الحمل إلى الأمام نفسه في LSTM عندما تكون بوابة النسيان مفتوحة وبوابة الإدخال مغلقة. ولأن عدد معاملات كل وحدة أقل، فإن GRU أرخص قليلًا وكثيرًا ما تؤدي بمستوى مقارب؛ ولا تتفوق أي منهما في كل المهام.

Bidirectional RNNs: read both waysشبكات RNN ثنائية الاتجاه: القراءة في الاتجاهين

Consider tagging bank in “I sat by the bank of the river.” A left-to-right RNN at bank has seen only “I sat by the,” but the deciding word, river, comes later. A Bidirectional RNN runs two independent RNNs over the sentence: a forward one from the first word to the last and a backward one from the last word to the first. At each position it concatenates the two states, so the representation of bank carries information from both sides. The top figure on slide 8 shows exactly that: RNN 1 forward, RNN 2 backward, outputs concatenated.

فكّر في وسم كلمة bank في “I sat by the bank of the river.” (جلست عند ضفة النهر). شبكة RNN تقرأ من اليسار إلى اليمين لم ترَ عند bank إلا “I sat by the”، لكن الكلمة الحاسمة، river، تأتي لاحقًا. شبكة bidirectional RNN (ثنائية الاتجاه) تشغّل شبكتي RNN مستقلتين على الجملة: أمامية من الكلمة الأولى إلى الأخيرة، وخلفية من الكلمة الأخيرة إلى الأولى. وعند كل موضع تضم الحالتين، فيحمل تمثيل bank معلومات من الجانبين. الشكل العلوي في الشريحة 8 يبيّن ذلك تمامًا: RNN 1 أمامية، وRNN 2 خلفية، والمخرجات مضمومة.

The price is that the backward RNN cannot start until the last word exists. That is fine for tagging, classification and encoding a sentence that is already complete. It is impossible for generating text left to right, where the future words are exactly what you are trying to produce.

الثمن أن الشبكة الخلفية لا تستطيع البدء حتى توجد الكلمة الأخيرة. هذا مقبول في الوسم والتصنيف وترميز جملة مكتملة أصلًا. لكنه مستحيل عند توليد النص من اليسار إلى اليمين، حيث الكلمات المستقبلية هي بالضبط ما تحاول إنتاجه.

Stacked RNNs: depth over timeشبكات RNN المكدسة: عمق فوق الزمن

A Stacked (multi-layer) RNN places RNN layers on top of each other. Layer 1 reads the word embeddings x(1) … x(n) and produces a sequence of hidden states; that entire output sequence becomes the input sequence of layer 2, and so on. The final output is taken from the top layer. As in deep feedforward networks, lower layers tend to capture local, surface patterns and higher layers more abstract ones. The bottom figure on slide 8 shows three stacked layers. More layers cost more computation and are harder to train, so the right depth is found by experiment.

شبكة stacked RNN (المكدسة) تضع طبقات RNN بعضها فوق بعض. الطبقة 1 تقرأ تضمينات الكلمات (word embeddings) x(1) … x(n) وتنتج تسلسلًا من الحالات المخفية؛ ويصبح تسلسل المخرجات هذا بأكمله تسلسل مدخلات الطبقة 2، وهكذا. ويؤخذ المخرج النهائي من الطبقة العليا. وكما في الشبكات الأمامية العميقة، تميل الطبقات السفلى إلى التقاط أنماط محلية سطحية، والطبقات العليا إلى أنماط أكثر تجريدًا. الشكل السفلي في الشريحة 8 يبيّن ثلاث طبقات مكدسة. الطبقات الإضافية تكلّف حسابًا أكثر وتجعل التدريب أصعب، لذلك يُحدَّد العمق المناسب بالتجربة.

These ideas combine. LSTM or GRU units can be placed into any of these layouts, which is why slide 11 can speak of a stacked bidirectional LSTM, a “stacked BLSTM.”

هذه الأفكار تتجمع معًا. يمكن وضع وحدات LSTM أو GRU في أي من هذه التركيبات، ولهذا تتحدث الشريحة 11 عن LSTM مكدسة ثنائية الاتجاه، أي “stacked BLSTM”.

Slide 9 translates “Zaid went to his house” into Arabic: ذهب زيد إلى بيته (dhahab zayd ’iilaa baytihi), glossed word by word as “went Zaid to his-house.” The verb moves to the front, because Arabic often uses verb, subject, object order. The two words his house become one word, بيته, so five English words come out as four Arabic words.

تترجم الشريحة 9 الجملة “Zaid went to his house” إلى العربية: ذهب زيد إلى بيته (dhahab zayd ’iilaa baytihi)، ومقابلها كلمة بكلمة بالإنجليزية “went Zaid to his-house.” ينتقل الفعل إلى البداية، لأن العربية تستخدم كثيرًا ترتيب الفعل ثم الفاعل ثم المفعول. والكلمتان his house تصبحان كلمة واحدة، بيته، فتخرج خمس كلمات إنجليزية على شكل أربع كلمات عربية.

Try to do this with a tagger that emits one output per input as it reads. At the first English word, Zaid, the tagger would have to emit the first Arabic word, went, which it has not seen yet. The output at each position depends on the whole input, not on the word at the same position, and the output length need not match the input length. That is what slide 9 means by “the output sequence is a complex function of the entire input sequence.”

حاول أن تفعل ذلك بأداة وسم (tagger) تُخرج مخرجًا واحدًا لكل مدخل أثناء القراءة. عند أول كلمة إنجليزية، Zaid، سيتعين على الأداة إخراج أول كلمة عربية، “ذهب” (went)، وهي لم ترها بعد. المخرج عند كل موضع يعتمد على المدخل كله، لا على الكلمة في الموضع نفسه، ولا يلزم أن يساوي طول المخرج طول المدخل. هذا ما تقصده الشريحة 9 بقولها “تسلسل المخرجات دالة معقدة لتسلسل المدخلات بأكمله”.

Two networks with one job eachشبكتان، لكل منهما مهمة واحدة

The Encoder-decoder (seq2seq) architecture, also called sequence to sequence, splits the work. An encoder reads the entire input x(1) … x(n) and builds a contextualized representation of it, which the slide calls the context. A decoder receives that context and generates the output y(1) … y(m) one token at a time, with m free to differ from n. Slide 10’s figure is that idea and nothing more: encoder, context, decoder. It does not yet say what the encoder and decoder are made of; LSTMs, CNNs and transformers can all fill those boxes.

معمارية encoder-decoder، وتسمى أيضًا sequence to sequence، تقسم العمل. المُرمِّز (encoder) يقرأ المدخل كاملًا x(1) … x(n) ويبني له تمثيلًا سياقيًا، تسميه الشريحة context (السياق). والمُفكِّك (decoder) يستقبل هذا السياق ويولّد المخرج y(1) … y(m) رمزًا (token) بعد رمز، مع حرية أن يختلف m عن n. شكل الشريحة 10 هو هذه الفكرة لا أكثر: مُرمِّز، سياق، مُفكِّك. ولا يحدد بعد مما يُصنع المُرمِّز والمُفكِّك؛ فـLSTM وCNN وtransformers كلها يمكن أن تملأ هذين الصندوقين.

Slide 11 is figure 14.17 from the textbook. It translates the English “the green witch arrived” into the Spanish “llegó la bruja verde,” glossed “arrived the witch green”: the verb moves to the front and the adjective moves after the noun, the same kind of reordering as the Arabic example.

الشريحة 11 هي الشكل 14.17 من الكتاب. يترجم الجملة الإنجليزية “the green witch arrived” (وصلت الساحرة الخضراء) إلى الإسبانية “llegó la bruja verde,” ومقابلها كلمة بكلمة “arrived the witch green”: ينتقل الفعل إلى البداية وتنتقل الصفة إلى ما بعد الاسم، وهو النوع نفسه من إعادة الترتيب في المثال العربي.

Walking through the figureالمرور على الشكل خطوة خطوة

1. Encode. The source words the, green, witch, arrived are embedded and fed through the RNN one by one. The figure notes that the output of the source is ignored: no softmax prediction is used while reading the English.الترميز. كلمات المصدر the, green, witch, arrived تُحوَّل إلى تضمينات وتُمرَّر عبر RNN واحدة تلو الأخرى. يوضح الشكل أن مخرجات المصدر تُتجاهل: لا يُستخدم أي تنبؤ softmax أثناء قراءة الإنجليزية.
2. Hand over the context. The final hidden state, h(n) (the green box), becomes the context c, and it initializes the decoder: h(0) of the decoder = c. In the textbook’s fuller version, c is also fed to every decoder step so its influence does not fade.تسليم السياق. الحالة المخفية الأخيرة h(n) (الصندوق الأخضر) تصبح السياق c، وتُستخدم لتهيئة المُفكِّك: h(0) of the decoder = c. وفي النسخة الأكمل في الكتاب، تُمرَّر c أيضًا إلى كل خطوة من خطوات المُفكِّك حتى لا يتلاشى أثرها.
3. Start decoding. The separator <s> is the first decoder input. The decoder computes a softmax over the Spanish vocabulary and produces llegó.بدء فك الترميز. الفاصل <s> هو أول مدخل للمُفكِّك. يحسب المُفكِّك softmax على مفردات الإسبانية ويُنتج llegó.
4. Feed back. At inference time, each generated word is the next input, which is Autoregressive generation: llegó produces la, la produces bruja, and so on. During training, the correct previous word is fed instead, which is Teacher forcing.التغذية الراجعة. وقت الاستدلال (inference) تكون كل كلمة مولَّدة هي المدخل التالي، وهذا هو autoregressive generation (التوليد الانحداري الذاتي): llegó تُنتج la، وla تُنتج bruja، وهكذا. أما أثناء التدريب فتُمرَّر الكلمة السابقة الصحيحة بدلًا من ذلك، وهذا هو teacher forcing.
5. Stop. Decoding ends when the model emits </s>.التوقف. ينتهي فك الترميز عندما يُخرج النموذج </s>.

Each target word is predicted from the target words already produced and the source, which reaches the decoder only through c. In other words, the decoder is the RNN language model of part 03 with its starting state replaced by a summary of the source sentence.

كل كلمة هدف يُتنبأ بها من كلمات الهدف التي أُنتجت سابقًا ومن المصدر، والمصدر لا يصل إلى المُفكِّك إلا عبر c. بعبارة أخرى، المُفكِّك هو نموذج اللغة المبني على RNN من الجزء 03، مع استبدال حالته الابتدائية بملخص لجملة المصدر.

What real encoders look likeكيف تبدو المُرمِّزات الحقيقية

The slide’s two bullets describe practice, not the drawing. Stacked architectures are the norm, and the states of the top layer are taken as the encoder’s output. A widely used encoder is a stacked bidirectional LSTM, and at each position the forward and backward top-layer states are concatenated. This is the same combination of the three slide-8 ideas: LSTM units, bidirectional reading (allowed here, because the source sentence is complete before encoding starts), and stacking. The decoder, which generates, stays left to right.

النقطتان في الشريحة تصفان الممارسة الفعلية، لا الرسم. المعماريات المكدسة هي القاعدة، وتؤخذ حالات الطبقة العليا على أنها مخرج المُرمِّز. ومن المُرمِّزات الواسعة الاستخدام LSTM مكدسة ثنائية الاتجاه، وعند كل موضع تُضم الحالتان الأمامية والخلفية للطبقة العليا. هذا هو الجمع نفسه بين أفكار الشريحة 8 الثلاث: وحدات LSTM، والقراءة ثنائية الاتجاه (مسموحة هنا لأن جملة المصدر مكتملة قبل بدء الترميز)، والتكديس. أما المُفكِّك، الذي يولّد، فيبقى من اليسار إلى اليمين.

The bottleneckعنق الزجاجة

Everything the decoder knows about the source sentence must pass through one fixed-size vector, c = h(n). For four words that is manageable. For a forty-word sentence, the same vector must hold every name, number and clause, and the first words have been through the most updates before the encoder finishes, so they tend to be represented least well. Making the vector larger helps only a little. This is the bottleneck problem, and its solution, letting the decoder look at all encoder states with weights that change at every output step, is attention, which part 05 introduces.

كل ما يعرفه المُفكِّك عن جملة المصدر يجب أن يمر عبر متجه واحد ثابت الحجم، c = h(n). مع أربع كلمات يمكن التعامل مع ذلك. أما مع جملة من أربعين كلمة، فيجب أن يحمل المتجه نفسه كل اسم ورقم وعبارة، والكلمات الأولى تكون قد مرت بأكبر عدد من التحديثات قبل أن ينتهي المُرمِّز، لذلك تميل إلى أن تكون الأسوأ تمثيلًا. وتكبير المتجه لا يساعد إلا قليلًا. هذه هي مشكلة عنق الزجاجة (bottleneck)، وحلها هو السماح للمُفكِّك بالنظر إلى كل حالات المُرمِّز بأوزان تتغير عند كل خطوة إخراج، وهذا هو الانتباه (attention) الذي يقدمه الجزء 05.