RNN language models and autoregressive generationنماذج اللغة RNN والتوليد الانحداري الذاتي

Suppose your training corpus contains "the cat sat on the mat" many times but never "the dog sat on the rug". A trigram model asked for $P(\text{rug} \mid \text{on the})$ after a dog sentence has nothing to say about dogs or rugs specifically. To the count table, cat and dog are just two unrelated column numbers. Every fact it knows about cats is useless for dogs.

افترض أن مدوّنة التدريب (corpus) تحتوي الجملة "the cat sat on the mat" مرات كثيرة، لكنها لا تحتوي أبدًا "the dog sat on the rug". نموذج trigram يُسأل عن $P(\text{rug} \mid \text{on the})$ بعد جملة عن الكلب لا يملك ما يقوله عن الكلاب أو السجاد تحديدًا. بالنسبة لجدول العدّ، cat وdog مجرد رقمي عمودين لا علاقة بينهما. وكل معلومة يعرفها عن القطط عديمة الفائدة للكلاب.

Count-based models: Markov assumption plus countingالنماذج القائمة على العدّ: افتراض ماركوف مع العدّ

A Count-based (n-gram) language model makes two moves. It assumes the next word depends only on the previous n-1 words (an n-th order Markov assumption in the slide's phrasing), and it estimates each conditional probability as a ratio of counts, then smooths so that unseen events do not get probability zero. Both moves are where the trouble lives. The window throws away anything older than n-1 words, and the counts treat each word as an atomic symbol, so the model cannot generalize from one word to a similar one. Making n larger to see more context makes the problem worse, because the number of possible n-grams grows as |V|^n: with |V| = 10,000, there are already 10^12 possible trigrams, almost all unseen.

يقوم count-based LM بخطوتين. يفترض أن الكلمة التالية تعتمد فقط على آخر n-1 كلمة (افتراض ماركوف من الرتبة n بحسب صياغة الشريحة)، ويقدّر كل احتمال شرطي بوصفه نسبة بين عددين، ثم يطبّق التنعيم (smoothing) كي لا تحصل الأحداث غير المرئية على احتمال صفر. والمشكلة تكمن في هاتين الخطوتين بالذات. النافذة تتخلص من كل ما هو أقدم من n-1 كلمة، والعدّ يعامل كل كلمة رمزًا ذريًا مستقلًا، فلا يستطيع النموذج التعميم من كلمة إلى كلمة مشابهة لها. وتكبير n لرؤية سياق أوسع يزيد المشكلة سوءًا، لأن عدد الـ n-grams الممكنة ينمو بمقدار |V|^n: فمع |V| = 10,000 يوجد بالفعل 10^12 trigram ممكن، وكلها تقريبًا لم تُرَ قط.

Neural models: words as vectors, parameters learnedالنماذج العصبية: الكلمات متجهات، والمعاملات متعلَّمة

A Neural language model attacks sparsity by representing each word as a dense vector. Training pushes words that appear in similar contexts toward similar vectors, so cat and dog end up close, and mat and rug end up close. Now the evidence from "the cat sat on the mat" also raises the probability of "the dog sat on the rug", because the network's computation is smooth in its inputs: nearby input vectors give nearby outputs. Bengio and colleagues (2003) put it this way: a new sentence can receive high probability if its words are close in representation space to words in sentences already seen. The second bullet of slide 13 matters too: nothing is counted. The vectors and all other weights are parameters learned by gradient descent as part of training.

يعالج neural language model مشكلة التناثر بتمثيل كل كلمة متجهًا كثيفًا (dense vector). التدريب يدفع الكلمات التي تظهر في سياقات متشابهة نحو متجهات متشابهة، فينتهي الأمر بـ cat وdog متقاربتين، وبـ mat وrug متقاربتين. والآن فإن الدليل الآتي من "the cat sat on the mat" يرفع أيضًا احتمال "the dog sat on the rug"، لأن حسابات الشبكة سلسة بالنسبة لمدخلاتها: المتجهات المتقاربة في المدخل تعطي مخرجات متقاربة. وقد عبّر عن ذلك Bengio وزملاؤه (2003) هكذا: الجملة الجديدة يمكن أن تنال احتمالًا عاليًا إذا كانت كلماتها قريبة في فضاء التمثيل من كلمات في جمل سبق رؤيتها. والنقطة الثانية في الشريحة 13 مهمة كذلك: لا شيء يُعدّ هنا. المتجهات وكل الأوزان الأخرى معاملات تُتعلَّم بالانحدار التدرجي (gradient descent) جزءًا من التدريب.

Lecture 04 learned embeddings with a separate method such as word2vec. Here the embedding matrix is part of the language model itself and is learned together with everything else. And because an RNN carries a hidden state forward, it also drops the fixed window: it conditions on the whole prefix, not just the last n-1 words.

في المحاضرة 04 تعلّمنا التضمينات (embeddings) بطريقة منفصلة مثل word2vec. أما هنا فمصفوفة التضمين جزء من نموذج اللغة نفسه وتُتعلَّم مع كل شيء آخر. ولأن RNN تحمل حالة مخفية إلى الأمام، فإنها تتخلص أيضًا من النافذة الثابتة: تشترط على البادئة كاملة (prefix)، لا على آخر n-1 كلمة فقط.

Take the prefix "So long and" from the slide's figure. The model must output a probability for every vocabulary word as the next word, and it should put a lot of mass on "thanks". Here is the exact path a word takes from input to that distribution, in the notation of Jurafsky and Martin (SLP3), which slide 14 uses.

خذ البادئة "So long and" من رسم الشريحة. يجب أن يُخرج النموذج احتمالًا لكل كلمة في المفردات بوصفها الكلمة التالية، وينبغي أن يضع كتلة احتمالية كبيرة على "thanks". وهذا هو المسار الدقيق الذي تسلكه الكلمة من المدخل إلى ذلك التوزيع، بترميز Jurafsky وMartin (SLP3) الذي تستخدمه الشريحة 14.

The four equationsالمعادلات الأربع

1. Embed. The current word arrives as a one-hot vector $x_t$. Multiplying by the Embedding matrix E just selects one column of $E$, the word's vector $e_t$.التضمين. تصل الكلمة الحالية متجهًا أحادي الساخن (one-hot) $x_t$. والضرب في embedding matrix يختار ببساطة عمودًا واحدًا من $E$، وهو متجه الكلمة $e_t$.
2. Recur. The new Hidden state mixes the old state, weighted by $U$, with the new word, weighted by $W$, and passes the sum through a nonlinearity $g$ such as tanh. This is the Recurrent neural network (RNN) cell of part 1; nothing new except that the input is a word embedding.التكرار. الـ hidden state الجديدة تمزج الحالة القديمة، موزونة بـ $U$، مع الكلمة الجديدة، موزونة بـ $W$، ثم تمرّر المجموع عبر دالة غير خطية $g$ مثل tanh. هذه هي خلية RNN من الجزء 1؛ لا جديد فيها سوى أن المدخل تضمين كلمة.
3. Score and normalize. $V h_t$ gives one score per vocabulary word, and Softmax turns the scores into a probability distribution $\hat{y}_t$. Its entry $\hat{y}_t[k]$ is $P(w_{t+1} = k \mid w_1, \ldots, w_t)$.حساب الدرجات والتطبيع. يعطي $V h_t$ درجة (score) واحدة لكل كلمة في المفردات، وتحوّل softmax هذه الدرجات إلى توزيع احتمالي $\hat{y}_t$. والمدخل $\hat{y}_t[k]$ منه يساوي $P(w_{t+1} = k \mid w_1, \ldots, w_t)$.
4. Pay for the mistake. In training, the Cross-entropy loss at step t looks up the probability the model gave to the true next word and takes minus its log. Part 4 derives why the full cross-entropy collapses to this one term.دفع ثمن الخطأ. أثناء التدريب، تبحث cross-entropy loss عند الخطوة t عن الاحتمال الذي أعطاه النموذج للكلمة التالية الصحيحة وتأخذ سالب لوغاريتمه. الجزء 4 يشتق لماذا تنهار الـ cross-entropy الكاملة إلى هذا الحد الوحيد.

Every shape, and where the parameters liveكل الأبعاد، وأين تقع المعاملات

Shapes are the fastest way to check you remember the equations correctly, because a wrong matrix cannot be multiplied. Write |V| for the vocabulary size, d_e for the embedding size and d_h for the hidden size. SLP3 sets d_e = d_h = d for simplicity, which makes $W$ and $U$ both d × d.

الأبعاد أسرع طريقة للتأكد من أنك تتذكر المعادلات بشكل صحيح، لأن المصفوفة الخاطئة لا يمكن ضربها. اكتب |V| لحجم المفردات، وd_e لحجم التضمين، وd_h لحجم الحالة المخفية. يضع SLP3 القيمة d_e = d_h = d للتبسيط، مما يجعل $W$ و$U$ كلتيهما بحجم d × d.

A trained RNN LM can write. Give it only the start marker <s>. It outputs a distribution over the first word; you pick "So". Now "So" becomes the next input, the model updates its hidden state and outputs a distribution for the second word; you pick "long", and so on. The model is reading its own writing.

نموذج RNN LM المدرَّب يستطيع الكتابة. أعطه علامة البداية <s> فقط. سيُخرج توزيعًا على الكلمة الأولى، فتختار "So". الآن تصبح "So" المدخل التالي، فيحدّث النموذج حالته المخفية ويُخرج توزيعًا للكلمة الثانية، فتختار "long"، وهكذا. النموذج يقرأ ما يكتبه بنفسه.

The procedureالإجراء

1. Feed <s> as the first input and compute $\hat{y}_1$.أدخل <s> مدخلًا أول واحسب $\hat{y}_1$.
2. Choose a word from that softmax distribution.اختر كلمة من توزيع softmax هذا.
3. Look up the chosen word's embedding and use it as the input at the next step, carrying the hidden state forward.ابحث عن تضمين الكلمة المختارة واستخدمه مدخلًا في الخطوة التالية، مع حمل الحالة المخفية إلى الأمام.
4. Repeat until the model produces </s> or a maximum length is reached.كرّر حتى يُنتج النموذج </s> أو يُبلَغ الحد الأقصى للطول.

This is Autoregressive generation: each output is conditioned on outputs the model itself chose earlier. SLP3 notes the name is used loosely, since a true autoregressive model in statistics is linear, while an LM is not. The procedure is exactly the Shannon-style sampling of lecture 03, with one change that matters: an n-gram sampler forgets everything older than n-1 words, while the RNN carries the whole prefix in $h_t$.

هذا هو autoregressive generation: كل مخرج مشروط بمخرجات اختارها النموذج نفسه سابقًا. يلاحظ SLP3 أن الاسم مستخدم بتساهل، لأن النموذج الانحداري الذاتي الحقيقي في الإحصاء خطي، بينما نموذج اللغة ليس كذلك. والإجراء هو بالضبط الاختيار العشوائي على طريقة Shannon من المحاضرة 03، مع تغيير واحد مهم: مولّد n-gram ينسى كل ما هو أقدم من n-1 كلمة، بينما تحمل RNN البادئة كاملة في $h_t$.

How to choose the word: greedy, sampling and temperatureكيف نختار الكلمة: الجشع، والاختيار العشوائي، ودرجة الحرارة

Step 2 hides a design choice. Greedy decoding always takes the most probable word. It is deterministic, so the same prefix always produces the same text, and SLP3 notes it tends to be generic and repetitive. Random sampling draws a word in proportion to its probability, which gives variety but sometimes picks a strange low-probability word. Temperature sampling sits between the two: divide the scores by $\tau$ before the softmax.

الخطوة 2 تخفي قرار تصميم. فك الترميز الجشع (greedy decoding) يأخذ دائمًا الكلمة الأعلى احتمالًا. وهو حتمي، فالبادئة نفسها تنتج دائمًا النص نفسه، ويلاحظ SLP3 أنه يميل إلى نص عام ومكرر. أما الاختيار العشوائي (random sampling) فيسحب كلمة بنسبة احتمالها، وهذا يعطي تنوعًا لكنه يختار أحيانًا كلمة غريبة منخفضة الاحتمال. والاختيار بدرجة الحرارة (temperature sampling) يقع بين الاثنين: اقسم الدرجات على $\tau$ قبل softmax.

Try it below. The toy model starts at <s> with about 0.62 on "the". Run greedy twice and you get the same sentence. Switch to sampling and pick "dog" when it comes up: after "on the", rug becomes likely instead of mat, because the hidden state still remembers the subject from four steps back, something a trigram model could not do.

جرّبه بالأسفل. النموذج المصغّر يبدأ من <s> باحتمال نحو 0.62 على "the". شغّل الوضع الجشع مرتين فتحصل على الجملة نفسها. انتقل إلى الاختيار العشوائي واختر "dog" عندما تظهر: بعد "on the" تصبح rug مرجّحة بدلًا من mat، لأن الحالة المخفية لا تزال تتذكر الفاعل من أربع خطوات سابقة، وهذا ما لا يستطيعه نموذج trigram.

Slide 16 shows the same model again, but its equations come from Stanford CS224n, not SLP3. Read it with slide 14 in mind and you hit a trap at once: the output distribution is $\operatorname{softmax}(U h^{(t)} + b_2)$, yet on slide 14 the matrix $U$ was the recurrent one. Same letter, different matrix.

الشريحة 16 تعرض النموذج نفسه مرة أخرى، لكن معادلاتها مأخوذة من Stanford CS224n لا من SLP3. اقرأها وفي ذهنك الشريحة 14 وستقع في فخ فورًا: توزيع الإخراج هو $\operatorname{softmax}(U h^{(t)} + b_2)$، مع أن المصفوفة $U$ في الشريحة 14 كانت المصفوفة التكرارية. الحرف نفسه، والمصفوفة مختلفة.

Beyond the letters, slide 16 adds two real details. It includes bias vectors b_1 and b_2, which SLP3 drops to keep the equations short. And it states the output space explicitly, $\hat{y}^{(t)} \in \mathbb{R}^{|V|}$, which is the shape check from the previous concept. Its figure also shows an initial hidden state h^(0), usually a vector of zeros, and the softmax histogram over the vocabulary at the last step, with mat and floor as likely continuations of "The cat slept quietly on the".

بعيدًا عن الحروف، تضيف الشريحة 16 تفصيلين حقيقيين. فهي تتضمن متجهي الانحياز b_1 وb_2، اللذين يحذفهما SLP3 لإبقاء المعادلات قصيرة. وتنص صراحة على فضاء الإخراج $\hat{y}^{(t)} \in \mathbb{R}^{|V|}$، وهو فحص الأبعاد نفسه من المفهوم السابق. ويُظهر رسمها أيضًا حالة مخفية ابتدائية h^(0)، وهي عادة متجه من الأصفار، ومدرّج softmax على المفردات في الخطوة الأخيرة، حيث mat وfloor تكملتان مرجّحتان لـ "The cat slept quietly on the".

Feed the RNN LM a five-word sentence and then a five-hundred-word article. The second run takes a hundred times as many steps, but it uses exactly the same E, W, U and V. Nothing in the parameter count mentions the sentence length. That one fact explains most of slide 17.

أدخل إلى RNN LM جملة من خمس كلمات ثم مقالًا من خمسمئة كلمة. التشغيل الثاني يستغرق خطوات أكثر بمئة مرة، لكنه يستخدم بالضبط E وW وU وV نفسها. لا شيء في عدد المعاملات يتعلق بطول الجملة. وهذه الحقيقة الواحدة تفسّر معظم الشريحة 17.

Why the model size does not grow with input lengthلماذا لا يزداد حجم النموذج بزيادة طول المدخل

The parameter count from the forward-pass worked example, d_e|V| + d_h d_e + d_h^2 + |V| d_h, contains no term for the sequence length T. Length only changes how many times the cell is applied. Compare the two alternatives. A count-based model that wants more context needs a larger n, and its table can grow as |V|^n. A fixed-window neural LM, as in Bengio and colleagues, concatenates the window's embeddings, so its first weight matrix grows with the window size, and CS224n notes that each window position gets its own separate weights. The RNN applies one rule at every step instead, which is weight sharing across time.

عدد المعاملات من المثال المحلول في التمرير الأمامي، d_e|V| + d_h d_e + d_h^2 + |V| d_h، لا يحتوي أي حد لطول التسلسل T. الطول يغيّر فقط عدد مرات تطبيق الخلية. قارن بالبديلين. النموذج القائم على العدّ الذي يريد سياقًا أوسع يحتاج n أكبر، وجدوله قد ينمو بمقدار |V|^n. ونموذج اللغة العصبي ذو النافذة الثابتة، كما عند Bengio وزملائه، يضم تضمينات النافذة متتالية، فتكبر مصفوفة أوزانه الأولى مع حجم النافذة، ويلاحظ CS224n أن لكل موضع في النافذة أوزانه المنفصلة. أما RNN فتطبّق قاعدة واحدة في كل خطوة، وهذا هو تشارك الأوزان عبر الزمن (weight sharing across time).

The two remaining problemsالمشكلتان الباقيتان

Recurrent computation is slow. To compute $h_t$ you need $h_{t-1}$, which needs $h_{t-2}$, and so on. A sequence of T words therefore takes T steps one after another, even during training when every word is already known. A GPU cannot spread one sequence's time steps across its cores. Transformers remove this dependency and train all positions at once; that is the Parallel training of the transformer parts later in this lecture.

الحساب التكراري بطيء. لحساب $h_t$ تحتاج $h_{t-1}$، التي تحتاج $h_{t-2}$، وهكذا. لذلك يستغرق تسلسل من T كلمة عدد T من الخطوات واحدة بعد الأخرى، حتى أثناء التدريب حين تكون كل الكلمات معروفة مسبقًا. لا تستطيع GPU توزيع الخطوات الزمنية لتسلسل واحد على أنويتها. المحوّلات (Transformers) تزيل هذا الاعتماد وتدرّب كل المواضع دفعة واحدة؛ وهذا هو parallel training في أجزاء المحوّلات لاحقًا في هذه المحاضرة.

Long-range information is hard in practice. In theory, $h_t$ can carry the first word of the document. In practice, the gradient that tells early steps how to help a late prediction is multiplied by one factor per step on the way back, and over many steps it shrinks toward zero. That is the Vanishing gradient problem, and it is why gated cells such as the LSTM of part 2 exist. Even an LSTM squeezes the whole past into a fixed-size vector, the bottleneck that attention removes in part 5.

المعلومات البعيدة صعبة الاستخدام عمليًا. نظريًا، يمكن لـ $h_t$ أن تحمل الكلمة الأولى من المستند. عمليًا، التدرّج (gradient) الذي يخبر الخطوات المبكرة كيف تساعد تنبؤًا متأخرًا يُضرب في معامل واحد لكل خطوة في طريق العودة، وعبر خطوات كثيرة يتقلص نحو الصفر. هذه هي مشكلة vanishing gradient، ولهذا وُجدت الخلايا ذات البوابات مثل LSTM في الجزء 2. وحتى LSTM تضغط الماضي كله في متجه ثابت الحجم، وهو عنق الزجاجة (bottleneck) الذي يزيله الانتباه (attention) في الجزء 5.

In the slide's example, the input is "I saw a cat". A first RNN reads the words and produces hidden states h_1^(1) to h_4^(1). A second RNN treats that sequence of states as its input sequence and produces h_1^(2) to h_4^(2). Only the second layer's states feed the softmax that predicts "saw a cat on".

في مثال الشريحة، المدخل هو "I saw a cat". تقرأ RNN أولى الكلمات وتنتج الحالات المخفية من h_1^(1) إلى h_4^(1). ثم تعامل RNN ثانية هذا التسلسل من الحالات بوصفه تسلسل مدخلاتها وتنتج من h_1^(2) إلى h_4^(2). وحالات الطبقة الثانية وحدها تغذّي softmax التي تتنبأ بـ "saw a cat on".

This is a Stacked (multi-layer) RNN. Each layer has its own recurrent matrix and its own input matrix, and each carries its own hidden state through time, starting from its own h_0. The second layer's input matrix is d_h × d_h, because its input is a hidden state rather than an embedding. SLP3 reports that stacked RNNs generally outperform single-layer ones, likely because layers learn representations at different levels of abstraction, much as early visual areas detect edges that later areas assemble into shapes. The cost is more training time, and the best number of layers depends on the task and data.

هذه stacked RNN. لكل طبقة مصفوفتها التكرارية الخاصة ومصفوفة إدخالها الخاصة، وكل منها تحمل حالتها المخفية الخاصة عبر الزمن، بدءًا من h_0 الخاصة بها. مصفوفة إدخال الطبقة الثانية بحجم d_h × d_h، لأن مدخلها حالة مخفية لا تضمين. ويذكر SLP3 أن شبكات RNN المكدّسة تتفوق عمومًا على ذات الطبقة الواحدة، على الأرجح لأن الطبقات تتعلم تمثيلات على مستويات مختلفة من التجريد، كما تكتشف المناطق البصرية المبكرة الحواف التي تجمّعها المناطق اللاحقة في أشكال. والثمن هو وقت تدريب أطول، والعدد الأمثل للطبقات يعتمد على المهمة والبيانات.