Lecture 02 · NN Fundamentals

المحاضرة 02 · أساسيات الشبكات العصبية

Transformer block and attention by hand

كتلة Transformer والانتباه (attention) باليد

Slides 41–45 الشرائح 41–45 P1 MUST

One formula, four shapes and one reason for the square root. Then slide 43 computes a full attention column with integers, and slide 44 pushes the result through the feed-forward network. Finally, why N × N is the number that hurts on a microcontroller.

معادلة واحدة، وأربعة أشكال، وسبب واحد للجذر التربيعي. ثم تحسب الشريحة 43 عموداً كاملاً من الـ attention بأعداد صحيحة، وتمرّر الشريحة 44 النتيجة عبر شبكة feed-forward. وأخيراً، لماذا N × N هو الرقم المؤلم على المتحكم الدقيق.

The block on slide 41

الكتلة في الشريحة 41

Vaswani et al. (NeurIPS 2017) stack N identical layers. Each encoder layer has two sub-layers, each wrapped in a residual connection followed by LayerNorm:

يكدّس Vaswani وزملاؤه (NeurIPS 2017) عدداً N من الطبقات المتطابقة. كل طبقة encoder فيها طبقتان فرعيتان، وكل منهما محاطة بـ residual connection يتبعها LayerNorm:

Multi-head attention: the only place tokens exchange information.
Multi-head attention: المكان الوحيد الذي تتبادل فيه الـ tokens المعلومات.
Add and Norm: output = LayerNorm(x + Sublayer(x)). The "Add" is the residual, the "Norm" is the layer norm from the previous pages.
Add and Norm: المخرج = LayerNorm(x + Sublayer(x)). الـ Add هو الـ residual، والـ Norm هو layer norm من الصفحات السابقة.
Position-wise feed-forward network: the same two-layer MLP with a ReLU, applied to every token separately.
Position-wise feed-forward network: الشبكة نفسها ذات الطبقتين مع ReLU، تُطبَّق على كل token وحده.
Add and Norm again.
Add and Norm مرة أخرى.

The decoder adds a masked self-attention (a token cannot look at later tokens) and an encoder-decoder attention. The model has no recurrence and no convolution, so positional encodings are added to the input embeddings to tell it the token order.

يضيف الـ decoder طبقة masked self-attention (لا يستطيع الـ token أن ينظر إلى ما بعده) وطبقة encoder-decoder attention. والنموذج بلا تكرار وبلا التفاف، لذلك تُضاف positional encodings إلى الـ embeddings لتخبره بترتيب الـ tokens.

Base model hyperparameterالمعامل الفائق (hyperparameter) للنموذج الأساسي	Valueالقيمة	Meaningالمعنى
N	6	layers in the encoder (and in the decoder)عدد الطبقات في الـ encoder (وفي الـ decoder)
d_model	512	width of every token vectorعرض متجه كل token
h	8	attention headsعدد رؤوس الانتباه (attention heads)
d_k = d_v	64	per-head size, d_model / h = 512 / 8حجم كل رأس، d_model / h = 512 / 8
d_ff	2048	hidden width of the FFN, 4 × d_modelالعرض المخفي للـ FFN، 4 × d_model

قيم النموذج الأساسي: N = 6 طبقات، وd_model = 512 عرض متجه كل token، وh = 8 رؤوس، وd_k = d_v = 64 حجم كل رأس لأن 512 / 8 = 64، وd_ff = 2048 العرض الخفي لشبكة FFN، أي 4 × d_model.

Left: one encoder layer, repeated N = 6 times, with residual paths into each Add and Norm. Right: the inside of one attention head, with the shape of every matrix.

يساراً: طبقة encoder واحدة تتكرر N = 6 مرات، مع مسارات متبقية (residual) تدخل كل Add and Norm. يميناً: داخل رأس انتباه واحد (attention head)، مع شكل كل مصفوفة.

على اليسار: طبقة encoder واحدة تتكرر N = 6 مرات، مع مسارات residual (باللون الأحمر) تدخل في كل Add & Norm. وعلى اليمين: داخل رأس attention واحد. Q وK بشكل N×d_k يُضربان فيعطيان درجات بشكل N×N، ثم القسمة على √d_k، ثم قناع اختياري، ثم softmax على كل صف، ثم الضرب في V بشكل N×d_v لنحصل على مخرج بشكل N×d_v.

Attention: the formula and its shapes

الانتباه (attention): المعادلة وأشكالها

Attention(Q, K, V) = softmax( Q K^T√d_k ) V

Slide 42 reads it as a retrieval system, like YouTube search. The query is what you typed in the search bar, the keys are the titles and descriptions of the videos, and the values are the videos themselves. Score every key against the query, turn the scores into weights, and return a weighted mix of the values.

تقرأها الشريحة 42 كنظام استرجاع، مثل البحث في YouTube. الـ query هو ما كتبته في شريط البحث، والـ keys هي عناوين الفيديوهات وأوصافها، والـ values هي الفيديوهات نفسها. قارن كل key بالـ query، وحوّل الدرجات إلى أوزان، وأرجع خليطاً موزوناً من الـ values.

Matrixالمصفوفة	Shapeالشكل	Comes fromمصدرها
Q, K	N × d_k	X W^Q, X W^K, one row per tokenX W^Q, X W^K، صف لكل token
V	N × d_v	X W^V
Q K^T, and its softmaxQ K^T، وsoftmax لها	N × N	every query scored against every keyكل استعلام (query) يُقيَّم مقابل كل مفتاح (key)
Outputالمخرج	N × d_v	weights × Vالأوزان × V

الأشكال: Q وK بشكل N × d_k، وV بشكل N × d_v، والدرجات Q K^T ونتيجة الـ softmax بشكل N × N لأن كل query يُقارن بكل key، والمخرج بشكل N × d_v.

Multi-head attention runs h = 8 such heads in parallel, each with its own W^Q, W^K, W^V of size 512 × 64, concatenates the eight 64-wide outputs back to 512, and applies one more linear W^O. The attention weights themselves are not learned: they are recomputed from Q and K for every input.

يشغّل multi-head attention عدد h = 8 من هذه الرؤوس على التوازي، لكل رأس W^Q وW^K وW^V خاصة بحجم 512 × 64، ثم يضمّ المخرجات الثمانية بعرض 64 لتعود إلى 512، ويطبّق طبقة خطية أخيرة W^O. أما أوزان الـ attention نفسها فهي ليست مُتعلَّمة: تُحسب من جديد من Q وK لكل مدخل.

Why divide by √d_k

لماذا نقسم على √d_k

Suppose the components of q and k are independent with mean 0 and variance 1. Then q · k = Σ q_ik_i is a sum of d_k terms each of variance 1, so its variance is d_k and its standard deviation is √d_k. With d_k = 64 the scores typically land around ±8, and softmax of numbers that far apart is essentially one-hot: one weight near 1, the rest near 0, and gradients near 0. Dividing by √d_k = 8 brings the variance back to 1.

افترض أن مكوّنات q وk مستقلة بمتوسط 0 وتباين 1. عندها q · k = Σ q_ik_i مجموع d_k حداً تباين كل منها 1، فيكون تباينه d_k وانحرافه المعياري √d_k. مع d_k = 64 تقع الدرجات عادة حول ±8، وsoftmax لأرقام متباعدة هكذا يكون تقريباً one-hot: وزن واحد قريب من 1 والباقي قريب من 0، والـ gradients قريبة من 0. القسمة على √d_k = 8 تُعيد التباين إلى 1.

Worked مثال محلول

three scores, unscaled, at d_k = 64:   (8, 0, -8)
  softmax  = (e^8, e^0, e^-8) / sum
           = (2981, 1, 0.0003) / 2982
           = (1.000, 0.000, 0.000)      saturated, no gradient

scaled by sqrt(64) = 8:                (1, 0, -1)
  softmax  = (2.718, 1, 0.368) / 4.086
           = (0.665, 0.245, 0.090)      alive, gradients flow

ثلاث درجات بلا قسمة عند d_k = 64: (8, 0, -8)، فيعطي الـ softmax تقريباً (1, 0, 0)، أي تشبّع بلا gradient. وبعد القسمة على 8 تصبح (1, 0, -1)، فيعطي (0.665, 0.245, 0.090)، والـ gradients تتدفق.

Attention by hand (slide 43)

الانتباه باليد (الشريحة 43)

Tom Yeh's sheet uses column vectors. Four tokens with six features each, and three 3 × 6 projection matrices, so d_k = 3. Two shortcuts keep it integer: divide by 2 instead of √3 ≈ 1.73 (rounding toward zero), and use 3^x instead of e^x.

ورقة Tom Yeh تستخدم متجهات عمودية. أربعة tokens لكل منها ست خصائص، وثلاث مصفوفات إسقاط بحجم 3 × 6، إذن d_k = 3. واختصاران يُبقيان الحساب بأعداد صحيحة: القسمة على 2 بدلاً من √3 ≈ 1.73 (مع التقريب نحو الصفر)، واستخدام 3^x بدلاً من e^x.

Worked مثال محلول

tokens (columns)
  x1 = (2, 0, 0, 0, 2, 1)     x2 = (0, 1, 2, 0, 0, 0)
  x3 = (0, 0, 1, 1, 0, 1)     x4 = (2, 0, 0, 1, 0, 1)

W_Q rows (1,1,0,0,0,0) (0,1,0,1,0,0) (0,0,1,0,1,1)
W_K rows (0,0,1,0,0,0) (0,1,0,0,0,0) (1,0,0,0,0,-1)
W_V rows (10,0,0,0,0,0) (0,0,0,10,0,0) (0,10,0,0,0,0)

step 1  project
  q1 = W_Q x1 = (2+0, 0+0, 0+2+1) = (2, 0, 3)
  k1 = (0, 0, 1)   k2 = (2, 1, 0)   k3 = (1, 0, -1)   k4 = (0, 0, 1)
  v1 = (20, 0, 0)  v2 = (0, 0, 10)  v3 = (0, 10, 0)  v4 = (20, 10, 0)

step 2  scores q1 . kj
  k1: 0 + 0 + 3     =  3
  k2: 4 + 0 + 0     =  4      best match
  k3: 2 + 0 - 3     = -1
  k4: 0 + 0 + 3     =  3

step 3  scale: divide by 2, round toward zero
  3, 4, -1, 3   ->   1, 2, 0, 1

step 4  softmax with base 3
  3^1, 3^2, 3^0, 3^1 = 3, 9, 1, 3       sum 16
  weights 3/16, 9/16, 1/16, 3/16 = 0.19, 0.56, 0.06, 0.19
  slide rounds to                  .2,   .6,   0,    .2

step 5  weighted sum of values
  z1 = .2 v1 + .6 v2 + 0 v3 + .2 v4
     = (4, 0, 0) + (0, 0, 6) + (4, 2, 0)
     = (8, 2, 6)

الخطوة 1: نُسقط فنحصل على q1 = (2, 0, 3) والـ keys والـ values. الخطوة 2: حاصل الضرب النقطي لـ q1 مع كل key يعطي 3, 4, -1, 3، والـ key الثاني هو الأفضل. الخطوة 3: القسمة على 2 مع التقريب نحو الصفر تعطي 1, 2, 0, 1. الخطوة 4: 3^x يعطي 3, 9, 1, 3 ومجموعها 16، فالأوزان تقريباً .2, .6, 0, .2. الخطوة 5: المجموع الموزون للـ values يعطي z1 = (8, 2, 6).

The exact computation (divide by √3, real e^x) gives weights 0.26, 0.46, 0.03, 0.26 and z1 = (10.3, 2.8, 4.6). The numbers drift, the ranking does not: key 2 still wins and keys 1 and 4 still tie.

الحساب الدقيق (القسمة على √3 وe^x الحقيقية) يعطي أوزاناً 0.26, 0.46, 0.03, 0.26 وz1 = (10.3, 2.8, 4.6). الأرقام تنحرف لكن الترتيب لا يتغيّر: الـ key الثاني ما زال الفائز، والأول والرابع ما زالا متعادلين.

Slide check تحقّق من الشريحة

The sheet draws q₂ = (1, 1, 1), but the third row of W_Q, (0, 0, 1, 0, 1, 1), dotted with x₂ = (0, 1, 2, 0, 0, 0) is 2, so q₂ = (1, 1, 2). Column 1 above is correct as drawn. The sheet also computes K^TQ with columns summing to 1, the transpose of the paper's row-wise Q K^T: same numbers, transposed.

ترسم الورقة q₂ = (1, 1, 1)، لكن الصف الثالث من W_Q وهو (0, 0, 1, 0, 1, 1) مضروباً نقطياً في x₂ = (0, 1, 2, 0, 0, 0) يعطي 2، إذن q₂ = (1, 1, 2). أما العمود الأول أعلاه فصحيح كما رُسم. والورقة تحسب K^TQ بأعمدة مجموعها 1، وهو منقول صيغة الورقة البحثية Q K^T بصفوف مجموعها 1: الأرقام نفسها، منقولة.

Then the FFN (slide 44)

ثم الـ FFN (الشريحة 44)

FFN(z) = W₂ max(0, W₁z + b₁) + b₂, with the same weights for every token. On the sheet, five tokens of three features each; the given attention matrix makes z₁ = x₁ + x₂ = (5, 0, 1) + (6, 2, 0) = (11, 2, 1).

FFN(z) = W₂ max(0, W₁z + b₁) + b₂، بالأوزان نفسها لكل token. في الورقة خمسة tokens لكل منها ثلاث خصائص، ومصفوفة الـ attention المعطاة تجعل z₁ = x₁ + x₂ = (5, 0, 1) + (6, 2, 0) = (11, 2, 1).

Worked مثال محلول

W1 rows (1,-1,0) (1,1,0) (0,1,1) (-1,1,1)    b1 = (1, 0, 1, 0)
W2 rows (1,0,0,-1) (0,1,1,0) (0,0,1,-1)       b2 = (0, 0, 1)

z1 = (11, 2, 1)
  layer 1   11 - 2 + 0 + 1 = 10
            11 + 2 + 0 + 0 = 13
             0 + 2 + 1 + 1 =  4
           -11 + 2 + 1 + 0 = -8      (the sheet draws -9; ReLU zeroes it anyway)
  ReLU      (10, 13, 4, 0)
  layer 2   10 + 0 + 0 - 0 = 10
             0 + 13 + 4 + 0 = 17
             0 + 0 + 4 - 0 + 1 = 5
  out1 = (10, 17, 5)                  matches the slide

الطبقة الأولى تحوّل z1 = (11, 2, 1) إلى (10, 13, 4, -8)، ثم ReLU يعطي (10, 13, 4, 0)، ثم الطبقة الثانية تعطي (10, 17, 5)، وهو ما في الشريحة. والورقة ترسم -9 بدلاً من -8، لكن ReLU يصفّرها في الحالتين. التوسيع من 3 إلى 4 ثم الرجوع إلى 3 هو الشكل نفسه لـ 512 → 2048 → 512 في النموذج الأساسي.

Why N × N is the embedded bottleneck

لماذا N × N هو عنق الزجاجة في الأنظمة المدمجة

Every query is scored against every key, so one head in one layer stores N² scores. Memory and compute grow with the square of the sequence length.

كل query يُقارن بكل key، فرأس واحد في طبقة واحدة يخزّن N² درجة. والذاكرة والحساب ينموان مع مربع طول التسلسل.

Tokens Nعدد الـ tokens N	Scores N²الدرجات N²	fp32 bytes (× 4)بايتات fp32 (× 4)
64	4,096	16 KB
256	65,536	256 KB
1,024	1,048,576	4 MB
4,096	16,777,216	64 MB

الجدول: عند N = 64 تكون الدرجات 4,096 أي 16 KB بصيغة fp32، وعند 256 تصبح 256 KB، وعند 1,024 تصبح 4 MB، وعند 4,096 تصبح 64 MB. مضاعفة N تضرب الذاكرة في 4.

A typical microcontroller has a few hundred KB of SRAM, so a single head at N = 1024 (4 MB) does not fit, even before the other 7 heads and the weights. Doubling N multiplies the memory by 4. The parameters, by contrast, do not depend on N: per base layer, attention holds 4 × 512 × 512 ≈ 1.05 M weights and the FFN 2 × 512 × 2048 ≈ 2.1 M.

المتحكم الدقيق النموذجي فيه بضع مئات من الـ KB من SRAM، فرأس واحد عند N = 1024 (4 MB) لا يتّسع، حتى قبل الرؤوس السبعة الأخرى والأوزان. ومضاعفة N تضرب الذاكرة في 4. أما عدد المعاملات فلا يعتمد على N: في كل طبقة أساسية يحمل الـ attention نحو 4 × 512 × 512 ≈ 1.05 M وزن، ويحمل الـ FFN نحو 2 × 512 × 2048 ≈ 2.1 M.

Memory hook خطّاف للذاكرة

"Score, scale, squash, sum." Q K^T scores, ÷√d_k scales, softmax squashes each row into weights, and multiplying by V sums the values.

"Score, scale, squash, sum." أي: Q K^T يعطي الدرجات، و÷√d_k يقيس، وsoftmax يضغط كل صف إلى أوزان، والضرب في V يجمع الـ values.

Trap فخ

Softmax is row-wise. Each query's row of N scores becomes N weights summing to 1. It is not a softmax over all N² entries.

الـ softmax يُطبَّق على كل صف. صف الـ query الواحد من N درجة يصبح N وزناً مجموعها 1. وليس softmax على كل العناصر الـ N² معاً.

Divide by √d_k, not d_k. The dot product has standard deviation √d_k; dividing by d_k = 64 would shrink scores by 64 and make the softmax nearly uniform.

اقسم على √d_k لا على d_k. الانحراف المعياري للضرب النقطي هو √d_k، والقسمة على d_k = 64 تُصغّر الدرجات 64 مرة فيصبح الـ softmax شبه متساوٍ.

Two different N's. On slide 41, "N×" counts stacked layers (6). On slide 42, N is the number of tokens. The N × N attention matrix uses the token N.

حرفا N مختلفان. في الشريحة 41 يعدّ N× الطبقات المكدّسة (6). وفي الشريحة 42 يمثّل N عدد الـ tokens. ومصفوفة الـ attention بشكل N × N تستخدم N الخاص بالـ tokens.

Everything on one card

كل شيء في بطاقة واحدة

Transformer cheat card

بطاقة مراجعة Transformer

Block: MHA → Add and Norm → FFN → Add and Norm, each Norm = LayerNorm(x + Sublayer(x)).
الكتلة: MHA → Add and Norm → FFN → Add and Norm، وكل Norm = LayerNorm(x + Sublayer(x)).
Base: N = 6, d_model = 512, h = 8, d_k = 64, d_ff = 2048.
الأساسي: N = 6، وd_model = 512، وh = 8، وd_k = 64، وd_ff = 2048.
Attention: softmax(Q K^T / √d_k) V. Q, K: N × d_k; weights N × N; out N × d_v.
Attention: softmax(Q K^T / √d_k) V. Q, K: N × d_k، والأوزان N × N، والمخرج N × d_v.
√d_k: keeps score variance at 1 so softmax does not saturate.
√d_k: يُبقي تباين الدرجات عند 1 فلا يتشبّع الـ softmax.
Slide 43: q1 = (2, 0, 3), scores 3, 4, −1, 3, weights .2, .6, 0, .2, z1 = (8, 2, 6).
الشريحة 43: q1 = (2, 0, 3)، والدرجات 3, 4, −1, 3، والأوزان .2, .6, 0, .2، وz1 = (8, 2, 6).
Slide 44: z1 = (11, 2, 1) → hidden (10, 13, 4, 0) → out (10, 17, 5).
الشريحة 44: z1 = (11, 2, 1) → (10, 13, 4, 0) → (10, 17, 5).
Cost: N² per head per layer; N = 1024 fp32 = 4 MB.
التكلفة: N² لكل رأس ولكل طبقة؛ وN = 1024 بصيغة fp32 يساوي 4 MB.

Check yourself

اختبر نفسك

Single-head attention over N tokens with head size d_k. What is the shape of the softmax output?

Attention برأس واحد على N من الـ tokens وحجم رأس d_k. ما شكل مخرج الـ softmax؟

Q K^T is (N × d_k)(d_k × N) = N × N, and softmax keeps the shape. Only after multiplying by V does it return to N × d_v.

Q K^T هو (N × d_k)(d_k × N) = N × N، والـ softmax يحافظ على الشكل. ولا يعود إلى N × d_v إلا بعد الضرب في V.

Why does the transformer divide Q K^T by √d_k?

لماذا يقسم الـ transformer قيمة Q K^T على √d_k؟

Softmax already makes rows sum to 1 (A). The scaling targets the size of the scores: with d_k = 64 they spread to about ±8 and softmax becomes one-hot with vanishing gradients.

الـ softmax يجعل مجموع الصفوف 1 أصلاً (A). والقسمة تستهدف حجم الدرجات: مع d_k = 64 تنتشر حول ±8، فيصبح الـ softmax شبه one-hot وتختفي الـ gradients.

With q = (2, 0, 3) and keys k1 = (0, 0, 1), k2 = (2, 1, 0), k3 = (1, 0, −1), k4 = (0, 0, 1), what are the raw scores q · k?

مع q = (2, 0, 3) والـ keys k1 = (0, 0, 1) وk2 = (2, 1, 0) وk3 = (1, 0, −1) وk4 = (0, 0, 1)، ما الدرجات الخام q · k؟

k1: 0 + 0 + 3 = 3. k2: 4 + 0 + 0 = 4. k3: 2 + 0 − 3 = −1. k4: 3. Option B is the scaled (÷2, truncated) version, one step too far. Option D forgets the −1 in k3.

k1: 0 + 0 + 3 = 3. k2: 4 + 0 + 0 = 4. k3: 2 + 0 − 3 = −1. k4: 3. الخيار B هو النسخة بعد القسمة على 2، أي خطوة زائدة. والخيار D نسي الإشارة السالبة في k3.

One fp32 attention head processes N = 2048 tokens. How much memory do its scores take?

رأس attention واحد بصيغة fp32 يعالج N = 2048 من الـ tokens. كم ذاكرة تأخذ درجاته؟

2048² = 4,194,304 scores × 4 bytes = 16,777,216 bytes = 16 MB. Doubling N from 1024 (4 MB) multiplies memory by 4, not 2 (C). Option A is the linear 2048 × 4 bytes, forgetting that N appears twice.

2048² = 4,194,304 درجة × 4 بايت = 16,777,216 بايت = 16 MB. مضاعفة N من 1024 (4 MB) تضرب الذاكرة في 4 لا في 2 (C). والخيار A هو الحساب الخطي 2048 × 4 بايت، ونسي أن N يظهر مرتين.

In the slide 43 example, which numbers are learned parameters?

في مثال الشريحة 43، أي الأرقام هي معاملات مُتعلَّمة؟

Only the projections are trained. Q, K, V are computed from the input with them, and A is recomputed from Q and K for every new input, so it changes with the sentence (B, C).

وحدها مصفوفات الإسقاط تُدرَّب. أما Q وK وV فتُحسب من المدخل بواسطتها، وA تُحسب من جديد من Q وK لكل مدخل جديد، فهي تتغيّر مع الجملة (B وC).

The block on slide 41

الكتلة في الشريحة 41

Attention: the formula and its shapes

الانتباه (attention): المعادلة وأشكالها

Why divide by √dk

لماذا نقسم على √dk

Attention by hand (slide 43)

الانتباه باليد (الشريحة 43)

Then the FFN (slide 44)

ثم الـ FFN (الشريحة 44)

Why N × N is the embedded bottleneck

لماذا N × N هو عنق الزجاجة في الأنظمة المدمجة

Everything on one card

كل شيء في بطاقة واحدة

Transformer cheat card

بطاقة مراجعة Transformer

Check yourself

اختبر نفسك

Why divide by √d_k

لماذا نقسم على √d_k