Why normalize at all

لماذا التطبيع (normalization) أصلاً

Slide 28 takes one layer y = Wx and names two things that make optimization hard:

الشريحة 28 تأخذ طبقة واحدة y = Wx وتذكر أمرين يجعلان optimization صعباً:

• Inputs not centred around zero. The layer then needs a large bias to compensate.

  دخل غير متمركز حول الصفر. فتحتاج الطبقة إلى bias كبير لتعويض ذلك.

• Inputs with different scales per element. Then entries of W must vary a lot, some tiny and some huge, and one learning rate cannot suit them all.

  دخل بمقاييس مختلفة لكل عنصر. فتضطر عناصر W إلى التفاوت كثيراً، بعضها صغير جداً وبعضها ضخم، ولا يناسبها كلها learning rate واحد.

The idea (slide 29, Ioffe and Szegedy 2015): force the inputs of every layer to be "nicely scaled", zero mean and unit variance per dimension, using a differentiable function so gradients still flow through it.

الفكرة (الشريحة 29، Ioffe and Szegedy 2015): أجبر دخل كل طبقة على أن يكون "بمقياس مناسب"، أي بمتوسط صفر وتباين واحد لكل بُعد، باستخدام دالة قابلة للاشتقاق حتى تمر gradients من خلالها.

The transform, step by step

التحويل، خطوة بخطوة

Input x has shape N x D: N samples in the batch, D features. Statistics are computed down each column, per feature, across the batch.

الدخل x شكله N x D: N عيّنة في الدفعة وD ميزة. تُحسب الإحصائيات نزولاً في كل عمود، أي لكل ميزة عبر الدفعة.

μ and σ² each have shape D (per-channel mean and variance). x̂ and y have shape N x D. ε is a tiny constant (PyTorch default 1e-5) that prevents division by zero. The slide uses 1/N, the biased variance.

μ وσ² شكل كل منهما D (متوسط وتباين لكل قناة). وx̂ وy شكلهما N x D. وε ثابت صغير جداً (القيمة الافتراضية في PyTorch هي 1e-5) يمنع القسمة على صفر. والشريحة تستخدم 1/N، أي التباين المتحيّز.

For a conv layer with output (N, C, H, W), D becomes the C channels and each channel's statistics are taken over N x H x W values. The parameters are still one γ and one β per channel.

في طبقة conv خرجها (N, C, H, W)، يصبح D هو القنوات C، وتُحسب إحصائيات كل قناة على N x H x W قيمة. ويبقى عدد parameters واحد γ وواحد β لكل قناة.

Why γ and β exist

لماذا يوجد γ وβ

Slide 30 asks: what if zero mean, unit variance is too hard a constraint? A tanh after BN would then live only in its near-linear middle. The fix (slide 31) is a learned scale γ and shift β per feature. They let the network squash or widen the range if it wants to, and in particular control how much saturation the following activation sees.

الشريحة 30 تسأل: ماذا لو كان المتوسط صفر والتباين واحد قيداً أشد من اللازم؟ فدالة tanh بعد BN ستعمل حينها فقط في منتصفها شبه الخطي. والحل (الشريحة 31) هو scale γ وshift β متعلَّمان لكل ميزة. يسمحان للشبكة بأن تضغط المدى أو توسّعه إن أرادت، وتحديداً أن تتحكم في مقدار saturation الذي تراه دالة التنشيط التالية.

So BN can never make the model less expressive: if normalization hurts, training can learn its way back to the identity, "as if there was no batch normalization".

إذن لا يمكن لـ BN أن يجعل النموذج أقل قدرة: فإذا كان التسوية ضارة، يستطيع التدريب أن يتعلم طريق العودة إلى identity، "وكأنه لا يوجد batch normalization".

one feature, batch of N = 4, training mode, take ε ≈ 0
  x      = [2, 6, 2, 6]
  μ      = (2 + 6 + 2 + 6)/4                = 4
  σ²     = ((−2)² + 2² + (−2)² + 2²)/4      = 16/4 = 4
  √σ²    = 2
  x̂      = (x − 4)/2                        = [−1, 1, −1, 1]

learned γ = 3, β = 0.5
  y      = 3 x̂ + 0.5                        = [−2.5, 3.5, −2.5, 3.5]

check: mean(y) = 0.5 = β,  std(y) = 3 = γ

Inference: BN becomes a linear operator

الاستدلال: BN يصبح عاملاً خطياً

Slide 32: at test time μ_j and σ_j² are the (running) average of values seen during training, not statistics of the test batch. Testing must be deterministic and must work on a single input. With μ, σ², γ, β all fixed, BN is just y = a·z + c per feature: "during testing batchnorm becomes a linear operator! Can be fused with the previous fully-connected or conv layer."

الشريحة 32: عند الاختبار تكون μ_j وσ_j² هي المتوسط (التراكمي) للقيم التي ظهرت أثناء التدريب، لا إحصائيات دفعة الاختبار. فالاختبار يجب أن يكون حتمياً وأن يعمل على دخل واحد. ومع تثبيت μ وσ² وγ وβ كلها، يصبح BN مجرد y = a·z + c لكل ميزة: "أثناء الاختبار يصبح batchnorm عاملاً خطياً! ويمكن دمجه مع طبقة fully-connected أو conv السابقة."

Deriving the fold

اشتقاق الدمج (fold)

The previous layer computes z = Wx + b. BN then computes y = γ (z − μ)/√(σ² + ε) + β. Name the per-feature factor s = γ/√(σ² + ε) and substitute:

الطبقة السابقة تحسب z = Wx + b. ثم يحسب BN: y = γ (z − μ)/√(σ² + ε) + β. سمِّ العامل الخاص بكل ميزة s = γ/√(σ² + ε) ثم عوّض:

diag(s) W scales row j of W (the weights producing output feature j) by s_j. For a conv, it scales every weight of output channel j's filter by s_j. The deployed model keeps only W' and b'; γ, β, the running mean and the running variance vanish. That is why slide 33 says zero overhead at test time.

diag(s) W يضرب الصف j من W (الأوزان التي تُنتج ميزة الخرج j) في s_j. وفي conv يضرب كل أوزان filter قناة الخرج j في s_j. والنموذج المنشور يحتفظ فقط بـ W' وb'، بينما تختفي γ وβ وrunning mean وrunning variance. ولهذا تقول الشريحة 33 صفر كلفة إضافية عند الاختبار.

scalar layer   z = w x + b,     w = 2,  b = 1
BN (eval)      running μ = 5,  σ² + ε = 4  (√ = 2),  γ = 3,  β = 0.5

s  = γ / √(σ² + ε) = 3 / 2       = 1.5
w' = s · w         = 1.5 x 2     = 3
b' = s (b − μ) + β = 1.5 x (1 − 5) + 0.5 = −6 + 0.5 = −5.5

check x = 4
  unfused: z = 2·4 + 1 = 9,  y = 3 (9 − 5)/2 + 0.5 = 6 + 0.5 = 6.5
  fused:   y = 3·4 − 5.5                           = 6.5   ✓

Why this matters on an embedded device

لماذا يهم هذا على جهاز مدمج

A BN layer left unfused costs one extra pass over the whole activation tensor: read it, multiply, add, write it back. On a microcontroller that is pure memory traffic for no new information. Folding removes it, and removes 4 stored vectors per BN layer (γ, β, running μ, running σ²).

طبقة BN غير المدمجة تكلّف مروراً إضافياً على كامل tensor التنشيط: اقرأه، واضرب، واجمع، ثم اكتبه مرة أخرى. وعلى microcontroller هذا نقل ذاكرة خالص بلا أي معلومة جديدة. والدمج يزيله، ويزيل 4 متجهات مخزّنة لكل طبقة BN (γ وβ وrunning μ وrunning σ²).

Folding also matters later in the course: quantization is applied to the folded weights W', because that is what the integer kernel actually multiplies. And BN's γ per channel is the importance signal that scaling-factor pruning reads in Lecture 04.

والدمج مهم أيضاً لاحقاً في المقرر: فالـ quantization يُطبَّق على الأوزان المدمجة W'، لأنها هي التي تضربها نواة الأعداد الصحيحة فعلاً. كما أن γ لكل قناة في BN هي إشارة الأهمية التي يقرؤها scaling-factor pruning في المحاضرة 04.

What slide 33 lists

ما الذي تسرده الشريحة 33

• Makes deep networks much easier to train, improves gradient flow, allows higher learning rates and faster convergence, more robust to initialization.

  يجعل تدريب الشبكات العميقة أسهل بكثير، ويحسّن تدفق gradients، ويسمح بـ learning rates أعلى وتقارب أسرع، ويجعل الشبكة أكثر تحمّلاً لاختيار initialization.

• Acts as regularization during training: each sample is normalized with statistics of whichever other samples share its mini-batch, which injects noise.

  يعمل كـ regularization أثناء التدريب: فكل عيّنة تُسوّى بإحصائيات العيّنات الأخرى التي تشاركها mini-batch، وهذا يُدخل ضجيجاً.

• Zero overhead at test time: can be fused with conv.

  صفر كلفة عند الاختبار: يمكن دمجه مع conv.

• Behaves differently during training and testing: a very common source of bugs.

  يتصرف بشكل مختلف أثناء التدريب والاختبار: وهذا مصدر شائع جداً للأخطاء البرمجية.