Batch, layer, instance and group normalizationتطبيع الدفعة والطبقة والمثيل والمجموعة

Feed a linear layer y = Wx two raw features: a pixel intensity somewhere in 0 to 255 and a binary flag in 0 to 1. For both features to have a similar influence on y, the two corresponding entries of W must differ by about two orders of magnitude. And because neither feature is centered at zero, the layer needs a large Bias just to bring its outputs near zero, where the next activation function does useful work.

أدخِل إلى طبقة خطية y = Wx خاصيتين (features) خامتين: شدة بكسل في مكان ما بين 0 to 255 وعلامة ثنائية بين 0 to 1. لكي يكون للخاصيتين تأثير متقارب على y، يجب أن يختلف المدخلان المقابلان لهما في W بنحو رتبتين عشريتين (مئة ضعف تقريبًا). ولأن أيًّا من الخاصيتين ليست متمركزة حول الصفر، تحتاج الطبقة إلى bias كبير فقط لتقريب مخرجاتها من الصفر، حيث تؤدي دالة التنشيط (activation function) التالية عملًا مفيدًا.

Those are the two troubles every layer faces. Inputs that are not centered force a large bias, and inputs with different scales per element force the entries of W to vary a lot. Both make gradient descent slow, because one learning rate has to serve directions of very different steepness, so the update zig-zags along the steep direction while creeping along the shallow one. Goodfellow, Bengio and Courville motivate the same problem with a deep chain of layers: every update to an early layer changes the statistics that every later layer sees, so the layers keep re-adapting to each other.

هاتان هما المشكلتان اللتان تواجههما كل طبقة. المدخلات غير المتمركزة تفرض bias كبيرًا، والمدخلات ذات المقاييس المختلفة من عنصر لآخر تفرض أن تتفاوت قيم W كثيرًا. وكلتاهما تبطئ الـ gradient descent، لأن learning rate واحدًا يجب أن يخدم اتجاهات شديدة الاختلاف في انحدارها، فيتعرّج التحديث (zig-zag) على الاتجاه شديد الانحدار بينما يزحف ببطء على الاتجاه المنبسط. ويعلّل Goodfellow و Bengio و Courville المشكلة نفسها بسلسلة عميقة من الطبقات: كل تحديث لطبقة مبكرة يغيّر الإحصاءات التي تراها كل طبقة لاحقة، فتظل الطبقات تعيد التكيّف بعضها مع بعض.

The idea, due to Ioffe and Szegedy in 2015, is to stop hoping the inputs are nice and to force them to be. For each dimension k, subtract the mean and divide by the standard deviation, so that the dimension has zero mean and unit variance:

الفكرة، التي تعود إلى Ioffe و Szegedy عام 2015، هي أن نكفّ عن الأمل في أن تكون المدخلات جيدة وأن نجبرها على ذلك. لكل بُعد k، اطرح المتوسط واقسم على الانحراف المعياري، فيصبح لهذا البعد متوسط صفري وتباين يساوي واحدًا:

The part that makes this a layer rather than a preprocessing step is that the map is differentiable. It sits inside the network, at any hidden layer, and gradients flow through it exactly as through a convolution. The CS231n notes call it differentiable preprocessing built into the network itself. On slide 27 this is why Normalization appears as the fifth component of a CNN, beside convolution, pooling, fully connected layers and activations, and slide 39 later returns to the same map with the activation function circled instead.

ما يجعل هذا طبقةً لا خطوة معالجة مسبقة (preprocessing) هو أن هذه الدالة قابلة للاشتقاق. فهي تقع داخل الشبكة، عند أي طبقة مخفية، وتمر الـ gradients خلالها تمامًا كما تمر خلال convolution. وتسمّيها ملاحظات CS231n معالجة مسبقة قابلة للاشتقاق مبنية داخل الشبكة نفسها. ولهذا يظهر Normalization في الشريحة 27 كمكوّن خامس للـ CNN، بجانب الـ convolution والـ pooling والطبقات الـ fully connected والـ activations، ثم تعود الشريحة 39 لاحقًا إلى الخريطة نفسها مع وضع دائرة حول دالة التنشيط بدلًا منه.

Start with one column of numbers. Take the mini-batch from slide 38 after its ReLU, and look only at feature 1 across the four samples: (3, 1, 3, 2). Standardizing that column is the entire batch norm computation in miniature.

ابدأ بعمود واحد من الأرقام. خذ الـ mini-batch من الشريحة 38 بعد الـ ReLU، وانظر فقط إلى الخاصية 1 عبر العينات الأربع: (3, 1, 3, 2). توحيد مقياس هذا العمود هو حساب الـ batch norm كله في صورة مصغّرة.

Now the general rule. The input to a batch norm layer after a fully connected layer is a matrix x of shape N x D: N samples in the mini-batch (the Batch size) by D features. Every average runs down the N axis, and that is the whole story of the axes: one statistic per feature column, averaged over the sample rows.

الآن القاعدة العامة. المدخل إلى طبقة batch norm بعد طبقة fully connected هو مصفوفة x شكلها N x D: عدد N من العينات في الـ mini-batch (أي الـ batch size) في عدد D من الخاصيات. كل متوسط يُحسب نزولًا على محور N، وهذه هي قصة المحاور كلها: إحصائية واحدة لكل عمود خاصية، محسوبة بالمتوسط على صفوف العينات.

The epsilon under the root is a tiny constant, 1e-5 by default in PyTorch, that prevents division by zero when a feature happens to be constant across the batch. It changes nothing numerically otherwise, but it appears in every formula and in every fusion derivation, so keep it.

الـ epsilon تحت الجذر ثابت صغير جدًا، قيمته 1e-5 افتراضيًا في PyTorch، يمنع القسمة على صفر حين تكون خاصية ما ثابتة عبر الـ batch. لا يغيّر شيئًا عدديًا فيما عدا ذلك، لكنه يظهر في كل معادلة وفي كل اشتقاق للدمج (fusion)، فاحتفظ به.

Why gamma and beta existلماذا توجد gamma و beta

Is forcing zero mean and unit variance always good? It is a hard constraint, and a network is not always best served by activations pinned to a standard distribution. So the layer gets two learnable vectors of shape D, gamma and beta, and outputs y = gamma x_hat + beta. Ioffe and Szegedy point out that setting gamma = sqrt(Var[x]) and beta = E[x] recovers the original activations, if that were the optimal thing to do. The network can therefore undo normalization entirely, which means normalization can never make the model less expressive; it can only change what is easy to learn.

هل فرض متوسط صفري وتباين يساوي واحدًا جيد دائمًا؟ إنه قيد صارم، والشبكة لا تُخدم دائمًا على أفضل وجه بتنشيطات مثبتة على توزيع معياري. لذلك تحصل الطبقة على متجهين قابلين للتعلّم شكلهما D، هما gamma و beta، وتُخرج y = gamma x_hat + beta. ويشير Ioffe و Szegedy إلى أن وضع gamma = sqrt(Var[x]) و beta = E[x] يستعيد التنشيطات الأصلية، إن كان ذلك هو الأمثل. فالشبكة إذن تستطيع إلغاء الـ normalization تمامًا، وهذا يعني أنه لا يمكن أن يجعل النموذج أقل قدرة على التعبير؛ كل ما يفعله أنه يغيّر ما يسهل تعلّمه.

Goodfellow, Bengio and Courville explain why the new parametrization learns more easily even though it can represent the same functions. In the original network the mean of a hidden unit is set by a long chain of interacting weights in all the layers below. After BN the mean is set by beta alone and the scale by gamma alone, two parameters with a direct, local effect on the quantity gradient descent needs to move.

يشرح Goodfellow و Bengio و Courville لماذا تتعلّم الصياغة الجديدة (parametrization) بسهولة أكبر رغم أنها تمثّل الدوال نفسها. في الشبكة الأصلية يتحدد متوسط الوحدة المخفية بسلسلة طويلة من الأوزان المتفاعلة في كل الطبقات التي تحتها. وبعد الـ BN يتحدد المتوسط بـ beta وحدها والمقياس بـ gamma وحدها، وهما معاملان لهما أثر مباشر ومحلي على الكمية التي يحتاج الـ gradient descent إلى تحريكها.

The tanh plot on slide 31 makes the point concrete. The derivative 1 - tanh squared (x) peaks at 1 at the origin and falls below 0.1 once |x| exceeds about 1.8. If normalized values feed a tanh, then gamma decides how far they reach into the flat, saturated tails and beta decides where the center of the band sits. A small gamma keeps the layer almost linear; a large one lets it saturate on purpose. The model chooses the amount of saturation instead of inheriting it from whatever scale the previous layer produced.

يجعل منحنى الـ tanh في الشريحة 31 الفكرة ملموسة. المشتقة 1 - tanh squared (x) تبلغ ذروتها 1 عند نقطة الأصل وتنخفض تحت 0.1 بمجرد أن تتجاوز |x| نحو 1.8. إذا دخلت القيم الموحّدة المقياس إلى tanh، فإن gamma تحدد إلى أي مدى تصل إلى الأطراف المسطّحة المشبعة، و beta تحدد أين يقع مركز النطاق. قيمة gamma صغيرة تُبقي الطبقة شبه خطية؛ وقيمة كبيرة تتيح لها التشبّع عن قصد. فالنموذج يختار مقدار التشبّع بدل أن يرثه من أي مقياس أنتجته الطبقة السابقة.

A keyword-spotting model on a microcontroller hears one audio clip at a time. A batch of one has zero variance, so the statistics of the "batch" are meaningless, and even a batch of ten would make the answer for one clip depend on which nine clips happened to arrive with it. Ioffe and Szegedy state the requirement plainly: at inference the output should depend only on the input, deterministically.

نموذج لاكتشاف الكلمات المفتاحية (keyword spotting) على microcontroller يسمع مقطعًا صوتيًا واحدًا في كل مرة. والـ batch المكوّنة من عينة واحدة تباينها صفر، فتكون إحصاءات هذه "الـ batch" بلا معنى، وحتى batch من عشرة مقاطع ستجعل إجابة مقطع واحد تعتمد على المقاطع التسعة التي صادف وصولها معه. ويصوغ Ioffe و Szegedy الشرط بوضوح: في الاستدلال يجب أن يعتمد المخرج على المدخل وحده، وبشكل حتمي (deterministic).

So the layer changes its source of statistics. During training it keeps a running average of the mini-batch means and variances it has seen. At inference it uses those stored values and ignores the batch entirely. PyTorch updates the buffers as running = (1 - momentum) running + momentum x_batch with momentum 0.1, normalizes with the biased variance during training, and stores the unbiased variance (divide by N - 1) in running_var, following the paper's m/(m - 1) correction. Goodfellow, Bengio and Courville note the payoff: with running averages the model can be evaluated on a single example.

لذلك تغيّر الطبقة مصدر إحصاءاتها. أثناء التدريب تحتفظ بـ متوسط متحرك (running average) لمتوسطات وتباينات الـ mini-batches التي رأتها. وفي الاستدلال تستخدم تلك القيم المخزنة وتتجاهل الـ batch تمامًا. يحدّث PyTorch هذه الـ buffers بالقاعدة running = (1 - momentum) running + momentum x_batch مع momentum قيمته 0.1، ويوحّد المقياس بالتباين المتحيز (biased) أثناء التدريب، ويخزّن التباين غير المتحيز (القسمة على N - 1) في running_var، تبعًا لتصحيح الورقة m/(m - 1). ويلاحظ Goodfellow و Bengio و Courville المكسب: مع المتوسطات المتحركة يمكن تقييم النموذج على مثال واحد.

Frozen statistics turn BN into an affine mapالإحصاءات المجمّدة تحوّل الـ BN إلى تحويل أفيني (affine map)

Once mu and sigma squared are constants, batch norm on feature j is nothing more than multiply by one number and add another. And if the layer before it is a linear layer z = Wx + b, two affine maps in a row are one affine map. Write it out:

بمجرد أن تصبح mu و sigma squared ثوابت، لا يعدو الـ batch norm على الخاصية j كونه ضربًا في عدد وإضافة عدد آخر. وإذا كانت الطبقة التي قبله طبقة خطية z = Wx + b، فإن تحويلين أفينيين متتاليين يساويان تحويلًا أفينيًا واحدًا. اكتبه صراحة:

Read the first formula per output row j: the whole row of W is multiplied by the scalar gamma_j / sqrt(sigma_j squared + eps), and the bias becomes that scalar times (b_j - mu_j), plus beta_j. The same holds for a convolution: each output filter is scaled by its channel's factor. Ioffe and Szegedy already say this in the paper: the normalization is a linear transform that may be composed with the scaling by gamma and shift by beta into a single linear transform. PyTorch ships it as torch.nn.utils.fusion.fuse_conv_bn_eval, which requires both modules in eval mode with their running buffers computed. This is Batch norm fusion.

اقرأ المعادلة الأولى لكل صف مخرجات j: الصف كله من W يُضرب في العدد gamma_j / sqrt(sigma_j squared + eps)، ويصبح الـ bias هو هذا العدد مضروبًا في (b_j - mu_j) مضافًا إليه beta_j. والأمر نفسه ينطبق على الـ convolution: كل filter مخرجات يُحجَّم بمعامل قناته. وقد قال Ioffe و Szegedy هذا في الورقة نفسها: الـ normalization تحويل خطي يمكن تركيبه مع التحجيم بـ gamma والإزاحة بـ beta في تحويل خطي واحد. ويوفّره PyTorch باسم torch.nn.utils.fusion.fuse_conv_bn_eval، الذي يتطلب أن تكون الوحدتان في وضع eval وأن تكون الـ running buffers محسوبة. هذا هو BN fusion.

For embedded deployment this is the reason the slide says zero overhead at test time. A fused network runs no extra multiply-accumulate operations, moves no extra activations through memory, launches one fewer kernel per layer, and stores four fewer vectors per layer in flash. In later lectures on pruning, the very gamma factors that get fused away are also what network slimming reads to decide which channels matter.

في النشر على الأنظمة المدمجة، هذا هو سبب قول الشريحة "صفر تكلفة إضافية وقت الاختبار". الشبكة المدموجة لا تنفّذ أي عمليات multiply-accumulate إضافية، ولا تنقل أي تنشيطات إضافية عبر الذاكرة، وتطلق kernel أقل بواحد في كل طبقة، وتخزّن أربعة متجهات أقل في كل طبقة في ذاكرة الـ flash. وفي محاضرات لاحقة عن الـ pruning، فإن معاملات gamma نفسها التي تُدمج وتختفي هنا هي ما يقرؤه الـ network slimming ليقرر أي القنوات مهمة.

What BN buys during training, and the one way it bitesما يقدّمه الـ BN أثناء التدريب، والطريقة الوحيدة التي يؤذيك بها

• Much easier training and higher learning rates: normalizing each layer's input stops small parameter changes from amplifying into large, suboptimal changes in activations and gradients as they pass through many layers (Ioffe and Szegedy, section 3.3). On ImageNet the paper reaches the same accuracy as its baseline in 14 times fewer training steps.تدريب أسهل بكثير ومعدلات تعلّم أعلى: توحيد مقياس مدخل كل طبقة يمنع التغييرات الصغيرة في المعاملات من أن تتضخم إلى تغييرات كبيرة وغير مثلى في التنشيطات والـ gradients أثناء مرورها عبر طبقات كثيرة (Ioffe و Szegedy، القسم 3.3). وعلى ImageNet تصل الورقة إلى دقة خط الأساس نفسها بعدد خطوات تدريب أقل بـ 14 مرة.
• Better gradient flow: the tanh argument from the previous concept applies at every layer. Activations are kept out of the saturated tails unless the model wants them there, so derivatives stay usable.تدفق أفضل للـ gradient: حجة الـ tanh من المفهوم السابق تنطبق عند كل طبقة. تُبقى التنشيطات خارج الأطراف المشبعة ما لم يرد النموذج وجودها هناك، فتظل المشتقات قابلة للاستخدام.
• Robustness to initialization: scaling the weights of a layer by a constant scales its output by the same constant, and normalization divides that constant back out. The scale of the initial weights largely stops mattering.متانة أمام الـ initialization: ضرب أوزان طبقة في ثابت يضرب مخرجها في الثابت نفسه، والـ normalization يقسم هذا الثابت ويلغيه. فيتوقف مقياس الأوزان الابتدائية عن أن يكون مهمًا إلى حد كبير.
• Regularization during training, the "How?" on slide 33: each sample is normalized with statistics that depend on the other random samples in its mini-batch, so the network no longer produces deterministic values for a given training example (section 3.4). That injected noise acts like a mild regularizer, and the paper reports that dropout can be removed or reduced in strength. Dive into Deep Learning notes that batch sizes around 50 to 100 inject roughly the right amount of noise.تنظيم (regularization) أثناء التدريب، وهو "How?" في الشريحة 33: كل عينة يُوحَّد مقياسها بإحصاءات تعتمد على العينات العشوائية الأخرى في الـ mini-batch الخاصة بها، فلا تعود الشبكة تنتج قيمًا حتمية لمثال تدريب معين (القسم 3.4). هذه الضوضاء المحقونة تعمل كمنظِّم خفيف، وتذكر الورقة أنه يمكن إزالة الـ dropout أو تخفيف قوته. ويلاحظ كتاب Dive into Deep Learning أن أحجام batch في حدود 50 to 100 تحقن تقريبًا المقدار المناسب من الضوضاء.

The red line on slide 33 is the hazard that follows from everything above. The layer computes something different in training mode (batch statistics) and evaluation mode (running statistics). Forget to call model.eval() and your deployed model's answer for one input depends on the other inputs in the batch and degrades silently; for a batch of one, x_hat is 0 by construction so every feature collapses to beta (PyTorch's BatchNorm1d refuses to run at all in that case). It is one of the most common bugs in deep learning code precisely because, for any larger batch, nothing crashes.

السطر الأحمر في الشريحة 33 هو الخطر الناتج عن كل ما سبق. الطبقة تحسب شيئًا مختلفًا في وضع التدريب (إحصاءات الـ batch) عنه في وضع التقييم (الإحصاءات المتحركة). انسَ استدعاء model.eval() وستصبح إجابة نموذجك المنشور لمدخل واحد معتمدة على المدخلات الأخرى في الـ batch، وتتدهور بصمت؛ وفي batch من عينة واحدة تكون x_hat مساوية لـ 0 بحكم التعريف، فتنهار كل خاصية إلى beta (والـ BatchNorm1d في PyTorch يرفض العمل أصلًا في هذه الحالة). إنه من أكثر الأخطاء شيوعًا في كود التعلّم العميق تحديدًا لأنه، مع أي batch أكبر، لا ينهار شيء.

Take one activation tensor from a convolution layer, N x C x H x W = 8 x 64 x 32 x 32. It holds about half a million numbers. Every normalization in this part does the same arithmetic, subtract a mean and divide by a standard deviation, then scale and shift. The only thing that distinguishes them is the answer to one question: which of those numbers are averaged together to make one mean?

خذ tensor تنشيطات واحدًا من طبقة convolution، N x C x H x W = 8 x 64 x 32 x 32. إنه يحمل نحو نصف مليون رقم. كل normalization في هذا الجزء يجري الحساب نفسه: اطرح متوسطًا واقسم على انحراف معياري، ثم حجّم وأزح. والشيء الوحيد الذي يميّز بعضها عن بعض هو الإجابة عن سؤال واحد: أي هذه الأرقام تُجمع معًا لتكوين متوسط واحد؟

Wu and He write all four as one formula. Each value x_i is normalized with a mean and standard deviation computed over a set S_i, and different normalizations simply use different definitions of that set:

يكتب Wu و He الأربعة كلها في معادلة واحدة. كل قيمة x_i يُوحَّد مقياسها بمتوسط وانحراف معياري محسوبين على مجموعة S_i، وأنواع الـ normalization المختلفة تستخدم ببساطة تعريفات مختلفة لهذه المجموعة:

Two patterns in that table carry most of the marks. First, the shape of mu is the tensor shape with a 1 wherever you averaged and the full size everywhere else. Batch norm averages over N, H, W and leaves 1 x C x 1 x 1; instance norm averages over H, W only and leaves N x C x 1 x 1. Second, gamma and beta do not follow the mu shape: they are per channel for BN, IN and GN. Ioffe and Szegedy learn a pair per feature map rather than per activation, and Wu and He write that BN, LN, IN and GN all learn a per-channel linear transform, the convention the table and the explorer below use. A BatchNorm2d over 64 channels therefore holds 128 learnable values, whatever the image size.

نمطان في هذا الجدول يحملان معظم الدرجات. الأول: شكل mu هو شكل الـ tensor مع 1 في كل محور حسبت عليه المتوسط، والحجم الكامل في كل محور آخر. الـ batch norm يحسب المتوسط على N, H, W ويترك 1 x C x 1 x 1؛ والـ instance norm يحسبه على H, W فقط ويترك N x C x 1 x 1. الثاني: gamma و beta لا تتبعان شكل mu: فهما لكل قناة في BN و IN و GN. يتعلّم Ioffe و Szegedy زوجًا لكل feature map لا لكل تنشيط، ويكتب Wu و He أن BN و LN و IN و GN كلها تتعلّم تحويلًا خطيًا لكل قناة، وهو الاصطلاح الذي يستخدمه الجدول والمستكشف أدناه. لذلك فإن BatchNorm2d على 64 قناة يحمل 128 قيمة قابلة للتعلّم، أيًّا كان حجم الصورة.

Why the batch-free variants existلماذا توجد الأنواع التي لا تحتاج batch

Layer norm was introduced by Ba, Kiros and Hinton for exactly the cases where a batch is awkward. Its statistics come from all of the summed inputs to the neurons in a layer on a single training case, so it performs exactly the same computation at training and test time and is straightforward to apply to recurrent networks by computing the statistics separately at each time step. Slide 35 lists both facts. Because it never looks at another sample, it also works at batch size one, and the Transformer block in part 06 uses it in every Add and Norm step: Vaswani and colleagues define each sub-layer output as LayerNorm(x + Sublayer(x)).

قدّم Ba و Kiros و Hinton الـ layer norm للحالات التي يكون فيها الـ batch غير ملائم تحديدًا. إحصاءاته تأتي من كل المدخلات المجمّعة للعصبونات في طبقة واحدة على حالة تدريب واحدة، فيجري الحساب نفسه تمامًا في التدريب والاختبار، ويسهل تطبيقه على الشبكات التكرارية (recurrent networks) بحساب الإحصاءات منفصلة عند كل خطوة زمنية. وتذكر الشريحة 35 الحقيقتين. ولأنه لا ينظر أبدًا إلى عينة أخرى، فهو يعمل أيضًا مع batch size يساوي واحدًا، وكتلة الـ transformer في الجزء 06 تستخدمه في كل خطوة Add and Norm: إذ يعرّف Vaswani وزملاؤه مخرج كل طبقة فرعية بأنه LayerNorm(x + Sublayer(x)).

Instance norm came from style transfer. Ulyanov, Vedaldi and Lempitsky found that replacing batch norm with instance norm, applied both at training and testing, sharply improved stylization, because the per-image contrast statistics are exactly what a style transfer network needs to discard. PyTorch's InstanceNorm2d defaults to no affine parameters and no running statistics.

جاء الـ instance norm من نقل الأسلوب (style transfer). وجد Ulyanov و Vedaldi و Lempitsky أن استبدال الـ batch norm بالـ instance norm، مطبَّقًا في التدريب والاختبار معًا، حسّن الأسلبة بشكل كبير، لأن إحصاءات التباين (contrast) الخاصة بكل صورة هي بالضبط ما تحتاج شبكة نقل الأسلوب إلى التخلص منه. والـ InstanceNorm2d في PyTorch يكون افتراضيًا بلا معاملات affine وبلا إحصاءات متحركة.

Group norm is the embedded and detection story. Wu and He show that batch norm's error increases rapidly when the batch size becomes smaller: a ResNet-50 on ImageNet at batch size 2 reaches 34.7 percent error with BN and 24.1 percent with GN, while GN's computation is independent of batch size. With G = 32 as the default, GN becomes LN when G = 1 and IN when G = C, which is what the explorer's two slider ends show: one channel per group is instance norm, all channels in one group is layer norm. When you fine-tune a model on a device with a memory budget that allows one or two samples per step, a batch-free normalization is the difference between a model that trains and one that does not. Wu and He note that dropping the batch size constraint can free considerably more memory, sixteen times or more.

الـ group norm هو قصة الأنظمة المدمجة والكشف عن الأجسام (detection). يُظهر Wu و He أن خطأ الـ batch norm يزداد بسرعة حين يصغر الـ batch size: نموذج ResNet-50 على ImageNet عند batch size يساوي 2 يصل إلى خطأ 34.7 percent مع BN و 24.1 percent مع GN، بينما حساب GN مستقل عن الـ batch size. ومع G = 32 كقيمة افتراضية، يصبح GN هو LN عندما G = 1 ويصبح IN عندما G = C، وهذا ما يُظهره طرفا شريط التمرير في المستكشف: قناة واحدة لكل مجموعة هي instance norm، وكل القنوات في مجموعة واحدة هي layer norm. حين تعيد ضبط (fine-tune) نموذج على جهاز بميزانية ذاكرة تسمح بعينة أو عينتين في كل خطوة، يكون الـ normalization الذي لا يحتاج batch هو الفرق بين نموذج يتدرب ونموذج لا يتدرب. ويلاحظ Wu و He أن التخلص من قيد الـ batch size قد يحرّر ذاكرة أكثر بكثير، ستة عشر ضعفًا أو أكثر.

Tom Yeh's batch norm worksheet runs a mini-batch of four samples with three features each passes through a linear layer, a ReLU, then batch norm. Filling in every cell is the single best preparation for the computational question on this topic, so here is every number, recomputed rather than copied from the heavily rounded original.

في ورقة عمل الـ batch norm من Tom Yeh تمر mini-batch من أربع عينات، لكل منها ثلاث خاصيات، عبر طبقة خطية، ثم ReLU، ثم batch norm. ملء كل خلية فيها هو أفضل تحضير على الإطلاق للسؤال الحسابي في هذا الموضوع، لذلك إليك كل رقم، مُعاد حسابه لا منقولًا من الأصل كثير التقريب.

The layout hides two conventions. The mini-batch is written as columns x1 = (1, 0, 2), x2 = (0, 3, 1), x3 = (3, 1, 0), x4 = (0, 1, 2) with a row of ones appended, so the red 3 x 4 "Linear Layer" block is [W | b] with W = [[1, 0, 1], [1, 1, 0], [0, 2, -1]] and b = (0, -1, 0). Likewise the "Scale and Shift" block is [diag(gamma) | beta] with gamma = (2, 3, -1) and beta = (0, 0, 1), applied to the normalized matrix with its own row of ones. The small two-column "Trainable Parameters" box (drawn as a 2 x 2 grid in the blank template) stands for the columns [gamma | beta]; for this three-feature layer it holds a 3 x 2 matrix.

يخفي التخطيط اصطلاحين. الـ mini-batch مكتوبة كأعمدة x1 = (1, 0, 2)، x2 = (0, 3, 1)، x3 = (3, 1, 0)، x4 = (0, 1, 2) مع صف من الآحاد مضاف إليها، فتكون الكتلة الحمراء 3 x 4 المسماة "Linear Layer" هي [W | b] حيث W = [[1, 0, 1], [1, 1, 0], [0, 2, -1]] و b = (0, -1, 0). وبالمثل فإن كتلة "Scale and Shift" هي [diag(gamma) | beta] حيث gamma = (2, 3, -1) و beta = (0, 0, 1)، مطبّقة على المصفوفة الموحّدة المقياس مع صف الآحاد الخاص بها. والمربع الصغير ذو العمودين "Trainable Parameters" (المرسوم كشبكة 2 x 2 في القالب الفارغ) يمثّل العمودين [gamma | beta]؛ ولهذه الطبقة ذات الخاصيات الثلاث يحمل مصفوفة 3 x 2.

Switch the simulator to eval mode and the same four inputs produce different outputs with the simulator's placeholder running mean and variance of one (PyTorch itself starts running_mean at 0 and running_var at 1): sample 1, feature 1 gives 4.00 instead of 1.81. That gap is the slide 33 bug made visible. To reproduce the fusion table of the previous concept, switch the placement to the paper order, press "load this batch's statistics" so the running mean becomes 2.25, 1.25, 1.25 and the running variance 0.6875, 1.6875, 6.6875, then press fuse: W' and b' appear computed live, with the check that they reproduce BN(Wx + b). With the placeholder running values of one you get a different, equally valid fused layer with scales 2, 3, -1, because the fused weights depend on whatever statistics training froze.

حوّل المحاكي إلى وضع eval وستنتج المدخلات الأربعة نفسها مخرجات مختلفة مع المتوسط والتباين المتحركين المؤقتين في المحاكي اللذين يساويان واحدًا (أما PyTorch نفسه فيبدأ running_mean عند 0 و running_var عند 1): العينة 1، الخاصية 1 تعطي 4.00 بدلًا من 1.81. هذه الفجوة هي خطأ الشريحة 33 وقد صار مرئيًا. ولإعادة إنتاج جدول الدمج من المفهوم السابق، حوّل موضع الطبقة إلى ترتيب الورقة، واضغط "load this batch's statistics" فيصبح المتوسط المتحرك 2.25, 1.25, 1.25 والتباين المتحرك 0.6875, 1.6875, 6.6875، ثم اضغط fuse: يظهر W' و b' محسوبين مباشرة، مع التحقق من أنهما يعيدان إنتاج BN(Wx + b). ومع القيم المتحركة المؤقتة التي تساوي واحدًا تحصل على طبقة مدموجة مختلفة وصحيحة بالقدر نفسه بمعاملات تحجيم 2, 3, -1، لأن الأوزان المدموجة تعتمد على أي إحصاءات جمّدها التدريب.