The one output-size formula

صيغة حجم الخرج الوحيدة

Slide 14 gave h_o = h_i - k_h + 1. Slide 16 adds padding p on each side, and slide 18 adds stride s. Put together:

أعطت الشريحة 14 الصيغة h_o = h_i - k_h + 1. ثم تضيف الشريحة 16 الـ padding p على كل جانب، وتضيف الشريحة 18 الـ stride s. وبجمعها معاً:

h_o = ⌊ h_i + 2p − k_hs ⌋ + 1

Read it as: the padded input is h_i + 2p wide; the kernel's first position uses up k_h of that; every further position needs s more cells. The floor says a partial last step is dropped. The same formula holds for width with w and k_w. Slide 18 prints it without the floor brackets, but every framework (PyTorch included) floors, and the exam can pick numbers that do not divide.

اقرأها هكذا: المدخل بعد padding عرضه h_i + 2p؛ الموضع الأول للـ kernel يستهلك k_h منه؛ وكل موضع إضافي يحتاج s خلايا أخرى. والـ floor يعني أن الخطوة الأخيرة الناقصة تُهمَل. والصيغة نفسها تنطبق على العرض باستخدام w وk_w. الشريحة 18 تكتبها بدون أقواس floor، لكن كل framework (ومنها PyTorch) يطبّق floor، وقد يختار الامتحان أرقاماً لا تقبل القسمة.

Padding: keep the map from shrinking

الحشو (padding): يمنع الخريطة من الانكماش

Slide 16: "Padding can be used to keep the output feature map size the same as input feature map size." At stride 1, setting h_o = h_i in h_i + 2p - k + 1 gives 2p = k - 1:

الشريحة 16: "Padding can be used to keep the output feature map size the same as input feature map size." عند stride = 1، إذا وضعنا h_o = h_i في h_i + 2p - k + 1 نحصل على 2p = k - 1:

"same" padding at s = 1:   p = k − 12    k = 3 → p = 1,   k = 5 → p = 2,   k = 7 → p = 3

This is one reason kernels are odd-sized: an even k would need a half pixel of padding on each side, so the padding could not be symmetric.

وهذا أحد أسباب أن أحجام kernels فردية: الـ k الزوجي يحتاج نصف بكسل من padding على كل جانب، فلا يمكن أن يكون padding متماثلاً.

Padding modes

أنماط الحشو

The slide lists zero padding (pads the boundary with 0, the PyTorch default) and three others: reflection, replication and constant. They differ only in which numbers go into the border cells:

تذكر الشريحة zero padding (يملأ الحدود بالصفر، وهو الافتراضي في PyTorch) وثلاثة أنواع أخرى: reflection وreplication وconstant. والفرق بينها فقط في الأرقام التي توضع في خلايا الحدود:

Stride: downsample inside the network

الخطوة (stride): تقليل الأبعاد داخل الشبكة

Stride s is how many cells the kernel jumps between positions. s = 2 roughly halves each spatial dimension, so it cuts the output area, the activations and the MACs by about 4. The weights are the same weights; only the positions where they are applied change.

الـ stride s هو عدد الخلايا التي يقفزها الـ kernel بين موضع وآخر. s = 2 يقسم كل بعد مكاني على 2 تقريباً، فيخفض مساحة المخرج وactivations وMACs بنحو 4 مرات. الأوزان هي نفسها، والذي يتغير فقط هو المواضع التي تُطبَّق فيها.

h_o = floor((h_i + 2p - k) / s) + 1

(a) 32, k=5, p=2, s=1     (32 + 4 - 5)/1 + 1  = 31 + 1        = 32   same size
(b)  4, k=2, p=0, s=2     (4 - 2)/2 + 1       = 1 + 1         = 2    slide 15
(c)  7, k=3, p=0, s=2     (7 - 3)/2 + 1       = 2 + 1         = 3
(d)  6, k=3, p=0, s=2     (6 - 3)/2 + 1       = floor(1.5) + 1 = 2   FLOOR CASE
(e) 224, k=7, p=3, s=2    (224 + 6 - 7)/2 + 1 = floor(111.5) + 1 = 112
(f) 227, k=11, p=0, s=4   (227 - 11)/4 + 1    = 54 + 1        = 55   AlexNet conv1

params    = 16 x 3 x 3 x 3 + 16 = 432 + 16 = 448        (both rows)
s = 2:  h_o = floor((32 + 2 - 3)/2) + 1 = floor(15.5) + 1 = 16
MACs      = c_o x h_o x w_o x c_i x k x k
     s=1: 16 x 32 x 32 x 27 = 442,368
     s=2: 16 x 16 x 16 x 27 = 110,592   (exactly 1/4)

Receptive field

مجال الاستقبال (receptive field)

Slide 17: each output element depends on a k_h × k_w window of its input. Stack another layer and each output now depends on a k-wide window of things that were each k wide, overlapping, so the window on the original image grows. Each successive stride-1 convolution adds k - 1.

الشريحة 17: كل عنصر في المخرج يعتمد على نافذة k_h × k_w من مدخله. أضف طبقة أخرى فيصبح كل مخرج معتمداً على نافذة عرضها k من عناصر كان كل منها يرى k، مع تداخل، فتكبر النافذة على الصورة الأصلية. كل convolution إضافية بـ stride = 1 تضيف k - 1.

RF (L layers, stride 1) = L · (k − 1) + 1    k = 3:   L = 2 → 5,   L = 3 → 7

Slide 18 shows what stride does: with stride 2 in the first layer, L = 2 and k = 3 give a receptive field of 7, the same as three stride-1 layers. Neighbouring cells of a strided map sit s input pixels apart, so the next layer's k - 1 extra cells each cover s pixels. The general recurrence:

تعرض الشريحة 18 أثر stride: مع stride = 2 في الطبقة الأولى، تعطي L = 2 وk = 3 مجالاً استقبالياً (receptive field) قدره 7، وهو نفسه ما تعطيه ثلاث طبقات بـ stride = 1. الخلايا المتجاورة في خريطة ذات stride تبعد عن بعضها s بكسل في المدخل، فكل خلية من الخلايا الإضافية k - 1 في الطبقة التالية تغطي s بكسل. والعلاقة العامة:

RF_L = RF_L−1 + (k_L − 1) × ∏_j<L s_j    RF₀ = 1

Slide 17 ends on the motivation: "Problem: for large images, we need many layers for each output to 'see' the whole image. Solution: downsample inside the neural network." With stride 1 the RF grows linearly, 2 pixels per 3 × 3 layer, so covering a 224-pixel image would take about 112 layers. Strided convs and pooling make it grow geometrically instead.

تنتهي الشريحة 17 بالدافع: "Problem: for large images, we need many layers for each output to 'see' the whole image. Solution: downsample inside the neural network." مع stride = 1 ينمو RF خطياً، بمقدار 2 بكسل لكل طبقة 3 × 3، فتغطية صورة عرضها 224 بكسل تحتاج نحو 112 طبقة. أما strided convs وpooling فتجعل النمو هندسياً بدلاً من ذلك.