Pooling and what CNN filters learnالتجميع (Pooling) وما تتعلمه مرشحات CNN

A VGG-style block hands the next layer a volume of 224 x 224 x 64, which is 3,211,264 activations. A 2 x 2 pool with stride 2 returns 112 x 112 x 64, which is 802,816. Nothing was learned, nothing was mixed across channels, and every one of the 64 maps was simply shrunk on its own. That is the whole job of a Pooling layer.

تسلّم كتلة على نمط VGG الطبقة التالية حجمًا قدره 224 x 224 x 64، أي 3,211,264 قيمة activation. وطبقة pool بنافذة 2 x 2 وخطوة 2 تُرجع 112 x 112 x 64، أي 802,816. لم يُتعلَّم شيء، ولم يُمزج شيء عبر القنوات، وكل خريطة من الخرائط الـ 64 صُغّرت ببساطة وحدها. هذه هي وظيفة pooling layer كاملة.

The rule behind the example: a pooling layer applies a fixed summary over a small window of each activation map, one map at a time. Two summaries are common. Max pooling keeps the largest value in the window, and Average pooling keeps the mean. Because the summary is computed inside one Channel and never across channels, the depth of the volume is preserved while the spatial size falls. Pooling is therefore the second Downsampling tool of this lecture, next to Stride, and its output is a smaller Feature map per channel.

القاعدة وراء المثال: طبقة الـ pooling تطبّق تلخيصًا ثابتًا على نافذة صغيرة من كل خريطة activation، خريطةً واحدة في كل مرة. وهناك تلخيصان شائعان: max pooling يحتفظ بأكبر قيمة في النافذة، وaverage pooling يحتفظ بالمتوسط. ولأن التلخيص يُحسب داخل channel واحدة ولا يُحسب أبدًا عبر القنوات، يبقى عمق الحجم محفوظًا بينما يصغر حجمه المكاني. لذلك فالـ pooling هو الأداة الثانية للـ downsampling في هذه المحاضرة إلى جانب stride، ومخرجه feature map أصغر لكل قناة.

Why max pooling is the default, and why that is a heuristicلماذا يُعدّ max pooling الخيار الافتراضي، ولماذا هذه قاعدة تجريبية

Pooling of any kind brings an approximate translation invariance, and max pooling shows it most sharply, which is why slide 21 attaches "Introduces spatial invariance" to max pooling. Goodfellow, Bengio and Courville describe pooling in all its forms as making the representation "approximately invariant to small translations of the input": if the input shifts by a pixel, the values of most pooled outputs do not change, because the maximum is still inside its window. Their example is face detection, where the network need not know the location of the eyes with pixel-perfect accuracy, only that there is an eye on each side. They also point out that pooling regions spaced k pixels apart give the next layer roughly k times fewer inputs to process, which is the memory saving your microcontroller will feel.

أي نوع من الـ pooling يضيف ثباتًا تقريبيًا أمام الإزاحة (translation invariance)، وmax pooling يُظهره بأوضح صورة، ولهذا تربط الشريحة 21 عبارة «Introduces spatial invariance» بالـ max pooling. يصف Goodfellow وBengio وCourville الـ pooling بجميع أشكاله بأنه يجعل التمثيل «approximately invariant to small translations of the input»، أي ثابتًا تقريبًا أمام الإزاحات الصغيرة للمدخل: إذا انزاح المدخل بكسلًا واحدًا، فإن قيم معظم مخرجات الـ pooling لا تتغير، لأن القيمة العظمى ما زالت داخل نافذتها. ومثالهم هو كشف الوجوه، حيث لا تحتاج الشبكة إلى معرفة موضع العينين بدقة البكسل، بل يكفيها أن تعرف أن هناك عينًا في كل جانب. ويشيرون أيضًا إلى أن مناطق pooling تفصل بينها k بكسلات تعطي الطبقة التالية مدخلات أقل بنحو k مرة لتعالجها، وهذا هو التوفير في الذاكرة الذي سيشعر به المتحكم الدقيق لديك.

Slide 21 goes further and says max pooling "performs a lot better" because it discards noisy activations. Treat that as the slide's heuristic, not a law. Boureau, Ponce and LeCun analysed the two in 2010 and found that which one wins depends on how sparse the features are and how large the pool is; they note that earlier comparisons had been "purely empirical". CS231n states more cautiously that max pooling "has been shown to work better in practice". And the field has partly moved on: Springenberg et al. showed in 2014 that max pooling "can simply be replaced by a convolutional layer with increased stride without loss in accuracy", and Lin, Chen and Yan's Network in Network replaced the fully connected head with global average pooling, which they found "less prone to overfitting". ResNet and MobileNet families follow that pattern: strided convolutions inside, a single global average pool at the end.

تذهب الشريحة 21 أبعد من ذلك وتقول إن max pooling «performs a lot better»، أي أفضل بكثير، لأنه يتخلص من الـ activations المشوَّشة. تعامل مع هذا على أنه قاعدة تجريبية من الشريحة، لا قانون. فقد حلّل Boureau وPonce وLeCun النوعين عام 2010 ووجدوا أن الفائز يعتمد على مدى تناثر (sparsity) الخصائص وعلى حجم الـ pool؛ ولاحظوا أن المقارنات السابقة كانت «purely empirical»، أي تجريبية بحتة. ويقول CS231n بحذر أكبر إن max pooling «has been shown to work better in practice»، أي ثبت أنه يعمل أفضل عمليًا. وقد تجاوز المجال ذلك جزئيًا: أظهر Springenberg et al. عام 2014 أن max pooling «can simply be replaced by a convolutional layer with increased stride without loss in accuracy»، أي يمكن ببساطة استبداله بطبقة convolution بخطوة أكبر دون خسارة في الدقة، واستبدلت ورقة Network in Network لـ Lin وChen وYan الرأس المتصل بالكامل (fully connected head) بـ global average pooling، ووجدوه «less prone to overfitting»، أي أقل عرضة للـ overfitting. وعائلتا ResNet وMobileNet تتبعان هذا النمط: strided convolutions في الداخل، وglobal average pool واحد في النهاية.

Take the single depth slice from slide 22, a 4 x 4 grid, and pool it with a 2 x 2 window and Stride 2. The window lands in four places and never overlaps itself, so the four coloured quadrants of the slide are the four windows. Each quadrant becomes one output cell.

خذ شريحة العمق الواحدة من الشريحة 22، وهي شبكة 4 x 4، وطبّق عليها pooling بنافذة 2 x 2 وstride قيمتها 2. تقع النافذة في أربعة مواضع ولا تتداخل مع نفسها أبدًا، لذا فالأرباع الأربعة الملوّنة في الشريحة هي النوافذ الأربع. وكل ربع يصبح خلية واحدة في المخرج.

Read the two results as grids. Max pooling gives [[6, 8], [3, 4]] and Average pooling gives [[3.25, 5.25], [2, 2]]. Notice what each one threw away. Max kept only the argmax cell of each window (the 6, the 8, the 3, the 4) and forgot the other three values entirely. Mean kept a trace of all four but flattened the 8 down to 5.25.

اقرأ النتيجتين كشبكتين. يعطي max pooling النتيجة [[6, 8], [3, 4]]، ويعطي average pooling النتيجة [[3.25, 5.25], [2, 2]]. لاحظ ما تخلّص منه كل واحد منهما. الـ max احتفظ فقط بخلية الـ argmax في كل نافذة (الـ 6 والـ 8 والـ 3 والـ 4) ونسي القيم الثلاث الأخرى تمامًا. أما الـ mean فاحتفظ بأثر من القيم الأربع كلها لكنه خفّض الـ 8 إلى 5.25.

The general ruleالقاعدة العامة

Let the input be W1 x H1 x C. A Pooling layer needs exactly two hyperparameters, the spatial extent F of the window and the stride S, and it produces W2 x H2 x C.

ليكن المدخل W1 x H1 x C. تحتاج pooling layer إلى معاملين فائقين (hyperparameters) فقط: الامتداد المكاني للنافذة F، والخطوة S، وتُنتج W2 x H2 x C.

The shape formula is the convolution formula from part 03 with p = 0 and the kernel size renamed to F. PyTorch writes the same rule in its general form, H_out = floor((H_in + 2p - d(F - 1) - 1)/S + 1), with the stride defaulting to the kernel size, so MaxPool2d(2) means F = 2, S = 2 (PyTorch docs). The floor matters when the division is not exact, and the second worked example shows why.

صيغة الشكل هي نفسها صيغة الـ convolution من الجزء 03 مع p = 0 وتغيير اسم حجم الـ kernel إلى F. ويكتب PyTorch القاعدة نفسها بصيغتها العامة H_out = floor((H_in + 2p - d(F - 1) - 1)/S + 1)، والخطوة فيه تساوي حجم الـ kernel افتراضيًا، لذا فإن MaxPool2d(2) تعني F = 2, S = 2 (توثيق PyTorch). ويهمّ الـ floor عندما لا تكون القسمة صحيحة، والمثال المحلول الثاني يوضح السبب.

The zero comes from what pooling does in the backward pass. CS231n notes that a pooling layer "introduces zero parameters since it computes a fixed function of the input". Implementations keep the index of the maximum, the "switch", so the gradient is routed to exactly one cell per window in max pooling; in average pooling it is spread as 1/F² to each cell. Either way the layer has no Weight and no Bias, so it adds nothing to the Parameter count.

يأتي الصفر مما يفعله الـ pooling في الـ backward pass. يذكر CS231n أن طبقة الـ pooling «introduces zero parameters since it computes a fixed function of the input»، أي لا تضيف أي معاملات لأنها تحسب دالة ثابتة من المدخل. وتحتفظ التطبيقات بموضع القيمة العظمى، ويُسمّى «switch»، فيُوجَّه الـ gradient إلى خلية واحدة بالضبط في كل نافذة في max pooling؛ أما في average pooling فيُوزَّع بمقدار 1/F² على كل خلية. وفي الحالتين لا تملك الطبقة أي weight ولا أي bias، فلا تضيف شيئًا إلى عدد الـ parameters.

Changing F and S on the same 4 x 4 slice shows how strongly the two hyperparameters shape the result. The values below are max pooling; the simulator lets you check the means.

تغيير F وS على شريحة 4 x 4 نفسها يُظهر مدى قوة تأثير هذين المعاملين الفائقين في النتيجة. القيم أدناه هي لـ max pooling؛ والمحاكي يتيح لك التحقق من المتوسطات.

The grid on slide 23 comes from Lee, Grosse, Ranganath and Ng (ICML 2009), who learned a first layer of edge detectors from natural images once, then trained the second and third layers of a convolutional deep belief network separately on unlabeled Caltech-101 images of faces, cars, elephants and chairs, and visualized what each layer responds to. Their own summary: the first, second and third layers "learn edge detectors, object parts, and objects respectively". Look at the bottom row of the slide. It is the same across all four columns because that first layer was learned once from natural images: small oriented edges like Gabor patches. The middle row diverges into eyes and noses, wheels and bumpers, tusks and ears, chair legs and backs. The top row shows entire faces, cars, elephants and chairs.

الشبكة في الشريحة 23 مأخوذة من Lee وGrosse وRanganath وNg (ICML 2009)، الذين تعلّموا طبقة أولى من كاشفات الحواف من صور طبيعية مرة واحدة، ثم درّبوا الطبقتين الثانية والثالثة من convolutional deep belief network بشكل منفصل على صور غير معنونة من Caltech-101 للوجوه والسيارات والفيلة والكراسي، وعرضوا بصريًا ما تستجيب له كل طبقة. وملخّصهم هم: الطبقات الأولى والثانية والثالثة «learn edge detectors, object parts, and objects respectively»، أي تتعلم كاشفات الحواف، ثم أجزاء الأجسام، ثم الأجسام، على الترتيب. انظر إلى الصف السفلي في الشريحة. إنه متطابق في الأعمدة الأربعة لأن تلك الطبقة الأولى جرى تعلّمها مرة واحدة من صور طبيعية: حواف صغيرة موجّهة تشبه رقع Gabor. ثم يتفرّع الصف الأوسط إلى عيون وأنوف، وعجلات ومصدّات، وأنياب وآذان، وأرجل كراسٍ وظهورها. ويُظهر الصف العلوي وجوهًا وسيارات وفيلة وكراسي كاملة.

This ladder is the Feature hierarchy, and it is not designed by hand. Every Convolution layer runs the same operation with a small Kernel (filter). What changes with depth is the Receptive field: a first-layer unit sees only its k x k patch of pixels, so the most it can detect is an edge. A second-layer unit sees a k x k patch of first-layer responses, which covers a larger region of the image (L(k - 1) + 1 pixels after L stride-1 layers, faster with stride or pooling), so it can combine edges into a curve or an eye. Deep units cover most of the image and can match a whole face. Zeiler and Fergus confirmed in 2013 that the same ladder appears inside a supervised ImageNet CNN, using a deconvolutional visualization of intermediate layers.

هذا السلّم هو feature hierarchy، ولا يُصمَّم يدويًا. كل convolution layer تنفّذ العملية نفسها بـ kernel صغير. ما يتغير مع العمق هو receptive field: وحدة في الطبقة الأولى لا ترى إلا رقعتها k x k من البكسلات، فأقصى ما يمكنها كشفه حافة. ووحدة في الطبقة الثانية ترى رقعة k x k من استجابات الطبقة الأولى، وهذه تغطي منطقة أكبر من الصورة (L(k - 1) + 1 بكسلًا بعد L طبقات بخطوة 1، وأسرع مع الـ stride أو الـ pooling)، فتستطيع جمع الحواف في منحنى أو عين. أما الوحدات العميقة فتغطي معظم الصورة ويمكنها مطابقة وجه كامل. وقد أكّد Zeiler وFergus عام 2013 أن السلّم نفسه يظهر داخل CNN مُشرَف عليها مدرَّبة على ImageNet، باستخدام عرض بصري بالـ deconvolution للطبقات الوسيطة.

The mechanism in action: slide 24الآلية أثناء العمل: الشريحة 24

Slide 24 shows a network of the pattern [CONV, RELU, CONV, RELU, POOL] repeated three times and then a fully connected layer, run on a photo of a car. Each column is the activation maps of one layer. Read them left to right and the hierarchy appears live: the first columns look like edge-filtered copies of the car, the middle columns are sparse and blotchy, and the last columns are tiny grids that no longer resemble the photo at all.

تعرض الشريحة 24 شبكة من النمط [CONV, RELU, CONV, RELU, POOL] مكررًا ثلاث مرات ثم طبقة متصلة بالكامل (fully connected)، تعمل على صورة سيارة. كل عمود هو الـ activation maps لطبقة واحدة. اقرأها من اليسار إلى اليمين وسيظهر التسلسل الهرمي حيًّا: الأعمدة الأولى تبدو نسخًا من السيارة مرّت عبر فلتر حواف، والأعمدة الوسطى متناثرة وبقعية، والأعمدة الأخيرة شبكات صغيرة لم تعد تشبه الصورة إطلاقًا.

The ReLU after each conv keeps only positive responses, which is why the columns after it are darker. Each POOL halves the Feature map and, because the next block's k x k window now covers twice as many original pixels, pushes the receptive field outward. Two pools have already halved the maps twice, so the third block works on maps one quarter the width of the input, and the third pool leaves the fully connected layer maps one eighth the width; that is why the last units can see a whole car. The Fully connected layer at the end reads every unit of the final maps at once and produces one score per class. On the slide, car scores highest, well above truck, then airplane, ship and horse.

الـ ReLU بعد كل conv لا تُبقي إلا الاستجابات الموجبة، ولهذا تكون الأعمدة التي تليها أغمق. وكل POOL يقسم feature map على اثنين، ولأن نافذة k x k في الكتلة التالية تغطي الآن ضعف عدد البكسلات الأصلية، فإنه يدفع الحقل الاستقبالي إلى الخارج. وقد قسم الـ pool الأول والثاني الخرائط على اثنين مرتين، فتعمل الكتلة الثالثة على خرائط عرضها ربع عرض المدخل، ويترك الـ pool الثالث للطبقة المتصلة بالكامل خرائط عرضها ثُمن عرض المدخل؛ ولهذا تستطيع الوحدات الأخيرة رؤية سيارة كاملة. وتقرأ fully connected layer في النهاية كل وحدة من الخرائط الأخيرة دفعة واحدة وتُنتج درجة واحدة لكل فئة. وفي الشريحة تحصل car على أعلى درجة، أعلى بكثير من truck، ثم airplane وship وhorse.

Why this matters on an embedded deviceلماذا يهمّ هذا على جهاز مدمج

The hierarchy explains a pattern you will meet throughout this course. Early layers have few parameters (a 5 x 5 x 3 filter is 75 weights) but large activation maps; late layers have many parameters but tiny maps. So SRAM pressure comes from the front of the network and flash pressure from the back, and pruning or quantizing them calls for different budgets. Transfer learning on the edge uses the hierarchy directly: the edge and part detectors are generic, so you freeze the low tiers and retrain only the top.

يشرح التسلسل الهرمي نمطًا ستقابله طوال هذا المقرر. الطبقات الأولى لها معاملات قليلة (filter بحجم 5 x 5 x 3 يساوي 75 وزنًا) لكن activation maps كبيرة؛ والطبقات الأخيرة لها معاملات كثيرة لكن خرائط صغيرة جدًا. لذا يأتي الضغط على SRAM من مقدمة الشبكة، ويأتي الضغط على flash من مؤخرتها، ويحتاج الـ pruning أو الـ quantization لكل منهما إلى ميزانية مختلفة. ويستخدم الـ transfer learning على الحافة (edge) هذا التسلسل الهرمي مباشرة: كاشفات الحواف والأجزاء عامة، فتجمّد الطبقات الدنيا وتعيد تدريب العليا فقط.

Open the ConvNetJS CIFAR-10 demo and read its first conv block. It prints "conv (32x32x16), filter size 5x5x3, stride 1, parameters: 16x5x5x3+16 = 1216". That one line is a complete exam answer, and it is worth rebuilding by hand.

افتح عرض ConvNetJS CIFAR-10 واقرأ أول كتلة conv فيه. إنه يطبع «conv (32x32x16), filter size 5x5x3, stride 1, parameters: 16x5x5x3+16 = 1216». هذا السطر الواحد إجابة امتحان كاملة، ويستحق أن تعيد بناءه يدويًا.

The whole demo network is small enough to count in full. Two things to watch: every conv filter is as deep as the channels feeding it, and the three pooling layers contribute nothing to the total while cutting the activations by four each time.

شبكة العرض كلها صغيرة بما يكفي لعدّها كاملة. انتبه لأمرين: كل filter في conv عمقه يساوي عدد القنوات الداخلة إليه، وطبقات الـ pooling الثلاث لا تضيف شيئًا إلى المجموع بينما تقلّص الـ activations بأربع مرات في كل مرة.

The total is 22,466 parameters. The softmax layer is the only one whose count depends on the image size, because it reads the flattened 4 x 4 x 20 = 320 activations; every conv layer's count depends only on its filter shape, which is Weight sharing at work.

المجموع 22,466 معاملًا. وطبقة الـ softmax هي الوحيدة التي يعتمد عدد معاملاتها على حجم الصورة، لأنها تقرأ الـ activations المسطّحة وعددها 4 x 4 x 20 = 320؛ أما عدد معاملات كل طبقة conv فيعتمد على شكل الـ filter فقط، وهذا هو weight sharing أثناء العمل.

CNN Explainer as retrieval practiceCNN Explainer كتمرين استرجاع

CNN Explainer (Wang et al., IEEE VIS 2020) runs a network the authors call Tiny VGG on ten classes: lifeboat, ladybug, pizza, bell pepper, school bus, koala, espresso, red panda, orange and sport car. Its training code uses 3 x 3 convolutions with 10 filters and no padding ("valid"), and 2 x 2 max pools with stride 2. The input is 64 x 64 x 3. Before you look at the table, chain the shapes yourself: a valid conv subtracts 2, a pool halves.

يشغّل CNN Explainer (Wang et al., IEEE VIS 2020) شبكة يسمّيها مؤلفوها Tiny VGG على عشر فئات: lifeboat وladybug وpizza وbell pepper وschool bus وkoala وespresso وred panda وorange وsport car. ويستخدم كود التدريب الخاص به convolutions بحجم 3 x 3 مع 10 filters ودون padding («valid»)، وmax pools بحجم 2 x 2 وخطوة 2. والمدخل 64 x 64 x 3. قبل أن تنظر إلى الجدول، تتبّع الأشكال بنفسك: الـ conv من نوع valid تطرح 2، والـ pool يقسم على اثنين.

The pattern repeats: 19,920 parameters, of which the two pools contribute 0 while each removes three quarters of the activations. The dense layer holds 16,910 of the total because it multiplies the image-dependent 1690 by the ten classes. Click any activation map in the live page and it animates the window that produced it, which is the pooling and convolution arithmetic of this lecture rendered one cell at a time.

النمط يتكرر: 19,920 معاملًا، يساهم فيها الـ pool الاثنان بـ 0، بينما يزيل كل منهما ثلاثة أرباع الـ activations. وتحمل الطبقة الكثيفة (dense) 16,910 من المجموع لأنها تضرب العدد 1690 المعتمد على حجم الصورة في الفئات العشر. انقر أي activation map في الصفحة الحية وستعرض حركيًا النافذة التي أنتجتها، وهذا هو حساب الـ pooling والـ convolution في هذه المحاضرة معروضًا خليةً خلية.