Convolution layers and their tensor shapesطبقات الالتفاف (Convolution) وأشكال موتراتها

Take a CIFAR-10 image: 32 x 32 pixels in three colour channels, so 3072 numbers. A single neuron of the Fully connected layer from Part 01 has one weight for each of those 3072 inputs, and CS231n uses exactly this count to show why the fully connected design does not scale to images. A neuron in a Convolution layer does something far more modest. It looks at a 5 x 5 patch of the image across all three channels, so 5 x 5 x 3 = 75 numbers, and ignores everything else. That patch is the neuron's Receptive field, and the slide states the whole idea in one sentence: the output neuron is connected to input neurons in the receptive field.

خذ صورة من CIFAR-10: 32 x 32 بكسلًا في ثلاث قنوات لونية (channels)، أي 3072 رقمًا. عصبون واحد في الـ fully connected layer من الجزء 01 له وزن واحد لكل مدخل من هذه المدخلات الـ 3072، ويستخدم CS231n هذا العدد تحديدًا ليبيّن لماذا لا يتوسع التصميم كامل الاتصال ليناسب الصور. أما العصبون في الـ convolution layer فيفعل شيئًا أكثر تواضعًا بكثير: ينظر إلى رقعة بحجم 5 x 5 من الصورة عبر القنوات الثلاث كلها، أي 5 x 5 x 3 = 75 رقمًا، ويتجاهل كل ما عداها. هذه الرقعة هي الـ receptive field (المجال الاستقبالي) للعصبون، والشريحة تلخّص الفكرة كلها في جملة واحدة: عصبون المخرج متصل بعصبونات المدخل الموجودة في المجال الاستقبالي.

That sentence hides two separate decisions, and Goodfellow, Bengio and Courville name them in section 9.2 of Deep Learning. The first is sparse interactions. With m inputs and n outputs, a fully connected layer stores m x n weights. If each output is allowed to touch only k inputs, the layer stores k x n. On the CIFAR image that is 75 per output instead of 3072.

تخفي هذه الجملة قرارين منفصلين، ويسمّيهما Goodfellow وBengio وCourville في القسم 9.2 من كتاب Deep Learning. الأول هو التفاعلات المتفرقة (sparse interactions). مع m مدخلًا وn مخرجًا، تخزّن الطبقة كاملة الاتصال m x n وزنًا. فإذا سُمح لكل مخرج بأن يلمس k مدخلًا فقط، تخزّن الطبقة k x n. وفي صورة CIFAR يعني ذلك 75 وزنًا لكل مخرج بدلًا من 3072.

The second decision is Weight sharing. Sparse connectivity alone would still give every output position its own private set of 75 weights. Convolution goes further and uses the same 75 numbers at every position. Goodfellow and colleagues put it plainly: rather than learning a separate set of parameters for every location, we learn only one set, so the storage of one filter drops to k parameters. They also give the synonym you will meet in older papers, tied weights. Slide 8 labels its figure Weight Sharing, and slides 12 and 13 show it in motion: the same green, yellow and cyan filters are applied wherever the red window sits on the blue input.

القرار الثاني هو الـ weight sharing (مشاركة الأوزان). الاتصال المتفرق وحده كان سيعطي كل موضع مخرج مجموعته الخاصة من 75 وزنًا. أما الالتفاف فيذهب أبعد ويستخدم الأرقام الـ 75 نفسها في كل موضع. ويقولها Goodfellow وزملاؤه بوضوح: بدلًا من تعلّم مجموعة منفصلة من المعاملات لكل موقع، نتعلم مجموعة واحدة فقط، فينخفض تخزين مرشّح (filter) واحد إلى k معاملًا (parameters). ويذكرون أيضًا المرادف الذي ستصادفه في الأوراق الأقدم: الأوزان المربوطة (tied weights). الشريحة 8 تعنون شكلها بـ Weight Sharing، والشريحتان 12 و13 تُظهرانه أثناء الحركة: المرشّحات الخضراء والصفراء والسماوية نفسها تُطبَّق أينما كانت النافذة الحمراء على المدخل الأزرق.

What the saving looks like in a real first layerكيف يبدو هذا التوفير في طبقة أولى حقيقية

CS231n works through AlexNet's first layer to show the size of the effect, and the numbers are worth holding in memory for the exam. The input is 227 x 227 x 3 (the AlexNet paper says 224 x 224; CS231n uses 227 so that (227 - 11)/4 + 1 = 55 comes out exact), the filters are 11 x 11 x 3, and the output is 55 x 55 x 96.

يمرّ CS231n على الطبقة الأولى من AlexNet ليبيّن حجم الأثر، والأرقام تستحق أن تحفظها للامتحان. المدخل 227 x 227 x 3 (ورقة AlexNet تقول 224 x 224؛ ويستخدم CS231n القيمة 227 لكي يخرج (227 - 11)/4 + 1 = 55 عددًا صحيحًا)، والمرشّحات 11 x 11 x 3، والمخرج 55 x 55 x 96.

Crossing out the fully connected shapesشطب أشكال الطبقة كاملة الاتصال

The slide introduces the shapes by literally striking through the fully connected ones. In Part 01 the input was X (n, c_i): n samples in the batch (the Batch size), each a vector of c_i features. A 1D convolution adds a spatial axis of width w_i, so X becomes (n, c_i, w_i) and Y becomes (n, c_o, w_o). The weight matrix (c_o, c_i) gains a kernel width k_w and becomes (c_o, c_i, k_w). The bias does not change at all: still one number per output channel, (c_o,). The table already shows the 2D column, which adds a height axis in the same way; the next concept explains each of its axes.

تقدّم الشريحة الأشكال بشطب أشكال الطبقة كاملة الاتصال حرفيًا. في الجزء 01 كان المدخل X (n, c_i): n عينة في الدفعة (الـ batch size)، كل منها متجه من c_i خاصية. الالتفاف أحادي البعد (1D) يضيف محورًا مكانيًا عرضه w_i، فيصبح X بالشكل (n, c_i, w_i) ويصبح Y بالشكل (n, c_o, w_o). ومصفوفة الأوزان (c_o, c_i) تكتسب عرض نواة k_w فتصبح (c_o, c_i, k_w). أما الـ bias فلا يتغير إطلاقًا: لا يزال رقمًا واحدًا لكل قناة مخرج، (c_o,). والجدول يعرض مسبقًا عمود الحالة ثنائية البعد (2D)، الذي يضيف محور الارتفاع بالطريقة نفسها؛ والمفهوم التالي يشرح كل محور فيه.

Start with a layer you could type into PyTorch today: nn.Conv2d(3, 16, kernel_size=5), applied to a batch of 8 RGB images of 32 x 32. Four tensors take part, and every axis of each one has a name.

ابدأ بطبقة يمكنك كتابتها في PyTorch اليوم: nn.Conv2d(3, 16, kernel_size=5)، مطبّقة على دفعة من 8 صور RGB بحجم 32 x 32. تشارك أربعة موتّرات، ولكل محور في كل منها اسم.

The general rule is the 2D column that the previous concept left open. The input X is (n, c_i, h_i, w_i), the output Y is (n, c_o, h_o, w_o), the weights W are (c_o, c_i, k_h, k_w) and the bias b is (c_o,). The PyTorch documentation for torch.nn.Conv2d confirms this exact ordering: the weight is stored as (out_channels, in_channels / groups, kernel_size[0], kernel_size[1]) and the bias as (out_channels). The groups divisor is 1 by default; it becomes important in Part 03 when grouped and depthwise convolutions arrive.

القاعدة العامة هي عمود الحالة ثنائية البعد الذي تركه المفهوم السابق مفتوحًا. المدخل X شكله (n, c_i, h_i, w_i)، والمخرج Y شكله (n, c_o, h_o, w_o)، والأوزان W شكلها (c_o, c_i, k_h, k_w)، والـ bias b شكله (c_o,). وتؤكد وثائق PyTorch الخاصة بـ torch.nn.Conv2d هذا الترتيب بالضبط: الوزن مخزّن بالشكل (out_channels, in_channels / groups, kernel_size[0], kernel_size[1]) والـ bias بالشكل (out_channels). القاسم groups قيمته الافتراضية 1؛ ويصبح مهمًا في الجزء 03 عندما تظهر الالتفافات الـ grouped والـ depthwise.

A filter is a block, not a squareالمرشّح كتلة، لا مربع

Slides 9 to 11 make one argument in three frames. The first frame draws a single filter as a green block with edges labelled k_h, k_w and c_i, sitting next to the red window on the input. The block is as deep as the input has channels. When it is applied at one position, it multiplies all c_i x k_h x k_w input values under the window by its own c_i x k_h x k_w weights, sums everything into a single number, and drops that number into one output channel. CS231n states the rule as a sentence to memorise: the extent of the connectivity along the depth axis is always equal to the depth of the input volume.

تبني الشرائح من 9 إلى 11 حجة واحدة في ثلاث لقطات. اللقطة الأولى ترسم مرشّحًا واحدًا على شكل كتلة خضراء أضلاعها موسومة بـ k_h وk_w وc_i، بجوار النافذة الحمراء على المدخل. عمق الكتلة يساوي عدد قنوات المدخل. وعندما تُطبَّق في موضع واحد، تضرب كل قيم المدخل الـ c_i x k_h x k_w الواقعة تحت النافذة في أوزانها الـ c_i x k_h x k_w، وتجمع كل شيء في رقم واحد، وتضع ذلك الرقم في قناة مخرج واحدة. ويصوغ CS231n القاعدة في جملة تستحق الحفظ: امتداد الاتصال على محور العمق يساوي دائمًا عمق حجم المدخل.

The second frame adds a yellow filter. It has the same depth c_i, sees the same window, and drops its number into a second output channel. The third frame shows the full stack of c_o filters with a bracket labelled c_o, and the output is now c_o channels deep. That bracket is literally the first axis of W. Choosing c_o is a design decision made by whoever builds the network; it is not derived from c_i.

اللقطة الثانية تضيف مرشّحًا أصفر. له العمق نفسه c_i، ويرى النافذة نفسها، ويضع رقمه في قناة مخرج ثانية. اللقطة الثالثة تعرض المكدّس الكامل من c_o مرشّحًا مع قوس موسوم بـ c_o، ويصبح عمق المخرج الآن c_o قناة. هذا القوس هو حرفيًا المحور الأول في W. اختيار c_o قرار تصميمي يتخذه من يبني الشبكة؛ وهو لا يُشتق من c_i.

Bias and batch, the two easy axesالـ bias والدفعة، المحوران السهلان

The Bias is added once per output channel, after the whole c_i-deep dot product, which is why its shape is (c_o,) exactly as in the fully connected layer of Part 01. The Batch size n appears in X and Y but never in W or b: the same weights process every sample in the batch. If you are ever unsure of a shape, check that n is absent from the parameters and that c_o leads W.

يُضاف الـ bias مرة واحدة لكل قناة مخرج، بعد حاصل الضرب النقطي الكامل الذي عمقه c_i، ولهذا شكله (c_o,) تمامًا كما في الطبقة كاملة الاتصال في الجزء 01. أما الـ batch size n فيظهر في X وY لكنه لا يظهر أبدًا في W أو b: الأوزان نفسها تعالج كل عينة في الدفعة. وإذا شككت يومًا في شكل ما، فتحقق من أن n غائب عن المعاملات وأن c_o يتصدّر W.

Slide 14 gives the smallest example that shows the shrink. The input is 4 x 4, the Kernel (filter) is 3 x 3, there is no padding and the window moves one cell at a time. Along the top row the window can start at column 0 or column 1. Starting at column 2 would need columns 2, 3 and 4, and there is no column 4. Two starting positions per axis means the output is 2 x 2.

تعطي الشريحة 14 أصغر مثال يُظهر الانكماش. المدخل 4 x 4، والـ kernel بحجم 3 x 3، ولا يوجد padding، والنافذة تتحرك خلية واحدة في كل مرة. على الصف العلوي يمكن أن تبدأ النافذة عند العمود 0 أو العمود 1. البدء عند العمود 2 يحتاج الأعمدة 2 و3 و4، ولا يوجد عمود 4. موضعا بدء لكل محور يعنيان أن المخرج 2 x 2.

Slides 12 and 13 are two frames of the same motion, taken from the MIT 6.5940 lecture that this section of the deck reproduces. The red window moves one step at a time along a spatial dimension, and at every stop the same green, yellow and cyan filters are applied, which is why slide 12 carries the label Weight Sharing. Nothing about the filters changes as the window moves; this is where Weight sharing becomes visible rather than stated. Each stop adds one short stack of c_o values to the output, one value per filter, so the output has exactly one spatial cell per valid window position. The count of valid positions is the whole story of the output size.

الشريحتان 12 و13 لقطتان من الحركة نفسها، مأخوذتان من محاضرة MIT 6.5940 التي يعيد هذا القسم من العرض إنتاجها. تتحرك النافذة الحمراء خطوة واحدة في كل مرة على امتداد بُعد مكاني، وفي كل توقف تُطبَّق المرشّحات الخضراء والصفراء والسماوية نفسها، ولهذا تحمل الشريحة 12 عنوان Weight Sharing. لا شيء في المرشّحات يتغير مع حركة النافذة؛ وهنا يصبح الـ weight sharing مرئيًا بدلًا من أن يكون مجرد عبارة. كل توقف يضيف إلى المخرج مكدّسًا قصيرًا من c_o قيمة، قيمة واحدة لكل مرشّح، لذا فللمخرج خلية مكانية واحدة بالضبط لكل موضع صالح للنافذة. وعدد المواضع الصالحة هو القصة الكاملة لحجم المخرج.

The general formula, one part earlyالصيغة العامة، قبل موعدها بجزء واحد

Slide 15 asks you to use a Stride of 2 before slide 18 has defined stride, so you need the general rule now. With padding p on every border and stride s, Dumoulin and Visin's relationship 6 gives the output size, and the PyTorch documentation states the same formula with a dilation term that is 1 throughout this course.

تطلب منك الشريحة 15 استخدام stride قيمته 2 قبل أن تعرّف الشريحة 18 الـ stride، لذا تحتاج القاعدة العامة الآن. مع padding قدره p على كل حافة وstride قدره s، تعطي العلاقة 6 عند Dumoulin وVisin حجم المخرج، وتذكر وثائق PyTorch الصيغة نفسها مع حد dilation قيمته 1 طوال هذا المقرر.

Two rows deserve a second look. The 32, 5, 1, 2 row is the ConvNetJS demo on slide 25, which uses pad 2 precisely so that its 5 x 5 convolution keeps the 32 x 32 size, giving the 32 x 32 x 16 output printed there. The 224, 7, 2, 3 row is the first layer of a ResNet, which halves the spatial size in one step. Both are the same formula.

صفّان يستحقان نظرة ثانية. صف 32, 5, 1, 2 هو عرض ConvNetJS في الشريحة 25، الذي يستخدم pad قدره 2 تحديدًا لكي يحافظ التفافه 5 x 5 على الحجم 32 x 32، فيعطي المخرج 32 x 32 x 16 المطبوع هناك. وصف 224, 7, 2, 3 هو الطبقة الأولى في ResNet، التي تنصّف الحجم المكاني في خطوة واحدة. وكلاهما الصيغة نفسها.

Slide 15 is the exam question in miniature: two input channels of 4 x 4, one output channel, a 2 x 2 filter, Stride 2, no padding and no Bias. Input channel 1 has every row equal to 1 2 3 4; input channel 2 has every row equal to 5 6 7 8. The filter's first slab is [[2, 1], [1, 2]] and its second slab is [[1, 2], [2, 1]]. In the shapes of the previous concepts, X is (1, 2, 4, 4) and W is (1, 2, 2, 2).

الشريحة 15 هي سؤال الامتحان في صورة مصغّرة: قناتا مدخل بحجم 4 x 4، وقناة مخرج واحدة، ومرشّح (filter) بحجم 2 x 2، وstride قدره 2، بلا padding وبلا bias. كل صف في قناة المدخل الأولى يساوي 1 2 3 4؛ وكل صف في قناة المدخل الثانية يساوي 5 6 7 8. الشريحة الأولى من المرشّح هي [[2, 1], [1, 2]] والثانية [[1, 2], [2, 1]]. وبأشكال المفاهيم السابقة، X شكله (1, 2, 4, 4) وW شكله (1, 2, 2, 2).

The formula says what the filter-is-a-block idea implied: the sum over c folds all input channels into one number. There is no separate output per input channel. With that in mind the four values of the slide are four applications of the same recipe. Strictly, this is cross-correlation: mathematical convolution flips the kernel first, and this formula does not. Deep learning libraries, PyTorch and this deck all call the unflipped version convolution (Goodfellow et al., section 9.1), and this course follows that convention.

تقول الصيغة ما كانت فكرة أن المرشّح كتلة تتضمنه: الجمع على c يطوي كل قنوات المدخل في رقم واحد. لا يوجد مخرج منفصل لكل قناة مدخل. ومع وضع ذلك في الذهن، فالقيم الأربع في الشريحة هي أربعة تطبيقات للوصفة نفسها. وبدقة، هذا ارتباط متقاطع (cross-correlation): الالتفاف الرياضي يقلب النواة أولًا، وهذه الصيغة لا تفعل ذلك. مكتبات التعلم العميق وPyTorch وهذا العرض كلها تسمّي النسخة غير المقلوبة التفافًا (Goodfellow et al.، القسم 9.1)، وهذا المقرر يتبع هذا العرف.

Now do it with your hands. The stepper below holds the slide 15 numbers, highlights the current window on both input channels, lists the products channel by channel and fills the output one cell at a time. Switch the stride to 1 to see the 3 x 3 output, then change a few cells and predict the result before you press Next.

الآن جرّبها بيدك. الأداة التفاعلية أدناه تحمل أرقام الشريحة 15، وتبرز النافذة الحالية على قناتي المدخل كلتيهما، وتسرد حواصل الضرب قناة بقناة، وتملأ المخرج خلية خلية. غيّر الـ stride إلى 1 لترى المخرج 3 x 3، ثم غيّر بعض الخلايا وتوقّع النتيجة قبل أن تضغط Next.

The stride-1 column shows what the middle window adds. At columns 1 to 2, channel 1 gives 2·2 + 1·3 + 1·2 + 2·3 = 15 and channel 2 gives 1·6 + 2·7 + 2·6 + 1·7 = 39, so 54 sits between 42 and 66. Stride 2 skips that window entirely, which is why the output is smaller and the compute drops from 9 windows to 4. On a large input the compute falls to about a quarter of the stride-1 cost, since both axes are halved.

يُظهر عمود stride يساوي 1 ما تضيفه النافذة الوسطى. عند العمودين 1 إلى 2 تعطي القناة الأولى 2·2 + 1·3 + 1·2 + 2·3 = 15 وتعطي القناة الثانية 1·6 + 2·7 + 2·6 + 1·7 = 39، لذا تقع 54 بين 42 و66. الـ stride الذي يساوي 2 يتخطى تلك النافذة كليًا، ولهذا يكون المخرج أصغر وينخفض الحساب من 9 نوافذ إلى 4. وعلى مدخل كبير ينخفض الحساب إلى نحو ربع تكلفة stride يساوي 1، لأن المحورين كليهما يُنصَّفان.

Counting parametersعدّ المعاملات

The shapes of W and b give the parameter count directly, and that count is what decides whether a model fits in a microcontroller's flash. The weights number c_o x c_i x k_h x k_w, the size of W, and there is one bias per output channel.

شكلا W وb يعطيان عدد المعاملات مباشرة، وهذا العدد هو ما يقرر هل يتسع النموذج في ذاكرة الـ flash لمتحكم دقيق. عدد الأوزان (weights) هو c_o x c_i x k_h x k_w، أي حجم W، ويوجد bias واحد لكل قناة مخرج.

Slide 25 later in this lecture shows the ConvNetJS CIFAR-10 demo, whose first convolution has 16 filters of 5 x 5 over the 3 colour channels. The demo prints 16 x 5 x 5 x 3 + 16 = 1216 parameters, and the formula reproduces it: 1200 weights and 16 biases. Use that number as a retrieval hook; if your formula does not give 1216 for that layer, you have forgotten the biases or swapped a factor.

تعرض الشريحة 25 لاحقًا في هذه المحاضرة عرض ConvNetJS على CIFAR-10، الذي فيه أول التفاف من 16 مرشّحًا بحجم 5 x 5 على القنوات اللونية الثلاث 3. يطبع العرض 16 x 5 x 5 x 3 + 16 = 1216 معاملًا، والصيغة تعيد إنتاج هذا الرقم: 1200 وزن و16 قيمة bias. استخدم هذا الرقم كخطاف للتذكّر؛ إذا لم تعطك صيغتك 1216 لهذه الطبقة، فقد نسيت الـ biases أو بدّلت أحد العوامل.

Only the filter geometry and the channel counts move the number.

وحدهما هندسة المرشّح وعدد القنوات يحرّكان الرقم.