Neural network fundamentalsأساسيات الشبكات العصبية

Take a concrete board. The STM32F746, an ARM Cortex-M7 microcontroller used throughout the TinyML literature, has 320 kB of SRAM and 1 MB of flash (Lin et al., MCUNet, section 1). A ResNet-50 carries about 25.6 million parameters (torchvision), which is roughly 100 MB of weights in single precision. It does not fit, and no clever compiler will change that. Whether any network fits comes down to two numbers, and the whole point of this lecture is to teach you how to produce them from a diagram.

خذ لوحة حقيقية. المتحكم الدقيق STM32F746، وهو من نوع ARM Cortex-M7 ويُستخدم على نطاق واسع في أدبيات TinyML، فيه 320 kB من SRAM و1 MB من flash (Lin et al., MCUNet، القسم 1). أما ResNet-50 فيحمل نحو 25.6 million parameter (torchvision)، أي قرابة 100 MB من الأوزان بالدقة الأحادية (single precision). إنه لا يتسع، ولن يغيّر أي مترجم ذكي (compiler) هذه الحقيقة. سواء اتسعت شبكة ما أم لا، فالأمر يعود إلى رقمين، والهدف كله من هذه المحاضرة أن تتعلم كيف تستخرجهما من الرسم.

The two memories play different roles, and MCUNet states the split in one sentence: SRAM constrains the activation size, which is read and written at runtime, while flash constrains the model size, which is read only (Lin et al., MCUNet). So a model has a storage cost, the number of parameters it carries, and a runtime cost, the number of activations it must hold in memory while it computes. This part defines both words precisely and shows how to count them for the simplest layer. The parts that follow do the same for convolutions, pooling, normalization and attention.

تؤدي الذاكرتان دورين مختلفين، وتلخّص MCUNet هذا التقسيم في جملة واحدة: ذاكرة SRAM تقيّد حجم الـ activations، التي تُقرأ وتُكتب أثناء التشغيل، بينما تقيّد ذاكرة flash حجم النموذج، الذي يُقرأ فقط (Lin et al., MCUNet). إذن للنموذج كلفة تخزين، وهي عدد الـ parameters التي يحملها، وكلفة تشغيل، وهي عدد الـ activations التي يجب أن يحتفظ بها في الذاكرة أثناء الحساب. يعرّف هذا الجزء الكلمتين بدقة، ويبيّن كيف تُعدّان لأبسط طبقة. والأجزاء التالية تفعل الشيء نفسه مع الـ convolutions والـ pooling والـ normalization والـ attention.

The lecture's outline is a two-step plan. First fix the terminology: neuron, synapse, activation, feature, weight, parameter. Then learn the building blocks one at a time: fully connected, convolution, grouped and depthwise convolution, pooling, normalization, and the transformer block. This part covers the terminology and the first block. Everything later is a variation on the counting you learn here.

مخطط المحاضرة خطة من خطوتين. أولًا تثبيت المصطلحات: neuron وsynapse وactivation وfeature وweight وparameter. ثم تعلّم وحدات البناء واحدة تلو الأخرى: الطبقة كاملة الاتصال (fully connected)، والـ convolution، والـ grouped convolution والـ depthwise convolution، والـ pooling، والـ normalization، وكتلة الـ transformer. يغطي هذا الجزء المصطلحات والوحدة الأولى. وكل ما يأتي لاحقًا تنويع على طريقة العدّ التي تتعلمها هنا.

Start with a single unit and three numbers arriving at it: x0 = 1, x1 = 2 and x2 = 0.5. The unit does not treat them equally. It trusts the first a little, distrusts the second, and trusts the third a lot: w0 = 0.5, w1 = -1, w2 = 2. It also has a personal lean of b = 0.25. Multiply each input by its trust, add everything up, and the total is 0.5 - 2 + 1 + 0.25 = -0.25. One last step decides whether the unit speaks: a function f applied to that total.

ابدأ بوحدة واحدة تصل إليها ثلاثة أرقام: x0 = 1 وx1 = 2 وx2 = 0.5. الوحدة لا تعاملها بالتساوي. فهي تثق بالأول قليلًا، ولا تثق بالثاني، وتثق بالثالث كثيرًا: w0 = 0.5 وw1 = -1 وw2 = 2. ولها أيضًا ميل شخصي مقداره b = 0.25. اضرب كل مُدخل في درجة الثقة به، واجمع كل شيء، فيكون المجموع 0.5 - 2 + 1 + 0.25 = -0.25. وخطوة أخيرة تقرر هل «تتكلم» الوحدة أم لا: دالة f تُطبَّق على هذا المجموع.

That is the whole artificial Neuron. Jurafsky and Martin put it in one sentence: a neural unit takes a weighted sum of its inputs with one additional term called the bias, then applies a function to the result. In symbols, with i ranging over the inputs of neuron j:

هذا هو الـ neuron الاصطناعي بأكمله. يلخّصه Jurafsky وMartin في جملة واحدة: الوحدة العصبية تأخذ مجموعًا موزونًا لمدخلاتها مع حدّ إضافي واحد يسمى الـ bias، ثم تطبّق دالة على الناتج. وبالرموز، حيث يمرّ i على مدخلات العصبون j:

The slide draws this formula on top of a biological neuron, and the mapping is worth learning because the course reuses the biological words as technical terms. Sze, Chen, Yang and Emer, whose survey carries the same figure (adapted from Stanford CS231n), describe the key property of a Synapse: it scales the signal crossing it, and that scaling factor is the Weight. Each raw input x_i arrives along an input axon, is scaled to w_i x_i at the synapse, and travels down a dendrite into the cell body, which sums the products; the output axon carries the result out. They add that the input and output signals of a neuron are what the field calls activations.

ترسم الشريحة هذه المعادلة فوق عصبون بيولوجي، ويستحق هذا الربط أن تتعلمه لأن المقرر يعيد استخدام الكلمات البيولوجية مصطلحاتٍ تقنية. يصف Sze وChen وYang وEmer، الذين يتضمن مسحهم الشكل نفسه (مقتبسًا من Stanford CS231n)، الخاصية الأساسية للـ synapse: فهو يضرب الإشارة التي تعبره في معامل، وهذا المعامل هو الـ weight. كل مُدخل خام x_i يصل عبر محوار إدخال (input axon)، ويُضرب في الـ synapse ليصبح w_i x_i، ثم ينتقل عبر تغصّن (dendrite) إلى جسم الخلية (cell body) الذي يجمع النواتج؛ ويحمل محوار الإخراج (output axon) النتيجة إلى الخارج. ويضيفون أن إشارات الدخل والخرج للعصبون هي ما يسميه هذا المجال activations.

Two details of the formula matter for counting parameters later. There is one weight per incoming edge, so a neuron with three inputs owns three weights. There is exactly one Bias per neuron, not one per edge, which is why the figure shows three w symbols and a single b. The activation function f is applied once, to the finished sum. Later in this lecture you will meet several choices for f (sigmoid, ReLU, ReLU6, swish); for now it is enough to know that it is usually non-linear and that it is what lets stacked neurons compute anything more interesting than a single straight-line function.

تفصيلتان في المعادلة مهمتان لعدّ الـ parameters لاحقًا. هناك وزن واحد لكل حافة داخلة، فالعصبون ذو المدخلات الثلاثة يملك ثلاثة أوزان. وهناك bias واحد بالضبط لكل عصبون، لا لكل حافة، ولهذا يُظهر الشكل ثلاثة رموز w وb واحدًا فقط. أما دالة التنشيط (activation function) f فتُطبَّق مرة واحدة على المجموع النهائي. ستقابل لاحقًا في هذه المحاضرة عدة خيارات لـ f (sigmoid وReLU وReLU6 وswish)؛ ويكفيك الآن أن تعرف أنها غالبًا غير خطية، وأنها ما يسمح للعصبونات المكدّسة بأن تحسب شيئًا أهم من دالة خطية واحدة.

Now wire many neurons together. The network on the slide has a row of 5 inputs, then rows of 4, 3 and 2 neurons, with every neuron connected to every neuron in the row above. Count the edges band by band: 5 × 4 = 20, 4 × 3 = 12, 3 × 2 = 6, so 38 edges. Count the biases, one per computed neuron: 4 + 3 + 2 = 9. That is 47 numbers the network stores and 9 numbers it computes per input. Everything else in this concept is the vocabulary for those two counts.

الآن صِل عصبونات كثيرة معًا. الشبكة في الشريحة فيها صف من 5 مدخلات، ثم صفوف من 4 و3 و2 عصبونات، وكل عصبون متصل بكل عصبون في الصف الذي فوقه. عُدّ الحواف شريحةً شريحة: 5 × 4 = 20 و4 × 3 = 12 و3 × 2 = 6، أي 38 حافة. ثم عُدّ الـ biases، واحد لكل عصبون محسوب: 4 + 3 + 2 = 9. هذه 47 قيمة تخزّنها الشبكة، و9 قيم تحسبها لكل مُدخل. وكل ما تبقى في هذا المفهوم هو المصطلحات الخاصة بهذين العددين.

Two synonym familiesعائلتا المترادفات

The slide attaches two labels to the diagram, and each is a family of three words the course uses interchangeably. The edges are synapses, weights or parameters. The nodes are neurons, features or activations. Sze et al. state the convention directly: the outputs of the neurons are often referred to as activations, and the synapses are often referred to as weights. Which word a paper picks depends on what it is emphasising. "Synapse" stresses the biology, "weight" the arithmetic, "parameter" the fact that it is learned and stored. "Feature" stresses what a node represents, "activation" the fact that it is a computed value that must be held in memory.

تُلحق الشريحة بالرسم تسميتين، وكل تسمية عائلة من ثلاث كلمات يستخدمها المقرر بالتبادل. الحواف هي synapses أو weights أو parameters. والعقد هي neurons أو features أو activations. يذكر Sze et al. هذا العُرف صراحة: مخرجات العصبونات كثيرًا ما تسمى activations، والـ synapses كثيرًا ما تسمى weights. والكلمة التي تختارها الورقة تعتمد على ما تريد إبرازه. فكلمة «synapse» تبرز البيولوجيا، و«weight» تبرز الحساب، و«parameter» تبرز أنه يُتعلَّم ويُخزَّن. أما «feature» فتبرز ما تمثله العقدة، و«activation» تبرز أنها قيمة محسوبة يجب الاحتفاظ بها في الذاكرة.

CS231n gives a second example you can use to check your method: a network with layers of sizes 3, 4, 4 and 1 has 4 + 4 + 1 = 9 neurons, 3 × 4 + 4 × 4 + 4 × 1 = 32 weights and 9 biases, for 41 learnable parameters. The recipe is always the same: multiply adjacent layer sizes for weights, add each non-input layer size for biases.

يقدّم CS231n مثالًا ثانيًا تتحقق به من طريقتك: شبكة بطبقات أحجامها 3 و4 و4 و1 فيها 4 + 4 + 1 = 9 عصبونات، و3 × 4 + 4 × 4 + 4 × 1 = 32 وزنًا، و9 biases، أي 41 parameter قابلًا للتعلّم. والوصفة واحدة دائمًا: اضرب أحجام الطبقات المتجاورة لتحصل على الأوزان، واجمع حجم كل طبقة غير طبقة الإدخال لتحصل على الـ biases.

Counting layers, and why the input does not countعدّ الطبقات، ولماذا لا تُحتسب طبقة الإدخال

The slide calls this a 3-layer network with 2 hidden layers, and both numbers follow one convention: the input row is not a layer. CS231n states it plainly: when we say N-layer neural network, we do not count the input layer, so a single-layer network has no hidden layers. Jurafsky and Martin say the same in a figure caption. The reason is that the inputs compute nothing. They own no weights and no biases; they are simply the numbers handed in. The three computed rows are the layers, the two blue rows in the middle are the hidden layers, and the gray bottom row is the output layer, counted but not hidden.

تصف الشريحة هذه الشبكة بأنها شبكة من 3 طبقات فيها 2 طبقتان مخفيتان، والرقمان يتبعان عُرفًا واحدًا: صف الإدخال ليس طبقة. يقولها CS231n بوضوح: عندما نقول شبكة عصبية من N طبقة فإننا لا نعدّ طبقة الإدخال، لذا فالشبكة ذات الطبقة الواحدة لا تحتوي طبقات مخفية. ويقول Jurafsky وMartin الشيء نفسه في تعليق أحد الأشكال. والسبب أن المدخلات لا تحسب شيئًا. فهي لا تملك أوزانًا ولا biases؛ إنها مجرد أرقام تُسلَّم للشبكة. الصفوف الثلاثة المحسوبة هي الطبقات، والصفان الأزرقان في الوسط هما الطبقتان المخفيتان (hidden layers)، والصف الرمادي في الأسفل هو طبقة الإخراج، تُعدّ لكنها ليست مخفية.

Width and depthالعرض والعمق

The sentence at the bottom of the slide is quoted from Goodfellow, Bengio and Courville: the dimensionality of the hidden layers determines the width of the model. On the same pages they define the other axis: a network is a chain of functions, and the overall length of the chain gives its depth. So the slide network has width 4 at its widest hidden layer and depth 3. Making a network wider adds neurons to a row, which grows both parameters and activations. Making it deeper adds rows, which also grows both, but lets features be composed out of earlier features.

الجملة في أسفل الشريحة مقتبسة من Goodfellow وBengio وCourville: أبعاد الطبقات المخفية (dimensionality) هي التي تحدد عرض (width) النموذج. وفي الصفحات نفسها يعرّفون المحور الآخر: الشبكة سلسلة من الدوال، وطول السلسلة الكلي يعطي عمقها (depth). إذن شبكة الشريحة عرضها 4 عند أعرض طبقة مخفية فيها، وعمقها 3. جعل الشبكة أعرض يضيف عصبونات إلى الصف، فيزيد الـ parameters والـ activations معًا. وجعلها أعمق يضيف صفوفًا، فيزيد الاثنين أيضًا، لكنه يسمح ببناء الـ features من features سابقة.

Take one band of the ladder and give it names: c_i = 5 inputs x0 to x4 and c_o = 3 outputs y0 to y2, every output connected to every input. Write out the first output by hand: y0 = w00 x0 + w01 x1 + w02 x2 + w03 x3 + w04 x4 + b0. Do the same for y1 and y2. That is 15 products and 3 biases, 18 parameters. Now stack the three rows of weights on top of each other and you have a 3 × 5 table. That table is W, and the three equations collapse into one matrix product.

خذ شريحة واحدة من السلّم وسمِّ عناصرها: c_i = 5 مدخلات من x0 إلى x4، وc_o = 3 مخرجات من y0 إلى y2، وكل مُخرج متصل بكل مُدخل. اكتب المُخرج الأول يدويًا: y0 = w00 x0 + w01 x1 + w02 x2 + w03 x3 + w04 x4 + b0. وافعل الشيء نفسه مع y1 وy2. هذه 15 عملية ضرب و3 biases، أي 18 parameters. الآن ضع صفوف weights الثلاثة بعضها فوق بعض فتحصل على جدول 3 × 5. هذا الجدول هو W، والمعادلات الثلاث تنطوي في عملية ضرب مصفوفات واحدة.

This is the fully connected layer, also called a linear layer. Jurafsky and Martin define fully connected exactly this way: each unit in a layer takes as input the outputs of all the units in the previous layer, with a link between every pair of units in adjacent layers. The word Channel is the lecture's general name for a feature dimension, so c_i and c_o count input and output channels; for a fully connected layer a channel is simply one neuron.

هذه هي الطبقة كاملة الاتصال (fully connected layer)، وتسمى أيضًا الطبقة الخطية (linear layer). يعرّف Jurafsky وMartin الاتصال الكامل بهذا الشكل تمامًا: كل وحدة في الطبقة تأخذ مدخلاتها من مخرجات جميع الوحدات في الطبقة السابقة، مع وصلة بين كل زوج من الوحدات في الطبقتين المتجاورتين. وكلمة channel هي الاسم العام في المحاضرة لبُعد الـ feature، لذا فإن c_i وc_o يعدّان قنوات الإدخال والإخراج؛ وفي الطبقة كاملة الاتصال تكون القناة ببساطة عصبونًا واحدًا.

The transpose in Y = X Wᵀ is not decoration. W is stored with one row per output neuron, shape (c_o, c_i), so that row i holds the weights of y_i. To multiply a row vector x of length c_i by it, the matrix has to be flipped to (c_i, c_o). PyTorch uses precisely this convention: nn.Linear computes y = x Aᵀ + b with a weight of shape (out_features, in_features) and a bias of shape (out_features). Jurafsky and Martin write the same matrix as W ∈ R^(n1 × n0), with element W_ji the weight from input i to hidden unit j. Output index first, input index second, in every source.

المنقول (transpose) في Y = X Wᵀ ليس للزينة. تُخزَّن W بصف واحد لكل عصبون إخراج، بالشكل (c_o, c_i)، بحيث يحمل الصف i أوزان y_i. ولضرب متجه صفي x طوله c_i بها، يجب قلب المصفوفة إلى (c_i, c_o). ويستخدم PyTorch هذا العُرف بالضبط: nn.Linear تحسب y = x Aᵀ + b بوزن شكله (out_features, in_features) وbias شكله (out_features). ويكتب Jurafsky وMartin المصفوفة نفسها على الصورة W ∈ R^(n1 × n0)، حيث العنصر W_ji هو الوزن من المُدخل i إلى الوحدة المخفية j. فهرس الإخراج أولًا، وفهرس الإدخال ثانيًا، في كل المصادر.

Batching: more rows, same weightsالتجميع في دفعات: صفوف أكثر، والأوزان نفسها

Nothing in the product cares whether X has one row. Put n samples in as n rows and the same multiplication produces n rows of outputs. That is all the batch size is: a leading dimension on X and Y. PyTorch describes the input as (*, H_in), where the star means any number of leading dimensions, and the output as (*, H_out); the weight stays (H_out, H_in) no matter what the star is. That is the fact to hold on to: W and b never change with n.

لا شيء في عملية الضرب يهتم بأن تكون X صفًا واحدًا. أدخل n عيّنات على هيئة n صفوف، فتنتج عملية الضرب نفسها n صفوف من المخرجات. وهذا كل ما يعنيه حجم الدفعة (batch size): بُعد أول إضافي في X وY. يصف PyTorch المُدخل بأنه (*, H_in)، حيث تعني النجمة أي عدد من الأبعاد الأولى، والمُخرج بأنه (*, H_out)؛ ويبقى الوزن (H_out, H_in) مهما كانت النجمة. هذه هي الحقيقة التي يجب أن تتمسك بها: W وb لا يتغيران أبدًا مع n.

What the two counts cost on a microcontrollerكم يكلّف العددان على متحكم دقيق

Scale the same arithmetic to a realistic first layer, one that takes a flattened 28 × 28 MNIST digit (784 values) to 128 hidden units. The table separates what the layer stores from what it computes, and shows which memory of the STM32F746 each column lands in.

طبّق الحساب نفسه على طبقة أولى واقعية، تأخذ رقمًا من MNIST بحجم 28 × 28 بعد تسطيحه (784 قيمة) وتنقله إلى 128 وحدة مخفية. يفصل الجدول بين ما تخزّنه الطبقة وما تحسبه، ويبيّن في أي ذاكرة من ذاكرتي STM32F746 يقع كل عمود.

The 401,920 bytes of fp32 weights would not fit the board's 320 kB of SRAM but sit comfortably in its 1 MB of flash, which is exactly why weights live in flash. Storing them as 8-bit integers cuts the same column by four, the first hint of why quantization matters later. Only the activation row moved when the batch grew, and it moved linearly.

الـ 401,920 بايت من أوزان fp32 لن تتسع في 320 kB من SRAM في اللوحة، لكنها تتسع بارتياح في 1 MB من flash، وهذا بالضبط سبب وضع الأوزان في flash. وتخزينها أعدادًا صحيحة بعرض 8-bit يقسم العمود نفسه على أربعة، وهذه أول إشارة إلى سبب أهمية الـ quantization لاحقًا. ولم يتحرك عند زيادة الدفعة إلا صف الـ activations، وتحرك خطيًّا.

Put a second fully connected layer after the first. The slide takes the 5 to 3 layer and feeds its three outputs into a 3 to 2 layer that produces z0 and z1. The new layer has W2 of shape (2, 3), six weights, and b2 with two biases: 8 more parameters, 26 in total. Per sample it computes two more activations, so 5 computed values, 10 if you include the inputs held in memory.

ضع طبقة كاملة الاتصال (fully connected layer) ثانية بعد الأولى. تأخذ الشريحة الطبقة من 5 إلى 3 وتمرّر مخرجاتها الثلاثة إلى طبقة من 3 إلى 2 تُنتج z0 وz1. الطبقة الجديدة لها W2 بالشكل (2, 3)، أي ستة أوزان، وb2 فيه bias اثنان: 8 parameters إضافية، و26 في المجموع. ولكل عيّنة تحسب قيمتين إضافيتين من الـ activations، فيكون المجموع 5 قيم محسوبة، أو 10 إذا احتسبت المدخلات المحفوظة في الذاكرة.

A chain of fully connected layers is a multilayer perceptron, or MLP. Goodfellow, Bengio and Courville write the chain as f(x) = f⁽³⁾(f⁽²⁾(f⁽¹⁾(x))), call f⁽¹⁾ the first layer and f⁽²⁾ the second, and define depth as the length of that chain. Jurafsky and Martin add a caution about the name: modern multilayer networks are called perceptrons for historical reasons only, since their units are not perceptrons in the strict sense. Use the name, but do not read anything into it.

سلسلة الطبقات كاملة الاتصال هي بيرسبترون متعدد الطبقات (multilayer perceptron)، أو MLP. يكتب Goodfellow وBengio وCourville السلسلة على الصورة f(x) = f⁽³⁾(f⁽²⁾(f⁽¹⁾(x)))، ويسمّون f⁽¹⁾ الطبقة الأولى وf⁽²⁾ الثانية، ويعرّفون العمق (depth) بأنه طول هذه السلسلة. ويضيف Jurafsky وMartin تحذيرًا بشأن الاسم: الشبكات الحديثة متعددة الطبقات تسمى perceptrons لأسباب تاريخية فقط، إذ إن وحداتها ليست perceptrons بالمعنى الدقيق. استخدم الاسم، لكن لا تستنتج منه شيئًا.

The shapes must click together: the output channels of layer k are the input channels of layer k + 1. Here c_o = 3 of the first layer becomes c_i = 3 of the second, and the inner dimension of the second product matches. The batch dimension n rides through unchanged, just as it did in one layer.

يجب أن تتطابق الأشكال وتتعشّق: قنوات الإخراج في الطبقة k هي قنوات الإدخال في الطبقة k + 1. هنا يصبح c_o = 3 في الطبقة الأولى هو c_i = 3 في الثانية، فيتطابق البُعد الداخلي لعملية الضرب الثانية. وبُعد الدفعة (batch dimension) n يمرّ عبرها دون تغيير، تمامًا كما في الطبقة الواحدة.

Once you see the MLP as a chain, counting any network becomes mechanical, and this is the skill the rest of the course leans on. For each fully connected layer the parameters are c_o × c_i + c_o; sum over the layers. The activations per sample are the sum of the layer output sizes, plus the input if you are budgeting memory for it. Multiply activations by n for a batch. Never multiply parameters by n.

ما إن ترى الـ MLP على أنه سلسلة، يصبح عدّ أي شبكة عملًا آليًّا، وهذه هي المهارة التي يعتمد عليها بقية المقرر. لكل طبقة كاملة الاتصال تساوي الـ parameters c_o × c_i + c_o؛ ثم اجمع على كل الطبقات. والـ activations لكل عيّنة تساوي مجموع أحجام مخرجات الطبقات، مضافًا إليه المُدخل إذا كنت تحسب له ذاكرة. اضرب الـ activations في n للدفعة. ولا تضرب الـ parameters في n أبدًا.

Take a CIFAR-10 image: 32 x 32 pixels in three colour channels, so 3072 numbers. A single neuron of the Fully connected layer from Part 01 has one weight for each of those 3072 inputs, and CS231n uses exactly this count to show why the fully connected design does not scale to images. A neuron in a Convolution layer does something far more modest. It looks at a 5 x 5 patch of the image across all three channels, so 5 x 5 x 3 = 75 numbers, and ignores everything else. That patch is the neuron's Receptive field, and the slide states the whole idea in one sentence: the output neuron is connected to input neurons in the receptive field.

خذ صورة من CIFAR-10: 32 x 32 بكسلًا في ثلاث قنوات لونية (channels)، أي 3072 رقمًا. عصبون واحد في الـ fully connected layer من الجزء 01 له وزن واحد لكل مدخل من هذه المدخلات الـ 3072، ويستخدم CS231n هذا العدد تحديدًا ليبيّن لماذا لا يتوسع التصميم كامل الاتصال ليناسب الصور. أما العصبون في الـ convolution layer فيفعل شيئًا أكثر تواضعًا بكثير: ينظر إلى رقعة بحجم 5 x 5 من الصورة عبر القنوات الثلاث كلها، أي 5 x 5 x 3 = 75 رقمًا، ويتجاهل كل ما عداها. هذه الرقعة هي الـ receptive field (المجال الاستقبالي) للعصبون، والشريحة تلخّص الفكرة كلها في جملة واحدة: عصبون المخرج متصل بعصبونات المدخل الموجودة في المجال الاستقبالي.

That sentence hides two separate decisions, and Goodfellow, Bengio and Courville name them in section 9.2 of Deep Learning. The first is sparse interactions. With m inputs and n outputs, a fully connected layer stores m x n weights. If each output is allowed to touch only k inputs, the layer stores k x n. On the CIFAR image that is 75 per output instead of 3072.

تخفي هذه الجملة قرارين منفصلين، ويسمّيهما Goodfellow وBengio وCourville في القسم 9.2 من كتاب Deep Learning. الأول هو التفاعلات المتفرقة (sparse interactions). مع m مدخلًا وn مخرجًا، تخزّن الطبقة كاملة الاتصال m x n وزنًا. فإذا سُمح لكل مخرج بأن يلمس k مدخلًا فقط، تخزّن الطبقة k x n. وفي صورة CIFAR يعني ذلك 75 وزنًا لكل مخرج بدلًا من 3072.

The second decision is Weight sharing. Sparse connectivity alone would still give every output position its own private set of 75 weights. Convolution goes further and uses the same 75 numbers at every position. Goodfellow and colleagues put it plainly: rather than learning a separate set of parameters for every location, we learn only one set, so the storage of one filter drops to k parameters. They also give the synonym you will meet in older papers, tied weights. Slide 8 labels its figure Weight Sharing, and slides 12 and 13 show it in motion: the same green, yellow and cyan filters are applied wherever the red window sits on the blue input.

القرار الثاني هو الـ weight sharing (مشاركة الأوزان). الاتصال المتفرق وحده كان سيعطي كل موضع مخرج مجموعته الخاصة من 75 وزنًا. أما الالتفاف فيذهب أبعد ويستخدم الأرقام الـ 75 نفسها في كل موضع. ويقولها Goodfellow وزملاؤه بوضوح: بدلًا من تعلّم مجموعة منفصلة من المعاملات لكل موقع، نتعلم مجموعة واحدة فقط، فينخفض تخزين مرشّح (filter) واحد إلى k معاملًا (parameters). ويذكرون أيضًا المرادف الذي ستصادفه في الأوراق الأقدم: الأوزان المربوطة (tied weights). الشريحة 8 تعنون شكلها بـ Weight Sharing، والشريحتان 12 و13 تُظهرانه أثناء الحركة: المرشّحات الخضراء والصفراء والسماوية نفسها تُطبَّق أينما كانت النافذة الحمراء على المدخل الأزرق.

What the saving looks like in a real first layerكيف يبدو هذا التوفير في طبقة أولى حقيقية

CS231n works through AlexNet's first layer to show the size of the effect, and the numbers are worth holding in memory for the exam. The input is 227 x 227 x 3 (the AlexNet paper says 224 x 224; CS231n uses 227 so that (227 - 11)/4 + 1 = 55 comes out exact), the filters are 11 x 11 x 3, and the output is 55 x 55 x 96.

يمرّ CS231n على الطبقة الأولى من AlexNet ليبيّن حجم الأثر، والأرقام تستحق أن تحفظها للامتحان. المدخل 227 x 227 x 3 (ورقة AlexNet تقول 224 x 224؛ ويستخدم CS231n القيمة 227 لكي يخرج (227 - 11)/4 + 1 = 55 عددًا صحيحًا)، والمرشّحات 11 x 11 x 3، والمخرج 55 x 55 x 96.

Crossing out the fully connected shapesشطب أشكال الطبقة كاملة الاتصال

The slide introduces the shapes by literally striking through the fully connected ones. In Part 01 the input was X (n, c_i): n samples in the batch (the Batch size), each a vector of c_i features. A 1D convolution adds a spatial axis of width w_i, so X becomes (n, c_i, w_i) and Y becomes (n, c_o, w_o). The weight matrix (c_o, c_i) gains a kernel width k_w and becomes (c_o, c_i, k_w). The bias does not change at all: still one number per output channel, (c_o,). The table already shows the 2D column, which adds a height axis in the same way; the next concept explains each of its axes.

تقدّم الشريحة الأشكال بشطب أشكال الطبقة كاملة الاتصال حرفيًا. في الجزء 01 كان المدخل X (n, c_i): n عينة في الدفعة (الـ batch size)، كل منها متجه من c_i خاصية. الالتفاف أحادي البعد (1D) يضيف محورًا مكانيًا عرضه w_i، فيصبح X بالشكل (n, c_i, w_i) ويصبح Y بالشكل (n, c_o, w_o). ومصفوفة الأوزان (c_o, c_i) تكتسب عرض نواة k_w فتصبح (c_o, c_i, k_w). أما الـ bias فلا يتغير إطلاقًا: لا يزال رقمًا واحدًا لكل قناة مخرج، (c_o,). والجدول يعرض مسبقًا عمود الحالة ثنائية البعد (2D)، الذي يضيف محور الارتفاع بالطريقة نفسها؛ والمفهوم التالي يشرح كل محور فيه.

Start with a layer you could type into PyTorch today: nn.Conv2d(3, 16, kernel_size=5), applied to a batch of 8 RGB images of 32 x 32. Four tensors take part, and every axis of each one has a name.

ابدأ بطبقة يمكنك كتابتها في PyTorch اليوم: nn.Conv2d(3, 16, kernel_size=5)، مطبّقة على دفعة من 8 صور RGB بحجم 32 x 32. تشارك أربعة موتّرات، ولكل محور في كل منها اسم.

The general rule is the 2D column that the previous concept left open. The input X is (n, c_i, h_i, w_i), the output Y is (n, c_o, h_o, w_o), the weights W are (c_o, c_i, k_h, k_w) and the bias b is (c_o,). The PyTorch documentation for torch.nn.Conv2d confirms this exact ordering: the weight is stored as (out_channels, in_channels / groups, kernel_size[0], kernel_size[1]) and the bias as (out_channels). The groups divisor is 1 by default; it becomes important in Part 03 when grouped and depthwise convolutions arrive.

القاعدة العامة هي عمود الحالة ثنائية البعد الذي تركه المفهوم السابق مفتوحًا. المدخل X شكله (n, c_i, h_i, w_i)، والمخرج Y شكله (n, c_o, h_o, w_o)، والأوزان W شكلها (c_o, c_i, k_h, k_w)، والـ bias b شكله (c_o,). وتؤكد وثائق PyTorch الخاصة بـ torch.nn.Conv2d هذا الترتيب بالضبط: الوزن مخزّن بالشكل (out_channels, in_channels / groups, kernel_size[0], kernel_size[1]) والـ bias بالشكل (out_channels). القاسم groups قيمته الافتراضية 1؛ ويصبح مهمًا في الجزء 03 عندما تظهر الالتفافات الـ grouped والـ depthwise.

A filter is a block, not a squareالمرشّح كتلة، لا مربع

Slides 9 to 11 make one argument in three frames. The first frame draws a single filter as a green block with edges labelled k_h, k_w and c_i, sitting next to the red window on the input. The block is as deep as the input has channels. When it is applied at one position, it multiplies all c_i x k_h x k_w input values under the window by its own c_i x k_h x k_w weights, sums everything into a single number, and drops that number into one output channel. CS231n states the rule as a sentence to memorise: the extent of the connectivity along the depth axis is always equal to the depth of the input volume.

تبني الشرائح من 9 إلى 11 حجة واحدة في ثلاث لقطات. اللقطة الأولى ترسم مرشّحًا واحدًا على شكل كتلة خضراء أضلاعها موسومة بـ k_h وk_w وc_i، بجوار النافذة الحمراء على المدخل. عمق الكتلة يساوي عدد قنوات المدخل. وعندما تُطبَّق في موضع واحد، تضرب كل قيم المدخل الـ c_i x k_h x k_w الواقعة تحت النافذة في أوزانها الـ c_i x k_h x k_w، وتجمع كل شيء في رقم واحد، وتضع ذلك الرقم في قناة مخرج واحدة. ويصوغ CS231n القاعدة في جملة تستحق الحفظ: امتداد الاتصال على محور العمق يساوي دائمًا عمق حجم المدخل.

The second frame adds a yellow filter. It has the same depth c_i, sees the same window, and drops its number into a second output channel. The third frame shows the full stack of c_o filters with a bracket labelled c_o, and the output is now c_o channels deep. That bracket is literally the first axis of W. Choosing c_o is a design decision made by whoever builds the network; it is not derived from c_i.

اللقطة الثانية تضيف مرشّحًا أصفر. له العمق نفسه c_i، ويرى النافذة نفسها، ويضع رقمه في قناة مخرج ثانية. اللقطة الثالثة تعرض المكدّس الكامل من c_o مرشّحًا مع قوس موسوم بـ c_o، ويصبح عمق المخرج الآن c_o قناة. هذا القوس هو حرفيًا المحور الأول في W. اختيار c_o قرار تصميمي يتخذه من يبني الشبكة؛ وهو لا يُشتق من c_i.

Bias and batch, the two easy axesالـ bias والدفعة، المحوران السهلان

The Bias is added once per output channel, after the whole c_i-deep dot product, which is why its shape is (c_o,) exactly as in the fully connected layer of Part 01. The Batch size n appears in X and Y but never in W or b: the same weights process every sample in the batch. If you are ever unsure of a shape, check that n is absent from the parameters and that c_o leads W.

يُضاف الـ bias مرة واحدة لكل قناة مخرج، بعد حاصل الضرب النقطي الكامل الذي عمقه c_i، ولهذا شكله (c_o,) تمامًا كما في الطبقة كاملة الاتصال في الجزء 01. أما الـ batch size n فيظهر في X وY لكنه لا يظهر أبدًا في W أو b: الأوزان نفسها تعالج كل عينة في الدفعة. وإذا شككت يومًا في شكل ما، فتحقق من أن n غائب عن المعاملات وأن c_o يتصدّر W.

Slide 14 gives the smallest example that shows the shrink. The input is 4 x 4, the Kernel (filter) is 3 x 3, there is no padding and the window moves one cell at a time. Along the top row the window can start at column 0 or column 1. Starting at column 2 would need columns 2, 3 and 4, and there is no column 4. Two starting positions per axis means the output is 2 x 2.

تعطي الشريحة 14 أصغر مثال يُظهر الانكماش. المدخل 4 x 4، والـ kernel بحجم 3 x 3، ولا يوجد padding، والنافذة تتحرك خلية واحدة في كل مرة. على الصف العلوي يمكن أن تبدأ النافذة عند العمود 0 أو العمود 1. البدء عند العمود 2 يحتاج الأعمدة 2 و3 و4، ولا يوجد عمود 4. موضعا بدء لكل محور يعنيان أن المخرج 2 x 2.

Slides 12 and 13 are two frames of the same motion, taken from the MIT 6.5940 lecture that this section of the deck reproduces. The red window moves one step at a time along a spatial dimension, and at every stop the same green, yellow and cyan filters are applied, which is why slide 12 carries the label Weight Sharing. Nothing about the filters changes as the window moves; this is where Weight sharing becomes visible rather than stated. Each stop adds one short stack of c_o values to the output, one value per filter, so the output has exactly one spatial cell per valid window position. The count of valid positions is the whole story of the output size.

الشريحتان 12 و13 لقطتان من الحركة نفسها، مأخوذتان من محاضرة MIT 6.5940 التي يعيد هذا القسم من العرض إنتاجها. تتحرك النافذة الحمراء خطوة واحدة في كل مرة على امتداد بُعد مكاني، وفي كل توقف تُطبَّق المرشّحات الخضراء والصفراء والسماوية نفسها، ولهذا تحمل الشريحة 12 عنوان Weight Sharing. لا شيء في المرشّحات يتغير مع حركة النافذة؛ وهنا يصبح الـ weight sharing مرئيًا بدلًا من أن يكون مجرد عبارة. كل توقف يضيف إلى المخرج مكدّسًا قصيرًا من c_o قيمة، قيمة واحدة لكل مرشّح، لذا فللمخرج خلية مكانية واحدة بالضبط لكل موضع صالح للنافذة. وعدد المواضع الصالحة هو القصة الكاملة لحجم المخرج.

The general formula, one part earlyالصيغة العامة، قبل موعدها بجزء واحد

Slide 15 asks you to use a Stride of 2 before slide 18 has defined stride, so you need the general rule now. With padding p on every border and stride s, Dumoulin and Visin's relationship 6 gives the output size, and the PyTorch documentation states the same formula with a dilation term that is 1 throughout this course.

تطلب منك الشريحة 15 استخدام stride قيمته 2 قبل أن تعرّف الشريحة 18 الـ stride، لذا تحتاج القاعدة العامة الآن. مع padding قدره p على كل حافة وstride قدره s، تعطي العلاقة 6 عند Dumoulin وVisin حجم المخرج، وتذكر وثائق PyTorch الصيغة نفسها مع حد dilation قيمته 1 طوال هذا المقرر.

Two rows deserve a second look. The 32, 5, 1, 2 row is the ConvNetJS demo on slide 25, which uses pad 2 precisely so that its 5 x 5 convolution keeps the 32 x 32 size, giving the 32 x 32 x 16 output printed there. The 224, 7, 2, 3 row is the first layer of a ResNet, which halves the spatial size in one step. Both are the same formula.

صفّان يستحقان نظرة ثانية. صف 32, 5, 1, 2 هو عرض ConvNetJS في الشريحة 25، الذي يستخدم pad قدره 2 تحديدًا لكي يحافظ التفافه 5 x 5 على الحجم 32 x 32، فيعطي المخرج 32 x 32 x 16 المطبوع هناك. وصف 224, 7, 2, 3 هو الطبقة الأولى في ResNet، التي تنصّف الحجم المكاني في خطوة واحدة. وكلاهما الصيغة نفسها.

Slide 15 is the exam question in miniature: two input channels of 4 x 4, one output channel, a 2 x 2 filter, Stride 2, no padding and no Bias. Input channel 1 has every row equal to 1 2 3 4; input channel 2 has every row equal to 5 6 7 8. The filter's first slab is [[2, 1], [1, 2]] and its second slab is [[1, 2], [2, 1]]. In the shapes of the previous concepts, X is (1, 2, 4, 4) and W is (1, 2, 2, 2).

الشريحة 15 هي سؤال الامتحان في صورة مصغّرة: قناتا مدخل بحجم 4 x 4، وقناة مخرج واحدة، ومرشّح (filter) بحجم 2 x 2، وstride قدره 2، بلا padding وبلا bias. كل صف في قناة المدخل الأولى يساوي 1 2 3 4؛ وكل صف في قناة المدخل الثانية يساوي 5 6 7 8. الشريحة الأولى من المرشّح هي [[2, 1], [1, 2]] والثانية [[1, 2], [2, 1]]. وبأشكال المفاهيم السابقة، X شكله (1, 2, 4, 4) وW شكله (1, 2, 2, 2).

The formula says what the filter-is-a-block idea implied: the sum over c folds all input channels into one number. There is no separate output per input channel. With that in mind the four values of the slide are four applications of the same recipe. Strictly, this is cross-correlation: mathematical convolution flips the kernel first, and this formula does not. Deep learning libraries, PyTorch and this deck all call the unflipped version convolution (Goodfellow et al., section 9.1), and this course follows that convention.

تقول الصيغة ما كانت فكرة أن المرشّح كتلة تتضمنه: الجمع على c يطوي كل قنوات المدخل في رقم واحد. لا يوجد مخرج منفصل لكل قناة مدخل. ومع وضع ذلك في الذهن، فالقيم الأربع في الشريحة هي أربعة تطبيقات للوصفة نفسها. وبدقة، هذا ارتباط متقاطع (cross-correlation): الالتفاف الرياضي يقلب النواة أولًا، وهذه الصيغة لا تفعل ذلك. مكتبات التعلم العميق وPyTorch وهذا العرض كلها تسمّي النسخة غير المقلوبة التفافًا (Goodfellow et al.، القسم 9.1)، وهذا المقرر يتبع هذا العرف.

Now do it with your hands. The stepper below holds the slide 15 numbers, highlights the current window on both input channels, lists the products channel by channel and fills the output one cell at a time. Switch the stride to 1 to see the 3 x 3 output, then change a few cells and predict the result before you press Next.

الآن جرّبها بيدك. الأداة التفاعلية أدناه تحمل أرقام الشريحة 15، وتبرز النافذة الحالية على قناتي المدخل كلتيهما، وتسرد حواصل الضرب قناة بقناة، وتملأ المخرج خلية خلية. غيّر الـ stride إلى 1 لترى المخرج 3 x 3، ثم غيّر بعض الخلايا وتوقّع النتيجة قبل أن تضغط Next.

The stride-1 column shows what the middle window adds. At columns 1 to 2, channel 1 gives 2·2 + 1·3 + 1·2 + 2·3 = 15 and channel 2 gives 1·6 + 2·7 + 2·6 + 1·7 = 39, so 54 sits between 42 and 66. Stride 2 skips that window entirely, which is why the output is smaller and the compute drops from 9 windows to 4. On a large input the compute falls to about a quarter of the stride-1 cost, since both axes are halved.

يُظهر عمود stride يساوي 1 ما تضيفه النافذة الوسطى. عند العمودين 1 إلى 2 تعطي القناة الأولى 2·2 + 1·3 + 1·2 + 2·3 = 15 وتعطي القناة الثانية 1·6 + 2·7 + 2·6 + 1·7 = 39، لذا تقع 54 بين 42 و66. الـ stride الذي يساوي 2 يتخطى تلك النافذة كليًا، ولهذا يكون المخرج أصغر وينخفض الحساب من 9 نوافذ إلى 4. وعلى مدخل كبير ينخفض الحساب إلى نحو ربع تكلفة stride يساوي 1، لأن المحورين كليهما يُنصَّفان.

Counting parametersعدّ المعاملات

The shapes of W and b give the parameter count directly, and that count is what decides whether a model fits in a microcontroller's flash. The weights number c_o x c_i x k_h x k_w, the size of W, and there is one bias per output channel.

شكلا W وb يعطيان عدد المعاملات مباشرة، وهذا العدد هو ما يقرر هل يتسع النموذج في ذاكرة الـ flash لمتحكم دقيق. عدد الأوزان (weights) هو c_o x c_i x k_h x k_w، أي حجم W، ويوجد bias واحد لكل قناة مخرج.

Slide 25 later in this lecture shows the ConvNetJS CIFAR-10 demo, whose first convolution has 16 filters of 5 x 5 over the 3 colour channels. The demo prints 16 x 5 x 5 x 3 + 16 = 1216 parameters, and the formula reproduces it: 1200 weights and 16 biases. Use that number as a retrieval hook; if your formula does not give 1216 for that layer, you have forgotten the biases or swapped a factor.

تعرض الشريحة 25 لاحقًا في هذه المحاضرة عرض ConvNetJS على CIFAR-10، الذي فيه أول التفاف من 16 مرشّحًا بحجم 5 x 5 على القنوات اللونية الثلاث 3. يطبع العرض 16 x 5 x 5 x 3 + 16 = 1216 معاملًا، والصيغة تعيد إنتاج هذا الرقم: 1200 وزن و16 قيمة bias. استخدم هذا الرقم كخطاف للتذكّر؛ إذا لم تعطك صيغتك 1216 لهذه الطبقة، فقد نسيت الـ biases أو بدّلت أحد العوامل.

Only the filter geometry and the channel counts move the number.

وحدهما هندسة المرشّح وعدد القنوات يحرّكان الرقم.

Take the 5 x 5 input and 3 x 3 Kernel (filter) from Part 02. The kernel can only sit where it fits entirely inside the image, so it has three horizontal and three vertical positions and the output Feature map is 3 x 3. Stack a second such layer and you get 1 x 1. A third layer cannot run at all. Every layer eats two rows and two columns, and Goodfellow, Bengio and Courville put it plainly: without padding the representation shrinks by one pixel less than the kernel width at every layer.

خذ المدخل 5 x 5 والنواة kernel بحجم 3 x 3 من الجزء 02. لا يمكن للنواة أن تقف إلا حيث تتسع بالكامل داخل الصورة، فلها ثلاثة مواضع أفقية وثلاثة رأسية، ويكون feature map الناتج بحجم 3 x 3. أضف طبقة ثانية مثلها فتحصل على 1 x 1. أما الطبقة الثالثة فلا يمكن تشغيلها أصلًا. كل طبقة تأكل صفّين وعمودين، ويقولها Goodfellow وBengio وCourville بوضوح: بدون حشو يتقلص التمثيل في كل طبقة بمقدار عرض النواة ناقص بكسل واحد.

Padding is the fix. Add a ring of p extra cells around the input before sliding the kernel. With p = 1 the 5 x 5 image becomes 7 x 7, the kernel now has five positions in each direction, and the output is 5 x 5 again. The same 27 weights per filter (3 x 3 over three input channels) do the work; the only thing that changed is where the kernel is allowed to stand.

الحل هو الحشو padding. أضف حلقة من p خلية إضافية حول المدخل قبل تمرير النواة. مع p = 1 تصبح الصورة 5 x 5 بحجم 7 x 7، وتصبح للنواة خمسة مواضع في كل اتجاه، ويعود المخرج إلى 5 x 5. الأوزان نفسها (weights) وعددها 27 لكل مرشّح (3 x 3 على ثلاث قنوات مدخلة) هي التي تقوم بالعمل؛ الشيء الوحيد الذي تغيّر هو المكان المسموح للنواة أن تقف فيه.

Read the formula as a story. The padded input is h_i + 2p rows tall. A window of height k_h can start on any row except the last k_h - 1, which leaves h_i + 2p - k_h + 1 starting rows, one per output row. Set h_o = h_i and the equation solves to p = (k - 1)/2, which is a whole number only for odd kernels. That is why 3 x 3, 5 x 5 and 7 x 7 dominate practice: Zhang et al. note that an odd kernel lets the same amount of padding go on both sides and keeps the output pixel centred on its window. Dumoulin and Visin call this half padding, and the deep learning book calls it same convolution, after the MATLAB option of that name.

اقرأ الصيغة كقصة. المدخل بعد الحشو ارتفاعه h_i + 2p صفًّا. نافذة ارتفاعها k_h يمكن أن تبدأ من أي صف ما عدا آخر k_h - 1 صفوف، فيبقى h_i + 2p - k_h + 1 صف بداية، صف مخرج لكل واحد منها. ضع h_o = h_i فتُحل المعادلة إلى p = (k - 1)/2، وهو عدد صحيح فقط عندما تكون النواة فردية. لهذا تسيطر 3 x 3 و5 x 5 و7 x 7 على الممارسة العملية: يلاحظ Zhang et al. أن النواة الفردية تسمح بوضع مقدار الحشو نفسه على الجانبين وتبقي بكسل المخرج في مركز نافذته. يسمي Dumoulin وVisin هذا بالحشو النصفي (half padding)، ويسميه كتاب التعلم العميق الالتفاف المتساوي (same convolution)، نسبةً إلى خيار MATLAB الذي يحمل هذا الاسم.

What goes in the ringماذا نضع في الحلقة

The formula does not care what the new cells contain, but the values do affect what the network learns near the border. The slide pads a 3 x 3 image holding 1 to 9 by p = 2 on every side, which is a good specimen because 2 is the largest reflection padding a 3 x 3 image can take. Zero padding writes zeros, and PyTorch uses it unless told otherwise. Reflection padding mirrors the image across its edge without repeating the edge pixel, so the row above 1 2 3 reads 4 5 6 and the row above that reads 7 8 9. Replication padding stretches each edge pixel outward, so the corner 1 fills the whole top-left 3 x 3 block. Constant padding is zero padding with a value of your choice.

الصيغة لا تهتم بما تحتويه الخلايا الجديدة، لكن القيم تؤثر فعلًا على ما تتعلمه الشبكة قرب الإطار. تحشو الشريحة صورة 3 x 3 تحمل القيم من 1 إلى 9 بمقدار p = 2 من كل جانب، وهي عينة جيدة لأن 2 هو أكبر حشو انعكاسي تتحمله صورة 3 x 3. الحشو الصفري zero padding يكتب أصفارًا، وتستخدمه PyTorch ما لم تطلب غيره. الحشو الانعكاسي reflection padding يعكس الصورة عبر حافتها دون تكرار بكسل الحافة نفسه، فالصف فوق 1 2 3 يُقرأ 4 5 6 والصف فوقه يُقرأ 7 8 9. الحشو التكراري replication padding يمدّ كل بكسل حافة إلى الخارج، فالركن 1 يملأ كتلة 3 x 3 العلوية اليسرى كاملة. والحشو الثابت (constant) هو حشو صفري لكن بقيمة تختارها أنت.

The index rule behind the visual is short. For a padded coordinate j in 0 to 6, subtract p to get an offset into the original image. Replication clamps that offset into 0 to 2. Reflection folds it: -1 becomes 1, -2 becomes 2, 3 becomes 1 and 4 becomes 0. Fold both the row and the column offset and you have the source pixel. The PyTorch documentation for ReflectionPad2d walks through exactly this example with the values 0 to 8. PyTorch also offers a 'circular' mode that wraps around to the opposite edge; the slide leaves it out.

قاعدة الفهارس وراء الشكل قصيرة. لإحداثي محشو j من 0 إلى 6، اطرح p لتحصل على إزاحة داخل الصورة الأصلية. التكرار يحصر هذه الإزاحة داخل المدى 0 إلى 2. أما الانعكاس فيطويها: -1 تصبح 1، و-2 تصبح 2، و3 تصبح 1، و4 تصبح 0. اطوِ إزاحة الصف وإزاحة العمود معًا فتحصل على البكسل المصدر. توثيق PyTorch الخاص بـ ReflectionPad2d يشرح هذا المثال بالضبط بالقيم من 0 إلى 8. وتوفر PyTorch أيضًا نمط 'circular' الذي يلتف إلى الحافة المقابلة؛ والشريحة لا تذكره.

One output pixel of a 3 x 3 Convolution layer is a weighted sum of a 3 x 3 patch of its input. That patch is its Receptive field. Now feed that layer's output into a second 3 x 3 layer. One pixel of the second layer reads a 3 x 3 block of first-layer outputs, and each of those was itself computed from a 3 x 3 patch. The patches of neighbouring pixels overlap and slide by one cell, so the union of all nine is a 5 x 5 region of the original image. A third layer makes it 7 x 7.

بكسل مخرج واحد من طبقة التفاف convolution layer بحجم 3 x 3 هو مجموع موزون لرقعة 3 x 3 من مدخلها. هذه الرقعة هي مجال استقباله receptive field. الآن أدخل مخرج تلك الطبقة إلى طبقة ثانية 3 x 3. بكسل واحد من الطبقة الثانية يقرأ كتلة 3 x 3 من مخرجات الطبقة الأولى، وكل واحد منها حُسب بدوره من رقعة 3 x 3. رقع البكسلات المتجاورة تتداخل وتنزاح بخلية واحدة، فيكون اتحاد الرقع التسع منطقة 5 x 5 من الصورة الأصلية. والطبقة الثالثة تجعلها 7 x 7.

Each stride-1 layer adds k - 1 to the side of the region, because the outermost cells of the new window reach (k - 1)/2 further in each direction. Start from a single pixel and add k - 1 once per layer.

كل طبقة بخطوة 1 تضيف k - 1 إلى ضلع المنطقة، لأن الخلايا الطرفية في النافذة الجديدة تمتد (k - 1)/2 أبعد في كل اتجاه. ابدأ من بكسل واحد وأضف k - 1 مرة لكل طبقة.

With k = 3 this gives 3, 5, 7, 9, 11 for L = 1 to 5. The deep learning book's figure 9.4 makes the same point and adds the hint that matters next: the effect increases if the network includes strided convolution or pooling.

مع k = 3 تعطي هذه الصيغة 3, 5, 7, 9, 11 للقيم من L = 1 إلى 5. الشكل 9.4 في كتاب التعلم العميق يوضح النقطة نفسها ويضيف التلميح المهم لما يأتي: يزداد هذا الأثر إذا احتوت الشبكة على التفاف بخطوة (strided convolution) أو تجميع (pooling).

The problem with large imagesمشكلة الصور الكبيرة

A classifier must eventually let one output depend on the whole picture. For a 224 x 224 image and stride-1 3 x 3 layers, solve 2L + 1 >= 224: L = 112 layers before a single output pixel sees everything. Each of those layers works at full resolution, so the activation memory and the multiply-accumulates are enormous. The slide states the problem and the cure in one breath: downsample inside the network.

المصنّف (classifier) يجب في النهاية أن يجعل مخرجًا واحدًا يعتمد على الصورة كلها. لصورة 224 x 224 وطبقات 3 x 3 بخطوة 1، حُلّ 2L + 1 >= 224: L = 112 طبقة قبل أن يرى بكسل مخرج واحد كل شيء. كل طبقة منها تعمل بالدقة الكاملة، فتكون ذاكرة التنشيطات وعمليات الضرب والتجميع هائلة. الشريحة تذكر المشكلة والعلاج في نفس واحد: قلّص الدقة (downsample) داخل الشبكة.

Stride is the cheapest way to do it. Instead of moving the kernel one cell at a time, move it s cells. The number of window positions drops by about a factor of s in each direction, and so does the output size. Goodfellow, Bengio and Courville describe stride s as mathematically equivalent to a stride-1 convolution followed by keeping every s-th output, only without wasting work on the outputs you would throw away.

الخطوة stride هي أرخص طريقة لذلك. بدلًا من تحريك النواة خلية واحدة في كل مرة، حرّكها s خلايا. ينخفض عدد مواضع النافذة بمعامل s تقريبًا في كل اتجاه، وكذلك حجم المخرج. يصف Goodfellow وBengio وCourville الخطوة s بأنها مكافئة رياضيًا لالتفاف بخطوة 1 يتبعه الاحتفاظ بمخرج واحد من كل s مخرجات، لكن دون إهدار حساب على المخرجات التي كنت ستتخلص منها.

The floor is not decoration. The padded input has h_i + 2p - k_h rows on which a window can start after the first, and the kernel visits every s-th of them. If that span is not a multiple of s, the last window would run past the edge and is dropped. Try h_i = 8, k = 3, p = 0, s = 2: the slide's version gives 3.5, which is not a size; the true answer is floor(5/2) + 1 = 3. Dumoulin and Visin state the relationship with the floor, and the PyTorch Conv2d documentation computes the output shape the same way.

دالة floor ليست زينة. المدخل المحشو فيه h_i + 2p - k_h صفًّا يمكن أن تبدأ منها النافذة بعد الصف الأول، والنواة تزور واحدًا من كل s منها. إذا لم يكن هذا المدى من مضاعفات s، فإن النافذة الأخيرة ستتجاوز الحافة فتُحذف. جرّب h_i = 8، k = 3، p = 0، s = 2: صيغة الشريحة تعطي 3.5، وهذا ليس حجمًا؛ الجواب الصحيح هو floor(5/2) + 1 = 3. يكتب Dumoulin وVisin العلاقة مع floor، وتوثيق Conv2d في PyTorch يحسب شكل المخرج بالطريقة نفسها.

How stride changes the receptive field ruleكيف تغيّر الخطوة قاعدة مجال الاستقبال

Stride does more than shrink maps. Once a layer has stride 2, two neighbouring outputs of that layer sit two input pixels apart, so every layer after it takes steps of two in input coordinates. Its 3 x 3 window no longer adds 2 pixels to the receptive field; it adds 2 x 2 = 4. The slide 18 top row shows the payoff: a stride-2 first layer followed by one stride-1 layer already reaches 7, where stride 1 needed three layers.

الخطوة تفعل أكثر من تصغير الخرائط. بمجرد أن تكون لطبقة خطوة 2، يصبح المخرجان المتجاوران لتلك الطبقة على بعد بكسلين في المدخل، فتمشي كل طبقة بعدها بخطوات من اثنين في إحداثيات المدخل. نافذتها 3 x 3 لم تعد تضيف 2 بكسل إلى مجال الاستقبال؛ بل تضيف 2 x 2 = 4. الصف العلوي في الشريحة 18 يُظهر المكسب: طبقة أولى بخطوة 2 تتبعها طبقة واحدة بخطوة 1 تصل بالفعل إلى 7، بينما احتاجت الخطوة 1 إلى ثلاث طبقات.

Araujo, Norris and Sim give the general closed form. Call the product of the strides before layer l the jump (some authors say effective stride). Each layer adds (k_l - 1) times its jump.

يعطي Araujo وNorris وSim الصيغة المغلقة العامة. سمِّ حاصل ضرب الخطوات قبل الطبقة l بالقفزة jump (وبعض المؤلفين يسمونها الخطوة الفعلية effective stride). كل طبقة تضيف (k_l - 1) مضروبًا في قفزتها.

Real networks live at the strided end of that table. Araujo, Norris and Sim compute receptive fields of 195 for AlexNet, 212 for VGG-16, 483 for ResNet-50 and 1,311 for Inception-v3, all with a total downsampling of 32, and remark that the receptive field usually covers the entire input image. The stride in the ResNet stem you computed in the calculator is the first of those doublings: 224 to 112 in one layer.

الشبكات الحقيقية تعيش في طرف الخطوات من ذلك الجدول. يحسب Araujo وNorris وSim مجالات استقبال قدرها 195 لـ AlexNet، و212 لـ VGG-16، و483 لـ ResNet-50، و1,311 لـ Inception-v3، وكلها بتقليص كلي للدقة قدره 32، ويلاحظون أن مجال الاستقبال يغطي عادةً صورة المدخل بأكملها. الخطوة في بداية ResNet (stem) التي حسبتها في الحاسبة هي أول هذه المضاعفات: من 224 إلى 112 في طبقة واحدة.

Padding and stride change the shape of the computation. The last two concepts change its wiring. Take a layer with c_i = c_o = 64 channels and 3 x 3 kernels. Each of the 64 filters reads all 64 input channels, so the layer holds 64 x 64 x 9 = 36,864 weights. Now split the channels into two halves and run two separate convolutions, each mapping 32 inputs to 32 outputs. Each half holds 32 x 32 x 9 = 9,216 weights, so the pair holds 18,432: the same output shape at half the cost.

الحشو والخطوة يغيّران شكل الحساب. أما المفهومان الأخيران فيغيّران توصيلاته. خذ طبقة فيها c_i = c_o = 64 قناة (channels) ونوى 3 x 3. كل مرشّح من المرشّحات الـ 64 يقرأ كل القنوات المدخلة الـ 64، فتحمل الطبقة 64 x 64 x 9 = 36,864 وزنًا. الآن قسّم القنوات إلى نصفين وشغّل التفافين منفصلين، كل واحد يحوّل 32 مدخلًا إلى 32 مخرجًا. كل نصف يحمل 32 x 32 x 9 = 9,216 وزنًا، فيحمل الزوج 18,432: شكل المخرج نفسه بنصف التكلفة.

That is a Grouped convolution with g = 2, or in the slide's words a group of narrower convolutions. In general, split c_i into g blocks of c_i/g channels and c_o into g blocks of c_o/g. Output block j reads only input block j. The slide writes the new Weight shape as (g · c_o/g, c_i/g, k_h, k_w), and the first factor simplifies to c_o: there are still c_o filters, each just reads c_i/g channels instead of all c_i. The Bias stays one per output channel.

هذا التفاف مجمّع grouped convolution مع g = 2، أو بتعبير الشريحة: مجموعة من الالتفافات الأضيق. بشكل عام، قسّم c_i إلى g كتل كل منها c_i/g قناة، وقسّم c_o إلى g كتل كل منها c_o/g. كتلة المخرج j تقرأ كتلة المدخل j فقط. تكتب الشريحة الشكل الجديد لموتّر الأوزان weight هكذا: (g · c_o/g, c_i/g, k_h, k_w)، والعامل الأول يُختصر إلى c_o: ما زال هناك c_o مرشّحًا، لكن كل واحد يقرأ c_i/g قناة بدل كل القنوات c_i. ويبقى الانحياز bias واحدًا لكل قناة مخرجة.