Why there has to be a non-linearity

لماذا لا بد من دالة غير خطية

Slide 40 draws the neuron: y_j = f(Σ_i w_ix_i + b). The f is the activation. Remove it and two layers become one, because a linear map of a linear map is linear:

ترسم الشريحة 40 الخلية العصبية: y_j = f(Σ_i w_ix_i + b). والدالة f هي دالة التنشيط (activation). احذفها وتصبح الطبقتان طبقة واحدة، لأن الدالة الخطية لدالة خطية هي دالة خطية:

W₂(W₁x + b₁) + b₂ = (W₂W₁)x + (W₂b₁ + b₂)

scalar layers, no activation
  layer 1   h = 2x + 1
  layer 2   y = 3h + 4 = 3(2x + 1) + 4 = 6x + 7

one layer with w = 6, b = 7 does exactly the same job.
a hundred stacked linear layers are still one line.

The six on slide 40

الدوال الست في الشريحة 40

يجمع الجدول الدوال الست. Sigmoid مداه (0, 1) ومشتقته s(1 − s) لا تتجاوز 0.25 ويحتاج دالة أُسية. ReLU هو max(0, x) ومداه غير محدود من الأعلى. ReLU6 هو min(max(0, x), 6) ومداه [0, 6]. Leaky ReLU هو max(αx, x). Swish هو x / (1 + e^−x) ويحتاج دالة أُسية. وhard swish هو x · ReLU6(x + 3) / 6 ويكفيه قص وضرب. المكتوب بلون مميز هو ما يهم الأنظمة المدمجة.

The slide's piecewise hard swish says the same thing: 0 for x ≤ −3, x for x ≥ 3, and x(x + 3)/6 in between. The slide also lists tanh, GELU, ELU and Mish as "other activation functions".

الصيغة المجزّأة لـ hard swish في الشريحة تقول الشيء نفسه: 0 عندما x ≤ −3، وx عندما x ≥ 3، وx(x + 3)/6 بينهما. وتذكر الشريحة أيضاً tanh وGELU وELU وMish كدوال تنشيط أخرى.

في اللوحة الأولى يتسطّح sigmoid من الجهتين، ومشتقته (المنقّطة) قمتها 0.25 عند الصفر. في اللوحة الثانية ReLU6 هو ReLU مع سقف عند 6. وفي الثالثة يرسم hard swish منحنى swish بقطع مستقيمة ومنحنى تربيعي، والفرق بينهما أقل من 0.15 في كل مكان.

Why each one matters on embedded hardware

لماذا تهمّ كل دالة على العتاد المدمج

Sigmoid: saturation kills gradients

Sigmoid: التشبّع يقتل التدرّجات

At x = 0 the slope is s(1 − s) = 0.5 × 0.5 = 0.25, the maximum. At x = −4 it is already 0.018 × 0.982 = 0.018. Backpropagation multiplies one such factor per layer, so ten sigmoid layers shrink the gradient by at least 0.25¹⁰ ≈ 10⁻⁶. It also needs e^x, which a small MCU computes with a slow library call or a lookup table.

عند x = 0 يكون الميل s(1 − s) = 0.5 × 0.5 = 0.25، وهو أعلى قيمة. وعند x = −4 يصبح 0.018 × 0.982 = 0.018. والـ backpropagation يضرب عاملاً كهذا لكل طبقة، فعشر طبقات sigmoid تُصغّر الـ gradient بمقدار 0.25¹⁰ ≈ 10⁻⁶ على الأقل. ويحتاج أيضاً إلى e^x، الذي يحسبه المتحكم الصغير باستدعاء مكتبة بطيء أو بجدول بحث.

ReLU: the default

ReLU: الخيار الافتراضي

max(0, x) is one comparison, its slope is 1 for every positive input so gradients do not shrink, and it outputs exact zeros, which later lectures exploit as activation sparsity. Its weakness for int8: the range is unbounded, so the quantization range has to be measured from data.

max(0, x) مقارنة واحدة فقط، وميله 1 لكل مدخل موجب فلا يتقلّص الـ gradient، ويُخرج أصفاراً حقيقية تستغلها المحاضرات اللاحقة كـ activation sparsity. نقطة ضعفه مع int8: مداه غير محدود، فلا بد من قياس مدى الـ quantization من البيانات.

ReLU6: a fixed int8 grid

ReLU6: شبكة int8 ثابتة

Capping at 6 means the output range is always [0, 6], known before you see any data. Mapping it onto 256 int8 levels gives a step of 6/255 ≈ 0.0235 everywhere. With plain ReLU one outlier activation of 50 would stretch the step to 50/255 ≈ 0.196, more than 8 times coarser for every normal value. This robustness to low precision is why MobileNetV2 uses ReLU6.

السقف عند 6 يعني أن مدى المخرج دائماً [0, 6]، ومعروف قبل رؤية أي بيانات. وتوزيعه على 256 مستوى في int8 يعطي خطوة 6/255 ≈ 0.0235 في كل مكان. أما مع ReLU العادي فقيمة شاذة واحدة مثل 50 تمدّ الخطوة إلى 50/255 ≈ 0.196، أي أخشن بأكثر من 8 مرات لكل القيم العادية. وهذه المتانة مع الدقة المنخفضة هي سبب استخدام MobileNetV2 لـ ReLU6.

Hard swish: swish without the exponential

Hard swish: swish بلا دالة أسية

Swish x·s(x) beats ReLU on deep models but needs e^x. Hard swish replaces the sigmoid with the piecewise-linear ReLU6(x + 3)/6, so it costs one add, one clamp, one multiply and a shift or constant multiply. It stays within 0.15 of swish everywhere (the worst gap, 0.142, is at x = ±3). MobileNetV3 uses it.

Swish أي x·s(x) يتفوّق على ReLU في النماذج العميقة لكنه يحتاج e^x. أما hard swish فيستبدل الـ sigmoid بالدالة الخطية المجزّأة ReLU6(x + 3)/6، فتكلفته جمع وقص وضرب وضرب في ثابت. ويبقى ضمن 0.15 من swish في كل مكان (أكبر فرق 0.142 عند x = ±3). ويستخدمه MobileNetV3.

Leaky ReLU: never fully dead

Leaky ReLU: لا تموت تماماً أبداً

max(αx, x) keeps a small slope α (0.01 by default in PyTorch) for negative inputs, so a neuron that only ever sees negative inputs still receives a gradient.

max(αx, x) يحتفظ بميل صغير α (القيمة الافتراضية 0.01 في PyTorch) للمدخلات السالبة، فالخلية التي لا ترى إلا مدخلات سالبة تبقى تستقبل gradient.

Evaluate them by hand

احسبها باليد

x            -4        -1        0        2        7
sigmoid      0.018     0.269     0.5      0.881    0.999
sigmoid'     0.018     0.197     0.25     0.105    0.001
ReLU         0         0         0        2        7
ReLU6        0         0         0        2        6     <- capped
leaky 0.01  -0.04     -0.01      0        2        7
swish       -0.072    -0.269     0        1.762    6.994
hard swish   0        -0.333     0        1.667    7
|gap|        0.072     0.064     0        0.095    0.006

how the hard swish column is built:
  x = -4   x + 3 = -1   ReLU6 = 0   -4 * 0 / 6 = 0
  x = -1   x + 3 =  2   ReLU6 = 2   -1 * 2 / 6 = -0.333
  x =  2   x + 3 =  5   ReLU6 = 5    2 * 5 / 6 = 1.667
  x =  7   x + 3 = 10   ReLU6 = 6    7 * 6 / 6 = 7

Everything on one card

كل شيء في بطاقة واحدة