COE 592Lecture 02المحاضرة 02Glossaryالمصطلحات
Glossaryالمصطلحات
Every term in Neural network fundamentals, defined once and used the same way in every part. Each entry links to the slides where the idea appears.كل مصطلح في محاضرة «أساسيات الشبكات العصبية»، معرّف مرة واحدة ومستخدم بالمعنى نفسه في كل الأجزاء. كل مدخل يربطك بالشرائح التي تظهر فيها الفكرة.
- Termsالمصطلحات
- 58
- Lettersالحروف
- 20
A
- Activation
The output value of a neuron, also called a feature. Activations are computed per input and determine runtime memory.قيمة الخرج لعصبون، وتُسمى أيضًا ميزة (feature). تُحسب التنشيطات لكل مدخل على حدة، وهي التي تحدد الذاكرة المطلوبة وقت التشغيل (runtime memory).
- Activation function
A typically non-linear function f applied to a neuron's weighted sum, such as sigmoid, ReLU, ReLU6, leaky ReLU, swish or hard swish.دالة f غير خطية عادةً تُطبَّق على المجموع الموزون للعصبون، مثل sigmoid وReLU وReLU6 وleaky ReLU وswish وhard swish.
- Average pooling
Pooling that returns the mean of the values in each window.تجميع يُرجع متوسط القيم في كل نافذة.
B
- Batch norm fusion
Folding an inference-time batch normalization into the preceding fully connected or convolution layer's weights and bias, giving zero test-time overhead.دمج batch normalization الخاص بوقت الاستدلال في أوزان وانحياز الطبقة المتصلة بالكامل أو طبقة الالتفاف التي قبله، فتصبح تكلفته الإضافية وقت الاختبار صفرًا.
- Batch normalization
Normalizing each feature to zero mean and unit variance using mini-batch statistics, then applying learnable scale gamma and shift beta: y = gamma (x - mu)/sqrt(sigma^2 + epsilon) + beta.تطبيع كل ميزة لتصبح بمتوسط صفر وتباين واحد باستخدام إحصاءات الدفعة الصغيرة (mini-batch)، ثم تطبيق معامل تحجيم قابل للتعلم gamma وإزاحة beta: y = gamma (x - mu)/sqrt(sigma^2 + epsilon) + beta.
- Batch size
The number of samples n processed together; it adds a leading dimension to input and output tensors but does not change parameter shapes.عدد العينات n التي تُعالج معًا. يضيف بُعدًا في بداية موترات الدخل والخرج، لكنه لا يغيّر أشكال المعاملات (parameters).
- Bias
A learnable additive term, one per output neuron or output channel, with shape (c_o,).حد جمعي قابل للتعلم، واحد لكل عصبون خرج أو لكل قناة خرج (output channel)، وشكله (c_o,).
C
- Channel
One feature dimension of a tensor; c_i and c_o denote the numbers of input and output channels of a layer.بُعد واحد من أبعاد الميزات في الموتر (tensor). يرمز c_i وc_o إلى عدد قنوات الدخل وقنوات الخرج للطبقة.
- Convolution layer
A layer in which each output neuron is connected only to input neurons in its receptive field, using filters of shape (c_i, k_h, k_w) shared across spatial positions; W has shape (c_o, c_i, k_h, k_w).طبقة يتصل فيها كل عصبون خرج فقط بعصبونات الدخل الواقعة في مجاله الاستقبالي (receptive field)، باستخدام مرشحات (filters) شكلها (c_i, k_h, k_w) مشتركة عبر المواقع المكانية. شكل W هو (c_o, c_i, k_h, k_w).
D
- Depthwise convolution
The grouped convolution with g = c_i = c_o, where each channel has its own independent k_h x k_w filter and no information mixes across channels.الالتفاف المجمّع (grouped convolution) في حالة g = c_i = c_o، حيث يكون لكل قناة مرشح k_h x k_w مستقل خاص بها، ولا تختلط أي معلومات بين القنوات.
- Depthwise separable convolution
A depthwise k x k convolution (one filter per channel, c k^2 weights) followed by a 1 x 1 pointwise convolution (c_o c_i weights) that mixes the channels again; the answer to slide 20's question, costing about 1/c_o + 1/k^2 of a standard layer and forming the MobileNet building block.التفاف depthwise بحجم k x k (مرشح واحد لكل قناة، أي c k^2 من الأوزان) يليه التفاف نقطي pointwise بحجم 1 x 1 (c_o c_i من الأوزان) يعيد مزج القنوات. هذا هو جواب سؤال الشريحة 20، وتكلفته تقريبًا 1/c_o + 1/k^2 من تكلفة الطبقة العادية، وهو اللبنة الأساسية في MobileNet.
- Downsampling
Reducing the spatial size of feature maps inside a network, via stride or pooling, so outputs can see the whole image with fewer layers.تقليل الحجم المكاني لخرائط الميزات (feature maps) داخل الشبكة عن طريق الخطوة (stride) أو التجميع (pooling)، حتى تستطيع المخرجات رؤية الصورة كاملة بعدد أقل من الطبقات.
F
- Feature
A node of the network seen as the quantity it represents; the third name in the family neurons = features = activations, where feature stresses what the node encodes and activation stresses that it is a computed value held in memory.عقدة في الشبكة يُنظر إليها بوصفها الكمية التي تمثلها. هي الاسم الثالث في العائلة neurons = features = activations، حيث تؤكد كلمة feature على ما تُرمّزه العقدة، بينما تؤكد كلمة activation على أنها قيمة محسوبة محفوظة في الذاكرة.
- Feature hierarchy
The progression of what CNN filters learn: low-level features such as edges in early layers, object parts and shapes in middle layers, whole objects in deeper layers.التدرج فيما تتعلمه مرشحات CNN: ميزات منخفضة المستوى مثل الحواف في الطبقات الأولى، ثم أجزاء الأجسام والأشكال في الطبقات الوسطى، ثم الأجسام كاملة في الطبقات الأعمق.
- Feature map
The spatial output of a convolution or pooling layer for one channel; without padding it becomes smaller, h_o = h_i - k_h + 1.الخرج المكاني لطبقة التفاف أو تجميع (pooling) لقناة واحدة. بدون حشو (padding) يصبح أصغر: h_o = h_i - k_h + 1.
- Fully connected layer
A layer, also called linear layer, in which every output neuron is connected to all input neurons: y_i = sum_j w_ij x_j + b_i, with W of shape (c_o, c_i).طبقة، تُسمى أيضًا الطبقة الخطية (linear layer)، يتصل فيها كل عصبون خرج بجميع عصبونات الدخل: y_i = sum_j w_ij x_j + b_i، حيث شكل W هو (c_o, c_i).
G
- Group normalization
Normalization over H, W and a group of channels within each sample, between layer normalization and instance normalization.تطبيع عبر H وW ومجموعة من القنوات داخل كل عينة، فهو وسط بين layer normalization وinstance normalization.
- Grouped convolution
A convolution split into g narrower convolutions over disjoint channel groups, with weights of shape (c_o, c_i/g, k_h, k_w), reducing parameters by a factor g.التفاف مقسوم إلى g من الالتفافات الأضيق على مجموعات قنوات منفصلة، بأوزان شكلها (c_o, c_i/g, k_h, k_w)، مما يقلل عدد المعاملات بمعامل g.
H
- Hard swish
A piecewise approximation of swish: 0 for x <= -3, x for x >= 3, and x(x + 3)/6 otherwise.تقريب متعدد القطع (piecewise) لدالة swish: 0 عندما x <= -3، وx عندما x >= 3، وx(x + 3)/6 فيما عدا ذلك.
I
- Instance normalization
Normalization over H and W for each sample and channel separately (mean of shape N x C x 1 x 1), with the same behavior at training and test time.تطبيع عبر H وW لكل عينة ولكل قناة على حدة (المتوسط شكله N x C x 1 x 1)، بنفس السلوك وقت التدريب ووقت الاختبار.
J
- Jump (effective stride)
The product of the strides of all layers before a given layer, so the distance in input pixels between two neighbouring outputs of the layer before it. Each layer adds (k - 1) times its jump to the receptive field, which is why a stride-2 first layer followed by one 3 x 3 layer already reaches 7.حاصل ضرب خطوات (strides) جميع الطبقات التي قبل طبقة معينة، أي المسافة بوحدة بكسلات المدخل بين خرجين متجاورين للطبقة السابقة لها. كل طبقة تضيف (k - 1) مضروبًا في الـ jump الخاص بها إلى المجال الاستقبالي (receptive field)، ولهذا فإن طبقة أولى بخطوة 2 تليها طبقة واحدة 3 x 3 تصل مباشرة إلى 7.
K
- Kernel (filter)
The small weight tensor slid over the input in convolution, with height k_h, width k_w and depth equal to the number of input channels. Each filter produces one output channel.موتر أوزان صغير يُمرَّر فوق المدخل في الالتفاف (convolution)، ارتفاعه k_h وعرضه k_w وعمقه يساوي عدد قنوات الدخل. كل مرشح (filter) ينتج قناة خرج واحدة.
L
- Layer normalization
Normalization over the feature dimension of each sample (mean of shape N x 1), with the same behavior at training and test time; usable in recurrent networks and transformers.تطبيع عبر بُعد الميزات لكل عينة على حدة (المتوسط شكله N x 1)، بنفس السلوك وقت التدريب ووقت الاختبار. يمكن استخدامه في الشبكات التكرارية (recurrent networks) وفي transformers.
- Leaky ReLU
y = max(alpha x, x), which keeps a small slope alpha for negative inputs.y = max(alpha x, x)، تحافظ على ميل صغير alpha للمدخلات السالبة.
M
- Max pooling
Pooling that returns the maximum value in each window, introducing some spatial invariance.تجميع يُرجع القيمة العظمى في كل نافذة، ويضيف قدرًا من عدم التأثر بالإزاحة المكانية (spatial invariance).
- Model depth
The number of layers in the chain of a network, counted without the input row; the 5-4-3-2 network on slide 4 is a 3-layer network of depth 3 with 2 hidden layers.عدد الطبقات في سلسلة الشبكة دون احتساب صف المدخلات. فالشبكة 5-4-3-2 في الشريحة 4 هي شبكة من 3 طبقات، عمقها 3، وفيها طبقتان مخفيتان.
- Model width
The dimensionality (number of neurons or channels) of a network's hidden layers.أبعاد الطبقات المخفية في الشبكة، أي عدد العصبونات أو القنوات (channels) فيها.
- Multi-head attention
Running h scaled dot-product attentions in parallel on separately linearly projected Q, K and V, then concatenating the results and applying a linear layer.تشغيل h من عمليات scaled dot-product attention بالتوازي على Q وK وV مُسقطة خطيًا بشكل منفصل لكل منها، ثم ضم (concatenate) النتائج وتطبيق طبقة خطية.
- Multilayer perceptron (MLP)
A network formed by stacking fully connected layers with activations between them.شبكة تتكوّن من تكديس طبقات متصلة بالكامل (fully connected layers) بينها دوال تنشيط (activations).
N
- Neuron
A unit that computes a weighted sum of its inputs plus a bias and passes it through an activation function, y = f(sum_i w_i x_i + b). Also called a feature or activation.وحدة تحسب مجموعًا موزونًا لمدخلاتها مضافًا إليه الانحياز (bias)، ثم تمرره عبر دالة تنشيط (activation function)، أي y = f(sum_i w_i x_i + b). تُسمى أيضًا ميزة (feature) أو تنشيطًا (activation).
P
- Padding
Adding p border cells around the input so the output size can match the input size: h_o = h_i + 2p - k_h + 1.إضافة p من الخلايا حول حدود المدخل حتى يمكن أن يساوي حجم الخرج حجم المدخل: h_o = h_i + 2p - k_h + 1.
- Parameter
Any learnable value of a model (weights and biases). The parameter count determines model storage size.أي قيمة قابلة للتعلم في النموذج (الأوزان weights والانحيازات biases). عدد المعاملات يحدد حجم تخزين النموذج.
- Pooling layer
A parameter-free layer that downsamples each activation map independently over windows of extent F with stride S, keeping the channel count: W2 = (W1 - F)/S + 1.طبقة بلا معاملات تقلل حجم كل خريطة تنشيط (activation map) على حدة عبر نوافذ امتدادها F وخطوتها S، مع الحفاظ على عدد القنوات: W2 = (W1 - F)/S + 1.
- Position-wise feed-forward network
A small MLP (linear, ReLU, linear) applied with the same weights to each token's attention-weighted features independently.شبكة MLP صغيرة (linear ثم ReLU ثم linear) تُطبَّق بالأوزان نفسها على ميزات كل token الموزونة بالانتباه بشكل مستقل.
- Positional encoding
A vector of the model width added to each input embedding before the first block so that attention, which is otherwise order-blind, can tell positions apart; the original transformer uses sinusoids of different wavelengths.متجه بطول عرض النموذج يُضاف إلى كل تضمين (embedding) مدخل قبل الكتلة الأولى، حتى يستطيع الانتباه (attention)، الذي لا يرى الترتيب بطبيعته، التمييز بين المواقع. يستخدم transformer الأصلي دوال جيبية (sinusoids) بأطوال موجية مختلفة.
Q
- Query, key, value
The three projections of the input in attention, analogous to retrieval: the query is the search, keys are what is matched against, values are what is returned.الإسقاطات الثلاثة للمدخل في الانتباه (attention)، وتشبه الاسترجاع (retrieval): الاستعلام (query) هو ما نبحث به، والمفاتيح (keys) هي ما نطابق معه، والقيم (values) هي ما يُعاد.
R
- Receptive field
The region of the input that one output element depends on. For one convolution it is k_h x k_w; with L stride-1 layers of size k it is L(k - 1) + 1, and with strides each layer adds (k - 1) times the product of the strides before it.منطقة المدخل التي يعتمد عليها عنصر خرج واحد. في التفاف واحد تساوي k_h x k_w، ومع L طبقة بخطوة 1 وحجم k تساوي L(k - 1) + 1، ومع وجود خطوات (strides) تضيف كل طبقة (k - 1) مضروبًا في حاصل ضرب خطوات الطبقات التي قبلها.
- Reflection padding
Padding that mirrors interior values across the border without repeating the edge value.حشو يعكس القيم الداخلية عبر الحد كالمرآة دون تكرار قيمة الحافة نفسها.
- ReLU
The rectified linear unit y = max(0, x).وحدة التقويم الخطية (rectified linear unit): y = max(0, x).
- ReLU6
A ReLU clipped at 6, y = min(max(0, x), 6).ReLU مقصوصة عند 6: y = min(max(0, x), 6).
- Replication padding
Padding that repeats the nearest edge value outward.حشو يكرر أقرب قيمة على الحافة نحو الخارج.
- Residual connection (Add and Norm)
Adding a sub-layer's input to its output, x + Sublayer(x), then applying layer normalization; each attention and feed-forward sub-layer of the transformer block is wrapped this way.إضافة مدخل الطبقة الفرعية إلى مخرجها، x + Sublayer(x)، ثم تطبيق layer normalization. كل طبقة فرعية للانتباه (attention) وللـ feed-forward في كتلة transformer مغلّفة بهذه الطريقة.
- Running average statistics
The mean and variance accumulated during training that batch normalization uses at inference, turning it into a fixed linear operator.المتوسط والتباين المتراكمان أثناء التدريب، ويستخدمهما batch normalization وقت الاستدلال (inference)، فيتحول إلى عملية خطية ثابتة.
S
- Scale and shift (gamma, beta)
Learnable per-feature parameters applied after normalization that let the model undo it, recovering the identity when gamma equals the standard deviation and beta the mean.معاملات قابلة للتعلم لكل ميزة تُطبَّق بعد التطبيع وتسمح للنموذج بإلغائه، فيستعيد الدالة المحايدة (identity) عندما تساوي gamma الانحراف المعياري وتساوي beta المتوسط.
- Scaled dot-product attention
Attention(Q, K, V) = softmax(Q K^T / sqrt(d_k)) V: query-key inner products scaled by sqrt(d_k), turned into N x N weights by softmax, then used to mix the values.Attention(Q, K, V) = softmax(Q K^T / sqrt(d_k)) V: الضرب الداخلي بين الاستعلام والمفتاح مقسومًا على sqrt(d_k)، ثم يحوّله softmax إلى أوزان N x N، ثم تُستخدم هذه الأوزان لمزج القيم (values).
- Self-attention
Attention in which the queries, keys and values are all projections of the same input sequence, Q = X W_Q, K = X W_K, V = X W_V, so every token reads every other token; the decoder masks it so a position cannot see later positions.انتباه تكون فيه الاستعلامات والمفاتيح والقيم (queries, keys, values) كلها إسقاطات للتسلسل المدخل نفسه، Q = X W_Q وK = X W_K وV = X W_V، فيقرأ كل token جميع الـ tokens الأخرى. في الـ decoder يُطبَّق عليه قناع (mask) حتى لا يرى الموقع المواقع التي بعده.
- Sigmoid
y = 1/(1 + e^-x), which squashes any input into (0, 1); its derivative s(1 - s) is at most 0.25, so it saturates on both sides and needs an exponential per element.y = 1/(1 + e^-x)، تضغط أي مدخل إلى المجال (0, 1). مشتقتها s(1 - s) لا تتجاوز 0.25، لذا تتشبع (saturates) من الجهتين، وتحتاج إلى حساب أسّي لكل عنصر.
- Softmax
softmax(z)_i = e^(z_i) / sum_j e^(z_j), which turns a vector of scores into positive weights that sum to one; it converts the scaled attention scores into the N x N weight matrix and the final linear layer's outputs into probabilities.softmax(z)_i = e^(z_i) / sum_j e^(z_j)، تحوّل متجهًا من الدرجات إلى أوزان موجبة مجموعها واحد. تحوّل درجات الانتباه المحجّمة إلى مصفوفة الأوزان N x N، وتحوّل مخرجات الطبقة الخطية الأخيرة إلى احتمالات.
- Spatial (translation) invariance
A representation's insensitivity to small shifts of the input. Max pooling introduces an approximate version, because when the input moves by a pixel the maximum usually stays inside its window and the pooled value does not change.عدم حساسية التمثيل للإزاحات الصغيرة في المدخل. يضيف max pooling نسخة تقريبية منها، لأنه عندما يتحرك المدخل بكسلًا واحدًا تبقى القيمة العظمى غالبًا داخل نافذتها، فلا تتغير القيمة الناتجة من التجميع.
- Spatial batch normalization (BatchNorm2D)
Batch normalization for convolutional networks that averages over N, H and W, giving mean, variance, gamma and beta of shape 1 x C x 1 x 1.batch normalization للشبكات الالتفافية، يحسب المتوسط عبر N وH وW، فيكون شكل المتوسط والتباين وgamma وbeta هو 1 x C x 1 x 1.
- Stride
The step s by which the kernel moves; the output size becomes h_o = floor((h_i + 2p - k_h)/s) + 1 (slide 18 omits the floor), and larger strides grow the receptive field faster.مقدار الخطوة s التي يتحرك بها المرشح (kernel). يصبح حجم الخرج h_o = floor((h_i + 2p - k_h)/s) + 1 (الشريحة 18 تحذف floor)، والخطوات الأكبر تجعل المجال الاستقبالي (receptive field) ينمو أسرع.
- Swish
y = x/(1 + e^-x), the input times its own sigmoid; smooth and non-monotonic, dipping to about -0.28 before rising, but it needs an exponential per element.y = x/(1 + e^-x)، أي المدخل مضروبًا في sigmoid الخاصة به. ناعمة وغير رتيبة (non-monotonic)، تنخفض إلى نحو -0.28 قبل أن ترتفع، لكنها تحتاج إلى حساب أسّي لكل عنصر.
- Synapse
A connection between two neurons, carrying a learnable weight that scales the signal. Used synonymously with weight and parameter.وصلة بين عصبونين تحمل وزنًا قابلًا للتعلم يضرب الإشارة في قيمته. تُستخدم كلمة synapse بمعنى الوزن (weight) والمعامل (parameter).
T
- Transformer
An architecture built from stacked blocks of multi-head attention and position-wise feed-forward networks with residual Add and Norm, plus positional encoding of the input embeddings.معمارية مبنية من كتل مكدسة من multi-head attention وشبكات feed-forward تعمل على كل موقع على حدة، مع Add and Norm المتبقية (residual)، إضافة إلى الترميز الموضعي (positional encoding) لتضمينات (embeddings) المدخل.
W
- Weight
A learnable value that multiplies an input on a connection; the weights of a layer form a tensor such as W of shape (c_o, c_i) for a fully connected layer.قيمة قابلة للتعلم تُضرب في المدخل على الوصلة. أوزان الطبقة تكوّن موترًا (tensor)، مثل W ذي الشكل (c_o, c_i) في الطبقة المتصلة بالكامل (fully connected layer).
- Weight sharing
Reusing the same filter weights at every spatial position of the input, so a convolution's parameter count does not depend on the input size.إعادة استخدام أوزان المرشح نفسها في كل موقع مكاني من المدخل، لذلك لا يعتمد عدد معاملات الالتفاف (convolution) على حجم المدخل.
Z
- Zero padding
Padding that fills the input boundaries with zeros; the default in PyTorch.حشو يملأ حدود المدخل بأصفار، وهو الخيار الافتراضي في PyTorch.