Assignment 1, solvedالواجب الأول، محلولًا

Q1: the weight distributionس1: توزيع الأوزان

Every layer has the same shape: one peak at zero, roughly symmetric, with a sharper peak and heavier tails than a Gaussian. Most weights are tiny and a few large ones sit in the tails. What changes with depth is the spread: the standard deviation falls from 0.146 in conv0 to 0.0046 in conv7.

لكل الطبقات الشكل نفسه: قمة واحدة عند الصفر، متماثل تقريبًا، بقمة أحدّ وذيول أثقل من التوزيع الطبيعي Gaussian. معظم الأوزان صغيرة جدًا، وقلة من الأوزان الكبيرة تقع في الذيول. والذي يتغير مع العمق هو الانتشار: ينخفض الانحراف المعياري من 0.146 في conv0 إلى 0.0046 في conv7.

Q2: magnitude-based pruningس2: التقليم القائم على المقدار (magnitude)

The importance of a weight is its absolute value. To zero a fraction $s$ of a tensor with $n$ elements, find the $k$-th smallest importance with $k = \operatorname{round}(s \cdot n)$ and keep only what is strictly above it.

أهمية الوزن هي قيمته المطلقة. لتصفير نسبة $s$ من مصفوفة فيها $n$ عنصرًا، نجد أصغر أهمية رقم $k$ حيث $k = \operatorname{round}(s \cdot n)$، ونُبقي فقط ما هو أكبر منها تمامًا.

num_zeros = round(num_elements * sparsity)
importance = torch.abs(tensor)
threshold = importance.view(-1).kthvalue(num_zeros).values
mask = torch.gt(importance, threshold)
tensor.mul_(mask)

• kthvalue works on a 1-D tensor, which is why the importance is flattened with view(-1) first.تعمل kthvalue على مصفوفة أحادية البعد، ولهذا تُسطَّح الأهمية أولًا باستخدام view(-1).
• The mask uses a strict >, so the $k$-th weight itself is pruned and exactly $k$ weights become zero when there are no ties.يستخدم القناع مقارنة صارمة >، لذلك يُقلَّم الوزن رقم $k$ نفسه، ويصبح بالضبط $k$ وزنًا صفرًا عندما لا توجد قيم متساوية.
• On the 5 x 5 test tensor at target sparsity 0.75, 19 of 25 weights are zeroed. The test prints a sparsity of 0.76 because 19/25 = 0.76, and passes.على مصفوفة الاختبار 5 x 5 وبتناثر مستهدف 0.75، يُصفَّر 19 وزنًا من أصل 25. يطبع الاختبار تناثرًا قدره 0.76 لأن 19/25 = 0.76، وينجح.

Q3: hitting 10 nonzerosس3: الوصول إلى 10 قيم غير صفرية

Q4: the sensitivity scanس4: مسح الحساسية (sensitivity scan)

The scan prunes one layer at a time at sparsities 0.4 to 0.9, keeps every other layer dense, and measures test accuracy. The dense model scores 92.95%. Values under the plotted lower bound of 89.42% are in bold.

يقلّم المسح طبقة واحدة في كل مرة بنسب تناثر من 0.4 إلى 0.9، ويُبقي باقي الطبقات كثيفة، ويقيس دقة الاختبار. النموذج الكثيف يحقق 92.95%. القيم الأقل من الحد الأدنى المرسوم 89.42% مكتوبة بخط عريض.

Q5: per-layer sparsity and finetuningس5: التناثر (sparsity) لكل طبقة والضبط الدقيق (finetuning)

The goal is at most 25% of the dense size and more than 92.5% accuracy after five epochs of finetuning. Two facts set the ratios: the scan says how much each layer tolerates, and the parameter count says where the size is. conv4 to conv7 hold about 90% of the weights and tolerate pruning well, so they take the high ratios. conv0 is fragile but tiny, so pruning it lightly costs almost nothing in size.

الهدف حجم لا يتجاوز 25% من حجم النموذج الكثيف، ودقة أعلى من 92.5% بعد خمس حقب من إعادة التدريب الدقيق. حقيقتان تحددان النسب: المسح يبيّن كم تتحمل كل طبقة، وعدد المعاملات يبيّن أين يتركز الحجم. الطبقات من conv4 إلى conv7 تحمل نحو 90% من الأوزان وتتحمل التقليم جيدًا، لذلك تأخذ النسب العالية. أما conv0 فهشة لكنها صغيرة جدًا، فتقليمها بخفة لا يكلف شيئًا يُذكر من الحجم.

sparsity_dict = {
    'backbone.conv0.weight': 0.4,
    'backbone.conv1.weight': 0.5,
    'backbone.conv2.weight': 0.6,
    'backbone.conv3.weight': 0.6,
    'backbone.conv4.weight': 0.7,
    'backbone.conv5.weight': 0.8,
    'backbone.conv6.weight': 0.85,
    'backbone.conv7.weight': 0.85,
    'classifier.weight': 0.7,
}

Q6: removing channelsس6: حذف القنوات

With a ratio of 0.3, each of the seven boundaries between the eight convs keeps $\operatorname{round}(0.7 \cdot C)$ channels. The loop already trims the output side of the previous conv and its BatchNorm. The missing line trims the matching input side of the next conv, which is dimension 1 of its weight.

بنسبة تقليم 0.3، تُبقي كل حدّ من الحدود السبعة بين طبقات الالتفاف conv الثماني $\operatorname{round}(0.7 \cdot C)$ قناة. الحلقة تقص أصلًا جانب المخرجات في طبقة conv السابقة وفي BatchNorm التابعة لها. والسطر الناقص يقص جانب المدخلات المقابل في طبقة conv التالية، وهو البعد 1 من مصفوفة أوزانها.

def get_num_channels_to_keep(channels: int, prune_ratio: float) -> int:
    return int(round(channels * (1. - prune_ratio)))

next_conv.weight.set_(next_conv.weight.detach()[:, :n_keep])

The pruned model has 305,388,064 MACs, exactly the value the notebook checks for.

النموذج المقلَّم فيه 305,388,064 عملية MAC، وهي بالضبط القيمة التي يتحقق منها الـ notebook.

Q7: keeping the important channelsس7: الإبقاء على القنوات المهمة

Keeping the first $k$ channels is arbitrary. Sorting ranks each channel by the Frobenius norm of the next conv's weights that read it, then reorders the previous conv's outputs, its BatchNorm, and the next conv's inputs with the same permutation. The function the network computes does not change, so the sorted dense model still scores 92.95%. The check passes.

إبقاء أول $k$ قناة اختيار اعتباطي. أما الترتيب فيرتّب كل قناة حسب معيار فروبينيوس Frobenius norm لأوزان طبقة conv التالية التي تقرأ هذه القناة، ثم يعيد ترتيب مخرجات طبقة conv السابقة وBatchNorm التابعة لها ومدخلات طبقة conv التالية بالتبديل نفسه. الدالة التي تحسبها الشبكة لا تتغير، لذلك يبقى النموذج الكثيف بعد الترتيب على دقة 92.95%، وينجح التحقق.

importance = torch.norm(channel_weight)

next_conv.weight.copy_(torch.index_select(next_conv.weight.detach(), 1, sort_idx))

Sorting lifts the accuracy right after pruning from 28.14% to 36.81%, and five epochs of finetuning bring it to 92.30%. This matches the lecture's point on fine-tuning after pruning: coarse pruning costs a lot at first and needs retraining to recover.

يرفع الترتيب الدقة مباشرة بعد التقليم من 28.14% إلى 36.81%، وتوصلها خمس حقب من إعادة التدريب الدقيق إلى 92.30%. وهذا يوافق ما تقوله المحاضرة عن إعادة التدريب الدقيق بعد التقليم: التقليم الخشن مكلف كثيرًا في البداية ويحتاج إلى إعادة تدريب كي يتعافى.

Q8: MACs against latencyس8: عدد MACs مقابل زمن الاستجابة (latency)

A convolution costs $C_{in} \cdot C_{out} \cdot K^2 \cdot H_{out} \cdot W_{out}$ MACs. Pruning30% of the channels shrinks both $C_{in}$ and $C_{out}$ of every inner conv to 0.7x, so its cost scales by $0.7^2 = 0.49$, about half.

تكلفة طبقة الالتفاف هي $C_{in} \cdot C_{out} \cdot K^2 \cdot H_{out} \cdot W_{out}$ عملية MAC. تقليم 30% من القنوات يقلّص كلًا من $C_{in}$ و$C_{out}$ في كل طبقة conv داخلية إلى 0.7x، فتتغير تكلفتها بمعامل $0.7^2 = 0.49$، أي النصف تقريبًا.