Reference sheetالورقة المرجعية

Definitions worth memorizingتعريفات تستحق الحفظ

Tokenالوحدة

One occurrence in running text; the total is N.ظهور واحد في النص المتصل، ومجموعها N.

Typeالنوع

A distinct vocabulary item; the total is |V|, the vocabulary size.عنصر مفردات مميز، ومجموعها |V|، أي حجم المفردات.

Lemmaالصيغة المعجمية

The dictionary form shared by a word family: walk, walks, walked, walking.صيغة القاموس المشتركة بين أفراد عائلة كلمات واحدة: walk, walks, walked, walking.

Hapax legomenonالكلمة الفريدة

A type seen exactly once; about half the types of a natural corpus.نوع يظهر مرة واحدة بالضبط (hapax legomenon)، ويشكل نحو نصف أنواع أي مدوّنة طبيعية.

Out of vocabularyخارج المفردات

A test-time token absent from V; unavoidable at the word level.وحدة تظهر وقت الاختبار وليست في V، وهذا لا مفر منه على مستوى الكلمة.

Type to token ratioنسبة الأنواع إلى الوحدات

|V| / N, which falls as N grows.|V| / N، وتنخفض كلما زاد N.

Sample numbers worth quotingأرقام من العينة تستحق الاستشهاد بها

Tom Sawyer

71,370 tokens and 8,018 types.71,370 وحدة و8,018 نوعًا.

Top typeالنوع الأعلى

the at 3,332, then and at 2,972, then a at 1,775.the بتكرار 3,332، ثم and بتكرار 2,972، ثم a بتكرار 1,775.

Zipf checkالتحقق من Zipf

The product of frequency and rank holds near 8,000 to 10,000 over the top ranks.يبقى حاصل ضرب التكرار في الرتبة قريبًا من 8,000 إلى 10,000 عبر الرتب العليا.

Printed slipخطأ مطبعي

Manning and Schütze print 5,235 for a at rank 3; the arithmetic gives 1,775 x 3 = 5,325.يطبع Manning وSchütze القيمة 5,235 لـ a في الرتبة 3، بينما يعطي الحساب 1,775 x 3 = 5,325.

Coverageالتغطية

The top 100 types are 50.9% of all tokens.أعلى 100 نوع تمثل 50.9% من كل الوحدات.

Tailالذيل

The frequency staircase collapses at f = 3, 2, 1, where thousands of types tie.ينهار درج التكرارات عند f = 3, 2, 1، حيث تتعادل آلاف الأنواع.

Hapax shareنسبة الكلمات الفريدة

49.8% of Tom Sawyer types occur once.49.8% من أنواع Tom Sawyer تظهر مرة واحدة.

Arabic root and patternالجذر والوزن في العربية

Rootالجذر

K-T-B

kataba

Pattern CaCaCa, he wrote.الوزن CaCaCa، كَتَبَ.

kitāb

Pattern CiCāC, book.الوزن CiCāC، كِتاب.

kātib

Pattern CāCiC, writer.الوزن CāCiC، كاتِب.

yaktubu

Prefix ya- around CCuC plus suffix -u, he writes.البادئة ya- حول CCuC مع اللاحقة -u، يَكتُبُ.

Non-concatenativeالصرف غير التسلسلي

Ablaut and suppletion: sing, sang, sung; go, went; good, better.التبدل الصوتي الداخلي (ablaut) والإبدال الكامل (suppletion): sing, sang, sung، وgo, went، وgood, better.

Why morphology decides tokenizer policyلماذا يحدد الصرف سياسة المقطِّع

Nunavut Hansard

10,869,995 Inuktitut tokens give 1,563,883 types, TTR 0.144.10,869,995 وحدة بلغة الإنوكتيتوت تعطي 1,563,883 نوعًا، وTTR تساوي 0.144.

English at the same scaleالإنجليزية بالحجم نفسه

20,367,595 tokens give 59,234 types, TTR 0.003, about 26x fewer types.20,367,595 وحدة تعطي 59,234 نوعًا، وTTR تساوي 0.003، أي أنواع أقل بنحو 26x.

OOVخارج المفردات

A 1.3 million word vocabulary still leaves more than 60% of tokens unknown on a hard language pair (Gupta and Boulianne 2020).حتى مفردات من 1.3 مليون كلمة تترك أكثر من 60% من الوحدات مجهولة في زوج لغوي صعب (Gupta and Boulianne 2020).

Arabic verbsالأفعال العربية

Upwards of 5,400 forms per Modern Standard Arabic verb (Obeid et al.).أكثر من 5,400 صيغة لكل فعل في العربية الفصحى المعاصرة (Obeid et al.).

Three responsesثلاث استجابات

Subword tokenization (BPE, WordPiece), morphological segmentation (MADAMIRA, CAMeL Tools), careful preprocessing.التقطيع إلى وحدات جزئية (BPE، WordPiece)، والتقطيع الصرفي (MADAMIRA، CAMeL Tools)، والمعالجة المسبقة المتأنية.

Trainer and encoder procedureإجراء المدرِّب والمرمِّز

1. Initialize1. التهيئة

Split every word into characters plus the space marker, then count.قسّم كل كلمة إلى حروف مع علامة المسافة، ثم احسب التكرارات.

2. Count pairs2. عدّ الأزواج

Count every adjacent symbol pair across the corpus.عُدّ كل زوج رموز متجاورين في المدوّنة كلها.

3. Merge3. الدمج

Take the most frequent pair, replace it with a new symbol, record the rule.خذ الزوج الأكثر تكرارًا، واستبدله برمز جديد، وسجّل القاعدة.

4. Repeat4. التكرار

Run k merges; the recorded rules are the tokenizer.نفّذ k عمليات دمج، والقواعد المسجلة هي المقطِّع.

5. Encode5. الترميز

encode(w) = m_k( ... m_1(chars(w))), replaying the merges in order.encode(w) = m_k( ... m_1(chars(w)))، بإعادة تطبيق عمليات الدمج بالترتيب.

Space markerعلامة المسافة

Leading _ (GPT-2 Ġ, SentencePiece ▁ U+2581) or a trailing suffix.علامة _ في البداية (Ġ في GPT-2، و▁ U+2581 في SentencePiece) أو لاحقة في النهاية.

Worked replayإعادة تطبيق محلولة

_renewed encodes as _re new e d.تُرمَّز _renewed إلى _re new e d.

Tie ruleقاعدة كسر التعادل

First seen, alphabetical, lexicographically largest (subword-nmt) or highest token id; the rule is an implementation choice.الأسبق ظهورًا، أو الترتيب الأبجدي، أو الأكبر معجميًا (subword-nmt)، أو أعلى معرّف وحدة (token id)، فالقاعدة اختيار يعود إلى التطبيق.

Vocabulary sizes to knowأحجام مفردات يجب معرفتها

GPT-2

50,257

BERT base (WordPiece)

30,522

Llama 3

128 K

GPT-4o (o200k)

200 K

Special tokenالوحدة الخاصة

<|endoftext|> sits at id 50256 in GPT-2.<|endoftext|> تقع عند المعرّف 50256 في GPT-2.

One passage, four sentencesمقطع واحد وأربع جمل

Passageالمقطع

Dr. Ahmad arrived at 5 p.m. on Monday. He paid 3.50 riyals. Was it enough? Yes!

Sentencesالجمل

4

Trapsالفخاخ

Dr. and p.m. hold periods; 5 and 3.50 hold periods with digits on both sides.Dr. وp.m. تحملان نقاطًا، و5 و3.50 تحملان نقاطًا تحيط بها أرقام على الجانبين.

Operator details worth memorizingتفاصيل المعاملات التي تستحق الحفظ

The caretعلامة ^

Anchor outside brackets, negation only as the first character inside brackets, literal elsewhere inside.مرساة خارج الأقواس المربعة، ونفي فقط عندما تكون الحرف الأول داخلها، وحرف عادي في أي موضع آخر داخلها.

{m,}

At least m; JavaScript needs {0,n} for the at-most form.على الأقل m، وتحتاج JavaScript إلى {0,n} لصيغة "على الأكثر".

Escapeالهروب

Fourteen metacharacters take a backslash: dot, caret, dollar, star, plus, question mark, the two parentheses, the two brackets, the two braces, the pipe and the backslash itself.أربعة عشر حرفًا خاصًا (metacharacters) تحتاج شرطة مائلة عكسية: النقطة، وعلامة ^، وعلامة الدولار، والنجمة، وعلامة الجمع، وعلامة الاستفهام، والقوسان الهلاليان، والقوسان المربعان، والقوسان المعقوفان، والخط العمودي، والشرطة المائلة العكسية نفسها.

Lookaroundالنظر حول الموضع

(?=...) and (?<=...) assert forward and behind without consuming.(?=...) و(?<=...) تتحققان للأمام وللخلف دون استهلاك أي حرف.

Disjunctionالاختيار

cat|dogs matches cat, dogs and the cat inside cats; parenthesize to group.cat|dogs تطابق cat وdogs وcat داخل cats، واستخدم الأقواس للتجميع.

Flagsالأعلام

g all matches, m multiline anchors, i case-insensitive.g كل المطابقات، وm مراسٍ متعددة الأسطر، وi عدم التمييز بين حالة الأحرف.

Worked numbersأرقام محلولة

Slide 82 alignmentمحاذاة الشريحة 82

d s s _ i s: delete, two substitutions, match, insertion, substitution.d s s _ i s: حذف، واستبدالان، وتطابق، وإدراج، واستبدال.

Slide 82 totalsمجموعا الشريحة 82

5 under unit cost, 8 under cost 2.5 بالتكلفة الموحدة، و8 بالتكلفة 2.

Position by positionموضعًا بموضع

Five substitutions, 5 under unit cost and 10 under cost 2.خمسة استبدالات، أي 5 بالتكلفة الموحدة و10 بالتكلفة 2.

Step 1الخطوة 1

Cost 2 gives D[1,1] = 2 on the slide; under slide 86 unit cost it would be 1.التكلفة 2 تعطي D[1,1] = 2 في الشريحة، وبالتكلفة الموحدة للشريحة 86 تكون 1.

Alignment countعدد المحاذاات

Cost 2 admits 134 optimal alignments, unit cost only 7.التكلفة 2 تسمح بـ 134 محاذاة مثلى، والتكلفة الموحدة بـ 7 فقط.

Erickson to ALTRUISTICمن Erickson إلى ALTRUISTIC

Exactly 3 optimal paths.3 مسارات مثلى بالضبط.

Hamming versus editHamming مقابل مسافة التحرير

flaw to lawn is Hamming 4 but edit 2.من flaw إلى lawn مسافة Hamming تساوي 4 لكن مسافة التحرير 2.

CallHome WERWER في CallHome

6 substitutions, 3 insertions and 1 deletion over 13 reference words give WER 76.9%.6 استبدالات و3 إدراجات وحذف واحد (1) على 13 كلمة مرجعية تعطي WER يساوي 76.9%.

Backtrace on intention to execution, cost 2التتبع العكسي من intention إلى execution بالتكلفة 2

Bottom rightالخلية السفلية اليمنى

D[m,n] = 8.

Matchesالتطابقات

Five on the diagonal, each cost 0: e, t, i, o, n.خمسة على القطر، كل منها بتكلفة 0: e، t، i، o، n.

Substitutionsالاستبدالات

n to u, t to x, n to e, each cost 2.n إلى u، وt إلى x، وn إلى e، كل منها بتكلفة 2.

Deletionالحذف

i at the left edge of the source, cost 1.i عند الطرف الأيسر من المصدر، بتكلفة 1.

Insertionالإدراج

c inserted into the target, cost 1.c مُدرجة في الهدف، بتكلفة 1.

Evidence for edit distance in spelling correctionأدلة على مسافة التحرير في تصحيح الإملاء

Damerau 1964

A single wrong, missing, extra or transposed letter accounts for about 80% of spelling errors.حرف واحد خاطئ أو ناقص أو زائد أو مبدَّل الموضع يفسر نحو 80% من الأخطاء الإملائية.

Kernighan, Church and Gale

On 44 million words of 1988 AP newswire, automatic correction agreed with human judges on 87% of 329 sampled cases.على 44 مليون كلمة من أخبار AP لعام 1988، اتفق التصحيح الآلي مع المحكّمين البشريين في 87% من 329 حالة في العينة.

What the slides get wrongما تخطئ فيه الشرائح

Slide 12الشريحة 12

The second dashed-line legend reads "standard zipfian distribution dotted english un", truncated; it should read English Wikipedia, and that fit belongs to the blue English curve.عنوان المفتاح الثاني للخط المتقطع يقرأ "standard zipfian distribution dotted english un" وهو مقطوع، وصحته English Wikipedia، وتلك المطابقة تخص المنحنى الإنجليزي الأزرق.

Slide 14الشريحة 14

The Heaps fit is extrapolated to 1.2 x 10^19, far past the data, and the curves do not reproduce from the legend constants.مطابقة Heaps ممدودة إلى 1.2 x 10^19، أبعد بكثير من البيانات، والمنحنيات لا يمكن إعادة إنتاجها من الثوابت المذكورة في المفتاح.

Slide 33الشريحة 33

The caption promises a binary column that is absent, "for letters" is wrong (the template holds any code point), and hex 5D is displayed as [ where it should be ].يعِد التعليق بعمود ثنائي غير موجود، وعبارة "for letters" خاطئة (القالب يصلح لأي نقطة رمزية)، والقيمة الست عشرية 5D معروضة على أنها [ وصحتها ].

Slide 43الشريحة 43

The caption says toy-corpus step-by-step, but the figure is the SLP3 Fig. 2.6 pseudocode; the toy trace is slides 44 to 47.يقول التعليق إنه شرح خطوة بخطوة على المدوّنة المصغرة، لكن الشكل هو الشيفرة الزائفة (pseudocode) في SLP3 Fig. 2.6، أما تتبع المدوّنة المصغرة ففي الشرائح 44 إلى 47.

Slide 44الشريحة 44

The bullet says "with end-of-word marker or space markers", but the tables on slides 44 to 47 use the leading space marker only. Follow the tables.تقول النقطة "with end-of-word marker or space markers"، لكن الجداول في الشرائح 44 إلى 47 تستخدم علامة المسافة البادئة فقط. اتبع الجداول.

Slide 56الشريحة 56

The ELIZA script line reads "WHO ELSE IN YOU FAMILY"; the source line is "WHO ELSE IN YOUR FAMILY".سطر سكربت ELIZA يقرأ "WHO ELSE IN YOU FAMILY"، والسطر في المصدر هو "WHO ELSE IN YOUR FAMILY".

Slide 61الشريحة 61

The a^b example inherited from SLP3 Fig. 2.10 does not hold in modern engines; write a\^b, which matches the span (8, 11).مثال a^b الموروث من SLP3 Fig. 2.10 لا يصح في المحركات الحديثة، فاكتب a\^b الذي يطابق المدى (8, 11).

Slide 72الشريحة 72

2026-25-01 is not valid ISO 8601 (month 25), and <\End> uses a backslash where HTML closes a tag with a slash.2026-25-01 ليس تاريخًا صالحًا وفق ISO 8601 (الشهر 25)، و<\End> يستخدم شرطة مائلة عكسية حيث يغلق HTML الوسم بشرطة مائلة عادية.

Slide 85 and 88الشريحتان 85 و88

Slide 85 writes source x length m and target y length n; the slide 88 pseudocode and slide 90 backtrace index rows n and columns m. Fix one convention and keep the answer cell consistent.تكتب الشريحة 85 المصدر x بطول m والهدف y بطول n، بينما تفهرس الشيفرة الزائفة في الشريحة 88 والتتبع العكسي في الشريحة 90 الصفوف بـ n والأعمدة بـ m. ثبّت اصطلاحًا واحدًا وأبقِ خلية الإجابة متسقة معه.

Slide 89الشريحة 89

The table charges substitution 2, following SLP3 Fig. 2.20, while slide 86 defines substitution cost 1; under slide 86 D[1,1] = 1 and the bottom right is 5, not 8.يحتسب الجدول الاستبدال بتكلفة 2 متبعًا SLP3 Fig. 2.20، بينما تعرّف الشريحة 86 تكلفة الاستبدال بـ 1. ووفق الشريحة 86 تكون D[1,1] = 1 والخلية السفلية اليمنى 5 وليست 8.