Glossaryالمصطلحات

Internal vowel change as a grammatical mark, as in sing, sang, sung and the noun song: the English strong-verb pattern, inherited from Proto-Indo-European, and a non-concatenative process with no segment to cut off.تغيّر حركة داخلي يُستخدم علامةً نحوية، كما في sing وsang وsung والاسم song: وهو نمط الأفعال القوية (strong verbs) في الإنجليزية، الموروث من اللغة الهندوأوروبية الأم (Proto-Indo-European)، وهو عملية غير تسلسلية ليس فيها مقطع يمكن قطعه.

• Slide 21الشريحة 21

A bound morpheme attached to a host: a prefix such as un-, a suffix such as -ed, or the rarer infix and circumfix. Affixes show high selectivity and belong to morphological paradigms.اللاصقة: morpheme مقيد يلتصق بمضيف (host): سابقة (prefix) مثل un-، أو لاحقة (suffix) مثل -ed، أو الأندر منهما الداخلة (infix) والمحيطة (circumfix). اللواصق انتقائية جدًا (high selectivity) وتنتمي إلى جداول تصريفية (paradigms) صرفية.

• Slide 18الشريحة 18
• Slide 19الشريحة 19
• Slide 23الشريحة 23

A language that stacks many affixes, each with one clear function, such as Turkish ev-ler-im-den, from my houses.اللغة الإلصاقية: لغة تُراكم لواصق كثيرة، لكل منها وظيفة واحدة واضحة، مثل التركية ev-ler-im-den، أي من بيوتي (from my houses).

• Slide 24الشريحة 24
• Slide 25الشريحة 25

A correspondence between two strings that makes explicit which characters match, substitute, insert or delete, recovered from the DP table with backpointers.المحاذاة: تقابل بين نصين يوضح أي المحارف تتطابق وأيها يُستبدل أو يُدرج أو يُحذف، ويُستخرج من جدول البرمجة الديناميكية (DP) باستخدام الـ backpointers.

• Slide 81الشريحة 81
• Slide 82الشريحة 82
• Slide 87الشريحة 87
• Slide 90الشريحة 90

A language toward the low end of morphemes per word that relies on syntax, auxiliaries and word order; English is largely analytic.اللغة التحليلية: لغة تقع قرب الطرف الأدنى في عدد الـ morphemes لكل كلمة، وتعتمد على النحو والأفعال المساعدة وترتيب الكلمات؛ والإنجليزية تحليلية في معظمها.

• Slide 26الشريحة 26
• Slide 27الشريحة 27

A zero-width assertion on position: ^ start of line or string, $ end, \b a word boundary between a word and non-word character.المرتكز: تأكيد صفري العرض (zero-width assertion) على الموضع: ^ بداية السطر أو النص، و$ نهايته، و\b حد كلمة بين محرف كلمة ومحرف ليس من الكلمة.

• Slide 64الشريحة 64
• Slide 74الشريحة 74

The 7-bit character code covering U+0000 to U+007F, in which A is hex 41 (decimal 65) and a is hex 61 (decimal 97). UTF-8 encodes these code points in one byte, unchanged.ترميز المحارف ذو 7 بتات الذي يغطي U+0000 إلى U+007F، وفيه A تساوي 41 ست عشريًا (65 عشريًا)، وa تساوي 61 ست عشريًا (97 عشريًا). ويرمّز UTF-8 هذه الـ code points في بايت واحد دون تغيير.

• Slide 33الشريحة 33
• Slide 35الشريحة 35

The argmin arrow stored in each DP cell recording which neighbor (up for deletion, left for insertion, diagonal for substitution or match) produced its value; following them from the bottom-right cell, D[n,m] in the pseudocode, back to D[0,0] is the backtrace.المؤشر الخلفي: سهم الـ argmin المخزّن في كل خلية من جدول DP، ويسجل أي جار أنتج قيمتها (الأعلى للحذف، واليسار للإدراج، والقطري للاستبدال أو التطابق)؛ واتباع هذه الأسهم من الخلية السفلية اليمنى، أي D[n,m] في الشيفرة الزائفة (pseudocode)، رجوعًا إلى D[0,0] هو الـ backtrace.

• Slide 90الشريحة 90
• Slide 91الشريحة 91

A reference to the text a capture group matched earlier: \1 inside the pattern, so (\w+) \1 finds a doubled word, or \1 and $1 in a replacement, so (\d{4})-(\d{2})-(\d{2}) with \3/\2/\1 turns 2026-01-25 into 25/01/2026.المرجع الخلفي: إشارة إلى النص الذي طابقته مجموعة التقاط سابقًا: \1 داخل النمط، فيجد (\w+) \1 كلمة مكررة، أو \1 و$1 في الاستبدال، فيحوّل (\d{4})-(\d{2})-(\d{2}) مع \3/\2/\1 التاريخ 2026-01-25 إلى 25/01/2026.

• Slide 70الشريحة 70
• Slide 72الشريحة 72

Following the stored backpointers from the final cell back to D[0,0] to recover one minimum-cost alignment. Every step decreases i, j or both, so it takes O(n + m) steps; each choice at a tie cell yields a different optimal alignment of the same cost.التتبع الخلفي: اتباع الـ backpointers المخزّنة من الخلية الأخيرة رجوعًا إلى D[0,0] لاستخراج محاذاة واحدة ذات كلفة دنيا. كل خطوة تُنقص i أو j أو كليهما، فيستغرق O(n + m) خطوة؛ وكل اختيار مختلف عند خلية فيها تعادل (tie) ينتج محاذاة مثلى مختلفة بالكلفة نفسها.

• Slide 90الشريحة 90
• Slide 91الشريحة 91

Treating the UTF-8 bytes of text as the base symbols, so any script, emoji or typo can be represented with no unknown character, at the cost of less interpretable tokens.الـ tokenization على مستوى البايت: معاملة بايتات UTF-8 للنص على أنها الرموز الأساسية، فيمكن تمثيل أي نظام كتابة أو emoji أو خطأ إملائي دون أي محرف مجهول، على حساب tokens أقل قابلية للتفسير.

• Slide 37الشريحة 37
• Slide 50الشريحة 50

A subword tokenizer with a trainer that starts from characters or bytes and repeatedly merges the most frequent adjacent pair for k steps, and an encoder that replays the learned merges in order on new text.subword tokenizer له مدرِّب (trainer) يبدأ من المحارف أو البايتات ويدمج مرارًا الزوج المتجاور الأكثر تكرارًا لعدد k من الخطوات، ومُرمِّز (encoder) يعيد تطبيق الـ merges المتعلَّمة بالترتيب نفسه على النص الجديد.

• Slide 42الشريحة 42
• Slide 43الشريحة 43
• Slide 44الشريحة 44
• Slide 45الشريحة 45
• Slide 46الشريحة 46
• Slide 47الشريحة 47
• Slide 48الشريحة 48

Unicode's declaration that two code point sequences are the same character, such as precomposed e-acute U+00E9 and e plus combining acute U+0065 U+0301. NFC and NFD fold canonical variants; the weaker compatibility equivalence (ligature U+FEFB to lam plus alef) is folded only by NFKC and NFKD.التكافؤ القانوني: إعلان Unicode أن تسلسلين من الـ code points هما المحرف نفسه، مثل e-acute المركّب مسبقًا U+00E9، وe متبوعة بعلامة acute المركّبة U+0065 U+0301. يوحّد NFC وNFD المتغيرات القانونية؛ أما التكافؤ الأضعف المسمى compatibility equivalence (مثل الرباط U+FEFB إلى لام زائد ألف) فلا يوحّده إلا NFKC وNFKD.

• Slide 34الشريحة 34

A parenthesized part of a pattern whose matched text is stored and can be reused as a backreference such as \1 in the pattern or $1 in a replacement; (?:...) groups without capturing.مجموعة الالتقاط: جزء من النمط بين قوسين يُخزَّن النص الذي طابقه ويمكن إعادة استخدامه كمرجع خلفي (backreference) مثل \1 داخل النمط أو $1 في الاستبدال؛ أما (?:...) فتجمّع دون التقاط.

• Slide 68الشريحة 68
• Slide 70الشريحة 70
• Slide 74الشريحة 74

Mapping all letters to one case, usually lowercase, so that Apple and apple become the same type.توحيد حالة الأحرف: تحويل كل الأحرف إلى حالة واحدة، عادةً الصغيرة (lowercase)، بحيث يصبح Apple وapple الـ type نفسه.

• Slide 9الشريحة 9
• Slide 53الشريحة 53

Exponential running time of a backtracking regex engine on patterns with nested or ambiguous quantifiers such as (a+)+ applied to a long non-matching input.التراجع الكارثي: زمن تشغيل أُسّي لمحرك regex يعمل بالتراجع (backtracking) على أنماط فيها مُكمِّمات متداخلة أو ملتبسة مثل (a+)+ عند تطبيقها على مدخل طويل لا يطابق.

• Slide 78الشريحة 78

A bracket expression such as [mM], [a-z] or [^0-9] that matches any one of a set of characters; a leading caret negates the set.فئة المحارف: تعبير بين قوسين مربعين مثل [mM] أو [a-z] أو [^0-9] يطابق أي محرف واحد من مجموعة محارف؛ والعلامة ^ في البداية تنفي المجموعة.

• Slide 59الشريحة 59
• Slide 60الشريحة 60
• Slide 61الشريحة 61
• Slide 65الشريحة 65

An element that behaves like a word syntactically but attaches phonologically to a host, showing low selectivity; examples are English 's and 'm, French l', Arabic proclitics wa- and bi- and the enclitic pronoun -hu.عنصر يتصرف نحويًا ككلمة لكنه يلتصق صوتيًا بمضيف (host)، وانتقائيته منخفضة (low selectivity)؛ ومن أمثلته 's و'm في الإنجليزية، وl' في الفرنسية، والسوابق العربية wa- (وَ) وbi- (بِ)، والضمير المتصل -hu (ـهُ).

• Slide 10الشريحة 10
• Slide 22الشريحة 22
• Slide 23الشريحة 23
• Slide 26الشريحة 26

The abstract numeric identifier Unicode assigns to a character, written U+ followed by hex digits, such as U+0061 for a.نقطة الترميز: المعرّف الرقمي المجرد الذي يعطيه Unicode لكل محرف، ويُكتب U+ متبوعًا بأرقام ست عشرية (hex)، مثل U+0061 للحرف a.

• Slide 32الشريحة 32
• Slide 34الشريحة 34
• Slide 36الشريحة 36

Mixing two or more languages or varieties within one utterance or text, such as Arabic and English in the same tweet. It adds foreign types to a corpus and is one of the dimensions along which corpora vary.التبديل اللغوي: خلط لغتين أو أكثر، أو لهجتين أو أكثر، داخل قول أو نص واحد، مثل العربية والإنجليزية في التغريدة نفسها. يضيف types أجنبية إلى المدونة، وهو أحد الأبعاد التي تختلف فيها المدونات.

• Slide 8الشريحة 8
• Slide 29الشريحة 29

Building the meaning of a token sequence from the meanings of its reusable parts. If way is one token wherever it appears, the model reuses what it learned about way; a single Milky Way token removes that shared part, and its meaning must be learned from scratch.التركيبية: بناء معنى تسلسل من الـ tokens من معاني أجزائه القابلة لإعادة الاستخدام. إذا كانت way هي token واحدًا أينما ظهرت، أعاد النموذج استخدام ما تعلّمه عن way؛ أما token واحد لـ Milky Way فيزيل هذا الجزء المشترك، ويجب تعلّم معناه من الصفر.

• Slide 52الشريحة 52

Word formation that joins two free roots into one word without any affix, as in snow-man and lap-top. It is concatenative and, with derivation, the most productive part of English morphology.التركيب: تكوين كلمة بضم جذرين حرّين في كلمة واحدة دون أي لاصقة، كما في snow-man وlap-top. وهو عملية تسلسلية (concatenative)، وهو مع الاشتقاق أكثر أجزاء الصرف الإنجليزي إنتاجية.

• Slide 18الشريحة 18
• Slide 26الشريحة 26

Word formation by attaching segments in sequence: prefixes, suffixes and compounding, as in cat-s or Turkish ev-ler-im-den.الصرف التسلسلي: تكوين الكلمات بإلصاق مقاطع متتابعة: سوابق ولواحق وتركيب، كما في cat-s، أو التركية ev-ler-im-den.

• Slide 21الشريحة 21

Derivation that changes part of speech without adding any morpheme, as in the noun email becoming the verb to email.التحويل (الاشتقاق الصفري): اشتقاق يغيّر قسم الكلام دون إضافة أي morpheme، كما في الاسم email الذي يصبح الفعل to email.

• Slide 20الشريحة 20

A structured collection of texts, often annotated, that varies by domain, genre, time, demographics and language variety.مجموعة منظمة من النصوص، كثيرًا ما تكون موسومة (annotated)، وتختلف حسب المجال والنوع الأدبي والزمن والخصائص الديموغرافية والتنوع اللغوي.

• Slide 6الشريحة 6
• Slide 29الشريحة 29

Edit distance extended with a fourth operation, transposition of two adjacent characters.مسافة تحرير موسّعة بعملية رابعة هي التبديل (transposition) بين محرفين متجاورين.

• Slide 86الشريحة 86

Structured documentation accompanying a dataset: motivation and intended use, composition, collection process, preprocessing and annotation, ethical considerations and distribution constraints.بيان البيانات (datasheet): توثيق منظم يرافق مجموعة البيانات: الدافع والاستخدام المقصود، والمكونات، وعملية الجمع، والمعالجة المسبقة والوسم (annotation)، والاعتبارات الأخلاقية، وقيود التوزيع.

• Slide 30الشريحة 30
• Slide 31الشريحة 31

A morphological process that creates a new lexeme, often changing part of speech, as in happy to happiness or kitab versus katib.الاشتقاق: عملية صرفية تنشئ lexeme جديدًا، وكثيرًا ما تغيّر قسم الكلام (part of speech)، كما في happy إلى happiness، أو kitab (كتاب) مقابل katib (كاتب).

• Slide 20الشريحة 20

A filled pause such as uh or um, or a word fragment such as main-, in a speech transcript. Whether to keep it is a tokenization decision.توقف مملوء مثل uh أو um، أو جزء كلمة مثل main-، في نص مُفرّغ من الكلام. والإبقاء عليه أو حذفه قرار من قرارات الـ tokenization.

• Slide 4الشريحة 4

Solving a problem by filling a table of overlapping subproblem answers, here D[i,j] for every prefix pair, so the shortest edit path is found in O(mn) instead of exponential search.البرمجة الديناميكية: حل المسألة بملء جدول بإجابات مسائل فرعية متداخلة، وهي هنا D[i,j] لكل زوج من البادئات (prefixes)، فيُعثر على أقصر مسار تحرير في O(mn) بدلًا من بحث أُسّي.

• Slide 83الشريحة 83
• Slide 85الشريحة 85
• Slide 88الشريحة 88
• Slide 92الشريحة 92

D[i,j] = min of D[i-1,j] + del, D[i,j-1] + ins, D[i-1,j-1] + sub(x_i, y_j), with D[0,0] = 0, D[i,0] = i and D[0,j] = j under unit costs.علاقة التكرار لمسافة التحرير: D[i,j] تساوي أصغر القيم D[i-1,j] + del، وD[i,j-1] + ins، وD[i-1,j-1] + sub(x_i, y_j)، مع D[0,0] = 0 وD[i,0] = i وD[0,j] = j في حالة التكاليف الواحدية.

• Slide 85الشريحة 85
• Slide 88الشريحة 88
• Slide 89الشريحة 89

The tendency to unconsciously assume that computer behaviors are analogous to human behaviors, named after Weizenbaum's 1966 pattern-matching chatbot.تأثير Eliza: الميل اللاواعي إلى افتراض أن سلوك الحاسوب يشبه سلوك الإنسان، وسُمّي على اسم روبوت المحادثة القائم على مطابقة الأنماط الذي بناه Weizenbaum عام 1966.

• Slide 56الشريحة 56

A clitic that leans backward onto the preceding word, such as the Arabic pronoun -hu in kitab-u-hu (his book) and kataba-hu (he wrote it), or English 's in the person I was talking to's.clitic يستند إلى الكلمة التي تسبقه، مثل الضمير العربي -hu (ـهُ) في kitab-u-hu (كتابُهُ، his book) وkataba-hu (كتبَهُ، he wrote it)، أو 's الإنجليزية في the person I was talking to's.

• Slide 22الشريحة 22
• Slide 23الشريحة 23

A backslash that strips a metacharacter of its special meaning, as in \. for a literal period or \* for a literal asterisk, or gives a plain letter one, as in \n for a newline and \d for a digit. The metacharacters are . ^ $ * + ? ( ) [ ] { } | and the backslash itself.التهريب: شرطة مائلة عكسية تُجرّد المحرف الخاص (metacharacter) من معناه الخاص، كما في \. لنقطة حرفية أو \* لنجمة حرفية، أو تعطي حرفًا عاديًا معنى خاصًا، كما في \n لسطر جديد و\d لرقم. والمحارف الخاصة هي . ^ $ * + ? ( ) [ ] { } | والشرطة المائلة العكسية نفسها.

• Slide 66الشريحة 66
• Slide 67الشريحة 67

A language whose affixes bundle several grammatical features at once, such as Spanish habl-o where -o carries person, number, tense and mood.اللغة الاندماجية: لغة تحزم لواصقها عدة خصائص نحوية في آن واحد، مثل الإسبانية habl-o حيث تحمل -o الشخص والعدد والزمن والصيغة (mood) معًا.

• Slide 24الشريحة 24
• Slide 25الشريحة 25
• Slide 26الشريحة 26

The rendered visual shape of a character. One glyph can correspond to several code points and vice versa.الشكل المرئي المرسوم للمحرف. قد يقابل glyph واحد عدة code points، والعكس صحيح.

• Slide 32الشريحة 32
• Slide 34الشريحة 34

The default behavior of quantifiers to match as much text as possible, as in .*; the lazy form .*? stops at the first match that lets the rest succeed.المطابقة الجشعة: السلوك الافتراضي للمُكمِّمات بمطابقة أكبر قدر ممكن من النص، كما في .*؛ أما الصيغة الكسولة .*? فتتوقف عند أول مطابقة تسمح لبقية النمط بالنجاح.

• Slide 63الشريحة 63
• Slide 73الشريحة 73

A type that occurs exactly once in a corpus. Hapax legomena form a large fraction of all types, about half under Zipf's law, and draw as the longest bottom step of a log-log rank-frequency plot.type يظهر مرة واحدة بالضبط في المدونة. تشكّل الـ hapax legomena نسبة كبيرة من كل الـ types، نحو النصف وفق قانون Zipf، وتظهر كأطول درجة سفلية في رسم الرتبة والتكرار على محوري log-log.

• Slide 12الشريحة 12
• Slide 16الشريحة 16

Also Herdan's law: the vocabulary size grows sublinearly but without bound with the number of tokens, |V| = k N^beta with 0 < beta < 1.ويسمى أيضًا قانون Herdan: ينمو حجم المفردات نموًا أبطأ من الخطي لكن بلا حد مع عدد الـ tokens، أي |V| = k N^beta حيث 0 < beta < 1.

• Slide 7الشريحة 7
• Slide 13الشريحة 13
• Slide 14الشريحة 14

A 1975 divide-and-conquer recomputation that recovers the full alignment in O(m + n) space and O(mn) time: run the two-row fill forward from the start and backward from the end, find where the optimal path crosses the middle column, then recurse on the two halves.طريقة إعادة حساب بأسلوب فرّق تسد (divide-and-conquer) من عام 1975 تستخرج المحاذاة الكاملة بذاكرة O(m + n) وزمن O(mn): نشغّل الملء بصفّين للأمام من البداية وللخلف من النهاية، ونحدد أين يعبر المسار الأمثل العمود الأوسط، ثم نكرر على النصفين.

• Slide 92الشريحة 92

Greenberg's 1960 ratio of morphemes to words in a sufficiently long text: 1.06 for Vietnamese, 1.68 for English, 2.59 for Sanskrit and 3.72 for Eskimo (Greenlandic). Below about 2 is analytic, 2 to 3 synthetic, above 3 polysynthetic.مؤشر التركيب: نسبة Greenberg (1960) بين عدد الـ morphemes وعدد الكلمات في نص طويل بما يكفي: 1.06 للفيتنامية، و1.68 للإنجليزية، و2.59 للسنسكريتية، و3.72 للإسكيمو (الغرينلاندية). ما دون 2 تقريبًا تحليلية، ومن 2 إلى 3 تركيبية، وما فوق 3 متعددة التركيب.

• Slide 27الشريحة 27

A morphological process that marks grammar such as tense, number, case or agreement without creating a new lexeme, as in walk to walked or katab-tu.التصريف: عملية صرفية تُعلّم خصائص نحوية مثل الزمن أو العدد أو الإعراب (case) أو المطابقة، دون إنشاء lexeme جديد، كما في walk إلى walked، أو katab-tu (كتبتُ).

• Slide 20الشريحة 20

A language with little morphology whose grammar is carried by word order and function words, such as Mandarin Chinese.اللغة العازلة: لغة قليلة الصرف تُحمل قواعدها بترتيب الكلمات والكلمات الوظيفية، مثل الصينية المندرينية (Mandarin Chinese).

• Slide 24الشريحة 24
• Slide 25الشريحة 25

In UTF-8 the first byte of a character announces its length by its run of leading ones (0, 110, 1110 or 11110) and every later byte starts 10 and carries six payload bits. A 10 byte can never start a character, which makes the encoding self-synchronizing.في UTF-8 يعلن البايت الأول من المحرف عن طوله بعدد الآحاد البادئة فيه (0 أو 110 أو 1110 أو 11110)، وكل بايت بعده يبدأ بـ 10 ويحمل ست بتات من الحمولة (payload). ولا يمكن لبايت يبدأ بـ 10 أن يبدأ محرفًا، وهذا ما يجعل الترميز ذاتي التزامن (self-synchronizing).

• Slide 35الشريحة 35
• Slide 36الشريحة 36

The straight line on log-log axes that minimises the squared vertical distance to the data points; its slope estimates the Zipf exponent alpha and its intercept the constant C. A line pinned to f(1) instead shows the same head bend as a bulge above the line.ملاءمة المربعات الصغرى: الخط المستقيم على محوري log-log الذي يقلل مجموع مربعات المسافات الرأسية إلى نقاط البيانات؛ ميله يقدّر أُس Zipf أي alpha، وتقاطعه يقدّر الثابت C. أما الخط المثبّت عند f(1) فيُظهر انحناء الرأس نفسه على شكل انتفاخ فوق الخط.

• Slide 12الشريحة 12

The dictionary form that a set of inflected wordforms shares, so walk, walks, walked and walking are four wordform types but one lemma. Morphology multiplies types per lemma, which is one reason the vocabulary keeps growing.الصيغة المعجمية التي تشترك فيها مجموعة من صيغ الكلمة المصرّفة، فـ walk وwalks وwalked وwalking أربعة types من الصيغ لكنها lemma واحدة. والصرف يضاعف عدد الـ types لكل lemma، وهذا أحد أسباب استمرار نمو المفردات.

• Slide 8الشريحة 8

Minimum edit distance with insertion, deletion and substitution each at cost 1 and a match at cost 0, after Levenshtein's 1966 paper; intention to execution is 5. His variant that allows only insertions and deletions is equivalent to charging 2 per substitution, which gives 8.أقل مسافة تحرير يكون فيها لكل من الإدراج والحذف والاستبدال كلفة 1 وللتطابق كلفة 0، نسبةً إلى ورقة Levenshtein عام 1966؛ والمسافة من intention إلى execution تساوي 5. أما نسخته التي لا تسمح إلا بالإدراج والحذف فتكافئ احتساب 2 لكل استبدال، وتعطي 8.

• Slide 79الشريحة 79
• Slide 80الشريحة 80
• Slide 89الشريحة 89

The abstract dictionary word behind a set of forms. Inflection keeps the lexeme (walk, walked, walks are one entry); derivation creates a new one (happy and happiness are two), with or without adding a morpheme.الكلمة المعجمية المجردة التي تقف خلف مجموعة من الصيغ. التصريف (inflection) يحافظ على الـ lexeme نفسه (walk وwalked وwalks مدخل واحد)؛ أما الاشتقاق (derivation) فينشئ lexeme جديدًا (happy وhappiness اثنان)، سواء أُضيف morpheme أم لا.

• Slide 20الشريحة 20

A zero-width assertion that requires, (?=...), or forbids, (?!...), a pattern after the current position without consuming text, so stacked lookaheads such as ^(?=.*[A-Z])(?=.*\d).{8,}$ can check overlapping rules from the same position.النظر إلى الأمام: تأكيد صفري العرض يشترط (?=...) أو يمنع (?!...) وجود نمط بعد الموضع الحالي دون استهلاك أي نص، لذلك يمكن لعدة lookaheads متراصة مثل ^(?=.*[A-Z])(?=.*\d).{8,}$ أن تتحقق من قواعد متداخلة من الموضع نفسه.

• Slide 71الشريحة 71
• Slide 75الشريحة 75

A zero-width assertion, (?<=...) or (?<!...), that tests the text before the current position without consuming it. Python's re module requires it to be fixed-width; JavaScript since ES2018 and the regex module accept variable-length lookbehind.النظر إلى الخلف: تأكيد صفري العرض، (?<=...) أو (?<!...)، يختبر النص الواقع قبل الموضع الحالي دون استهلاكه. وحدة re في Python تشترط أن يكون ثابت العرض؛ أما JavaScript منذ ES2018 ووحدة regex فتقبلان lookbehind متغير الطول.

• Slide 75الشريحة 75

One BPE training step: the most frequent adjacent pair of tokens tL, tR is concatenated into a new token tNEW, added to the vocabulary, and replaced everywhere in the corpus.الدمج: خطوة تدريب واحدة في BPE: يُضم الزوج المتجاور الأكثر تكرارًا من الـ tokens، أي tL وtR، في token جديد tNEW، ويُضاف إلى المفردات، ويحل محل الزوج في كل مواضعه في المدونة.

• Slide 43الشريحة 43
• Slide 45الشريحة 45
• Slide 46الشريحة 46
• Slide 47الشريحة 47

The minimum total cost of insertions, deletions and substitutions that transform a source string into a target string; with unit costs it is the Levenshtein distance.أقل مسافة تحرير: أقل كلفة إجمالية لعمليات الإدراج (insertion) والحذف (deletion) والاستبدال (substitution) التي تحوّل نصًا مصدرًا إلى نص هدف؛ ومع تكاليف واحدية (unit costs) تكون هي مسافة Levenshtein.

• Slide 79الشريحة 79
• Slide 80الشريحة 80
• Slide 85الشريحة 85

The smallest unit that carries meaning or grammatical function. Morphemes are free when they stand alone and bound when they must attach, as affixes do.أصغر وحدة تحمل معنى أو وظيفة نحوية. تكون الـ morphemes حرة (free) إذا استقلت بنفسها، ومقيدة (bound) إذا وجب أن تلتصق بغيرها، كما هي حال اللواصق (affixes).

• Slide 17الشريحة 17
• Slide 19الشريحة 19
• Slide 27الشريحة 27

A Leipzig-style line under a word with one label per morpheme, hyphens matching the segmentation, such as house-PL-1SG.POSS-ABL for Turkish ev-ler-im-den; a period joins several categories that one morpheme carries at once.سطر على طريقة Leipzig تحت الكلمة، فيه وسم واحد لكل morpheme، والشرطات فيه تطابق التقطيع، مثل house-PL-1SG.POSS-ABL للكلمة التركية ev-ler-im-den؛ وتربط النقطة عدة فئات يحملها morpheme واحد في آن واحد.

• Slide 21الشريحة 21
• Slide 24الشريحة 24

Splitting words at morpheme boundaries with a linguistic analyzer rather than by frequency, as MADAMIRA and CAMeL Tools do for Arabic under the ATB or D3 clitic schemes; used when a task needs the bare lemma.التقطيع الصرفي: تقسيم الكلمات عند حدود الـ morphemes باستخدام محلل لغوي لا على أساس التكرار، كما تفعل MADAMIRA وCAMeL Tools للعربية وفق مخططي فصل الـ clitics المسميين ATB أو D3؛ ويُستخدم حين تحتاج المهمة إلى الـ lemma المجرد.

• Slide 28الشريحة 28

A parenthesized group written (?:...) that scopes an alternation or a quantifier without recording what it matched, so it takes no register number and leaves the numbering of the real capture groups alone.مجموعة غير ملتقِطة: مجموعة بين قوسين تُكتب (?:...) تحدد نطاق تخيير أو مُكمِّم دون تسجيل ما طابقته، فلا تأخذ رقم سجل (register) ولا تغيّر ترقيم مجموعات الالتقاط الحقيقية.

• Slide 68الشريحة 68
• Slide 74الشريحة 74

Word formation by internal change, templatic root-and-pattern combination, or suppletion, as in sing, sang, sung, Arabic kataba, yaktubu, kitab, or go to went.الصرف غير التسلسلي: تكوين الكلمات بالتغيير الداخلي، أو بدمج الجذر مع الوزن (root-and-pattern) على نحو قالبي، أو بالإبدال الكلي (suppletion)، كما في sing وsang وsung، والعربية kataba (كَتَبَ) وyaktubu (يَكْتُبُ) وkitab (كِتاب)، أو go إلى went.

• Slide 21الشريحة 21

The binding order of regex operators: parentheses first, then counters (* + ? {}), then sequences and anchors, and disjunction | last. It is why (cat|dog)s matches cats and dogs while cat|dogs matches cat and dogs.أسبقية العوامل: ترتيب ارتباط عوامل الـ regex: الأقواس أولًا، ثم العدّادات (* + ? {})، ثم التسلسلات والمرتكزات، وأخيرًا التخيير |. ولهذا يطابق (cat|dog)s الكلمتين cats وdogs، بينما يطابق cat|dogs الكلمتين cat وdogs.

• Slide 68الشريحة 68

The property that every prefix of an optimal edit path is itself optimal: if a cheaper route to an intermediate string existed it could be spliced in, contradicting optimality. It licenses a table of prefix pairs (i, j) in place of a search over edit sequences.البنية الفرعية المثلى: خاصية أن كل بادئة من مسار تحرير أمثل هي نفسها مثلى: فلو وُجد طريق أرخص إلى نص وسيط لأمكن وضعه مكانها، وهذا يناقض الأمثلية. وهي التي تسمح باستخدام جدول لأزواج البادئات (i, j) بدلًا من البحث في تسلسلات التحرير.

• Slide 83الشريحة 83
• Slide 87الشريحة 87

A word or token that appears in new text but not in the vocabulary fixed at training time.خارج المفردات: كلمة أو token تظهر في نص جديد لكنها غير موجودة في المفردات التي ثُبّتت وقت التدريب.

• Slide 15الشريحة 15
• Slide 39الشريحة 39
• Slide 40الشريحة 40

Splitting a language's words into many more tokens than a comparable language needs, producing longer sequences. It is what a tokenization premium above 1 measures for a low-resource language under a shared, English-heavy vocabulary.الإفراط في التقطيع: تقسيم كلمات لغة ما إلى tokens أكثر بكثير مما تحتاجه لغة مماثلة، مما ينتج تسلسلات أطول. وهو ما تقيسه علاوة tokenization أكبر من 1 للغة قليلة الموارد في ظل مفردات مشتركة يغلب عليها الإنجليزية.

• Slide 51الشريحة 51

The standard convention for parsed English corpora: separate all punctuation, keep hyphenated words together, and split clitics and possessives, so doesn't becomes does n't and children's becomes children 's.الاصطلاح القياسي لمدونات الإنجليزية المحللة نحويًا: فصل كل علامات الترقيم، وإبقاء الكلمات الموصولة بشرطة معًا، وفصل الـ clitics وأدوات الملكية، فتصبح doesn't هي does n't، وتصبح children's هي children 's.

• Slide 10الشريحة 10

A language whose single words can encode sentence-like content with many morphemes, such as Inuktitut.اللغة متعددة التركيب: لغة يمكن لكلمة واحدة فيها أن تحمل محتوى يعادل جملة كاملة بعدد كبير من الـ morphemes، مثل الإنوكتيتوت (Inuktitut).

• Slide 24الشريحة 24
• Slide 25الشريحة 25
• Slide 27الشريحة 27

A quantifier with an extra plus, such as ++ or *+, that consumes as much as it can and refuses to give characters back to the engine, so it can never participate in the retries behind catastrophic backtracking.المُكمِّم الاستحواذي: مُكمِّم بعلامة + إضافية، مثل ++ أو *+، يستهلك أكبر قدر ممكن ويرفض إعادة أي محارف إلى المحرك، فلا يمكن أبدًا أن يشارك في المحاولات المتكررة التي تسبب التراجع الكارثي.

• Slide 78الشريحة 78

A regex-based first pass that splits text roughly into words, numbers, punctuation, contractions and whitespace before BPE merges run inside each piece.مرحلة أولى مبنية على التعبيرات النمطية (regex) تقسم النص تقريبيًا إلى كلمات وأرقام وعلامات ترقيم واختصارات (contractions) ومسافات، قبل أن تُطبَّق merges الخاصة بـ BPE داخل كل قطعة.

• Slide 49الشريحة 49
• Slide 76الشريحة 76
• Slide 77الشريحة 77

A clitic that leans forward onto the following word, such as the Arabic conjunction wa- and the prepositions bi- and li- written solid onto whatever word begins the phrase.clitic يستند إلى الكلمة التي تليه، مثل حرف العطف العربي wa- (وَ) وحرفي الجر bi- (بِ) وli- (لِ) التي تُكتب متصلة بالكلمة التي تبدأ بها العبارة أيًا كانت.

• Slide 22الشريحة 22
• Slide 23الشريحة 23

Kiss and Strunk's 2006 unsupervised, language-independent sentence boundary detector, the default in NLTK. It finds abbreviations as tight collocations of a truncated word and a period from raw text, plus frequent sentence starters, reaching 98.74 percent mean accuracy over eleven languages.كاشف حدود الجمل غير الموجَّه والمستقل عن اللغة الذي قدمه Kiss وStrunk عام 2006، وهو الافتراضي في NLTK. يكتشف الاختصارات من النص الخام بوصفها تلازمات وثيقة (tight collocations) بين كلمة مبتورة ونقطة، إضافة إلى الكلمات التي تبدأ بها الجمل كثيرًا، ويبلغ متوسط دقته 98.74 بالمئة على إحدى عشرة لغة.

• Slide 55الشريحة 55

A count operator on the preceding element: * zero or more, + one or more, ? zero or one, {n} exactly n, {m,n} between m and n; adding ? makes it lazy.المُكمِّم: عامل عدّ على العنصر السابق: * صفر مرة أو أكثر، و+ مرة أو أكثر، و? صفر أو مرة واحدة، و{n} n مرة بالضبط، و{m,n} بين m وn؛ وإضافة ? تجعله كسولًا (lazy).

• Slide 62الشريحة 62
• Slide 63الشريحة 63
• Slide 73الشريحة 73

A pattern language for matching strings built from literals, concatenation, disjunction, grouping, character classes, quantifiers and anchors, used in NLP for tokenization, normalization, cleaning and feature extraction.التعبير النمطي: لغة أنماط لمطابقة النصوص، مبنية من الحروف الحرفية (literals) والتسلسل (concatenation) والتخيير (disjunction) والتجميع (grouping) وفئات المحارف والمُكمِّمات (quantifiers) والمرتكزات (anchors)، وتُستخدم في NLP للـ tokenization والتطبيع (normalization) والتنظيف واستخراج الخصائص.

• Slide 57الشريحة 57
• Slide 58الشريحة 58

The core lexical material of a word, such as walk, or the consonantal skeleton K-T-B in Arabic that combines with patterns.الجذر: المادة المعجمية الأساسية للكلمة، مثل walk، أو الهيكل الصامتي ك-ت-ب (K-T-B) في العربية الذي يتحد مع الأوزان (patterns).

• Slide 18الشريحة 18
• Slide 19الشريحة 19

How restricted an attached element is in what it attaches to. Affixes are highly selective (specific stems or categories); clitics attach to almost any host.الانتقائية: مدى تقيّد العنصر الملتصق فيما يلتصق به. اللواصق (affixes) انتقائية جدًا (تلتصق بأساسات أو فئات محددة)؛ أما الـ clitics فتلتصق بأي مضيف تقريبًا.

• Slide 23الشريحة 23

Finding sentence boundaries in text, hard mainly because a period may end a sentence or belong to an abbreviation or number; solved with heuristics, abbreviation lexicons or learned boundary classifiers.تقطيع الجمل: تحديد حدود الجمل في النص، وصعوبته أساسًا أن النقطة قد تنهي جملة أو تكون جزءًا من اختصار أو رقم؛ ويُحل بقواعد تجريبية (heuristics) أو معاجم اختصارات أو مصنِّفات حدود متعلَّمة.

• Slide 54الشريحة 54
• Slide 55الشريحة 55

A symbol attached to each word before BPE training: a leading marker for the space before a word (an open box on the slides, G-dot in GPT-2, the lower one-eighth block ▁ (U+2581) in SentencePiece) or Sennrich's end-of-word suffix. It makes word-initial pieces such as _re distinct from word-internal re.رمز يُلحق بكل كلمة قبل تدريب BPE: علامة بادئة تمثّل المسافة قبل الكلمة (صندوق مفتوح في الشرائح، وG-dot في GPT-2، والرمز ▁ (U+2581) في SentencePiece)، أو لاحقة نهاية الكلمة عند Sennrich. وهو يجعل القطع الواقعة في بداية الكلمة مثل _re مختلفة عن re الواقعة داخلها.

• Slide 44الشريحة 44
• Slide 45الشريحة 45
• Slide 46الشريحة 46
• Slide 47الشريحة 47

Reserved vocabulary entries with control meaning such as <BOS>, <EOS>, <UNK> and <PAD>.الـ tokens الخاصة: مداخل محجوزة في المفردات لها معنى تحكّمي، مثل <BOS> و<EOS> و<UNK> و<PAD>.

• Slide 53الشريحة 53

The inflectable base of a word to which affixes attach.الأساس (stem): القاعدة القابلة للتصريف في الكلمة والتي تلتصق بها اللواصق (affixes).

• Slide 18الشريحة 18
• Slide 19الشريحة 19

The cost of replacing one character with another: 0 for identical characters, 1 in the unit-cost convention, 2 in the Levenshtein variant used by the SLP3 table, or a weighted value from a confusion matrix.كلفة الاستبدال: كلفة استبدال محرف بآخر: 0 للمحارف المتطابقة، و1 في اصطلاح التكاليف الواحدية، و2 في نسخة Levenshtein المستخدمة في جدول SLP3، أو قيمة موزونة من مصفوفة الالتباس (confusion matrix).

• Slide 80الشريحة 80
• Slide 86الشريحة 86
• Slide 89الشريحة 89

Splitting text into units between characters and words, giving a smaller vocabulary than words and shorter sequences than characters, and composing unseen words from pieces.تقسيم النص إلى وحدات تقع بين المحارف والكلمات، فتعطي مفردات أصغر من مفردات الكلمات وتسلسلات أقصر من تسلسلات المحارف، وتركّب الكلمات غير المرئية من قطع.

• Slide 28الشريحة 28
• Slide 41الشريحة 41
• Slide 49الشريحة 49

A BPE variant whose later merge stage may cross spaces to form multiword tokens such as 'By the way', trading compositionality for shorter sequences.نسخة من BPE يمكن لمرحلة الدمج المتأخرة فيها أن تتخطى المسافات لتكوين tokens متعددة الكلمات مثل 'By the way'، فتضحي بالتركيبية (compositionality) مقابل تسلسلات أقصر.

• Slide 52الشريحة 52

An irregular form that replaces the expected inflected form entirely, such as went for the past of go.الإبدال الكلي: صيغة شاذة تحل محل الصيغة المصرّفة المتوقعة بالكامل، مثل went بوصفها ماضي go.

• Slide 21الشريحة 21

The Arabic root-and-pattern system in which a consonantal root such as K-T-B is interleaved with vowel patterns to yield kataba, kitab and katib.الصرف القالبي: نظام الجذر والوزن في العربية، حيث يتداخل جذر صامتي مثل ك-ت-ب (K-T-B) مع أوزان من الحركات لينتج kataba (كَتَبَ) وkitab (كِتاب) وkatib (كاتِب).

• Slide 19الشريحة 19
• Slide 21الشريحة 21
• Slide 26الشريحة 26

One occurrence of a unit in running text. The total number of tokens in a corpus is written N.ظهور واحد لوحدة ما في النص المتصل. يُرمز إلى العدد الكلي للـ tokens في المدونة بالرمز N.

• Slide 5الشريحة 5
• Slide 7الشريحة 7
• Slide 38الشريحة 38

Converting raw text into a sequence of tokens, the units a model or pipeline operates on, balancing coverage, compactness, meaningfulness and cross-lingual applicability.تحويل النص الخام إلى تسلسل من الـ tokens، وهي الوحدات التي يعمل عليها النموذج أو خط المعالجة، مع الموازنة بين التغطية (coverage) والإيجاز (compactness) والدلالة (meaningfulness) والصلاحية عبر اللغات (cross-lingual applicability).

• Slide 38الشريحة 38
• Slide 39الشريحة 39
• Slide 40الشريحة 40
• Slide 41الشريحة 41

Petrov et al. 2023: the token count of a sentence in language A divided by the count for its translation in language B. Relative to English under the GPT-4 cl100k vocabulary, Arabic pays 3.04 and Shan 15.05, the cost of a shared vocabulary trained mostly on English.علاوة الـ tokenization: من Petrov وزملائه 2023: عدد الـ tokens لجملة في اللغة A مقسومًا على عددها في ترجمتها إلى اللغة B. وبالنسبة إلى الإنجليزية مع مفردات GPT-4 المسماة cl100k، تدفع العربية 3.04 وتدفع لغة Shan قيمة 15.05، وهذه كلفة المفردات المشتركة المدرّبة في معظمها على الإنجليزية.

• Slide 51الشريحة 51

A distinct vocabulary item. The number of types in a corpus is the vocabulary size, written |V|.عنصر مميز في المفردات (أي كلمة مختلفة). عدد الـ types في المدونة هو حجم المفردات، ويُكتب |V|.

• Slide 5الشريحة 5
• Slide 7الشريحة 7

|V| divided by N, the number of distinct types over the number of running tokens. It falls as a corpus grows and rises with morphological richness: 0.144 for Inuktitut against 0.003 for English on the parallel Nunavut Hansard.نسبة |V| إلى N، أي عدد الـ types المميزة مقسومًا على عدد الـ tokens المتصلة. تنخفض كلما كبرت المدونة وترتفع مع غنى اللغة الصرفي: 0.144 للإنوكتيتوت (Inuktitut) مقابل 0.003 للإنجليزية على مدونة Nunavut Hansard المتوازية.

• Slide 7الشريحة 7
• Slide 28الشريحة 28

Converting text to a canonical form (NFC, NFD, NFKC or NFKD) so that characters composed in different ways, such as precomposed and decomposed accented letters, compare and tokenize identically.تطبيع Unicode: تحويل النص إلى صيغة قانونية (NFC أو NFD أو NFKC أو NFKD) بحيث تُقارن المحارف المركّبة بطرق مختلفة وتُقطّع (tokenize) بالطريقة نفسها، مثل الأحرف ذات العلامات المركّبة مسبقًا والمفككة.

• Slide 34الشريحة 34
• Slide 53الشريحة 53

An escape of the form \p{...} that matches every character with a given Unicode property, such as \p{L} for any letter or \p{N} for any number, defined by Unicode Standard Annex 44; requires the regex module in Python or the u flag in JavaScript.فئة خصائص Unicode: تهريب على الشكل \p{...} يطابق كل محرف له خاصية Unicode معينة، مثل \p{L} لأي حرف أو \p{N} لأي رقم، وهي معرّفة في Unicode Standard Annex 44؛ وتتطلب وحدة regex في Python أو العلَم u في JavaScript.

• Slide 76الشريحة 76
• Slide 78الشريحة 78

Kudo's 2018 subword tokenizer, named by SLP3 with BPE as the two widely used families: it starts from a large candidate vocabulary, prunes it under a unigram language model, and segments each word into the most probable sequence of pieces.الـ subword tokenizer الذي قدّمه Kudo عام 2018، ويذكره SLP3 مع BPE بوصفهما العائلتين الأكثر استخدامًا: يبدأ من مفردات مرشحة كبيرة، ويقلّمها وفق نموذج لغة unigram، ويقطّع كل كلمة إلى تسلسل القطع الأعلى احتمالًا.

• Slide 49الشريحة 49

A variable-length encoding of Unicode code points into 1 to 4 bytes: one byte for U+0000 to U+007F, two for up to U+07FF, three for up to U+FFFF, four for up to U+10FFFF, with lead bytes 110, 1110 or 11110 and continuation bytes 10xxxxxx.ترميز متغير الطول لـ code points في Unicode يستخدم من 1 إلى 4 بايتات: بايت واحد من U+0000 إلى U+007F، واثنان حتى U+07FF، وثلاثة حتى U+FFFF، وأربعة حتى U+10FFFF، مع بايتات بادئة (lead bytes) تبدأ بـ 110 أو 1110 أو 11110، وبايتات تكملة (continuation bytes) على شكل 10xxxxxx.

• Slide 35الشريحة 35
• Slide 36الشريحة 36

The set of distinct types a corpus or a tokenizer uses. Its size is |V|, and for a tokenizer it is a design choice, typically 30k to 100k subword units.مجموعة الـ types المميزة التي تستخدمها مدونة أو tokenizer. حجمها |V|، وفي حالة الـ tokenizer يكون حجمها قرارًا تصميميًا، عادةً بين 30k و100k وحدة subword.

• Slide 5الشريحة 5
• Slide 13الشريحة 13
• Slide 49الشريحة 49

The zero-width position \b between a word character (a letter, digit or underscore) and a non-word character or a string edge; \B is any other position. \bthe\b matches the but not other or theme, and \b99\b matches in $99 but not in 299.حد الكلمة: الموضع صفري العرض \b بين محرف كلمة (حرف أو رقم أو شرطة سفلية) ومحرف ليس من الكلمة أو طرف النص؛ و\B هو أي موضع آخر. النمط \bthe\b يطابق the لكن لا يطابق other ولا theme، والنمط \b99\b يطابق في $99 لكن لا يطابق في 299.

• Slide 64الشريحة 64
• Slide 74الشريحة 74

An ASR evaluation metric equal to the word-level edit distance between hypothesis and reference divided by the number of reference words.معدل خطأ الكلمات: مقياس لتقييم التعرف الآلي على الكلام (ASR) يساوي مسافة التحرير على مستوى الكلمات بين الفرضية (hypothesis) والمرجع (reference) مقسومة على عدد كلمات المرجع.

• Slide 79الشريحة 79

The subword tokenizer of BERT (Schuster and Nakajima 2012, Wu et al. 2016) that divides words into a limited set of common sub-word units and encodes by taking the longest vocabulary entry that matches first.الـ subword tokenizer الخاص بـ BERT (Schuster وNakajima 2012، وWu وزملاؤه 2016)، يقسم الكلمات إلى مجموعة محدودة من الوحدات الفرعية الشائعة، ويُرمّز باختيار أطول مدخل في المفردات يطابق البداية أولًا.

• Slide 28الشريحة 28
• Slide 49الشريحة 49

Zipf's law with a rank shift, f(R) = P (R + rho)^-B, added by Mandelbrot to fit the flattened head of the rank-frequency curve, where the top few words fall off more slowly than a pure power law predicts.قانون Zipf مع إزاحة في الرتبة، f(R) = P (R + rho)^-B، أضافها Mandelbrot لملاءمة الرأس المسطّح لمنحنى الرتبة والتكرار، حيث تتناقص تكرارات الكلمات القليلة الأولى أبطأ مما يتوقعه قانون القوة الخالص.

• Slide 11الشريحة 11
• Slide 12الشريحة 12

The empirical rank-frequency law that a word's frequency falls roughly as a power law in its rank, f(R) proportional to 1 / R^alpha, with alpha close to 1.قانون تجريبي يربط الرتبة بالتكرار: يتناقص تكرار الكلمة تقريبًا كقانون قوة (power law) في رتبتها، أي f(R) يتناسب مع 1 / R^alpha، حيث alpha قريبة من 1.

• Slide 11الشريحة 11
• Slide 12الشريحة 12