Words and tokensالكلمات والرموز (Tokens)

The whole lecture answers one question: what unit does a model operate on, and how do we get from raw bytes to that unit? Everything else is a stop on the way. The roadmap has eight stops, and it is worth holding the shape in mind because the lecture overview page mirrors it exactly.

المحاضرة كلها تجيب عن سؤال واحد: ما الوحدة التي يعمل عليها النموذج، وكيف ننتقل من البايتات الخام إلى تلك الوحدة؟ وكل ما عدا ذلك محطة على الطريق. خريطة الطريق فيها ثماني محطات، ومن المفيد أن تبقي شكلها في ذهنك لأن صفحة نظرة عامة على المحاضرة تعكسها تمامًا.

1. Words, with Zipf and Heaps. How to count units, and the two laws that govern how frequency and vocabulary behave as a corpus grows.الكلمات، مع قانونَي Zipf وHeaps. كيف نعدّ الوحدات، والقانونان اللذان يحكمان سلوك التكرار والمفردات كلما كبرت المدونة.
2. Morphemes. The meaningful parts inside a word, which explain why walk, walks and walked are one lemma but three types.المورفيمات (Morphemes). الأجزاء ذات المعنى داخل الكلمة، وهي التي تفسر لماذا تكون walk وwalks وwalked أصلًا معجميًا (lemma) واحدًا لكنها ثلاثة أنواع (types).
3. Corpora. Where the text comes from, and why genre, domain and time shift every count in this part.المدونات النصية (Corpora). من أين يأتي النص، ولماذا يغيّر النوع الأدبي والمجال والزمن كل رقم في هذا الجزء.
4. Unicode. How characters become bytes, so that a tokenizer can promise to represent any script without an unknown symbol.يونيكود (Unicode). كيف تتحول الحروف إلى بايتات، حتى يستطيع المقطِّع (tokenizer) أن يضمن تمثيل أي نظام كتابة دون رمز مجهول.
5. Tokenization with BPE. The algorithm that learns its own units from data instead of trusting spaces.التقطيع (Tokenization) باستخدام BPE. الخوارزمية التي تتعلم وحداتها بنفسها من البيانات بدلًا من الوثوق بالمسافات.
6. Sentence segmentation. The period that ends a sentence versus the period inside Dr. or U.S.تقسيم الجمل (Sentence segmentation). النقطة التي تنهي الجملة مقابل النقطة الموجودة داخل Dr. أو U.S.
7. Regular expressions. The pattern language behind pre-tokenizers, cleaners and feature extractors.التعبيرات النمطية (Regular expressions). لغة الأنماط التي تقوم عليها مراحل ما قبل التقطيع (pre-tokenizers) وأدوات تنظيف النص ومستخرجات السمات.
8. Minimum edit distance. A distance between strings that scores spelling correction and speech recognizers alike.أدنى مسافة تحرير (Minimum edit distance). مقياس للمسافة بين سلسلتين نصيتين يُستخدم لتقييم التصحيح الإملائي وأنظمة التعرف على الكلام على حد سواء.

The first stop carries Zipf's law and Heaps' law. The second is the Morpheme. The third is the Corpus. The fourth turns a Code point into UTF-8 bytes. The fifth is Tokenization and byte-pair encoding. Then come Sentence segmentation, the Regular expression and, finally, Minimum edit distance. This part covers only the opening of the first stop, but it sets the vocabulary every later part reuses.

المحطة الأولى تحمل Zipf's law (قانون Zipf) وHeaps' law (قانون Heaps). والثانية هي المورفيم (morpheme). والثالثة هي المدونة النصية (corpus). والرابعة تحوّل نقطة الترميز (code point) إلى بايتات UTF-8. والخامسة هي التقطيع (tokenization) وترميز أزواج البايتات (byte-pair encoding). ثم يأتي تقسيم الجمل (sentence segmentation)، والتعبير النمطي (regular expression)، وأخيرًا أدنى مسافة تحرير (minimum edit distance). هذا الجزء يغطي بداية المحطة الأولى فقط، لكنه يضع المفردات التي يعيد كل جزء لاحق استخدامها.

The seven learning goals on slide 3 map onto the same stops: know why a word is not a universal unit, distinguish types from tokens and explain why vocabulary keeps growing, know what morphemes are, explain Unicode and byte-level processing, describe BPE and tokenizer design choices, use regular expressions, and compute minimum edit distance with dynamic programming. The first two goals are this part.

أهداف التعلم السبعة في الشريحة 3 ترتبط بالمحطات نفسها: أن تعرف لماذا ليست الكلمة وحدة عالمية، وأن تميّز الأنواع (types) من الوحدات النصية (tokens) وتشرح لماذا تستمر المفردات في النمو، وأن تعرف ما المورفيمات، وأن تشرح Unicode والمعالجة على مستوى البايت، وأن تصف BPE وخيارات تصميم المقطِّع، وأن تستخدم التعبيرات النمطية، وأن تحسب أدنى مسافة تحرير بالبرمجة الديناميكية (dynamic programming). الهدفان الأولان هما موضوع هذا الجزء.

Count the words in this sentence before reading on: They picnicked by the pool, then lay back on the grass and looked at the stars. Most people say sixteen. Some say eighteen. Both are right, and the reason they can both be right is the subject of this concept.

عُدّ الكلمات في هذه الجملة قبل أن تكمل القراءة: They picnicked by the pool, then lay back on the grass and looked at the stars. معظم الناس يقولون ست عشرة. وبعضهم يقول ثماني عشرة. كلاهما صحيح، وسبب إمكان صحة الإجابتين معًا هو موضوع هذا المفهوم.

In many writing systems spaces suggest boundaries, but a space is only a suggestion. The moment you want a number, you have to decide what to do with everything that a space does not settle, and each decision is tied to what the text is for. Splitting text into units is Tokenization, and the resulting units are tokens. Jurafsky and Martin put it plainly: how we define words depends on the task. The table below pairs each question from the slide with a task that answers yes and a task that answers no.

في كثير من أنظمة الكتابة توحي المسافات بالحدود، لكن المسافة مجرد إيحاء. فبمجرد أن تريد رقمًا، عليك أن تقرر ماذا تفعل بكل ما لا تحسمه المسافة، وكل قرار مرتبط بالغرض من النص. تقسيم النص إلى وحدات هو التقطيع (tokenization)، والوحدات الناتجة هي الوحدات النصية (tokens). ويقولها Jurafsky وMartin بوضوح: طريقة تعريفنا للكلمات تعتمد على المهمة. الجدول أدناه يقرن كل سؤال من الشريحة بمهمة تجيب بنعم ومهمة تجيب بلا.

Speech: where the units fall apartالكلام المنطوق: حيث تتفكك الوحدات

Written text at least offers spaces. A transcript of spontaneous speech offers something stranger. Consider the utterance I do uh main- mainly business data processing. There is a broken-off word, main-, which Jurafsky and Martin call a fragment, and a filler, uh, which they call a filled pause. Together these are a Disfluency. Should a tokenizer keep them?

النص المكتوب يقدم المسافات على الأقل. أما تفريغ الكلام العفوي فيقدم شيئًا أغرب. تأمل العبارة I do uh main- mainly business data processing. فيها كلمة مبتورة هي main-، يسميها Jurafsky وMartin جزءًا مبتورًا (fragment)، وفيها حشوة هي uh، يسميانها وقفة مملوءة (filled pause). ومعًا يشكلان ما يسمى تعثر الكلام (disfluency). فهل ينبغي للمقطِّع أن يحتفظ بهما؟

For speech recognition the answer is yes, and for a reason that surprises people: fillers help predict the upcoming word, because they signal that the speaker is restarting the clause or idea, and they are a cue to speaker identification. Clark and Fox Tree went further and argued that uh and um are conventional English words: uh announces an expected minor delay, um a major one. A parser or a translation system, on the other hand, wants the fluent sentence underneath, so it drops them. The Switchboard portion of the Penn Treebank release is explicitly annotated for disfluencies, so this decision is built into a real corpus, not a thought experiment.

بالنسبة للتعرف على الكلام فالإجابة نعم، ولسبب يفاجئ الناس: الحشوات تساعد على التنبؤ بالكلمة القادمة، لأنها تشير إلى أن المتحدث يعيد بدء الجملة أو الفكرة، كما أنها دليل يساعد على تحديد هوية المتحدث. وذهب Clark وFox Tree أبعد من ذلك، فقالا إن uh وum كلمتان إنجليزيتان متعارف عليهما: uh تعلن عن تأخير بسيط متوقع، وum عن تأخير كبير. أما المحلل النحوي (parser) أو نظام الترجمة فيريد الجملة السليمة الكامنة تحتها، لذلك يحذفهما. والجزء الخاص بـ Switchboard في إصدار Penn Treebank موسوم صراحة بتعثرات الكلام، فهذا القرار مبني داخل مدونة حقيقية، وليس تجربة ذهنية.

Languages with no spaces at allلغات بلا مسافات على الإطلاق

The space is a convention of some scripts, not of language. Chinese, Japanese and Thai are written without spaces between words, so there is no orthographic word to count. Jurafsky and Martin give a Chinese sentence about Yao Ming reaching the finals and show that its units depend on which standard you adopt. Chinese words average only 1.5 to 1.9 characters, so the character is often the practical unit, and the question "how many words?" simply has no answer until a segmentation standard is chosen.

المسافة عُرف في بعض أنظمة الكتابة، وليست من طبيعة اللغة. فالصينية واليابانية والتايلاندية تُكتب دون مسافات بين الكلمات، فلا توجد كلمة إملائية لنعدّها. ويعرض Jurafsky وMartin جملة صينية عن وصول Yao Ming إلى النهائيات، ويبيّنان أن وحداتها تعتمد على المعيار الذي تعتمده. متوسط طول الكلمة الصينية 1.5 إلى 1.9 حرف فقط، لذلك يكون الحرف في الغالب هو الوحدة العملية، والسؤال «كم كلمة؟» ببساطة لا جواب له حتى يُختار معيار للتقسيم.

Once a policy is fixed, two numbers describe any text. Take Hamlet's to be or not to be. Six units are written down in order. Only four different ones appear, because to and be each occur twice. Those two numbers have names, and the whole of corpus statistics is built on them.

بمجرد تثبيت السياسة، يصف أي نص رقمان. خذ عبارة هاملت to be or not to be. هناك ست وحدات مكتوبة بالترتيب. ولا يظهر منها إلا أربع مختلفة، لأن to وbe تتكرر كل منهما مرتين. لهذين الرقمين اسمان، وعليهما يقوم علم إحصاءات المدونات كله.

A Token is one occurrence of a unit in running text, and the total count of tokens is written N. A Type is a distinct vocabulary item, and the number of types is the size of the Vocabulary, written |V|. So to be or not to be has N = 6 tokens and |V| = 4 types: to, be, or, not. The two are tied together by a bookkeeping identity: every token belongs to exactly one type, so the type counts add up to the token count.

الوحدة النصية (token) هي ظهور واحد لوحدة في النص الجاري، ويُرمز لإجمالي عدد الوحدات النصية بـ N. والنوع (type) هو عنصر مفردات مميز، وعدد الأنواع هو حجم المفردات (vocabulary) ويُرمز له بـ |V|. إذن to be or not to be فيها N = 6 وحدات نصية و|V| = 4 أنواع: to، be، or، not. ويربط بينهما تطابق محاسبي: كل وحدة نصية تنتمي إلى نوع واحد بالضبط، لذلك يساوي مجموع أعداد الأنواع عدد الوحدات النصية.

Try it yourself. The counter below applies a tokenization policy to a sentence and recomputes both numbers live. Start with the picnic sentence, switch on punctuation splitting and watch N go from 16 to 18. Then load the Apple sentence and flip lowercase: N stays put while |V| drops, because Apple and apple have become one type. That asymmetry is the whole lesson of the next concept in miniature.

جرّبها بنفسك. العدّاد أدناه يطبق سياسة تقطيع على جملة ويعيد حساب الرقمين مباشرة. ابدأ بجملة النزهة، وفعّل فصل علامات الترقيم، وراقب N ينتقل من 16 إلى 18. ثم حمّل جملة Apple وفعّل تحويل الأحرف إلى صغيرة: يبقى N كما هو بينما ينخفض |V|، لأن Apple وapple أصبحتا نوعًا واحدًا. هذا اللاتماثل هو درس المفهوم التالي كله في صورة مصغرة.

Five corpora, one tableخمس مدونات، جدول واحد

Jurafsky and Martin collect rough counts for several English corpora, and the lecture reproduces their table. Two columns are on the slide. The two on the right are computed here: types per thousand tokens, and its reciprocal, tokens per type. Read those computed columns first, because they tell a story the raw counts hide.

يجمع Jurafsky وMartin أعدادًا تقريبية لعدة مدونات إنجليزية، والمحاضرة تعيد عرض جدولهما. عمودان موجودان في الشريحة. أما العمودان على اليمين فمحسوبان هنا: عدد الأنواع لكل ألف وحدة نصية، ومقلوبه، أي عدد الوحدات النصية لكل نوع. اقرأ هذين العمودين المحسوبين أولًا، لأنهما يرويان قصة تخفيها الأعداد الخام.

Down the table, N grows by six orders of magnitude while |V| grows by less than three. The ratio of types to tokens falls from about 35 per thousand for Shakespeare to about 0.013 per thousand for the Google corpus. This is the first preview of Heaps' law: vocabulary grows without bound but sublinearly, |V| = k N^β with β between 0 and 1, and Jurafsky and Martin report values from 0.44 to 0.56 or higher, so vocabulary goes up a little faster than the square root of the text length. Part 02 fits that law properly; here it is enough to see the bend.

بالنزول في الجدول، يكبر N بست مراتب عشرية بينما يكبر |V| بأقل من ثلاث. وتنخفض نسبة الأنواع إلى الوحدات النصية (type to token ratio) من نحو 35 لكل ألف في شكسبير إلى نحو 0.013 لكل ألف في مدونة Google. وهذه أول لمحة عن قانون Heaps: المفردات تنمو بلا حد لكن بمعدل أبطأ من الخطي، |V| = k N^β حيث β بين 0 و1، ويذكر Jurafsky وMartin قيمًا من 0.44 إلى 0.56 أو أعلى، أي أن المفردات تزداد أسرع قليلًا من الجذر التربيعي لطول النص. الجزء 02 يطابق هذا القانون على البيانات بشكل كامل؛ وهنا يكفي أن ترى الانحناء.

Now read across rows instead of down. Brown has one million tokens and 38 thousand types. Switchboard has more than twice as many tokens and only 20 thousand types, fewer even than Shakespeare with a third of Switchboard's tokens. Size alone cannot explain that. Switchboard is about 2,400 telephone conversations among 543 speakers on about 70 everyday topics, and casual conversation reuses a small everyday vocabulary. Brown samples 500 texts across 15 written genres, and Shakespeare's plays reach for coinages and archaic forms. This is the point of slide 6: even within one language, genre and domain shift the vocabulary, so |V| depends on the Corpus, not only on N.

اقرأ الآن عبر الصفوف بدلًا من النزول. في Brown مليون وحدة نصية و38 ألف نوع. وفي Switchboard أكثر من ضعف عدد الوحدات النصية لكن 20 ألف نوع فقط، أي أقل حتى من شكسبير الذي لديه ثلث وحدات Switchboard النصية. الحجم وحده لا يفسر ذلك. فـ Switchboard يضم نحو 2,400 محادثة هاتفية بين 543 متحدثًا حول نحو 70 موضوعًا يوميًا، والمحادثة العفوية تعيد استخدام مفردات يومية قليلة. أما Brown فيأخذ عينات من 500 نص عبر 15 نوعًا أدبيًا مكتوبًا، ومسرحيات شكسبير تلجأ إلى الكلمات المبتكرة والصيغ القديمة. هذه هي فكرة الشريحة 6: حتى داخل اللغة الواحدة، يغيّر النوع الأدبي والمجال المفردات، لذلك يعتمد |V| على المدونة (corpus)، وليس على N وحده.

Why the vocabulary never stops growingلماذا لا تتوقف المفردات عن النمو

The falling ratio and the endless growth have the same cause. Function words like the and of are seen early and then only repeat. Content words keep arriving. Slide 8 lists where they come from, and each source is a reason your model will meet a word it has never seen.

للنسبة المتناقصة والنمو الذي لا ينتهي سبب واحد. الكلمات الوظيفية مثل the وof تُرى مبكرًا ثم تتكرر فقط. أما كلمات المحتوى فتستمر في الوصول. والشريحة 8 تذكر مصادرها، وكل مصدر منها سبب لأن يصادف نموذجك كلمة لم يرها من قبل.

• Proper names and new products: every person, place, company and gadget is a type, and new ones appear every day.أسماء العلم والمنتجات الجديدة: كل شخص ومكان وشركة وجهاز هو نوع (type)، وتظهر أسماء جديدة كل يوم.
• Creative spellings and typos: cooool, gr8 and every misspelling is a fresh type under a wordform policy.التهجئات الإبداعية والأخطاء الإملائية: cooool وgr8 وكل خطأ إملائي هو نوع جديد في ظل سياسة تعتمد صيغة الكلمة (wordform).
• Code-switching: speakers mix languages within one utterance, so an English corpus carries Spanish, Hindi or Arabic types as well.التناوب اللغوي (Code-switching): يخلط المتحدثون اللغات داخل عبارة واحدة، لذلك تحمل المدونة الإنجليزية أنواعًا إسبانية أو هندية أو عربية أيضًا.
• Morphology: walk, walks, walked and walking are four wordform types but one Lemma. Inflection multiplies surface forms, and morphologically rich languages multiply them far more.الصرف: walk وwalks وwalked وwalking أربعة أنواع من حيث صيغة الكلمة لكنها أصل معجمي واحد (lemma). والتصريف (inflection) يضاعف الصيغ السطحية، واللغات الغنية صرفيًا تضاعفها أكثر بكثير.
• Compounding and multiword expressions: New York and ice cream behave as single lexical units but span a space. Sag and colleagues called multiword expressions a pain in the neck for NLP, and Jurafsky and Martin note that tokenizing them needs a dictionary and is tied up with named entity recognition.التركيب والتعبيرات متعددة الكلمات: New York وice cream تتصرفان كوحدتين معجميتين مفردتين لكنهما تمتدان عبر مسافة. وقد وصف Sag وزملاؤه التعبيرات متعددة الكلمات بأنها مصدر إزعاج كبير لمعالجة اللغات الطبيعية (a pain in the neck for NLP)، ويلاحظ Jurafsky وMartin أن تقطيعها يحتاج إلى قاموس ومرتبط بالتعرف على الكيانات المسماة (named entity recognition).

The consequence is that out-of-vocabulary words are unavoidable under any word-level policy. However large the training corpus, tomorrow's text contains a name or a typo that is not in V. That is the problem subword tokenization solves later in this lecture, by building rare words out of pieces that are in the vocabulary.

والنتيجة أن الكلمات خارج المفردات (out-of-vocabulary) أمر لا مفر منه في أي سياسة على مستوى الكلمة. فمهما كبرت مدونة التدريب، سيحتوي نص الغد على اسم أو خطأ إملائي غير موجود في V. وهذه هي المشكلة التي يحلها التقطيع إلى أجزاء الكلمات (subword) لاحقًا في هذه المحاضرة، ببناء الكلمات النادرة من قطع موجودة في المفردات.

Every policy in this part has been described in words. Here is one written down as rules and run on a real sentence. The Penn Treebank convention is the standard for parsed corpora of English, and Jurafsky and Martin use this example to show its output.

كل سياسة في هذا الجزء وُصفت بالكلمات حتى الآن. وهنا سياسة مكتوبة كقواعد ومطبقة على جملة حقيقية. اصطلاح Penn Treebank هو المعيار للمدونات الإنجليزية المحللة نحويًا، ويستخدم Jurafsky وMartin هذا المثال لعرض مخرجاته.

The four decisionsالقرارات الأربعة

The worked example silently made four decisions, and slide 9 names them. Each has options, each helps some task and each hurts another. The table is the answer to the exam question "list four preprocessing decisions and one downstream consequence of each".

اتخذ المثال المحلول أربعة قرارات بصمت، والشريحة 9 تسمّيها. لكل قرار خيارات، وكل قرار يفيد مهمة ويضر بأخرى. والجدول هو الإجابة عن سؤال الاختبار «اذكر أربعة قرارات للمعالجة المسبقة ونتيجة لاحقة واحدة لكل منها».

Case folding is the most tempting shortcut. Manning, Raghavan and Schütze observe that for information retrieval, lowercasing everything often remains the most practical solution, and in the same breath list what it destroys: proper nouns distinguished only by case, such as General Motors, the Fed against fed, and Bush against bush. Their alternative is truecasing, restoring the likely original case with a classifier. Jurafsky and Martin add that for other tasks capitalization is a useful feature and is retained, so some teams keep a cased and an uncased model side by side.

توحيد حالة الأحرف (Case folding) هو الاختصار الأكثر إغراءً. ويلاحظ Manning وRaghavan وSchütze أن تحويل كل شيء إلى أحرف صغيرة يظل في الغالب الحل الأكثر عملية لاسترجاع المعلومات، ويذكرون في الوقت نفسه ما يدمّره: أسماء العلم التي لا يميزها إلا حالة الأحرف، مثل General Motors، وthe Fed مقابل fed، وBush مقابل bush. والبديل عندهم هو استعادة الحالة الصحيحة (truecasing)، أي استرجاع حالة الأحرف الأصلية المرجحة باستخدام مصنِّف. ويضيف Jurafsky وMartin أن حالة الأحرف في مهام أخرى سمة مفيدة فيُحتفظ بها، لذلك تحتفظ بعض الفرق بنموذج يراعي حالة الأحرف (cased) وآخر لا يراعيها (uncased) جنبًا إلى جنب.

Normalization is the quiet one. A Unicode normalization form decides whether the precomposed letter Ç at U+00C7 and the sequence C plus combining cedilla are the same type. Unicode Standard Annex 15 defines four forms, NFC, NFD, NFKC and NFKD, and the same logic applies to four kinds of quotation mark and three kinds of dash that a keyboard and a word processor scatter through any corpus. Skip it and your vocabulary silently holds several copies of the same word.

التطبيع هو القرار الصامت. فصيغة تطبيع يونيكود (Unicode normalization) تقرر هل الحرف المركّب مسبقًا Ç عند U+00C7 والتسلسل C مع علامة السيديا المركِّبة (combining cedilla) نوع واحد أم لا. ويعرّف الملحق القياسي 15 ليونيكود (Unicode Standard Annex 15) أربع صيغ هي NFC وNFD وNFKC وNFKD، والمنطق نفسه ينطبق على أربعة أشكال من علامات التنصيص وثلاثة أشكال من الشرطات تنثرها لوحة المفاتيح ومعالج النصوص في أي مدونة. تجاهله، وستحمل مفرداتك بصمت عدة نسخ من الكلمة نفسها.

Numbers show the trade-off most sharply. Kept raw, every price and every year is a new type and |V| explodes. Mapped to a single <NUM> placeholder, the vocabulary shrinks but the model can no longer tell 12 from 12,000. Modern tokenizers pick a middle path: Jurafsky and Martin describe the GPT-4o tokenizer chunking numbers into groups of up to three digits, so magnitude survives as a sequence of small pieces.

الأرقام تُظهر المفاضلة بأوضح صورة. إذا أُبقيت خامًا، يصبح كل سعر وكل سنة نوعًا جديدًا ويتضخم |V|. وإذا استُبدلت كلها بعنصر نائب واحد <NUM>، تتقلص المفردات لكن النموذج لا يعود قادرًا على التمييز بين 12 و12,000. والمقطِّعات الحديثة تختار طريقًا وسطًا: يصف Jurafsky وMartin مقطِّع GPT-4o الذي يقسم الأرقام إلى مجموعات من ثلاثة أرقام كحد أقصى، فيبقى المقدار محفوظًا كتسلسل من القطع الصغيرة.

The four ambiguous boundariesالحدود الملتبسة الأربعة

Even after the four decisions are made, some characters refuse to settle. Slide 10 collects them. In each case the same character is a boundary in one context and part of a unit in another, and a tokenizer has to pick a default and accept the errors it causes.

حتى بعد اتخاذ القرارات الأربعة، تبقى بعض الحروف عصيّة على الحسم. والشريحة 10 تجمعها. في كل حالة يكون الحرف نفسه حدًا في سياق وجزءًا من وحدة في سياق آخر، وعلى المقطِّع أن يختار افتراضًا ويتقبل الأخطاء التي يسببها.

A Clitic is the trickiest of the four because the apostrophe is three-way ambiguous. Jurafsky and Martin point out that it marks the genitive (the book's cover), quotation ('The other class', she said) and the contracted clitic (we'll, I'm). Hyphens run from co-education, where the pieces are meaningless alone, to Hewlett-Packard, where each is a name, and Manning and colleagues show there is no rule that suits both. Abbreviation periods will return as the central problem of Sentence segmentation later in the lecture. Social media adds hashtags, handles and URLs that should be kept whole, since #NLP or a web address split at its punctuation is worthless. A Treebank-style tokenizer will not do this by itself: it pads # and @ with spaces and breaks a URL at its colon, so a social-media pipeline adds hashtag, handle and URL patterns in front of it.

اللاحقة المتصلة (clitic) هي الأصعب بين الأربعة لأن الفاصلة العليا (apostrophe) ملتبسة على ثلاثة أوجه. يشير Jurafsky وMartin إلى أنها تدل على الملكية (the book's cover)، وعلى الاقتباس ('The other class', she said)، وعلى اللاحقة المتصلة المختصرة (we'll، I'm). والشرطات الواصلة تتراوح من co-education، حيث لا معنى للقطع منفردة، إلى Hewlett-Packard، حيث كل قطعة اسم، ويبيّن Manning وزملاؤه أنه لا توجد قاعدة تناسب الحالتين. ونقاط الاختصارات ستعود كمشكلة محورية في تقسيم الجمل (sentence segmentation) لاحقًا في المحاضرة. وتضيف وسائل التواصل الاجتماعي الوسوم (hashtags) وأسماء المستخدمين (handles) والروابط (URLs) التي يجب الإبقاء عليها كاملة، لأن #NLP أو عنوان الويب إذا قُسّم عند علامات ترقيمه يصبح بلا قيمة. والمقطِّع على نمط Treebank لن يفعل ذلك من تلقاء نفسه: فهو يحيط # و@ بمسافات ويقسم الرابط عند النقطتين الرأسيتين، لذلك تضيف سلسلة معالجة وسائل التواصل الاجتماعي أنماطًا للوسوم وأسماء المستخدمين والروابط قبله.

Take a novel, count every word, and sort the counts from largest to smallest. Manning and Schütze did exactly this for Mark Twain's Tom Sawyer: 71,370 tokens and 8,018 distinct types. The most frequent type is "the" with 3,332 occurrences, then "and" with 2,972, then "a" with 1,775. At the other end sit thousands of words like "applausive" that appear exactly once. The hundred most common types alone cover 50.9% of every token in the book.

خذ رواية، واحسب عدد مرات ظهور كل كلمة، ثم رتّب الأعداد من الأكبر إلى الأصغر. فعل Manning وSchütze ذلك بالضبط مع رواية Tom Sawyer لـ Mark Twain: 71,370 tokens و8,018 types مختلفة. أكثر الأنواع تكرارًا هو "the" بـ 3,332 مرة، ثم "and" بـ 2,972، ثم "a" بـ 1,775. وفي الطرف الآخر تقبع آلاف الكلمات مثل "applausive" التي تظهر مرة واحدة فقط. والأنواع المئة الأكثر شيوعًا وحدها تغطي 50.9% من كل الـ tokens في الكتاب.

Give each type a rank R, with R = 1 for the most frequent word. Now multiply frequency by rank. For most of the list the product hovers around a constant, roughly 8,000 to 10,000, a relationship Estoup noticed in 1916 and George Kingsley Zipf made famous in the 1930s and 1940s, so it carries Zipf's name. Zipf's law says that frequency falls off as a power of rank.

أعطِ كل نوع رتبة R، حيث R = 1 للكلمة الأكثر تكرارًا. ثم اضرب التكرار في الرتبة. في معظم القائمة يحوم حاصل الضرب حول قيمة ثابتة، تقريبًا من 8,000 إلى 10,000، وهي علاقة لاحظها Estoup عام 1916 وجعلها George Kingsley Zipf مشهورة في ثلاثينيات القرن العشرين وأربعينياته، فحملت اسم Zipf. ينص Zipf's law على أن التكرار يتناقص كقوة (power) للرتبة.

Because the law is a proportionality, the useful working form anchors it to the top word. If you know how often the most frequent word occurs, everything else follows from the rank alone.

لأن القانون علاقة تناسب، فالصيغة العملية المفيدة تربطه بالكلمة الأولى. إذا عرفت كم مرة تظهر الكلمة الأكثر تكرارًا، فكل ما عداها يُستنتج من الرتبة وحدها.

With α = 1 the arithmetic is nothing more than division. The word at rank 10 occurs about a tenth as often as the top word, the word at rank 1,000 about a thousandth as often. Slide 12 will show that natural language has α slightly below one, so the fall is a little gentler and the rare words a little less rare than the pure 1 / R rule predicts.

مع α = 1 لا يتعدى الحساب مجرد القسمة. الكلمة في الرتبة 10 تظهر بنحو عُشر تكرار الكلمة الأولى، والكلمة في الرتبة 1,000 بنحو جزء من ألف منه. وستبيّن الشريحة 12 أن اللغة الطبيعية لها α أقل من الواحد بقليل، فيكون الهبوط ألطف قليلًا والكلمات النادرة أقل ندرة قليلًا مما تتوقعه قاعدة 1 / R الصرفة.

Read the table across a row and you see the fall; read it down a column and you see what α does. A smaller exponent leaves more mass in the tail, which for a language model means more probability spread across rare words. A larger exponent concentrates the text in fewer types. The exponent is a property of the corpus, so it differs slightly between languages, genres and preprocessing choices such as case folding.

اقرأ الجدول عبر الصف فترى الهبوط، واقرأه نزولًا في العمود فترى أثر α. الأس الأصغر يترك كتلة أكبر في الذيل، وهذا يعني لنموذج اللغة احتمالًا أكبر موزعًا على الكلمات النادرة. والأس الأكبر يركّز النص في عدد أقل من الأنواع. الأس خاصية للـ corpus، لذا يختلف قليلًا بين اللغات والأنواع النصية (genres) وخيارات المعالجة المسبقة مثل توحيد حالة الأحرف (case folding).

Slide 12 plots rank against frequency for three corpora, English Wikipedia, Arabic Wikipedia and an undotted Arabic Wikipedia in which the dots that distinguish letters such as ب, ت and ث have been removed. Both axes are logarithmic, labelled from 10^0 to 10^6 in rank (the Arabic curve runs on to about 2 × 10^6) and to 10^7 in frequency, and two dashed straight lines, each pinned to the top word of its corpus, are drawn with α = 0.9252 for Arabic and α = 0.9290 for English. The first thing to understand is why anyone would expect a straight line at all.

ترسم الشريحة 12 الرتبة مقابل التكرار لثلاثة corpora: Wikipedia الإنجليزية، وWikipedia العربية، وWikipedia عربية غير منقوطة أُزيلت فيها النقاط التي تميّز حروفًا مثل ب وت وث. كلا المحورين لوغاريتمي، ومُعلَّمان من 10^0 إلى 10^6 في الرتبة (ويمتد المنحنى العربي إلى نحو 2 × 10^6) وحتى 10^7 في التكرار، ورُسم خطان مستقيمان متقطعان، كل منهما مثبّت عند الكلمة الأولى في الـ corpus الخاص به، بقيمة α = 0.9252 للعربية وα = 0.9290 للإنجليزية. أول ما يجب فهمه هو لماذا قد يتوقع أحد خطًا مستقيمًا أصلًا.

Write Zipf's law as an equation with a constant, f(R) = C · R^−α, and take the logarithm of both sides. A product becomes a sum and a power becomes a multiplier, which is the whole trick.

اكتب قانون Zipf كمعادلة فيها ثابت، f(R) = C · R^−α، وخذ اللوغاريتم للطرفين. يصبح الضرب جمعًا وتصبح القوة معاملًا مضروبًا، وهذه هي الحيلة كلها.

On axes that show log R and log f, this is the equation of a straight line with slope −α and intercept log C, which is log f(1) since log 1 = 0. The Stanford IR book states the special case directly: log cf_i = log c + k log i with k = −1. So the two fitted slopes on the slide, −0.9252 and −0.9290, are the exponents of the two Zipf fits, and the fact that they are nearly parallel says Arabic and English share the same kind of head-and-tail shape.

على محاور تعرض log R وlog f، هذه معادلة خط مستقيم ميله −α ومقطعه log C، وهو يساوي log f(1) لأن log 1 = 0. ويذكر كتاب Stanford IR الحالة الخاصة مباشرة: log cf_i = log c + k log i مع k = −1. إذن الميلان الملائمان في الشريحة، −0.9252 و−0.9290، هما أسّا ملاءمتي Zipf، وكونهما متوازيين تقريبًا يعني أن العربية والإنجليزية تشتركان في النوع نفسه من شكل الرأس والذيل.

Two places where the real curve leaves the lineموضعان يبتعد فيهما المنحنى الحقيقي عن الخط

Look at the slide again and the solid curves do not follow the dashed lines everywhere. They deviate in two characteristic ways, and both are diagnostic rather than noise. At the head, the curve is flatter than the power law: the top few words are common, but the drop from rank 1 to rank 10 is smaller than R^−α demands. This is the same shortfall the Tom Sawyer table showed: f × R was 3,332 for "the" against 8,000 to 10,000 further down, and it is why Mandelbrot added the shift term (R + ρ).

انظر إلى الشريحة مرة أخرى وستجد أن المنحنيات المتصلة لا تتبع الخطوط المتقطعة في كل مكان. فهي تنحرف بطريقتين مميزتين، وكلتاهما تشخيصية وليست ضجيجًا. عند الرأس يكون المنحنى أكثر انبساطًا من قانون القوة: الكلمات القليلة الأولى شائعة، لكن الهبوط من الرتبة 1 إلى الرتبة 10 أصغر مما يتطلبه R^−α. وهذا هو النقص نفسه الذي أظهره جدول Tom Sawyer: كان f × R يساوي 3,332 لـ "the" مقابل 8,000 إلى 10,000 في أسفل القائمة، وهذا سبب إضافة Mandelbrot لحد الإزاحة (R + ρ).

How that flat head looks on a plot depends on where the line is anchored. On slide 12 both fits pass through f(1). The blue English curve bulges slightly above the purple line only for ranks 2 to about 15, then runs just under it. The Arabic curves behave differently: they dip below the red line for ranks 3 to about 50 and cross back above it. At Wikipedia scale the head deviation is small, and the head is not uniformly flatter. The flat head is clearest in small texts such as Tom Sawyer and the explorer's sample; on slide 12 the dominant departure is the tail.

يتوقف شكل هذا الرأس المنبسط على الرسم على مكان تثبيت الخط. في الشريحة 12 تمر الملاءمتان كلتاهما عبر f(1). ينتفخ المنحنى الإنجليزي الأزرق قليلًا فوق الخط البنفسجي في الرتب من 2 إلى نحو 15 فقط، ثم يسير تحته مباشرة. أما المنحنيات العربية فتتصرف بشكل مختلف: تنخفض تحت الخط الأحمر في الرتب من 3 إلى نحو 50 ثم تعبر عائدة فوقه. على مقياس Wikipedia يكون انحراف الرأس صغيرًا، والرأس ليس أكثر انبساطًا بشكل منتظم. ويظهر الرأس المنبسط بأوضح صورة في النصوص الصغيرة مثل Tom Sawyer وعينة المستكشف (explorer)؛ أما في الشريحة 12 فالانحراف الغالب هو الذيل.

At the tail, beyond about rank 10^4, the curves steepen sharply below both lines and then turn into a staircase with horizontal steps at frequencies 3, 2 and 1, stretching out to about rank 2 × 10^6 for Arabic. The reason is that a frequency is a count, and counts are integers. There is no word that occurs 1.5 times. If 400,000 types each occur exactly once, they occupy 400,000 consecutive ranks at height f = 1, which draws as one long flat step. The step at f = 2 is shorter because fewer types occur exactly twice, and so on upward until the counts are large enough that adjacent ranks rarely share a value and the curve looks smooth. The bottom step is the longest because types seen once are the largest single group, the hapax legomena that concept four returns to.

عند الذيل، بعد الرتبة 10^4 تقريبًا، تنحدر المنحنيات بحدة تحت الخطين كليهما ثم تتحول إلى درج له درجات أفقية عند التكرارات 3 و2 و1، ممتدة حتى الرتبة 2 × 10^6 تقريبًا في العربية. والسبب أن التكرار عدد، والأعداد صحيحة. لا توجد كلمة تظهر 1.5 مرة. فإذا ظهر 400,000 نوع كل منها مرة واحدة بالضبط، فإنها تحتل 400,000 رتبة متتالية على الارتفاع f = 1، فتُرسم كدرجة مسطحة طويلة واحدة. والدرجة عند f = 2 أقصر لأن الأنواع التي تظهر مرتين بالضبط أقل عددًا، وهكذا صعودًا حتى تصبح الأعداد كبيرة بما يكفي فلا تتشارك الرتب المتجاورة القيمة نفسها إلا نادرًا، فيبدو المنحنى ناعمًا. والدرجة السفلى هي الأطول لأن الأنواع التي ظهرت مرة واحدة هي أكبر مجموعة منفردة، وهي الـ hapax legomena التي يعود إليها المفهوم الرابع.

One more thing the slide shows without saying it. In the tail, the Arabic curves sit above the English one: at any low count, Arabic has more types occurring at least that often. Templatic morphology and attached clitics mean that a single Arabic lexeme surfaces as many distinct spelled forms, each of which is a separate type for a whitespace tokenizer. That is a preview of the next concept, where the same fact shows up as a larger k in Heaps' law.

شيء آخر تُظهره الشريحة دون أن تقوله. في الذيل تقع المنحنيات العربية فوق المنحنى الإنجليزي: عند أي عدد منخفض، يكون لدى العربية أنواع أكثر تظهر بذلك العدد على الأقل. فالصرف القالبي (templatic morphology) واللواحق المتصلة (clitics) تجعل الوحدة المعجمية (lexeme) العربية الواحدة تظهر بأشكال إملائية كثيرة مختلفة، وكل منها نوع مستقل بالنسبة لـ tokenizer يقسّم على المسافات. وهذا تمهيد للمفهوم التالي، حيث تظهر الحقيقة نفسها كقيمة k أكبر في قانون Heaps.

Zipf describes a Corpus frozen at one size. Now let the corpus grow. Read the first thousand words of Pride and Prejudice and you meet 361 distinct types. After ten thousand words the count is 1,698; after fifty thousand, 4,304; at the end of the novel, 123,627 tokens have produced 6,298 types. Each new stretch of text adds fewer new words than the last, but it never adds none. The same pattern holds across corpora of every size.

يصف Zipf corpus مجمّدًا عند حجم واحد. الآن دع الـ corpus ينمو. اقرأ أول ألف كلمة من Pride and Prejudice فتصادف 361 types مختلفة. بعد عشرة آلاف كلمة يصبح العدد 1,698، وبعد خمسين ألفًا 4,304، وفي نهاية الرواية تكون 123,627 tokens قد أنتجت 6,298 نوعًا. كل مقطع جديد من النص يضيف كلمات جديدة أقل مما أضافه سابقه، لكنه لا يتوقف عن الإضافة أبدًا. والنمط نفسه يتكرر في corpora من كل الأحجام.

The rule behind these numbers is Heaps' law, also called Herdan's law after the linguist who described it in 1960, nearly two decades before Heaps (1978). The Vocabulary size is a power of the token count, with an exponent strictly between zero and one.

القاعدة خلف هذه الأرقام هي Heaps' law، ويُسمى أيضًا قانون Herdan نسبة إلى اللغوي الذي وصفه عام 1960، قبل Heaps (1978) بنحو عقدين. حجم المفردات (vocabulary) قوة لعدد الـ tokens، بأس يقع بين الصفر والواحد حصرًا.

The two halves of the constraint on β say two different things. Because β < 1, growth is sublinear: doubling the corpus does not double the vocabulary. Because β > 0, growth is unbounded: the derivative d|V| / dN = k β N^(β − 1) is positive for every N, so the curve keeps rising however far you extend it. SLP3 phrases the second half bluntly: no matter how big our vocabulary, we will never have a vocabulary that captures all the possible words that might occur.

نصفا القيد على β يقولان شيئين مختلفين. لأن β < 1، يكون النمو أبطأ من الخطي (sublinear): مضاعفة الـ corpus لا تضاعف المفردات. ولأن β > 0، يكون النمو غير محدود: المشتقة d|V| / dN = k β N^(β − 1) موجبة لكل N، فيستمر المنحنى في الصعود مهما مددته. ويصوغ SLP3 النصف الثاني بصراحة: مهما كبرت مفرداتنا، فلن نحصل أبدًا على مفردات تلتقط كل الكلمات الممكنة التي قد تظهر.

The slide's three fits, and what the constants meanملاءمات الشريحة الثلاث، وماذا تعني الثوابت

Slide 14 fits the law to the same three corpora as before and reports k and β for each. The constants are worth reading as a pair. k is a multiplicative scale (the predicted |V| at N = 1) that shifts the whole curve up, and β sets the slope on log-log axes: the ratio between two corpus sizes, (N2 / N1)^β, depends on β alone. Plugging in three corpus sizes makes the comparison concrete.

تلائم الشريحة 14 القانون على الـ corpora الثلاثة نفسها كما سبق، وتذكر k وβ لكل منها. ويستحق الثابتان أن يُقرآ كزوج. k معامل قياس ضربي (قيمة |V| المتوقعة عند N = 1) يرفع المنحنى كله، وβ يحدد الميل على المحورين اللوغاريتميين: النسبة بين حجمين للـ corpus، (N2 / N1)^β، تعتمد على β وحدها. والتعويض بثلاثة أحجام للـ corpus يجعل المقارنة ملموسة.

Now compare languages. At a million tokens Arabic Wikipedia reaches 115,672 types, about two and a half times the English figure, and undotted Arabic reaches 98,312. Arabic gets there because of its k, 73 against 15: templatic morphology and attached clitics such as wa-, bi- and -hu multiply the surface forms of every lexeme, so the vocabulary is large from the very first pages. Its β is lower, though, so the curve bends sooner: a hundredfold larger corpus multiplies the English vocabulary by 100^0.583 ≈ 14.7 but the Arabic vocabulary by only 100^0.533 ≈ 11.6. Removing the dots collapses distinct letters into one shape, and the fit agrees that this shrinks the vocabulary: undotted Arabic is below dotted Arabic at every size in the table. Its larger k (90 against 73) is offset by its smaller β, and the two curves cross below about 2,400 tokens, so k alone never tells you which vocabulary is bigger; evaluate k N^β at the N you care about. Parts 03 and 04 explain the morphology.

قارن الآن بين اللغات. عند مليون token تصل Wikipedia العربية إلى 115,672 نوعًا، أي نحو مرتين ونصف قيمة الإنجليزية، وتصل العربية غير المنقوطة إلى 98,312. وتصل العربية إلى ذلك بسبب قيمة k لديها، 73 مقابل 15: فـ الصرف القالبي (templatic morphology) واللواحق المتصلة (clitics) مثل wa- وbi- و-hu تضاعف الأشكال السطحية لكل وحدة معجمية، فتكون المفردات كبيرة منذ الصفحات الأولى. لكن β لديها أقل، فينحني المنحنى أبكر: corpus أكبر بمئة مرة يضرب المفردات الإنجليزية في 100^0.583 ≈ 14.7 لكنه يضرب المفردات العربية في 100^0.533 ≈ 11.6 فقط. وإزالة النقاط تدمج حروفًا مختلفة في شكل واحد، والملاءمة تؤكد أن هذا يقلّص المفردات: العربية غير المنقوطة أدنى من العربية المنقوطة عند كل حجم في الجدول. وقيمة k الأكبر لديها (90 مقابل 73) يعوّضها β الأصغر، ويتقاطع المنحنيان تحت 2,400 token تقريبًا، لذا فإن k وحدها لا تخبرك أبدًا أي المفردات أكبر؛ احسب k N^β عند قيمة N التي تهمك. ويشرح الجزءان 03 و04 الصرف.

Typical values, and how the slide comparesالقيم المعتادة، وأين تقع منها قيم الشريحة

The constants reported across five reference points are easiest to read side by side.

الثوابت المذكورة عبر خمس نقاط مرجعية أسهل قراءة عندما توضع جنبًا إلى جنب.

SLP3 summarizes the law as vocabulary growing a little faster than the square root of the corpus length in words, with β depending on corpus size and genre. The Arabic exponents, 0.533 and 0.506, fall inside SLP3's 0.44 to 0.56 band; the English 0.583 is just above it, which SLP3's "or even higher" allows. The English k of 14.9 is on the low side, which is what you get when a fit trades a smaller k for a larger β; the two constants are not independent estimates.

يلخّص SLP3 القانون بأن المفردات تنمو أسرع قليلًا من الجذر التربيعي لطول الـ corpus بالكلمات، مع اعتماد β على حجم الـ corpus ونوعه (genre). الأسّان العربيان، 0.533 و0.506، يقعان داخل نطاق SLP3 من 0.44 إلى 0.56؛ أما الأس الإنجليزي 0.583 فهو فوقه بقليل، وهو ما تسمح به عبارة SLP3 "or even higher" (أو حتى أعلى). وقيمة k الإنجليزية 14.9 في الجانب المنخفض، وهذا ما تحصل عليه عندما تقايض الملاءمة k أصغر بـ β أكبر؛ فالثابتان ليسا تقديرين مستقلين.

Put the two laws together and a design problem falls out. In Tom Sawyer, 3,993 of the 8,018 types occur exactly once, which is 49.8%. In the three chapters of Pride and Prejudice inside the explorer, 475 of 845 types occur once, or 56%. A type seen exactly once is a Hapax legomenon, from the Greek for "read only once", and in corpus after corpus these are about half of everything a model must store.

اجمع القانونين معًا فتبرز مشكلة تصميمية. في Tom Sawyer، 3,993 من أصل 8,018 نوعًا تظهر مرة واحدة بالضبط، أي 49.8%. وفي الفصول الثلاثة من Pride and Prejudice داخل المستكشف، 475 من 845 نوعًا تظهر مرة واحدة، أي 56%. النوع الذي يُرى مرة واحدة بالضبط هو hapax legomenon، من اليونانية بمعنى "قُرئ مرة واحدة فقط"، وفي corpus تلو الآخر تشكّل هذه الأنواع نحو نصف كل ما يجب أن يخزّنه النموذج.

That one half is not a coincidence; it falls out of Zipf's law. With α = 1, the type at rank R has count C / R, so the number of types with count at least m is the rank at which the count drops to m, namely C / m. The types with count exactly m are then C / m − C / (m + 1) = C / (m (m + 1)), and dividing by the total C gives a share of 1 / (m (m + 1)): one half seen once, one sixth seen twice, one twelfth seen three times.

هذا النصف ليس مصادفة، فهو ينتج من قانون Zipf. مع α = 1، يكون عدد مرات ظهور النوع في الرتبة R هو C / R، لذا فعدد الأنواع التي يبلغ عددها m على الأقل هو الرتبة التي ينخفض عندها العدد إلى m، أي C / m. والأنواع التي عددها m بالضبط تكون إذن C / m − C / (m + 1) = C / (m (m + 1))، والقسمة على المجموع C تعطي حصة 1 / (m (m + 1)): النصف يُرى مرة واحدة، والسدس مرتين، وواحد من اثني عشر ثلاث مرات.

Baayen (2001) develops this connection between the frequency spectrum and vocabulary growth in full, and it is why the bottom step of the staircase on slide 12 is the longest.

يطوّر Baayen (2001) هذه الصلة بين طيف التكرار (frequency spectrum) ونمو المفردات بالتفصيل، وهي السبب في أن الدرجة السفلى من الدرج في الشريحة 12 هي الأطول.

Slides 15 and 16 list the consequences, and they form a chain rather than a list. Start with size. Heaps' law says a word-level Vocabulary on a large corpus runs to hundreds of thousands or millions of types, and every one of them needs a row in an embedding matrix and a column in the output softmax. Memory grows with |V| × d, where d is the embedding width. Then comes sparsity, which is Zipf's contribution: since half of those types belong to hapax legomena, half of the parameters in that matrix have been trained on a single example. Whatever the model learned about "applausive" it learned from one sentence.

تسرد الشريحتان 15 و16 العواقب، وهي تشكّل سلسلة لا قائمة. ابدأ بالحجم. يقول قانون Heaps إن المفردات (vocabulary) على مستوى الكلمة لـ corpus كبير تبلغ مئات الآلاف أو ملايين الأنواع، وكل منها يحتاج صفًا في مصفوفة الـ embeddings وعمودًا في الـ softmax الخاص بالمخرجات. تنمو الذاكرة مع |V| × d، حيث d عرض الـ embedding. ثم تأتي الندرة (sparsity)، وهي إسهام Zipf: بما أن نصف تلك الـ types من الـ hapax legomena، فنصف المعاملات في تلك المصفوفة دُرّبت على مثال واحد. فكل ما تعلمه النموذج عن "applausive" تعلّمه من جملة واحدة.

Next comes the guarantee. Because Heaps' law has a positive derivative at every N, any finite training corpus stops somewhere on a curve that is still rising. New text therefore always contains types that were never seen, and those types are out-of-vocabulary. This is not a defect of a small corpus that a bigger one would cure; a bigger corpus only pushes the OOV rate down along the same curve, never to zero. Finally, evaluation inherits the problem. Earlier SLP3 drafts warned that mapping unseen words to an <UNK> special token lets a model buy a lower perplexity simply by choosing a smaller vocabulary, since more of the test set collapses onto one easy symbol. The current chapter 3 sidesteps the issue by making the vocabulary subword tokens, so that, in its words, the test set can never contain unseen tokens.

ثم يأتي الضمان. لأن قانون Heaps له مشتقة موجبة عند كل N، فإن أي corpus تدريب محدود يتوقف عند نقطة ما على منحنى ما زال صاعدًا. لذلك يحتوي النص الجديد دائمًا على أنواع لم تُرَ من قبل، وتكون هذه الأنواع خارج المفردات (out-of-vocabulary). وهذا ليس عيبًا في corpus صغير يعالجه corpus أكبر؛ فالـ corpus الأكبر لا يفعل سوى دفع معدل الـ OOV إلى الأسفل على المنحنى نفسه، دون أن يوصله إلى الصفر أبدًا. وأخيرًا، يرث التقييم المشكلة. حذّرت مسودات SLP3 السابقة من أن ربط الكلمات غير المرئية بـ <UNK> بوصفه special token يسمح للنموذج بشراء perplexity أقل بمجرد اختيار مفردات أصغر، لأن جزءًا أكبر من مجموعة الاختبار ينهار على رمز واحد سهل. ويتجنب الفصل 3 الحالي المسألة بجعل المفردات subword tokens، بحيث لا يمكن لمجموعة الاختبار، بحسب عبارته، أن تحتوي أبدًا على tokens غير مرئية.

• Huge word-level vocabularies: memory in the embedding and output layers scales with |V|.مفردات ضخمة على مستوى الكلمة: الذاكرة في طبقتي الـ embedding والمخرجات تتناسب مع |V|.
• Sparsity: about half of all types are hapax legomena, so about half of the rows have one training example.الندرة (sparsity): نحو نصف الأنواع hapax legomena، لذا فنحو نصف الصفوف لها مثال تدريبي واحد.
• Guaranteed OOV: Heaps' law keeps rising, so new text always brings unseen types.OOV مضمون: منحنى قانون Heaps يظل صاعدًا، فالنص الجديد يأتي دائمًا بأنواع غير مرئية.
• Evaluation sensitivity: mapping unseen words to <UNK> changes what a perplexity number means.حساسية التقييم: ربط الكلمات غير المرئية بـ <UNK> يغيّر معنى رقم الـ perplexity.

Two answers to the same problemإجابتان عن المشكلة نفسها

The two families of language model respond to the chain at different points. N-gram models keep the word as the unit and repair the probability estimate: smoothing moves a little probability mass from seen events to unseen ones, and backoff falls back to a shorter context when the longer one was never observed. Lecture 3 and SLP3 chapter 3 develop both. Neural models change the unit instead. With Subword tokenization, learned by byte-pair encoding as Sennrich, Haddow and Birch showed for machine translation in 2016, a word never seen in training is spelled out of pieces that were, and with byte-level fallback there is nothing left that cannot be represented. The vocabulary becomes a design choice of tens of thousands of units rather than a fact about the corpus, which is exactly the trade part 6 examines.

تستجيب عائلتا نماذج اللغة للسلسلة عند نقطتين مختلفتين. نماذج الـ n-gram تُبقي الكلمة وحدةً وتُصلح تقدير الاحتمال: الـ smoothing ينقل قليلًا من كتلة الاحتمال من الأحداث المرئية إلى غير المرئية، والـ backoff يرجع إلى سياق أقصر عندما لا يكون السياق الأطول قد شوهد. وتطوّر المحاضرة 3 والفصل 3 من SLP3 كليهما. أما النماذج العصبية فتغيّر الوحدة نفسها. مع subword tokenization، المتعلَّم عبر byte-pair encoding كما بيّن Sennrich وHaddow وBirch للترجمة الآلية عام 2016، تُهجّى الكلمة التي لم تُرَ في التدريب من قطع رُئيت فيه، ومع الرجوع إلى مستوى البايت (byte-level fallback) لا يبقى شيء لا يمكن تمثيله. وتصبح المفردات خيارًا تصميميًا من عشرات الآلاف من الوحدات بدلًا من أن تكون حقيقة مفروضة من الـ corpus، وهذه بالضبط المقايضة التي يدرسها الجزء 6.

The word cats has four letters but only two units of meaning: cat, the animal, and -s, the signal that there is more than one. The word unhappiness has three: un- for negation, happy for the core idea, and -ness to turn the adjective into a noun. Each of those units is a Morpheme: the smallest unit that carries meaning or a grammatical function. Jurafsky and Martin put it in one line: a morpheme is a minimal meaning-bearing unit in a language, so fox is one morpheme while cats is two (SLP3, section 2.2).

كلمة cats فيها أربعة أحرف لكن فيها وحدتي معنى فقط: cat، أي الحيوان، و-s، العلامة التي تدل على أن العدد أكثر من واحد. وكلمة unhappiness فيها ثلاث وحدات: un- للنفي، وhappy للفكرة الأساسية، و-ness لتحويل الصفة إلى اسم. كل وحدة من هذه الوحدات هي morpheme (مورفيم): أصغر وحدة تحمل معنى أو وظيفة نحوية. يلخصها Jurafsky وMartin في سطر واحد: المورفيم هو أصغر وحدة حاملة للمعنى في اللغة، فكلمة fox مورفيم واحد بينما cats مورفيمان (SLP3، القسم 2.2).

Try the segmentation before the theory. In SLP3 the sentence Doc worked carefully washing the glasses is cut as Doc work-ed care-ful-ly wash-ing the glass-es. Every hyphen marks a boundary where one meaning stops and another begins. Doc and the are single morphemes; carefully is three. Notice what the cuts are not: they are not syllables, and they are not places where the spelling changes. They are places where meaning changes.

جرّب التقسيم قبل النظرية. في SLP3 تُقطَّع الجملة Doc worked carefully washing the glasses هكذا: Doc work-ed care-ful-ly wash-ing the glass-es. كل شرطة تحدد حدًّا ينتهي عنده معنى ويبدأ معنى آخر. Doc وthe كل منهما مورفيم واحد، أما carefully فثلاثة. لاحظ ما ليست عليه هذه القطوع: ليست مقاطع صوتية (syllables)، وليست مواضع يتغير فيها الإملاء. إنها مواضع يتغير فيها المعنى.

Free and boundالحرّ والمقيّد

The first sorting of morphemes is by independence. A free morpheme can occur by itself as a word: cat, walk, happy. A bound morpheme never occurs alone and is always attached to some other morpheme, the way -s in dogs is (SIL Glossary of Linguistic Terms). Bound morphemes are the affixes: every un-, -ed, -ing and -ness you will ever segment. The test is simple. Could you say it on its own and be understood? happy, yes. ness, no.

أول تصنيف للمورفيمات يكون بحسب الاستقلال. المورفيم الحرّ (free morpheme) يمكن أن يأتي وحده كلمةً: cat، walk، happy. أما المورفيم المقيّد (bound morpheme) فلا يأتي وحده أبدًا، بل يكون دائمًا ملتصقًا بمورفيم آخر، كما هو حال -s في dogs (SIL Glossary of Linguistic Terms). المورفيمات المقيّدة هي affixes (اللواصق): كل un- و-ed و-ing و-ness ستقسّمها يومًا. الاختبار بسيط: هل تستطيع أن تنطقه وحده فيُفهم؟ happy، نعم. ness، لا.

Roots, stems and affixesالجذور والسيقان واللواصق

The second sorting is by job. SLP3 divides the morphemes of a word into roots, the central morpheme supplying the main meaning, and affixes, which add meanings of various kinds: in worked, work is the root and -ed the affix; in glasses, glass is the root and -es the affix (SLP3, section 2.2). The root is the core lexical material, and in English it is usually a free morpheme.

التصنيف الثاني يكون بحسب الوظيفة. يقسم SLP3 مورفيمات الكلمة إلى roots (جذور)، وهي المورفيم المركزي الذي يقدم المعنى الرئيسي، وإلى لواصق (affixes) تضيف معاني من أنواع مختلفة: في worked الجذر هو work واللاصقة -ed؛ وفي glasses الجذر glass واللاصقة -es (SLP3، القسم 2.2). الجذر هو المادة المعجمية الأساسية، وفي الإنجليزية يكون غالبًا مورفيمًا حرًّا.

The lecture adds a third word that students often blur into root: the Stem. A stem is the inflectable base, the thing the grammatical endings attach to. In a simple word like walk the root and the stem are the same string, which is why one slide writes them as root/stem. They come apart once a derived word is inflected. In unhappinesses the root is happy, the core of the meaning, but the plural -es attaches to the whole stem unhappiness. The root is what the word is about; the stem is what the grammar sees.

تضيف المحاضرة كلمة ثالثة كثيرًا ما يخلطها الطلاب بالجذر: الـ stem (الساق). الساق هو القاعدة القابلة للتصريف، أي الشيء الذي تلتصق به النهايات النحوية. في كلمة بسيطة مثل walk يكون الجذر والساق السلسلة نفسها، ولهذا تكتبهما إحدى الشرائح root/stem. ويفترقان عندما تُصرَّف كلمة مشتقة. في unhappinesses الجذر هو happy، لبّ المعنى، لكن علامة الجمع -es تلتصق بالساق كاملًا unhappiness. الجذر هو ما تتحدث عنه الكلمة، والساق هو ما يراه النحو.

Affixes are then named by where they sit. A prefix goes before the stem (un-). A suffix goes after it (-ed, -ing). An infix is inserted inside the stem, and a circumfix wraps around it in two parts at once. Both are rare or absent in English. The standard textbook circumfix is the German past participle, as in ge-spiel-t, played, where ge- and -t together express one meaning (Haspelmath and Sims, chapter 2), and the usual English illustration of infixation is the jokey abso-bloody-lutely. Keep these two as illustrations; the slide only says they exist and are rare. Compounding is different again: it joins two roots without any affix, so snowman is snow plus man and laptop is lap plus top, two free morphemes in one word.

ثم تُسمّى اللواصق بحسب موضعها. السابقة (prefix) تأتي قبل الساق (un-). واللاحقة (suffix) تأتي بعده (-ed، -ing). والداخلة (infix) تُدرج داخل الساق، والمحيطة (circumfix) تلتف حوله بجزأين في الوقت نفسه. وكلتاهما نادرة أو غير موجودة في الإنجليزية. المثال القياسي في الكتب على الـ circumfix هو اسم المفعول الماضي في الألمانية، كما في ge-spiel-t، أي "لُعِب"، حيث يعبّر ge- و-t معًا عن معنى واحد (Haspelmath وSims، الفصل 2)، والمثال الإنجليزي المعتاد على الـ infixation هو الكلمة المازحة abso-bloody-lutely. احتفظ بهذين على أنهما مجرد توضيح؛ فالشريحة تقول فقط إنهما موجودان ونادران. أما Compounding (التركيب) فشيء مختلف: يضم جذرين دون أي لاصقة، فـ snowman هي snow زائد man، وlaptop هي lap زائد top، أي مورفيمان حرّان في كلمة واحدة.

Arabic roots: a skeleton, not a stringالجذور العربية: هيكل، لا سلسلة متصلة

Everything above assumed the root is a contiguous piece of the word. Arabic breaks that assumption, and it is the reason this part matters so much for your work. The Arabic root for writing is K-T-B, the three consonants ك ت ب. Those three letters never appear next to each other as a word. Instead they are slots, and a pattern of vowels and sometimes extra consonants is threaded between them. The same root with three patterns gives kataba كَتَبَ he wrote, kitāb كِتَاب book, and kātib كَاتِب writer. Look at the Arabic script, where the radicals are highlighted: ك, ت, ب keep their order in every form, and only the short-vowel marks and the long vowel ا between them change.

كل ما سبق افترض أن الجذر قطعة متصلة من الكلمة. العربية تكسر هذا الافتراض، وهذا هو السبب في أن هذا الجزء مهم جدًا لعملك. جذر الكتابة في العربية هو K-T-B، أي الحروف الصامتة الثلاثة ك ت ب. هذه الحروف الثلاثة لا تظهر أبدًا متجاورة على أنها كلمة. بل هي خانات، يُنسج بينها وزن من الحركات وأحيانًا حروف صامتة إضافية. الجذر نفسه مع ثلاثة أوزان يعطي kataba كَتَبَ أي "هو كتب"، وkitāb كِتَاب أي الكتاب، وkātib كَاتِب أي الكاتب. انظر إلى الكتابة العربية حيث الحروف الأصلية مظلّلة: ك وت وب تحافظ على ترتيبها في كل صيغة، ولا يتغير بينها إلا علامات الحركات القصيرة وحرف المدّ ا.

This is Templatic morphology, also called root-and-pattern morphology. The root is an abstract consonantal skeleton, and actual words are formed by adding the vowels and non-root consonants that go with a particular morphological category around the root consonants (Wikipedia, Semitic root). Ryding's reference grammar treats the root and pattern as the two fundamental building blocks of an Arabic word: the root supplies the semantic field, the pattern supplies the grammatical and derivational shape (Ryding, chapter 3). You will see the mechanism itself in the third concept of this part; for now the point is that K-T-B is a root in exactly the sense defined above, core lexical material, but it is discontinuous.

هذا هو templatic morphology (الصرف القالبي)، ويسمى أيضًا صرف الجذر والوزن (root-and-pattern morphology). الجذر هيكل مجرد من الحروف الصامتة، وتتكوّن الكلمات الفعلية بإضافة الحركات والحروف غير الأصلية الخاصة بفئة صرفية معينة حول حروف الجذر (Wikipedia، Semitic root). وتعامل قواعد Ryding المرجعية الجذر والوزن على أنهما لبنتا البناء الأساسيتان للكلمة العربية: الجذر يقدم الحقل الدلالي، والوزن يقدم الشكل النحوي والاشتقاقي (Ryding، الفصل 3). سترى الآلية نفسها في المفهوم الثالث من هذا الجزء؛ أما الآن فالمقصود أن K-T-B جذر بالمعنى المعرَّف أعلاه تمامًا، أي مادة معجمية أساسية، لكنه متقطع.

Why NLP caresلماذا يهتم NLP بهذا

SLP3 names three candidates for what a Token should be: words, morphemes and characters (SLP3, section 2.4). Earlier it observes that because morphemes are hard to define consistently across languages, it is very difficult to use morphemes as a standard for Tokenization cross-lingually (SLP3, section 2.2). That difficulty is the whole reason subword tokenizers exist, and you will meet them later in this lecture. Arabic root-and-pattern words are the hard case: there is no contiguous substring that means writing shared between kataba, kitāb and kātib, so a tokenizer that only cuts strings cannot see that they are related.

يذكر SLP3 ثلاثة مرشحين لما يجب أن يكون عليه الـ token: الكلمات، والمورفيمات، والحروف (SLP3، القسم 2.4). وقبل ذلك يلاحظ أنه لأن تعريف المورفيمات بشكل متسق عبر اللغات صعب، فمن الصعب جدًا استخدام المورفيمات معيارًا لعملية tokenization عبر اللغات (SLP3، القسم 2.2). هذه الصعوبة هي السبب الكامل لوجود الـ subword tokenizers، وستقابلها لاحقًا في هذه المحاضرة. وكلمات الجذر والوزن العربية هي الحالة الصعبة: لا توجد سلسلة جزئية متصلة تعني "الكتابة" مشتركة بين kataba وkitāb وkātib، فالـ tokenizer الذي يقطع السلاسل فقط لا يستطيع أن يرى أنها مترابطة.

Open a dictionary. walk, walked and walks share one entry; the endings only tell you when the walking happened or who did it. happy and happiness get two entries: an adjective and a noun that names its quality. That single observation is the whole distinction between the two functions an Affix can have. Inflection marks grammar (tense, number, case, agreement) and usually keeps the same Lexeme (the slide's hedge, consistent with SLP3's continuum). Derivation creates a new lexeme, and often changes the part of speech.

افتح قاموسًا. walk وwalked وwalks تشترك في مدخل واحد؛ فالنهايات تخبرك فقط متى حدث المشي أو من قام به. أما happy وhappiness فلكل منهما مدخل: صفة، واسم يسمّي صفتها. هذه الملاحظة الواحدة هي كل الفرق بين الوظيفتين اللتين يمكن أن تؤديهما الـ affix (اللاصقة). الـ inflection (التصريف) يحدد الوظيفة النحوية (الزمن، العدد، الحالة الإعرابية، المطابقة) ويُبقي عادةً الـ lexeme (المفردة المعجمية) نفسها (كلمة "عادةً" تحفّظ من الشريحة، وهو متسق مع اعتبار SLP3 الأمر طيفًا متصلًا). أما الـ derivation (الاشتقاق) فيصنع مفردة معجمية جديدة، وكثيرًا ما يغيّر قسم الكلام.

SLP3 describes the two ends of the scale. Inflectional morphemes are grammatical morphemes that tend to play a syntactic role, such as marking agreement, the plural -s on nouns or the past tense -ed on verbs; they tend to be productive, often obligatory, and their meanings tend to be predictable. Derivational morphemes are more idiosyncratic in their application and meaning, usually apply only to a specific subclass of words, and result in a word of a different grammatical class than the Root, often with a meaning hard to predict exactly (SLP3, section 2.2). SLP3's own example is care, a noun, plus -ful giving an adjective, plus -ly giving an adverb: two derivations in a row, each moving the word to a new category.

يصف SLP3 طرفي المقياس. الـ morphemes التصريفية مورفيمات نحوية تميل إلى أداء دور تركيبي (syntactic)، مثل تحديد المطابقة، أو علامة الجمع -s على الأسماء، أو علامة الماضي -ed على الأفعال؛ وهي تميل إلى أن تكون منتجة (productive)، وكثيرًا ما تكون إلزامية، ومعانيها تميل إلى أن تكون متوقعة. أما المورفيمات الاشتقاقية فأكثر خصوصية في استعمالها ومعناها، وتنطبق عادةً على فئة فرعية محددة من الكلمات فقط، وتنتج كلمة من فئة نحوية مختلفة عن الـ root، وكثيرًا ما يصعب توقع معناها بدقة (SLP3، القسم 2.2). ومثال SLP3 نفسه هو care، وهو اسم، تضاف إليه -ful فيصبح صفة، ثم -ly فيصبح ظرفًا: اشتقاقان متتاليان، كل منهما ينقل الكلمة إلى قسم كلام جديد.

The English slide examples line up with that. walk to walk-ed and walk-s is inflection: every regular verb takes these endings, the meaning is exactly past tense (or past participle) or third person singular, and the word stays a verb. happy to happi-ness is derivation: -ness attaches mainly to adjectives, not every adjective takes it comfortably, and the result is a noun.

أمثلة الشريحة الإنجليزية تتفق مع ذلك. من walk إلى walk-ed وwalk-s تصريف: كل فعل قياسي يأخذ هذه النهايات، والمعنى هو بالضبط الماضي (أو اسم المفعول) أو الغائب المفرد، والكلمة تبقى فعلًا. ومن happy إلى happi-ness اشتقاق: -ness تلتصق بالصفات أساسًا، وليست كل صفة تقبلها بسهولة، والنتيجة اسم.

Derivation with nothing addedاشتقاق دون إضافة أي شيء

Here is the case that catches people. The noun an email became the verb to email without any affix at all. Nothing was attached, the spelling did not change, and yet a new lexeme with a new part of speech now exists. This is Conversion (zero derivation), also called zero derivation: the creation of a word of a new part of speech from an existing word of a different part of speech without any change in form (Wikipedia, Conversion). It is derivation by the test that matters, a new dictionary entry, even though there is no morpheme to point at.

هذه هي الحالة التي يقع فيها الناس. الاسم an email أصبح الفعل to email دون أي لاصقة على الإطلاق. لم يُضف شيء، ولم يتغير الإملاء، ومع ذلك صارت هناك مفردة معجمية جديدة بقسم كلام جديد. هذا هو الـ conversion (التحويل)، ويسمى أيضًا الاشتقاق الصفري (zero derivation): صنع كلمة من قسم كلام جديد من كلمة موجودة من قسم كلام آخر دون أي تغيير في الشكل (Wikipedia، Conversion). إنه اشتقاق بحسب الاختبار المهم، أي وجود مدخل جديد في القاموس، رغم أنه لا يوجد مورفيم تشير إليه.

The same two functions in Arabicالوظيفتان نفسهما في العربية

Arabic uses both functions too, and the slide picks an example of each. Inflection: katab-tu كَتَبْتُ I wrote is the Stem katab plus the suffix -tu, which marks first person singular past. The lexeme is still the verb to write; only who and when changed. Wikipedia's overview of Arabic verbs confirms katabtu as I wrote and notes that person, gender, number, tense, mood and voice are specified by changes to the vowels between the consonants along with prefixes or suffixes (Wikipedia, Arabic verbs). Derivation: kitāb كِتَاب book and kātib كَاتِب writer share the root K-T-B but are two lexemes, a noun for the object and an agent noun for the person, made by choosing two different patterns. Do not read a division of labour into that pair. The slide's inflection example happens to use a suffix and its derivation example a pattern, but Arabic uses both mechanisms for both jobs: the broken plural kutub كُتُب books inflects kitāb by changing the pattern alone, and maktab مَكْتَب office derives a place noun with the maCCaC pattern, whose ma- sits in front of the root like a prefix.

العربية تستخدم الوظيفتين أيضًا، والشريحة تختار مثالًا لكل منهما. التصريف: katab-tu كَتَبْتُ أي "كتبتُ" هي الـ stem katab زائد اللاحقة -tu التي تدل على المتكلم المفرد في الماضي. المفردة المعجمية ما زالت فعل الكتابة؛ لم يتغير إلا من فعل ومتى. وعرض Wikipedia للأفعال العربية يؤكد أن katabtu تعني "كتبتُ"، ويذكر أن الشخص والجنس والعدد والزمن والصيغة (mood) والبناء للمعلوم أو المجهول (voice) تُحدَّد بتغييرات في الحركات بين الحروف الصامتة مع سوابق أو لواحق (Wikipedia، Arabic verbs). الاشتقاق: kitāb كِتَاب أي الكتاب، وkātib كَاتِب أي الكاتب، يشتركان في الجذر K-T-B لكنهما مفردتان معجميتان، اسم للشيء واسم فاعل للشخص، صُنعتا باختيار وزنين مختلفين. لا تستنتج من هذا الزوج تقسيمًا للأدوار. صادف أن مثال الشريحة على التصريف يستخدم لاحقة ومثالها على الاشتقاق يستخدم وزنًا، لكن العربية تستخدم الآليتين للوظيفتين كلتيهما: جمع التكسير kutub كُتُب أي "كتب" يصرّف kitāb بتغيير الوزن وحده، وmaktab مَكْتَب أي المكتب يشتق اسم مكان بالوزن maCCaC، الذي تقع فيه ma- أمام الجذر كأنها سابقة.

Four tests to decideأربعة اختبارات للحكم

1. Lexeme: would a dictionary list the two forms under one entry? One entry means inflection.المفردة المعجمية (lexeme): هل يضع القاموس الصيغتين تحت مدخل واحد؟ المدخل الواحد يعني تصريفًا.
2. Category: did the part of speech change? A change points to derivation, though derivation can also keep it, as un-happy does.قسم الكلام (category): هل تغيّر قسم الكلام؟ التغيير يشير إلى الاشتقاق، مع أن الاشتقاق قد يُبقيه أيضًا، كما في un-happy.
3. Productivity: does the affix apply to essentially every word of its class with a predictable meaning? Every regular verb takes -ed; not every adjective takes -ness.الإنتاجية (productivity): هل تنطبق اللاصقة على كل كلمة من فئتها تقريبًا بمعنى متوقع؟ كل فعل قياسي يأخذ -ed؛ وليست كل صفة تأخذ -ness.
4. Position: inflection closes the word. In un-happi-ness-es the derivational pieces sit inside and the plural sits outside. Haspelmath and Sims describe this ordering as a strong cross-linguistic tendency (chapter 5).الموضع (position): التصريف يُغلق الكلمة. في un-happi-ness-es تقع القطع الاشتقاقية في الداخل وعلامة الجمع في الخارج. ويصف Haspelmath وSims هذا الترتيب بأنه نزعة قوية عبر اللغات (الفصل 5).

Take scissors to walked and you can cut it into walk and ed. Take scissors to sang and there is nowhere to cut: the past tense lives in the vowel, in the middle of the root, and no substring means past. Both words are past-tense Inflection. They differ not in function but in form. That is the second axis of this part, independent of the first: Concatenative morphology attaches segments in a line, and Non-concatenative morphology changes the inside of the word instead.

خذ مقصًّا إلى walked وستستطيع قصّها إلى walk وed. وخذ المقص إلى sang فلن تجد موضعًا للقص: زمن الماضي يسكن في الحركة، في وسط الجذر، ولا توجد سلسلة جزئية تعني "الماضي". الكلمتان كلتاهما inflection (تصريف) للماضي. وهما لا تختلفان في الوظيفة بل في الشكل. هذا هو المحور الثاني في هذا الجزء، وهو مستقل عن الأول: الـ concatenative morphology (الصرف التسلسلي) يضيف القطع متتالية في خط واحد، والـ non-concatenative morphology (الصرف غير التسلسلي) يغيّر داخل الكلمة بدلًا من ذلك.

Concatenative morphology covers everything you have segmented so far: a prefix before, a suffix after, or two roots side by side. cat-s, walk-ed, un-happy and snow-man are all built by placing one contiguous piece next to another. The pieces keep their shape, and you can recover them by cutting. Non-concatenative morphology is defined by what it lacks: word formation and inflection in which the Root is modified and which does not involve stringing morphemes together sequentially (Wikipedia, Nonconcatenative morphology). The slide groups it into internal change, templatic patterns and Suppletion.

الصرف التسلسلي يشمل كل ما قسّمته حتى الآن: سابقة قبل، أو لاحقة بعد، أو جذران جنبًا إلى جنب. cat-s وwalk-ed وun-happy وsnow-man كلها مبنية بوضع قطعة متصلة بجوار أخرى. القطع تحافظ على شكلها، وتستطيع استعادتها بالقص. أما الصرف غير التسلسلي فيُعرَّف بما ينقصه: بناء الكلمات والتصريف الذي يُعدَّل فيه الـ root ولا يتضمن ضمّ الـ morphemes بعضها إلى بعض بالتتابع (Wikipedia، Nonconcatenative morphology). والشريحة تجمعه في ثلاثة أنواع: التغيير الداخلي (internal change)، والـ templatic patterns (الأوزان القالبية)، والـ suppletion (الإبدال الكلي).

Concatenation taken to its limit: Turkishالتسلسل إلى أقصى حدوده: التركية

Turkish shows how far the concatenative strategy can go. The word evlerimden means from my houses, and it is four pieces in a row: ev-ler-im-den. Turkish is a highly agglutinative language, in that much of the grammar is expressed by means of suffixes added to nouns and verbs, and evlerden from the houses is analysed as ev house, -ler plural, -den ablative (Wikipedia, Turkish grammar). Adding the first person possessive -im between them gives the slide's form. Each suffix has a clean boundary and stays recognisable, which is what makes the word so easy to cut (one suffix, -im, still bundles person, number and possession, hence the periods in its gloss).

التركية تبيّن إلى أي حد يمكن أن تصل الاستراتيجية التسلسلية. كلمة evlerimden تعني "من بيوتي"، وهي أربع قطع في صف واحد: ev-ler-im-den. التركية لغة agglutinative (إلصاقية) إلى درجة عالية، بمعنى أن كثيرًا من النحو يُعبَّر عنه بلواحق تضاف إلى الأسماء والأفعال، وevlerden أي "من البيوت" تُحلَّل إلى ev بيت، و-ler جمع، و-den حالة الابتداء (ablative) (Wikipedia، Turkish grammar). وإضافة ضمير الملكية للمتكلم -im بينهما تعطي صيغة الشريحة. كل لاحقة لها حدّ واضح وتبقى قابلة للتمييز، وهذا ما يجعل قصّ الكلمة سهلًا جدًا (مع أن لاحقة واحدة، -im، ما زالت تجمع الشخص والعدد والملكية معًا، ولهذا توجد النقاط في تحليلها).

Three ways to change the insideثلاث طرق لتغيير الداخل

Internal change is the English strong-verb pattern. sing, sang, sung (and the noun song) differ only in the vowel of the root. This vowel alternation is called Ablaut, a system of regular vowel variations inherited from Proto-Indo-European (Wikipedia, Indo-European ablaut). The root and the tense are fused in one syllable; there is no -ed to remove.

التغيير الداخلي هو نمط الأفعال القوية (strong verbs) في الإنجليزية. sing وsang وsung (والاسم song) لا تختلف إلا في حركة الجذر. هذا التناوب في الحركة يسمى ablaut، وهو نظام من التغيرات المنتظمة في الحركات موروث من اللغة الهندية الأوروبية الأم (Proto-Indo-European) (Wikipedia، Indo-European ablaut). الجذر والزمن مندمجان في مقطع واحد؛ ولا توجد -ed لتنزعها.

Templatic patterns are the Arabic case from the first concept, now seen as a mechanism. The root ك ت ب stays fixed in order, and a template of vowels and extra consonants is woven through it: kataba كَتَبَ he wrote, kitāb كِتَاب book, kātib كَاتِب writer. The pieces of the pattern are not contiguous with each other and neither are the pieces of the root, so there is no cut that separates the two morphemes. Watch how the radicals never move while the material between them changes.

الأوزان القالبية هي الحالة العربية من المفهوم الأول، ونراها الآن آليةً. الجذر ك ت ب يبقى ثابت الترتيب، ويُنسج من خلاله قالب من الحركات والحروف الإضافية: kataba كَتَبَ أي "هو كتب"، وkitāb كِتَاب أي الكتاب، وkātib كَاتِب أي الكاتب. قطع الوزن ليست متصلة بعضها ببعض، وكذلك قطع الجذر، فلا يوجد قطع يفصل بين المورفيمين. لاحظ كيف أن الحروف الأصلية لا تتحرك أبدًا بينما تتغير المادة التي بينها.

Look closely at yaktubu يَكْتُبُ he writes, and you will see both mechanisms at once. The prefix ya- and the suffix -u are concatenative; the Stem shape -ktub-, with no vowel after k and u after t, the pattern CCuC woven through the radicals, is templatic. Arabic words are typically built by wrapping affixes around a root-and-pattern core, which is why an Arabic morphological analyzer has to do two different kinds of work.

تأمّل yaktubu يَكْتُبُ أي "هو يكتب"، وسترى الآليتين معًا. السابقة ya- واللاحقة -u تسلسليتان؛ أما شكل الـ stem -ktub-، بلا حركة بعد k وبـ u بعد t، أي الوزن CCuC المنسوج عبر الحروف الأصلية، فهو قالبي. الكلمات العربية تُبنى عادةً بلفّ affixes (لواصق) حول نواة من الجذر والوزن، ولهذا يحتاج المحلّل الصرفي العربي إلى أداء نوعين مختلفين من العمل.

Suppletion is the extreme case. The past tense of go is went, and no rule relates the two strings. Suppletion is the use of one word as the inflected form of another word when the two words are not cognates; went was originally the past tense of the verb wend (Wikipedia, Suppletion). Haspelmath and Sims treat it as the extreme case of allomorphy, where the two forms share no phonological material, and the slide lists it under non-concatenative because the outcome is the same: a grammatical change with no segment you can cut off. Suppletion also covers good to better.

الـ suppletion (الإبدال الكلي) هو الحالة القصوى. ماضي go هو went، ولا توجد قاعدة تربط السلسلتين. الإبدال الكلي هو استعمال كلمة صيغةً مصرَّفة لكلمة أخرى حين لا تكون الكلمتان من أصل واحد (cognates)؛ وwent كانت في الأصل ماضي الفعل wend (Wikipedia، Suppletion). ويعامله Haspelmath وSims على أنه الحالة القصوى من تعدد صور المورفيم (allomorphy)، حيث لا تشترك الصيغتان في أي مادة صوتية، والشريحة تضعه تحت غير التسلسلي لأن النتيجة واحدة: تغيير نحوي دون قطعة تستطيع قصّها. ويشمل الإبدال الكلي أيضًا good إلى better.

Two axes, not oneمحوران، لا محور واحد

Function and form are independent. walked and sang are both inflection; one is concatenative and one is not. happiness and kitāb are both Derivation; one is concatenative and one is templatic. When you analyse a form, answer both questions separately: what does the change do, and how is the change realised?

الوظيفة والشكل مستقلان. walked وsang كلتاهما تصريف؛ الأولى تسلسلية والثانية ليست كذلك. وhappiness وkitāb كلتاهما derivation (اشتقاق)؛ الأولى تسلسلية والثانية قالبية. عندما تحلّل صيغة ما، أجب عن السؤالين كلٍّ على حدة: ماذا يفعل التغيير، وكيف يتحقق التغيير؟

The form axis is the one that decides what a tokenizer can see. Subword tokenization methods such as Byte-pair encoding (BPE) work on contiguous substrings, so they approximate concatenative morphology well: walk can be shared between walked and walking because it is a substring of both. A discontinuous root like K-T-B is never a substring of anything, so the same tokenizer cannot share the writing meaning across kataba, kitāb and kātib. That is SLP3's cross-lingual difficulty made concrete, and it is the hook for most Arabic tokenization research.

محور الشكل هو الذي يحدد ما يستطيع الـ tokenizer أن يراه. طرق الـ subword tokenization مثل byte-pair encoding تعمل على سلاسل جزئية متصلة، ولذلك تقارب الصرف التسلسلي جيدًا: يمكن أن تكون walk مشتركة بين walked وwalking لأنها سلسلة جزئية من كلتيهما. أما الجذر المتقطع مثل K-T-B فليس سلسلة جزئية من أي شيء، فلا يستطيع الـ tokenizer نفسه أن يجعل معنى "الكتابة" مشتركًا بين kataba وkitāb وkātib. هذه هي الصعوبة عبر اللغات التي ذكرها SLP3 وقد صارت ملموسة، وهي المدخل لمعظم أبحاث الـ tokenization العربية.