Clitics and morphological typologyاللواحق المتصلة (Clitics) والتصنيف الصرفي

Start with an English sentence that Zwicky and Pullum (1983) use in section 2 of their paper: The person I was talking to's going to be angry. The 's is a reduced is, and it is hanging off the preposition to. Now vary the host: The ball you hit's just broken my window puts it on a verb, Any answer not entirely right's going to be marked on an adjective, The drive home tonight's been really easy on an adverb. One element, four host categories. It is a reduced auxiliary throughout, is in the first and third sentence and has in the second and fourth, and in every case it does exactly what the separate word is or has would do.

ابدأ بجملة إنجليزية يستخدمها Zwicky وPullum (1983) في القسم 2 من ورقتهما: The person I was talking to's going to be angry. الـ's هنا صيغة مختصرة من is، وهي معلّقة بحرف الجر to. غيّر الآن المضيف: الجملة The ball you hit's just broken my window تضعها على فعل، وAny answer not entirely right's going to be marked على صفة، وThe drive home tonight's been really easy على ظرف. عنصر واحد وأربع فئات من المضيفات. وهو فعل مساعد مختصر في كل الحالات، is في الجملتين الأولى والثالثة وhas في الثانية والرابعة، وفي كل حالة يؤدي بالضبط ما كانت ستؤديه الكلمة المستقلة is أو has.

Compare the plural -s of cats. It attaches to nouns and to nothing else, and it never does the job of a word: there is no sentence in which plural -s is the verb or the subject. That difference in behavior is what separates a Clitic from an Affix. Jurafsky and Martin define a clitic as "a morpheme that acts syntactically like a word but is reduced in form and attached (phonologically and sometimes orthographically) to another word" (SLP3, chapter 2). The two halves of that definition pull in opposite directions, which is why clitics are confusing: in the syntax they are words, in the sound stream they are part of a word.

قارن ذلك بلاحقة الجمع -s في cats. إنها تلتصق بالأسماء ولا شيء غيرها، ولا تؤدي أبدًا عمل كلمة: لا توجد جملة تكون فيها -s الجمع هي الفعل أو الفاعل. هذا الفرق في السلوك هو ما يفصل اللاحقة الكلامية clitic عن الزائدة الصرفية affix. يعرّف Jurafsky وMartin الـclitic بأنه «مورفيم يتصرف نحويًا ككلمة لكنه مختزل في شكله وملتصق (صوتيًا وأحيانًا كتابيًا) بكلمة أخرى» (SLP3، الفصل 2). نصفا هذا التعريف يشدّان في اتجاهين متعاكسين، ولهذا تربك اللواحق الكلامية الطلاب: في النحو هي كلمات، وفي سلسلة الأصوات هي جزء من كلمة.

Why spelling is not the testلماذا ليست الكتابة هي الاختبار

English happens to mark most clitics with an apostrophe (I'm, we've, possessive 's), and French does the same with l' in l'opéra. That is a writing convention, not a grammatical fact. Arabic writes every clitic solidly attached with no separator at all, so if attachment in writing were the criterion, Arabic would have no clitics and English would have almost none outside contractions. The slide's key sentence is worth memorizing verbatim: attachment in writing is not enough, use diagnostics.

تصادف أن الإنجليزية تميّز معظم لواحقها الكلامية بفاصلة علوية (I'm وwe've و's الملكية)، والفرنسية تفعل الشيء نفسه مع l' في l'opéra. هذا عُرف كتابي وليس حقيقة نحوية. العربية تكتب كل لاحقة كلامية ملتصقة تمامًا دون أي فاصل، فلو كان الالتصاق في الكتابة هو المعيار لما كان في العربية لواحق كلامية أصلًا، ولما كان في الإنجليزية إلا القليل خارج الاختصارات. الجملة المفتاحية في الشريحة تستحق الحفظ حرفيًا: الالتصاق في الكتابة لا يكفي، استخدم الاختبارات التشخيصية.

The diagnostics come from Zwicky and Pullum. Their first criterion is the one this course uses as the primary test, and they state it as: "Clitics can exhibit a low degree of selection with respect to their hosts, while affixes exhibit a high degree of selection with respect to their stems." This is Selectivity. In a footnote they give it as a ladder: an element that attaches to any word of a major class is least selective, then one that attaches only to verbs, then only to a subclass of verbs, then only to a few specified verbs. The further down the ladder, the more affix-like the element. The second test the slide names is paradigm membership: an affix fills one cell of a table of forms, a clitic does not. All six of their criteria are in the table below alongside the slide's two tests, and you should be able to name at least selectivity, arbitrary gaps and idiosyncrasy.

الاختبارات التشخيصية مأخوذة من Zwicky وPullum. معيارهما الأول هو ما يعتمده هذا المقرر اختبارًا أساسيًا، ويصوغانه هكذا: «يمكن أن تُظهر اللواحق الكلامية درجة منخفضة من الانتقاء تجاه مضيفاتها، بينما تُظهر الزوائد الصرفية درجة عالية من الانتقاء تجاه جذوعها». هذه هي الانتقائية selectivity. وفي حاشية يقدّمانها كسلّم: العنصر الذي يلتصق بأي كلمة من فئة رئيسية هو الأقل انتقائية، يليه ما يلتصق بالأفعال فقط، ثم بفئة فرعية من الأفعال فقط، ثم بعدد قليل من أفعال محددة فقط. كلما نزلت على السلّم صار العنصر أشبه بالزائدة الصرفية. الاختبار الثاني الذي تذكره الشريحة هو الانتماء إلى جدول التصريف (paradigm): الزائدة الصرفية تملأ خانة واحدة في جدول صيغ، واللاحقة الكلامية لا تفعل. معاييرهما الستة كلها في الجدول أدناه إلى جانب اختباري الشريحة، وينبغي أن تستطيع تسمية الانتقائية والفجوات الاعتباطية (arbitrary gaps) والشذوذ (idiosyncrasy) على الأقل.

Three Arabic cases and a fourth that refuses to settleثلاث حالات عربية ورابعة ترفض أن تُحسم

Arabic is where the test earns its keep, because the writing system gives you no hint. Take وَبِالْبَيْت, wa-bi-al-bayt, roughly "and in the house". The wa- is the conjunction "and" and the bi- is the preposition "with, by, in". Both are function words in the syntax, and both attach to whatever word begins the phrase: a noun here, a verb in wa-kataba, a pronoun, a particle. Lowest rung of the selectivity ladder, no paradigm. They are proclitics, clitics that lean forward onto the following word.

العربية هي المكان الذي يُثبت فيه الاختبار قيمته، لأن نظام الكتابة لا يعطيك أي تلميح. خذ وَبِالْبَيْت، wa-bi-al-bayt، أي تقريبًا «وفي البيت». الـwa- هي حرف العطف «و»، والـbi- هي حرف الجر «بـ، بواسطة، في». كلتاهما كلمة وظيفية في النحو، وكلتاهما تلتصق بأي كلمة تبدأ بها العبارة: اسم هنا، وفعل في wa-kataba، وضمير، وأداة. أدنى درجة على سلّم الانتقائية، ولا جدول تصريف. إنهما سابقتان كلاميتان proclitics، أي لواحق كلامية تستند إلى الأمام على الكلمة التالية.

Now كِتَابُهُ, kitāb-u-hu, "his book". The -u is the nominative case vowel, an inflectional ending. The -hu is the pronoun "he" in possessive position, and it is the possessor of the noun in the syntax. It attaches to nouns (kitāb-u-hu), to verbs as an object (kataba-hu, "he wrote it") and to prepositions (بِهِ, bi-hi, "with it"). Three host categories, a syntactic role of its own: an Enclitic, leaning backward onto the preceding word.

الآن كِتَابُهُ، kitāb-u-hu، «كتابه». الـ-u هي حركة الرفع، أي نهاية تصريفية. والـ-hu هي ضمير الغائب «هو» في موضع الملكية، وهي في النحو المالك للاسم (المضاف إليه). تلتصق بالأسماء (kitāb-u-hu)، وبالأفعال مفعولًا به (kataba-hu، «كتبه»)، وبحروف الجر (بِهِ، bi-hi، «به»). ثلاث فئات من المضيفات ودور نحوي خاص بها: إنها لاحقة كلامية خلفية enclitic، تستند إلى الخلف على الكلمة السابقة.

Finally كَتَبْتُ, katab-tu, "I wrote". The -tu also means something pronoun-like (first person singular), which is exactly what tempts students to call it a clitic. Apply the diagnostics. Selectivity: -tu attaches to verb stems and to nothing else. Paradigm: it is one cell of the perfective conjugation, next to -ta (you, masculine), -ti (you, feminine), -a (he) and -at (she). Syntactic role: it is subject agreement on the verb, and a separate subject pronoun can still appear alongside it. Every test says Inflection, so -tu is an inflectional affix on the Stem katab.

وأخيرًا كَتَبْتُ، katab-tu، «كتبتُ». الـ-tu تحمل هي أيضًا معنى يشبه الضمير (المتكلم المفرد)، وهذا بالضبط ما يغري الطلاب بتسميتها لاحقة كلامية. طبّق الاختبارات. الانتقائية: -tu تلتصق بجذوع الأفعال ولا شيء غيرها. جدول التصريف: هي خانة واحدة في تصريف الماضي، بجانب -ta (أنتَ) و-ti (أنتِ) و-a (هو) و-at (هي). الدور النحوي: هي مطابقة للفاعل على الفعل، ويمكن أن يظهر معها ضمير فاعل منفصل. كل الاختبارات تقول تصريف inflection، لذلك -tu زائدة تصريفية على الجذع stem katab.

The fourth row is the one the slide flags as borderline, and it is worth understanding why rather than memorizing the label. The article al- is a function element like French l', which argues clitic. But it attaches only to nouns and adjectives, and it alternates with the indefinite ending -n (bayt-un versus al-bayt-u) inside a definiteness system, which argues prefix. Arabic NLP tools split the difference. Pasha et al. (2014) list two segmentation schemes for MADAMIRA: ATB, which "tokenizes all clitics except for the definite article", and D3, in which "basically all clitics are tokenized". On the two strings this section tokenizes, the schemes differ on a single element: al-, which ATB leaves on the noun and D3 peels off, while both split the conjunction, the preposition, the future particle and the pronoun. Alotaiby et al. (2010) note that their parse-it-as-a-separate-word test "covers most of the clitics except the definite article". When the tools disagree, borderline is the honest verdict.

الصف الرابع هو الذي تصفه الشريحة بأنه حدّي، ومن المفيد أن تفهم السبب بدل أن تحفظ التسمية. أداة التعريف al- عنصر وظيفي مثل l' الفرنسية، وهذا يرجّح أنها لاحقة كلامية. لكنها تلتصق بالأسماء والصفات فقط، وتتناوب مع نهاية التنكير -n (التنوين: bayt-un مقابل al-bayt-u) داخل نظام للتعريف، وهذا يرجّح أنها سابقة صرفية. أدوات معالجة العربية تقسم الفرق. يذكر Pasha وزملاؤه (2014) مخططين للتجزئة في MADAMIRA: مخطط ATB الذي «يفصل كل اللواحق الكلامية ما عدا أداة التعريف»، ومخطط D3 الذي «تُفصل فيه كل اللواحق الكلامية تقريبًا». على السلسلتين اللتين يقطّعهما هذا القسم يختلف المخططان في عنصر واحد فقط: al-، التي يتركها ATB على الاسم ويفصلها D3، بينما يفصل كلاهما حرف العطف وحرف الجر وحرف الاستقبال والضمير. ويلاحظ Alotaiby وزملاؤه (2010) أن اختبارهم القائم على تحليلها ككلمة منفصلة «يغطي معظم اللواحق الكلامية ما عدا أداة التعريف». حين تختلف الأدوات، يكون «حدّي» هو الحكم الصادق.

Clitic status and tokenization policy are different questionsوضع اللاحقة الكلامية وسياسة التقطيع سؤالان مختلفان

The slide ends on a practical fork: keep the clitic attached, or split it? Linguistics does not answer that Tokenization question for you, and the cleanest proof is English n't. Zwicky and Pullum devote their paper to showing that n't passes all six criteria as an inflectional affix: it attaches only to auxiliaries, it has arbitrary gaps (there is no amn't), it has idiosyncratic forms (won't, shan't), and it cannot attach to a host that already carries a clitic (I'd've is fine, I'dn't is not). Yet the Penn Treebank tokenization standard splits it, producing does n't (SLP3, section 2.8). The tokenizer made a modeling decision (a negation token is useful) that contradicts the linguistic analysis, and it was right to.

تنتهي الشريحة عند مفترق عملي: هل نُبقي اللاحقة الكلامية ملتصقة أم نفصلها؟ اللسانيات لا تجيب عن سؤال التقطيع tokenization نيابة عنك، وأوضح دليل على ذلك n't الإنجليزية. يكرّس Zwicky وPullum ورقتهما لإثبات أن n't تجتاز المعايير الستة كلها بوصفها زائدة تصريفية: تلتصق بالأفعال المساعدة فقط، ولها فجوات اعتباطية (لا توجد amn't)، ولها صيغ شاذة (won't وshan't)، ولا يمكن أن تلتصق بمضيف يحمل لاحقة كلامية أصلًا (I'd've سليمة، وI'dn't ليست كذلك). ومع ذلك فإن معيار التقطيع في Penn Treebank يفصلها، فينتج does n't (SLP3، القسم 2.8). اتخذ المقطِّع قرارًا نمذجيًا (وحدة النفي مفيدة) يناقض التحليل اللساني، وكان محقًا في ذلك.

Modern subword tokenizers make the same kind of decision by frequency rather than by rule. Jurafsky and Martin observe that the GPT-4o tokenizer segments 's off proper nouns such as Jane but keeps it inside frequent words such as she's (SLP3, section 2.4.3). For Arabic the choice is explicit and named: whitespace, ATB or D3. Try the three on the same two strings.

المقطِّعات الحديثة القائمة على الوحدات الفرعية تتخذ القرار نفسه بالتكرار لا بالقاعدة. يلاحظ Jurafsky وMartin أن مقطِّع GPT-4o يفصل 's عن أسماء العلم مثل Jane لكنه يُبقيها داخل الكلمات الشائعة مثل she's (SLP3، القسم 2.4.3). أما في العربية فالاختيار صريح ومسمّى: المسافات (whitespace)، أو ATB، أو D3. جرّب الثلاثة على السلسلتين نفسيهما.

Take four languages and watch how each packages grammar. English and Turkish can share one meaning, "from my houses". English spends three words: from, my, house-s, four morphemes spread over three words. Turkish spends one: ev-ler-im-den, house-PL-1SG.POSS-ABL, four morphemes in one word, each suffix doing exactly one job in a fixed order. Spanish habl-o, "I speak", is a different meaning chosen to show a different trick: the single vowel -o carries person, number, tense and mood all at once, two morphemes carrying four features, and you cannot cut it into a piece for each. Mandarin wǒmen míngtiān qù Běijīng, "we tomorrow go Beijing", has almost no Inflection (the plural -men of wǒmen is about as far as it goes); word order and free words carry the grammar.

خذ أربع لغات وراقب كيف تغلّف كل واحدة منها القواعد. الإنجليزية والتركية يمكن أن تتشاركا معنى واحدًا هو «من بيوتي». الإنجليزية تنفق ثلاث كلمات: from وmy وhouse-s، أي أربعة مورفيمات morphemes موزعة على ثلاث كلمات. والتركية تنفق كلمة واحدة: ev-ler-im-den، أي house-PL-1SG.POSS-ABL، أربعة مورفيمات في كلمة واحدة، وكل لاحقة تؤدي وظيفة واحدة فقط بترتيب ثابت. أما الإسبانية habl-o، «أتكلم»، فمعنى مختلف اختير لإظهار حيلة مختلفة: الحرف الصائت الوحيد -o يحمل الشخص والعدد والزمن والصيغة دفعة واحدة، مورفيمان يحملان أربع سمات، ولا يمكنك تقطيعه إلى قطعة لكل سمة. والماندرينية wǒmen míngtiān qù Běijīng، «نحن غدًا نذهب بكين»، ليس فيها تصريف inflection تقريبًا (لاحقة الجمع -men في wǒmen هي أقصى ما تصل إليه)؛ ترتيب الكلمات والكلمات المستقلة يحملان القواعد.

Turkish, Spanish and Mandarin illustrate three of the four labels on slide 24 (the fourth, polysynthetic, comes below), and English is the analytic baseline. The labels line up on two independent axes rather than one scale. The first axis is how many morphemes a word carries, from isolating (about one) to polysynthetic (a word can hold what English needs a clause for). The second axis is how cleanly the morphemes can be cut apart, from agglutinative (one morpheme, one feature, clean seams) to fusional (one segment bundles several features). This two-axis picture goes back to Sapir's 1921 classification, which separated degree of synthesis from technique of combination (Arkadiev 2019, and SLP3 section 2.2 uses the same two ideas).

التركية والإسبانية والماندرينية توضّح ثلاثًا من التسميات الأربع في الشريحة 24 (الرابعة، متعددة التركيب، تأتي أدناه)، والإنجليزية هي خط الأساس التحليلي. هذه التسميات تتوزع على محورين مستقلين لا على مقياس واحد. المحور الأول هو عدد المورفيمات التي تحملها الكلمة، من العازلة isolating (نحو مورفيم واحد) إلى متعددة التركيب polysynthetic (قد تحمل الكلمة ما تحتاج إليه الإنجليزية جملة كاملة). والمحور الثاني هو مدى نظافة فصل المورفيمات بعضها عن بعض، من اللصقية agglutinative (مورفيم واحد لسمة واحدة، وحدود نظيفة) إلى الاندماجية fusional (مقطع واحد يجمع عدة سمات). هذه الصورة ذات المحورين تعود إلى تصنيف Sapir عام 1921، الذي فصل درجة التركيب عن تقنية الضم (Arkadiev 2019، ويستخدم SLP3 في القسم 2.2 الفكرتين نفسيهما).

The Turkish and Spanish rows deserve a closer look, because the difference between them is the second axis. Bickel and Nichols (WALS chapter 21) call Turkish case and number monoexponential: -ler means plural and nothing else, and the case suffixes -in, -i, -e each mean one case. In a fusional language such as Russian, they note, there is "no element that exclusively expresses case or number": the genitive plural ending says both at once. English has the same fusion in miniature. Jurafsky and Martin point out that the -s of she reads encodes third person, singular and present tense in one segment, exactly as Spanish -o does.

صفّا التركية والإسبانية يستحقان نظرة أقرب، لأن الفرق بينهما هو المحور الثاني. يصف Bickel وNichols (WALS، الفصل 21) الحالة الإعرابية والعدد في التركية بأنهما أحاديا التعبير (monoexponential): -ler تعني الجمع ولا شيء آخر، ولواحق الحالة -in و-i و-e تعني كل منها حالة واحدة. أما في لغة اندماجية مثل الروسية، كما يلاحظان، فـ«لا يوجد عنصر يعبّر حصريًا عن الحالة أو العدد»: نهاية الجمع في حالة الإضافة (genitive plural) تقول الاثنين معًا. وفي الإنجليزية الاندماج نفسه بصورة مصغّرة. يشير Jurafsky وMartin إلى أن -s في she reads ترمّز الغائب والمفرد والمضارع في مقطع واحد، تمامًا كما تفعل -o الإسبانية.

The polysynthetic row borrows its form from a neighboring language on purpose. The slide names Inuktitut but prints no word, warning that examples vary by dialect and orthography and that the key property is morpheme density. Jurafsky and Martin's example is Koryak: t-ə-nk'e-mejŋ-ə-jetemə-nni-k, one word meaning "I sewed a lot of yurt covers in the middle of a night" (SLP3, example 2.9), and that is the form to quote for the polysynthetic type. Gupta and Boulianne (2020) describe Inuktitut as showing "a much higher degree of polysynthesis than other agglutinative languages usually considered in ASR, such as Finnish or Turkish", which is a useful reminder that polysynthetic languages are usually agglutinative too: the axes are independent.

صف متعددة التركيب يستعير صيغته من لغة مجاورة عن قصد. الشريحة تذكر الإينكتيتوت (Inuktitut) لكنها لا تطبع أي كلمة، محذّرة من أن الأمثلة تختلف باختلاف اللهجة والإملاء، وأن الخاصية الأساسية هي كثافة المورفيمات. مثال Jurafsky وMartin من لغة الكورياك (Koryak): t-ə-nk'e-mejŋ-ə-jetemə-nni-k، كلمة واحدة تعني «خِطتُ كثيرًا من أغطية الخيام في منتصف الليل» (SLP3، المثال 2.9)، وهذه هي الصيغة التي تُستشهد بها للنوع متعدد التركيب. ويصف Gupta وBoulianne (2020) الإينكتيتوت بأنها تُظهر «درجة من التركيب المتعدد أعلى بكثير من اللغات اللصقية الأخرى التي تُدرس عادة في التعرف الآلي على الكلام (ASR)، مثل الفنلندية أو التركية»، وهذا تذكير مفيد بأن اللغات متعددة التركيب لصقية عادةً أيضًا: المحوران مستقلان.

Tendencies, not boxesميول لا صناديق

The slide's mental model is that a language can be "more X" in one subsystem and "more Y" in another, and this is not a hedge. Jurafsky and Martin write that "languages can make use of different morphological systems so it would be more accurate to talk about these as general tendencies." Bickel and Nichols (WALS chapter 22) give an example inside one language: "the English past, for example, is more synthetic than the future", because walked packs tense into the verb while will walk spends a separate auxiliary. So when you classify, name the subsystem: English verbs are mostly analytic with a fusional pocket, English Derivation is productive and concatenative, and Arabic verbs are fusional while Arabic attached function elements are clitic-like.

النموذج الذهني في الشريحة هو أن اللغة يمكن أن تكون «أكثر X» في نظام فرعي و«أكثر Y» في نظام آخر، وهذا ليس تحفّظًا. يكتب Jurafsky وMartin أن «اللغات قد تستخدم أنظمة صرفية مختلفة، لذلك من الأدق الحديث عن هذه التصنيفات بوصفها ميولًا عامة». ويعطي Bickel وNichols (WALS، الفصل 22) مثالًا داخل لغة واحدة: «الماضي الإنجليزي مثلًا أكثر تركيبًا من المستقبل»، لأن walked تحشو الزمن في الفعل بينما will walk تنفق فعلًا مساعدًا منفصلًا. لذلك حين تصنّف سمِّ النظام الفرعي: الأفعال الإنجليزية تحليلية في الغالب مع جيب اندماجي، والاشتقاق derivation في الإنجليزية منتج وتسلسلي (concatenative)، والأفعال العربية اندماجية بينما العناصر الوظيفية الملتصقة في العربية أشبه باللواحق الكلامية.

Where English and Arabic sitأين تقع الإنجليزية والعربية

Slide 26 places the two languages this course cares about. English is largely analytic: auxiliaries and word order do most of the grammatical work, and inflection is limited to a handful of endings, -s, -ed, -ing. But it has fusional pockets. am, is and are each bundle person, number and tense in a form with no separable ending at all, and went replaces the expected go-ed wholesale, a case of Suppletion. Where English is genuinely productive is derivation and Compounding: un-happi-ness, laptop, and every new noun coined this year.

الشريحة 26 تحدد موقع اللغتين اللتين يهتم بهما هذا المقرر. الإنجليزية تحليلية analytic في الغالب: الأفعال المساعدة وترتيب الكلمات تؤدي معظم العمل النحوي، والتصريف محدود بحفنة من النهايات، -s و-ed و-ing. لكن فيها جيوبًا اندماجية. am وis وare تجمع كل منها الشخص والعدد والزمن في صيغة لا نهاية قابلة للفصل فيها أصلًا، وwent تحل محل go-ed المتوقعة كليًا، وهذه حالة إبدال كلي suppletion. أما ما تُنتج فيه الإنجليزية حقًا فهو الاشتقاق والتركيب compounding: un-happi-ness وlaptop وكل اسم جديد يُصاغ هذا العام.

Modern Standard Arabic sits elsewhere on both axes. Word formation follows templatic morphology, so a consonantal Root such as K-T-B is interleaved with vowel patterns, a non-concatenative mechanism that no amount of prefix and suffix cutting will recover. The verb system is largely fusional, and it is large: Obeid et al. (2020) note that this richness "leads to MSA verbs with upwards of 5,400 forms". On top of the templatic core sit the concatenative pieces from the previous concept, proclitics wa-, bi-, li- and the pronominal enclitics, which behave as clitics in NLP, plus the borderline al-. Sapir's own table, as reproduced by Arkadiev, files English as fusional and analytic and Arabic as fusional, symbolic and synthetic, which is the same placement in older words.

العربية الفصحى المعاصرة تقع في مكان آخر على المحورين. بناء الكلمات يتبع الصرف القالبي templatic morphology، فيتداخل جذر صامتي root مثل K-T-B مع أوزان صائتة، وهي آلية غير تسلسلية non-concatenative لا يستعيدها أي قدر من قطع السوابق واللواحق. نظام الفعل اندماجي إلى حد كبير، وهو ضخم: يلاحظ Obeid وزملاؤه (2020) أن هذا الغنى «يؤدي إلى أفعال فصيحة تتجاوز صيغها 5,400 صيغة». وفوق النواة القالبية تجلس القطع التسلسلية من المفهوم السابق، السوابق الكلامية proclitics wa- وbi- وli- واللواحق الكلامية الضميرية enclitics، التي تتصرف كلواحق كلامية clitics في معالجة اللغة، إضافة إلى al- الحدّية. وجدول Sapir نفسه، كما يعيد Arkadiev نشره، يصنّف الإنجليزية اندماجية وتحليلية، والعربية اندماجية ورمزية (symbolic) وتركيبية، وهو الموقع نفسه بكلمات أقدم.

The typology labels can be turned into a single number. Take a long text, count its morphemes, count its words, and divide. Joseph Greenberg proposed this ratio in 1960 as the Index of synthesis, "calculated as the ratio of morphemes to words in a sufficiently long text" (Arkadiev 2019). Try it on four English words: The cats walked home is the (1), cat-s (2), walk-ed (2), home (1), six morphemes over four words, an index of 1.5. Turkish ev-ler-im-den alone is 4 / 1 = 4.0, and the English equivalent from my houses is 4 / 3 ≈ 1.33.

يمكن تحويل تسميات التصنيف إلى رقم واحد. خذ نصًا طويلًا، وعُدّ مورفيماته morphemes، وعُدّ كلماته، واقسم. اقترح Joseph Greenberg هذه النسبة عام 1960 بوصفها مؤشر التركيب index of synthesis، «ويُحسب بوصفه نسبة المورفيمات إلى الكلمات في نص طويل بما يكفي» (Arkadiev 2019). جرّبه على أربع كلمات إنجليزية: The cats walked home تتكون من the (1) وcat-s (2) وwalk-ed (2) وhome (1)، أي ستة مورفيمات على أربع كلمات، فالمؤشر 1.5. والتركية ev-ler-im-den وحدها تعطي 4 / 1 = 4.0، وما يقابلها في الإنجليزية from my houses يعطي 4 / 3 ≈ 1.33.

Greenberg computed the index for eight languages, and the result is the number line on slide 27, reproduced from the same figure in Jurafsky and Martin (SLP3, figure 2.3). Vietnamese sits at the bottom with almost exactly one morpheme per word. English is close behind, which confirms the analytic label of the previous concept. Old English, Yakut, Swahili and Sanskrit cluster in the middle band, and Greenlandic (Eskimo in Greenberg's paper) stands far to the right at almost four morphemes per word. The bands drawn through this line are the ones you already know: analytic below about 2, synthetic between 2 and 3, polysynthetic above 3.

حسب Greenberg المؤشر لثماني لغات، والنتيجة هي خط الأعداد في الشريحة 27، المنقول من الشكل نفسه عند Jurafsky وMartin (SLP3، الشكل 2.3). الفيتنامية في القاع بمورفيم واحد تقريبًا لكل كلمة. والإنجليزية قريبة منها، وهذا يؤكد تسمية «تحليلية» من المفهوم السابق. والإنجليزية القديمة والياقوتية (Yakut) والسواحيلية والسنسكريتية تتجمع في الشريحة الوسطى، والغرينلاندية (الإسكيمو في ورقة Greenberg) تقف بعيدًا إلى اليمين بنحو أربعة مورفيمات لكل كلمة. والنطاقات المرسومة على هذا الخط هي التي تعرفها: تحليلية تحت نحو 2، وتركيبية بين 2 و3، ومتعددة التركيب فوق 3.

Greenberg's paper contains several more indices, and two of them explain what the synthesis number hides. Eskimo scores 2.72 on suffixation and 1.75 on inflection against English's 0.64 and 0.53; Swahili scores 1.16 on prefixation against English's 0.04. Swahili sits mid-synthetic not because it stacks suffixes but because its noun-class and agreement system lives in prefixes. Same band, different subsystem, which is the tendencies-not-boxes lesson in numbers.

ورقة Greenberg تحتوي على مؤشرات أخرى، واثنان منها يفسّران ما يخفيه رقم التركيب. تسجّل الإسكيمو 2.72 في اللواحق (suffixation) و1.75 في التصريف مقابل 0.64 و0.53 للإنجليزية؛ وتسجّل السواحيلية 1.16 في السوابق (prefixation) مقابل 0.04 للإنجليزية. السواحيلية في منتصف النطاق التركيبي لا لأنها تكدّس اللواحق، بل لأن نظام فئات الأسماء والمطابقة فيها يعيش في السوابق. النطاق نفسه والنظام الفرعي مختلف، وهذا هو درس «ميول لا صناديق» بالأرقام.

Why the index decides your tokenizerلماذا يحدد المؤشر مقطِّعك

Slide 28 closes the morphology chapter with one sentence: "word" is not universal, because morphology and clitics change what counts as a Token. The index of synthesis makes that quantitative. Every extra morpheme per word multiplies the number of distinct surface forms a Lemma can take, and every clitic that attaches multiplies it again. Since a model's Vocabulary is a set of surface forms, a language with a high index and heavy cliticization will have a higher Type-token ratio (TTR), far more types for the same number of tokens, and far more of them will be Out-of-vocabulary (OOV) at test time. Recall Heaps' law from part 02: rich morphology raises the vocabulary constant k, so a high-index language has more types at every corpus size the course fits (part 02 fits k = 73 for Arabic against 15 for English, with the Arabic βslightly lower).

تختم الشريحة 28 فصل الصرف بجملة واحدة: «الكلمة» ليست مفهومًا كونيًا، لأن الصرف واللواحق الكلامية clitics يغيّران ما يُعدّ وحدة token. ومؤشر التركيب يجعل ذلك كميًا. كل مورفيم إضافي في الكلمة يضاعف عدد الصيغ السطحية المتمايزة التي يمكن أن يتخذها المدخل المعجمي lemma، وكل لاحقة كلامية تلتصق تضاعفه مرة أخرى. وبما أن مفردات النموذج vocabulary مجموعة من الصيغ السطحية، فإن لغة ذات مؤشر مرتفع ولواحق كلامية كثيفة سيكون لها نسبة أنواع إلى وحدات type-token ratio أعلى، أي أنواع types أكثر بكثير للعدد نفسه من الوحدات، وسيكون عدد أكبر بكثير منها خارج المفردات out-of-vocabulary وقت الاختبار. تذكّر قانون Heaps Heaps' law من الجزء 02: الصرف الغني يرفع ثابت المفردات k، فتملك اللغة ذات المؤشر المرتفع أنواعًا أكثر عند كل حجم مدوّنة يقيسه المقرر (الجزء 02 يقدّر k = 73 للعربية مقابل 15 للإنجليزية، مع β للعربية أقل بقليل).

At the polysynthetic end the effect is far larger. Schwartz et al. (2020) compare the parallel Inuktitut and English sides of the Nunavut Hansard. The numbers below come from their table 3.2.

عند الطرف متعدد التركيب يكون الأثر أكبر بكثير. يقارن Schwartz وزملاؤه (2020) الجانبين المتوازيين بالإينكتيتوت والإنجليزية من Nunavut Hansard. الأرقام أدناه من جدولهم 3.2.

Inuktitut produces about 26 times as many types from about half as many tokens. Gupta and Boulianne (2020) report the practical consequence for speech recognition: even with a 1.3 million word vocabulary, held-out Inuktitut stories still have "more than 60% of words out-of-vocabulary". A word-level vocabulary cannot be made large enough. That is the open-vocabulary problem, and slide 28 lists three responses to it.

تُنتج الإينكتيتوت نحو 26 ضعفًا من الأنواع من نحو نصف عدد الوحدات. ويذكر Gupta وBoulianne (2020) العاقبة العملية على التعرف على الكلام: حتى مع مفردات من 1.3 million كلمة، تبقى في قصص الإينكتيتوت المحجوزة للاختبار «أكثر من 60% من الكلمات خارج المفردات». لا يمكن جعل مفردات على مستوى الكلمة كبيرة بما يكفي. هذه هي مشكلة المفردات المفتوحة (open-vocabulary)، والشريحة 28 تذكر ثلاث استجابات لها.

1. Subword tokenization with BPE or WordPiece. Sennrich, Haddow and Birch (2016) motivated BPE for translation precisely because vocabularies are "typically limited to 30 000 to 50 000 words, but translation is an open-vocabulary problem", "especially for languages with productive word formation processes such as agglutination and compounding". WordPiece, from Wu et al. (2016), divides words "into a limited set of common sub-word units". Part 06 builds BPE from scratch.التقطيع إلى وحدات فرعية subword tokenization باستخدام BPE أو WordPiece. برّر Sennrich وHaddow وBirch (2016) استخدام BPE في الترجمة تحديدًا لأن المفردات «تقتصر عادةً على 30 000 إلى 50 000 كلمة، لكن الترجمة مشكلة مفردات مفتوحة»، «خصوصًا في اللغات ذات عمليات بناء الكلمات المنتجة مثل اللصق والتركيب». وWordPiece، من Wu وزملائه (2016)، تقسم الكلمات «إلى مجموعة محدودة من الوحدات الفرعية الشائعة». الجزء 06 يبني BPE من الصفر.
2. Morphological segmentation when linguistic structure matters. A frequency-driven tokenizer will not reliably cut وَبِالْبَيْت at the clitic boundaries. MADAMIRA and CAMeL Tools do, using an analyzer and an explicit scheme (ATB or D3), which is what you want when a downstream task needs the bare lemma.التجزئة الصرفية morphological segmentation حين تكون البنية اللسانية مهمة. المقطِّع القائم على التكرار لن يقطع وَبِالْبَيْت عند حدود اللواحق الكلامية بشكل موثوق. أما MADAMIRA وCAMeL Tools فيفعلان، باستخدام محلل صرفي ومخطط صريح (ATB أو D3)، وهذا ما تريده حين تحتاج مهمة لاحقة إلى المدخل المعجمي المجرد (lemma).
3. Careful preprocessing: case, punctuation and a stated clitic splitting policy. Jurafsky and Martin describe the pre-tokenization stage as "breaking the input at spaces and punctuation, stripping off clitics, and breaking numbers into sets of digits" (SLP3), which is the tokenization pipeline's first pass.معالجة مسبقة دقيقة: حالة الأحرف وعلامات الترقيم وسياسة معلنة لفصل اللواحق الكلامية. يصف Jurafsky وMartin مرحلة التقطيع المسبق pre-tokenization بأنها «تقسيم المدخل عند المسافات وعلامات الترقيم، ونزع اللواحق الكلامية، وتقسيم الأعداد إلى مجموعات من الأرقام» (SLP3)، وهي المرور الأول في مسار التقطيع tokenization.

The last thread to pull runs into part 07. A multilingual subword vocabulary is trained mostly on English, and Jurafsky and Martin note that such tokenizers "use most of the tokens for English" while "the other languages tend to get their words split up into shorter tokens" (SLP3, section 2.4.3). Arabic suffers twice: it has less training data in the mix, and its clitics and templatic verbs (upwards of 5,400 forms per verb) spread that data across far more surface forms, so fewer of them earn a merge. The same sentence costs more tokens in Arabic than in English, which means more compute per sentence and a shorter effective context.

الخيط الأخير يقود إلى الجزء 07. مفردات الوحدات الفرعية متعددة اللغات تُدرَّب في معظمها على الإنجليزية، ويلاحظ Jurafsky وMartin أن هذه المقطِّعات «تستخدم معظم الوحدات للإنجليزية» بينما «تميل اللغات الأخرى إلى تقسيم كلماتها إلى وحدات أقصر» (SLP3، القسم 2.4.3). تعاني العربية مرتين: بياناتها في خليط التدريب أقل، ولواحقها الكلامية وأفعالها القالبية (أكثر من 5,400 صيغة للفعل الواحد) توزّع تلك البيانات على صيغ سطحية أكثر بكثير، فيستحق عدد أقل منها عملية دمج (merge). والجملة نفسها تكلّف وحدات أكثر بالعربية منها بالإنجليزية، ما يعني حسابًا أكثر لكل جملة وسياقًا فعليًا أقصر.