Why NLP is hard and how progress is madeلماذا NLP صعبة وكيف يتحقق التقدم

Take four ordinary words, I made her duck, and look for every meaning they can carry. The lecture asks for at least five and leaves the answers to you. Before reading on, try it honestly: how many can you find? Most people stop at two and are surprised that the sentence keeps going.

خذ أربع كلمات عادية، I made her duck، وابحث عن كل معنى يمكن أن تحمله. تطلب المحاضرة خمسة معانٍ على الأقل وتترك الإجابة لك. قبل أن تكمل القراءة، جرّب بصدق: كم معنى تستطيع أن تجد؟ يتوقف معظم الناس عند معنيين ويُفاجَؤون بأن الجملة تستمر في إعطاء المزيد.

The five meanings are not the lesson. The lesson is where each one comes from. Jurafsky and Martin use this sentence because every reading is produced by one decision at one linguistic level, and those levels are exactly the ones you met in part 3. That is what makes ambiguity the central problem of the field rather than a party trick.

المعاني الخمسة ليست هي الدرس. الدرس هو من أين يأتي كل معنى. يستخدم Jurafsky و Martin هذه الجملة لأن كل قراءة تنتج عن قرار واحد في مستوى لغوي واحد، وهذه المستويات هي بالضبط التي عرفتها في الجزء 3. وهذا ما يجعل الغموض (ambiguity) المشكلة المركزية في هذا المجال لا مجرد حيلة للتسلية.

Work through what flips. The word duck can be a noun (the bird) or a verb (to lower your head), and her can be a dative pronoun (for her) or a possessive (her duck). Both are lexical ambiguities of part of speech. The word make keeps its part of speech but not its meaning: it can mean create or cook, which is a lexical ambiguity of sense, and choosing the right one is Word sense disambiguation. The cause and transform readings are not two further senses of make. They come from the frame the verb takes: the sentence as a whole can be built in three shapes, make with a single object (her duck as one noun phrase), make with two objects (her and duck, one turned into the other), or make with an object and a bare verb (her then duck as an action). That is syntactic ambiguity, a question of syntax rather than of any single word.

تتبّع ما الذي يتبدّل. كلمة duck قد تكون اسمًا (الطائر) أو فعلًا (أن تخفض رأسك)، وكلمة her قد تكون ضميرًا في حالة المفعول غير المباشر (dative، أي «لها») أو ضمير ملكية (بطتها). كلاهما من الغموض المعجمي (lexical ambiguity) في نوع الكلمة (part of speech). أما كلمة make فتحتفظ بنوعها لكنها لا تحتفظ بمعناها: قد تعني «صنع» أو «طبخ»، وهذا غموض معجمي في المعنى، واختيار المعنى الصحيح هو word sense disambiguation (إزالة غموض معنى الكلمة). وقراءتا «جعلها تفعل» و«حوّلها» ليستا معنيين إضافيين للفعل make، بل تأتيان من الإطار الذي يأخذه الفعل: يمكن أن تُبنى الجملة كلها بثلاثة أشكال، make مع مفعول واحد (her duck مركبًا اسميًا واحدًا)، أو make مع مفعولين (her وduck، أحدهما يتحوّل إلى الآخر)، أو make مع مفعول وفعل مجرد (her ثم duck بوصفه فعلًا تقوم به). هذا هو الغموض التركيبي (syntactic ambiguity)، وهو مسألة نحو وتركيب (syntax) لا مسألة كلمة بعينها.

One level is still missing, and it only appears when the sentence is spoken. In speech the first word could have been eye and the second could have been maid. Jurafsky and Martin call this an even deeper kind of ambiguity, because it sits below the words themselves, at the level of phonetics. A speech recogniser must settle it before any of the other decisions can even begin. Toggle the cycler to "heard, not read" to see it.

ما زال هناك مستوى ناقص، ولا يظهر إلا عندما تُنطق الجملة. في الكلام المنطوق قد تكون الكلمة الأولى eye والثانية maid. يسمّي Jurafsky و Martin هذا نوعًا أعمق من الغموض، لأنه يقع تحت مستوى الكلمات نفسها، في مستوى الصوتيات (phonetics). يجب على نظام التعرّف على الكلام أن يحسمه قبل أن تبدأ أيٌّ من القرارات الأخرى. بدّل أداة التنقل إلى "heard, not read" (مسموع لا مقروء) لترى ذلك.

This table is the sentence Jurafsky and Martin build their whole book on: most or all tasks in speech and language processing can be viewed as resolving ambiguity at one of these levels. Part-of-speech tagging decides whether duck is a noun or a verb, word sense disambiguation decides what make means, and probabilistic parsing decides whether her and duck group together. Every one of those tasks has its own chapter later in the course, and each one is answering a question this four-word sentence raises.

هذا الجدول هو الفكرة التي بنى عليها Jurafsky و Martin كتابهما كله: يمكن النظر إلى معظم مهام معالجة الكلام واللغة أو كلها على أنها حلٌّ للغموض في أحد هذه المستويات. وسم أنواع الكلمات (part-of-speech tagging) يقرر هل duck اسم أم فعل، وإزالة غموض المعنى تقرر ماذا تعني make، والتحليل النحوي (parsing) الاحتمالي يقرر هل تتجمّع her وduck معًا. لكل مهمة من هذه المهام فصلها الخاص لاحقًا في المقرر، وكل واحدة منها تجيب عن سؤال تطرحه هذه الجملة ذات الكلمات الأربع.

If the duck sentence felt contrived, here is one nobody would blink at: I saw the man with a telescope. Who has the telescope? Read it once and you will have decided without noticing. Read it again and the other answer is just as available.

إن بدت لك جملة البطة متكلَّفة، فهذه جملة لن يتوقف عندها أحد: I saw the man with a telescope. من الذي يحمل التلسكوب؟ اقرأها مرة وستكون قد قررت دون أن تنتبه. اقرأها مرة أخرى وستجد الإجابة الأخرى متاحة بالقدر نفسه.

The phrase with a telescope is a prepositional phrase, and a prepositional phrase has to attach to something. Attach it inside the noun phrase, [the man [with a telescope]], and the man has the telescope. Attach it to the verb phrase, [saw [the man] [with a telescope]], and the telescope is the instrument of seeing: I used it. This is prepositional phrase attachment, one of the two common kinds of syntactic ambiguity in English text (the other is coordination ambiguity, as in old men and women), and the point is that both parses are fully grammatical. The grammar licenses both; only context, plausibility or statistics can choose. A third reading hides in the first word: saw can also be the present tense of the verb to saw, so I am cutting the man with a telescope, a lexical ambiguity stacked on top of the syntactic one.

العبارة with a telescope شبه جملة جارّة (prepositional phrase)، ولا بد لشبه الجملة الجارّة أن ترتبط بشيء ما. اربطها داخل المركب الاسمي، [the man [with a telescope]]، فيكون الرجل هو حامل التلسكوب. اربطها بالمركب الفعلي، [saw [the man] [with a telescope]]، فيصبح التلسكوب أداة الرؤية: أنا الذي استخدمته. هذا هو ربط شبه الجملة الجارّة (prepositional phrase attachment)، أحد النوعين الشائعين من الغموض التركيبي (syntactic ambiguity) في النصوص الإنجليزية (والآخر هو غموض العطف (coordination ambiguity)، كما في old men and women)، والنقطة الأساسية أن التحليلين كليهما صحيحان نحويًا تمامًا. النحو يجيز الاثنين، ولا يختار بينهما إلا السياق أو المعقولية أو الإحصاء. وتختبئ قراءة ثالثة في الكلمة الأولى: قد تكون saw أيضًا المضارع من الفعل «ينشر» (بالمنشار)، فيصبح المعنى أنني أنشر الرجل الذي معه تلسكوب، وهو غموض معجمي (lexical ambiguity) يتراكب فوق الغموض التركيبي.

Jurafsky and Martin treat this under structural ambiguity in their parsing chapter: it occurs when the grammar can assign more than one parse to a sentence, and attachment ambiguity is one of the two common forms, the other being coordination ambiguity. Their own example is Groucho Marx's I shot an elephant in my pajamas, where in my pajamas can attach to the shooting or to the elephant. They call ambiguity the most serious problem faced by syntactic parsers, because a grammar big enough to cover real English assigns a naturally occurring sentence not two parses but many, most of them grammatical yet semantically unreasonable. Parsing is therefore never just recognising structure; it is choosing among structures.

يتناول Jurafsky و Martin هذا تحت عنوان الغموض البنيوي (structural ambiguity) في فصل التحليل النحوي: يحدث حين يستطيع النحو أن يعطي الجملة أكثر من تحليل واحد، وغموض الربط (attachment ambiguity) أحد شكليه الشائعين، والآخر غموض العطف. ومثالهما هو جملة Groucho Marx I shot an elephant in my pajamas، حيث يمكن أن ترتبط in my pajamas بفعل الإطلاق أو بالفيل. ويصفان الغموض بأنه أخطر مشكلة تواجه المحللات النحوية، لأن النحو الكبير بما يكفي لتغطية الإنجليزية الحقيقية يعطي الجملة الطبيعية لا تحليلين بل تحليلات كثيرة، معظمها صحيح نحويًا لكنه غير معقول دلاليًا. لذلك فإن التحليل النحوي (parsing) ليس مجرد التعرّف على البنية أبدًا، بل هو الاختيار بين البنى.

Crash blossoms: ambiguity in the wildCrash blossoms: الغموض في الواقع

Ambiguity is not a classroom invention, and the six headlines stamped "100% REAL" in the lecture prove it: every one really ran in a news outlet. Headlines drop articles, auxiliaries and the copula to save space, which strips away exactly the cues a reader uses to settle part of speech and attachment. The result is a headline that admits an unintended reading, and copy editors have a name for it: a Crash blossom.

الغموض ليس اختراعًا صفّيًا، والعناوين الستة المختومة بعبارة "100% REAL" في المحاضرة تثبت ذلك: كل واحد منها نُشر فعلًا في وسيلة إخبارية. تحذف العناوين أدوات التعريف والأفعال المساعدة وفعل الكينونة لتوفير المساحة، وهذا ينزع بالضبط القرائن التي يستخدمها القارئ لحسم نوع الكلمة (part of speech) والربط. والنتيجة عنوان يسمح بقراءة غير مقصودة، ولمحرري النصوص اسم لذلك: crash blossom.

The name comes from the first line on the slide. In August 2009 the site Japan Today ran the headline Violinist Linked to JAL Crash Blossoms about Diana Yukawa, whose father died in the 1985 Japan Airlines crash and whose career was flourishing. Editors on the Testy Copy Editors forum read it as a species called crash blossoms and, in the thread that followed, proposed "crash blossom" as the general term for a headline that leads the reader down the garden path. Ben Zimmer picked the story up on Language Log that month and then in his New York Times On Language column in January 2010, which is what made the word stick.

يأتي الاسم من السطر الأول في الشريحة. في August 2009 نشر موقع Japan Today العنوان Violinist Linked to JAL Crash Blossoms عن عازفة الكمان Diana Yukawa، التي توفي والدها في حادث تحطم طائرة الخطوط اليابانية سنة 1985 وكانت مسيرتها المهنية مزدهرة (المعنى المقصود: عازفة مرتبطة بحادث JAL تزدهر). قرأه المحررون في منتدى Testy Copy Editors على أنه نوع من الزهور اسمه «أزهار التحطم»، واقترحوا في النقاش الذي تلا ذلك "crash blossom" مصطلحًا عامًا لكل عنوان يقود القارئ في طريق مضلِّل (garden path). التقط Ben Zimmer القصة في مدونة Language Log في الشهر نفسه، ثم في عموده On Language في صحيفة New York Times في January 2010، وهذا ما جعل الكلمة ترسخ.

Look at the last column and you will see the same three kinds of ambiguity as the duck sentence, just without the helpful function words. Strikes, blossoms and shooting are part-of-speech flips; holds up, try and cut in half are sense flips; 7 foot doctors is a bracketing flip. Notice also that one choice forces others: once strikes is a verb, idle must be an adjective, and once it is a noun, idle must be a verb. Ambiguities are not independent, which is why parsers resolve them jointly rather than word by word.

انظر إلى العمود الأخير وسترى الأنواع الثلاثة نفسها من الغموض التي رأيتها في جملة البطة، لكن بلا كلمات الوظيفة المساعِدة. Strikes وblossoms وshooting تقلّبات في نوع الكلمة؛ holds up وtry وcut in half تقلّبات في المعنى؛ و7 foot doctors تقلّب في التجميع بين الأقواس. ولاحظ أيضًا أن اختيارًا واحدًا يفرض غيره: إذا كانت strikes فعلًا، وجب أن تكون idle صفة، وإذا كانت اسمًا، وجب أن تكون idle فعلًا. أنواع الغموض ليست مستقلة بعضها عن بعض، ولهذا تحسمها المحللات النحوية معًا لا كلمةً كلمة.

Suppose ambiguity were solved. Would language understanding be easy? No, and there are six more reasons, each a different way real text refuses to behave like the tidy sentences of a grammar book. Take them one at a time, and for each one ask which NLP subproblem it defeats, because that subproblem is a research area with its own benchmarks.

لنفترض أن مشكلة الغموض قد حُلّت. هل يصبح فهم اللغة سهلًا؟ لا، فهناك ستة أسباب أخرى، كل منها طريقة مختلفة يرفض بها النص الحقيقي أن يتصرف مثل الجمل المرتّبة في كتب النحو. تناولها واحدًا تلو الآخر، واسأل عن كل منها أي مسألة فرعية في معالجة اللغات الطبيعية يُفشلها، لأن تلك المسألة الفرعية مجال بحثي له معاييره (benchmarks) الخاصة.

Non-standard textالنص غير القياسي

Guys plz d/l the lettr Ive written 2 Jeff Gaspin is perfectly readable to a human and almost useless to a model trained on edited prose. Five of its tokens are misspelt, abbreviated or numerals standing in for words. This is non-standard language, and it defeats normalisation: the step that is supposed to map surface forms to the vocabulary the model knows. For a KFUPM student the sharper version is diglossia. Farghaly and Shaalan describe Arabic as a language where Modern Standard Arabic is the formal written variety while everyday speech is Gulf, Egyptian or Levantine dialect. Text messages and social media carry that dialect into writing, and Darwish describes how it often arrives as Arabizi (Latin letters and digits standing in for Arabic sounds, as in 3ala for على), so a system trained on newswire MSA meets a different language on the phone.

الجملة Guys plz d/l the lettr Ive written 2 Jeff Gaspin مقروءة تمامًا للإنسان، لكنها شبه عديمة الفائدة لنموذج دُرّب على نصوص محرَّرة. خمس من وحداتها (tokens) مكتوبة بأخطاء إملائية أو مختصرة أو أرقام تقوم مقام كلمات. هذه هي اللغة غير القياسية (non-standard language)، وهي تُفشل التطبيع (normalisation): الخطوة التي يُفترض أن تحوّل الأشكال السطحية إلى المفردات التي يعرفها النموذج. وبالنسبة لطالب في KFUPM فالنسخة الأشد هي الازدواجية اللغوية (diglossia). يصف Farghaly و Shaalan العربية بأنها لغة تكون فيها الفصحى الحديثة (Modern Standard Arabic) هي الصيغة المكتوبة الرسمية، بينما الكلام اليومي باللهجة الخليجية أو المصرية أو الشامية. تحمل الرسائل النصية ووسائل التواصل الاجتماعي هذه اللهجة إلى الكتابة، ويصف Darwish كيف تصل غالبًا في صورة العربيزي (Arabizi) (حروف لاتينية وأرقام تقوم مقام الأصوات العربية، كما في 3ala بدل على)، فيلتقي النظام المدرَّب على فصحى الأخبار (newswire MSA) بلغة مختلفة على الهاتف.

Segmentationالتقطيع

The slide shows the New York-New Haven Railroad tokenized two ways. The naive split, on spaces alone, gives the | New | York-New | Haven | Railroad, gluing York to the wrong New. The right split, the | New York | - | New Haven | Railroad, needs to know that New York and New Haven are each one name. This is a Segmentation problem and it defeats Tokenization and named entity recognition together. Jurafsky and Martin note in their tokenization chapter that keeping a multiword expression such as New York as one token requires a multiword expression dictionary, so tokenization is tied to recognising names and to morphology. Arabic makes segmentation unavoidable rather than occasional: the preposition b (by, with) and the conjunction w (and) are clitics written attached to the following word, so وبالقلم is one orthographic word that a tokenizer must cut into w + b + al + qalam, four units, before anything else can run.

تعرض الشريحة the New York-New Haven Railroad مقطّعة بطريقتين. التقطيع الساذج، على المسافات وحدها، يعطي the | New | York-New | Haven | Railroad، فيلصق York بكلمة New الخاطئة. أما التقطيع الصحيح، the | New York | - | New Haven | Railroad، فيحتاج إلى معرفة أن New York وNew Haven كلٌّ منهما اسم واحد. هذه مشكلة تقطيع (segmentation)، وهي تُفشل التجزئة إلى وحدات (tokenization) والتعرّف على الكيانات المسمّاة (named entity recognition) معًا. ويشير Jurafsky و Martin في فصل التجزئة إلى أن إبقاء تعبير متعدد الكلمات مثل New York وحدةً واحدة يتطلب قاموسًا للتعابير متعددة الكلمات، فترتبط التجزئة بالتعرّف على الأسماء وبـعلم الصرف (morphology). والعربية تجعل التقطيع أمرًا لا مفر منه بدل أن يكون عارضًا: حرف الجر b (الباء: بـ، مع) وحرف العطف w (الواو) لواحق متصلة (clitics) تُكتب ملتصقة بالكلمة التالية، فتكون وبالقلم كلمة إملائية واحدة يجب على المُجزِّئ أن يقطعها إلى w + b + al + qalam، أربع وحدات، قبل أن يعمل أي شيء آخر.

Idiomsالتعابير الاصطلاحية

Dark horse, get cold feet, lose face, throw in the towel. An Idiom is a multiword expression whose meaning is not built from its parts: no towel is thrown, no feet get cold. This defeats compositional semantics, the assumption that the meaning of a phrase is assembled from the meanings of its words, and it wrecks machine translation that translates word by word. Arabic has its own stock: على عيني is literally "on my eye" and means "gladly, of course".

Dark horse، get cold feet، lose face، throw in the towel. التعبير الاصطلاحي (idiom) تعبير متعدد الكلمات لا يُبنى معناه من أجزائه: لا منشفة تُرمى، ولا أقدام تبرد. وهذا يُفشل علم الدلالة (semantics) التركيبي، أي افتراض أن معنى العبارة يُجمَّع من معاني كلماتها، ويحطّم الترجمة الآلية (machine translation) التي تترجم كلمةً كلمة. وللعربية مخزونها الخاص: على عيني حرفيًا "on my eye" ومعناها "بكل سرور، بالتأكيد".

Neologismsالكلمات المستحدثة

Unfriend, Retweet, Malware, Webinar. Each of these entered everyday use, or in the case of unfriend returned to it with a new sense, only when a product or a threat made it necessary. A Neologism defeats any system with a closed vocabulary, which treats it as an out-of-vocabulary token and learns nothing. Vocabulary is open: new words arrive faster than lexicons can be updated. This is the motivation for the subword tokenization of lecture 2, where byte-pair encoding lets a model build unfriend from smaller, frequent pieces (ideally un plus friend) without ever having seen the whole word. Arabic coins verbs from loanwords the same way: speakers say سيّف, "to save" a file, forcing an English root into an Arabic verb pattern.

Unfriend، Retweet، Malware، Webinar. دخلت كل واحدة من هذه الكلمات الاستعمال اليومي، أو عادت إليه بمعنى جديد كما في حالة unfriend، فقط حين جعلها منتج ما أو تهديد ما ضرورية. الكلمة المستحدثة (neologism) تُفشل أي نظام ذي مفردات مغلقة، إذ يعاملها وحدةً خارج المفردات (out-of-vocabulary) ولا يتعلم منها شيئًا. المفردات مفتوحة: تصل الكلمات الجديدة أسرع مما يمكن تحديث المعاجم. وهذا هو الدافع وراء التجزئة إلى وحدات جزئية (subword tokenization) في المحاضرة 2، حيث يتيح ترميز أزواج البايتات (byte-pair encoding) للنموذج أن يبني unfriend من قطع أصغر شائعة (في الحالة المثالية un زائد friend) دون أن يرى الكلمة كاملة قط. والعربية تشتق أفعالًا من الكلمات المقترضة بالطريقة نفسها: يقول المتحدثون سيّف، أي حفظ الملف ("to save")، فيُدخلون جذرًا إنجليزيًا قسرًا في وزن فعل عربي.

World knowledgeمعرفة العالم

Mary and Sue are sisters. Mary and Sue are mothers. Same shape, same syntax, same plural predicate. Yet the first means sisters of each other and the second cannot mean mothers of each other. Nothing in the sentence tells you that; you know it because you know how sisterhood and motherhood work. This is world knowledge, and the subproblem it defeats is commonsense reasoning. It is the same in every language, which is why there is no Arabic column to add.

Mary and Sue are sisters. Mary and Sue are mothers. الشكل نفسه، والتركيب نفسه، والمسند الجمعي نفسه. ومع ذلك تعني الأولى أنهما أختان إحداهما للأخرى، ولا يمكن أن تعني الثانية أنهما أمّان إحداهما للأخرى. لا شيء في الجملة يخبرك بذلك؛ أنت تعرفه لأنك تعرف كيف تعمل الأخوّة والأمومة. هذه هي معرفة العالم (world knowledge)، والمسألة الفرعية التي تُفشلها هي الاستدلال بالحس السليم (commonsense reasoning). وهي واحدة في كل لغة، ولهذا لا يوجد عمود عربي يُضاف هنا.

Tricky entity namesأسماء الكيانات المخادعة

Where is A Bug's Life playing, Let It Be was recorded, a mutation on the for gene. A Named entity is supposed to be a proper name, but these names are made of ordinary words: an article, a pronoun, a preposition. Named entity recognition has to decide that for is a gene and Let It Be is a record without any lexical clue. In English the capital letters help a little. Arabic has no capital letters at all, so every person, place and organisation name looks like a common word. Farghaly and Shaalan list the missing capital letters among the central challenges for Arabic named entity recognition.

Where is A Bug's Life playing، Let It Be was recorded، a mutation on the for gene. يُفترض أن يكون الكيان المسمّى (named entity) اسم علم، لكن هذه الأسماء مكوّنة من كلمات عادية: أداة تعريف، وضمير، وحرف جر. على نظام التعرّف على الكيانات المسمّاة أن يقرر أن for جين وأن Let It Be تسجيل موسيقي دون أي قرينة معجمية. في الإنجليزية تساعد الأحرف الكبيرة قليلًا. أما العربية فليس فيها أحرف كبيرة أصلًا، فيبدو كل اسم لشخص أو مكان أو منظمة ككلمة عادية. ويُدرج Farghaly و Shaalan غياب الأحرف الكبيرة ضمن التحديات المركزية للتعرّف على الكيانات المسمّاة في العربية.

The lecture closes the list with "But that's what makes it fun!" and for a PhD student that line is literal. Each card is a research community: text normalisation, tokenization and segmentation, multiword expressions, open-vocabulary modelling, commonsense reasoning and named entity recognition all have their own shared tasks and leaderboards, and Arabic versions of most of them are still open.

تختم المحاضرة القائمة بعبارة "But that's what makes it fun!" (لكن هذا ما يجعلها ممتعة)، وبالنسبة لطالب دكتوراه فهذه العبارة حرفية. كل بطاقة مجتمع بحثي قائم: تطبيع النصوص، والتجزئة والتقطيع، والتعابير متعددة الكلمات، ونمذجة المفردات المفتوحة، والاستدلال بالحس السليم، والتعرّف على الكيانات المسمّاة، لكل منها مهامه المشتركة (shared tasks) ولوحات تصنيفه (leaderboards)، ونسخها العربية في معظمها ما زالت مفتوحة.

Go back to Mary and Sue are mothers and ask what a system would need to read it correctly. It needs the syntax of a plural predicate, which is knowledge of language. It needs to know that motherhood is not reciprocal between two women, which is knowledge about the world. And it needs some procedure that brings the two together on this sentence, a way to combine knowledge sources. Those are exactly the three tools the lecture says progress requires.

عُد إلى Mary and Sue are mothers واسأل ماذا يحتاج النظام ليقرأها قراءة صحيحة. يحتاج إلى تركيب المسند الجمعي، وهذه معرفة باللغة (knowledge of language). ويحتاج إلى أن يعرف أن الأمومة ليست علاقة متبادلة بين امرأتين، وهذه معرفة بالعالم (knowledge about the world). ويحتاج إلى إجراء ما يجمع الاثنين على هذه الجملة، أي طريقة للجمع بين مصادر المعرفة. وهذه بالضبط الأدوات الثلاث التي تقول المحاضرة إن التقدّم يتطلبها.

The third tool is the interesting one, because it is where the four approaches of slide 15 come from. Each approach is one answer to how knowledge sources get combined. Rule-based NLP encodes linguistic knowledge by hand and combines it by the order in which rules fire. Machine learning based NLP learns the linguistic knowledge from annotated data and lets a classifier weigh it. End-to-end deep learning learns everything, including whatever world knowledge the text happens to contain, from raw input inside one network. A hybrid approach mixes them, typically rules where knowledge is crisp and models where it is statistical.

الأداة الثالثة هي المثيرة للاهتمام، لأنها مصدر المناهج الأربعة في الشريحة 15. كل منهج هو إجابة واحدة عن سؤال: كيف تُجمع مصادر المعرفة؟ المعالجة القائمة على القواعد (Rule-based NLP) ترمّز المعرفة اللغوية يدويًا وتجمعها بترتيب تنفيذ القواعد. المعالجة القائمة على تعلّم الآلة (Machine learning based NLP) تتعلم المعرفة اللغوية من بيانات موسومة وتترك لمصنِّف (classifier) أن يوازن بينها. التعلم العميق من الطرف إلى الطرف (End-to-end deep learning) يتعلم كل شيء، بما في ذلك أي معرفة بالعالم يتضمنها النص، من المُدخَل الخام داخل شبكة واحدة. أما المنهج الهجين (hybrid approach) فيمزج بينها، وعادةً بقواعد حيث تكون المعرفة واضحة الحدود ونماذج حيث تكون إحصائية.

The second half of slide 24 says where the models, algorithms and theories come from: computer science, mathematics and linguistics. Slide 5 drew NLP where artificial intelligence, computer science and linguistics meet; slide 24 keeps computer science and linguistics but puts mathematics where artificial intelligence was. Jurafsky and Martin open their overview of the field with the same sentence, that the models are all drawn from the standard toolkits of computer science, mathematics and linguistics. Computer science supplies state space search, classifiers and dynamic programming. Mathematics supplies probability and linear algebra. Linguistics supplies the levels of part 3 and the categories, such as noun phrase and prepositional phrase, that the algorithms operate on.

يذكر النصف الثاني من الشريحة 24 من أين تأتي النماذج والخوارزميات والنظريات: علوم الحاسب، والرياضيات، واللسانيات. رسمت الشريحة 5 معالجة اللغات الطبيعية في نقطة التقاء الذكاء الاصطناعي وعلوم الحاسب واللسانيات؛ أما الشريحة 24 فتُبقي علوم الحاسب واللسانيات لكنها تضع الرياضيات مكان الذكاء الاصطناعي. ويفتتح Jurafsky و Martin نظرتهما العامة إلى المجال بالجملة نفسها: إن النماذج كلها مستمدة من الأدوات المعتادة لعلوم الحاسب والرياضيات واللسانيات. تقدّم علوم الحاسب البحث في فضاء الحالات (state space search)، والمصنِّفات (classifiers)، والبرمجة الديناميكية (dynamic programming). وتقدّم الرياضيات الاحتمالات والجبر الخطي. وتقدّم اللسانيات مستويات الجزء 3 والفئات، مثل المركب الاسمي وشبه الجملة الجارّة، التي تعمل عليها الخوارزميات.

The textbook behind the slidesالكتاب المرجعي وراء الشرائح

The lecture credits its material mainly to Jurafsky and Martin, Speech and Language Processing. That is right; the duck sentence, the toolkit sentence and the whole shape of this lecture come from its first chapter. The edition details on the slide are not right.

تنسب المحاضرة مادتها أساسًا إلى Jurafsky و Martin، Speech and Language Processing. وهذا صحيح؛ فجملة البطة، وجملة الأدوات، والشكل العام لهذه المحاضرة كلها مأخوذة من الفصل الأول للكتاب. أما تفاصيل الطبعة المذكورة في الشريحة فليست صحيحة.