What natural language processing isما هي معالجة اللغات الطبيعية

Three things you probably did this week. You said "hey Siri, set an alarm for six" and a phone acted on it. A visitor pointed Google Translate's camera at an Arabic menu and read it in English. And Gmail moved a phishing message into spam before you ever saw it. All three are natural language processing, and they are three different jobs: a human talking to a machine, two humans with a machine in the middle, and no conversation at all, just text being handled usefully.

ثلاثة أشياء غالباً فعلتها هذا الأسبوع. قلت «hey Siri, set an alarm for six» فنفّذ الهاتف الأمر. ووجّه زائرٌ كاميرا Google Translate نحو قائمة طعام عربية فقرأها بالإنجليزية. ونقل Gmail رسالة تصيّد (phishing) إلى مجلد الرسائل المزعجة قبل أن تراها أصلاً. هذه الثلاثة كلها من معالجة اللغات الطبيعية (natural language processing)، وهي ثلاث مهام مختلفة: إنسان يتحدث إلى آلة، وإنسانان بينهما آلة وسيطة، ولا محادثة على الإطلاق، بل نص يُعالَج معالجة مفيدة فحسب.

That is exactly how the field defines itself. Slide 4 states it in one sentence: NLP is a branch of artificial intelligence that is concerned with interactions between computers and human language. The purpose clause that follows is the part to memorise, because it lists the three goals in a fixed order: enabling human-machine communication, improving human-human communication, or simply doing useful processing of text or speech. The wording is lifted almost verbatim from the opening of Jurafsky and Martin's textbook, which describes the goal of the field as getting computers to perform useful tasks involving human language, "tasks like enabling human-machine communication, improving human-human communication, or simply doing useful processing of text or speech" (Jurafsky and Martin, 2nd edition, chapter 1).

وهذا بالضبط هو تعريف المجال لنفسه. تقوله الشريحة 4 في جملة واحدة: NLP فرع من فروع الذكاء الاصطناعي (artificial intelligence) يُعنى بالتفاعل بين الحواسيب واللغة البشرية. أما جملة الغاية التي تليه فهي الجزء الذي يجب حفظه، لأنها تسرد الأهداف الثلاثة بترتيب ثابت: تمكين التواصل بين الإنسان والآلة (enabling human-machine communication)، وتحسين التواصل بين البشر (improving human-human communication)، أو مجرد إجراء معالجة مفيدة للنص أو الكلام (simply doing useful processing of text or speech). والصياغة منقولة حرفياً تقريباً من مطلع كتاب Jurafsky وMartin، الذي يصف هدف المجال بأنه جعل الحواسيب تؤدي مهام مفيدة تتضمن اللغة البشرية، «مهام مثل تمكين التواصل بين الإنسان والآلة، أو تحسين التواصل بين البشر، أو مجرد إجراء معالجة مفيدة للنص أو الكلام» (Jurafsky and Martin، الطبعة 2، الفصل 1).

Notice what the definition does not say. It does not name a technique. It does not say statistics, or neural networks, or grammars. NLP is defined by its problem, human language, and by what it wants to achieve with it. The techniques have moved from hand-written rules to statistical learning to deep neural networks (part 03 walks through that sequence), and the definition has not moved with them. That is why it is worth learning by heart: it will still be true when the current models are obsolete.

لاحظ ما لا يقوله التعريف. إنه لا يسمّي أي تقنية. لا يذكر الإحصاء، ولا الشبكات العصبية، ولا القواعد النحوية (grammars). فـNLP معرَّف بمشكلته، أي اللغة البشرية، وبما يريد تحقيقه بها. لقد انتقلت التقنيات من قواعد مكتوبة يدوياً إلى التعلم الإحصائي ثم إلى الشبكات العصبية العميقة (يستعرض الجزء 03 هذا التسلسل)، ولم يتغير التعريف معها. ولهذا يستحق الحفظ عن ظهر قلب: سيبقى صحيحاً حين تصبح النماذج الحالية قديمة.

The logos, sorted by goalالشعارات مصنّفة حسب الهدف

Slide 2 shows seven companies and says nothing else, so the exercise is to say it for them. Each logo stands for at least one product whose core step is a language step, and each of those products serves one of the three goals. Google Search is the clearest case: in 2019 Google wrote that "Search is about understanding language" and introduced BERT to help it understand one in 10 searches in the U.S. in English better (Google, 2019). Amazon's developer documentation describes the Alexa pipeline as streaming your speech to the cloud, where "the Alexa service handles the speech recognition and natural language processing" (Amazon). Meta's No Language Left Behind project calls machine translation "a key focus of artificial intelligence research today" and covers 200 languages (NLLB Team, 2022). Grammarly says its team of computational linguists and deep learning engineers builds algorithms that learn "the rules and hidden patterns of good writing by analyzing millions of sentences" (Grammarly), which is spelling and grammar correction at industrial scale.

تعرض الشريحة 2 سبع شركات ولا تقول شيئاً آخر، فالتمرين أن تقول أنت ما سكتت عنه. كل شعار يمثل منتجاً واحداً على الأقل خطوته الجوهرية خطوة لغوية، وكل منتج من هذه المنتجات يخدم أحد الأهداف الثلاثة. بحث Google أوضح مثال: في عام 2019 كتبت Google أن «البحث يدور حول فهم اللغة» (Search is about understanding language)، وقدّمت BERT لتساعد البحث على فهم عملية بحث واحدة من كل 10 عمليات باللغة الإنجليزية في الولايات المتحدة (U.S.) فهماً أفضل (Google, 2019). وتصف وثائق المطورين لدى Amazon مسار Alexa بأنه بثّ كلامك إلى السحابة، حيث «تتولى خدمة Alexa التعرف على الكلام ومعالجة اللغة الطبيعية» (Amazon). ويصف مشروع No Language Left Behind من Meta الترجمة الآلية (machine translation) بأنها «محور رئيسي لأبحاث الذكاء الاصطناعي اليوم»، ويغطي 200 لغة (NLLB Team, 2022). وتقول Grammarly إن فريقها من اللغويين الحاسوبيين ومهندسي التعلم العميق يبني خوارزميات تتعلم «قواعد الكتابة الجيدة وأنماطها الخفية من خلال تحليل ملايين الجمل» (Grammarly)، وهذا هو تصحيح الإملاء والقواعد (spelling and grammar correction) على نطاق صناعي.

One field, many namesمجال واحد وأسماء كثيرة

Slide 4 ends by admitting that the field "has many names" and lists three. They are not rival fields. Each stresses a different facet of the same work, and the facet tells you who is speaking. When someone says computational linguistics they are usually facing the linguistics side: language as the object of scientific study, with computation as the method. Its professional society is the ACL, which describes itself as serving people working on computational problems involving human language, "a field often referred to as either computational linguistics or natural language processing (NLP)" (ACL). When someone says speech and language processing they are quoting the title of the Jurafsky and Martin book and reminding you that speech is in scope. When someone says human language technology they are on the engineering side, thinking about systems that ship.

تنتهي الشريحة 4 بالاعتراف بأن للمجال «أسماء كثيرة» (has many names) وتذكر ثلاثة منها. وهي ليست مجالات متنافسة، بل يبرز كل اسم جانباً مختلفاً من العمل نفسه، والجانب يكشف لك من أي جهة يتحدث صاحبه. حين يقول أحدهم اللسانيات الحاسوبية (computational linguistics) فهو في الغالب يقف في جهة اللسانيات: اللغة موضوعاً للدراسة العلمية، والحوسبة منهجاً. وجمعيته المهنية هي ACL، التي تصف نفسها بأنها تخدم من يعملون على مسائل حاسوبية تتعلق باللغة البشرية، «وهو مجال يُشار إليه غالباً باسم اللسانيات الحاسوبية أو معالجة اللغات الطبيعية (NLP)» (ACL). وحين يقول أحدهم معالجة الكلام واللغة (speech and language processing) فهو يقتبس عنوان كتاب Jurafsky وMartin ويذكّرك بأن الكلام المنطوق ضمن نطاق المجال. وحين يقول أحدهم تقنيات اللغة البشرية (human language technology) فهو في جهة الهندسة، يفكر في أنظمة تُطلق وتُستخدم فعلاً.

The list keeps growing. The current draft of the third edition says the field "has many names corresponding to its many facets, including natural language processing (NLP), computational linguistics, spoken language processing, speech recognition, or most recently simply language modeling" (Jurafsky and Martin, 3rd edition draft, chapter 1). Note the word "recently": language modeling is the newest label, not a replacement for the field.

والقائمة في ازدياد. تقول المسودة الحالية للطبعة الثالثة إن للمجال «أسماء كثيرة تقابل جوانبه الكثيرة، منها معالجة اللغات الطبيعية (NLP)، واللسانيات الحاسوبية، ومعالجة اللغة المنطوقة، والتعرف على الكلام، أو مؤخراً نمذجة اللغة (language modeling) فحسب» (Jurafsky and Martin، مسودة الطبعة 3، الفصل 1). لاحظ كلمة «مؤخراً» (recently): نمذجة اللغة أحدث تسمية، وليست بديلاً عن المجال.

Take the spam filter again and ask what you would need to build one. You need to know what counts as a word, that free and FREE!!! are the same word dressed differently, and that "not a scam" flips the meaning of "scam". That is linguistics. You need a classifier, a hash table for the vocabulary, and an algorithm that runs in reasonable time on millions of messages. That is computer science. And you need a way to learn the weights from mail people have reported, and to represent the result as "spam with probability 0.97". That is artificial intelligence.

خذ مرشّح الرسائل المزعجة مرة أخرى واسأل: ماذا تحتاج لبنائه؟ تحتاج أن تعرف ما الذي يُعدّ كلمة، وأن free وFREE!!! كلمة واحدة بلباسين مختلفين، وأن عبارة «not a scam» تقلب معنى «scam». هذه لسانيات. وتحتاج مصنِّفاً (classifier)، وجدول تجزئة (hash table) للمفردات، وخوارزمية تعمل في وقت معقول على ملايين الرسائل. هذه علوم حاسب. وتحتاج طريقة لتعلم الأوزان من الرسائل التي أبلغ عنها الناس، ولتمثيل النتيجة في صورة «رسالة مزعجة باحتمال 0.97». وهذا هو الذكاء الاصطناعي (artificial intelligence).

Slide 5 draws this as a Venn diagram: NLP sits at the intersection of linguistics, computer science (abbreviated Comp. Sci. on the slide) and AI, and the bullet list trails off with an ellipsis. The ellipsis is not decoration. Read against slide 24, which names the fields NLP draws its models, algorithms and theories from as computer science, mathematics and linguistics, the ellipsis stands most plausibly for mathematics (the part of it NLP leans on most is probability and statistics). Jurafsky and Martin go further, listing the foundations of the field as "computer science, linguistics, mathematics, electrical engineering, and psychology" (Jurafsky and Martin, 2nd edition, chapter 1). Electrical engineering enters through the signal processing that speech needs, and psychology through the study of how people actually produce and understand language.

ترسم الشريحة 5 ذلك في مخطط فِن (Venn): يقع NLP عند تقاطع اللسانيات وعلوم الحاسب (مختصرة على الشريحة Comp. Sci.) والذكاء الاصطناعي، وتنتهي قائمة النقاط بعلامة حذف (...). وعلامة الحذف ليست زينة. فإذا قرأناها في ضوء الشريحة 24، التي تسمي المجالات التي يستمد منها NLP نماذجه وخوارزمياته ونظرياته بأنها علوم الحاسب والرياضيات واللسانيات، فإن أرجح ما تعنيه علامة الحذف هو الرياضيات (وأكثر ما يعتمد عليه NLP منها هو الاحتمالات والإحصاء). ويذهب Jurafsky وMartin أبعد من ذلك، فيعدّدون أسس المجال بأنها «علوم الحاسب، واللسانيات، والرياضيات، والهندسة الكهربائية، وعلم النفس» (Jurafsky and Martin، الطبعة 2، الفصل 1). تدخل الهندسة الكهربائية عبر معالجة الإشارات التي يحتاجها الكلام، ويدخل علم النفس عبر دراسة كيف ينتج الناس اللغة ويفهمونها فعلاً.

What each parent contributesما يقدمه كل تخصص أم

The three circles are not interchangeable, and an exam question will often ask you to say what each one brings. Linguistics supplies the object of study and the vocabulary for describing it: the levels of language from sounds through words and sentences to meaning and discourse, the theories of grammar that say which sentences are well formed, and the very idea of ambiguity, which part 04 returns to. Computer science supplies the machinery. Jurafsky and Martin single out "state space search algorithms, such as dynamic programming, and machine learning algorithms, such as classifiers" as the most important (Jurafsky and Martin, 2nd edition, section 1.3). AI supplies learning and knowledge: how to fit a model to data, how to store facts a program can reason over, and the probabilistic stance that, given several possible readings, you should choose the most probable one.

الدوائر الثلاث ليست قابلة للتبادل، وكثيراً ما يطلب منك سؤال الامتحان أن تذكر ما يقدمه كل منها. تقدم اللسانيات موضوع الدراسة والمفردات اللازمة لوصفه: مستويات اللغة من الأصوات مروراً بالكلمات والجمل وصولاً إلى المعنى والخطاب (discourse)، ونظريات النحو التي تحدد أي الجمل سليمة البناء، وفكرة الغموض (ambiguity) نفسها، التي يعود إليها الجزء 04. وتقدم علوم الحاسب الآلية المنفّذة. يخص Jurafsky وMartin بالذكر «خوارزميات البحث في فضاء الحالات (state space search)، مثل البرمجة الديناميكية (dynamic programming)، وخوارزميات تعلم الآلة، مثل المصنِّفات» بوصفها الأهم (Jurafsky and Martin، الطبعة 2، القسم 1.3). ويقدم الذكاء الاصطناعي التعلم والمعرفة: كيف تُلائم نموذجاً مع البيانات، وكيف تخزن حقائق يستطيع البرنامج أن يستدل بها، والموقف الاحتمالي القائل إنه إذا كان أمامك عدة قراءات ممكنة فعليك أن تختار أرجحها.

Jurafsky and Martin make the point with the Unix program wc. When it counts bytes and lines it is ordinary data processing. When it counts words it is doing something linguistic, because it needs to know what a word is. The line between data processing and language processing is exactly the linguistics circle: the moment your program relies on knowledge of language, it has crossed into NLP.

يوضح Jurafsky وMartin الفكرة ببرنامج wc في Unix. حين يعدّ البايتات والأسطر فهو معالجة بيانات عادية. وحين يعدّ الكلمات فهو يفعل شيئاً لغوياً، لأنه يحتاج أن يعرف ما الكلمة. والحد الفاصل بين معالجة البيانات ومعالجة اللغة هو دائرة اللسانيات بالضبط: في اللحظة التي يعتمد فيها برنامجك على المعرفة باللغة (knowledge of language) يكون قد عبر إلى NLP.

Photograph a street sign in Riyadh with your phone. Vision finds the sign in the pixels and reads its letters. NLP translates the words on it. A delivery robot could be told "turn left at that sign" and act on it. And a knowledge base knows that the name on the sign is a real district with a location and a history. One photo has just touched four subfields of artificial intelligence, and most of those steps are now learned from data by a fifth.

صوّر لافتة شارع في الرياض بهاتفك. الرؤية الحاسوبية تجد اللافتة بين البكسلات وتقرأ حروفها. وNLP يترجم الكلمات المكتوبة عليها. ويمكن أن يُقال لروبوت توصيل «انعطف يساراً عند تلك اللافتة» فينفّذ. وقاعدة معرفة تعرف أن الاسم المكتوب على اللافتة حيٌّ حقيقي له موقع وتاريخ. صورة واحدة لمست للتو أربعة فروع من الذكاء الاصطناعي (artificial intelligence)، ومعظم هذه الخطوات صار اليوم يُتعلَّم من البيانات بواسطة فرع خامس.

Slide 6 lists those five subfields as stacked boxes: natural language processing, knowledge representation and deduction, machine learning, computer vision and robotics. Only one box has a sub-bullet: deep learning is indented under machine learning. The same map appears in the standard AI textbook. Russell and Norvig give knowledge representation its own chapter inside a part called "Knowledge, reasoning, and planning", give machine learning its own part with a deep learning chapter inside it, and group natural language processing, computer vision and robotics under "Communicating, perceiving, and acting" (Russell and Norvig, 4th edition, table of contents). The slide is the textbook's contents page compressed to five lines.

تسرد الشريحة 6 هذه الفروع الخمسة في صناديق متراصة: معالجة اللغات الطبيعية، وتمثيل المعرفة والاستنتاج (knowledge representation and deduction)، وتعلم الآلة (machine learning)، والرؤية الحاسوبية (computer vision)، والروبوتات (robotics). صندوق واحد فقط له نقطة فرعية: التعلم العميق (deep learning) مُزاح إلى الداخل تحت تعلم الآلة. والخريطة نفسها تظهر في كتاب الذكاء الاصطناعي المرجعي. يخصص Russell وNorvig لتمثيل المعرفة فصلاً مستقلاً داخل جزء عنوانه «Knowledge, reasoning, and planning» (المعرفة والاستدلال والتخطيط)، ويخصصان لتعلم الآلة جزءاً مستقلاً بداخله فصل عن التعلم العميق، ويجمعان معالجة اللغات الطبيعية والرؤية الحاسوبية والروبوتات تحت «Communicating, perceiving, and acting» (التواصل والإدراك والفعل) (Russell and Norvig، الطبعة 4، جدول المحتويات). فالشريحة هي صفحة محتويات الكتاب مضغوطة في خمسة أسطر.

• Natural language processingمعالجة اللغات الطبيعية (natural language processing)
• Knowledge representation and deduction (standard phrase: reasoning)تمثيل المعرفة والاستنتاج (knowledge representation and deduction)، والعبارة المعيارية: الاستدلال (reasoning)
• Machine learning, with deep learning as its sub-areaتعلم الآلة (machine learning)، والتعلم العميق (deep learning) فرع داخله
• Computer visionالرؤية الحاسوبية (computer vision)
• Roboticsالروبوتات (robotics)

Sibling and tool at onceأخٌ وأداة في آن واحد

The key point of the slide is why deep learning is indented rather than listed beside the others. Machine learning is a subfield in its own right, but it is also the main method NLP, computer vision and robotics now use, and an increasingly common one in knowledge representation as well. Goodfellow, Bengio and Courville draw this as nested sets: deep learning is a kind of representation learning, which is a kind of machine learning, "which is used for many but not all approaches to AI" (Goodfellow et al., 2016, figure 1.4). The nesting is why the slide indents deep learning, and the "used for" clause is why the AI textbook has both a chapter called Natural Language Processing and one called Deep Learning for Natural Language Processing. It is also why the rest of ICS 582 is mostly machine learning: the problem is language, the method is learning.

النقطة الأساسية في الشريحة هي سبب إزاحة التعلم العميق إلى الداخل بدلاً من وضعه بجانب الفروع الأخرى. تعلم الآلة فرع قائم بذاته، لكنه أيضاً المنهج الرئيسي الذي يستخدمه اليوم كل من NLP والرؤية الحاسوبية والروبوتات، ومنهج يتزايد استخدامه في تمثيل المعرفة كذلك. ويرسم Goodfellow وBengio وCourville ذلك في صورة مجموعات متداخلة: التعلم العميق نوع من تعلم التمثيلات (representation learning)، الذي هو نوع من تعلم الآلة، «الذي يُستخدم في كثير من مناهج الذكاء الاصطناعي لا في جميعها» (Goodfellow et al., 2016، الشكل 1.4). هذا التداخل هو سبب إزاحة الشريحة للتعلم العميق، وعبارة «يُستخدم في» (used for) هي سبب احتواء كتاب الذكاء الاصطناعي على فصل بعنوان Natural Language Processing وآخر بعنوان Deep Learning for Natural Language Processing. وهي أيضاً سبب كون معظم ما تبقى من ICS 582 تعلم آلة: المشكلة هي اللغة، والمنهج هو التعلم.

The pairings between NLP and its siblings are concrete systems you can name in an exam. With computer vision, image captioning: Vinyals and colleagues describe automatically describing an image as a problem that "connects computer vision and natural language processing" (Vinyals et al., 2014). Optical character recognition is the other direction, a vision task that extracts "printed or handwritten text from images such as posters, street signs, and product labels" and hands it to NLP (Microsoft Learn). With robotics, instruction following: the SayCan system completes "long-horizon, abstract, natural language instructions on a mobile manipulator", with the robot acting as the language model's "hands and eyes" (Ahn et al., 2022). With knowledge representation, question answering over a knowledge graph: Google's Knowledge Graph understands "real-world entities and their relationships to one another: things, not strings", and uses that to tell the Taj Mahal monument from the musician (Google, 2012).

الروابط بين NLP وإخوته أنظمة ملموسة تستطيع تسميتها في الامتحان. مع الرؤية الحاسوبية: توليد أوصاف الصور (image captioning)، إذ يصف Vinyals وزملاؤه الوصف التلقائي لصورة بأنه مشكلة «تربط الرؤية الحاسوبية بمعالجة اللغات الطبيعية» (Vinyals et al., 2014). والتعرف الضوئي على الحروف (OCR) هو الاتجاه المعاكس: مهمة رؤية تستخرج «النص المطبوع أو المكتوب بخط اليد من صور مثل الملصقات ولافتات الشوارع وملصقات المنتجات» وتسلّمه إلى NLP (Microsoft Learn). مع الروبوتات: اتباع التعليمات (instruction following)، إذ ينفّذ نظام SayCan «تعليمات مجردة طويلة الأفق بلغة طبيعية على روبوت متنقل ذي ذراع» (mobile manipulator)، ويعمل الروبوت بوصفه «يدَي النموذج اللغوي وعينيه» (Ahn et al., 2022). مع تمثيل المعرفة: الإجابة عن الأسئلة (question answering) فوق رسم بياني معرفي (knowledge graph)، إذ يفهم Knowledge Graph من Google «الكيانات في العالم الحقيقي وعلاقاتها ببعضها: أشياء لا سلاسل نصية» (things, not strings)، ويستخدم ذلك ليميّز نُصب تاج محل (Taj Mahal) من الموسيقي الذي يحمل الاسم نفسه (Google, 2012).