Spelling tasks and the two kinds of errorsمهام الإملاء ونوعا الأخطاء

Look at three screenshots from the lecture before reading any definitions. Each one shows a different system doing a different job, and together they already contain the whole taxonomy of this part.

انظر إلى ثلاث لقطات شاشة من المحاضرة قبل قراءة أي تعريفات. كل واحدة منها تُظهر نظاما مختلفا يؤدي مهمة مختلفة، وهي معا تحتوي مسبقا على التصنيف الكامل لهذا الجزء.

• Microsoft Word underlines the sentence This is bigger then that ofcourse. It flags then and offers the single fix than. That is remarkable: then is a perfectly good English word, so Word could only have caught it by reading bigger ... that around it. It also flags ofcourse, which is not a word at all; the writer simply left out a space.يضع Microsoft Word خطا تحت الجملة This is bigger then that ofcourse. فهو يعلّم then ويعرض إصلاحا واحدا هو than. وهذا لافت للنظر: then كلمة إنجليزية صحيحة تماما، فلم يكن بإمكان Word أن يكتشفها إلا بقراءة bigger ... that من حولها. ويعلّم أيضا ofcourse، وهي ليست كلمة أصلا؛ فالكاتب ببساطة نسي مسافة.
• A web search engine receives natural langage processing and answers Showing results for natural language processing, with a link to search the original instead. langage is not an English word, so the engine knew something was wrong and was confident enough to act on its fix.محرك بحث على الويب يستقبل natural langage processing فيجيب Showing results for natural language processing (أي: تُعرض نتائج natural language processing)، مع رابط للبحث عن النص الأصلي بدلا من ذلك. كلمة langage ليست كلمة إنجليزية، لذلك عرف المحرك أن هناك خطأ، وكان واثقا بما يكفي ليطبّق إصلاحه مباشرة.
• A phone keyboard shows I will check it ther and offers three buttons: there, the, they. It is sure ther is wrong but not sure what was meant, so it hands the choice back to the user.لوحة مفاتيح الهاتف تعرض I will check it ther وتقدّم ثلاثة أزرار: there وthe وthey. فهي متأكدة أن ther خاطئة، لكنها غير متأكدة مما كان مقصودا، لذلك تعيد قرار الاختيار إلى المستخدم.

Notice the two separate questions each tool answers. First: is there an error here at all? Second: what was intended, and how sure am I? The second question also decides how the fix is shown: replaced silently, offered once, or offered as a list. And notice the difference between the errors themselves. langage, ther and ofcourse are not words. then is a word, just the wrong one. That difference is the spine of the rest of the part.

لاحظ السؤالين المنفصلين اللذين تجيب عنهما كل أداة. الأول: هل يوجد خطأ هنا أصلا؟ الثاني: ما الذي كان مقصودا، وما مدى تأكدي؟ والسؤال الثاني يحدد أيضا طريقة عرض الإصلاح: يُستبدل بصمت، أو يُعرض مرة واحدة، أو يُعرض كقائمة. ولاحظ أيضا الفرق بين الأخطاء نفسها. langage وther وofcourse ليست كلمات. أما then فهي كلمة، لكنها الكلمة الخطأ. وهذا الفرق هو العمود الفقري لبقية هذا الجزء.

Type hte on a phone and it becomes the before you look up. Type ther and you get three buttons instead. Both systems detected the error. They differ in how much they trusted their correction.

اكتب hte على الهاتف فتتحول إلى the قبل أن ترفع نظرك. واكتب ther فتحصل بدلا من ذلك على ثلاثة أزرار. كلا النظامين اكتشف الخطأ، والفرق بينهما هو مقدار ثقتهما في التصحيح.

This is the first split. Spelling error detection decides whether a token is misspelled and nothing more; the red underline is detection. Spelling error correction proposes what the writer meant. Detection can exist without correction (a plain underline), but correction always needs detection first, because you cannot fix what you did not notice.

هذا هو التقسيم الأول. Spelling error detection (كشف الخطأ الإملائي) يقرر هل الكلمة مكتوبة خطأ أم لا، ولا شيء أكثر من ذلك؛ والخط الأحمر تحت الكلمة هو الكشف. أما Spelling error correction (تصحيح الخطأ الإملائي) فيقترح ما كان الكاتب يقصده. يمكن أن يوجد الكشف دون تصحيح (خط تحت الكلمة فقط)، لكن التصحيح يحتاج دائما إلى الكشف أولا، لأنك لا تستطيع إصلاح ما لم تلاحظه.

Correction comes in three strengths, and they form a ladder:

يأتي التصحيح بثلاث درجات من القوة، وهي تشكّل سلّما:

1. Autocorrect: replace the word without asking, as hte to the, or as the search engine does when it runs natural language processing straight away and leaves only a Search instead for link back. Only safe when the system is very confident, because a wrong silent change is worse than no change.Autocorrect (التصحيح التلقائي): استبدال الكلمة دون سؤال، كما في hte إلى the، أو كما يفعل محرك البحث حين يشغّل البحث عن natural language processing مباشرة ولا يترك إلا رابط Search instead for للعودة إلى النص الأصلي. وهو آمن فقط حين يكون النظام واثقا جدا، لأن التغيير الصامت الخاطئ أسوأ من عدم التغيير.
2. Suggest a correction: show one fix and let the user accept it, as Word does when its right-click menu offers than above Ignore.اقتراح تصحيح: عرض إصلاح واحد وترك المستخدم يقبله، كما يفعل Word حين تعرض قائمة النقر بالزر الأيمن than فوق خيار Ignore (تجاهل).
3. Suggestion list: show several fixes ranked by likelihood, as the keyboard does with there, the, they. Used when the top candidates are close.قائمة اقتراحات: عرض عدة إصلاحات مرتبة حسب الاحتمال، كما تفعل لوحة المفاتيح مع there وthe وthey. وتُستخدم حين تكون المرشحات الأولى متقاربة.

Why hte is safe to autocorrect and ther is not: hte has one overwhelmingly likely source, the most frequent word in English, one swap away. ther sits one edit away from there, the, they, then and her, several of them very common. The lecture returns to this policy at the end as the Confidence ladder, once you can compute the confidence it depends on.

لماذا يكون التصحيح التلقائي لـhte آمنا ولـther غير آمن: لـhte مصدر واحد مرجّح بفارق ساحق، وهو أكثر الكلمات تكرارا في الإنجليزية، على بُعد تبديل واحد. أما ther فتقع على بُعد تعديل واحد من there وthe وthey وthen وher، وكثير منها شائع جدا. وتعود المحاضرة إلى هذه السياسة في نهايتها باسم Confidence ladder (سلّم الثقة)، بعد أن تصبح قادرا على حساب الثقة التي تعتمد عليها.

Take three slips. Someone types graffe for giraffe. Someone types there when they meant three. Someone writes piece in a sentence about a peace treaty. All three are spelling errors, and they are three different problems.

خذ ثلاث زلات. شخص يكتب graffe بدلا من giraffe. وشخص يكتب there وهو يقصد three. وشخص يكتب piece في جملة عن معاهدة peace (سلام). الثلاثة كلها أخطاء إملائية، لكنها ثلاث مشكلات مختلفة.

Where the error lands decides everythingالمكان الذي يقع فيه الخطأ يحدد كل شيء

graffe is a Non-word error: the typed string is not in the dictionary. That one fact makes it easy to detect, since any lookup fails. there and piece are real-word errors: the slip happened to land on another valid word. Lookup succeeds, so the error is invisible to it. The only evidence left is that the word does not fit its neighbours: I bought there tickets is odd English, I bought three tickets is not.

graffe هي Non-word error (خطأ كلمة غير موجودة): النص المكتوب ليس في القاموس. وهذه الحقيقة وحدها تجعل كشفه سهلا، لأن أي بحث في القاموس سيفشل. أما there وpiece فهما real-word errors (أخطاء كلمات حقيقية): وقعت الزلة صدفة على كلمة صحيحة أخرى. فالبحث في القاموس ينجح، ولذلك يكون الخطأ خفيا عنه. والدليل الوحيد الباقي هو أن الكلمة لا تتلاءم مع جاراتها: I bought there tickets إنجليزية غريبة، أما I bought three tickets فليست كذلك.

Two ways to land on the wrong wordطريقتان للوقوع على الكلمة الخطأ

Real-word errors split again by what went wrong in the writer:

تنقسم أخطاء الكلمات الحقيقية مرة أخرى بحسب ما الذي أخفق عند الكاتب:

• A Typographical error is a slip of the fingers. The writer knows how to spell three; two keys were pressed in the wrong order and produced there. These errors look like keyboard accidents: one letter inserted, dropped, swapped or replaced, often by a neighbouring key.Typographical error (الخطأ الطباعي) زلة أصابع. الكاتب يعرف كيف يتهجى three، لكنه ضغط مفتاحين بترتيب خاطئ فنتجت there. وتبدو هذه الأخطاء كحوادث لوحة مفاتيح: حرف واحد يُدرج أو يُحذف أو يُبدَّل موضعه أو يُستبدل، وكثيرا ما يكون ذلك بمفتاح مجاور.
• A Cognitive error is a slip of knowledge. The writer believes piece is how the word for the absence of war is spelled. The typical case is a Homophone: words that sound the same and are spelled differently, such as piece and peace, too and two. These errors are close in sound, not necessarily close in letters.Cognitive error (الخطأ المعرفي) زلة معرفة. الكاتب يعتقد أن piece هي تهجئة الكلمة التي تعني غياب الحرب. والحالة النموذجية هي Homophone (الكلمات المتجانسة صوتيا): كلمات تُنطق بالطريقة نفسها وتُكتب بشكل مختلف، مثل piece وpeace، وtoo وtwo. هذه الأخطاء قريبة في الصوت، وليست بالضرورة قريبة في الحروف.

The split is not just labels. It tells you where to look for the intended word. For a typo, search words a few keystrokes away. For a cognitive error, search words that sound alike. Slide 8 builds exactly those two searches.

هذا التقسيم ليس مجرد تسميات، بل يخبرك أين تبحث عن الكلمة المقصودة. في الخطأ الطباعي، ابحث في الكلمات التي تبعد بضع ضغطات مفاتيح. وفي الخطأ المعرفي، ابحث في الكلمات المتشابهة في النطق. والشريحة 8 تبني هذين البحثين بالضبط.

How common are spelling errors? The lecture lists five numbers from 1% to 26%. They are not contradictory measurements of one quantity. Each one describes a different way of typing.

ما مدى شيوع الأخطاء الإملائية؟ تسرد المحاضرة خمسة أرقام من 1% إلى 26%. وهي ليست قياسات متناقضة لكمية واحدة، بل كل رقم منها يصف طريقة مختلفة في الكتابة.

• 26% of web queries contain an error (Wang et al., 2003). Queries are typed fast, with no review, and full of names and rare terms.26% من استعلامات البحث على الويب تحتوي على خطأ (Wang et al., 2003). فالاستعلامات تُكتب بسرعة، دون مراجعة، وهي مليئة بالأسماء والمصطلحات النادرة.
• 13% when people retype text without using backspace (Whitelaw et al., 2009). The paper measured 10.8% misspelled tokens for 25 English typists and 12.5% for German, typing at a normal pace and avoiding backspace and delete.13% حين يعيد الناس كتابة نص دون استخدام زر المسح backspace (Whitelaw et al., 2009). قاست الورقة 10.8% من الكلمات المكتوبة خطأ لدى 25 كاتبا بالإنجليزية، و12.5% بالألمانية، وهم يكتبون بسرعة عادية ويتجنبون زرَّي backspace وdelete.
• 7% errors made and then corrected, and 2% left uncorrected, when retyping on a phone-sized organizer (Soukoreff and MacKenzie, 2003).7% أخطاء ارتُكبت ثم صُحّحت، و2% بقيت دون تصحيح، عند إعادة الكتابة على منظِّم شخصي بحجم الهاتف (Soukoreff and MacKenzie, 2003).
• 1% to 2% for careful retyping of printed text on a normal keyboard (Kane and Wobbrock, 2007; Grudin, 1983).من 1% إلى 2% عند إعادة كتابة نص مطبوع بعناية على لوحة مفاتيح عادية (Kane and Wobbrock, 2007؛ Grudin, 1983).

Read the list as a set of input conditions: device size, speed, whether errors may be fixed, and when they are counted. Take away backspace and the rate rises because nothing gets fixed. Shrink the keyboard and fingers land on neighbouring keys. Count errors before the user fixes them, and you see the 7%; count after, and only the 2% that survived. The same person can produce all of these numbers in one afternoon.

اقرأ القائمة على أنها مجموعة من ظروف الإدخال: حجم الجهاز، والسرعة، وهل يُسمح بإصلاح الأخطاء، ومتى تُحسب. انزع زر المسح فيرتفع المعدل لأن شيئا لا يُصلَح. صغّر لوحة المفاتيح فتقع الأصابع على المفاتيح المجاورة. احسب الأخطاء قبل أن يصلحها المستخدم فترى 7%؛ واحسبها بعد ذلك فلا ترى إلا 2% التي نجت من الإصلاح. والشخص نفسه يمكن أن ينتج كل هذه الأرقام في عصر يوم واحد.

Back to graffe. A dictionary says it is not a word, so it is an error. Now what should replace it: giraffe, gaffe, graf, grail, craft?

لنعد إلى graffe. القاموس يقول إنها ليست كلمة، إذن هي خطأ. والآن، ما الذي يجب أن يحل محلها: giraffe أم gaffe أم graf أم grail أم craft؟

Detection: anything not in the dictionaryالكشف: كل ما ليس في القاموس

For non-word errors, detection is a lookup. Any token not in the dictionary is flagged. The slide adds that the larger the dictionary the better, and modern systems indeed use huge word lists harvested from the web, so that names, product names and new words are not flagged as errors.

في أخطاء الكلمات غير الموجودة، الكشف مجرد بحث في القاموس: تُعلَّم أي كلمة غير موجودة فيه. وتضيف الشريحة أنه كلما كبر القاموس كان أفضل، والأنظمة الحديثة تستخدم فعلا قوائم كلمات ضخمة مجموعة من الويب، حتى لا تُعلَّم الأسماء وأسماء المنتجات والكلمات الجديدة على أنها أخطاء.

Correction: generate, then chooseالتصحيح: ولّد ثم اختر

Correction has two steps. Candidate generation produces the real words that are similar to the error, usually all dictionary words within one or two edits. Then the system ranks them and picks the best, in one of two ways:

للتصحيح خطوتان. Candidate generation (توليد المرشحين) ينتج الكلمات الحقيقية المشابهة للخطأ، وعادة تكون كل كلمات القاموس التي تبعد تعديلا واحدا أو تعديلين. ثم يرتّبها النظام ويختار أفضلها بإحدى طريقتين:

• Shortest weighted edit distance. Use Edit distance from the previous lecture, but weight each edit by how plausible it is: swapping two adjacent letters, or hitting a neighbouring key, should cost less than an arbitrary substitution. giraffe is one insertion from graffe; grail needs two substitutions and a deletion.أقصر مسافة تحرير موزونة. استخدم Edit distance (مسافة التحرير) من المحاضرة السابقة، لكن زِن كل تعديل بحسب معقوليته: تبديل حرفين متجاورين، أو ضغط مفتاح مجاور، يجب أن يكلّف أقل من استبدال عشوائي. giraffe تبعد إدراجا واحدا عن graffe؛ أما grail فتحتاج إلى استبدالين وحذف واحد.
• Highest noisy channel probability. Score each candidate by how likely that word is to have been typed as graffe, times how common the word is. This is the Noisy channel model, the subject of the next part.أعلى احتمال في القناة المشوشة. قيّم كل مرشح بمدى احتمال أن تكون تلك الكلمة قد كُتبت على شكل graffe، مضروبا في مدى شيوع الكلمة. وهذا هو Noisy channel model (نموذج القناة المشوشة)، موضوع الجزء التالي.

The noisy channel is the stronger choice because it also uses frequency: gaffe and giraffe are both one edit from graffe, and only probabilities can say which one people actually mean more often.

القناة المشوشة هي الخيار الأقوى لأنها تستخدم التكرار أيضا: gaffe وgiraffe كلتاهما تبعد تعديلا واحدا عن graffe، والاحتمالات وحدها هي التي تستطيع أن تقول أيّهما يقصدها الناس فعلا أكثر.

Now take I bought there tickets. Nothing is flagged, because every word is in the dictionary. Which word should the system even look at?

خذ الآن I bought there tickets. لا شيء يُعلَّم، لأن كل كلمة موجودة في القاموس. فأي كلمة يجب أن ينظر إليها النظام أصلا؟

All of them. Since a Real-word error cannot be detected by lookup, real-word correction folds detection and correction into one step and runs it on every word w in the sentence. For each word it builds a Candidate set from three sources:

كلها. فبما أن Real-word error (خطأ الكلمة الحقيقية) لا يمكن كشفه بالبحث في القاموس، فإن تصحيح الكلمات الحقيقية يدمج الكشف والتصحيح في خطوة واحدة ويطبّقها على كل كلمة w في الجملة. ولكل كلمة يبني Candidate set (مجموعة المرشحين) من ثلاثة مصادر:

1. Words with similar pronunciation, which catches cognitive errors: peace for piece, two and to for too.كلمات متشابهة في النطق، وهي تلتقط الأخطاء المعرفية: peace بدلا من piece، وtwo وto بدلا من too.
2. Words with similar spelling, which catches typographical errors: three and where for there.كلمات متشابهة في التهجئة، وهي تلتقط الأخطاء الطباعية: three وwhere بدلا من there.
3. The word w itself.الكلمة w نفسها.

Then it chooses the best candidate in context, either with the Noisy channel model (now with a language model that looks at the neighbouring words) or with a Confusion-set classifier trained for one confusable pair such as there and three.

ثم يختار أفضل مرشح في ضوء السياق، إما باستخدام Noisy channel model (وهذه المرة مع نموذج لغوي ينظر إلى الكلمات المجاورة)، وإما باستخدام Confusion-set classifier (مصنِّف مجموعة الالتباس) مدرَّب على زوج واحد من الكلمات التي يُخلط بينها مثل there وthree.

Why the typed word must stay in the raceلماذا يجب أن تبقى الكلمة المكتوبة في السباق

The third source is the important one. Almost every word in normal text is correct. If the candidate set for there held only three, where and their, the system would be forced to change a word in every position of every sentence. Keeping w lets it answer the detection question: if w wins, there was no error. In over there, there wins; in bought there tickets, three should win. Later the lecture gives the typed word its own probability, P(w|w), the Probability of no error.

المصدر الثالث هو الأهم. فكل كلمة تقريبا في النص العادي صحيحة. لو احتوت مجموعة المرشحين لـthere على three وwhere وtheir فقط، لاضطر النظام إلى تغيير كلمة في كل موضع من كل جملة. إبقاء w يسمح له بالإجابة عن سؤال الكشف: إذا فازت w فلم يكن هناك خطأ. في over there تفوز there؛ وفي bought there tickets يجب أن تفوز three. ولاحقا تعطي المحاضرة الكلمة المكتوبة احتمالها الخاص P(w|w)، وهو Probability of no error (احتمال عدم وجود خطأ).