آلة تعلّمت القراءة — لأن إنسانًا قرأ أولًا

كيف يتعلّم الذكاء الاصطناعي القراءة؟

ضع قائمة دخل أمام إنسان فيقرأ كلمات وأرقامًا. ضع الصفحة نفسها أمام آلة فترى جدارًا من البكسلات. فكيف تتعلّم الآلة أن تقرأ ذلك الجدار؟ إنسانٌ يقرؤه أولًا.

إنسانٌ يعلّمها. شخصٌ يرسم مربّعًا حول كل منطقة نصّية، ويصنّف نوع النص، ثم ينسخ بالضبط ما تقوله، صفحةً بعد صفحة. ذلك هو الـOCR: التعرّف الضوئي على الحروف يحوّل صور النص إلى حروف يفهمها الحاسوب، ويفعل ذلك غالبًا في مرحلتين — اكشف النص، ثم تعرّف عليه (تدمج بعض الأنظمة الاثنين في نموذج واحد من البداية إلى النهاية). النموذج الذي «يقرأ بنفسه» لا يقرأ إلا لأن إنسانًا قرأ أولًا وأراه كيف. ذلك الإنسان هو القصة كلها.

بنينا محرك التصنيف من Annota8 لهذا العمل بالذات — مكتبة واجهات واحدة من ١٨٠ واجهة تصنيف عبر ٧ وسائط — والـOCR إحدى تلك الواجهات. لا تصنيف، لا نموذج يقرأ مستنداتك.

ما هو تصنيف الـOCR؟

تصنيف الـOCR هو عمل تعليم الآلة أن تقرأ. يرسم شخصٌ مربّعًا أو مضلّعًا حول كل منطقة نصّية في صورة، ويصنّف ماهية تلك المنطقة، ويكتب الكلمات الدقيقة التي بداخلها. تلك الصورة المُصنَّفة هي الحقيقة الأساسية — مفتاح الإجابة الذي يدرسه نموذج OCR أو نموذج ذكاء المستندات حتى يقرأ صفحة لم يرها من قبل.

بالنسبة إليك، الفاتورة كلمات وأرقام. بالنسبة إلى الآلة، تبدأ جدارًا من البكسلات. التصنيف هو كيف تكتسب البكسلات معنى. يُسمّى بشيء من التجاوز تصنيف النص أو المستند، وإن كان هذان المصطلحان أوسع ويشملان أيضًا معالجة اللغة الطبيعية ووسم التخطيط.

ينقسم العمل إلى مهمتين، وليستا الشيء نفسه:

• الكشف — إيجاد النص. ترسم مربّعًا محكمًا حول كل منطقة نصّية ليتعلّم النموذج أين تسكن الكلمات في الصفحة. الكشف يحدّد موضع النص ويُخرِج منطقة محيطة لكل ظهور.
• التعرّف — قراءة النص. تنسخ الحروف الدقيقة داخل كل مربّع ليتعلّم النموذج ما تقوله تلك الكلمات.

الكشف يرسم المربّع. والتعرّف يقرأ ما بداخله. هكذا تُبنى المعايير المرجعية العامة بالضبط: في مهمة تحديد الموضع ضمن ICDAR للقراءة المتينة، تسِم الحقيقة الأساسية النص بمربّعات على مستوى الكلمة؛ وفي المهمة من البداية إلى النهاية تحدّد موضع كل مربّع وتعيد نسخه. النموذج المُدرَّب على الاثنين يحدّد موضع النص في صفحة جديدة ويعيد الكلمات التي تحتويها. لا تصنيف، لا نموذج يقرأ مستنداتك.

كلمات لك، بكسلات للآلة

انظر إلى قائمة دخل. أنت تقرأ كلمات. «قائمة الأرباح أو الخسائر الموحّدة». الإيرادات. صافي الدخل. رقمٌ في صفّ.

الآلة لا ترى شيئًا من ذلك. بالنسبة إليها، الصفحة نفسها جدارٌ من البكسلات — شبكة من نقاط الضوء والظلّ. لا كلمات. لا صفوف. لا معنى.

فيعلّمها إنسان. ترسم مربّعًا حول منطقة نصّية واحدة. تصنّف نوع النص فيها. ثم تكتب ما تقوله. ذلك الاقتران بين المربّع والنسخ هو الدرس. يخبر النموذج بشيئين في آن: هنا يسكن النص، وهذا ما يقرؤه.

هكذا فعل المجال هذا منذ سنوات. معايير المشاهد الطبيعية مثل COCO-Text تصنّف كل منطقة نصّية بمربّع محيط مع نسخ للنص المقروء، وتصنّف كل منطقة كمطبوعة آليًا أو مكتوبة باليد. (يقرأ COCO-Text النص في الصور اليومية لا في المستندات الممسوحة، لكن وصفة التصنيف — أحِط، صنّف، انسخ — هي نفسها التي يستخدمها OCR المستندات.) اكشف، ثم اقرأ.

صفحة واحدة مثالٌ واحد. وبضعة آلاف من الأمثلة مجموعة تدريب. والقاعدة لا تتزحزح أبدًا: جودة البيانات محرّك رئيسي لجودة النموذج. المربّعات المهملة تعلّم قارئًا مهملًا. والنظيفة شرطٌ لازم لنموذج يقرأ مستنداتك بنفسه.

كيف تتعلّم الآلة: الصفحات تصبح حقيقة أساسية

نموذج الـOCR لا يحفظ مستنداتك. بل يتعلّم منها. التعلّم الخاضع للإشراف يعمل من أزواج أمثلة مُصنَّفة — مُدخَل ومُخرَجه الصحيح — والهدف هو التعميم على صفحات جديدة، لا إعادة إنتاج مجموعة التدريب.

إليك الحلقة. يفتح شخصٌ صفحة. يرسم مربّعًا حول كل منطقة نصّية، ويصنّف نوعها، ويكتب ما تقوله. المربّعات تعلّم الآلة أن ترى. والنسخ يعلّمها أن تقرأ.

اجمع ما يكفي من تلك الصفحات المُصنَّفة يدويًا فتكون لديك حقيقة أساسية — أمثلة كُتبت فيها الإجابة الصحيحة سلفًا. كل خطأ في تلك الحقيقة الأساسية يعلّم النموذج شيئًا خاطئًا، لذا فالإنسان الذي ينسخها هو أهمّ شخص في خط الأنابيب.

ثم يأتي التدريب. تمرّ الصفحات عبر المعالجات الرسومية، حقبة تدريب بعد حقبة، حتى يكفّ النموذج عن مطابقة أمثلتك ويبدأ في تعلّم النمط الكامن تحتها.

الاختبار بسيط. ناوِلها صفحة لم ترها من قبل — كشف حساب بنكي جديد — وراقبها تقرأ بنفسها. المُصنِّف هو المعلّم. والنسخ هو المنهج. والنموذج لا يعرف إلا ما أراه إنسان. ذكاؤك الاصطناعي ليس أفضل ممّن علّموه.

الكشف والتعرّف والاستخلاص: ثلاث طبقات، تصنيف واحد

قراءة المستند تبدو مهمة واحدة. هي ثلاث.

كشف النص يجد أين الكلمات. والتعرّف على النص يقرأ ما تقوله. واستخلاص المعلومات الرئيسية يقرّر ماذا تعني. الكشف والتعرّف هما مرحلتا الـOCR الأساسيتان؛ واستخلاص المعلومات الرئيسية (KIE) خطوة لاحقة لفهم المستند تضيف معنى دلاليًا فوق مُخرَج الـOCR.

الكشف يرسم مربّعًا حول منطقة نصّية. والتعرّف يحوّل تلك البكسلات إلى سلسلة نصّية. واستخلاص المعلومات يصنّف تلك السلسلة كشركة أو تاريخ أو إجمالي. تقسّمه المعايير القياسية بالطريقة نفسها: في مهمة ICDAR للقراءة المتينة من البداية إلى النهاية، لا تُحتسب الكلمة صحيحة إلا إذا تحدّد موضع مربّعها بدقة وطابق نسخها — فالموضع يحكم النسخ فعليًا. ومعيار الإيصالات SROIE يَسِم الكيانات كشركة وتاريخ وعنوان وإجمالي، وFUNSD يَسِم كل منطقة كترويسة أو سؤال أو إجابة أو غير ذلك.

المربّع المحيط وحده يخبر النموذج أين ينظر. والوسم التصنيفي وحده يخبره أي نوع من الأشياء وجد. ولا يخبره أيٌّ منهما بالكلمات.

تصنيف الـOCR يحمل الثلاثة معًا. ترسم المنطقة. تصنّف نوعها. تكتب النص الذي تحمله. تصنيفٌ واحد، ثلاث طبقات من الحقيقة. لهذا بنينا الـOCR كواجهة واحدة في محرك التصنيف من Annota8: اكشف وصنّف وانسخ المناطق النصّية في المرور نفسه. الإنسان يعلّم الطبقات الثلاث. والآلة تتعلّم أن تقرأ.

سبعة أنواع من الصفحات يفتحها تصنيف الـOCR

واجهة OCR واحدة، نسير بها نوع صفحة بعد آخر. إليك ما يمنحك كلٌّ منها في الواقع العملي.

• المستندات المالية. الإيصالات، والفواتير، وأوامر الشراء، والكشوف البنكية، وقوائم الدخل. يحيط إنسانٌ كل منطقة بمربّع، ويصنّفها (إجمالي، تاريخ، مبلغ)، ويكتب ما تقوله. فيقرأ نظام الحسابات الدائنة لديك الإيصال بدل انتظار موظّف يدخله يدويًا. توجد معايير مثل CORD — مجموعة بيانات عامة لتحليل الإيصالات بعد الـOCR، تقسيمتها المنشورة ٨٠٠ إيصال تدريب و١٠٠ تحقّق و١٠٠ اختبار — لأن تحليل الإيصالات مشكلة صعبة قائمة بذاتها.
• المستندات القانونية والعقود. النصوص والبنود — عنوان مادة، وبند قانون حاكم، وجدول ضمانات. ما إن يقرأ النموذج بنية العقد حتى تجد كل بند قانون حاكم عبر عشرة آلاف اتفاقية في ثوانٍ بدل أسابيع.
• الرسوم البيانية والأشكال. مخطّط أسهم: سعر OHLC، ومحور السعر، ومحور الزمن، والتسميات. أرقامٌ محبوسة في صورة تصير أرقامًا تستطيع الاستعلام عنها. ذلك هو الفرق بين التحديق في لقطة شاشة وسحبها إلى جدول بيانات.
• مستندات الهوية و«اعرف عميلك». جوازات السفر، والهويات، وإثباتات العنوان. أحِط الحقول بمربّعات، وصنّفها، وانسخها، فيكفّ تأهيل العملاء عن كونه طابور إدخال بيانات يدوي. مجموعات فهم النماذج مثل FUNSD — ١٩٩ نموذجًا حقيقيًا مُصنَّفًا وممسوحًا ضوئيًا — تُظهر لماذا تحتاج الحقول المهيكلة إلى تصنيف خاصّ بها، لا مجرّد نص خام.
• خط اليد. يفصل مخطّط الـOCR النص المطبوع عن خط اليد لسبب. الكتابة تتباين من شخص لآخر وتتّصل الحروف، ولهذا توجد مجموعات حقيقة أساسية مخصّصة مثل قاعدة بيانات IAM لخط اليد — والنموذج لا يتعلّمه إلا من صفحات نسخها إنسانٌ أولًا.
• الـOCR العربية والمتعدّدة اللغات. الحروف العربية تتّصل، وتتغيّر أشكالها بحسب الموضع، وتحمل تشكيلًا، ما يجعل تقطيع الحروف صعبًا حقًا. نحن عربيون أولًا ومبنيون لذلك. النموذج لا يقرأ العربية جيدًا إلا حين تُصنَّف الصفحات العربية جيدًا.
• المسحات التاريخية والأرشيفية. حبرٌ باهت، وتخطيطات غريبة، وخطوط قديمة. أحِط المناطق النصّية بمربّعات، وانسخها، فيتحوّل قرنٌ من الورق إلى نصّ قابل للبحث.

خيطٌ واحد يجري في السبعة جميعًا: أي صفحة تصير بيانات تدريب لحظة يقرؤها إنسانٌ أولًا. ارسم المربّع، وصنّف المنطقة، واكتب النص، فتكفّ الصفحة عن كونها جدارًا من البكسلات وتبدأ في تعليم الآلة أن تقرأ.

كيف يقوم محرك التصنيف من Annota8 بالـOCR

بنينا الـOCR كواجهة واحدة داخل محرك التصنيف من Annota8. العمل يبقى بسيطًا: اكشف وصنّف وانسخ المناطق النصّية.

افتح صفحة. كشف حساب بنكي، أو إيصال، أو قائمة دخل، أو مخطّط أسهم. ثم يعمل عليها شخصٌ سطرًا بسطر:

• ارسم مربّعًا. مستطيلًا، أو مضلّعًا حين ينحني النص أو يميل بزاوية.
• صنّف نوعه. اختر نوع المنطقة. نص مطبوع. خط يد. إجمالي/مبلغ. تاريخ. أنت تضبط المخطّط.
• انسخه. اكتب ما تقوله المنطقة في حقلها الخاصّ، مربّعًا واحدًا في كل مرة.

نمط المربّع والوسم والنص ذاك واجهة واحدة قابلة للضبط ضمن مكتبة من ١٨٠ واجهة تصنيف عبر ٧ وسائط. المحرك نفسه الذي يقرأ المستندات يتعامل أيضًا مع الصورة والنص والفيديو والصوت والإشارات وHTML — وهو مباشر اليوم.

وإليك الجزء الصادق. يستطيع النموذج أن يقترح مربّعات ونصًّا ليؤكّدها إنسانٌ أو يصحّحها — نمط «الإنسان في الحلقة» القياسي الذي يسرّع الوسم. لكن الإنسان يبقى في القيادة. النموذج يقترح. والإنسان يؤكّد ويصحّح ويقرّر ما هي الحقيقة الأساسية. ذكاؤك الاصطناعي ليس أفضل ممّن علّموه. وتستطيع حتى أن تسأل بيانات تصنيفك بلغة واضحة لتتبّع الجودة والتقدّم.

واجهة OCR واحدة، يُعاد توجيهها لأي مستند

إليك الجزء الذي يغفله معظم الفرق. أنت لا تبني واجهة جديدة لكل مستند — بل تعيد توجيه الواجهة نفسها.

واجهة الـOCR خلف قائمة دخلنا ضبطٌ واحد. أعِد تسمية وسوم أنواع المناطق — استبدل «إجمالي/مبلغ» بـ«عنوان مادة» فتقرأ نصًّا قانونيًا بدل ميزانية. أضِف حقلًا، فيحمل كل مربّع الآن تاريخًا أو عملةً بجانب نصّه. بدّل اللغة إلى العربية، فتقرأ اللوحة نفسها من اليمين إلى اليسار.

اختر شكلك بحسب المهمة. أسطر مطبوعة مستقيمة على إيصال؟ المربّع محكمٌ بما يكفي. نصٌّ منحنٍ أو مائل على مخطّط أو نموذج مختوم؟ ارسم مضلّعًا ليلتصق بالنص بدل أن يبتلع خلفيةً تفسد جودة الحقيقة الأساسية — وهذا بالضبط سبب استخدام معايير النص المنحني وسوم المضلّعات.

المحرك نفسه. إيصال، وعقد، ومخطّط أسهم، وكشف حساب بنكي — واجهة واحدة، يُعاد توجيهها.

لا تصنيف، لا نموذج، لا ذكاء اصطناعي يقرأ مستنداتك

جرّد الأمر فالقاعدة بسيطة. لا تصنيف، لا نموذج، ولا ذكاء اصطناعي يقرأ مستنداتك. كل نموذج يقرأ تعلّم من إنسانٍ أحاط كل منطقة نصّية بمربّع ونسخها أولًا. عربيون أولًا بالتصميم — واجهة الـOCR نفسها تقرأ الصفحات الإنجليزية والمالية والقانونية والمكتوبة باليد بالكفاءة ذاتها. معيار ICDAR 2019 SROIE، على سبيل المثال، يصنّف كل صورة بمربّعات نصّية محيطة ونسخ كل مربّع — تلك هي الحقيقة الأساسية التي يتعلّم منها النموذج.

تلك هي الحلقة كاملةً. يرسم إنسانٌ المربّع، ويسمّي المنطقة، ويكتب ما تقوله. وتشاهد الآلة ما يكفي من الأمثلة لتقرأ صفحة لم ترها من قبل.

بنينا محرك التصنيف لهذا العمل بالذات، كي يبقى من يعلّمون في القيادة. علّمها أن ترى. علّمها أن تسمع. علّمها أن تقرأ. احجز عرضًا على annota8.ai.

أسئلة شائعة