البكسلات في لقطات الشاشة مقابل البكسلات في الصور

ما البكسلات بالضبط؟#

عند الحديث عن الألوان، يحتاج المصممون والمطورون إلى اصطلاح يُسمى فضاء الألوان كي يتمكنوا من التواصل فيما بينهم. في الواقع، اعتاد المصممون إطلاق أسماء فريدة على الألوان (مثل «وردة الحنين» و«راقصة السحاب» و«شرنقة» من بانتون)، بينما يستخدم المطورون الرموز السداسية. ويمكن لبعضهم معرفة اللون بمجرد النظر إلى أرقام الرمز السداسي.

تتبع الرموز السداسية فضاء الألوان RGB (الأحمر والأخضر والأزرق). على سبيل المثال، يُمثَّل اللون الأرجواني، وهو اللون الأساسي المميّز لعلامتنا التجارية، تيليپورت إتش كيو، بالرمز #822CEC، أي 53% أحمر و23% أخضر و86% أزرق. وهناك اصطلاحات أخرى لفضاءات الألوان، مثل HSL (درجة اللون والتشبع والإضاءة) وHSV (درجة اللون والتشبع والقيمة)، وقد تكون أنسب لحالات محددة.

استُلهم فضاء الألوان RGB من طريقة إدراك أعيننا للألوان من حولنا، إذ تقيس الخلايا المخروطية شدة الضوء (السطوع) عند مستويات مختلفة من الطاقة (الألوان). ثم تنقل هذه الخلايا المعلومات إلى بقية الدماغ، ما يتيح لنا إدراك البيئة المحيطة. تجدر الإشارة إلى أن بعض الحيوانات لا تتمتع برؤية ثلاثية الألوان؛ فالثدييات البحرية أحادية اللون، ومعظم الزواحف رباعية الألوان، إذ تتيح لها على التوالي خلية مخروطية واحدة وأربع خلايا مخروطية رؤية 100 مليون لون، بينما لا يستطيع معظم البشر رؤية سوى 10 ملايين لون «فقط» [مرجع: ويكيبيديا].

مقطع عرضي للعين البشرية وتكبير لجدار الشبكية يبيّنان الأعصاب التي تلتقط الضوء وترسله إلى العصي والمخاريط لتحليله. المصدر: https://www.xrite.com

تأتي مفاهيم الشدة والطاقة من علم الفيزياء. يتكوّن الضوء من فوتونات ذات طاقات مختلفة، ولا يستطيع الدماغ البشري إدراك الضوء إلا ضمن نطاق معين من الأطوال الموجية. تنتمي الفوتونات الأعلى طاقة إلى نطاق الأشعة فوق البنفسجية (التي تحرق بشرتنا)، أما الفوتونات الأقل طاقة فتنتمي إلى نطاق الأشعة تحت الحمراء (إذ تنبعث هذه الفوتونات من حرارة أجسامنا ويمكن رؤيتها بكاميرات الأشعة تحت الحمراء).

الطيف الكهرومغناطيسي. المصدر: https://www.radio2space.com

تتكوّن كل بكسلة في شاشة الكمبيوتر من ثلاثة مصابيح LED صغيرة: أحمر وأخضر وأزرق. ولعرض هذه الألوان، يضبط الكمبيوتر شدة الضوء المنبعث من كل مصباح، ويتولى دماغنا معالجة النتيجة.

لقطة مقرّبة لبكسلات التلفاز. المصدر: https://jakubmarian.com

يُفترض أن يحاكي الضوء الناتج ما نراه في الطبيعة، لكن ثمة مشكلة. فاللون الأزرق ليس شائعًا في الطبيعة بقدر شيوعه على شاشة الكمبيوتر، كما أن اللون الأبيض، على سبيل المثال، يختلف كثيرًا عن لون الشمس. لهذا السبب، يُجهد الضوء الأزرق أعيننا، وتُعد المرشحات الصفراء ومرشحات وضع الإضاءة مفيدة جدًا لمن يقضون وقتًا طويلًا أمام الشاشات.

يبرع تعلّم الآلة في التعامل مع الصور#

مقارنة بين اللون الأبيض الناتج عن مصباح LED ولون ضوء الشمس، وفقًا لبيانات من http://galileo.graphycs.cegepsherbrooke.qc.ca

عند تحليل الصور، لا تنظر أنظمة التعلم الآلي إلى الرموز السداسية عشرية أو أسماء الألوان. بل تنظر إلى قيم البكسلات، على نحو يشبه طريقة رؤيتنا لهذه البكسلات نفسها. وبالنسبة إلى الآلة، فإن الصورتين التاليتين متماثلتان:

الصورة نفسها بتدرجات الرمادي لمنظر ثلاثي الأبعاد من منظورَي الحاسوب والإنسان

لمعالجة الصور، يستخدم التعلم الآلي حيلة مثيرة للاهتمام: إذ يمسح الصور عبر النظر إلى مجموعات من البكسلات بدلًا من النظر إلى كل بكسل على حدة. ويسمح ذلك باكتشاف أنماط أكثر تعقيدًا، ويحسّن أداء خوارزمية الكشف بدرجة كبيرة. وتُسمى هذه الأنظمة تحديدًا الطبقات الالتفافية. ومن خلال تكديس عدة طبقات من هذا النوع (وهو ما يُعرف بالتعلم العميق)، يمكننا تدريب نماذج قادرة على تعلم سمات أكثر تجريدًا وأعلى مستوى. وعلى الرغم من ابتكارها في التسعينيات [ref]، لم تتوفر القدرة الحاسوبية ومجموعات البيانات الضخمة اللازمة لإبراز إمكاناتها إلا في عام 2012.[ref]

رسم توضيحي لطبقة التفافية في شبكة عصبية من https://github.com/vdumoulin

ومع ذلك، حتى بعد مرور كل هذا الوقت، لا يزال السبب وراء النتائج الجيدة التي تحققها الشبكات العصبية غير مفهوم بالكامل [ref].ومن أفضل الأمثلة على ذلك مجموعة من الباحثين أثبتت إمكانية خداع الخوارزمية لتظن أن أصداف السلاحف بنادق [ref].ومن التفسيرات المحتملة لذلك أن الشبكة العصبية تركّز على نسيج مجموعات صغيرة من البكسلات أكثر من تركيزها على الصورة الكبيرة نفسها، وهو ما يتعارض مع ما ورد قبل بضع فقرات عن قدرة هذه الخوارزميات على تعلم السمات التجريدية.

ترى الشبكة العصبية كل هذه الصور على أنها بنادق، من http://www.3ders.org

ماذا عن لقطات الشاشة؟#

وهذا يقودنا إلى الفرق بين لقطات الشاشة والصور الفوتوغرافية. تحتوي الصور الفوتوغرافية على تدرجات دقيقة جدًا تساعد النموذج على استخلاص المعلومات من الصورة واتخاذ قرارات قيّمة. أما لقطات الشاشة، فتكون هذه التدرجات أقل ظهورًا بكثير، أو غالبًا ما تكون غائبة تمامًا بسبب الأجزاء أحادية اللون في الصورة، مما يترك للنموذج معلومات قليلة جدًا لاستخلاصها.

لقطة شاشة وصورة فوتوغرافية معروضتان بمنظور ثلاثي الأبعاد

ما زالت هذه الخوارزميات مفيدة، ولكن ليس لكل أنواع المسائل. فعلى سبيل المثال، ننفّذ في TeleportHQ عدة أنواع من مهام تعلّم الآلة ضمن مسار عملنا لتوليد الشيفرات البرمجية انطلاقًا من المخططات الهيكلية أو التصاميم عالية الدقة. فمن جهة، نحصل على نتائج جيدة باستخدام اكتشاف الأجسام للتعرّف على عناصر الواجهة الفردية في لقطة شاشة. ومن جهة أخرى، حين نحاول تصنيف لقطات شاشة تطبيقات الهاتف إلى أنواع مختلفة من الشاشات (معرض، نافذة منبثقة، قائمة، نماذج)، لا يستطيع النموذج تعلّم المفاهيم عالية المستوى، وقد أثبتت شجرة قرار أبسط أداءً أفضل. سننشر قريبًا مزيدًا من المعلومات عن هذين المشروعين تحديدًا.

النصوص والصور المكتشفة في لقطتي شاشة

الخلاصة#

لا يزال من غير المؤكد ما إذا كان هذا الاختلاف بين لقطات الشاشة والصور الواقعية يؤثر فعلًا في أداء الشبكات العصبية العميقة. لكن الاختلاف واضح تمامًا عند النظر إلى العرض ثلاثي الأبعاد لوحدات البكسل نفسها؛ فالأمر أشبه بمقارنة مشهد مدينة بمشهد ريفي.

اعتُبر التعلّم العميق في مجتمع تعلّم الآلة البطل الأوحد في مجال الرؤية الحاسوبية، لكننا نعتقد أن تقنيات أخرى قد تكون واعدة أيضًا في حالة لقطات شاشة تطبيقات الويب والهواتف المحمولة.

نعمل حاليًا على استكشاف نهج هجين يمزج نتائج تقنيات الرؤية الحاسوبية ومعالجة اللغات الطبيعية المطبّقة على مصدر البيانات نفسه، وهو سلاسل HTML وتمثيلها المقابل في نموذج كائن المستند (DOM) والبيانات المحسوبة بعد عرضها. وسنتناول هذا النهج في تدوينة ستُنشر قريبًا.

كما هو الحال دائمًا، يسعدنا جدًا تبادل الآراء مع المهتمين بهذا الموضوع. إذا كنتم مهتمين بأبحاثنا، فلا تترددوا في التواصل معنا عبر أي من قنواتنا على وسائل التواصل الاجتماعي، المذكورة في تذييل هذا الموقع.