معلومات (نظريه)

Information theory - Théorie d’information

المعلومات (نظرية ـ)

 

تختص نظرية المعلومات information theory بالتقدير الكمي لمفهوم المعلومات. وبإيجاد مقياس للمعلومات يُمكِّن من الإجابة على أسئلة من الشكل الآتي: إلى أي حد يمكن إرسال المعلومات وتخزينها بشكل مختصر أو مقتضب؟ وما هي كمية المعلومات الأعظمية التي يمكن إرسالها خلال قناة الاتصال؟ وكيف يمكن تأمين سرية هذه المعلومات؟.

المعلومات المتقطعة والمعلومات المستمرة

discrete and continuous information

يمكن أن تكون المعلومات تابعة للزمن مثل الصوت، أو درجة حرارة الهواء أو ضغطه وغيرها. كما يمكن في حالات أخرى أن تكون المعلومة غير تابعة للزمن. وقد تكون الإشارات تمثيلية analog أو متقطعة discrete.

لا يفترض الظن أن المعلومات المتقطعة يمكن تحويلها إلى إشارات متقطعة فقط؛ والمعلومات المستمرة إلى إشارات مستمرة، إذ تستخدم في حالات كثيرة الإشارات المستمرة لنقل المعلومات المتقطعة، وتستخدم الإشارات المتقطعة لنقل المعلومات المستمرة.

قناة الاتصال وسعة القناة

communication channel and :channel capacity

يمكن أن يتألف أبسط نظام اتصال من منبع للمعلومات ومتلق أو متسلّم للمعلومات، ويوجد فيما بينهما ما يسمى بقناة الاتصال. يمكن أن تكون هذه القناة ناقلاً سلكياً أو كبلاً ضوئياً؛ أو يمكن أن تكون النطاق الجوي الذي يمكن أن تنتشر فيه الموجات الكهرطيسية من المرسل إلى المستقبل. ويلاحظ أن هذه المعلومات معرضة للتشويه أو الضياع جزئياً بسبب الضجيج الموجود في كل الأنظمة الكهربائية أو الحياتية أو بسبب عدم ملائمة القناة المستخدمة لمنبع المعلومات المفترض.

أوجد العالم شانون Shannon مفهوم سعة القناة C، وحددها بأنها أكبر كمية معلومات يمكن إرسالها في الثانية عبر قناة الاتصال من المنبع إلى المتسلم. وأورد العلاقة الآتية لحساب سعة القناة:

حيث B: عرض المجال الترددي مقدراً بالهرتز (دورة بالثانية) الذي تشغله هذه القناة، وS: استطاعة الإشارة الكهربائية الممثلة للمعلومات على خرج هذه القناة، وN: استطاعة الضجيج المصاحب لهذه الإشارة وlog₂هو اللوغاريتم وفق النظام الاثناني العد. وعندما يتحول عرض المجال الترددي للقناة إلى اللانهاية فإن سعة القناة تعطى بالعلاقة:

أي إنه يمكن زيادة سعة القناة بالقدر المرغوب بزيادة استطاعة الإشارة الممثلة للمعلومات، أو بإنقاص الضجيج المرافق لها، لكن للأسف إن كلاً من استطاعة الإشارة واستطاعة الضجيج محدودتان ومن ثم تبقى سعة القناة محدودة.

مقياس المعلومات measure of :information

إذا كانت المعلومات المرسلة محددة مسبقاً؛ أي إنها معلومة بدقة كاملة قبل أن تُرسل فإن إرسال هذه المعلومات ليس له أي معنى أو فائدة، ولهذا فلن تحتوي المعلومة المحددة أي كمّ من المعلومات المفيدة، ويجب النظر إلى المعلومات على أنها حدث عشوائي (مقدار احتمالي، تابع عشوائي)، أو بالأحرى يجب أن يكون هناك إمكانيات واحتمالات متعددة للمعلومة لكون الإشارة أيضاً هي تابعاً عشوائياً، أما الإشارة المحددة فمن المستحيل أن تكون حاملة أو ناقلة للمعلومات، ويمكن أن تستخدم الإشارات المحددة فقط لاختبار أنظمة الاتصال أو بعض عناصر هذا النظام.

إن الصيغة الاحتمالية للمعلومات أو الإشارات هي أساس نظرية الاحتمالات المستخدمة في بناء نظرية الاتصالات ونظرية المعلومات. وتحدد خواصها الاحتمالية كمية المعلومات المنقولة أو الضائعة ضمن القناة.

إن كمية المعلومات في رسالة ما ترتبط مباشرة بمدى الشك، أو ترتبط عكسياً بمقدار احتمال الحدث. فإذا كانت P هي احتمال حدوث رسالة معينة، وكانت I كمية المعلومات التي تحويها الرسالة، يتضح أنه عندما يقترب الاحتمالP من الصفر فإن كمية المعلومات I تقترب من اللانهاية وبصورة عامة تُعطى قيم الاحتمال P الأصغر قيمة كمية معلومات I أكبر. ولذا اقترح العالم هارتلي Hartley أول مرة العلاقة الآتية:

وهنا يؤخذ الأساس r للوغاريتم بعدة أشكال؛ فإذا أُخذ النظام الاثناني r = 2R فإن واحدة قياس المعلومات هي البت bit، أما إذا أُخذ e = r الأساس الطبيعي للوغاريتم فواحدة قياس المعلومات هي النات nat، وعادة تؤخذ فقط البت بسبب انتشار أنظمة الاتصالات الرقمية التي تتعامل مع البتات حصراً.

فمثلاً إذا كان احتمال ورود رسالة هو الربع فإن مقدار كمية المعلومات المتوفرة فيها هي:

أي إنها تحتوي على معلومات قدرها 2 بت.

متوسط كمية المعلومات entropy of :source

كمية المعلومات هي مقياس لرسالة محددة أو رمز محدد ضمن عدد محدد أو غير محدد من الرسائل التي يولدها منبع معلومات ما. ولوصف المنبع يؤخذ من وجهة نظر احتمالية ما يسمى بمتوسط كمية المعلومات التي يولدها هذا المنبع لكل رسالة أو رمز يولدها. فإذا أُخذ منبع معلومات m يصدر الرسائل m₁,m₂,….m_n باحتمالات  p₁,p₂,…p_nبالترتيب بحيث (p₁ + p₂ +…p_n = 1) فإن متوسط كمية المعلومات لكل رسالة يسمى إنتروبيا entropy المنبع ويرمز لها بـ H(m) ويعطى بالعلاقة الآتية:

وتقدرH (m) أيضاً بالبت مأخوذة لكل رمز bits/symbol، ويمكن بسهولة إدراك أن يكون للإنتروبيا نهاية عظمى إذا تساوت احتمالات الرسائل كلها. فإذا أخذنا منبع معلومات يولد رمزين فقط وهما (0.1) فإن إنتروبيا هذا المنبع H (m) تتغير كتابع لاحتمال إحداها P حسب الشكل (1)، وتأخذ القيمة العظمى عندما يكون: p₁ = p = 0.5؛ أي تتساوى احتمالات الرموز التي يولّدها هذا المنبع، وهذه هي أقصى قيمة للمعلومات التي يولّدها.

ومن جهة أخرى هناك منابع كثيرة تولّد رموزاً تختلف باحتمالاتها بعضها عن بعض، حيث إن الإنتروبيا لهذه المنابع تقل عن القيمة العظمى. فمثلاً إذا أُخذ منبع رموز أبجدية اللغة الإنكليزية التي عددها 26 حرفاً، وإذا أضيف بعض الرموز الخاصة؛ ليصبح المجموع 32 رمزاً، وبفرض أن احتمال توليد هذه الرموز متساو وقيمته ، فتحسب الإنتروبيا لهذا المنبع بالعلاقة الآتية:

هذه القيمة غير مطابقة للواقع؛ لأن احتمال ورود حروف اللغة المحكية مختلف فيما بينها؛ إضافة إلى أن الحروف نفسها متعلقة بعضها ببعض احتمالياً. وقد أثبتت الدراسات الاحتمالية أن قيمة الإنتروبيا لمنبع يولّد أحرف اللغة الإنكليزية مشكّلاً كلمات وجملاً مفهومة مترابطة بعضها مع بعض لا تتعدى B2bits.

وفي كل منبع يولّد n رمز ذو احتمالات متساوية تكون قيم متوسط كمية المعلومات الأعظمية التي يمكن أن يعطيها هي max H(m) = Iog₂n. ومن هذا يظهر مفهوم الفائض redundancy (red) في المنبع والذي يُعَّرف بالعلاقة الآتية:

أي إن منبع المعلومات التي يكون الإنتروبيا فيه أقل من القيمة العظمى المتوافرة له يكون لديه فائض في المعلومات غير المفيدة، ويحدد العامل red النسبة المئوية لهذا الفائض.

يؤخذ عادة هذا الفائض بالحسبان عندما يراد استخدام قناة الاتصال المفروضة لإرسال المعلومات المتولدة من المنبع (بالشكل التقليدي)، ويتعامل مع الرموز كما لو أنها تمتلك احتمالات متساوية، لهذا فإن هناك حاجة إلى قناة اتصال ذات سعة كبيرة نسبياً، وأكبر مما يلزم في الواقع.

ترميز المنبع :source coding

هي مجموعة من الاستراتيجيات في ترميز المنابع تحول الرموز التي يولدها المنبع (أبجدية المنبع) إلى رموز أخرى (أبجدية أخرى) غالباً ما تكون الرموز الاثنانية. يتغير طول الرموز الاثنانية بعلاقة عكسية مع احتمال ورودها. ومن ثم ستأخذ الرموز ذات احتمال الورود الأكبر أقصر طول، وستأخذ فترة زمنية أقصر في الإرسال. أما الرموز ذات الاحتمال الصغير فتأخذ طولاً كبيراً؛ ومن ثم زمناً كبيراً في الإرسال. وهكذا يمكن التحكم بمعدل إرسال المعلومات ضمن القناة؛ أي إنقاص الفائض الموجود في المنبع الأصلي؛ ومن ثم إنقاص المجال الترددي اللازم لإرسال المعلومات في قنوات الاتصال. فعلى سبيل المثال لم يكن بالإمكان حتى زمن قريب إرسال المعلومات الرقمية الناتجة من الصور التلفزيونية نتيجة عرض المجال الترددي الضخم المطلوب الذي يقدر بنحو 200 ميغا هرتز؛ ومن ثم سعة قناة كبيرة جداً. أما اليوم فقد أمكن وبوساطة طرق ترميز المنبع الحديثة إرسال المعلومات التلفزيونية مع معلومات الصوت المصاحب لها بقناة اتصال ذات عرض مجال ترددي يمكن أن يصل إلى 4 كيلو هرتز؛ أي ضمن مجال قناة هاتف عادية. ويعد ترميز مورس - وهو الأقدم بينها جميعاً؛ والذي ظهر قبل نشوء مفهوم نظرية المعلومات - من تراميز المنبع المشهورة في هذا المجال، إضافة إلى ترميز فانو Fano code وترميز شانون Shannon code وترميز هوفمان Hoffman code وترميز جيلبرت - مور Gilbert-Moor code، وظهرت إلى جانب ذلك تراميز خاصة بإشارات الصور الثابتة أو الصور المتحركة.

هناك ترميزات أخرى تقوم بعملية معاكسة لما سبق؛ أي إنها تضيف معلومات إضافية خاصة إلى المعلومات الأصلية، ويستفاد من هذه في عملية اكتشاف الأخطاء الناجمة عن الضجيج أو نظام الإرسال، ويمكنها إذا لزم الأمر تصحيح هذه الأخطاء.

إن نظرية المعلومات هي علم حديث نسبياً، ويشمل موضوعات عدة مترابطة بعضها ببعض، منها موضوع الاستقبال الأمثل للمعلومات ونظرية الترميز ونظرية الاحتمالات وغيرها، وبعض الموضوعات الخاصة غير المتعلقة بالاتصالات.

عادل خضور علي

الموضوعات ذات الصلة:

الخزن في المعلوماتية ـ الفرز المعلوماتي ـ اللغة المعلوماتية ـ الهندسة المعلوماتية.

مراجع للاستزادة:

ـ ب. ب. لاثي، الأنظمة الحديثة للاتصالات الرقمية والتماثلية، ج2/ترجمة إبراهيم عبد الرحمن القاضي، عادل أحمد علي، عبد العزيز سالم الرويس (جامعة الملك سعود، الرياض 1991).

- C.A.JAN, VAN DER LUBBE ,Information Theory (Cambridge University Press 1997).

- B.P.LATHI, Modern Digital Analog Communication Systems (Rinehart and Winston Inc.,Orlando,1989).

- ULRICH REIMERS, Digital Video Broadcasting (DVB) (Springer-Verlag, Heidelberg New York)

---

- التصنيف : التقنيات (التكنولوجية) - النوع : تقانة - المجلد : المجلد التاسع عشر، طبعة 2007، دمشق - رقم الصفحة ضمن المجلد : 117 مشاركة :