آنتروپی شانون

آنتروپی شانون (Entropy) معیاری برای سنجش میزان بی‌نظمی و پراکندگی اطلاعات است که نشان می‌دهد داده‌ها تا چه اندازه تنوع و ارزش اطلاعاتی دارند. در جامعه آکادمیک کشور از این روش ابیشتر برای تعیین وزن معیارها در تصمیم‌گیری چندمعیاره یا رتبه‌بندی مضامین در تحلیل محتوا استفاده می‌شود. نظر به اهمیت و دامنه کاربرد، در این مقاله روش «آنتروپی شانون» مفهوم‌سازی، تعریف و آموزش داده خواهد شد.

روش آنتروپی شانون

آنتروپی مفهومی در تئوری اطلاعات است که به میزان اطلاعات دریافتی از هر پیام اشاره دارد. این مفهوم توسط «کلاود الوود شانون» ریاضی‌دان و مهندس الکترونیک آمریکایی ابداع شد. از شانون به عنوان پدر تئوری اطلاعات نام برده می‌شود.

منطق زیربنایی روش آنتروپی شانون در وزن‌دهی بر پایه‌ی میزان اطلاعات و تمایز است:

هر شاخص، زمانی بااهمیت تلقی می‌شود که مقادیر آن میان گزینه‌ها تنوع و تفاوت معنادار ایجاد کند.

شاخص‌هایی که داده‌های هم‌سطح و یکنواخت دارند، اطلاعات تازه‌ای به تصمیم نمی‌افزایند و درنتیجه وزن کمتری می‌گیرند.

به‌طور خلاصه، آنتروپی شانون بر این اصل استوار است که ارزش یک معیار در کاهش ابهام و افزایش شفافیت تصمیم نهفته است؛ هرچه سهم آن در تمایز میان گزینه‌ها بیشتر باشد، وزن آن نیز بیشتر خواهد بود.

کاربرد انتروپی در تصمیم‌گیری چندمعیاره

در اکثر مسایل تصمیم‌گیری چندشاخصه دانستن وزن عناصر بسیار مهم است. تکنیک آنتروپی شانون یکی از روش‌هایی است که برای تعیین وزن عناصر مورد استفاده قرار می‌گیرد. در این تکنیک وزن عناصر براساس میزان پراکندگی مقادیر عنصر مورد تعیین می‌شود.

در یک ماتریس تصمیم که m گزینه براساس n معیار ارزیابی شده است با استفاده از مفهوم انتروپی می‌توان به تعیین وزن معیارها پرداخت. اگر ماتریس تصمیم را با X و هر درایه آن را با xij نشان دهیم ابتدا ماتریس تصمیم باید نرمال شود. ماتریس نرمال با N و هر درایه آن را با nij نشان داده می‌شود. در تکنیک آنتروپی شانون نرمال سازی بروش خطی صورت می‌گیرد.

در تکنیک آنتروپی شانون با توجه به وزن‌های به دست آمده از شاخص‌ها در این مرحله، آن شاخص‌هایی که دارای پراکندگی بیشتر هستند، نسبت به دیگر شاخص‌ها، از اهمیت بیشتری برخوردارند و تأثیر آنها در انتخاب گزینه بهینه بیشتر است.

کاربرد آنتروپی شانون در تحلیل محتوا

آنتروپی شانون در تحلیل محتوا به‌عنوان روشی آماری برای سنجش میزان تنوع، پراکندگی و عدم‌قطعیت در داده‌های متنی به‌کار می‌رود. این روش کمک می‌کند تا بفهمیم کدام مؤلفه‌ها، واژه‌ها یا کدها اطلاعات بیشتری منتقل می‌کنند و کدام بخش‌ها تکراری یا کم‌اهمیت‌اند.

  • سنجش پراکندگی واژه‌ها در متن و شناسایی واژه‌های کلیدی
  • تحلیل تنوع موضوعی در مجموعه‌ای از اسناد یا مصاحبه‌ها
  • ارزیابی یکنواختی یا تمرکز مفهومی در متون پژوهشی یا رسانه‌ای
  • وزن‌دهی به کدها یا مقوله‌ها در تحلیل محتوای کیفی کمی‌شده
  • تشخیص میزان اطلاعات تازه (information gain) در هر بخش از متن

به‌طور کلی، آنتروپی شانون در تحلیل محتوا ابزاری است برای اندازه‌گیری میزان بی‌نظمی و تنوع اطلاعاتی. این رویکرد، پیوندی میان تحلیل آماری و فهم معنایی از متن ایجاد می‌کند و به پژوهشگر کمک می‌کند تا محتوای غنی‌تر و مؤثرتر را شناسایی کند.

هرچه آنتروپی یک واژه یا مضمون کمتر باشد، آن بخش اطلاعات بیشتری برای تحلیل دارد؛ برعکس، آنتروپی بالا نشان می‌دهد داده تکراری یا فاقد ارزش تمایزدهنده است.

گام‌های آنتروپی شانون

ابتدا باید فراوانی هریک از مقوله‌های شناسایی شده براساس تحلیل محتوا مشخص شود.

ماتریس فراوانی‌های مورد نظر باید به هنجار شود. برای این منظور از روش نرمال سازی خطی استفاده می‌شود:

نرمال سازی خطی

نرمال سازی خطی

بار اطلاعاتی هر مقوله باید محاسبه شود. برای این منظور از رابطه زیر استفاده می‌شود:

بار اطلاعاتی مقوله ها

بار اطلاعاتی هر مقوله

ضریب اهمیت هر مقوله باید محاسبه شود. هر مقوله که دارای بار اطلاعاتی بیشتری باشد، از درجه اهمیت بیشتری برخوردار است.

برای این منظور از رابطه Wj = Ej/(∑Ej) استفاده می‌شود.

آموزش آنتروپی شانون در اکسل

آموزش کامل روش آنتروپی شانون براساس مقاله عادل آذر با عنوان بسط و توسعه روش آنتروپی شانون برای پردازش داده‌ها در تحلیل محتوی

کدنویسی کامل مسئله حل شده عادل آذر در فایل اکسل

این محتوی آموزشی شامل دو فایل است. یک فایل PDF مقاله آذر و یک فایل اکسل کدنویسی شده مقاله آنتروپی شانون

کدهای فایل اکسل قابل مشاهده و دستکاری است.

سخن پایانی

در مجموع، این روش با سنجش میزان پراکندگی داده‌ها، توان هر شاخص را در تمایز میان گزینه‌ها آشکار می‌کند. شاخص‌هایی که تنوع اطلاعاتی بیشتری دارند، سهم بیشتری در تصمیم‌گیری خواهند داشت، زیرا به کاهش ابهام و افزایش شفافیت در ارزیابی کمک می‌کنند. درواقع، این رویکرد راهی برای سنجش ارزش واقعی داده‌هاست؛ روشی که وزن هر معیار را نه بر پایهٔ داوری ذهنی، بلکه بر اساس قدرت آن در روشن‌تر کردن تصویر تصمیم تعیین می‌کند.

منبع: حبیبی، آرش؛ آفریدی، صنم. تصمیم‌گیری چندشاخصه. تهران: نارون دانش.