پی اسکات

پی اسکات (Scott’s Pi) یک شاخص توافق بین ارزیاب‌ها است که برای سنجش میزان توافق دو ارزیاب در دسته‌بندی داده‌ها به کار می‌رود. از این ضریب برای بررسی پایایی روش‌های پژوهش کیفی نیز استفاده می‌شود.

این ضریب شباهت زیادی به کاپا کوهن (Cohen’s Kappa) دارد اما برای تصحیح شانس توافق تصادفی، از یک روش متفاوت استفاده می‌کند. دقت کنید هر دو این شاخص‌ها برای اطمینان از مقوله‌بندی کدها کاربرد دارند. اگر هدف بررسی پایایی کدگذاری باز باشد از روش پیشنهادی هولستی (درصد توافق مشاهده‌شده) استفاده کنید. اگر هدف آن باشد که پایایی تخصیص کدهای باز به مقوله‌های اصلی بررسی شود از کاپای کوهن و پی‌اسکات استفاده کنید. در این نوشتار کوشش بر آن است تا ضریب پی اسکات تشریح شود.

برآورد ضریب پی اسکات

ضریب پی اسکات با فرمول زیر برآورد می‌شود:

Pi = (OA – EA) ÷ (۱-EA)

مقدار OA (Observed Agreement) نمایانگر درصد توافق دو ارزیاب است.

مقدار EA (Expected Agreement) نیز نمایانگر میزان توافق مورد انتظار است.

فرض کنید دو کدگذار ۶۹ کد را به سه مقوله اصلی طبقه‌بندی کردند. جدول توافق (Confusion Matrix) به صورت زیر است:

جدول توافق دو کدگذار

میزان توافق مشاهده شده

OA = (17 + 19 +17)÷  71 = 0.۷۴۶

میزان توافق مورد انتظار به‌صورت زیر برآورد می‌شود:

احتمال مورد انتظار برای هر دسته برآورد می‌شود به این صورت که سهم هر دسته در کل توسط ارزیاب ۱ و ارزیاب ۲ در هم ضرب می‌شود.

EA=(25/71×۲۲/۷۱)+(۲۴/۷۱×۲۶/۷۱)+(۲۲/۷۱×۲۳/۷۱) = 0.۳۳۳

بنابراین میزان پی‌اسکات برابر است با:

π= (OA – EA) ÷ (۱-EA)= (​۰.۷۴۶ – ۰.۳۳۳) ÷ (۱ – ۰.۳۳۳) = 0.۶۲۰

مقدار π می‌تواند بین ۱ تا ۱- باشد:

• توافق کامل بین ارزیاب‌ها = 1
• توافق فقط در حد تصادفی = 0
• اختلاف سیستماتیک بین ارزیاب‌ها = مقادیر منفی

معیارهای کیفی برای پی اسکات:

• عدم توافق: بین ۰.۰ تا ۰.۲
• توافق ضعیف: بین ۰.۲ تا ۰.۴
• توافق متوسط: بین ۰.۴ تا ۰.۶
• توافق خوب: بین ۰.۶ تا ۰.۸
• توافق کامل: بین ۰.۸ تا ۱.۰

بنابراین اگر مقدار π از ۰/۶ بیشتر باشد یعنی توافق وجود دارد.

سخن پایانی

ضریب پی اسکات روشی مناسب برای اندازه‌گیری میزان توافق دو ارزیاب در دسته‌بندی داده‌ها است. این ضریب شانس توافق تصادفی را اصلاح کرده و معمولاً در مطالعات کیفی، تحلیل محتوای رسانه‌ای، و تحقیقات علوم اجتماعی استفاده می‌شود.

پی اسکات (Scott’s Pi) فرض می‌کند که ارزیابان توزیع مشابهی از دسته‌بندی‌ها دارند، درحالی‌که کاپا کوهن (Cohen’s Kappa) این فرض را ندارد و توزیع هر ارزیاب را به‌طور جداگانه در نظر می‌گیرد. پی اسکات معمولاً برای بیش از دو دسته و داده‌های متوازن مناسب‌تر است، اما کاپا کوهن در داده‌های نامتوازن و مقایسه‌های جفتی بهتر عمل می‌کند.

دانلود مقاله ویلیام اسکات

فهرست منابع

حبیبی، آرش. روش پژوهش پیشرفته. تهران: پارس‌مدیر.

Scott, W. A. (1955). Reliability of content analysis: The case of nominal scale coding. Public opinion quarterly, ۳۲۱-۳۲۵.