قابلیت اعتماد ابزار اندازه گیری

قابلیت اعتماد که واژه هایی مانند پایایی، ثبات و اعتبار برای آن به کار برده می‌شود و معادل انگلیسی آن Reliability است، یکی از ویژگی های ابزار اندازه گیری (پرسشنامه یا مصاحبه یا سایر آزمون های علوم اجتماعی) است. مفهوم یاد شده با این امر سروکار دارد که ابزار اندازه گیری در شرایط یکسان تا چه اندازه نتایج یکسانی به دست می دهد. از جمله تعریف هایی که برای قابلیت اعتماد ارائه شده است می توان به تعریف ارائه شده توسط ایبل و فریسبی (1989) اشاره کرد:«همبستگی میان یک مجموعه از نمرات و مجموعه دیگری از نمرات در یک آزمون معادل که به صورت مستقل بر یک گروه آزمودنی به دست آمده است»

با توجه به این امر معمولا دامنه ضریب قابلیت از صفر (عدم ارتباط) تا 1+ (ارتباط کامل) است. ضریب قابلیت اعتماد نشانگر آن است که تا چه اندازه ابزار اندازه گیری ویژگی های با ثبات آزمودنی و یا ویژگی های متغیر و موقتی وی را می سنجد.

قابلیت اطمینان یک جنبه حیاتی از ابزارهای اندازه گیری در روانشناسی و سایر زمینه ها است. این به ثبات، پایداری و قابلیت اطمینان اندازه گیری های انجام شده توسط یک ابزار خاص یا روش ارزیابی اشاره دارد. به عبارت دیگر، یک ابزار اندازه گیری قابل اعتماد زمانی که چندین بار بر روی یک سوژه یا اشیاء تحت شرایط مشابه اعمال می شود، باید نتایج ثابتی تولید کند. انواع مختلفی از قابلیت اطمینان وجود دارد که محققان معمولاً در نظر می گیرند:

قابلیت اطمینان تست-آزمون مجدد: این نوع قابلیت اطمینان، ثبات اندازه گیری ها را در طول زمان ارزیابی می کند. برای تعیین پایایی آزمون-آزمون مجدد، ابزار اندازه گیری یکسان برای گروه مشابهی از شرکت کنندگان در دو نوبت جداگانه اجرا می شود. اگر اندازه‌گیری قابل اعتماد باشد، نمرات به‌دست‌آمده در هر دو مورد باید همبستگی بالایی داشته باشند.

قابلیت اطمینان بین ارزیاب ها: قابلیت اطمینان بین ارزیاب ها سازگاری اندازه گیری ها را زمانی که ارزیاب ها یا ناظران مختلف درگیر هستند بررسی می کند. چند ارزیاب به طور مستقل موضوعات یا موضوعات یکسانی را ارزیابی می‌کنند و میزان توافق بین رتبه‌بندی‌های آنها تحلیل می‌شود. قابلیت اطمینان بالای بین ارزیاب ها نشان می دهد که اندازه گیری تا حد زیادی تحت تأثیر قضاوت های فردی ارزیاب ها نیست.

قابلیت اطمینان سازگاری داخلی: این نوع از قابلیت اطمینان ارزیابی می‌کند که آیتم‌های یک ابزار اندازه‌گیری چگونه ساختار یکسانی را اندازه‌گیری می‌کنند. روش‌های رایج برای ارزیابی سازگاری درونی عبارتند از آلفای کرونباخ و پایایی تقسیم نصف. سازگاری درونی بالا نشان می دهد که موارد موجود در ابزار اندازه گیری ساختار زیربنایی یکسانی را اندازه گیری می کنند.

قابلیت اطمینان فرم های موازی: قابلیت اطمینان فرم های موازی شامل استفاده از دو نسخه متفاوت اما معادل یک ابزار اندازه گیری برای ارزیابی ساختار یکسان است. نمرات به‌دست‌آمده از هر دو نسخه باید همبستگی بالایی داشته باشند، که نشان می‌دهد نسخه‌های مختلف ساختار یکسانی را به طور مداوم اندازه‌گیری می‌کنند.

قابلیت اطمینان فرم‌های جایگزین: مانند قابلیت اطمینان فرم‌های موازی، پایایی فرم‌های جایگزین شامل استفاده از دو شکل مختلف از یک آزمون برای اندازه‌گیری ساختار یکسان است. اگر اندازه گیری قابل اعتماد باشد، نمرات دو فرم باید به شدت همبستگی داشته باشند.

پایایی هم ارزی: پایایی هم ارزی در مطالعات بین فرهنگی یا چند زبانه مرتبط است. این ارزیابی می کند که آیا یک ابزار اندازه گیری نتایج ثابتی را در بین گروه های مختلف فرهنگی یا زبانی ایجاد می کند یا خیر.

برای اطمینان از قابلیت اطمینان ابزارهای اندازه گیری، محققان معمولاً در آزمایش های آزمایشی کامل، پالایش موارد و انجام تجزیه و تحلیل های آماری برای تعیین سطح سازگاری بین اندازه گیری ها شرکت می کنند. ضرایب پایایی، مانند آلفای کرونباخ، ضرایب همبستگی درون طبقاتی، و ضرایب همبستگی پیرسون، اغلب برای تعیین کمیت میزان پایایی استفاده می‌شوند.

در حالی که پایایی بالا برای هر ابزار اندازه گیری ضروری است، توجه به این نکته مهم است که پایایی شرط لازم اما کافی برای اعتبار نیست. اعتبار به میزانی اشاره دارد که ابزار اندازه گیری به طور دقیق ساختار مورد نظر را اندازه گیری می کند. یک اندازه گیری می تواند قابل اعتماد باشد اما معتبر نیست اگر به طور مداوم چیزی غیر از آنچه را که برای اندازه گیری در نظر گرفته شده است اندازه گیری کند. محققان باید در ابزارهای اندازه گیری خود هم برای پایایی و هم اعتبار بالا تلاش کنند.

لازم به ذکر است که قابلیت اعتماد در یک آزمون می‌تواند از موقعیتی به موقعیت دیگر و از گروهی به گروه دیگر متفاوت باشد. برای محاسبه ضریب قابلیت اعتماد ابزار اندازه گیری شیوه های مختلفی به کار برده می‌شود. از آن جمله می‌توان به الف) اجرای دوباره (روش بازآزمایی)، ب) روش موازی (همتا)، ج) روش تصنیف (دو نیمه کردن)، د) روش کودر-ریچاردسون و سایر اشاره کرد.

الف) اجرای دوباره آزمون یا روش بازآزمایی

این روش عبارت است از ارائه یک آزمون بیش از یک بار در یک گروه آزمودنی تحت شرایط یکسان. برای محاسبه ضریب قابلیت اعتماد با این روش، ابتدا ابزار اندازه گیری بر روی یک گروه آزمودنی اجرا شده و سپس در فاصله زمانی کوتاهی دوباره در همان شرایط، آزمون بر روی همان گروه اجرا می‌شود. نمرات بدست آمده از دو آزمون مورد نظر قرار گرفته و ضریب همبستگی آنها محاسبه می‌شود. این ضریب نمایانگر قابلیت اعتماد (پایایی) ابزار است. روش بازآزمایی برای ارزیابی ثبات مولفه های یک ابزار اندازه گیری به کار می‌رود ولی با این اشکال نیز روبه رو است که نتایج حاصله از آزمون مجدد می‌تواند تحت تاثیر تمرین (تجربه) و حافظه آزمودنی قرار گرفته و بنابراین منجر به تغییر در قابلیت اعتماد ابزار اندازه گیری گردد.

ب) روش موازی یا استفاده از آزمون های همتا

یکی از روشهای متداول ارزیابی قابلیت اعتماد در اندازه گیری های روانی-تربیتی استفاده از آزمون های همتا است که شباهت زیادی با یکدیگر دارند ولی کاملا یکسان نیستند. ضریب قابلیت اعتماد بر اساس همبستگی نمرات دو آزمون همتا به دست می‌آید. خطاهای اندازه گیری و کمبود یا عدم وجود همسانی میان دو فرم همتای آزمون (تفاوت در سوالات یا محتوای آن‌ها) قابلیت اعتماد را کاهش می‌دهد.

ممکن است فرم های همتا به طور همزمان ارائه نگردد. در این صورت قابلیت اعتماد هم شامل ثبات و همسانی می‌شود. اگر فاصله اجرای فرم های همتا زیاد باشد و تغییراتی در ضریب قابلیت اعتماد مشاهده گردد، ممکن است که این تغییر مربوط به عوامل فردی (آزمودنی ها)، همتا نبودن آزمون ها و یا ترکیبی از هر دو باشد.

ج) روش تنصیف (دو نیمه کردن)

این روش برای تعیین هماهنگی درونی یک آزمون به کار می‌رود. برای محاسبه ضریب قابلیت اعتماد با این روش، سوال های (اقلام) یک آزمون را به دو نیمه تقسیم نموده و سپس نمره سوال های نیمه اول و نمره سوال های نیمه دوم را محاسبه می‌کنیم. پس از آن همبستگی بین نمرات این دو نیمه را بدست می‌آوریم. ضریب همبستگی به دست آمده برای ارزیابی قابلیت اعتماد کل آزمون مورد استفاده قرار می‌گیرد. برای محاسبه ضریب قابلیت اعتماد کل آزمون از فرمول اسپیرمن-براون برای این مورد استفاده می‌شود:

(1+همبستگی بین دو نیمه) / 2 * همبستگی بین دو نیمه = ضریب قابلیت اعتماد کل آزمون

برای مثال آزمونی با 80 سوال به 35 دانشجوی سال اول ارائه شده است. آزمون به دو نیمه (40 سوال) تقسیم شده است. همبستگی میان نمرات دو تست r=0.7 می‌باشد. قابلیت اعتماد کل آزمون به قرار زیر است:

0.82 = (1+0.7) / 2*0.7= ضریب قابلیت اعتماد کل آزمون

د) روش کودر-ریچاردسون

کودر و ریچاردسون دو فرمول را برای محاسبه هماهنگی درونی آزمون ها ارائه نموده اند.

فرمول اول برآوردی از میانگین ضرایب قابلیت اعتماد برای تمام طرق ممکن تنصیف (دو نیمه کردن) را به دست می‌دهد.

که در آن: n تعداد سوال ها، p نسبت پاسخ های صحیح، q نسبت پاسخ های غلط، S2 واریانس نمرات کل

فرمول دوم برای استفاده از فرمول دوم باید سطح دشواری سوال های آزمون یکسان باشد.

که در آن: n تعداد سوال ها، S2 واریانس نمره های کل، X میانگین نمرات

برای محاسبه ضریب قابلیت اعتماد با این روش، نیازی به داشتن نسبت پاسخ های صحیح و غلط نیست، بلکه در دست داشتن واریانس نمره های کل و میانگین نمرات کفایت می‌کند.

ه‍) روش آلفای کرونباخ

یکی دیگر از روشهای محاسبه قابلیت اعتماد استفاده از فرمول کرونباخ است. این روش برای محاسبه هماهنگی درونی ابزار اندازه گیری از جمله پرسشنامه ها یا آزمون هایی که خصیصه های مختلف را اندازه گیری می کند بکار می رود. در این گونه ابزارها، پاسخ هر سوال می تواند مقادیر عددی مختلف را اختیار کند. برای محاسبه ضریب آلفای کرونباخ ابتدا باید واریانس نمره های هر زیر مجموعه سوال های پرسشنامه (یا زیر آزمون) و واریانس کل را محاسبه کرد. سپس با استفاده از فرمول مقدار ضریب آلفا را محاسبه کرد.

که در آن:

j تعداد زیر مجموعه سوال های پرسشنامه یا آزمون.

S2j واریانس زیر آزمون j ام.

S2 واریانس کل آزمون.

مقدار صفر این ضریب نشان دهنده عدم قابلیت اعتماد و 1+ نشان دهنده قابلیت اعتماد کامل است.

و) عوامل موثر بر ضریب قابلیت اعتماد

ضریب قابلیت اعتماد یک آزمون تحت تاثیر عوامل مختلفی قرار دارد که عبارتست از :

1-طول آزمون: علی الاصول آزمون های طولانی تر از قابلیت اعتماد بالاتری در مقایسه با آزمون های کوتاه برخوردارند. برای مثال ضریب قابلیت اعتماد یک آزمون 60 سوالی می‌تواند بیشتر از یک آزمون 40 سوالی باشد.

2-سوال های مشابه از نظر محتوا و با سطح دشواری متوسط، قابلیت اعتماد آزمون را افزایش می‌دهد.

3-ماهیت متغیر اندازه گیری شده نیز ضریب قابلیت اعتماد را تحت تاثیر قرار می‌دهد.

لازم به ذکر است که ضریب قابلیت اعتماد در تفسیر نتایج مهم بوده و شرط اساسی در انتخاب یک ابزار اندازه گیری است.

اعتبار اندازه گیری (روایی) ابزار اندازه گیری

مفهوم اعتبار (روایی) به این سوال پاسخ می‌دهد که ابزار اندازه گیری تا چه حد خصیصه مورد نظر را می سنجد. بدون آگاهی از اعتبار ابزار اندازه گیری نمی‌توان به دقت داده های حاصل از آن اطمینان داشت. ابزار اندازه گیری ممکن است برای اندازه گیری یک خصیصه ویژه دارای اعتبار باشد، در حالی که برای سنجش همان خصیصه بر روی جامعه دیگر از هیچ گونه اعتباری برخوردار نباشد.

برای مثال یک آزمون ریاضی ممکن است برای سنجش توانایی ریاضی دانش آموزان پایه پنجم ابتدایی از اعتبار لازم برخوردار باشد اما برای سنجش توانایی ریاضی دانش آموزان پایه سوم راهنمایی فاقد اعبتار باشد. روش های متعددی برای تعیین اعتبار ابزار اندازه گیری وجود دارد که در این جا به اختصار در مورد هر یک توضیح داده خواهد شد؛

الف) اعبتار محتوا

اعتبار محتوا نوعی اعتبار است که معمولا برای بررسی اجزای تشکیل دهنده یک ابزار اندازه گیری به کار برده می‌شود. به عنوان مثال برای یک آزمون پیشرفت تحصیلی باید اعتبار محتوای آن را مورد نظر قرار داد. اعتبار محتوای یک ابزار اندازه گیری به سوال های تشکیل دهنده آن بستگی دارد. اگر سوال های ابزار معرف ویژگی ها و مهارت های ویژه ای باشد که محقق قصد اندازه گیری آن‌ها را داشته باشد، آزمون دارای اعتبار محتوا است. برای اطمینان از اعتبار محتوا، باید در موقع ساختن ابزار (مانند طراحی پرسشنامه) چنان عمل کرد که سوال های تشکیل دهنده ابزار معرف قسمت های محتوای انتخاب شده باشد. بنابراین اعتبار محتوا ویژگی ساختاری ابزار است که همزمان با تدوین آزمون در آن تنیده می‌شود. اعتبار محتوای یک آزمون معمولا توسط افرادی متخصص در موضوع مورد مطالعه تعیین می‌شود. از این رو اعتبار محتوا به قضاوت داوران بستگی دارد.

ب) اعتبار ملاکی

اعتبار ملاکی عبارتست از کارآمدی یک ابزار اندازه گیری در پیش بینی رفتار یک فرد در موقعیت های خاص. برای این منظور عملکرد هر فرد در آزمون با یک ملاک مقایسه می‌شود. به عبارت دیگر اعتبار ملاکی یک ابزار اندازه گیری عبارتست از همبستگی بین نمرات آزمون و نمره ملاک. اعتبار ملاکی بر دو نوع است:

1-اعتبار پیش بین 2–اعتبار همزمان

1-اعتبار پیش بین: در اندازه گیری های روانی-تربیتی، اعتبار پیش بین عبارتست از بررسی رابطه نمره های آزمونی که برخی ویژگی ها را می سنجد و آن چه ادعای پیش بینی آن را دارد. اعتبار پیش بین می‌تواند به وسیله رابطه عملکرد در یک آزمون با آزمون ملاک رفتاری به دست آید. به عبارت دیگر ضریب همبستگی نمره های حاصل از اجرای آزمون با نمره های متغیر ملاک، نمایانگر اعتبار پیش بین است. برای مثال در یک تحقیق، 882 مرد و زن به یک آزمون رغبت شغلی پاسخ گفته اند. آزمونی ها 12 ساله بودند و در 19 سالگی مجدد مورد بررسی قرار گرفتند. 51 درصد به شغلی که در آزمون انتخاب کرده بودند اشتغال داشتند. این داده ها اعبتار پیش بین این ابزار را نشان می‌دهد.

2-اعتبار همزمان: اعتبار همزمان در مواردی به کار می‌رود که داده های حاصله از دو اندازه گیری در یک زمان در دسترس باشد. در این گونه موارد عملکرد در یک آزمون به عملکرد در آزمون دیگر مرتبط می‌گردد. این فرآیند اعتبار همزمان نامیده می‌شود. اعتبار همزمان در مواردی محاسبه می‌شود که هدف جانشین کردن یک ابزار اندازه گیری به جای ابزار دیگری باشد. این امر بیشتر به علت ملاحظات مربوط به سهولت اجرای آزمون یا جانشین کردن یک آزمون کوتاهتر به جای یک آزمون طویل تر است. در این مورد نیز ضریب همبستگی بین نمره های حاصل از اجرای آزمون با نمره های بدست آمده از اجرای آزمون دیگر یا اندازه های حاصل از اندازه گیری دیگری که همزمان به عمل آمده است به عنوان میزان اعتبار اندازه گیری به کار می‌رود.

ج) اعتبار سازه

اعتبار سازه یک ابزار اندازه گیری نمایانگر آن است که ابزار اندازه گیری تا چه اندازه یک سازه یا خصیصه ای را که مبنای نظری دارد می سنجد. در بررسی اعتبار سازه باید به تدوین فرضیه هایی درباره مفاهیم اندازه گیری شده، آزمودن این فرضیه ها و محاسبه همبستگی نتایج با اندازه گیری اولیه پرداخت. اگر ضریب همبستگی حاصله بالا باشد اعتبار سازه افزایش می‌یابد ولی اگر همبستگی معنی دار نباشد علت را می‌توان به عوامل زیر نسبت داد:

1-جمع آوری داده ها با اشکال همراه بوده است.

2-پیش بینی و فرضیه ها غلط بوده است.

3-ابزار، خصیصه مورد نظر را اندازه گیری نمی‌کند.

اگر چه فرایند برقراری اعتبار سازه امر بی انتهایی است ولی محقق یا سازنده آزمون می‌تواند اعتبار سازه یک آزمون را در موقعیت های خاص نشان دهد.

*از جمله شیوه هایی که برای تعیین اعتبار سازه به کار می‌رود موارد زیر است:

1-تفاوت های گروهی: اگر نظریه ای تفاوتی را بین گروهها (یا هیچ تفاوتی را) در نمرات آزمون پیش بینی کند، آزمونی که این تفاوت را نشان دهد (یا ندهد) دارای اعتبار سازه است. برای مثال پیش بینی می‌شود که کودکان و بزرگسالان در بلوغ اجتماعی با هم تفاوت دارند. بنابراین اگر آزمونی که برای اندازه گیری خصیصه بلوغ اجتماعی ساخته شده باشد، تفاوت معنی داری را بین کودکان و بزرگسالان نشان دهد دارای اعتبار سازه است.

2-تغییرات: چنانچه نظریه ای پیش بینی کند که خصیصه مورد اندازه گیری تحت تاثیر زمان یا مداخله آزمایشی قرار می گیرد، اگر نمرات آزمون این تاثیر را نشان دهد داراری اعتبار سازه است. برای مثال اگر آزمونی مهارت های کلامی را می سنجد باید با افزایش سن آزمودنی ها نمرات افزایش یابد، یا اگر مداخله اجتماعی برای پرورش این مهارت ها صورت گرفته باشد نمرات پیش آزمون و پس آزمون باید تغییرات معنی داری را نشان دهد.

3-اعتبار همگرا و واگرا (تشخیصی): هر گاه یک یا چند خصیصه از طریق دو یا چند روش اندازه گیری شوند همبستگی بین این اندازه گیری ها دو شاخص مهم اعتبار را فراهم می آورد. اگر همبستگی بین نمرات آزمون هایی که خصیصه واحدی را اندازه گیری می‌کند بالا باشد، آزمون ها دارای اعتبار همگرا می‌باشد. چنانچه همبستگی بین آزمون هایی که خصیصه های متفاوتی را اندازه گیری می‌کند پایین باشد، آزمون ها دارای اعبتار تشخیصی یا واگرا است.

د) اعتبار عاملی

اعتبار عاملی صورتی از اعتبار سازه است که از طریق تحلیل عاملی به دست می‌آید. یک عامل، یک متغیر فرضی (سازه) است که نمرات مشاهده شده را در یک یا چند متغیر تحت تاثیر قرار می‌دهد. هر گاه تحلیل عاملی روی یک ماتریس همبستگی صورت گیرد آزمون هایی که تحت تاثیر عوامل خاصی قرار گرفته دارای بار عاملی بالا در آن عامل است.

مقالعه ای که در بالا آن را مطالعه فرمودید مربوط به بحث قابلیت اعتماد ابزار اندازه گیری است ،که تیم تحلیلی یونی تحلیل آن را برای شما عزیزان و پژوهشگران گرد آوری کرده است.

قابلیت اعتماد ابزار اندازه گیری