克隆巴赫α系数真的可靠吗?—浅谈欧米茄ω系数的应用

众所周知,Cronbach’s α(α)是广泛使用的信度测量方法,用于量化多项测量量表生成的总分或平均分中存在的随机测量误差的数量。然而,方法学家警告称,α相对于其更通用的形式McDonald的ω(ω)来说,并不是一个最优的信度测量方法。

众所周知,Cronbach’s α(α)是广泛使用的信度测量方法,用于量化多项测量量表生成的总分或平均分中存在的随机测量误差的数量。然而,方法学家警告称,α相对于其更通用的形式McDonald的ω(ω)来说,并不是一个最优的信度测量方法。阻碍ω被广泛采用的原因之一,可能是许多流行的统计软件程序中并没有提供计算ω的选项,并且计算ω需要通过验证性因素分析(CFA)得到因子载荷。


本文展示如何使用两个结构方程模型程序(Mplus和AMOS)以及R的MBESS包来计算ω。

引言


常见的心理测量方法通常使用多项量表(multi-item measurement scale, MIMS)来进行测量。MIMS由一组k个项目(items)或指标(indicators)组成,用于测量一些无法直接观察到的构念(如害羞、沟通能力、压力)等。通过求和或平均,这种量表生成测量分数以代表该构念的水平。


在开发这种量表时,信效度是需要考虑的重要因素。但需要强调的是,信度是数据属性,反映了测量中的随机误差或“噪音”的程度,但不是量表本身的自有属性(Raykov, 2007; Streiner, 2003)。


传统的量表信度计算一般会用到克隆巴赫α系数,然而,这种信度计算可能存在一些问题。

Cronbach’s α

然而,克隆巴赫α系数在使用中存在一些误解和限制,导致其可靠性受到质疑。首先,较高的α系数被认为是一个内部一致性的指标,但实际上,同时包含数个潜变量的一组观测数据的α值可能高于只包含一个潜变量的一组观测数据,因此α值并不能作为判断内部一致性的可靠指标‌1。

此外,关于α的值应该大于0.7或0.8的说法,并没有实证研究和严格的逻辑推理支持,这一结论只是来自一个著名研究的直觉判断‌1。最后,虽然克隆巴赫α系数是最常用的信度系数,但也有研究指出,它并非最好的可靠性指标。

根据真分数理论,克隆巴赫α系数本质上评估的是真分数与观察分数之间的相关系数的平方。

(V: 方差; O为k个观测值X之和)

Nunnally (1978)在其著作中指出“克隆巴赫α系数是一个很有意义的指标,应该将其用于所有测试中”。在随后的几十年,克隆巴赫系数得到了广泛应用。一项调查研究显示,在心理学期刊文献中,有超过90%使用了该指标作为信度指标。


但即使克隆巴赫系数应用如此广泛,但还是存在对其使用的一些误解。Cortina(1993)和 Schmitt(1996)几十年前就讨论了其中的一些误解,但这些误解依然存在(更多的近期讨论见 Sijtsma, 2009; Streiner, 2003)。


很多人误以为,如果一组项目的 Cronbach’s α 值很高(通常是0.7或以上),就可以证明这些项目测量的是同一个构念(即单维性),因此可以将这些项目的得分相加作为这个构念的测量结果。然而实际上,Cronbach’s α 只是在项目间一致性高时才会高,但这并不意味着这些项目只测量一个构念。换句话说,即使α值高,也不能保证这些项目是单维的——它们可能实际上测量了多个构念。


因此,报告一组观测得分的信度时,仅报告 Cronbach’s α 并不充分,尤其是在没有先验证项目的单维性的情况下。高 α 可能会让人误以为测量工具是可靠的,但如果项目实际上测量了多个构念,那么这个 α 就可能误导研究结果。


第二个常见问题是,克隆巴赫系数本质上不适用于衡量内部一致性,虽然α会随着题目之间的平均相关系数增加而增加。但这些题目之间的相关可能变异很大,其中甚至包含了某些接近于零的相关。


并且,克隆巴赫系数对于题目数量是敏感的。随着题目数量的增加,克隆巴赫系数会偏高。如果题目数量足够多,即使项目之间的相关性普遍较低,α值也可能会很高。

McDonald’s omega (ω)

Omega系数是由McDonald提出的,公式如下:

从公式的意义上,克隆巴赫系数其实是ω系数的特殊例。这也引出了克隆巴赫系数的一个常常被忽略的假设,即克隆巴赫系数是假设所有因子载荷相等的,即基本等价性(essential tauequivalence)。

相比之下,ω则不使用基本等价原则,但在使用等价假设时,和α相同。

Omega统计软件计算

Mplus

在Mplus中,代码如下:

DATA:
file is c:\omega\blirt8.csv;
VARIABLE:
NAMES are blirt1 blirt2r blirt3r blirt4 blirt5r blirt6 blirt7r blirt8;
USEVARIABLES are blirt1 blirt2r blirt3r blirt4 blirt5r blirt6 blirt7r blirt8;
MODEL:
blirt by blirt1* (b1)
blirt2r (b2)
blirt3r (b3)
blirt4 (b4)
blirt5r (b5)
blirt6 (b6)
blirt7r (b7)
blirt8 (b8);
blirt1 (e1); blirt2r (e2); blirt3r (e3);blirt4 (e4);blirt5r (e5);
blirt6 (e6); blirt7r (e7); blirt8 (e8);
blirt@1;
MODEL CONSTRAINT:
new sumload2 sumevar omega;
sumload2=(b1+b2+b3+b4+b5+b6+b7+b8)**2;
sumevar=e1+e2+e3+e4+e5+e6+e7+e8;
omega=sumload2/(sumload2+sumevar);

Amos

在Amos中,主要是设计结构方程模型,如下图所示:

在模型的左侧,是一个CFA模型,其中BLIRT是潜变量,该模型中,将潜变量的方差固定为1(这样就可以计算ω系数在0-1范围内)。在模型的右侧,向SUM发送单位加权(unit weighted efftects),并将其变异方差(e)设置为0。这意味着,SUM这个潜变量将完全由八个项目之和得到。

随后计算隐含协方差矩阵(implied covariance matrix),在选项Analysis Properties中选择Standardized estimates和all implied moments选项。即可得出下图的隐含相关矩阵(Implied Correlations)

最后,SUM值的平方即为ω。

主要参考文献:

  1. Hayes, A. F., & Coutts, J. J. (2020). Use Omega Rather than Cronbach’s Alpha for Estimating Reliability. But…. Communication Methods and Measures, 14(1), 1–24. https://doi.org/10.1080/19312458.2020.1718629
  2. Gijsen, M., Catrysse, L., De Maeyer, S., & Gijbels, D. (2024). Mapping cognitive processes in video-based learning by combining trace and think-aloud data. Learning and Instruction, 90, 101851. https://doi.org/10.1016/j.learninstruc.2023.101851


(最后编辑时间:2024年8月20日 18点05分)

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注