1.可靠性是指测量结果的可靠性和通用性。因为心智测试一般衡量人的行为，行为会因为各种原因随着时间、事件、地点而改变。这些要素有的是偶发性的，有的是固有的，人在完成心智测试时的行为也会受到上述要素的影响，从而使测试结果与实际结果并不完全共同，所以要用可靠性来衡量测试的可靠性和通用性。

2.可靠性的操作定义:

(1)错误理论认为一个人的考试分数X由真实分数(T)和错误(E)组成，公式为X = T+E。

(2)因此，可靠性被定义为一组测量分数的实际方差与实际方差之比，或实际方差占总方差的百分比。公式为:rxx = 1-SE 2/SX 2/sx2

(3)根据计算理论，实方差与实方差之比是一个相关的详细平方，所以我们称这个相关的详细平方为可靠性细节。

(4)计算公式为:rxx = ST2/SX2

3.由于误差的来源，信度可以分为:这种分类是基于信度的传统定义——真分理论。

(1)重测信度:考虑的误差来源是时间抽样。

(2)副本可靠性:考虑的误差来源是内容抽样。

(3)对半信度:它考虑的误差来源也是内容抽样。它和副本的可靠性之间的区别在于，对半可靠性检查测试内容的两半是否测量了相同的心理特征行为。

(4)同质性可靠性(内部一致性细节):考虑的是检验内容是否异质。

(5)评分者的信度:考虑的误差来源是评分者之间的差异。

4.证明可靠性的方法:

(1)可靠性细节和可靠性指标:

1可靠性详情:rxx = rx2t = s2t/S2

2可靠性指标:rxt = ST/sx

(2)测量规格误差:SE = SX 1-rxx

5.可靠性的含义:

(1)信度可以详细解释为样本考试成绩总方差中有多少是真分方差，即考试成绩总方差中有多少百分比是真分形成的方差。它直接告诉我们测量有多错误。

(2)测量的规范性误差可以告诉我们真实分数在一定的分数范围内有多少，可以猜测真实分数重新测量时可能发生的变化。

6.可靠性的影响:

(1)解释和猜测个人分数的含义。

(2)说明真实分数与真实分数的关系，明确告诉我们检查错误的细节。

(3)新试验的可靠性应高于原相似试验或相似试验。

(4)认定某项测试是可靠的，需要根据情况，并经过反复证明。

(5)确认检验质量是目标。一般原则是:

1当rxx< 0.70时，检验不能用于评价或猜测个体，也不能用于群体间比较。

2当0.70 ≤ rxx < 0.85时，可用于集体比较。

3当rxx ≥0.85时，可用于识别或猜测个人成就或影响

7.重测信度:有时称为稳定性，主要针对时间变量。

(1)重测信度的数据收集方式是对同一组被试在一定距离内重复测试一次。

(4)重测信度的计算方法是积矩相关法，所以rxx是皮尔逊积矩相关细节。

(7)重测信度时间距离的选择取决于测验的性质和意图。如果测试用于长期猜测，测量距离更长。孩子的智力测试一般是两周到四周。对于成年人来说，距离可以长达六个月，很少超过六个月。

(13)应注意重测信度的应用:并非所有的测验都能说明重测信度。而且，重测信度只反映了随机误差的影响，而不是被试心理特征的长期变化。

8.副本可靠性:也称为等效细节。

(1)数据收集方法是:给受试者两次内容相同但题目不同的测试，找出两组数值的相关性。常用的会计方法是积差相关法。

(2)副本可靠性的凹凸性反映的是两个互为副本的测试之间的等价程度，而不是一个测试本身受随机误差影响的精细程度。复件可靠性的凹凸取决于复件检验的选择，所以应用标题抽样的问题也许就是检验内容抽样的问题。

(3)重复信度优于重测信度的优点是:避免了重测带来的回忆效应和练习效应；可以用来衡量长期追求和讨论前后的情况；并且作弊的可能性降低。

(4)副本的可靠性缺陷:有些测试的副本很难找到；有些测试由于正的重定位效应而改变了测试的性质；如果测量内容简单，受实践影响，重复的可靠性不能消除实践的影响。

(5)重测复本的信度，即在不同时间测试两个等价测试(复本)，得到的相关性就是重测复本的信度，也叫稳定等价细节。比单一重测信度或重复信度更严格、更全面。

9.斯皮尔曼-布朗公式:rnn = nrtt/1+(n-13，1)rtt，14。rnn是未来校对的相关细节，15。rtt是实际的相关细节，16。n是对应于RNN和rtt的检验长度之比。当分成两半时，17。N = N/(N/2) = 2 (N为试验全长)。18.因此，对半法可靠性的校对公式为:RXX = 2RNN/1+rhh，其中rhh是测试的相关细节的两半。

(1)鲁人公式:rxx = 1-Sd2/Sx2，其中Sd2为两次半测成绩之差的方差，Sx2为总方差。

(2)理论上，对半信度反映的是两部分测验可以测量内容或心理特征相同的程度。

10.内部共同性信度(同质性信度):同质性是指所有被测题目的共同性，即被测者具有相同的心理特质或行为。同质性是衡量单一特质的必要条件。同质性这里指的是考试题目分数所反映的共同心理特征。同质性的标准是标题之间有很高的正相关性，如果相关性低或为负，则标题是异质的。

(1)库德和理查森提出的K-R20公式只适合猜测题目是二分法打分的。Kehlenbach α适合详细的非二分法分数的测试。

(2)从同质性信度的含义中，我们很容易看出，裂半信度寻求的是检验两半之间的共性或同质性，同质性寻求的是所有标题之间的共性。因此，对半信度实际上是同质性信度的一种，可以作为检验同质性评论的粗糙指标。因为某个概念或理论概念可以根据测试分数来推断或验证，同质性信度也是一个概念效度，或者说是结构效度，实际上介于信度和效度之间。

11.评分者的信度:一些思维测试的分数不是按照客观评分系统评分，而是由评分者评分。因此，此类测试的可靠性取决于评分者评分的通用性和稳定性。

评分员的可靠性根据评分员的数量以不同的方式进行衡量。如果两个评分者独立对受试者的反应进行评分，他们可以使用积矩相关法进行计算，或者使用斯皮尔曼的等级相关法进行计算。如果评分者超过三人，并且按等级进行评分，评分者的信度可以用肯德尔调和细节(W)来计算。

12.通过测量标准歪曲可靠性的优点是:

(1)信度的单位和考试成绩的单位是一样的，所以说明个人成绩很直接，可以直接指出承诺考试成绩变化的尺度。

(2)试验是否均匀不影响测量规范误差的大小。当测量标准误差的缺点时，不可能比较不同测试之间的可靠性颠簸。比较不同测试的可靠性。用可靠性细节(rxx)和测量规格误差(SE)解释个人得分。

13.影响可靠性的常见因素包括:样本特征、测试长度、测试难度、测量时间距离等。

14.我们在做信度检验时，往往会选择一个与正常样本性质相同的样本，根据被试的分数计算信度细节。

(1)样本集体分数分布的影响:如果样本集体分数分布对于信度来说比较窄，那么信度就比较低。

(2)样本集体异质性的影响:如果样本是集体异质性的，测试分数会比同质样本的分布更广，分数的离差更大，样本的方差更大，信度更高。事实上，高可靠性可能是虚假的高可靠性，这是由样本集合的异质性形成的。但如果规范要求把各类人作为一个整体，那么从异质可靠性样本中获得的可靠性才是真正的可靠性。此时，相反的情况需要校对的可靠性。

(3)样本集体统一人才水平的影响。因为信度随样本间集体统一人才水平的不同而不同，所以在寻求信度时一定要注意信度样本是否与常模整体一致。

15.测试长度:在其他条件相同的情况下，测试时间越长，可靠性越高。原因是:

(1)检查时间越长，即职称越多，检查内容的抽样越有代表性。

(2)测试时间越长，参与者的猜测因素的影响就越小。

16.考试难度:难度对信度的影响在于一些考试，如智力测验、成绩测验、能力倾向测验、教育测验等。考试难度对信度有直接影响，因为如果考试难度太大，被试的分数就会集中在低分。如果太简单，分数会集中在高分区。在这两种情况下，信度样本的评分尺度变窄，方差减小，然后测试信度被忽略。

17.检验的时间距离:这个因素在不一起测量时对重测信度和复测信度有影响，其他信度不存在时间距离问题。

第六章有效性

1.有效性是指测试能够衡量被测策略的程度。这个定义包含两层含义:什么是检验尺度？计量政策上检查的计量准确性和真实性如何？

2.有效性的公式为:rxy = SV2/SX2，为真实分数的方差与测量策略相关的总方差之比。Rxy是常用的有效性论证方法；SV2是“相关真实方差”，即被考察者测量的心智变量引起的方差，也称有用方差；SX2是总方差。

3.信度和效度的区别在于，两者所触及的误差是不同的:信度只考虑偶然随机误差在测验总变异中所占的比例，效度还包括与测验无关的稳定测量误差。

(1)可靠性是有效性的必要条件，但不是充分条件。

(2)效度受信度限制。

4.效度的性质:效度的真正含义是指测验结果的效度，即测验结果的准确性。

(1)有效性是相对的。

(2)有效性是连续的。测试的有用性只是程度不同而已。

(3)有效性不能直接衡量，它来源于现有的基础。

5.效度类型:内容效度、概念效度和标准相关效度。

6.标准相关效度是指测验总分与外部标准20，准(criteria)之间的相关程度，反映了利用测验猜测个体行为在某一情境中是如何体现的有用性。因为外部规范已经成为调查和测试有用性的参考规范，所以简称为有效标准。

7.阿斯丁将有效性标准分为两个层次:一个是理论描述层面的“概念有效性标准”，另一个是操作定义层面的“有效性标准测量”。

(1)有效性概念是有效性的理论界认为，有效性度量是有效性的操作性定义，有效性度量需要真实地反映有效性的概念。

(2)有效标准测量的一个重要特征是客观性。为此，我们应该:

1.避免偏见影响有效性标准的衡量，尤其是以等级鉴定作为有效性标准4的衡量时，评分者的片面偏见会产生很大的影响。

2.避免标准的污染，这意味着个人标准受到影响，因为评估师知道个人考试分数(也称为猜测源分数)。

8.常用疗效标准:学术成绩、临床诊断、实际工作表现、专项训练成绩、疗效标准集体对比、既往有用测试、等级鉴定。

9.一次性效度:其标准资料几乎与考试成绩一起收集。一般情况下可以代替猜测效度。

10.猜测效度的标准是经过一段时间后得到的，猜测效度反映的是从考试成绩中猜测出任何标准情况的程度或被试在一段时间后的行为表现。

11.概念有效性是指一个理论概念或特征被头脑测量的程度。所以，研究概念的有效性就是要搞清楚:用什么概念(概念或特征)来检验和测量？考试成绩的变异有多少来自考试的理论构想？概念的有效性没有单一的指标，是通过各种证据的积累来评价的。

12.确认概念有效性的基本过程:建立理论结构，根据理论结构推导检验结果的假设，用逻辑或经验方法证明假设。

13.确认概念有效性的方法:内部方法、实验室间方法、研究、实验和观察方法验证标准的有效性。

(1)内部检验法:这种方法通过研究和检验内部结构来界定理论概念，从而为概念的有效性提供依据。

(2)确认方法是分析测验的内容效度和测验的内在共同性。检验的内在共性可以用对半信度、α-细节、KR20或KR21来衡量，考察检验题目是否同质，子检验和一般检验是否共同或同质，可以证明检验测量的概念是否合理，从而形成证明概念有效性的依据。

(3)有时，分析受试者对标题的反应特征也可以作为概念效度的基础。

(4)互测法:通过分析几种测试之间的相关性，找出它们的共性，推测这些测试的特点是什么，确认这些测试的有效性。最简单的方法就是计算两次考试的分数相关性。区分效度是建构效度的另一个基础。因子分析也是建立概念有效性的常用方法。

(5)测试方法和调查方法证明，调查测试前后的分数差异也是验证构想有效性的途径之一。

14.内容效度是指对标题作为一个整体对相关内容或行为进行抽样的适当性测试。因为这个效度主要是考察的内容，所以叫内容效度。

(1)为了使测验的内容效度高，需要定义两个条件:内容的尺度或整体行为；测试标题应该是定义的内容等级的代表性样本。

(2)确认内容效度的方法:专家判别法、判别法和计算分析法。

15.外观效度是指一个测试看起来衡量的是被测事物的程度。换句话说，当未经训练的受试者或测试用户认为某个测试是有用的测试时，该测试具有外观效度。

16.效度目标是指标准相关效度和建构效度的目标。有效性目标一般包括:详细的有效性、计算预测参数、期望表等。

17.详细效度:是最常用的效度目标，尤其是与标准相关的效度。皮尔逊积矩相关法对此进行了详细说明。细节效度的实际意义往往是通过决定性细节表现出来的，表达式是rx2y，细节效度的便利性是决定性细节，检验正确猜测或解释的标准的方差占总方差。

18.其他有效性目标:一些描述不同组之间差异的计算目标(参数)也可以用作有效性目标，如t检验、f检验、堆积百分比等。

19.效度的影响因素:自我检查的因素、被测样本的性质、标准的性质等。

(1)考试本身的要素可以分为:试题的预定质量、考试的时长、考试实施中的干扰、被试的要素等。

(2)样品的性质:

其中一个影响就是不同的群体对同一个测试可能会有不同的反应。由于受试者的景物不同，可能会采用完全不同的方法来回复考试题目。

2.第二个原因是，同一个测试，集体效度不同，效度也会很不一样。有效性集体的性质包括年龄、性别、受教育程度、智力水平、动机、工作等相关特征。1这些特点使得测试对不同的集体有不同的猜测能力。所以叫干和变量。

第三个影响是样本集合的异质性。在其他条件相同的情况下，样本的同质性越高，有效性越低。

部分内容来源于网络转载、学生投稿，如有侵权或对本站有任何意见、建议或者投诉，请联系邮箱（1296178999@qq.com）反馈。 未经本站授权，不得转载、摘编、复制或者建立镜像， 如有违反，本站将追究法律责任！