不是所有的高中生都参加的,因而存在选择性偏差(Hauser,1998;Powell&Steelman,1996;Taube8den,1989;Wainer,1989)。只有那些希望进入大学的学生参加这个考试。这个因素就能够解释州与州之间的平均分为何存在差异,同时解释了为什么一些州有最好的教育体制,在SAT考拭中的平均分却很低。
选择性因素在两个方面操纵了SAT的得分。首先,一些州立大学需要ACT(美国大学考试)的成绩,而不是SAT分数。所以这些州中,只有那些打算去州外读大学的学生才会参加SAT考试。比起那些平均水平的学生,这些学生中的大部分最有可能拥有更好的家庭条件或者更高的学术才能。这种情况也发生在密西西比州和加利福尼亚州的考试中。密西西比州仅有4%的高中生参加SAT,然而加利福尼亚州却高达47%(Powell&Steelman,1996)。
第二个选择性因素则更加微妙。在那些教育质量高的州里,许多学生在高中毕业后,更倾向于继续接受教育。在这些州,参加SAT考试的学生比例高,这其中也包括一些学习成绩较差的学生。而在那些有着高辍学率、低教育质量的州中,想继续接受大学教育的学生比例很低。在这些州中,最终参加SAT考试的学生代表的是这些州中学习成绩比较好的那些人。因此,他们的平均成绩自然要高于那些大部分人都参加升学考试的州。
关于SAT分数的这个例子也为我们提供了一个反面教材,那就是:公众如果缺乏本书所教授的简单方法论和统计思维技能,想纠正那些误导性的数据是何等地困难。在写于1983年的本书的第一版中,我就将SAT分数的错误使用源于选择性偏差这个例子收录进来。在十多年以后,也就是1994年的第四版中,我谈到了一篇文章,这篇文章是印第安纳州的教授布赖恩·鲍威尔(BrianPowell,1993)写的,文章分析了由政治专栏作家乔治·威尔(GeeWel1)在1993年所写的一篇专栏文章,你可以猜测一下文章的内容……威尔反对公共教育支出,因为在SAT测试中取得高分的州,并没有高的教育支出。鲍威尔(1993)指出,威尔挑出的那些SAT分数特别高的州——爱荷华州、北达科他州、南达科他州、犹他州和明尼苏达州——参加SAT考试的学生比率分别为5%、6%、7%、4%和10%,然而在美国参加SAT考试的总比率是40%以上。原因就是,在以上这些州中,要想进入公立学校,必须参加ACT考试,只有那些计划去州外有名望的私立学校读书的学生才参加SAT考试(Powell,1993,p.352)。与之相反,在威尔列举的新泽西州,SAT分数很低,教育支出却很高,其中有76%的高中生参加了这个考试。显然,相比新泽西州,在南、北达科他州参加SAT考试的学生配称得上是一支“精锐之师”。
在《教育研究者》(EducationalResearcher)杂志中,心理测量学家霍华德·维纳(HowardWainer,1993)分析了一篇文章,此文是美国传统基金会所做的一个研究,发表在1993年6月22日的《华尔街日报》上。这个基金会是一个带有强烈意识形态倾向的智库,一贯反对教育投入——你猜是为什么呢?——SAT分数低的州往往是教育投入较高的。维纳的文章不仅揭示出选择性偏差引发的这种后果,还证明了如果测试使用有代表性的样本,而不是自我选择的样本来分析(NationalAssessmentforEducationalProgress,NAEP),这种关系就会呈现相反的情况:教育花费高的州有高的SAT成绩。
鲍威尔和斯蒂尔曼(Powell