五、推荐信在研究生选拔中的应用

几乎所有的研究生招生机构都要求申请人提供推荐信［24，87，88］。推荐信在研究生选拔过程中之所以重要，主要有三方面的原因［89］。首先，也是最主要的原因是推荐信提供了申请人过去的绩效和表现，而研究发现过去的绩效和表现是未来成功良好的预测变量［90］。其次，推荐信可以提供录取过程中通过其他评估方法无法获得的信息，从而具有相对于其他方法的增益效度［91］。最后，作为推荐人的导师或其授课教师往往有机会观察申请人的典型表现而不仅仅是其最优表现；研究表明，测量最优表现的方法可能并不能准确预测申请人在未来情境中的典型表现［92］。

（一）传统推荐信的预测效度

尽管推荐信在研究生选拔过程中应用广泛，但是，传统推荐信的预测效度并不理想。研究表明，推荐信的内容往往与未来绩效的相关性很低［93］。Reilly等［94］对10个推荐信效度研究（总样本量为5718个）结果的元分析表明，推荐信和总体效标之间的平均相关为0.14。Berman［95］的研究考查了推荐信等录取变量对临床心理学专业研究生的学业成绩和职业能力的预测作用，结果表明，推荐信并不能有效预测上述效标。Zeleznik等［88］研究了推荐信的推荐程度与研究生绩效之间的关系，该研究收集了236名医学院研究生的本科GPA、推荐人对申请人的推荐程度以及研究生阶段的学业绩效指标（包括研究生GPA、全国医学委员会测验成绩等），结果表明，尽管推荐程度与上述研究生学业绩效指标之间存在微弱相关，但在多元回归分析中推荐程度对于研究生学业绩效的预测并无显著贡献；该研究质疑了研究生选拔中以推荐人对申请人的推荐程度作为录取决策依据的意义，并提出应该对传统推荐信的形式和方法进行改进以提高其预测效度。Vannelli等［96］的元分析发现，推荐信与教师对研究生的评价之间的相关系数为0.25，与研究生GPA之间的相关系数为0.14，与研究生的研究成果之间的相关系数为0.10。

（二）传统推荐信缺乏效度的原因

影响传统推荐信效度的首要问题是宽容偏差（leniency errors）的普遍存在。推荐信能否成为研究生未来绩效的有效预测变量，很大程度上取决于推荐信所提供信息的准确性和具体性。而研究表明，推荐信往往对申请人的能力和技能有所夸大［97］。Schneider［98］在其《为什么不能相信推荐信》一文中尖锐指出，“‘好’并不意味着好，而是意味着令人绝望的平庸；‘可靠’则是乏味和缺少想象力的简称”。Grote等［99］的研究考查了推荐信是否包含申请人的准确信息，结果发现，推荐信很少提及申请人负面的或者不良的人格特征、技能或行为。Loher等［100］的研究表明，过度宽容偏差削弱了推荐信的预测效度。

影响传统推荐信效度的第二个主要原因是推荐者一致性信度过低。传统推荐信作为推荐人对申请人的主观描述，往往缺乏统一的评价维度。不同的推荐人基于各自对研究生录取标准的理解、从不同的角度出发对申请人进行评价，导致推荐者之间缺乏一致性，进而影响了推荐信对于录取决策的价值。传统推荐信的信度问题是如此严重，以至于Baxter等［101］的研究发现，同一个推荐人为两个申请人分别写的两封推荐信之间的一致性程度竟然大于两个推荐人为同一个申请人所写的两封推荐信之间的一致性程度。由此，他们指出，传统推荐信似乎更多体现的是推荐人的特点而不是被推荐者的特征。

影响传统推荐信效度的第三个主要原因是推荐信评分的主观性。传统推荐信的形式使得推荐信在评分环节很容易出现问题［102］。一方面，推荐信往往充满一般性的、含糊的语言，评阅人不得不从字里行间猜测推荐人的真正意图［24］，评阅人对推荐信中信息的这种主观解释容易导致误读或错误的判断；另一方面，不同的评阅人对同一封推荐信的评价可能由于标准的不同而差别很大，由此，一封推荐信是否包含有效的证据以证实申请人所具有的特点，在很大程度上依赖于评阅人各自的标准甚至推荐人写信的技巧。Aamodt等［97］的研究发现，通过改进推荐信的评分方式，可以在一定程度上提高推荐信对未来绩效的预测效度。该评分过程要求两位专家依据详细的编码规则将推荐信中提及的申请人的特征归入事先确定的类别中。尽管采用这种方法的推荐信的预测效度能够得以提高，但这种评分过程要求专家投入大量的时间和精力，因而难以应用于大规模的研究生选拔实践。

（三）标准化推荐信的研究与实践

为了弥补传统推荐信的不足，研究和实践领域逐渐探索和推出了标准化推荐信。与传统推荐信完全开放式的主观描述不同，标准化推荐信采用所有推荐人都必须遵循的结构化的形式收集有关申请人的信息。相比较而言，标准化推荐信的优势主要体现在两个方面：其一，针对传统推荐信推荐者一致性信度过低的问题，标准化推荐信的形式有助于促使推荐人对申请人进行评价时依据相对一致的评价标准，而且标准化的格式可以减少推荐人的特点（如写作质量和风格、人格特征等）对推荐信内容的影响；其二，针对传统推荐信评分的主观性问题，标准化推荐信往往采取Likert量表、相对百分位数量表等方式对申请人的重要特征进行定量评价，从而使得推荐信的评分像标准化测验一样客观和便捷。Daniel［103］的研究发现，标准化推荐信可以成为未来绩效的有效预测变量（r=0.33）。McCarthy等［89］比较了多种形式标准化推荐信的有效性，结果表明，采用恰当形式的标准化推荐信可以显著预测绩效，效度系数可达到0.41，明显高于传统推荐信的效度。

美国教育测验服务中心（Educational Testing Service，ETS）研究生入学考试委员会的研究者Walpole等［24］对来自多个机构代表不同学科的101位参与研究生录取的教师就研究生选拔的方式进行了访谈，其中大多数教师都提出希望能够用更为系统化的推荐信取代传统的推荐信。2009年7月，ETS在大量前期调查研究［24，102，104］的基础上，推出了研究生申请者的“个人潜力指数”标准化推荐信系统（Person Potential Index，ETS PPI）［105］。PPI作为第一个在高等教育选拔领域中大规模使用的非认知因素的测量指标，已经正式成为标准化研究生入学考试的补充，用于提供标准化入学考试所不能评价的申请者在非认知因素上的特征［105］。PPI是一种基于网络的标准化推荐信［106］，该系统允许每位研究生申请者最多选择五位推荐人（往往是其导师或其他授课教师），由推荐人从6个对研究生学业成功非常重要的维度上对申请人进行评价，包括知识与创造性、沟通技能、团队合作、韧性、计划与组织以及道德与诚实。评价采用Likert 5点量表，每个维度4个项目，共24个项目。此外，推荐人还可以就自己的评分给出简短注解。在大规模推广之前，PPI已经被用于ETS的夏季实习生和研究者招募［107］，并在项目1000（Project 1000）中被用于选拔研究生［106］，这些预实验为PPI用于大规模研究生选拔提供了支持证据。

PPI作为一种标准化推荐信，较好地解决了传统推荐信推荐者一致性信度过低以及评分主观性的问题。但到目前为止，PPI仍然不能很好地解决宽容偏差对推荐信预测效度的影响。对此，ETS提出了如下主要思路和方案来逐步解决这一问题［108］。（1）国家和局部常模锚定。随着推荐信数据的积累，PPI将为研究生招生机构提供PPI总分以及每个维度的国家和局部（如学校和院系）常模。常模信息可以提供申请人推荐信得分的相对百分位数。根据申请人的PPI分数以及国家和局部常模，招生机构可以定位该申请人相对于全国其他申请人或相对于特定学校、院系的其他申请人在影响研究生成功的6个非认知因素总分以及每个具体维度上的相对位次，从而便于招生机构更恰当地基于PPI进行决策。（2）推荐人评价历史即时反馈。PPI标准化推荐信系统在线收集评价数据并自动记录每位推荐人的个人评价历史。每当推荐人完成对特定申请人在某个项目、维度或总体的评分之后，系统将根据该推荐人以往的评价历史提供即时反馈，例如：“您对这位申请人的评价是您已有评价的第90百分位数，您确定吗？”同时，推荐人还可以随时查阅自己的推荐历史。这种反馈机制使得推荐人对自己的评价更谨慎，并有助于推荐人保持自身评价标准的一致性。（3）推荐人宽严程度校正。随着PPI标准化推荐信系统中越来越多的推荐人评价信息的汇集，PPI可以对每位推荐人的评分宽严程度进行估计并最终实现对其评分的相应校正。与其他推荐人相比，如果某位推荐人在对相同申请人进行评价时总是给出过高的评价，那么该推荐人的评分经过统计校正后将被相应减低，以校正其过度宽容偏差。（4）推荐人效度校正。这种方法将推荐人评分的预测效度考虑进来，在推荐人的评分与申请人的效标变量（如研究生GPA）之间建立联系，并使得不同推荐人的评分可以在同一效标变量的尺度上进行比较。如果某位推荐人的评价能够更为准确地预测申请人随后的研究生阶段的绩效效标的话，则表明该推荐人的评价有良好的预测效度。与那些效度比较差的推荐人相比，预测效度良好的推荐人的评价将被赋予更大的权重。这种方法尽管一开始难以做到，但随着推荐信数据的积累以及申请人效标数据的定期收集，这种校正对于提高整个PPI标准化推荐信系统的预测效度有着深刻的影响。

（四）关于推荐信的小结

推荐信能够提供通过其他方式难以获得的有关申请人的独特信息，因而在国外研究生选拔中使用非常广泛。但是，由于宽容偏差、推荐者一致性信度过低以及评分主观等问题的存在，传统推荐信的预测效度并不理想。标准化推荐信采用结构化的形式收集有关申请人的信息，从而较好地解决了传统推荐信信度过低和评分主观的问题。对于宽容偏差，ETS推出的PPI标准化推荐信系统将通过国家和局部常模锚定、推荐人评价历史即时反馈、推荐人宽严程度校正和推荐人效度校正等方法逐步予以解决。总而言之，标准化推荐信是研究生选拔过程中对申请人非认知因素进行评估的一个极具潜力的发展方向。