医师要达到在临床上可进行独立操作需要进行多方面的专业测试和评估，而目前对于何种评估方法最为合适仍然存在许多争论。尽管医学院校和认证机构依然采用的是笔试模式，但客观性多站式考核（OSCE）成为课后评价临床操作技巧的重要方法。模拟技术可以最大化的模仿真实的操作环境，但传统OSCE对的功能医学急救认知能力和操作能力的评估是有局限的。现在所作的尝试是再造一个可进行急诊测试的情景，并包括意识训练和角色扮演，但是并不能完全设置一个综合的医疗危机环境。
为达到专家级别需要掌握高等的急救知识，而所有的医生都需要具备基本的急救能力。模拟病人的出现—机械人体模型可以对多种病理进行模拟—通过提高测试环境的逼真性来提高急救操作的评估水平。但是，使用模拟技术进行评估的有效性依然有待评估。我们进行此项研究的目的就是在模拟测试环境中，进行OSCE的可行性。

方法：
            研究的设计
此项研究设计为预期的比较性实验。我们将模拟实验环境下临床护理人员的操作成绩与多站式考核成绩进行比较。我们认为如果OSCE评估工具在传统的口头测验中有效，那么在模拟训练测试中也可以区别不同的操作水平，这样就可以建立一套新环境下的测试体系。

            设置和人员
在2002年春天，23名具有不同的医学技术水平的测试者[开始（学生），中间（医师），高级（主治医师）]对这次全球电邮的邀请作出回应，参与了这次教育方面的实验。 “学生”类是来自哈佛医学院的毕业生（HMS）（6人）；“医师”是哈佛附属急诊医学住院实习期间的中级受训人员（PGY 2年或者3年；7人）；“高级主治医师”是高级管理住院医师或者急诊医学的初级人员（PGY 4年或者4年以上；10人）。所有研究都在医学模拟中心和配备了高级综合模拟系统（HPS）的哈佛医学院进行。

             研究材料
为5个课题中的每一个都设计了两种类似的情景—A版和B版：心肌梗死（MI），哮喘-肺气肿，心跳骤停，多发性创伤，急性呼吸窘迫综合征（ARDS）。每一个病理的情景都是由注册急诊医师设置，填加了住院医生和学生的意见，并由至少两个注册急诊医师共同进行修订。通过协议和计算机程序（对于模拟人来说）将这些案例标准化。例如：一个哮喘-肺气肿病例最初的症状为呼吸短促和呼吸困难，进而发展为组织缺氧和呼吸障碍；缓解方法只能通过适当的药物治疗和进行通气。

              研究协议
在研究过程当中，每一个对象都有可能遇到两个考核版本中的一种，其中一个版本适用于模拟环境考核，另一个版本适用于OSCE考核。每一个测试阶段会从两种形式和课题中随机选择一种，而后会产生一系列根据其设计的综合性测试（包括10个部分）。在模拟环境考核中，对象与模拟病人在一个可以被监控的考试房间里产生互动，包括问诊、检查和治疗。家庭成员或者咨询者都可以由研究人员亲自或者通过电话进行模拟。在OSCE考核中，参与者会在一个会议室中面对面地和测试者交流；参与者不得不询问或想象临床情况。
    在研究之前，所有参与者都需要浏览录像带中的两种标准化的病例，熟悉整个研究过程。在研究之后，一份调查问卷会电邮到每一个参与者手中，询问他们每一个测试的优点和缺点以及哪一种测试可以最客观的评价他们的真实能力和专业水平。
            测试结果
两个考核者都为注册急诊医师，其中之一被随机选出负责给每一个测试部分评定等级（另一个老师作为替换者）。所有测试部分的分数都按照曾经急救医学资格OSCE考核中的评分标准系统。这个系统围绕着医师所需要的八项能力展开评定，而这八项技能又是由医学研究生资格授权理事会（ACGME）指定的。
所有的考核者最初都要了解评价各种能力的标准（分为8个等级）：“极差”（1-2分，操作中会产生危险）；“差”（3-4分，能力不足）；“较好”（5-6分，护理水平合格）；“极好”（7-8分。护理水平极高）。考核者同时也要看一个指导录象带，然后讨论被考核者的成绩从而规范评估体系。
            数据分析
8种能力等级的分数（分别为1-8）都取平均数。每一个对象的两个总成绩都要计算在内：使用模拟环境考核的五个病例计算一个平均分，使用OSCE考核的五个病例计算一个平均分。通过分数为5.75分。
由专家组来计算每个对象的平均成绩。使用T-test来衡量模拟考核和OSCE考核之间的明显成绩差异。

结果：
在模拟考核和多站式考核中，高级主治医师获得的成绩是“通过”；医师获得是“及格”；而学生的平均成绩是“不及格”。
在所有被测试群体中，横向比较每一个群体的平均成绩都有很大的差距，但是纵向比较模拟考核和OSCE考核的结果却差距不大。
在研究后的调查中，3/4的被测试者（15个）认为与传统的OSCE考核方式相比，模拟病人的真实性可以更好的反应他们的能力和专业水平。只有两个人认为OCSE考核比模拟考核更好，而三个人认为他们的效果是一样的。

讨论：
无风险，高可信度的模拟病人是一种很有发展前景的技术，这不仅仅应用在医学教学领域，在可以应用在专业考核上。模拟病人最初是专门为麻醉师培训而设计的，可以用来评定不同级别的麻醉技术。但模拟技术在不断的向其他领域发展，却仍然没有确立的考核体系对ACGME提出的能力要求进行测评，这些能力包括从医患交流技巧到护理质量都被严格界定了。尤其在急救医学领域，仍然没有模拟考核体系可以评价医师的基本能力和操作技能。
实际上，在急救医学口头资格中的OSCE体系已经确立。在这个研究中，我们想证实使用模拟环境进行考核可以同样得到客观的评估成绩，在两中考核体系中，得到的分数是没有很大差别的。
在两种考核体系中，学生的成绩都是不及格，而高级主治医师的全部通过了测试。尽管模拟环境下的考核方式应该是对临床技能更好的一种评估形式，但这个结论仍然需要证实。然而，在考核后的调查中，3/4的对象认为与OSCE相比在模拟环境下的考核方式能更精确的体现他们的真实能力。尽管许多考核对象认为，OSCE是测试逻辑能力、组织能力和知识体系很好的方法，但考试很可能导致学生去应试。相比较之下，暂且不论模型有些技术上的局限（塑料皮肤、声音的不真实和不稳定的可信度），考核对象一般都认为模拟环境可以测试出动态情况下的决策和行动能力。并且由于临床情况是自动产生的，在将来的模拟考核中，效率还可以不断提高，临床医师可以远程观看录像带和通过电话会议来为整个参加考核的群体评分。