培训考试系统里,组卷方式选错,后面的公平性和可信度都会受影响。
固定卷:公平,但怕泄题
所有人考同一份卷,分数可比,复核方便,适合资格认证、合规考核、上岗考试。缺点是题目一旦流出,后面几批人的成绩就没有意义了。
随机卷:防泄题,但难比较
每人抽到的题不同,搜答案和传题都失效。问题是难度不好控,两个人分数差十分,可能只是抽到的题不一样。
纯随机抽题是最常见的错误配置,抽出来的卷子难度可能差一倍。
随机组卷要按配比抽
先定结构:这个岗位考五个知识点,每个知识点抽几道、难度怎么分布。系统按规则从每个知识点的题池里抽,抽完还能校验总难度是否落在区间内。
这样既防泄题,又保证不同人拿到的卷子难度接近。
一种混合做法
结构固定、题目随机:题型顺序、每题分值、知识点配比都固定,具体题目从池里抽。既保住了可比性,也保住了防泄题。
混合做法还有一个隐蔽的好处:不同批次之间的成绩能横向比较。做年度统计时,这个可比性很值钱。
规则要写进制度
组卷规则定下来要落到文字,不要只存在管理员脑子里。规则不清,前一批和后一批的通过率就没法比,后面所有分析都失去意义。
卷子生成后建议留一份快照。考完有人质疑题目,调出来就能对上,不用去翻当时抽了哪几道。
需要出证明的考试用固定结构,需要防传题的考试用随机题目,两者不冲突。