試験開発支援サービス 導入事例

試験仕様設計

課題

CBTへの移行に合わせ、PBT(Paper Based Testing) で実施している実技試験を、 多肢選択式の試験問題へ変換したい。
妥当性を維持したまま移行することが可能か。

ソリューション

プロメトリックの専門チームが、お客様の業務分析(JTA: Job Task Analysis)を実施し、PBTの実技試験がどのような知識・能力を計測しているかを明らかにしました。
この結果を踏まえたテスト定義書・ブループリントの作成を通して、妥当性を維持したまま多肢選択式の試験問題への変換を実現することができました。

多くの試験において、実技試験はCBT移行への課題となりますが、試験開発と試験問題作成の標準的サイクルの実施により、妥当性・信頼性・公平性を担保した移行が可能となります。

試験問題作成支援

課題

試験時間を2時間としているが、運用や受験者の負荷が課題となっている。
同じ知識・能力を計測しつつ、試験時間を短縮することは可能か。

ソリューション

試験問題作成ガイドラインに則って、冗長な表現の訂正などの試験問題の編集を実施しました。また、結果分析による試験問題の品質評価により、機能していない選択肢を明らかにし、選択肢数を削減しました。
その後、作問担当者と当社専門チームのワークショップにおいて、改訂された試験問題が計測している知識・能力と、個々の試験問題に解答するのに必要な時間を検討し、試験時間の短縮を実現しました。

当社の試験運用サービスをご利用いただくことで、試験という「ものさし」の精度を維持したまま、適正な試験設計をご提案することが可能です。

試験フォームの作成

課題

年1回、PBTによって試験を実施しているが、実施回ごとの合格者の能力が常に一定の基準を満たしているか確認する必要がある。
どのような試験設計を行えばよいのか。

ソリューション

この試験は比較的受験者数が少ないため、開催回ごとに受験者層のレベルが異なることが予想されました。このため、70% 以上正答で合格など、設問数に対する絶対的な合格基準を設定すると、毎回の合格者の知識・能力レベルが変動する可能性がありました。

また、出題が毎回新しい問題(新問)で構成されていたため、実施回ごとの比較、分析も困難でした。そこで、出題を過去問と新問で構成することで、個々の問題の難易度などの統計的性質を利用可能としました。

これにより、受験者の能力を共通の「ものさし」で推定する「等化処理」を行い、毎回の合格者の知識・能力レベルを担保することが可能となりました

LANGUAGE
  • wovn-lang-name