試験開発支援サービス
試験作成プロセス
妥当性と信頼性の基準となる適切な「ものさし」の設計
試験作成におけるプロメトリックの厳格なプロセスは、妥当性があり信頼できる公正な試験作成を重視しています。
医師が免許を持っているか、建築士が適切な知識を有しているか、あるいはエンジニアが十分なスキルを備えているか、これらを測定するあらゆる試験の裏側では、厳格な試験作成プロセスが採用されています。
試験とは、免許や資格を付与された者が重要な基準を満たしていることを試験主催団体が約束し、保証するものです。
妥当性があり信頼できる公正な試験を作り上げるための近道はありません。そしてこれこそが、試験作成のプロセスなのです。
Step1：業務分析／試験仕様設計
公平性・妥当性・信頼性を維持した試験の開発・運用における最初のステップ
業務分析
試験作成プロセスにおける最初のステップは、徹底的かつ完全な業務分析です。例えば、誰が優秀な看護師かどうかを試験する以前に、優秀な看護師になるには何が必要かを最初に特定する必要があります。ここでは特定の業務を効果的に行うために必要とされる知識、スキル、能力を決定します。
試験仕様設計
試験仕様設計では試験問題の形式（択一形式・記述形式等）や難易度、出題する知識領域や出題数頭を決定します。これにより受験者全員が共通の知識、スキル、能力について一貫性をもって測定されることを約束します。
次のような課題を解決します
- 試験時間や試験問題の種類はどのように決める？
- 初めて社内試験を立ち上げるが、何から始めればいいの？
- 〇〇という能力を計測する試験を作りたいが、何をすればいいの？
- PBTからCBTへの移行の際に注意するポイントは？
成果物
- テスト定義書
- ブループリント
導入事例
Step2:試験問題作成・検証
正しい作問プロセス／ルールの共有による試験問題の作成支援
試験の品質を考慮した試験問題作成の支援をします。
正しいプロセスやルールに沿わない作問をすると、品質が十分でない試験が作られる傾向があります。
試験を作成するために最も重要な要素の1つは、対象分野の専門家（SME）が持つ知識を活用することです。
既存の試験問題群（アイテムバンク）の分析
すでに既存問題がある場合は、その内容を分析し、継続して利用するかどうかを検討します。
また知識領域ごとに追加する試験問題数についても分析し、次の試験問題作成プロセスにフィードバックします。
知識領域の専門家（SME）グループによる試験問題作成・検証支援
妥当性があり信頼できる公正な試験を作成するために最も重要な要素の1つは、各分野の専門家が持つ知識を活用することです。
対象分野の専門家（SME）は、受験者が実践で効果的に機能するために「知っておく必要のある」内容について、業界固有の知識や現場の経験を提供します。
当社は、試験主催団体が指定したSMEとの共同作業やワークショップの実施はもちろん、試験主催団体の承認を得た上で、有資格者の専門家の採用なども対応可能です。
次のような課題を解決します
- 試験問題の作り方が分からない
- 適切な難易度の試験問題を作成したい
- 何問作成する必要があるの？
- 試験問題の品質基準が知りたい
- 能力が正しく測定できているか分からない
- 毎回問題を作成するのが大変
成果物
- 試験問題作成ルール
- 試験問題
Step3:試験フォームの作成
CBTによる柔軟な受験機会の提供と公平性を同時に担保する仕組みの構築
試験問題を適切に提示する仕組みの構築
作成された試験問題群（アイテムバンク）から適切に等化された試験フォームを作成します。
試験フォームとは、各受験者に出題される試験問題セットを指します。
CBTサービスにおいて柔軟な受験機会を提供するためには、受験者によって異なった問題を出題し、同時に公平性を担保する仕組みが必要になります。
試験問題の過度な露出を避けると同時に、受験者間に不公平な状況を発生させないために、フォーム方式や LOFT(Linear-on-the-fly Testing） 方式などの出題方法から、最も適切に受験者に問題を提示する仕組みを検討します。
ここではサイコメトリシャンが、科学的な根拠に基づき、各フォームが採点・得点基準の観点において同等であるように設計（等化作業）することで、公平性を担保します。
次のような課題を解決します
試験仕様設計に基づいた最適な出題の仕組みを提案します。
- フォーム方式：事前に問題のセットを用意し、出題する仕組み
- LOFT方式：出題時に受験者ごとに異なった問題の組み合わせでフォームを作成する仕組み
成果物
- 試験フォームレビュー結果
- 試験フォーム
Step4: 合格点の設定
科学的な根拠に基づく合否基準の設定
当社の高いスキルを備えたサイコメトリックスの専門家は、科学的な根拠に基づき、状況に応じて適切な方法で合格点を設定します。
こうして設定された合否基準は、試験の切り捨てスコアを適切に決定する高い信頼性が保証されています。
- 修正 Angoff 法
- Bookmark 法
- 古典的テスト理論の等化法
- 項目反応理論(IRT)の尺度得点 (1PL モデル、2PL モデル、3PL モデルなど )
Step5:試験結果分析
試験の品質維持・向上のための検証と継続的な試験管理
試験の品質維持・向上のために
試験の品質を正確に把握するため、最も重要なのがこの結果分析プロセスです。
サイコメトリック分析（テスト理論等に基づく科学的な分析手法）による試験の妥当性と信頼性を確認し、その結果を試験作成プロセスにフィードバックすることで、継続的な試験の品質維持・向上が可能となります。
プロメトリックは、サイコメトリックス分析の専門家からなる強力なスタッフを採用しており、彼らの中心的な責務は、試験主催団体の試験が最終的に設計目標、市場要件、および法的基準を満たすよう保証することです。
当社では、試験問題ごとに測定の品質を判断するための各種分析を行います。
すべての試験で専門的な業界基準のモデリングを採用しているほか、基準妥当性、シミュレーション研究、カスタムリサーチも行い、業界基準に従った方法論も活用しています。
次のような課題を解決します
- 合格率を一定にしたい
- 試験の点数以外に活用できるデータには何がある？
- 正答率が低い問題があるけどどうすればいいの？
- 試験開催回ごとに合格者の能力が異なっている
- 試験の結果を教育にも活用したい
- データをどうすれば活用できる？
成果物
- 品質評価レポート
- 各種分析結果レポート