| プロトコルの共通化を図るためにも、試験の品質は常に高い水準を保たなくてはなりません。「試験の品質」の定義とは何か?マイクロソフト社が考える試験の品質は大きく分けて2つです。
1.試験問題の品質
2.常に一定レベルの合格水準を保つこと
「試験問題の品質は、受験する上で受験者が分かりにくい表現になっていないかなどがあります。これらは修正が可能です。しかし、どのレベルの人を合格とするかという点は後から変更することはできません。後で変更してしまっては、MCAプログラム自体の価値が下がることにもなりかねません。だからこそ、合格レベルは常に一定に維持しなくてはいけないのです。」(大垣氏)
資格試験は、さまざまなバックグラウンドを持つ職種の人が、いつ受験したとしても、能力測定が均一でなくてはなりません。時代により移り変わりが激しいIT業界においても、合格すべき人が合格しなければ、その認定資格は意味を持ちません。資格に関連する新製品が出るタイミングで試験問題を一新すると共に、その品質を保つためにマイクロソフト社が採用しているのが、テスト理論に基づく手法です。
「MCAについてはITプロフェッショナルやエンジニアの人以外にも、ユーザーや学生も対象になります。そういった人が恒久的に資格認定プログラムを活用していただく上で、やはり受験日時や試験の回数に応じてスキルレベルが変わったり、資格の価値自体が変化してしまっては、認定資格・認定プログラムとしての役割が果たせません。恒久的に一定のスキルをきちんと認定するため、テスト理論に基づく手法を使用しています。」(大垣氏)
具体的には、テスト理論に基づく手法を使用して、試験問題の「信頼性」と「妥当性」を科学的、統計学的根拠から測定しているのです。
試験には、時間制限があります。そのため、私達が考える“これだけのスキルを身に付けているべきだ”というスキルマップと、出題できる規模というものは、ギャップが生じます。スキル項目として300くらいの項目があったとしても、実際に出題できるのは40〜50ということになります。おのずと試験問題を6分の1や5分の1に絞らざるを得ません。
ですので、そこのところは「その6分の1や5分の1に絞られた問題に正解できる場合に、同等レベルの他の問題にも正解できるに違いない」という判断をしています。こういったところは逆にアール・プロメトリックのテスト工学研究所の専門家から、ひとつの分野でこれくらいの割合なら、とアドバイスをいただいた上で問題作成を行っています。
新規試験作成時、試験改訂時には、ベータ試験を実施します。その結果を使用して、テスト理論に基づくサイコメトリックス分析(*注)を行います。そして、ある特定のターゲット層の人が合格できる内容であるどうか、また、品質も高い問題であるかどうかを科学的に測定しています。ベータ試験の結果から科学的に資格試験の品質を保つことで、受験者はより意味のある「認定」を手にすることができるのです。
(*注)サイコメトリックス分析
サイコメトリックス(心理統計学)を基礎とするテスト分析の方法論。平均点や標準偏差、正答率といった古典テスト理論に基づく分析手法とは異なり、受験者と試験問題という互いに影響しあう要素を、分離して精緻に分析し、テストの品質を評価できる。
サイコメトリックス分析を含む、テスト工学研究所の詳細はこちら
|