Prometric Main Image
プロメトリックが提供するCBTサービスの仕組みについてご紹介いたします。

コラム:CBTの仕組み

第三回:試験問題の事前評価

2013年5月27日 掲載

CBT(Computer-based Testing、コンピュータを利用した試験)サービスにおいて柔軟な受験機会を提供するためには、受験者ごとに異なった問題を出題し、同時に公平性を担保する仕組みが必要になります。試験問題の過度な露出を避けると同時に、受験者間に不公平な状況を発生させないために、当社のCBTでは主に「フォーム方式」と「LOFT方式」の2種類の出題方法が採用されています。シリーズ三回目は、これらの出題方法が効果的に機能を発揮するために必要な、試験問題の事前評価について紹介します。

試験問題の事前評価

フォーム方式では、事前に組まれた複数のフォーム(固定版)の中から、ランダムに選択された1つのフォームを各受験者に出題します。LOFT方式では、事前にフォームを組むのではなく、各受験者が試験を始める瞬間にフォームが自動生成される仕組みとなっています。いずれの出題方式にせよ、受験者間に能力とは無関係な有利・不利が発生しない仕組みにするために、それぞれの試験問題に対して事前評価を行い、難易度や解答時間などの指標を求めます。ここでは、「ベータ試験」と「ダミー問題」という代表的な2種類の事前評価方法を紹介します。

ベータ試験(パイロットテスト)

ベータ試験とは、本番の試験の前に、受験者(協力者)を集めて試験問題に解答してもらうことで、試験問題を評価する方法です。パイロットテストとも呼ばれます。ソフトウェア開発において、開発中のソフトウェアの性能や機能を評価する目的で、発売直前のバージョンをユーザに公開・提供することがあります。これをベータリリースと呼びますが、ベータ試験はベータリリースと同じ発想です。ベータ試験の実施後に試験結果を分析して試験問題を評価し、その評価結果に基づいて同等な版を複数構築します。本番の試験は、これらの版を用いて実施します。ベータ試験の結果によっては、本番の試験には採用されない試験問題もでてきます。

<ベータ試験(パイロットテスト)による試験問題の事前評価のイメージ図>

新しく作成された600問の試験問題を使いベータ試験を実施し、その結果を分析して試験問題の評価を行います。この例では、600問のうち103問を不採用とし、最終的に497問を本番の試験に採用しています。

また、この例はフォーム方式を表しており、ベータ試験は3フォームで構成、本番の試験は6フォームで構成されています。一般的にベータ試験では、本番の試験よりも多くの問題が出題されますが、LOFT方式でも基本的には同じ考え方になります。

ダミー問題

本番の試験に先立ちベータ試験を行うのではなく、本番の試験に新しい試験問題を"忍ばせておく"方法もあります。ただし、あくまでも試験問題の評価のために出題されるので、これらの試験問題は採点の対象にはなりません。その理由からダミー問題と呼ばれます。新しい試験制度の立ち上げや、試験内容の大幅な改訂といった状況ではベータ試験を行うのが一般的ですが、既に本番の試験が実施されている状況では、ダミー問題を使う方法が一般的です。

<ダミー問題による試験問題の事前評価のイメージ図>

前述のベータ試験による事前評価後、本番の試験に評価済み問題497問が採点対象問題として出題されています。さらに、まだ評価の済んでいない試験問題155問が ダミー問題(採点対象外問題)として一緒に出題されています。受験者には、実際に採点される試験問題に加え、ダミー問題も出題されることが案内されますが、どの試験問題が採点対象外なのかについては知らされません。

この本番試験を一定期間実施した後に試験結果を分析し、試験問題の評価を行いました。この結果、評価済み問題497問のうち88問が不採用、ダミー問題は155問のうち29問が不採用となりました。その後の本番の試験には、(497問-88問)+(155問-29問)=535問が評価済み問題として出題され、更に新しく作成された160問がダミー問題として一緒に出題されています。CBTサービスでは、多くの試験制度がこの手順を繰り返すことで、試験の公平性を担保するためのメンテナンスサイクルを運用しています。

コンピュータの利用の仕方と試験監督のあり方から考える試験の公平性

CBTサービスにおいて柔軟な受験機会を提供するための仕組みとして、これまで「フォーム方式」、「LOFT方式」の2種類の出題方法と、今回これらの仕組みが有効に機能するために必要な試験問題の事前評価の方法を紹介しました。これらは試験の公正性を出題の仕組みから担保する施策ですが、次回はコンピュータの利用の仕方と試験監督のあり方から試験の公平性を考えてみます。

CBTの仕組み:第六回 試験結果の考え方@
CBTの仕組み:第五回 CBTとグローバル化が進む社会
CBTの仕組み:第四回 試験監督のあり方
CBTの仕組み:第三回 試験問題の事前評価
CBTの仕組み:第二回 出題の仕組みA LOFT方式
CBTの仕組み:第一回 出題の仕組み@ フォーム方式

<<コラムトップへ戻る

プロメトリックの「試験作成ソリューション」に関する詳細をご希望の方は、お気軽にお問い合わせください。