Prometric Main Image
プロメトリックが提供するCBTサービスの仕組みについてご紹介いたします。

コラム:CBTの仕組み

CBTの仕組み 第二回:出題の仕組みA LOFT方式

2013年2月25日 掲載

CBT(Computer-based Testing、コンピュータを利用した試験)サービスにおいて柔軟な受験機会を提供するためには、受験者によって異なった問題を出題し、同時に公平性を担保する仕組みが必要になります。試験問題の過度な露出を避けると同時に、受験者間に不公平な状況を発生させないために、当社のCBTでは主に2種類の出題方法が採用されています。 出題の仕組み@ではそのうちの1つ、フォーム方式と呼ばれる方法を紹介しました。今回はLOFT(Linear-on-the-fly Testing)方式と呼ばれる出題の仕組みを紹介します。

全ての受験者に異なったフォームが出題されるLOFT方式

フォーム方式では、事前に組まれた複数のフォーム(固定版)の中から、各受験者に対し1つをランダムに選択して出題します。もちろんフォームの違いによって受験者間に有利・不利、あるいは運・不運が発生しないよう、フォーム間の同等性が保たれている必要があります。必要なフォームの数は、試験の実施期間や出題する問題数などの条件により変わりますが、一般的には、想定される受験者数が多いほどフォームの数を増やす必要があります。しかし、年間に何十万人という規模の受験者が見込まれる試験の場合、何十・何百ものフォームを事前に組むことが難しくなります。

対してLOFT方式では、事前にフォームを組むのではなく、各受験者が試験を始める瞬間に自動生成される仕組みとなっています。自動生成と言っても、試験問題が単純にランダムに選び出されるわけではありません。問題選定のルールは試験制度ごとに異なりますが、多くの場合には出題分野、難易度、出題形式、解答に必要な時間などの条件が指定されます。状況に応じた適切な問題選定のルールを定めることで、自動生成されるフォームの違いにより、受験者間に有利・不利、あるいは運・不運が発生しない仕組みになっています。

例えば50問の試験問題バンクから10問を選んでフォームを生成する小規模な試験を考えても、計算上は実に100億通りを超える組み合わせ(異なるフォームの数)が可能になり、実質的に全ての受験者に異なったフォームが出題されると考えられます。ちなみに、最新技術を駆使して人類が地球から観察できる星の数はおよそ3.00×10^22個ということですが、次のイメージ図にあるような、268問から出題分野と問題の難易度だけを考慮して75問を出題するという比較的単純な問題選定ルールを採用するだけで、計算上の組み合わせは8.09×10^56通りと天文学的な値になりますので、LOFT方式は、まさにコンピュータならではの仕組みと言えます。 )

LOFT方式のイメージ図

試験問題の各種指標 

フォーム方式とLOFT方式を実際に運用するには、それぞれの試験問題に対して各種の指標が必要になります。試験問題の難易度などが分からなければ、フォーム方式で事前に同等なフォームを組んだり、LOFT方式で問題の自動選定ルールを定めたりすることができません。では、どのように試験問題に関する情報を事前に収集するのか?

出題の仕組みB 試験問題の事前評価では 、その具体的な方法をいくつか紹介します。



CBTの仕組み:第六回 試験結果の考え方@
CBTの仕組み:第五回 CBTとグローバル化が進む社会
CBTの仕組み:第四回 試験監督のあり方
CBTの仕組み:第三回 試験問題の事前評価
CBTの仕組み:第二回 出題の仕組みA LOFT方式
CBTの仕組み:第一回 出題の仕組み@ フォーム方式

<<コラムトップへ戻る

プロメトリックの「試験作成ソリューション」に関する詳細をご希望の方は、お気軽にお問い合わせください。