米国アクチュアリー会(SOA)動的試験配信モデルの最適な提案

背景

米国アクチュアリー会(SOA)は世界最大のアクチュアリー(保険数理士)専門家組織で、1万8,000人の会員と一般市民へのサービス提供に力を注いでいます。SOAが目指すのは、財務リスクや不測の事態のモデル化と管理を行う一流の専門家として、アクチュアリーを認識してもらうことです。SOAでは専門資格の認定試験をいくつか実施していますが、中でも、確率分野の実力を査定するP/1および金融数学分野の実力を査定するFM/2の二つが、最も重要な試験です。SOAはこれらの試験の開発や運営において、損保アクチュアリー会(CAS)およびカナダアクチュアリー会(CIA)と協力しています。

2001年、プロメトリックはCASの試験作成ニーズの支援を目的として同組織との協業を開始し、これを契機に、3つのアクチュアリー会すべてとの関係構築に至りました。プロメトリックは対象分野の専門家(SME)の指名や試験作成者の雇用を担当するとともに、3つの組織すべての代表者からなる試験委員会と協力して、アイテムバンクの編集すべてを担当しています。

課題

2005年、プロメトリックはP/1を紙と鉛筆による試験(PBT)からコンピュータを利用した試験(CBT)に移行しました。2008年5月には、FM/2試験でも初めてコンピュータを利用しました。CBTへの移行以来、プロメトリックはSOAが米国内外で年間3万件以上の試験を配信できるよう支援してきました。

P/1およびFM/2試験をCBTに移行した現在、SOAは年間の試験実施回数を増やすとともに、受験者に試験結果を直ちに通知したいと考えていました。試験実施回数を増やす場合は、それに十分対応できる大規模なアイテムバンクを常に整備する必要があります。そうすることで、同じ試験問題が偏って出題されたり、受験者に試験問題を記憶されたりすることを防げます。SOAは、試験や問題の安全性を保ちながら、さらに多くの受験機会を提供したいという願いをかなえる、柔軟な試験配信モデルを構築する必要がありました。

戦略

プロメトリックはSOAに対し、Linear-on-the Fly(LOFT)と呼ばれる、動的にフォームを生成する試験配信モデルを提案しました。このソリューションでは「項目応答理論」の統計手法を活用して、受験者ごとに個別に編成された試験を作成します。LOFTでは事実上、受験者一人ひとりが異なった試験を受験します。また、この方法には、個々の問題の出題頻度を考慮しながら試験問題を選択する機能も組み込めるため、受験者が多くの試験問題を記憶することが極めて困難になります。したがってこのプロセスは、受験者が唯一無二の「個別化された」試験を受験することを保証します。LOFTによる試験の成功は、このモデルを支えるために十分な数の試験問題をアイテムバンク内に確保することに大きく依存しており、「通常の」CBTで利用するアイテムバンクの8〜10倍の問題数を理想としています。

ソリューション

SOAは2008年5月に初めてP/I試験をLOFT形式で実施しました。SOAの担当者は次のように説明しています。「この決定に至った主な要因として、最終的に当組織のすべての試験をLOFTモデルに移行したいとの意向がありました。その主な狙いは、試験結果をすぐに通知するとともに、これまでよりも試験実施回数を増やすことにあります。」

CBTとLOFTを導入するまで、P/1試験は毎年2回、いずれも1日に1回実施していました。CBTとLOFT導入後は、毎年複数回の試験を実施することになり、受験者が試験に申し込んで実際に受験する際の柔軟性がはるかに向上しました。

成果

LOFTは、SOAとその会員にとって大変有益であることが証明されています。P/1試験は1回の試験実施期間につき3,500人の受験者に配信されており、試験自体は今や完全に一人ひとり異なるものになっています。試験では合計30問が出題されますが、アイテムバンクにはこの10倍以上の試験問題が用意されているため、アクチュアリー志願者の中でまったく同じ試験を受ける受験者は一人もいません。また同じ問題が過剰に繰り返し出題されるリスクも軽減しました。受験者からは、これまでよりも受験機会が増えた点を評価する声が寄せられていますが、これは試験結果通知が速くなったことが主な要因です。

SOAは次のように述べています。「CBTとLOFTは、試験結果の即時通知、試験実施回数の増加、柔軟な試験日程という3つの重要な点で、受験者にメリットがあります。受験者の間で特に好評なのは試験結果の即時通知です。これまで、受験者は試験結果が出るまでに8〜10週間待たなければならなかったのに対し、現在は、試験結果がほぼ試験直後に伝えられます。これはプロメトリックが私たちにしてくれたことの中で最も意義のあることです」

SOAにとってもう一つ重要な利点は、出題内容のバランスを確認する作業の効率化です。例えば、「バランスの取れた試験」を保証するためにSOAが以前行っていた試験内容をチェックするプロセスは、大変な労力を要するものでした。知識をテストするという目的を達成するためには、指定された出題範囲が特定のトピックを適切に扱っているかを全て確認する必要があったのです。しかしLOFTのおかげで、定められた出題条件を満たしながらも、その場で問題を選択して試験を作成することが可能となり、SOAが試験内容の確認に深く関わる必要がなくなります。これによりSOAは、試験実施回数を増やすことが可能になるのです。

「このことは、私たちが膨大な数の試験を用意できることを意味しています。実際のところ、LOFTなしにはこの目標の達成はまったく困難だったことでしょう」と、SOAのAlps氏は述べています。

SOAとプロメトリックは先ごろ、提携関係を2013年まで延長しました。これら最先端の技術を用いた試験配信方法とプロメトリックのサイコメトリシャンたちとの協業のおかげで、SOAの会員はリスク評価を専門にしていますが、会員が受験するP/1およびFM/2試験に関しては、リスクは全くありません。

概要:SOA

所在地 イリノイ州シャンバーグ
目的 試験結果の迅速な通知、および年間の試験実施回数の増加。
成果 「CBTとLOFTは、試験結果の即時通知、試験実施回数の増加、柔軟な試験日程という3つの重要な点で、受験者にメリットがあります」

本文中に記載されている製品名や試験名称は、各社の登録商標または商標です。なお、本文中では、TM、(R)マークは表記しておりません。