一般社団法人 日本損害保険協会 導入事例
年間約70万人が受験する試験の運営効率化や受験者の利便性向上のために、CBTを導入。
さらに、試験開発サービスを利用して受験者の公平性を担保するために出題パターンを自動生成する仕組みも導入しました。
| サービス導入団体 | 一般社団法人 日本損害保険協会 |
|---|---|
| CBT導入試験 |
|
| 試験規模 |
|
| CBT導入前の課題 |
|
| 試験開発サービス導入前の課題 |
|
損保業界共通の試験。
年間約70万人が受験。
日本損害保険協会（以下、損保協会）は、損害保険会社（以下、損保会社）各社を会員とする事業者団体です。日本における損害保険業の健全な発展や信頼性を高めるために、損害保険の普及啓発、相談対応、苦情・紛争の解決、事故・災害・犯罪の防止・軽減など、さまざまな活動を行っています。
損害保険契約は、損保会社と契約者の間の契約ですが、損保会社を代理して損害保険の契約を締結し、保険料を領収する損害保険代理店（以下、代理店）を通じた契約が最も多くなっています。
代理店として、または代理店に所属して損害保険販売を行う人のことを「損害保険募集人（以下、募集人）」と言います。募集人として保険を販売するためには、損保会社が実施する研修・試験を受ける必要があります。この試験について、ほとんどの損保会社では、損保協会が実施している「損害保険募集人一般試験（以下、損保一般試験）」を利用しています。
損保一般試験とは、募集人が保険募集にあたり保険商品に関する重要事項等を正確に説明するための知識を、損保業界共通の内容で教育することを目的とした試験制度です。試験には、基礎単位と商品単位（自動車保険単位、火災保険単位、傷害疾病保険単位）があり、保険会社から委託を受けようとしている、または既に委託を受けている代理店において、新たに代理店登録（※1）または募集人届出（※2）をする方、および既に代理店登録または募集人届出をしている方が対象となります。
さらに、損保一般試験に合格した方が、損害保険の募集に関する知識・業務のステップアップを図れるように、「損保大学課程」という制度も実施しています。損保大学課程には、損害保険の募集に関連の深い専門知識を修得するための「専門コース」と、専門コースの認定を取得した方が実践的な知識・業務スキルをさらに修得するための「コンサルティングコース」があります。
損保協会では、損保一般試験と損保大学課程における試験をプロメトリック社に委託して実施しています。
※1:代理店になるためには、代理店としての要件を備えたうえで、損保会社と代理店委託契約を結び、代理店の所在地を管轄する財務局に登録する「代理店登録」が必要です。
※2：募集人になるためには財務局に届出を行う「募集人届出」が必要です。
試験運営の安定化・効率化、
受験者の利便性向上を目的に、CBTを導入。
2011年10月より試験をCBT化しましたが、それ以前は紙の問題冊子と解答用紙での集合型試験を行っていました。試験運営に関わる業務負荷が高かった上に、2008年に損保一般試験における資格の更新制度を導入したことで、さらに試験運営が複雑化していました。また、受験機会が月に1度しかないこと、試験時間や会場が指定されていることなど、受験者にとっても利便性が低いことも課題となっていました。
CBT化することで、試験運営の安定化・効率化（試験会場・試験要員の確保にかかる工数の軽減など）や受験者側の利便性向上（受験者による実施日時・場所等の選択が可能になるなど）を実現できると考え、導入することとしました。
また、損保一般試験は単位ごとに5年ごとの更新制になっていますが、この更新試験については、現在はIBT（インターネット・ベースド・テスティング、自宅やオフィス等で受験）も実施しています。
多数の試験版作成のために自動生成の仕組みを導入。
損保一般試験は、大規模な試験であるため、各試験科目において、できるだけ多くの版（出題パターン）を用意する必要があります。また、2020年にはコロナ禍で試験会場の利用が困難な受験者向けにIBTの提供を開始したことにより、さらに版を増やす必要に迫られました。
しかも単に数多くの版を用意するだけでなく、受験者の公平性を担保するために各版の難易度を同等にする、それぞれの版の中で正答を教えあうような問題が出題されないようにするなど等、試験作成に際しては十分留意する必要があります。
試験開発支援サービス導入前は、問題のチェックや差し替えをマンパワーで行っていたため、版を増やしていくのは非常に負荷がかかる状況でした。この課題を解決する新たな試験作成・登録の仕組みを導入したいと考えていました。
この課題に対して、プロメトリック社から試験開発支援サービスの提案を受けました。試験作成・登録の仕組みをこれまでの「版方式（複数の出題パターンを事前にマンパワーで作成する方法）」から、「LOFT※3の仕組みを用いた版作成方式（試験問題群から出題する試験問題を抽出し、難易度が揃った等価な版を自動生成する仕組み）」へ移行する提案です。
この仕組みを導入することで、過去の試験問題の分析結果から、出題分野や個々の問題の難易度を考慮して、コンピュータで等価な版を数多く自動生成して提供できるようになります。
※3：Linear On the Fly Testingの略称。内容的・統計的に等しい試験版が、試験が始まる瞬間に1人ごとランダムに生成・提示されるCBT方式。試験問題の漏えいリスクを抑えつつ、効率的に公平な試験を実施することができる。
導入前と比較し数倍の出題パターンを
一度に自動生成できる。
新しいサービスの導入にあたっては、損保協会の会員企業である損保会社各社の合意形成が必要です。専門性が高い内容であることや、費用対効果の妥当性の検証が必要なため、調整が難航することが予想されましたが、導入によるメリットやデメリット、効果とその安定性など、プロメトリック社から損保会社へ直接説明する機会を設けることにより、予定どおり合意形成を図ることができました。
LOFTを用いた版生成の仕組みを導入したことで、従前より数倍の試験問題版を、少ない負荷で作成することができるようになりました。また、実際に以前の方式で作成していた試験版と比較をすると、平均点や得点分布、合格率等から、版間の難易度の幅が縮まっていることも分かりました。
数多くの版を一度に生成できることにより、これまで以上に「公平性・妥当性・信頼性」が担保され、万が一試験版が漏洩した場合にも利用できる試験版が数多くあり、試験が継続不能となるリスクの低減を図れたことはよかったです。
安定的な運営とともに
さらなる試験制度の利便性向上や、より公平な受験機会の提供に向けた提案に期待。
プロメトリック社は日本国内のみならず全世界での豊富な業界専門試験の運営実績を有しており、大規模試験の安定的な運営、そして試験作成から配信、結果分析まで一気通貫で対応できることも、同社ならではだと感じています。
また、プロメトリック社の試験分析サービス担当者は、試験の開発支援サービスに関して、専門的な知識を持っており、損保協会が持っている課題に対して柔軟かつ適切に対応してもらっていると思います。専門的な知見をもとに、当協会の潜在的な課題に対する提案をいただけると更にありがたいです。
今後は、すべての代理店、募集人のみなさまに対して、さらなる試験制度の利便性向上や、より公平な受験機会を提供したいと考えています。そのため、CBTにおいては安定的な試験会場の座席確保、IBTにおいてはより進化した形態での試験提供を期待しています。