米国内国歳入庁(IRS)試験作成への最適な提案

背景

米国財務省の外局である内国歳入庁(IRS)は、世界で最も効率的に業務を行う税務当局の1つです。IRSの役割は、米国の納税者に対し税に関する理解を深めその義務を果たす助けとなる質の高いサービスを提供することと、税に関する法律を米国の全ての納税者に公平かつ誠実に施行することです。IRSは最近、納税者へのサービス、税制に対する信頼性、および法令順守の向上を図るための施策として、連邦税の確定申告を代行する納税申告書作成業者に対する監視の強化を二段階に分けて行いました。

  • 2010年に納税申告書作成業者識別番号(PTIN)の登録と取得が義務づけられました。
  • 2011年に納税申告書作成業者を対象とした新たな能力試験が導入されました。

課題

IRSは、連邦税の確定申告を有償で代行する数十万人の納税申告書作成業者に対する正式登録の条件として、特定の能力水準を満たし、能力試験に合格するよう求める方針を示したことで、いくつかの重大な課題に直面しました。それは、新しい試験の設計と作成、安全性を確保した試験配信方法の検討で、さらにそれらを6カ月以内に完了するということでした。

戦略

プロメトリックは、試験問題作成から試験の実施までを網羅した完全なソリューションによって、IRSの新たな能力試験および指紋認証プログラムの開発と運営を行う5年契約を受注しました。試験作成支援の一環として、プロメトリックは納税申告書作成業者の能力や必須知識を把握するため、IRSと納税申告書作成業界の双方から専門家(Subject Matter Experts:SME)を招いて業務分析を担当しました。

いかなる試験の作成でも不可欠な基盤となるのは、プロセスの様々な段階において協力できる専門家の数と質です。プロメトリックは税務業界の各方面に働きかけて、608人の専門家を採用しました。そのうち約250人は、米国の公認会計士、税務弁護士、税理士、被雇用および独立の納税申告書作成者など、試験対象層にとって重要な利害関係者や職域を反映するよう選ばれました。専門家を多数揃えたことでプロメトリックは、スケジュールの合う専門家と協力して業務分析や試験問題の作成、検討、基準設定ワークショップを事前に計画してスケジュールを立てることができました。

ソリューション

優秀な納税申告書作成業者にとって重要な業務や知識、認識力を明確にするため、17人の専門家からなる業務分析作業部会が設けられました。IRSに登録している約74万人の納税申告書作成者を対象としたアンケート調査によって、これらの業務、知識、認識力の評価と検証を行いました。わずか6日間で5万9,000人から回答が寄せられ、業務分析の調査結果に基づいて試験の仕様(ブループリント)の作成、検討と改良、承認を行い、問題作成に着手する準備が整いました。

プロメトリック独自のアイテムバンクシステム上で実施したウェブベースのオリエンテーションとトレーニング受講を経て、合計28人の専門家が問題作成ワークショップに招かれました。そして、プロメトリックのアイテムバンク管理システムに、直接オンラインで問題を作成・入力しました。これにより、プロメトリックにいる試験問題編集担当者は、新たに作成されたすべての問題にアクセスして順番に編集できるようになり、ワークショップと同時進行の編集が可能になりました。新たに作成および編集された問題は合計1,408項目となり、試験のブループリントに含まれる必須問題7分野すべてにおいて作成目標としていた問題数を確保しました。

次の重要なステップは、新たに作成された問題を「第三者の目で」検討して改良するため、他の専門家グループにすべての問題を精査してもらうことでした。問題作成ワークショップの完結から1週間も経たないうちに新たに160人の専門家が参画して、毎日3時間におよぶウェブベースの問題検討セッションが開始され、合計52セッションにもなる取り組みが始動しました。6〜7名のグループに分かれた専門家は、アイテムバンクシステムに問題を表示させるプロメトリックの試験作成担当者のもとで問題を精査および改良し、不備や難易度の妥当性によって問題の維持または削除の判断を行いました。

成果

1回のセッションで平均40〜45項目の問題が精査される中、新たな試験問題は順調に処理され、当初予想されていた「維持率」80%に対して改良および承認された問題数は90%に達しました。効率的なプロセスによって問題を精査するペースも加速し、結果として生産性は33%向上しました。

検討セッションを経て毎日大量の試験問題が、専門的な審査を行うIRSの法務部と試験問題の形式を整えるプロメトリックの実装チームに送られました。実装担当者は、大量の試験問題を初回試験向けに8組の版(Fixed-Form Test)に組む作業に取り掛かりました。

その他の重要なステップには、試験問題や試験形式のサイコメトリックス分析、統計パラメータが容認できる範囲を外れた問題の削除、基準設定作業部会に対しデータに基づいて新試験の適切な合格点のアドバイスを提示することなどが含まれます。試験の配信数は大規模なものになると予想されるため、安全な配信を実現するには、多くの試験問題を用意して十分な数の版を確保する必要があります。これらの懸念に対処するため、プロメトリックのサイコメトリシャンたちは試験問題のキャリブレーションを行い、Linear-on-the-Fly試験(LOFT)および即時採点コンポーネントを使用して試験設計の第二段階に臨みました。

概要:米国内国歳入庁(IRS)

所在地 ワシントンDC
移行の目的 IRSの歴史上初めて、全世界で50万人と推定される受験者向けに安全性の高い能力試験を作成して配信する。すべて6カ月以内に導入を完了する野心的なスケジュールを設定。
移行の成果 専門家の積極採用、オンラインでの問題作成ワークショップ、および迅速な問題検討セッションにより、問題の承認率は90%に達し、全体の生産性は33%向上した。

本文中に記載されている製品名や試験名称は、各社の登録商標または商標です。なお、本文中では、TM、(R)マークは表記しておりません。