スキルアップコラム

TPI NEXTによるテストプロセス成熟度評価における取り組み
株式会社 日立製作所様

TPI NEXTは、オランダSogeti社で開発された欧米で認知度が高いフレームワークで、テストプロセスの評価と改善を目的としたロードマップを提供しています。
今回は、2016年にTPI NEXTに関する経験発表をされた、株式会社 日立製作所 ICT事業統括本部 ITプロダクト統括本部 プロダクトQA本部 主任 河野哲也氏と、ICT事業統括本部 IoT・クラウドサービス事業部 ITソリューションQA本部 技師 髙野愛美氏に、社内におけるTPI NEXTへの取り組みやこれからのQA部門のあり方についてお話を伺いました。

掲載日:2017年1月26日

製品の出荷権限を持ち、サポート業務も担当する
日立製作所の品質保証部門

所属されている品質保証部門の特徴について教えてください。

株式会社 日立製作所
ICT事業統括本部 IoT・クラウドサービス事業
ITソリューションQA本部
技師 髙野愛美 氏 (写真左)

ICT事業統括本部 ITプロダクト統括本部
プロダクトQA本部
主任 河野哲也 氏 (写真右)

河野:私達が所属している品質保証部門には約200名が在籍しており、設計・製造部門とは独立した組織となっています。主な業務はソフトウェア・サービスの品質保証業務、開発プロセスを通した品質保証活動およびクライアントサポートですが、現在私は、テストの自動化に向けたインフラ開発やテストプロセス改善の推進業務を担当しています。

髙野:品質保証部門では、製品毎に複数人で構成されたQAチームが定められたテストプロセスに沿ってテストを実施しています。品質保証部門は製品の出荷権限と品質責任があるため、出荷後にお問い合わせやトラブルの連絡があったときは、私達が先頭に立ってお客様の対応や回答のとりまとめを行っています。

製品出荷後のサポートも担当されるのですね。
品質保証部門の業務範囲が比較的広い印象を受けますが一般的なのでしょうか。

河野:製品、サービスによって品質保証部門の位置づけが変わることはありますが、基本的に私達が承認した製品しか出荷しない、そして問題が発生したら私達が責任を持って対応をするというスタンスでやっているので、業務範囲は広くなりますね。これは、当社が品質や顧客満足度を重要視する文化を持っていることも要因だと思います。

社内の事例共有で感じた違和感がTPI NEXT導入のきっかけに

品質保証部門にTPI NEXTを取り入れた経緯を教えてください。

河野:社内で開発プロセスが異なる製品の事例共有を実施していたのですが、どうしても話題がそれぞれのテストプロセス自体の良し悪しになってしまい、話が噛み合わないという経験がありました。Aの開発プロセスでは適切なテスト手順も、Bの開発プロセスのテストエンジニアから見ると不適切に見えてしまうケースがあるためです。
そのころ参加したTPI NEXTのセミナーが非常に興味深い内容だったので、詳しく知るためにテキスト(*参考1)を読んでみたところ、これはテストエンジニアにとって重要なことが書いてあると思いました。そこで、こういったプラクティスが積みあがっているもので、一度自分たちのテストプロセスを評価してはどうかと考え、髙野を含む数名に声をかけたのが始まりでした。

河野氏を中心とした現場スタッフによる勉強会でTPI NEXTを学習したのですね。

河野:そうですね。そもそもTPI NEXTは評価専任者を必要とせず、現場レベルでテストプロセスの改善が可能なツールなので、少人数でも始めることができます。改善活動に興味を持つメンバで一通りTPI NEXTを学習した後、各自が所属するQAチームのテストプロセスをそれぞれ評価し、全員で議論してみることにしました。

髙野:私の部署が採用しているウォーターフォール開発には、社内に標準のテストプロセスがあったので、品質について大きな問題はありませんでした。ただ、自分たちのテストプロセスの成熟度や、強みと弱みを客観的な視点で把握することや、各QAチームの工夫を共有できていないということは普段から感じていました。ですので、河野から誘われたときは、そのような現場レベルの悩みを少しでも解決できるかもしれないという期待で参加しました。勉強会を通じて、TPI NEXTの大枠は理解できたつもりでしたが、実際に開発方法が違う製品のQAにおけるテストプロセスを細かく評価してみると、理解が難しい部分もあり、それぞれのテストプロセスの成果物などを調査したり、テキスト(*参考1)の理解を深めたり、JSTQB(Japan Software Testing Qualifications Board)用語集などを活用しながら進めました。

TPI NEXTによる成熟度評価を容易にするための工夫

最初に取り組んだ成熟度評価の結果をどのように受け止めましたか。

髙野:私はそもそもテストプロセスとして意識できていなかった部分を確認することができました。先ほどお話したとおり、社内にはウォーターフォール開発を前提としたテストプロセスが確立しているのですが、普段不要と思っていた業務がチェック項目に入っていることで、これは一般的なテストプロセスとして必要なのだという気づきがありました。評価を通じてQAメンバと議論が生まれたことも有益だったと思います。

河野:開発方式によって異なるテストプロセスをTPI NEXTという共通の物差しで評価し、それぞれの違いや強みと弱みを「見える化」することが目的だったのですが、評価結果を見るとアジャイル開発では技術者のスキルに依存したプロセスになっている傾向があり、ウォーターフォール開発では手続きを踏むようなプロセスになっていることが分かりました。これは良し悪しではく、特徴だと思いますが、ある程度予想していた結果が成熟度評価によって浮かび上がってきた印象です。ただ、初回は評価対象が少なかったので、さらに調査対象を広げるためにTPI NEXTに詳しくないQAチームを集めて、私達がサポートしながら成熟度評価をしたのですが(*参考2)、ここでは試行錯誤を重ねる結果になりました。

調査対象を広げた成熟度評価で、どのような取り組みをしたのでしょうか。

河野:勉強会で評価した経験を基に、各キーエリアのチェックポイントを一つずつ説明しながら評価を進めたのですが、それでも3時間ぐらいかかりました。サポートがなければ1個のチェックポイントへの回答に30分、全体ではおそらく1日ぐらい必要になると思います。またチェックポイントの用語の理解が難しいとか、チェックポイントを満たす、満たさないという判断が難しいという声もあり、部門共通の物差しとして広く活用するには、ツールとしての使いやすさに課題がありました。

髙野:社内のテストエンジニアは社内用語でテスト業務をこなしているので、TPI NEXTの解釈にぶれがあったり、理解できない用語があったりするのは概ねどこの組織でも共通する問題だと思います。個人で評価する場合には、評価する人が基準を決めればいいと思いますが、組織全体で評価を比較する場合には、基準を合わせることが重要なのだと気づきました。そこでTPI NEXTを使いやすくし、かつ、より正確な成熟度評価ができるように、判断基準を明確にするガイドを作ることになりました。

TPI NEXTをツールとして使いやすくするために、
どのようなガイドを作成したのでしょうか。また、ガイドの作成は効果的でしたか。

髙野:まず、TPI NEXTで使用されている用語と、社内で使用されている用語に対して、用語の置き換えや説明を追加しました。例えば「利害関係者は文書化したテスト戦略に合意している」というチェックポイントがあるのですが、「文書化したテスト戦略」に該当する社内の成果物を明記しました。また、「早い段階で」や「積極的に」など程度を表す文言についても、具体的な説明を追加することで、チェックポイントの解釈や回答の判断基準を明確にしました。時間はかかりましたが、最終的に115個のチェックポイントにガイドを追加しました。そして最初にガイドなし、続いてガイド付きの順でチェックポイントに回答してもらい、その回答結果を比較することで有効性を確認することができました(*参考3)。

【作成したガイドの例】

ガイドの有無で回答を比較すると、「分からない」という回答がYesまたはNoと回答できるようになるなど、ガイドの有効性が確認できた。

TPI NEXTはテストプロセスの健康診断

2回の成熟度評価を経てどのような成果がありましたか。
また、TPI NEXTは品質保証部門において有効なツールと言えるでしょうか。

河野:現時点の成果としては、各QAチームにおけるテストプロセスの比較と、テストプロセスに必要な要素の振り返りができました。またテスト戦略・テスト計画などに対する深い理解が得られるなど、学習的な効果も挙げられます。現在取り組んでいるのは、TPI NEXTから基本的なチェックポイントを数十か所抜き出して、組織全体で評価しているところです。TPI NEXTのような一般的な基準と比較して強みと弱みが見えたときに、多くの場合できていないことに注目しがちですが、私はできているものが見える化できることも重要だと思っています。
TPI NEXTによる成熟度評価を健康診断に例えると、健康になる主体は医者ではなく、テストプロセスに関わる私達です。なので、現場のテストエンジニアが主体的に動くことが必要ですね。上からやれと言われたから取り組む、そしてチェックポイントを「満たしたことにする」では意味がありません。テストエンジニア自身がTPI NEXTを学習し、診断し、結果に問題があれば、どうすれば健康になれるのか考えながら改善活動を進める必要があると思います。

髙野:チーム内では私がTPI NEXTに関わっていますが、他のチームを含めてもう少し広い範囲で全体を一度評価し、順序立てて改善していきたいと考えています。ただ、各QAチームは通常業務はもちろん、新しいサービスへ関わる機会も増えており、改善活動に費やせる時間には限りがありますので、個人でTPI NEXTを学習し、知識が身についていることを証明するために資格取得に挑戦することも有効なアプローチだと思います。

河野:TPI NEXTの良いところは、テストエンジニアとして必要な知識の棚卸ができることですね。例えば、チェックポイントに回答していくと、自分が理解できていない、もしくは誤った理解をしている専門用語に気づくことができます。また、用語やプロセスの意味は理解しているけど、自分のスキルとして身についているかという確認もできるので、組織の成熟度評価だけではなく、個人のスキル評価としても有効だと思います。ただ、TPI NEXTは時間をかけて効果が出るものだと思うので、出荷後のバグを減らすとか不具合件数を減らすというような指標の改善活動とは切り分けて進めるのがいいと思います。

これからの品質保証部門およびテストエンジニアに必要なことについて、
これまでの取り組みや業務を通じて感じたことがあれば教えてください。

髙野:今回、社内の基準で行っているテストプロセスを、TPI NEXTというモデルを通じて評価することで、自身のプロセスに不足していることが明確になり、とても勉強になりました。テストプロセスの中でこれを抑えておけば困らないという知識、技術というのは少ないので、TPI NEXTのように全体を客観的に把握できる知識を持つことは重要だと思います。

河野:ソフトウェア開発のエンジニアはプログラムを書いていれば困ることは少ないかもしれない。ただテストエンジニアはテスト実行だけやっていればよいかというと、それは難しいと思います。例えば、テストの自動化が導入されれば、ある程度プログラム的な素養が必要となってきますよね。エンジニア全般に言えることですが、そのような技術変化が起こる場面でも努力できることと、挫けないメンタリティがないと難しいのかなと思います。
もう一つ重要なのは、自分がもっている技術を他者に説明できることですね。テストエンジニアとしての自分の強みはこれですというのを説明できないと、これから困ることになると思います。ですので、TPI NEXTなどのテスト業務の全体像が概観できる枠組みを利用して自分の強みと弱みを把握した上で、どのように強みを伸ばし、弱みを克服するかを考えている人がこれから伸びると思いますし、必要とされるのではないでしょうか。
(文中敬称略)

<取材を終えて>
定規に刻まれた目盛りの幅が製品ごとにバラバラでは、正確な長さを測ることができないのと同様に、TPI NEXTというツールも、人によって判断基準が異なれば、正確な評価を導くことはできません。その意味で今回の河野氏、髙野氏の取り組みはTPI NEXTという物差しを既にプロセスが確立した組織に適用する際に有用な方法だと言えるでしょう。また河野氏は、テストエンジニアのキャリアパスが確立していないことにも懸念を感じていらっしゃいました。大規模で複雑なシステム開発が増し、技術革新のスピードも速くなる中、テストエンジニアが組織のテストプロセスをどのように評価・改善し、同時に自身のキャリアパスをどのように組み立てていくのかが問われていくのではないでしょうか。
今回紹介させていただいた河野氏、髙野氏の取り組みの詳細は、発表された各シンポジウムHPにて公開されていますので是非ご覧ください。

 

プロメトリック株式会社

 

*参考1:TPI NEXT® ビジネス主導のテストプロセス改善

*参考2:ソフトウェア・シンポジウム 2016 論文・報告・Future Presentation
              ・【経験論文】ソフトウェア開発プロセスの違いによるテストプロセス成熟度の比較・考察
*参考3:ソフトウェア品質シンポジウム 2016
              ・【経験発表】品質保証部門におけるテストプロセス改善モデル 初期導入に関する取り組み
              ・【発表資料PDF】

TPI NEXT®はSogeti社の登録商標です。本文中に記載されている製品名や試験名称は、各社の登録商標または商標です。なお、本文中および図中では、TM、(R)マークは表記しておりません。本ページに記載された情報は初掲載時のものであり、閲覧される時点では変更されている可能性があります。何卒ご了承ください。

スキルアップコラムTOPへ戻る