TestRailの使用感や活用法について、開発部 品質管理チームの辻本様、橋本様にお話を伺いました。

テスト管理ツールの導入を検討することになったきっかけは？

テクマトリックス：
テスト管理ツールの導入を検討することになったきっかけを教えてください。

viviON 辻本様：
シンプルに言うと、テストプラクティス情報の蓄積をしたかったというのがきっかけです。これまでは、テストケースやテスト結果の保存にGoogleスプレッドシートやNotionを使っていましたが、情報が分散してしまい、その管理やノウハウの蓄積が難しいと感じていました。この問題を解決するために、テスト管理ツールを導入して情報を集約し、ノウハウを活用できる状態にしようと思ったのがきっかけです。

テクマトリックス：
TestRailを最終的に採用する前に、他のテスト管理ツールも検討されたのでしょうか？

viviON 辻本様：
実を言うと、TestRail一択でした。以前の職場でテスト管理ツールを導入する話があり、国内のテスト管理ツールも含めて検討しましたが、TestRailが最適でした。その時から新しいテスト管理ツールも出ていませんでしたので、TestRailを採用しました。

TestRailのご利用状況は？

テクマトリックス：
TestRailの現在のご利用状況についてお聞きします。
どのくらいのプロジェクトでTestRailをご利用されていますか？

viviON 辻本様：
当社の「comipo」やグループ会社の「DLsite」といった主要サービスと、新規サービスを立ち上げた際にも使います。サービス単位でプロジェクトを作っていて、全体の7～8割のプロジェクトでTestRailを使用しています。品質管理チームで関わっているサービスには、すべてTestRailを使っていますよ。

テクマトリックス：
TestRailを導入後、GoogleスプレッドシートやNotionは使用されていないのでしょうか？

viviON 辻本様：
基本的にTestRailを使っています。しかし、1割ほどのテストでは、GoogleスプレッドシートやNotionを使うことがあります。すべてTestRailで行うことが理想的ではあるのですが、実際には難しい場面もあるので、使い分けて運用しています。

TestRailの使用感は？他の管理方法と比べてメリットは？

テクマトリックス：
TestRailの使用感を教えてください。Googleスプレッドシートなどの他の管理方法と比べてメリットはありますか？

viviON 橋本様：
実際にTestRailを数カ月間使っていますが、テスト管理の専用ツールということもあり、テスターが使いやすい機能が充実しています。テストケースのマスター管理では、必要なテストケースをピックアップして使ったり、テストケースの変更や更新があった場合でも履歴を確認できたりするので、チームで使う場合も便利です。
このようなテストケースのマスター管理は、Googleスプレッドシートでは難しいですね。

viviON 辻本様：
これまでのGoogleスプレッドシートとNotionを使ったテスト管理では、テストケースの検索性の悪さに、特に課題を感じていました。
案件ごとにテスト計画書を作ってNotionページに転記し、そこにGoogleスプレッドシートのテスト項目書のファイルを埋め込んで紐付けて、テストケースを管理していました。この方法では、テスト項目書が案件に結びついてしまって、同じようなテスト項目書が必要になった場合や、以前の情報を探す必要がある場合に、情報がどこにあるのか分からなくなるという問題がありました。
TestRailを導入したことで、テスト情報の管理や蓄積のしやすさが改善して、テストケースを別の案件に流用しやすく、非常に役立っています。


テクマトリックス：
Googleスプレットシートから移行されたお客様はTestRailのレポート機能に関しても、便利だというお言葉をいただくことも多いです。viviON様では活用いただけていますか？

viviON 辻本様：
レポートも活用しています。以前は、ExcelやGoogleスプレッドシートでマクロを作り込んで、データを集めて進捗グラフを作成していました。今はTestRail上で簡単に進捗を確認できるようになりました。

TestRailのテストデータの活用法は？

テクマトリックス：
TestRailの標準的なレポート機能を利用いただけているということですが、より高度な分析のため、テストデータを活用して独自のレポートも作成しているとお聞きしました。

viviON 辻本様：
はい、TestRailには貴重なテストデータが溜まっているので、有効活用していますよ。
テストのリアルタイムな進捗状況はTestRailのレポートで確認しています。その上で、BIツールを使ってTestRailのテスト情報とJiraのバグ情報を組み合わせて可視化して、総合的な視点で、プロジェクト全体のサービスの品質を分析しています。
TestRailの枠組みだけでなく、プロジェクト全体のテストデータをもとにグラフ化しているので、より改善ポイントが特定しやすくなりました。
こちらのレポートを毎日更新し、プロジェクトに展開して共有しています。


テクマトリックス：
具体的にはどのような手順で運用されているのですか？

viviON 橋本様：
基本的には、日次でTestRailのテストデータをCSV出力し、整理して、AWSの「QuickSight」というBIツールに取り込んでレポートを作成しています。
日次のデータだけでなく、過去のデータもすべて出すことができるので、そちらを利用してレポートを作成することもあります。

テクマトリックス：
TestRailのテストデータをBIツールで確認する際、どのような観点で見ていますか？

viviON 橋本様：
一定期間の進捗状況をグラフで確認しています。例えば、直近1週間の進捗状況を見て、このペースで進んでいけば問題ないと判断したり、テストがブロックされて問題が起きている箇所も確認したりして、いち早く対応できるようにしています。

viviON 辻本様：
QuickSightのレポートの下部に表示されている「テスト消化状況」は、TestRailの情報です。TestRailのマイルストーンやテストラン、セクションなどの単位で情報を表示することができます。
当社では機能ごとにセクションを分けてテストを作っているので、セクションごとに情報を表示しています。各機能に対して、細分化した項目の消化状況やステータス、進捗状況などを確認できます。

テクマトリックス：
TestRailのテスト情報と、Jiraのバグ情報を合わせて、より総合的な判断ができそうですね。

viviON 辻本様：
そうですね。さまざまな視点から品質の状態を確認して、改善しています。例えば、不具合の傾向も分析しています。機能ごとやバグの分類ごとにグラフで可視化して、どこにどの程度の偏りがあるかを把握しています。品質リスクが高そうな箇所を早め早めに特定します。

他のツールとTestRailの連携は？

テクマトリックス：
他のツールともTestRailを連携しているのでしょうか？

viviON 辻本様：
前述したJiraとの連携機能を使って、TestRailからJiraチケットを登録しています。また、テスト自動化ツールのAppiumとも連携して、Appiumで実行した自動テストの結果をTestRailに自動で登録するように実装しています。
具体的には、TestRailの中にある自動テスト用のテストケースをAppiumで実行し、OK/NGの評価をします。評価が完了すると、テストの結果が自動でTestRailに登録されるので、あとはTestRailで結果を確認するだけです。NGだった場合は、スクリーンショットも添付します。

テクマトリックス：
TestRail APIを使用してテスト自動化ツールと連携すると、実行結果の自動登録もシームレスに実装できます。
Googleスプレッドシートでは、Appiumのテスト結果を自動で登録することはできないのでしょうか？

viviON 辻本様：
Googleスプレッドシートでもできると思いますが、TestRailのようにAPIが提供されていないため、実装する難易度が高くなります。そのような点でも、TestRailを導入して良かったなと感じますね。

TestRail導入して、目標は達成できましたか？将来的な展望は？

テクマトリックス：
これまでのお話の中で、テストプラクティス情報をTestRailに集約されていること、Jira連携機能の活用や、APIを利用したAppium連携も実現されていることをお伺いしました。
また、当初の導入目標にも近づいているということでしたが、ここまではスムーズにTestRailの導入が進んでいるということでよろしいでしょうか？

viviON 辻本様：
そうですね。早い段階から実際のプロジェクトでTestRailを使い始めて、他のサービスにも徐々に展開してきました。品質管理チームで関わってるすべてのサービスで、TestRailを使用する方針がなんとか固まりました。
今後は、細かい改善活動を行ったり、プラッシュアップしたりしながら、運用を進めていく予定です。

テクマトリックス：
ありがとうございます。今後、TestRailやTestRailに蓄積したデータをどのように活用していきたいですか？

viviON 辻本様：
今後取り組みたいのは、品質のKPIですね。判定会の際の材料として、データを統合したレポートを活用することも想定しています。テストの進捗報告以外にも、さらなる活用方法を模索していきたいなと思います。

テスト管理ツールに期待することは？

テクマトリックス：
今後のTestRailに期待することはありますか？

viviON 辻本様：
テスト計画の作成やテストのアサインなど、テスト作業に関しては、TestRailで十分に行っていて問題はありません。一方で、スケジュールの管理までTestRail内で完結するのは難しいんですよね。そのため、GoogleスプレッドシートやNotion、Jiraのタスク管理を組み合わせてTestRailを補完しています。
スケジュール管理もTestRailに集約し、Jiraは開発用のバグ管理ツールとして別に使用できれば、管理の簡便性が向上すると思っています。

テクマトリックス：
スケジュール管理も1つ課題だと考えています。TestRailで検討していきたい分野です。

viviON 辻本様：
現場からの意見では、テスト手法のテンプレートをもう少し充実させて欲しいという要望があります。
シナリオのテストは、提供されているフォーマットを使用して満足しています。しかし、デシジョンテーブルなどのテスト手法を取り入れる機会がチーム内で増えてきていて、TestRailのフォーマットだけでは作成が難しい場合もあります。その場合は、Googleスプレッドシートで独自のフォーマットを作成しています。

テクマトリックス：
ご意見ありがとうございます。テスト管理ツールはある程度の枠組みが決められているため、追いつけていないと感じることもあります。テスト管理ツールの業界でもデシジョンテーブルの使用方法は課題として挙がっています。

viviON 辻本様：
最後に、TestRailには、テスト管理ツールとしての枠を超えて、品質管理ツールとしての可能性を追求していただけたらと思います。
例えば、レポート機能は、単にテストプラクティスのレポートだけでなく、プロジェクトごとや、アジャイル開発のストリーミングごとに品質を比較することができれば、プロジェクト全体の品質向上の成長度合いを把握できます。
また、品質のKPIを設定する方法に関するサポートも期待しています。そのような品質管理を網羅したツールは、将来的により多くの需要が出てくると思います。

テクマトリックス：
貴重なご意見ありがとうございます。今後とも何卒よろしくお願いいたします。

• 掲載日：2024年6月
• 資料記載の担当部署は、取材時の組織名です。