テスト管理ツール検討のきっかけは？

テクマトリックス：
　まずはT.K様の業務について教えてください。

T.K様：
　所属する現場ソリューションカンパニーでは、ハードウェアにソフトウェア、IoT、AIなどのテクノロジーを組み合わせて、ソリューションを現場にご提案しています。特に私たちの部署ではSaaSサービスの開発を行っており、この4月には、現場映像活用サービスCameleoの提供を開始しました。
　Cameleoは、カメラをクラウドとつないで、クラウド側に映像や画像をレコードするサービスです。私の部署では、フロントエンドの部分を開発しています。例えば、クラウド上で画像を見たり、遠隔で現場の監視カメラを動かしたりするときに操作するUIの部分です。

テクマトリックス：
　テスト管理ツール検討のきっかけを教えていただけますか？

T.K様：
　テスト管理をExcelで行っていましたが、Excelはテスト管理に特化したツールではないため、テスト管理に必要な機能が十分ではありません。そのため管理が複雑になってしまい、品質に影響を出しかねない状況になっていました。そこでExcelによるテスト管理の問題点を解決するために、テスト管理ツールの導入を検討し始めました。
　Excelでテスト管理を行った場合、テストケースやテスト結果が増えると、画面が複雑になり、見にくくなります。例えば、セルにテストの作業工程を記入する際に、セルの中で改行するとセルが縦長になり、一つのセルが画面に収まらないほどのボリュームになることがありました。各ユーザーの設定やワークシートの作り方によって、視認性が悪くなるため、Excelを調整する作業に時間を取られていました。
　テストケースの追加や変更を行う際にはExcelのシートやセルを追加・変更する必要がありますが、この作業は手間がかかり、ミスが発生しやすい作業でした。
　またExcelは細かい変更履歴の管理ができないため、テストケースの変化点が分からなくなることもありました。

テクマトリックス：
　テストケースやテスト結果が増えて見にくくなり、メンテナンスが手間になっていたのですね。

T.K様：
　そうですね。特に私たちが開発しているようなSaaSサービスは、機能拡張も多くリリーススピードも速いので、効率的・効果的なテストを行うために、必要なタイミングで必要なケースをピックアップしてテストをする必要があります。Cameleoについても、今後お客様からの要望が出てきて、機能の追加やデザインの変更が予想されるため、将来のことも考え、効率的にテストが行える環境を整えておいた方がいいと考えました。

テスト管理ツールを導入する前のテスト管理はどうしていましたか？

テクマトリックス：
　テスト管理ツールを導入する前のテスト管理はどうしていましたか？

T.K様：
　私たちが取り組んでいるフロントエンド開発では、結合テストとシステムテスト工程でのテスト管理をExcelで行っていました。工程の単位でファイルを分けて、機能テストや回帰テストといったテストの種類でシートを分けていました。ファイル自体はそこまで多くないのですが、シートが膨大になりました。特に、結合テスト工程のテストでは10シート以上になることもあり、リンクしている一覧ページを作りジャンプさせて、シートを行き来しながらテストをすることもありました。

テクマトリックス：
　情報を確認しやすいように工夫されていたようですが、シート自体のメンテナンスも大変そうですね。

最終的にTestRailを選択した理由は？

テクマトリックス：
　最終的にTestRailを選択した理由は何ですか？

T.K様：
　私たちが定めたテスト管理ツールの要件をTestRailはすべて満たしていました。
　選定要件は7つありました。
　1．Jiraと連携できる。
　2．テスト履歴を残すことができる。
　3．テストケースやテスト結果の編集が簡単にできる。
　4．テストの進捗管理ができる。
　5．テスト項目のバージョン管理ができる。
　6．テスト結果の分析ができる。
　7．品質と管理ロスコストを考慮して、許容できるコストである。
　TestRailとJiraのアドイン2つを比較検討しましたが、Jiraのアドインは契約形態が合わず費用対効果が見込めないため、TestRailを選びました。

テクマトリックス：
　他のテスト管理ツールと比べて、特にTestRailが良かったころはなんですか？

T.K様：
　まず、Excelからの置き換えのため、操作性が良くないと現場で受け入れられないと予想していました。その点、TestRailは直感的な操作感で、マニュアルを見なくてもある程度は使うことができそうだというところが１番のポイントでした。テストケースのコピーもExcelのように行うことができます。Excelでやっていたことから大きく変えずに使えるので、現場も抵抗なく受け入れることができそうでした。
　また、Excelと違って、テストランとテストケースが完全に分離してデータ化できるところが使いやすいと感じました。テストケースを作ってテストランでチョイスして使えるという点で、現場の動きとマッチしています。
　あとはツール自体ではないですが、試用版の申し込みがWeb上で簡単にできるところも、大変助かりました。試用期間も1カ月と長く、しっかりとツールを試すことができました。特にテクマトリックスの手厚い導入サポートがあり、非常に素早く導入することができました。

テクマトリックス：
　試用期間が1ヶ月もあるツールは、あまりないのでしょうか？

T.K様：
　他にもJiraアドインと比較していましたが、Jiraの方は2週間くらいでした。TestRailの場合はクラウドかオンプレミスが選べて、試用期間も長いので、リアルなデータを入れて試すことができました。

テクマトリックス：
　TestRailをWeb上で見つけていただいたと思いますが、他のツールと比べてよさそうだという印象があり試していただいたのでしょうか？

T.K様：
　基本的にはそうですね。いろんな記事を見て感じました。OSSも認識をしていましたが、4～5年前ぐらいで更新も止まっているような感じでした。現場の工数が足りてない中で、自前でOSSの利用環境を構築して管理してというのは負荷が高く、現実的ではありませんでした。日本語のサポートもあり、クラウド上でサービス化されていて、ライトに始められる、というところでTestRailがいいのではないか、という話になり試用版の検証を進めました。

TestRailの現在のご利用状況と、TestRailに期待することは？

テクマトリックス：
　TestRailの現在の利用状況はいかがですか？

T.K様：
　TestRailは2プロジェクトで利用中です。所属部署には他にもいくつかプロジェクトがあるので、うまくいったモデルケースを参考に、他のプロジェクトにも反映していこうと考えています。

テクマトリックス：
　今の取り組みがうまくいったら、まだTestRailを利用していないプロジェクトにも適用していく想定ですね。

T.K様：
　そういった想定プラス、もっと大きい規模感で導入して行きましょうという動きもあります。現在は、所属チームのみの利用にとどまっていますが、今後は別部署への利用も促進していきたいと考えています。

テクマトリックス：
　最後にTestRailに期待することは何ですか？

T.K様：
　テストランの結果のダッシュボード部分ですね。せっかくグラフィカルなUIが出ているので、より充実してくれると嬉しいです。テスト管理プロセスの中で、上長や品質部門にレポートするという作業がある会社が多いと思います。TestRailのダッシュボード上でグラフィカルに見ることができて分析できたりすると、上長や品質部門からの理解も得られやすいはずです。結果的にツールの継続利用につながると思います。
　現場からは操作性が良くて業務が楽になるとすごく評判が良いのですが、上長は慎重な対応になることがあります。テストの進捗状況を簡単に把握できるレポート機能が拡張されると、テストの状況を理解しやすく、説得しやすくなると思います。

テクマトリックス：
　TestRailのコンセプトが、どちらかというと現場にとって使いやすいツールとなっていますが、レポート機能の拡張も検討しています。テクマトリックスから、信頼度成長曲線のグラフを表示するカスタムレポートを提供する計画もあります。今後の方向性として、ユーザー様からよく聞かれるグラフについて、カスタムレポートを追加していく予定です。

T.K様：
　ありがとうございます。期待しています。