テストの自動化なんてするもんじゃない

何でもかんでも自動化すればいいってものではないということ。

感覚的にですが、テストを自動化しようと思ったら手動でやる場合に比べて2倍から10倍の手間がかかります。保守を含めると、作るだけに比べて2〜3倍の手間がかかる。合わせると4倍〜30倍の手間がかかります。最低30回は実行されないと意味がないです。

また、機械にテストをさせると障害の検出率は下がります。人がやったら7割ぐらいの可能性で障害と気づくと思いますが、機械にやらせると2割ぐらいが限度でしょう。機械は、なんかおかしいと気づかない。また、テスト項目外の動きをしたりもしません。

最低1回は人間がやらなければならない。1回動いたものが壊れることもままありますが、それは頻繁に変更が加えれるような場合です。しかし、頻繁に変更が加えれれるような場合には、テストコードの修正の手間も馬鹿にならないわけで。

自動化するなら最低限の動作だけにしておいた方がいいと思います。手間に見合わないので。

ほとんどの組織だったら自動化するより他にもっとやるべきことあるだろうというのが正直な気持ちです。効果があるかないか不明なことより、確実に効果があることをするべきです。あちらを立てれば、こちらが立たずみたいなもののバランスをとることを頑張るなら、どう考えてもこっちのほうがいいでしょ?ということをするべきなのです。当たり前なことを当たり前にするというのが肝要だと思います。