機械学習とソフトウェア工学 with Astah

機械学習のパイプラインと安全性・高信頼性要求と一貫させるモデリングフレームワークの紹介です。 早稲田大学の鷲崎弘宜教授によるわかりやすい概要レクチャー動画を掲載します。

Q: この研究の課題を教えてください。

ディープニューラルネットを使った機械学習ベースのシステムの開発というのは、しばしばアドホックな開発になりがちです。Python でコーディングして、教師データを使って訓練し、性能評価し、なかなか出ないので、ハイパーパラメータを調節したり、データをオーディメンテーションしたり、、、、、と。ある意味一喜一憂を繰り返します。

ここに二つの山があります（我々はツインピークスと呼んでいます）が、右側の山ばかりで苦労して
深層学習モデルを訓練と評価、そして修正を繰り返していくのですが、それがうまく行っているのかどうかわからないままに、ループを回していくという活動になりがちです。

我々は、これをしっかりエンジニアリングしたいと考えています。つまり、扱っている今回の深層学習モデルは、そもそも一体何のためにあるのか、プロジェクトの価値に対してどこまでの効果を狙っているのか、どういう特性のデータを扱っているのか、そして、本来どれぐらいの性能や精度が出るべきなのか。こういった、上位のプロジェクト要求や価値（安全性も含めて）、左側の山でシステム全体の中での意味と価値を検討し、右側の山の実装とのツインピークスの両方を行ったり来たりしながら、目的に近づいて行こうと考えたわけです。そのために、目的や意味、価値の言葉で記述された左側のビューが、プロジェクトには必要です。

Q: どのような図やモデルを使われていますか？

STPA/STAMP、GSN（セイフティケース）、KAOSゴールモデル、SysML（アーキテクチャ）、などの既存の要求やシステムおよび安全性分析のモデルと、今回は自作で、独自の目的レベルのビジネスモデルキャンバスに似たビュー（AI プロジェクトキャンバス、MLキャンバス）を実装して、全体をつなげています。

Q: Astah System Safety をプラットフォームに選ばれた理由はなんですか？

astah System Safetyはもともと弊学（早稲田大学工学部）で授業にも多く使っていますし、使いやすいこと、さらに、APIによっていろんなモデルを繋ぐカスタマイズがしやすかったことがあります。

Q: 右側(AI パイプライン)のプラットフォームは何を使われていますか？

モデルの版管理とパイプラインを作れるオープンソースで、手堅いところとしてDVCを選んでいます。訓練や検証データ、ハイパーパラメータの版管理と、ワークフローの自動化ができます。

Q: このプラットフォームを使う利点は？

例えば画像の分類では、例えば車と歩行者を機械学習で見分けることを考えます。右側の山のみのアプローチだと、歩行者の認識率を上げると今度は車の認識率が下がる、というようなことがあります。これを、右側でのみ考えるのではなく、一旦左側の世界で整理しましょう、つまり当初設定した、プロジェクトの価値として、満たされていることと満たされていないこと、をはっきり認識したいのです。ゴールや要求、安全性のレベルでの充足をはっきりとステークホルダが認識できるような可視化で捉えることができます。

AIとSE

鷲崎先生は、機械学習とソフトウェア工学を双方向に繋ぐ分野を研究されており、以下の本も出版されています。SE for AI（ソフトウェア工学のためのAI）、AI for SE（AIのためのソフトウェア工学） といった分野が、産業界で今後発展していくと思われます。