深層学習による機械設備の異常検知を研究している岐阜大学の速水・田村研究室。モノづくりの現場から採取した大量のデータを、GPUやクラウドといった高性能な演算リソースを活用して日々解析をしている。彼らがエッジデバイスとして着目したのは、ソニーのIoT向けボードコンピュータ「SPRESENSE™」だ。本記事では、研究室が取り組んでいる高度な研究概要をはじめ、速水教授が特に注力する次世代の技術者の育成方法、さらには、そんな彼らを唸らせたSpresenseの魅力に迫ってみた。
集合写真：岐阜大学 速水・田村研究室の皆様
（前列左から2番目）岐阜大学 工学部 電気電子・情報工学科教授 速水 悟 氏
（前列左から1番目）ソニーセミコンダクタソリューションズ株式会社 IoTソリューション事業部 早川 知伸 氏
（インタビューのみ参加）ソニーセミコンダクタソリューションズ株式会社 IoTソリューション事業部 太田 義則 氏
目次
日本のモノづくりを支えるIoT。様々な分野に広がる信号解析
――現在、速水・田村研究室で取り組まれている研究内容について教えてください。
速水（岐阜大学）：私は以前、つくばにある産業技術総合研究所にて音声認識の研究に長く従事してきました。その後、岐阜大学に移り、分野を広げ音声、画像、自然言語を題材として統計的機械学習と深層学習（ディープラーニング）の研究を行っています。現在は、機械設備の異常検知の研究にも取り組んでいます。
――機械設備とは、どのようなものですか。
速水：モノづくりの現場、工場などに導入されている設備を対象としています。一例を挙げますと、岐阜大学には地域連携スマート金型技術研究センターという施設があり、プレス機や射出成形機にセンサーを搭載してデータを採取し、研究に活用しています。
――機械設備の異常検知について研究をはじめたきっかけはなんでしょうか。
速水：ひとつのきっかけは、外部の企業や研究所からの依頼です。もうひとつのきっかけは機械学習を技術者に教えるセミナーを開催したいという日経BP社からの依頼を受け、これまで研究していた音声、画像、自然言語とは異なる分野の製造業の異常検知に着目し、機械学習や深層学習を活用し課題を解決することに取り組んでいます。
図1：岐阜大学の速水・田村研究室で取り組んでいる研究。振動を解析し、異常検知を実現する。
――故障予知や予知保全というキーワードを最近よく聞くようになりました。こうした研究は新しいものなのでしょうか。
速水：故障予知の研究は、かなり前からありますが、今と昔では手法は大きく変化しています。以前は、機械学習の統計的手法を使って課題を解決しようという試みがされていましたが、深層学習が登場し、研究がより盛んになりました。私の研究室でも深層学習を使った手法を取り入れています。振動を計測する加速度センサーの情報も、マイクから拾った音の情報も同じ波形データなので、一旦取り込んでしまえば深層学習の学習データとして同じ様に扱うことができます。
早川（ソニー）：音声で深層学習を使い始める研究も、かなり増えていますよね。
速水：とはいえ、画像解析に比べるとかなり少ないですね。音声と振動はまだまだ研究の余地があります。モノづくりの世界では振動を解析し、異常を検知するだけでも、たくさんの課題が眠っています。直近の動向では、ようやく何かうまくできそうだという見極めがついたところでしょう。これからセンサーをたくさん付けて、それぞれをネットワークで繋ぎ、クラウドに送って解析しようというフェーズですね。
――深層学習が統計的機械学習に替わったことで、どのようなメリットが生まれたのでしょうか。
速水：機械設備の異常検知の場合、そもそも異常自体が滅多に起きない現象です。そのため画像認識のように100万個のデータがあって、認識率がどう変わったかという評価はなかなか難しいのです。機械学習でも、深層学習でも、正常データからモデルを作り、正常値からのずれを異常値として数値化できるため、異常検知を実現できます。目安として1,000個のデータがあれば機械学習を、10,000個のデータがあれば深層学習を使うことができます。多くの場合、10,000個の正常データは収集できますので、それを活用して異常検知をしています。
――機械では解析困難なものはありますか。
速水：ひとつ例を挙げると、モータが常に定常回転している機械の異常検知は比較的やさしい課題です。ですが、実際のモノづくりの現場では、すべての装置が定常回転しているわけではなく、時間ごとに回転数や加工対象が変わる、いわゆるモード変化のある機械です。こうした機械は解析が難しく、ここ最近は動作モードが複数ある機械に対応できる検知方式の研究に取り組んでいます。
――異常検知の研究成果は、私たちの生活やビジネスにも影響、浸透するのでしょうか。
速水：機械学習による異常検知は、製造業における設備や装置の保全だけでなく、道路や橋など構造物のメンテナンス、オンラインビジネスにおける様々な分野での活用が始まっています。もちろん、工場全体を最適化する、いわゆるスマートファクトリーにおいても重要な要素となり、今後の発展に繋がるでしょう。
――研究室では異常検知だけでなく、メディカルをはじめとする様々な分野での研究もされています。
速水：2018年に、岐阜大学附属病院の患者様の待ち時間と待ち人数を機械学習で分析する、という研究成果を発表しました。予測には、最近良く使われる機械学習の手法、勾配ブースティング木というモデルと、ゲート付再起型ニューラルネットワークのモデルを使いました。大学病院の患者様40万件程のレコードから予測モデルを学習させ、待ち時間や待ち人数を推定するモデルの予測精度と、待ち要因の分析を導くことができました。一般的な需要予測のように、待ち時間の要因には曜日、時刻が関係しますが、病院の場合は加えて、診療科も関係することがわかりました。
――机上だけでなく、実際の現場の課題に取り組むことに意味がありますね。
速水：機械学習も深層学習もアルゴリズムありきではなく、データありきなので、いざ取り組んでみるとたくさんの苦労が生まれます。附属病院のデータも、非常に良い勉強になりました。なかなかモデルを上手く構築できず、試行錯誤を繰り返しました。機械設備の異常検知と似ています。現在、私はデータサイエンティスト育成事業として様々な活動を担当していますが、実際に企業との共同研究をはじめると、すぐ壁にぶつかるので、それは私にとっても学生にとっても良い経験になっています。
最新情報をメーカーサイトで見る
4年次にはAIフレームワーク習得済。深層学習を学ぶ、岐阜大学の文化
――産学連携など、企業との連携はありますか。
速水：既にいくつかの企業と共同研究を進めていますし、技術的な相談も増えています。実際、機械学習は広い分野なので、どのようにスキルを習得すれば良いのか、悩んでいる企業の方が多くいます。そのため、人工知能技術について社内リテラシーを高めるための講演をすることもありますし、技術者を対象とした講習会など、人材育成のお手伝いもしています。活動をはじめてから3年程経ち、技術の内製化を進めている企業では、コアとなるチームが育ってきています。
――先生の研究室に在籍している学生の方は、どのようにして機械学習や深層学習を習得されているのでしょうか。
速水：岐阜大学では学部１年次の授業で、まずPythonを教えます。MITをはじめ世界中でPythonを教える流れがあります。その後C言語をやり直し、３年次の研究室配属後、Pythonを学び直してから、深層学習のフレームワークを一通り勉強してもらいます。KerasやPytorchなどですね。3年次までにこれらをしっかり習得しておかないと、4年次で卒業論文に着手することは難しいと思います。
――深層学習の教え方に秘訣はありますか。
速水：まず4年次の最初に、深層学習に関する論文に対応したGitHubのソースコードを、手元で実際に動かしてもらっています。これができることが、ひとつの指標になります。また、大学では Python と機械学習について1日、深層学習について2日の企業向けの講習会を実施しています。その教材で４年次の学生に3年次の学生を教育してもらう、という取り組みもしています。教えることは良い勉強になりますので、代々続けています。良い文化だと思っています。統計的機械学習がメインだった頃は、パターン認識と機械学習という非常に有名な本を全員で輪読していました。
――卒業後の進路を教えてください。
速水：IT企業の技術者になったり、モノづくり企業の開発者になっています。研究室の学生には、かれこれ10年以上機械学習を教えてきましたが、ようやく今になって学んで良かったと言ってもらえるようになりました（笑）。
――どのような機材で研究していますか。
速水：それぞれの学生に、GPU搭載のPCを割り当てています。加えて、計算サーバも研究室内に設置していますし、クラウドも使えます。今の一般的な研究室の設備だと思っています。今年はさらにクラウドを強化したいと考えています。
――Spresenseの特に注目したポイントをお聞かせください。
速水：早川様からSpresenseを紹介いただき使い始めました。学生にデモを開発してもらいながら評価を重ねています。まず、振動を計測するためのセンサーとしてはBosch社の3軸加速度、3軸ジャイロを搭載したアドオンボードが良いと感じています。比較的安価で入手性がよく、優れた周波数特性もとても良いですね。
太田（ソニー）：速水先生に試していただいたBosch社製3軸加速度3軸ジャイロセンサーを搭載したアドオンボードは、非常に人気の高いデバイスです。加速度に対する特性の良さはもちろんのこと、ジャイロ（回転角速度）のドリフトもほとんどありません。高い性能でありながら、安価で、サンプルソースコードやデバイスドライバも広く公開されています。
速水：Spresense自体の安さも気に入っています。プロセッサとセンサーを併せても1万円しないため、100台設置したとしても100万円しない。機械設備に比べたら非常に安い。それであれば、たくさん付けてみましょうという話ができるわけです。結構色々な方にオススメしています。
――動作デモはどのようなものを開発されたのでしょうか。
速水：今回は学部4年の森くんに、扇風機の振動を計測して、出力が弱中強のいずれなのかを推論するデモを作ってもらいました（図2）。ゼロから始めて、わずか1ヶ月で形になりました。学生からは、開発環境が充実しているし、サンプルプログラムも豊富で開発しやすかったと大変評判が良いです。ちょっと褒めすぎですかね（笑）。扇風機をデモに選んだ理由は、振動を計測し、プロセッサで解析し、結果を出力するという異常検知に必要な流れをすべて体験できるためです。解析対象も特殊な機械設備など守秘義務のあるシステムではないため、例題にしやすく、セミナーにも活用できます。今後はさらに信号処理機能や学習済みの深層学習モデルにより推論する機能も統合したいと考えています。
図2：速水・田村研究室の学生である森さんがわずか１ヶ月で開発した、振動を計測し、扇風機の出力を推論するシステム。
オーディオのS/N比を大幅改善。Spresenseが6コアを搭載した理由
――Spresenseは振動や音声などを解析するアプリケーションを元々想定していたのでしょうか。
早川：IoTデバイスを作る際、音はひとつの重要なセンサーとして活躍できると我々は考えています。音源推定や、異常検知、ビームフォーミングに使えます。ただし、音はS/N比が悪いため、ノイズをどうやって除去するかという課題が常にあるため、マルチマイク入力を搭載し、プロセッサ上のプログラムでノイズを除去できるように設計しました。波形データである加速度データにも言えることですが、データを解析する際に隣の機器の振動を拾ってしまうことなどもあるため、音源分離の手法は、より高度なアプリケーションを実現するために効果があると考えています。
速水：まさに今、取り組もうと思っていた内容です。
早川：今回、速水先生は振動を利用されていますが、Spresenseに8chのマイクを接続することにより360度方向、3Dのどこから音が発生したかを推定できるため、音も活用いただけたら嬉しいです。Spresenseは、48kHzから192kHzのサンプリング周波数まで対応していますので、60kHz程度を扱うコンクリートのアコースティック・エミッション（AE）や、スピーカー出力を使った構造物に対するアクティブな音響解析も可能です。
速水：私たちの研究室では、これまでは20kHzの可聴域を扱うために48kHzサンプリングを使っていましたが、データは余分に採取しても良いので、様々な予知や予測に活用できそうですね。
――マルチコアはどのように活躍するのでしょう。
早川：マルチコアを活かすことにより1、2コアを使ってS/N比を向上させるフロントエンドを構築できます。整形した信号を、別のコアへ渡しAIの推論を適用することにより、パイプライン構造により高速な信号解析を実現可能です。ノイズ除去により認識精度も向上するでしょう。4chあれば、処理するコアも4個欲しい。こうした理由から検討を重ね、6コアにたどり着きました。このアイデアは自分が監視カメラを社内で開発していた際に思いつき、今回のSpresenseの開発では、特にこだわって入れ込んだ機能です。
速水：ノイズ除去は課題ですね。S/N比の改善に使える専用コアは必要だと思います。
早川：4chのマイクを簡単に接続できる拡張ボードと、採取した音をマルチコアを活用してリアルタイムに周波数解析、表示するサンプルアプリケーションも近々公開予定です（図3）。
図3：近日公開予定のマルチマイクとマルチコアを活かしたサンプルアプリケーション。
――他の研究室からの引き合いはありますか。
太田：他の教育機関からの引き合いも数多くいただいております。マイクをはじめ、高速A/Dコンバータやカメラなど様々な特徴を気に入っていただけているようです。音に関するお問い合わせも多いですが、カメラに関する問い合わせも増えています。AIのモデルを開発し、クラウド上で学習させることのできるソニーのNeural Network Consoleとの連携も注目していただけています。引き続き、多くの方々と連携を深めていけるよう取り組んでいきます。
――速水・田村研究室の今後の展望は。
速水：現在、スマートファクトリーというキーワードを中心に、日本中の企業がAIに取り組み、製造現場も協力して推進する体制ができつつあります。AIの開発もすべて協力会社へ任せるのではなく自社内にも人材を育成しようという動きが活発化しています。そのため、私たちは共同研究の中で、課題の解決だけでなく、企業の方に技術を習得していただくことにも力点を置いていきます。人工知能技術について、リテラシー教育から、中核となる技術者の育成、先端技術の紹介など、幅広く人材育成をお手伝いさせていただけるように努力していきたいと考えています。
――ありがとうございました。
こちらも是非
“もっと見る” インタビュー
パナソニックが電動アシスト自転車にSTM32を採用。タイヤの空気圧低下をエッジAIがお知らせ
国内の電動アシスト自転車市場で圧倒的なシェアを誇るパナソニック サイクルテック。同社が新たに開発したのが、タイヤの空気圧低下をAIで推定する「空気入れタイミングお知らせ機能」である。パンクの原因にもなる空気圧低下を乗り手に知らせて、安全性と快適性を高めるのが狙いだ。アシスト用モーターの制御とAIモデルの実行にはSTのSTM32マイコンを採用した。開発の経緯や仕組みについて話を聞いた。
顔認証端末「Noqtoa」の高性能を支えるi.MX 8M Plusプロセッサ～内蔵NPUが0.2秒のレスポンスを実現～
NXP Semiconductorsのi.MX 8M Plusアプリケーション・プロセッサとサイバーリンクのAI顔認証エンジンFaceMeで構成した宮川製作所の顔認証端末「Noqtoa（ノクトア）」。i.MX 8M Plusの特徴のひとつであるNPU（ニューラル・プロセッシング・ユニット）を活用して、人物の顔の特徴量抽出を高速化し、1万人の登録に対してわずか0.2秒という顔認証レスポンスを実現した。宮川製作所で開発を担当したお二人を中心に話を聞いた。
ウインドリバーが始めた、Yocto Linuxにも対応する組み込みLinux開発・運用支援サービスとは？
リアルタイムOSの「VxWorks」やYocto Projectベースの商用組み込みLinuxである「Wind River Linux」を提供し、組み込みOS市場をリードするウインドリバー。同社が新たに注力しているのが組み込みLinuxプラットフォームソリューションの開発と運用の負担を軽減するLinux開発・運用支援サービスの「Wind River Studio Linux Services」だ。
