ランニングを楽しむ人が増える中、AIをまとったユニークなランニング・シューズが登場した。スタートアップのno new folk studio（以下、nnf）がSTマイクロエレクトロニクス（以下、ST）のSTM32マイコンを使って開発した「ORPHE TRACK」である。ソールに組み込んだセンサのデータをマイコン上の組込みAIで解析し、ランニングフォームのクセなどをスマートフォンアプリで教えてくれる。両社に開発の経緯や組込みAIのメリットなどについて訊いた。
集合写真（左より）
STマイクロエレクトロニクス株式会社 マイクロコントローラ＆デジタル製品グループ マイクロコントローラ製品部 アシスタントマネージャー 木村 崇志 氏
STマイクロエレクトロニクス株式会社 システム・ソリューション技術部 部長 マッテオ・マラヴィタ 氏
株式会社 no new folk studio Engineer / B-Boy 平澤 直之 氏
株式会社 no new folk studio CEO / Founder 菊川 裕也 氏
株式会社 no new folk studio CTO 金井 隆晴 氏
STマイクロエレクトロニクス株式会社 マイクロコントローラ＆デジタル製品グループ マイクロコントローラ製品部 部長 石川 義章 氏
STMicroelectronics Technical Marketing Manager Microcontroller Segment Asia Pacific Region Alexandre Mengeaud
目次
ランニングを進化させる、AIベースのスマート・フットウェア
――話題のスマートフットウェア「ORPHE TRACK」を開発したno new folk studio（以下nnf）の渋谷本社にお邪魔しています。まずは簡単に会社の概要を教えてください。
菊川（nnf）：nnfは、「日常を表現にする」をミッションに、ウェアラブル・デバイスを軸とした新しいプロダクトやサービス・プラットフォームを開発する会社として2014年に設立されました。パフォーマンスやエンターテイメント向けのスマート・フットウェア「ORPHE ONE（オルフェ・ワン）」を2016年9月に発売したのち、ランニング向けのスマート・フットウェア「ORPHE TRACK（オルフェ・トラック）」の提供を2019年7月に開始したところです。
――ORPHE TRACKの特徴、機能、開発の狙いなどをお聞かせください。
金井（nnf）：ORPHE TRACKは、ミッドソールに組み込んだ「ORPHE CORE（オルフェ・コア）」と呼ぶセンサ・モジュールを使って、ストライド、プロネーション（足首の旋回）、足裏全体でのミッドフット着地か爪先でのフォアフット着地か、左右のバランス、といったランニングの指標データを、大掛かりな専用装置を使うことなく、シューズとスマートフォン・アプリ（現状はiOSのみ）だけで計測できるのが特徴のAIベースのスマート・フットウェアです。ランニングをさらに楽しくするだけではなく、ランニング・フォームのクセも分かりますので、たとえばヒザ痛などの改善や予防に役立てることができると考えています。
菊川：陸上競技で有名な為末 大さんとお会いする機会があって、当社の技術を使ってランニング・フォームの定量化ができないだろうか、とアドバイスを頂いたことが開発の端緒になっています。その後、為末さんには、当社のChief Sprint Officerに就任していただきました。
最新情報をメーカーサイトで見る
マイコン上でAIを実行し、着用者のフォームや走りを推定
――ミッドソール部分に挿入されるセンサ・モジュールORPHE COREの構成について教えていただけますか？
金井：ORPHE COREは、6軸のモーション・センサ、32ビット・マイコン、Bluetooth® LEモジュール、バッテリ、Flashメモリ、および通知用のフルカラーLEDと振動モーターなどを、およそ60mm×45mm×13mmサイズにパッケージングしたモジュールです。ちなみに32ビット・マイコンにはローパワーでありながらセンシング処理に必要な性能を持つSTのSTM32L4+を採用し、BluetoothモジュールもST製を採用しています。マイコンのファームウェアは、センサデータを記録する処理、そのデータをAIベースで解析する処理、および、必要な情報をスマートフォンに送信する処理などで構成しています。
石川（ST）：当社製品をご採用いただきありがとうございます。お話を伺うと、ウェアラブルIoT端末のお手本のような構成ですね。最近は、センサからデータを取得して、分析し、Bluetooth LEなどのワイヤレス・ネットワークで上流に送信するIoT端末が増えていますが、GPUやFPGAではなく身軽なマイコンで上手に組んだほうが消費電力やBOMコストのバランスに優れると考えます。ORPHE COREはその典型に感じました。
図1：nnfが開発したスマート・フットウェア「ORPHE TRACK」。ソールのオレンジ色の部分に、右側の白いセンサ・モジュール「ORPHE CORE」が組み込まれている。 *画面はハメコミ合成です
――ORPHE TRACKではランニング動作の解析にAIを使っているそうですが、どのような狙いでAIを採用されたのでしょうか。
金井：モーション・センサが捉えた上下動などの時系列データを分析して、今は歩いているらしい、今は走っているらしい、この走り方は爪先着地らしい、といった動作を推定するためにAIを採用しました。実際には、消費電力や計算量のバランスを見ながら、従来的なアルゴリズムを用いた解析と、AIを使った分類（classification）とを併用した開発をしています。
石川：STでは、STM32のような汎用マイコン上で動作するAIを「組込みAI」と呼んでいます。マイコン側でデータを集約し解析する組込みAIは、コストが高くて消費電力が大きいGPUなどが不要であり、また、広帯域のネットワークも必要ありません。もちろんローパワーですから、バッテリだけで長時間にわたって動作します。組込みAIは工場設備や機械の予知保全などに用いられているほか、生活家電、ウェアラブル機器など、さまざまなプリケーションへの展開が期待されています。ORPHE TRACKはまさに組込みAIアプリケーションのひとつといえるかと思います。
最新情報をメーカーサイトで見る
組込みAIの開発を加速する、STM32Cube.AIを提供
――組込みAIを実現するには、教師データを収集し、GPUサーバーやクラウド上でニューラル・ネットワークを構築して、そのモデルをマイコンに落とし込んでいく流れかと思いますが、どのように開発したのでしょうか？
平澤（nnf）：テスターが着用したORPHE TRACKからモーション・センサの生データを収集し、そのデータに対して、すり足のような歩行のクセや階段昇降、ダンスのステップを踏んでいる、といった動作をラベリングします。そのラベル付きデータを教師データとしてニューラル・ネットワーク・モデルにクラウド上で学習させます。その学習済みモデルを活用することでリアルタイムでの動作識別を実現しています。
金井：開発では、外部の研究機関にも協力していただいて、フォース・プレート（床反力計）で測定したデータとORPHE TRACKで得たセンシング・データとの突き合わせを行うなどして、識別精度の検証を行っています。
マラヴィタ（ST）：nnf様のような組込みAIを手掛けるお客様向けに、STでは、STM32マイコン上でのAI開発を効率化するツール「STM32Cube.AI」を2019年1月にリリースしました。nnf様にもぜひ活用していただきたいと思っています。
平澤：STM32Cube.AIは初期の開発には間に合わなかったのですが、現在はスマートフォンやPC上のアプリで行っている学習済みモデルの推論の一部をいずれはORPHE CORE側でも行うことを考えており、その開発に活用する予定です。
――そのSTM32Cube.AIについてもう少し詳しく説明していただけますか？
木村（ST）：STM32Cube.AIは、オープンソースの機械学習フレームワークで作成した学習済みニューラル・ネットワークを、STM32マイコンで実行可能なライブラリ関数に変換する無償のツールです。当社の開発ツール「STM32CubeMX」のGUI上で動作し、とても扱いやすいのが特徴です。フレームワークとしては、現時点で、Caffe、Keras（バックエンドはTensorFlowを使用可）、Lasagne、TensorFlow™ Lite、ConvnetJSにそれぞれ対応しています。
さらに、モーション・センサで人の状態を認識したりマイク入力から周囲環境を認識するサンプル・コードを集めたソフトウェア・ファンクション・パック「FP-AI-SENSING1」を無償で提供しています。小型センサ・ボード「SensorTile Kit」（別売）などのIoT端末用開発キットと、スマートフォン・アプリ「ST BLE Sensor」を準備していただければ、検証や開発にすぐに着手することができます。
平澤：マッテオさんから教えていただいたのですが、STM32Cube.AIにはモデルの圧縮機能や最適化されたコードの自動生成機能があるため、開発をさらに効率化できるのではないかと考えています。マイコン・ベンダーからこうした純正ツールを提供してもらえるのは開発側としては助かります。
図2：ORPHE TRACKでブレイクダンスの動きを識別した例。ちなみにソフトウェア・エンジニアの平澤氏はブレイクダンサー（B-Boy）でもある。
組込みAIに十分な性能を持つ、STM32マイコン・ファミリを展開
――先ほどからも指摘されていますが、マイコンでAIを実行しようとすると性能やリソースの制約があるかと思います。
マラヴィタ：STM32マイコンはローパワーながらも高性能ですし、STM32Cube.AIを使えば最適化されたコードが得られ、nnf様が取り組まれているような動きの分類のほか、発話から特定の単語を抽出したり、低解像度の映像から物体を認識するぐらいは十分に可能です。一方で、高解像度の画像認識などの処理などには適しません。そういった適性を理解していただいて、組込みAIを実現していただければと思っています。
金井：STM32L4+マイコンはスペックやコストで考えると当初はややリッチすぎる感じもあったのですが、スマート・フットウェアという未開の分野を対象にした開発でしたし、ユーザーからどういったフィードバックが寄せられるかも分かりませんでしたので、性能、メモリ容量、I/Oポート数などにある程度の余裕が必要と考えて選択しました。
実際に使ってみると、Flashメモリ2MB＋RAM 640KBということで、ORPHE TRACKの処理量であれば安心して開発に取り組めるスペックと感じました。ローパワー・モードも多段階で設定できるため、電力をきめこまかくコントロールできるのもメリットでした。
木村：STではArm® Cortex®-Mをベースにした汎用マイコン「STM32」を幅広く展開している中で、STM32L4+は最高120MHz動作の高性能なArm Cortex-M4をベースにしながらも超ローパワーを実現したシリーズです。組込みAIを実装する場合、ニューラル・ネットワークの構成次第では大きなメモリ容量と高いパフォーマンスが必要になりますが、STM32L4+は金井様が言われたように、かなり余裕をもって実装できるのではないかと考えています。また、内蔵Flashメモリはデュアルバンク構成になっているため、FOTA（Firmware Over-the-Air）などを介して、動作を継続したままファームウェアの更新も可能です。
――最後に、ORPHE TRACKの今後の展開や、nnfとしてのビジネスの展望などについてお話ください。
菊川：2019年7月にベータ版の販売を開始したところですが、お客様からはとても高いご評価を頂戴しています。まずはORPHE TRACKとスマートフォン・アプリの完成度を高めながら、シューズメーカーとのコラボレーションなども進めていきます。
中長期的には、フィットネスやウェルネス、高齢者や児童の見守り、工場やプラントでの作業員の動線最適化といった用途にスマート・フットウェア技術の活用を進めていきます。これからも、日常をエモーショナルで豊かにするという理念を大切にしながら、開発やサービス展開に取り組んでいきます。
石川：AIを使ったスマート・フットウェアという新しい領域に挑んでいるnnf様の取り組みにはとても期待していて、STとしてもしっかりとサポートしていきます。STM32マイコンとBluetoothモジュールだけではなく、センサ、電源IC、モータ･ドライバなど、IoTに必要な半導体ソリューションを幅広く提供できるSTの強みをトータルでご活用いただければ嬉しく思います。
マラヴィタ：組込みAIに関しては、対応するディープラーニング・フレームワークを増やすなどの技術的な側面に加えて、組込みAI開発をサポートしてくれるパートナーとの連携も拡充していきます。組込みAIアプリケーションが身の回りに増えて、生活や社会がより便利に、より楽しくなっていくことを願っています。
木村：ちなみにいい機会なので、私もさっそくORPHE TRACKを買って皇居ランでも始めてみるつもりです！
APS EYE’S
STのマイコンを採用したランニングシューズが誕生した。今後ますます増え続けるウェアラブルと組込みAIの融合によるアプリケーションに向けて、AI開発を効率化するツール「STM32Cube.AI」の提供を開始。STの高性能でローパワーなマイコンが、IoT×AIの時代を切り拓く。
こちらも是非
“もっと見る” インタビュー
パナソニックが電動アシスト自転車にSTM32を採用。タイヤの空気圧低下をエッジAIがお知らせ
国内の電動アシスト自転車市場で圧倒的なシェアを誇るパナソニック サイクルテック。同社が新たに開発したのが、タイヤの空気圧低下をAIで推定する「空気入れタイミングお知らせ機能」である。パンクの原因にもなる空気圧低下を乗り手に知らせて、安全性と快適性を高めるのが狙いだ。アシスト用モーターの制御とAIモデルの実行にはSTのSTM32マイコンを採用した。開発の経緯や仕組みについて話を聞いた。
顔認証端末「Noqtoa」の高性能を支えるi.MX 8M Plusプロセッサ～内蔵NPUが0.2秒のレスポンスを実現～
NXP Semiconductorsのi.MX 8M Plusアプリケーション・プロセッサとサイバーリンクのAI顔認証エンジンFaceMeで構成した宮川製作所の顔認証端末「Noqtoa（ノクトア）」。i.MX 8M Plusの特徴のひとつであるNPU（ニューラル・プロセッシング・ユニット）を活用して、人物の顔の特徴量抽出を高速化し、1万人の登録に対してわずか0.2秒という顔認証レスポンスを実現した。宮川製作所で開発を担当したお二人を中心に話を聞いた。
ウインドリバーが始めた、Yocto Linuxにも対応する組み込みLinux開発・運用支援サービスとは？
リアルタイムOSの「VxWorks」やYocto Projectベースの商用組み込みLinuxである「Wind River Linux」を提供し、組み込みOS市場をリードするウインドリバー。同社が新たに注力しているのが組み込みLinuxプラットフォームソリューションの開発と運用の負担を軽減するLinux開発・運用支援サービスの「Wind River Studio Linux Services」だ。
