国内の電動アシスト自転車市場で圧倒的なシェアを誇るパナソニック サイクルテック。同社が新たに開発したのが、タイヤの空気圧低下をAIで推定する「空気入れタイミングお知らせ機能」である。パンクの原因にもなる空気圧低下を乗り手に知らせて、安全性と快適性を高めるのが狙いだ。アシスト用モーターの制御とAIモデルの実行にはSTのSTM32マイコンを採用した。開発の経緯や仕組みについて話を聞いた。
集合写真
(左より)
STマイクロエレクトロニクス アジア・パシフィック地区AIコンピテンス・センター 部長 マッテオ マラヴィッタ 氏
STマイクロエレクトロニクス アジア・パシフィック地区AIコンピテンス・センター アシスタント・マネージャー
米丸 朋宏 氏
パナソニック サイクルテック株式会社 開発部 ソフト開発課 要素開発係 係長 宮前 翼 氏
パナソニック サイクルテック株式会社 開発部 ソフト開発課 課長 加茂 広之 氏
パナソニック サイクルテック株式会社 事業企画部 部長 伊藤 研二 氏(対談のみ参加)
STマイクロエレクトロニクス マイクロコントローラ&デジタル製品グループ マイクロコントローラ製品マーケティング部 マネージャー 木村 崇志 氏
目次
電動アシスト自転車に「空気入れタイミングお知らせ機能」を搭載
――パナソニック サイクルテックが2023年11月に発売した「ティモ・A」(図1)という電動アシスト自転車には、タイヤの空気圧が低くなるとハンドル部の液晶ディスプレイに「クウキ チェック」というメッセージを表示する「空気入れタイミングお知らせ機能」(図2)が搭載されているそうですね。まずは開発の背景を教えてください。
加茂:私の妻もそうなんですけど、街中でもタイヤの空気がベコベコの状態で乗っている人ってかなりいるんですよ。実はパンクの原因のいちばんが空気圧なんですよね[*1]。釘を踏むといった直接的な原因はレアで、空気が不足している状態で段差とかを乗り上げたときに、中のチューブが傷ついてパンクすることが多いんです。それに、空気が抜けていたら学校や仕事に間に合わずに困ることにもなるので、空気をきちんと入れて欲しいという想いもあって開発しました。
[*1] 段差を踏み越えたときにタイヤ内部でチューブが押し潰されてチューブに穴が開く「リム打ち」のほか、タイヤ内部でチューブが擦れて摩耗したり、チューブがずれてバルブ部分にストレスがかかってパンクしたりすることが知られている。
――パナソニック サイクルテック社が提供する電動アシスト自転車のさまざまなシリーズの中で、通学用としてカテゴリライズされているティモ・シリーズに載せたのはどのような狙いがあったのですか?
伊藤:週に2~3日程度の買い物と違って通学は基本的に毎日ですし、走行距離も長くなりがちですから、パンクのリスクが比較的高いと考えました。学生さんに安全な通学をしていただきたいので、まずは通学用のティモ・シリーズに搭載しました。
空気圧の低下を人間が認識する感覚をモデル化
――仕組みについても伺いたいのですが、ティモ・Aのウェブページには「モーター回転数やスピードセンサーからの情報をもとにタイヤの空気圧を推定し」とだけ説明されています。より詳細な原理を教えていただけますか?
加茂:私の妻は別にして(笑)、人間って超優秀なセンサーなので、地面から伝わる振動とか、ペダルを漕いでも思ったように前に進まないといった感覚から、空気が抜けていることがわかるじゃないですか。そういった感覚を数式にするのは難しくても、AIは結果から原理を導き出してくれるところがあるので、「タイヤの空気圧がこれぐらいのときの走行時のデータをモデルに全部入れたら、なにかしらの答えをAIが出してくれるんじゃないか」、という考えですね。
――スピードセンサーというのは?
加茂:電動アシスト自転車は、道路交通法によって速度ごとのアシスト量の上限が決められているので、マグネットを使ったスピードセンサーをもともと前輪に取り付けてあります。
ST米丸:そのスピードセンサーで得られる車速と、アシスト用のモーターの回転数と、タイヤの空気圧との間に、相関が見つかったということですか?
加茂:そうです。前輪も後輪もわかります。
STマッテオ:どういった仕組みなのでしょうか? 原理にとても興味があります。
加茂:スピードが同じだとすると、タイヤ径の大きい自転車よりも小さい自転車のほうがタイヤは速く回転します。ということは、空気が抜けるとタイヤ径は実質的に小さくなって、同じスピードに対して速く回転するようになるはずです。その原理を応用して、前輪の回転数はスピードセンサーで見て、後輪の回転数はモーターで見て、両者のわずかな違いから空気圧の低下を推定しています。
ST木村:言われてみれば、なるほど、と感じますが、その発想力と実現した技術力はすごいと思いました。
STM32F3マイコンを採用し、STM32Cube.AIを使ってAIモデルを実装
ST木村:パナソニック サイクルテック社では、2020年ころからSTM32マイコンを採用いただいています。ティモ・Aの発売よりも前ですね。
加茂:2018年にパナソニックのグループ会社であるエレクトリックワークス(旧・パナソニック電工)が、アメリカの大学と共同で、当社の電動アシスト自転車を題材に研究プロジェクトを行いました[*2]。その時点では他社製のマイコンを採用していましたが、研究目的には性能もメモリも不十分だったため、高性能なSTM32F7マイコン(最大216MHz動作のArm® Cortex®-M7コア搭載)を新たに選定して、ソフトも作り直しました。
他社製のマイコンには生産終了の話も出ていましたし、ソフトを書き換えた実績もありましたので、製品向けの次のマイコンとしてSTM32F0(最大48MHz動作のArm Cortex-M0コア搭載)を使うことにしたんです。
[*2] The hackable bike and the future of the MamaChari
――電動アシスト自転車で、STM32マイコンはどのような役割を担っているのですか?
宮前:ほとんどがモーター制御ですね。いわゆるベクトル制御です。64μsというかなり短い周期で処理を行っていて、全体の処理時間の70%ぐらいを占めています。ただしティモ・Aでは、空気圧低下を推定するAIモデルも実行させる必要があるので、STM32F0マイコンよりも高性能なSTM32F3マイコン(最大72MHz動作のArm Cortex-M4コア搭載)を採用しました。フラッシュ容量は128kBです。限られたメモリ容量と限られた動作時間の中で推定精度が担保できるように、エレクトリックワークスの研究所にも協力してもらいました。
ST木村:宮前さんがいわれたモーター制御は、STM32マイコンが得意とするアプリケーションのひとつです。内蔵のモータ制御タイマを使って、モーター駆動に必要なPWM(パルス幅変調)信号の出力が可能なので、簡単にモーター制御アプリケーションを開発できます。
ところで、空気圧の低下を推定するモデルはどうやって開発したのですか? たとえば画像認識にはCNN(畳み込みニューラルネットワーク)が使われますし、時系列データの認識にはRNN(リカレント・ニューラルネットワーク)などが使われるかと思いますが。
加茂:そこは言えないので(笑)。ただ、自転車の空気圧を推定するモデルって世の中にサンプルが転がっているわけではないので、かなり苦労はしました。しかも、地面の凹凸でデータが変わりますし、風が強くてもデータが変わってしまいますので、安定したデータの取得やクレンジングも大変でした。
ちなみに、私と宮前がゼロから作ったぞという感じを出してるんですけど(笑)、実際はエレクトリックワークスが大学との研究プロジェクトの中で自転車にAIを組み込む基礎検討を進めていましたので、同社にも協力してもらいながら開発を進めました。
宮前:エレクトリックワークスはモデル開発のフレームワークとしてKerasを使ったと聞いています。
ST米丸:そうやって空気圧の低下を推定するモデルを開発したあとで、当社が提供している「STM32Cube.AI」(図3)を使ってSTM32F3マイコンに実装したという流れでしょうか。
加茂:そうです。AIを組み込むのってもっと難しいと思っていたんですよ。Pythonのモデルを人間がなんやかんや移植しないといけないのかと。ところが全然そんなことはなくて、STM32Cube.AIがC言語に落とし込んでくれて、インタフェースも全部作ってくれて、サイズもコンパクトにしてくれて、あとはマイコンの開発環境に統合すればいいだけだったので、とてもシンプルに感じました。
STマッテオ:STM32Cube.AIをご活用いただいたということで嬉しく思います。KerasのほかTensorFlowやPyTorchといったフレームワークで開発したモデルを、STM32アーキテクチャ用に最適化と軽量化(量子化)を行って、エッジAIの実現を効率化するツールがSTM32Cube.AIです。加茂さんが言われたようにモデルをCコードに変換してくれますので、実行環境への組み込みも容易です。その他、リソースの限られたマイコンにニューラルネットワーク・モデルを実装するために、量子化を始めとしたモデルを最適化する機能も多数搭載しています。
地球にやさしく安全・快適な移動をお客様に届けたい
――従来採用していた他社のマイコンをSTのSTM32マイコンに切り替えたことで、何かメリットはありましたか?
加茂:STM32マイコンは幅広い品種が揃っていますので、製品の仕様に合わせて選択できますし、新しい機能を実装してみたいと思ったときにもピン互換品であれば基板を作り直すことなく評価できるところは魅力的に感じます。
ST木村:研究プロジェクトではSTM32F7を採用し、製品にはSTM32F0を採用し、モデルを動かす必要があるティモ・AにはSTM32F3を採用されたというのが、まさにそこですね(図4)。また、前後輪の回転数をもとにタイヤの空気圧の低下をAIで推定するというパナソニック サイクルテック社が開発した機能は、まさにSTが推進するエッジAIアプリケーションのひとつであり、その実現にSTM32マイコンとSTM32Cube.AIを採用していただいたことを嬉しく思います。
――最後に、今後の展望をお聞かせください。
伊藤:当社は「地球にやさしく安全・快適な移動と心躍る楽しさを世界中の人々に届ける」をミッションに掲げています。今回開発した空気入れタイミングお知らせ機能も安全性や快適性を高める取り組みといえます。これからも技術を通じてさまざまな価値をお客様に提供するように努めていきます。
――ありがとうございました。
こちらも是非
“もっと見る” インタビュー
顔認証端末「Noqtoa」の高性能を支えるi.MX 8M Plusプロセッサ~内蔵NPUが0.2秒のレスポンスを実現~
NXP Semiconductorsのi.MX 8M Plusアプリケーション・プロセッサとサイバーリンクのAI顔認証エンジンFaceMeで構成した宮川製作所の顔認証端末「Noqtoa(ノクトア)」。i.MX 8M Plusの特徴のひとつであるNPU(ニューラル・プロセッシング・ユニット)を活用して、人物の顔の特徴量抽出を高速化し、1万人の登録に対してわずか0.2秒という顔認証レスポンスを実現した。宮川製作所で開発を担当したお二人を中心に話を聞いた。
ウインドリバーが始めた、Yocto Linuxにも対応する組み込みLinux開発・運用支援サービスとは?
リアルタイムOSの「VxWorks」やYocto Projectベースの商用組み込みLinuxである「Wind River Linux」を提供し、組み込みOS市場をリードするウインドリバー。同社が新たに注力しているのが組み込みLinuxプラットフォームソリューションの開発と運用の負担を軽減するLinux開発・運用支援サービスの「Wind River Studio Linux Services」だ。
IoT社会が求めるセーフティとセキュリティを提供するBlackBerry
携帯端末会社からソフトウェア会社へと変貌を遂げたカナダのBlackBerry。同社を代表するリアルタイムオペレーティングシステム「QNX OS」は、さまざまな組み込みシステムのほか、数多くの自動車に搭載されている。近年、同社が力を入れているのが、FA機器や医療機器など、企業活動や生命財産に影響を与える恐れのあるミッション・クリティカルなシステムだ。取り組みについて日本でBlackBerry QNXするアガルワル・サッチン氏に話を聞いた。