SPRESENSE×Neural Network Console:第4回|推論モデルを最適化し、エッジAIによるオリジナルの音声識別システムを構築する
今回の初心者講座では、SPRESENSEの「ハイレゾオーディオ入力」と「DNNRT機能」により「Neural Network Console」で生成したディープニューラルネットワーク(DNN)の推論モデルを統合。エッジ単体で完結するオリジナルの音声識別システムを構築する技法を解説いたします。
今回の初心者講座では、SPRESENSEの「ハイレゾオーディオ入力」と「DNNRT機能」により「Neural Network Console」で生成したディープニューラルネットワーク(DNN)の推論モデルを統合。エッジ単体で完結するオリジナルの音声識別システムを構築する技法を解説いたします。
今回の初心者講座では、SPRESENSEに搭載されたハイレゾオーディオ入力を活用し、環境音を録音し、ディープニューラルネットワークによる音声分類に不可欠な学習用データと検証用データを生成する方法について解説します。また、PC上で動作するNeural Network Consoleによって生成した推論モデルをエッジ・デバイスへ統合するために解決すべき課題を紹介します。
SPRESENSEのDNNRT機能が扱うことのできるデータは画像だけでなく、産業分野を中心に人気が高まっている「異常検知・故障予知」に活用できる加速度センサーや大気圧センサーなどから収集した波形データも解析することができます。さらにSPRESENSEに内蔵されたハイレゾオーディオ録音機能も周辺環境を可聴域の波形データとして記録することができる優れたセンサーとして利用可能です。そこで、今回の初心者講座では、まず簡単な波形データの解析方法を例に、DNNRT機能から波形データを扱うシステムの構築方法について解説。DNNRT機能を活用した製品開発に必要となる技術を紹介いたします。
今回はSPRESENSE SDKの提供するAI、ディープニューラルネットワーク(DNN)実行機能である「DNNRT機能」について紹介します。はじめてSPRESENSEの開発環境に触れる方はもちろん、はじめてDNNに取り組む方も安心して技術を学んでいただけるよう、サンプルアプリケーションの開発・解説をから、アプリケーションの変更方法、実際の環境データを使った解析方法まで段階的に解説します。
今回の初心者講座では、SMP構成の特徴と、SMP×ASMP構成というハイブリッドなシステムを構築できるSPRESENSEが組み込み製品開発へ与えるメリットを紹介。最後にSPRESENSE SDKに内蔵されているNuttXを設定しSMP機能を使う手順を動画にて解説いたします。ASMPアーキテクチャの復習とSMPアーキテクチャの学習に、本記事を是非ご活用ください。
SPRESENSE SDKに同梱されたリアルタイムOS「NuttX」は、エッジにネットワーク機能を簡単に統合可能な製品です。NuttXは、ネットワーク通信に不可欠なデバイスドライバやプロトコルスタックが内蔵しているため、開発者はコードを一行も書くことなく、SDKを設定するだけで、エッジデバイスをWi-Fi(無線LAN)のネットワーク網に参加させることができます。今回の初心者講座では、まず前半でNuttXに同梱されたネットワーク機能の概要を紹介し、後半では動画を交えてビルド手順や実行の様子を紹介します。
SPRESENSEは「SPRESENSE SDK」に同梱されたリアルタイムOS「NuttX」により「POSIXインタフェース」に対応したアプリケーションを実行できます。今回は、まず「POSIXインタフェースの魅力」について触れ、次に移植性の鍵を握る「POSIXインタフェースの概要」を紹介します。最後に「ソフトウェアを移植するデモ」を動画にてお見せします。是非、システム開発の高効率化にお役立てください。
「リアルタイムOS(RTOS)」はタスク制御機能を提供するソフトウェア・プラットフォームです。今回の初心者講座マルチコア編では、SPRESENSEのアプリケーション開発から一歩踏み込み、SDK同梱のリアルタイムOS「NuttX」の特長と、その効果を紹介します。
今回の初心者講座マルチコア編では、広域通信網へ接続できるLTEを紹介いたします。SPRESENSEは、2019年12月に発売されたSPRESENSE用の「SPRESENSE LTE Board」により、広域通信網と接続可能(ゲートウェイが不要、またはゲートウェイ化として振る舞えることが可能)となり、WEBサービスやクラウドとの統合が可能となりました。そこで、本記事ではSPRESENSEを題材として、広域通信網に接続できるメリットや、マルチコアの活かし方、具体的な操作方法などを文章と動画を交えて紹介いたします。