SPRESENSEではじめるローパワーエッジAI

「SPRESENSE」は、ソニーが独自開発したIoT向けセンシングプロセッサーを搭載した開発ボードです。省電力で高い計算能力と豊富なセンシング機能を備えていることが特徴です。本書はSPRESENSEの基本的な使い方とソニー独自のAIツール「Neural Network Console」を使用したIoT向けの組み込みAIを解説します。本書で取り上げるのは、リアルタイムでの画像認識、マイクとオートエンコーダを使った異常検知、物体抽出、音声コマンドの認識、加速度・ジャイロセンサーを使ったモーション認識など。Arduino IDEとGUIベースのNeural Network Consoleを組み合わせることで、AIの初学者でも容易に組み込みAIを実現できるでしょう。

目次

はじめに

1章　Spresenseとは？

• Spresenseについて
  Spresenseの技術情報
  Spresenseのハードウェアについて
  Spresenseがサポートしている開発環境
• Arduino IDEの開発環境を設定する
  Arduino IDE のインストール
  Spresense用ドライバーのインストール
  Spresense Arduino Board Packageのインストール
  Spresenseブートローダのインストール
• SpresenseでLEDを動かしてみる
  Arduino のスケッチを記述する
  本書で使用するプログラム、データの取得方法
  ダウンロードの方法
  ダウンロードファイルの構成

2章　Spresenseの周辺機器を動かす

• Spresenseでディスプレイを使う
  ILI9341液晶ディスプレイとSpresenseの接続
  ディスプレイライブラリをインストールする
  ディスプレイ動作確認
• Spresenseでカメラを使う
  Spresenseメインボードとカメラの接続
  カメラの動作を確認する
• Spresenseでマイクを使う
  Spresenseとマイクを接続する
  DSPファイルをインストールする
  録音機能を試してみる

3章　Spresenseの演算機能を使いこなす

• FFTとマルチコアプログラミングの基本
  FFTの基礎
  マイク入力信号をFFTで周波数データに変換する
  マルチコアプログラミングの方法

4章　Neural Network Consoleとは？

• Neural Network Consoleについて
  Neural Network Consoleの利用環境
  Neural Network Consoleの情報について
  Windowsアプリ版をインストールする
  クラウド版を設定する
• Neural Network Consoleを使ってみる
  データセットの準備と登録
  ニューラルネットワークの編集
  ニューラルネットワークの学習と評価
  学習済モデルの出力

5章　ニューラルネットワークを組み込み向けに最適化する

• ニューラルネットワークの構造と最適化
  基本的なニューラルネットワークの構成要素
  全結合要素の構造
  畳み込み要素の構造
  出力層と損失関数の構成
  ニューラルネットワークを最適化する
  学習データの不足を解消する

6章　SpresenseでAIを動かす

• 学習済モデルのSpresenseへの転送とプログラミング
  ファイルシステムライブラリの使い方
  DNNRTライブラリでAIを動作させる
  識動作を確認する

7章　カメラでリアルタイム画像認識を行う

• Spresenseのカメラを使ったリアルタイム画像認識
  Spresenseのカメラシステムを用意する
  学習済モデルを準備する
  Spresenseカメラで認識用入力画像を生成する
  リアルタイムで画像認識をする
• 学習データの収集
  CamCBの実装を変更する
  シャッターボタンを追加する
  画像データをデータセットに整える

8章　マイクとオートエンコーダで異常検知をする

• マイク入力とオートエンコーダを使った異常判定
  Spresenseの異常検知のモデルを準備する
  オートエンコーダによるパイプ異常検出
  オートエンコーダの学習済モデルを生成する
  オートエンコーダをSpresenseに組み込む
  学習用データを収集する

9章　セマンティックセグメンテーションで物体抽出を行う

• バイナリセマンティックセグメンテーションの実装
  Spresenseの検証環境を準備する
  セマンティックセグメンテーションの概要
  セマンティックセグメンテーションの学習済モデルを生成する
  バイナリセマンティックセグメンテーションをSpresenseに組み込む
• 学習データを生成する
  データセットを生成する

10章　スペクトログラムを使って音声コマンドを実現する

• スペクトログラムを使って音声コマンドを認識する
  Spresenseの検証環境を準備する
  Spresenseでスペクトログラムを表示する
  スペクトログラムの認識領域を抽出する
  スペクトログラムの学習済モデルを生成する
  音声コマンドの動作を確認する
  学習データの収集

11章　加速度・ジャイロセンサーを使ったモーション認識

• 加速度・ジャイロセンサーでジェスチャーを認識させる
  システムの構成
  加速度・ジャイロセンサーで角度を測定する
  ジェスチャー認識開始のトリガーを設定する
  学習済モデルを生成する
  ジェスチャー認識を試してみる
  学習データの収集

おわりに
索引

太田 義則　著
2022年02月28日 発売
272ページ
ISBN978-4-87311-967-0

資料

• 出版社の商品紹介ページ

商品コード: OREILLY-BOOK-012