Seeed SenseCAP Watcherを使ってみよう
こんにちは、アルバイトの平川です。今回は、Seeedから発売されているSenseCAP Watcherという物理AIエージェントについて紹介したいと思います。
SenseCAP Watcherとは
SenseCAP Watcherは、Seeed StudioのSenseCAPシリーズから登場したAIチップ搭載の設置デバイスです。SenseCAPでは、このWatcherの他にも温湿度センサ、小型光センサ、土壌センサなど、土壌管理用の製品がたくさん出ています。
今回のこのWatcherは、Seeed Studioとしては珍しく、画面に顔アイコンが表示される可愛いらしいデザインになっています。カラーバリエーションでは、白色とスケルトンタイプがあります。
|
|
準備
早速準備していきましょう。Seeed Studio公式のガイドを参考にします。
開封
箱はこのような感じ。内箱を出しましょう。
内箱を開くと、このような感じでWatcherがはまっています。
内箱の中にWatcherとUSBケーブル、台座が入っているので、先に出してしまいましょう。この内箱は、Watcherのフレームとして再利用できるようになっています。手順が書かれた絵に従って、フレームを組み立てましょう。
手順の絵はこのような感じです。この絵に従ってフレームを組み立てていきます。
フレームを組み立てるとこんな感じ。写真立てにも見えますね。
フレームを組み立てたら、Watcherの右上のホイールを数秒押します。画面がつき、パーセンテージが少しずつ増えていって、起動します。
ここから、Watcherへの細かい指示や設定などを調整するためのアプリを入れていきます。
Watcherを起動するとアプリを入れるためのQRコードが表示されるので、お手持ちのスマートフォン等で読み込み、「SenseCraft」というアプリをダウンロードします。
アプリを入れたら、Bluetoothの設定や、Wi-Fiの設定を行います。Wi-Fiは2.4GHzのみ対応なので少し注意が必要です。設定が終了すると、Watcherが起動します。
設定が完了すると、AIの推論周辺のアップデートが入る場合があります。
操作の紹介
電源を入れるのに使用したホイールは、操作インターフェースとしても使えるので、回転させてメニューをスクロール、押し込みで選択ができます。また、ディスプレイはタッチ可能で、スワイプでスクロール、タッチで選択ができます。
テンプレートタスク
Watcherにはテンプレートタスクが入っているので、まずはこちらで試してみましょう。テンプレートタスクとして、3種類の推論タスクが用意されています。
Human Detection（人検知）
タスクを開始した瞬間から私の顔を認識してアラートが出ました。顔だけでなく、体全体が映りこんでも、人物として認識されるようです。ピッと言う音とともに、LEDが点灯します。
Pet Detection（ペット検知）
犬と猫を認識するモデルになっているようです。オフィスに犬や猫はいないので、猫のぬいぐるみ（リアル寄り）でテスト…
猫が映りこむと、" CAT：83 "のような感じで、認識したペットの種類と、現在どれくらいの程度で信頼できるか（信頼度）が出ます。
83 %、結構猫と認識されてるっぽい…？
ジェスチャー検知（ジェスチャー検知）
さらにジェスチャー検知を試してみます。このモードでは手の形を識別するようです。
じゃんけんの3つのジェスチャー（Rock：グー、Scissor：チョキ、Paper：パー）を認識して、パーの時だけアラートを発します。
以上のテンプレートタスクは、Watcher 内の AI プロセッサで動いており、推論モデルがすでに入っているようです。30分ほど充電しながら使ってみましたが、ほのかに暖かい程度でした。
拡張モジュール
Watcherには、Groveセンサを接続し、その場で値の読み取りと表示を行う機能があります。現在使用できるのは以下の2つのセンサになります。使用できるセンサー類は今後追加予定のようです！
Watcher 向け SenseCraft AI
インターネットを経由したクラウドAIのサービスを使用することで、テンプレートタスク以上の複雑なタスクを行うことができます。
SenseCraft AIの利用には、プランが3つあり、クラウドLLMを用いた複雑なタスクを頻繁に利用する場合は有料プランになる必要があります。製品にSenseCraftProプランが初回無料で紐づけられており、画像解析20000回と、LLMチャットボットとの会話1000回が与えれています。
SenseCraft AI for Watcher Plans and Benefits
早速試してみましょう。SenseCraftアプリを開きます。
最初のセットアップ時に接続したWatcherが表示されているはずですので、それをタップします。 すると、最近よく見るチャットボット形式の画面が開きます。
LLMと日本語を使用した会話は可能ですが、指示は英語で行う必要があるようで、日本語で指示すると適当なタスク設定にされてしまいます。Watcherでは特定の条件を満たしたときに合成音声を喋らすことができるのですが、日本語で喋らせようとすると、"Japanese language"と連呼してしまいます。現状、英語と中国語のみとして考えた方が良いです。
とりあえず、LLMチャットボットに、雑に指示を投げてみます。
「If a person is holding a smartphone, display "Please do your work" on the screen and send a notification to the app.」
（もし誰かがスマートフォンを持っていたら、仕事に戻ってくださいと通知してください。）
こんな感じで、口頭での指示にある程度したがって、タスクを作成してくれます。
”Detail Configs”を押すと、より詳細な設定を行うことができます。
Scenario では、タスクとするシナリオを決められます。通常、Watcher内のAI推論によって、映っているものをまずざっくりと認識します。認識した物体が任意の信頼度に達した場合、LLMモデルに画像を投げて、その物体（人物や動物）が何をしているかを考えるという手順になるようです。
ここでは、Tiny ML ModelがWatcher内の推論、Vision LLMが外部のAIを用いた推論になります。Vision LLMは、個人でAI推論キット（Jettson Orinなど）を所有していればローカルでも回せるようですが、今回はクラウドLLMサービスであるSenseCraft AIを用いて検証します。
If yes, then do the following では、指示した状況と一致した場合に、どのような通知を出すか設定できます。Watcher本体のRGB LEDを光らせたり、音を出したり、SenseCraftアプリに通知を飛ばしたり、HTTPWebhookを利用して外部サービスから通知を受け取ったりなどの設定が可能です。
Capture Frequency では、画像のキャプチャー頻度を設定できます。AI Visionの制限により、最小頻度は30秒のようです。
設定が完了したらRun Taskを押すと、WatcherにタスクとTinyMLモデルの情報が送られます。
スマートフォンを持ったまま映り込むと、、、
Please do your work.
仕事をしてくださいとしっかりと怒ってくれました。
ちなみに、以下のような感じでアプリ側にもスマホを持っている人物が映り込んでいることがしっかりと通知されます。
スマホを持っていない場合は、人物としての推論の信頼度が表示されるのみで、通知は飛びませんでした。ただ、人物が映っていると30秒ごとに契約プランのImage Analysisの枠が消費されるので、キャプチャ頻度の設定には気を付けましょう。
キャプチャ頻度30秒でVisionLLMを付けて10分程度試していると、このような感じでCurrent UsageのImage Analysisが消費されていることが分かります。
最後に
今回はSeeed SencaCAP Watcherを紹介しました。可愛いデザインながらも、しっかりとペットの識別、顔の識別や、ジェスチャーの識別ができる優れものです。また、画像認識だけでなく、ネットを通した通知システムなどへの拡張もできるので、AIやIoTの学習・開発に最適と感じました。
気になった方は、以下の販売ページから詳細を確認いただければと思います。
https://www.switch-science.com/products/10010（透明色）
https://www.switch-science.com/products/10011（白色）
Zzz…
しばらく置いておいたら寝てしまいました。