Tech Sketch Bucket of Technical Chips by TIS Inc.

Pepperハンズオン勉強会を開催しました (Tech-Circle勉強会)

Pocket

Tech-Circle勉強会にて7/23(木)にアトリエ秋葉原Pepperハンズオン勉強会を開催しました。 当日は人間27名、Pepper13名の計40名の参加者に集まっていただきました!

Pepperハンズオン

勉強会の概要とPepperというテーマについて

今回のTech-CircleではSoftbankの感情認識ロボットPepperのハンズオン勉強会を行いました。

Pepperには様々なカメラ、マイク、センサが搭載されています。それらセンサから収集したデータを活用して機械学習を行うことで、人間と同様に人物の年齢や性別推定などさまざまなことを認識することができます。この機械学習を使ったアプリを実際に体験してみようというテーマで勉強会を開催しました。勉強会の詳細は以下でも記載しています。

Tech-Circle Pepperで機械学習体験ハンズオン勉強会inアトリエ秋葉原 - connpass

なお、今回の勉強会は以前、私達が業務としてPepperアプリ開発した際に学んだPepper開発技術をベースとしてハンズオン内容を作成しました。そのときに作成したアプリケーションは以下のyoutubeで確認することができます。こちらで作ったアプリの内容は過去の記事でも紹介しています。

勉強会で発表した内容

勉強会当日は「Pepperからクラウドweb APIを呼び出し、Pepperとクラウドの機械学習をつないでPepperを賢くする」というテーマでした。

内容としてはPepperのプロフィールの紹介、開発方法の紹介、対話をクラウドweb APIでどうやって賢くするかという内容のお話をしました。実際に使ったクラウドweb APIは以下の2つです。

発表資料はSlideshareで公開しているのでいつでも参照することができます。ご覧いただけるとうれしいです。

ハンズオンの内容

IMGP2902

当日のハンズオンの内容は以下Qiitaの記事として全て公開しています。

Tech-Circle - Pepperハンズオン まとめ [Tech-Circle#7] - Qiita

実際ハンズオン内容の構成は以下のとおりです。

~基本編A 対話基礎~ Dialogを使ってPepperと対話してみる(所要時間目安: 15分)

  • ① (復習) Speech Reco. + SayでPepperと対話してみる
  • ② Dialogを使ってPepperからの質問に答えてあげよう

基本編Aは想定参加者として設定していた既にPepper開発されている方々にとっては、復習的な位置付けです。初めて開発する方にとっても入りやすいよう、Pepperのネイティブ標準機能Speech Reco.Dialogをつかって簡単なPepperとの対話を体験してもらう内容でした。日常会話に出てくる頻度の高い挨拶「おはよう」、「こんにちは」などはPepperもちゃんと認識できるけど、頻度が低い人名、「田中です」などは、Pepperネイティブ標準機能ではちゃんと認識してくれないということを体験してもらいました。

あと、テーマに設定した内容が「四国にある県の県庁所在地をPepperが当てる」というどこにでもありふれた内容だったのですが、このテーマ設定のおかげで、とある参加者に四国出身とバレてしまい、さらにはその方が、たまたま同じ高校出身だったというようなプチ同窓会的な気分に浸れました。テーマ選びって重要ですね。はい。

~基本編B 音声認識~ Google Speech APIを使ってPepperにあなたの名前を知ってもらう(所要時間目安: 15分)

  • ① Google Speech APIをターミナルから実行してみる (要Pythonインストール)
  • ② Google Speech APIを使ってPepperにあなたの名前を確実に覚えてもらう
  • ③ (おまけ) よしもとロボット研究所モーションボックスライブラリでPepperに動きを付けてみよう

基本編Bは基本編Aでちゃん名前を認識してくれない課題を解決すべく、クラウド機械学習のGoogle Speech APIを使って音声認識をしてみようという内容です。

Pepperが目の前の話者から聞いた内容を音声つまりwavファイルとしてクラウドのGoogle Speech APIに連携して、音声認識した結果をテキストとして受け取るということに挑戦しました。結果は流石Googleという感じで、皆さんの名前をちゃんとPepperが認識できるようになりました。

こちらでは、平日の夜の時間の限られたハンズオンということ、かつ、なるべく皆さんへ最後まで体験してもらいたいということもあり、あらかじめ処理すべき内容をPythonで記述したtechcircle_box ボックスライブラリを用意しおきました。当日はそれをつかってもらう形でアプリを制作してもらいました。ただし、人間 3名に対してPepper 1名という関係もあり、ここのハンズオンでかなりの時間を使ってしまいました。ハンズオンの時間見積りの難しさを実感しました。バッファ重要ですね。

techcircle_box ボックスライブラリについては後の章ですこし説明します。

~基本編C 画像認識~ ReKognition APIを使ってPepperにあなたの見た目の印象を聞いてみる(所要時間目安: 20分)

  • ① ReKognition APIをターミナルから実行してみる (要Pythonインストール)
  • ② Pepperにあなたの性別と年齢を聞いてみる

基本編Cは今度はPepperの目に注目しました。画像認識してさまざまなことができるReKognition APIを使います。

Pepperが目の前を見た画像つまりjpegファイルとしてクラウドのReKognition APIに連携して、その結果として認識した内容を取り出します。このAPIの結果としては人物の性別、年齢、人数などの基本的なものだけでなく、人種、メガネをかけているか、beauty(美しさ?)など変わった情報まで取得することができます。beautyのスコアに応じて、Pepper話し口調を変えるとかも簡単にできちゃいますね。

当日は残念ながら基本編Bで時間をほとんど使ってしまったので、ここではあまりハンズオン時間は取れませんでした。少し消化不良な感じになってしまいました。 Pepper with 画像認識は非常にさまざまな応用の可能性がある部分なので、参加されてない方も、参加された方で最後までハンズオンできなかった方も、ぜひQiitaの記事を読みながら試していただければと思います。Qiita記事読んでハンズオン実施された方はQiitaのコメント等でご意見いただけると嬉しいです。

IMGP3024

techcircle_box ボックスライブラリ

上記ハンズオンで利用したボックスライブラリはロボットスタート社のロボットアプリ共有サービスrobot library、および、GitHubで公開しています。

このボックスライブラリには音声認識用のgoogle_sttと、画像認識用のrekognitionの2つのフォルダがあります。これらのフォルダの中のボックスでは以下のような処理を行っています。 エラー処理とかについてはきちんと実装していないので、学習用途のボックスライブラリにはなりますが、ぜひダウンロードしてQiita記事を参考に使ってみてください。

google_stt

Google Speech APIを利用して音声認識:Speech to Text (音声からテキストへの変換)を簡単にPepperに組み込むためのボックス群です。以下のボックスが含まれます。

  • Record Sound for Google STT: Pepperが聞いた内容をGoogle Speech APIで取り扱い易い形式の音声(wav)ファイルにする
  • HTTP Google STT: 音声ファイルをGoogle Speech APIに投げて、認識結果のテキストとして受け取る

rekognition

ReKognition APIを利用して画像認識を簡単にPepperに組み込むためのボックス群です。以下のボックスが含まれます。

  • Take Face Picture: Pepperが見た人物を画像(jpeg)ファイルにする
  • HTTP ReKognition: 画像ファイルをReKognition APIに投げて、認識結果をjson形式として受け取る

LT(Lightning Talks)

LTは当日参加者の中から募集しました。Pepper神社のTomomiOtaさんに「Pepperのいる生活」という内容で刺激的でエキセントリックな内容のLTを発表していただきました。ありがとうございました!

IMGP3077

さいごに

今回アルデバラン・アトリエ秋葉原に会場協力いただきました。アルデバラン・アトリエ秋葉原の皆様ありがとうございました。アルデバラン・アトリエ秋葉原ではワークショップを定期的に開催中です。興味がある方はぜひ、以下より予約の上、ぜひ参加してみてください。

Tech-CircleではPepperだけでなく、インフラ技術~機械学習技術に注目して幅広いテーマ感で、ほぼ毎月勉強会を開催しています。興味が有りましたら、ぜひconnpassページからグループに登録してみてください。

また共同での勉強会の企画などもできればと考えています。ぜひ、スタッフまでお声がけください。よろしくお願いします!

エンジニア採用中!私たちと一緒に働いてみませんか?