Tech Sketch Bucket of Technical Chips by TIS Inc.

【ハッカソン参加レポート】「ISETAN meets Pepper」に参加してきました

Pocket

2015年8月22日(土)に「ISETAN meets Pepper」スペシャルハッカソンが開催されました。 このハッカソンは、三越伊勢丹、バンタン、ソフトバンクロボティクスによるものです。 バンタンデザイン研究所高等部の学生とPepperのアプリ開発を行なうエンジニアがコラボレーションし、スペシャルPepperを1日かけて制作しました。 その優秀作品3作品が伊勢丹新宿本店本館2階特設スペースにて特別展示されました。 イベントに参加したのでその様子をレポートします。

スケジュール

基本的なスケジュールはアイデアソン3時間、ハッカソン3時間です。その後、各チームの作品プレゼンテーションと審査・表彰が続きます。

自己紹介とチーム決め

まずは各チームの自己紹介。 高校生5チーム、エンジニア5チームが1チーム2分ほどで自己紹介しました。 高校生たちは意気込みや学校で学んでいることを話し、エンジニアたちは今までに作成したPepperアプリについて話しました。
IMG_2077

自己紹介の後は、チーム決めです。このハッカソンの面白いところは、デザイン系の高校生2,3名とエンジニア2,3名で1チームとするところです。自己紹介の内容を参考に、エンジニアチームが組みたい高校生チームを選びました。
IMG_2080

アイデアソン

チームが決まった後は、高校生とエンジニアの混合チームでアイデアソンをしました。 高校生が考えてきたアイデアをブレストを通じて、エンジニアたちが広げていきました。 アイデアソンの結果、私たちのチームは「お客様のほしいものをあいまいに占うアプリ」を作ることに決めました。
IMG_2097
IMG_2102

ハッカソン

作成風景はこちら。1チームに1台Pepperが割り当てられています。 私たちのチームでは、エンジニアがプログラミングを担当し、高校生が主に飾り付けとプレゼンテーションの準備を行いました。
11951978_1135751389771546_6659756776001878973_n
実際に作品を作る時間は3時間しかなかったので、みんな必死でした。

作成した作品の概要

私たちのチームでは「お客様のほしいものをあいまいに占うアプリ」を作成しました。 これは占いの特徴である「観察力」「話術」「聴く力」をPepperに導入することで、対話や観察を通じてお客様のほしいものを深く分析しつつも、あえて「黒い靴」のようにあいまいな表現で商品を提案するというアプリです。 あえて、あいまいな表現で商品を提案する理由は、あいまいな表現で提案された商品を探すために様々な場所に行ってもらうことで、ショッピングを楽しんでもらうためです。

処理の概要

まず、Pepperの頭に触れることで処理が始まります。 処理が始まると、目の前にいる人の年齢と性別を分析して取得します。 次に対話を行いますが、その際に先ほど取得した情報を用いて対話内容を変えます。今回は性別のみを対話に考慮しています。 たとえば、女性だったら「ブランド物は好きですか?」、男性だったら「新しいものは好きですか?」のような質問を3問します。 質問が3問終わったら、占い結果である商品をあいまいな表現にするためにぼかしてタブレットに表示します。
開発はCoregrapheを用いて行いました。Choregrapheでは特定の機能を持つボックスと呼ばれるものを組み合わせていくことでプログラミングを行うことができます。全体的な流れとしては以下のようになっています。
スクリーンショット 2015-08-31 10.07.24

まず、「Init Application」でアプリケーションの初期化を行います。「Attraction Mode」には、Pepperの頭に触れると次の「Guidance Mode」へ処理が進むように記述しています。「Guidance Mode」では目の前にいる人の情報を取得する処理と対話の処理が書かれています。「End Application」でアプリケーションの終了処理を行っています。

処理で工夫した点

年齢と性別の取得

本番で使用したChoregraphe2.05には年齢と性別を取得するためのボックスは存在しませんでした。そのため、今回それらのボックスはChoregraphe2.30から持ってきて代用したところ、うまく動作しました。 年齢は以下のようなボックスで取得しています。
get_age

年齢をうまく取得できなかった場合は、年齢として-1をメモリに格納します。
性別は以下のようなボックスで取得しています。
get_gender

性別をうまく取得できなかった場合は、性別としてunknownをメモリに格納します。 性別をうまく取得できなかった場合でも処理を続けるために、伊勢丹の客層を考慮した性別の確率分布を仮定して、そこから性別を取得して処理を継続するということを行いました。確率分布では男性2割、女性8割と仮定しています。

カメラ画像の表示

実は、タブレットには占い師をイメージして水晶玉の画像を表示しています。その水晶玉に目の前にいる人の顔が写りこんでいることを表現するために、Pepperのカメラで顔画像を撮り、撮った画像を水晶玉の中に表示するということを行いました。 対話終了後に占い結果である商品を表示するときには、顔画像を結果の商品画像とすり替えて表示しています。また、このとき商品をあいまいな表現にするために、商品画像にぼかしをかけています。

プレゼンテーション

ハッカソン終了後は作品のプレゼンテーションを行いました。 ハッカソンの時間は3時間しかなかったにもかかわらず、どのチームも個性的で完成度の高い作品を出してきました。 私たちのチームは、高校生が中心となってプレゼンテーションを行いました。
IMG_2356

デモの様子はこちら。本番では処理が止まることもなく、無事にデモを終えることができました。
IMG_2362

全作品はこちら。
IMG_2473

表彰

賞は最優秀賞、三越伊勢丹賞、ソフトバンク賞の3つです。 三越伊勢丹賞には、私たちのチームが輝きました。
IMG_2483

さいごに

IMG_2457
今回、私は初めてハッカソンに参加しましたが、このような賞を頂くことができました。 ただ、今回のハッカソンを通じて、「自分にもっと力があれば、もっと良いものが作れた」と強く感じました。 その思いを胸に、今後のPepperのアプリコンテスト等で今回の経験を活かしたいと思います。

写真提供:アビダルマ株式会社

参考URL

エンジニア採用中!私たちと一緒に働いてみませんか?