□研究の背景
拡張記憶は，ユーザの日々の活動におけるコンテクストを計算機が保持しておき，その一部を再現してユーザの想起活動を促すことで，ユーザ自身の記憶領域が拡張したかのように感じられるような支援を行うという考え方で，「体験メディア」という用語を使うこともあります．カメラやマイクロフォンを身体に装着してユーザの日常活動を入力・記録すると共に，ユーザの置かれた様々な場所や時における状況を認識するために運動センサ等の身体装着デバイスや環境中の様々なデバイスと連携する必要があるため，この分野の研究はウェアラブルコンピューティングやユビキタスコンピューティングのコンセプトと親和性が高くなっています．我々は特にユーザが「見た」一人称情報が獲得・蓄積でき，そのデータを再生することでユーザの体験を「再現」できる視覚情報入力デバイスとしてのカメラを身体に装着した拡張記憶インタフェースを主に提案・試作しています．特に我々は「モノ」，すなわち実世界対象物と「場所」を手がかりにした記憶拡張が有効であると考えています．
また，IPA 未踏ソフトウェア創造事業においても，体験メディアを中心に ユーザの知的能力を増強するソフトウェアの開発プロジェクトを支援していますので， こちらもご覧下さい．．
○本分野の総合解説記事 ○参考文献
□ 物探し支援システムのための筋電位情報からの物体把持状態検出
-
I'm Here!では身体装着カメラを用いて物探しを支援していました.
カメラ映像のみを用いると, 下図のようにオブジェクトを置く動作がカメラの視野外で行なわれた場合,
ユーザに正しい情報を提示できません. そこで腕の筋電信号を用いて掌の開閉を検出することでオブジェクトを設置した瞬間が,
カメラの視野外であった場合でも常に「認識した場所と設置した場所」が一致し, 正しい情報をユーザに提示できます.
左図にウェアラブル物探し支援システムの流れを示します.
筋電信号計測装置から腕の筋電信号を計測し,
得られた動作波形の周波数特性を捉えて把持状態を検出することで,
探したいオブジェクトが設置された瞬間を検出します. 検出結果を基に,
オブジェクトが設置された瞬間のカメラから得られたフレームにタグ付けを行い,
その前後の映像をユーザに提示します.
□
もの探し支援インタフェースにおける機能とデザインの両立
I'm Here!では身体装着カメラObjectCam2を
頭部に装着していました．
これは頭部装着カメラは視点に近い場所・姿勢で設置されているため，
把持物体をよく捉えているだろうという予測に基づいていました．
しかし，頭に大きなカメラを装着するという外見は現実の日常生活では奇異な上に，
首や肩に負担がかかります．
本研究ではもの探しという機能ニーズと日常生活の自然性というデザインニーズを両立させるために，
カメラを腰に装着するスタイルをとって衣生活に溶け込むファッション性を目指しました．
被験者実験の結果，頻繁かつ高速に姿勢を変更し，
また無意識に把持物の設置を行う際には顔が把持物や設置位置を向いていないことが多いなどの特性を持つ
頭部装着カメラよりも，腰部装着カメラの方が安定して把持物を捉えていることがわかりました．
また，腰部装着カメラの方が記録映像を見たユーザがその場所を認知しやすいことも確認され，
提案デザインがもの探しに適した機器配置であることが確認されました．
○参考文献
○ビデオ
○報道
□もの探しのためのウェアラブルインタフェースI'm Here!
日常生活において，ものを置いた場所を思い出せずに探し回らなければならない場面が頻発します．
ある統計ではビジネスマンがもの探しのために浪費する時間は1年間に150時間に達すると言われています．
I'm Here!はそのようなもの探しを支援するウェアラブルシステムです．
I'm Here!を使うと，
1) 身体装着カメラによりユーザの視点に近い位置から撮影した視野映像を常時獲得すると共に，
2) ユーザが物体を手に持っていればその把持物体が何であるかを視野映像から常時認識し，その情報を視野映像と共に拡張記憶として蓄積しておき，
3) ものを探す必要性が生じた際にユーザがシステムに探索対象物を指定すれば，システムは指定された物体が最後に認識された場面の視野映像をHMDに再生し，
4) ユーザは対策対象物を視野内に含む提示映像の背景に映り込んでいる情報から撮影場所，すなわち探索対象物を最後に把持していた場所を推定する，
ことで探しものの場所を素早く思い出すことができます．I'm Here!は視野映像から把持物体を抽出するためにObjectCamやObjectCam2を利用しています．
○参考文献
○ビデオ
○報道
□Ubiquitous Memories: 遍在する実世界対象物を依代とした体験記録管理手法
実世界物体は，人にとって体験を思い出すトリガとなる機能を備えています．
また生物・無機物を問わない全てのものの中に霊魂もしくは霊が宿っているというアニミズム的な考え方が，
古来より宗教・習俗の中に世界的に広く存在しています．
UbiquitousMemoriesは人がモノに対して持つ上記のような感覚を利用し，
ユーザは手首に小型RFIDタグリーダを装着して
個々のモノに関連する身近な体験を「封じ込め」ます．
つまり遍在する対象物を体験記録メディアとして使うというメタファを採用し，
そして人がモノに「触れる」という動作を「封じ込め（関連付け）」たり「解放し（閲覧し）」たりの操作のトリガとしています．
これにより，ユーザは日常生活の中で体験記録を自然なオペレーションで整理することができ，
また他のユーザと記憶（体験記録）を共有できます．
○参考文献
○ビデオ
○報道
□Residual Memory: 場所をトリガとする記憶想起インタフェース
人は，過去に体験したのと似た光景に遭遇すると，過去の体験を思い出すことがよくあります．
Residual Memoryは，常時獲得されるユーザ視点画像と既に蓄積された未編集の長大な体験映像記録との類似性を判定し，類似性の高い映像区間を「ユーザの現在地で過去に記録された映像」であると判断して，検索結果の映像をユーザに提示するインタフェースです．
ユーザはこのシステムを使うことで，来たことのある場所に意識することなく再び訪れた際に，その場所での拡張記憶要素を提示してその場所での思い出を想起させられます． また，特定の場所で発生した出来事を思い出すために，ユーザがその場所に行くことで映像記録を参照して内容を確認するという備忘録的な使い方もできます．このようなインタフェースの実現のために，(1)頭部装着カメラ辺に取り付けた加速度センサによりユーザの頭部運動を検出すると共に， (2) 映像中の運動領域を検出し，それらの影響をキャンセルした形で映像間の類似度計算を行っています．この類似度計算を準リアルタイムに行うために，頭部装着カメラ映像の時間的，空間的遷移特性を利用したHySIMを提案しています．
○参考文献
○ビデオ
○報道
□記憶する住宅：個人体験画像の受動閲覧による記憶拡張支援
個人体験をディジタル化し，記憶想起活動を支援する場として住宅を記憶媒体とする試みを行いました．
住宅内部に大量のストレージを内蔵し，個人の「見たもの」「書いたもの」をスチル画像化して蓄積し，
それを整理しブラウジングする環境を構築しました．
膨大なスチル画像を住宅内に設置した複数のディスプレイ上に並列にスライドショウ表示し，
ユーザが住宅内で常時それらの画像を受動的に閲覧することにより記憶想起活動が活性化することを確認しました．
○参考文献
○報道
□ObjectCam：I'm Here!のための把持物体抽出カメラ
I'm Here!を実現するために把持物体抽出カメラObjectCamを作りました．
ObjectCamは可視光カラーカメラと赤外線カメラがビームスプリッタを介して光軸一致状態になるようセットされており，
可視光カメラからのカラー映像と共に
ObjectCam前部に設置された赤外線LEDからの反射赤外光を取得することができる．
対象物か得られる反射光輝度が光源からの距離の二乗にほぼ反比例するということを利用して
赤外線カメラからの入力をマスク画像とすることで，
ObjectCamはユーザが把持している物体のような近接した領域の画像を簡便な処理で得ることができます．
○報道
□ObjectCam2：環境に対するロバスト性を増した把持物体抽出カメラ
ObjectCamは環境中に屋外や窓際などの赤外線が豊富にある環境では有効に機能しない上に，
ビームスプリッタと2台のカメラを厳密に設置しなければなりませんでした．
これを改良したObjectCam2は高速なCMOSセンサを採用して光学系をひとつに集約し，
赤外光源を明滅させる構成にしました．
赤外光源の明滅にあわせて消灯時にはカラー画像を，
点灯時には反射してくる赤外光を含むカラー画像を交互に撮影します．
そして，ObjectCam2は消灯時と点灯時の画像の明度を差分し，照射された赤外光の反射光のみを観測した画像（反射赤外画像）を得ます．
このような構成により，ObjectCam2は環境中に赤外光成分が豊富に存在する窓際のような環境でも
ユーザ把持物体を安定して抽出することができます．
協力：(株)ソニー木原研究所
（現在，ソニー（株）技術開発本部）
○参考文献
○ビデオ
■ 研究発表
学術論文誌
査読付口頭発表
解説
その他の口頭発表