情報処理装置、情報処理方法及びプログラム
【課題】カメラにより撮像されプロジェクタにより投影された画像を、容易かつ直感的な操作で記憶すること。
【解決手段】携帯情報機器１００のＣＰＵ１１は、投影領域１０内に被写体が存在することを検出すると、「Capture」ボタン５０を投影像に含ませるようにプロジェクタ２を制御し、「Capture」ボタン５０がユーザの指等で押されたことをカメラ３による撮像画像を基に検出すると、カメラ３による撮像画像をキャプチャする。キャプチャ画像からは被写体画像が抽出され、被写体画像からはメタデータが認識され記憶される。
【解決手段】携帯情報機器１００のＣＰＵ１１は、投影領域１０内に被写体が存在することを検出すると、「Capture」ボタン５０を投影像に含ませるようにプロジェクタ２を制御し、「Capture」ボタン５０がユーザの指等で押されたことをカメラ３による撮像画像を基に検出すると、カメラ３による撮像画像をキャプチャする。キャプチャ画像からは被写体画像が抽出され、被写体画像からはメタデータが認識され記憶される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ及びプロジェクタを有する情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、カメラで撮影した画像をプロジェクタによって表示することが可能な装置が知られている。例えば、下記特許文献１には、カメラによる対象物の撮影画像と、入力装置から入力される付加情報とを合成して投影画像を作成して、当該投影画像を、対象物の存在位置に対応付けて投影させる情報提示装置が開示されている。これにより、この情報提示装置は、対象物が移動した後も対象物の痕跡を残すことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５１２０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザが、上述のようにカメラで撮像されプロジェクタで投影された対象物の画像を装置に記憶（キャプチャ）することを望む場合が考えられる。上記特許文献１に記載の技術においては、撮影された対象物の画像は、付加情報との合成のために情報提示装置に取り込まれるが、当該取り込みは自動的に実行され、ユーザはその処理に関与していない。したがって、ユーザが所望の対象物を撮影（撮像）範囲に対象物を置いたときに、ユーザの意図しない画像が記憶されてしまう可能性がある。
【０００５】
また、上記特許文献１に記載の技術では、対象物に関連する付加情報が投影画像に重畳されるが、この付加情報の入力は、カメラ及びプロジェクタに接続された情報提示装置の入力装置（キーボードやマウス等）によって行われる。この技術は、例えばプレゼンテーションやウェブ会議等、複数の人が大型のスクリーン等で投影画像を共有し、各人が手元に有する情報提示装置からその投影画像に対して情報を入力する場面を想定したものである。
【０００６】
しかし、例えば机や床等、より小さい領域に対象物を置いて撮影及び投影することを想定した場合、ユーザはその投影領域に注目しており、かつ対象物を把持したり、投影領域内に載置したりする必要がある。したがって、ユーザが、その対象物の画像を装置に記憶させるための操作を上記入力装置によって行う場合、操作が煩雑となり、直感性に欠ける結果となる。
【０００７】
以上のような事情に鑑み、本発明の目的は、カメラにより撮像されプロジェクタにより投影された画像を、容易かつ直感的な操作で記憶することが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、プロジェクタと、カメラと、第１の記憶部と、制御部とを有する。上記プロジェクタは、第１の操作用画像を含む投影像を所定領域に投影する。上記カメラは、上記所定領域内の被写体を撮像する。第１の記憶部は、ＲＡＭ（Random Access Memory）、内蔵フラッシュメモリ、メモリカード、ＨＤＤ（Hard Disk Drive）、光ディスク等である。上記制御部は、上記カメラにより撮像される撮像画像を基に上記第１の操作用画像への操作を検出し、当該操作が検出されたときに、上記撮像画像のうち少なくとも上記被写体の画像を記憶するように上記第１の記憶部を制御する。
上記第１の操作用画像とは、アイコン、ボタン、図形、文字等、ユーザの操作の対象となる画像をいう。上記第１の記憶部は、上記第１の操作用画像への操作の検出は、例えば異なる時間の撮像画像の差分を用いて、例えば第１の操作用画像がユーザの指で触れられたか否かを検出することで実行される。上記被写体は、例えば名刺や音楽ＣＤジャケット等であるが、これらに限られず、あらゆる物が想定される。
この構成により、投影像に含まれる第１の操作用画像への操作が検出されたときに被写体の画像が記憶される。したがってユーザは、所望の被写体の画像を、情報処理装置自体には触れずに投影像に対する操作のみで容易かつ直感的に第１の記憶部に記憶させることができる。
【０００９】
上記情報処理装置は、第２の記憶部をさらに有してもよい。この場合、上記制御部は、上記撮像画像を基に上記被写体のメタデータを認識し、当該メタデータを所定のリストの一部として記憶するように上記第２の記憶部を制御してもよい。
また、第２の記憶部は、上記メタデータとともに、上記第１の記憶部に記憶された撮像画像や、当該撮像画像から抽出された被写体の画像を記憶してもよい。
上記第２の記憶部は、ＲＡＭ、内蔵フラッシュメモリ、メモリカード、ＨＤＤ、光ディスク等であり、上記第１の記憶部と同一のものであってもよいし、別個のものであってもよい。第１の記憶部と第２の記憶部とが別個のものである場合、典型的には、第１の記憶部はＲＡＭ（クリップボード）等の一時記憶媒体であり、第２の記憶部は内蔵フラッシュメモリ、メモリカード、ＨＤＤ、光ディスク等の不揮発性の記憶媒体である。
上記メタデータとは、例えば被写体の正体（アイデンティティ）、著作情報、被写体に含まれる文字等のデータ等、被写体に関連するデータである。メタデータの認識は、例えばパターンマッチングや特徴認識等の画像認識技術、ＯＣＲ（Optical Character Reader）等の文字認識技術を用いて実行される。所定のリストとは、例えばコンテンツリスト、連絡先リスト等、各被写体の種類に応じたリストである。メタデータは、上記被写体の画像とともにリストの一部として記憶されてもよいし、被写体の画像とは別個に記憶されてもよい。
これによりユーザは、被写体の画像自体のみならず、当該被写体のメタデータも情報処理装置に容易かつ直感的な操作で第２の記憶部へ記憶させることができる。
【００１０】
上記制御部は、上記メタデータが認識できたか否かを示す情報を上記投影像に含めるように上記プロジェクタを制御してもよい。
これによりユーザは、被写体のメタデータが認識できたか否かを容易に把握できる。また、メタデータが認識できなかった場合には、ユーザは、所定領域内における被写体の位置や姿勢を変更する等、認識精度を高めるための作業を行い、認識を確実に実行させることができる。
【００１１】
上記制御部は、上記操作が検出されたときから所定時間、上記投影像の照度を上記検出の前よりも大きくするように上記プロジェクタを制御してもよい。
これにより情報処理装置は、従来のスチルカメラのフラッシュをプロジェクタの投影像で擬似的に再現することができる。よってユーザは、記憶された画像を確認することなく、当該画像が記憶されたことを直感的に認識することができる。上記所定時間とは例えば０．５秒〜１．５秒程度であるが、この範囲に限られず、画像が記憶されたことをユーザが認識できればいかなる時間でもよい。
【００１２】
上記制御部は、上記撮像画像を基に上記被写体が上記所定領域内に存在するか否かを検出し、上記被写体が上記所定領域内に存在することが検出された場合に、上記第１の操作用画像を上記投影像に含めるように上記プロジェクタを制御してもよい。
これにより、所定領域内に被写体が存在する場合にのみ第１の操作用画像が投影されるため、被写体が存在しないにも関わらず第１の操作用画像が投影され視認性が損なわれることを防ぐことができる。またユーザは、被写体の画像を記憶させるための準備が整ったことを容易に認識することができる。被写体の存在の有無の検出は、例えば異なる時間の撮像画像の差分を用いて行われる。
【００１３】
上記制御部は、上記メタデータが認識された被写体が上記所定領域内に存在しなくなったことが検出されたときに、上記メタデータを記憶するように上記第２の記憶部を制御してもよい。
これによりユーザは、第１の記憶部へ被写体の画像が記憶された後、所定領域から被写体を取り除くだけで、被写体の画像及びメタデータをリストの一部として第２の記憶部へ記憶させることができる。
【００１４】
この場合上記制御部は、上記所定領域内に存在する複数の被写体からそれぞれメタデータを認識してもよい。そして上記制御部は、複数の被写体が全て上記所定領域内に存在しなくなったことが検出されたときに、上記複数のメタデータをそれぞれ上記所定のリストの一部として一度に記憶するように上記第２の記憶部を制御してもよい。
これによりユーザは、上記所定領域内に複数の被写体を置き、第１の記憶部へ各被写体の画像が記憶された後、各被写体を所定領域内から取り除くだけで、全ての被写体の画像及びメタデータを一度に第２の記憶部へ記憶させることができる。
【００１５】
また上記制御部は、上記所定領域内に存在する、第１の被写体及び当該第１の被写体とは異なる種類の第２の被写体からそれぞれメタデータを認識してもよい。そして上記制御部は、第１の被写体が上記所定領域内に存在しなくなったことが検出されたときに、当該第１の被写体の第１のメタデータを第１のリストの一部として記憶するように上記第２の記憶部を制御してもよい。同様に上記制御部は、第２の被写体が上記所定領域内に存在しなくなったことが検出されたときに、当該第２の被写体の第２のメタデータを第２のリストの一部として記憶するように、上記第２の記憶部を制御してもよい。
これによりユーザは、異なる種類の被写体を所定領域内に置き、第１の記憶部への各被写体の画像の記憶後、所定領域から各被写体を取り除くだけで、各被写体の種類に応じた各リストの一部として各被写体のメタデータを第２の記憶部へ記憶できる。
【００１６】
上記制御部は、上記メタデータが認識されたときに、上記第１の操作用画像とは異なる第２の操作用画像を上記投影像に含めるように上記プロジェクタを制御してもよい。そして上記制御部は、上記撮像画像を基に当該第２の操作用画像への操作を検出し、当該操作が検出されたときに、上記メタデータを記憶するように上記第２の記憶部を制御してもよい。
この第２の操作用画像も、アイコン、ボタン、図形、文字等、ユーザの操作の対象となる画像であり、上記第１の操作用画像とは区別可能な状態で投影される。
これにより、ユーザは、第２の操作用画像に対する容易かつ直感的な操作により、各被写体のメタデータをリストの一部として第２の記憶部へ記憶させることができる。
【００１７】
この場合上記制御部は、上記所定領域内に存在する複数の被写体からそれぞれメタデータを認識してもよい。そして上記制御部は、上記第２の操作用画像への操作が検出されたときに、上記複数のメタデータをそれぞれ上記所定のリストの一部として一度に記憶するように上記第２の記憶部を制御してもよい。
これによりユーザは、上記所定領域内に複数の被写体を置き、第１の記憶部へ各被写体の画像が記憶された後、第２の操作用画像に対して一度の操作を行うだけで、全ての被写体のメタデータを第２の記憶部へ記憶させることができる。
【００１８】
また上記制御部は、上記所定領域内に存在する、第１の被写体及び当該第１の被写体とは異なる種類の第２の被写体からそれぞれメタデータを認識してもよい。そして上記制御部は、上記第２の操作用画像への操作が検出されたときに、当該第１の被写体及び当該第１の被写体の第１のメタデータを第１のリストの一部として記憶するように上記第２の記憶部を制御してもよい。同様に上記制御部は、当該第２の被写体及び当該第２の被写体の第２のメタデータを第２のリストの一部として記憶するように、上記第２の記憶部を制御してもよい。
これによりユーザは、異なる種類の被写体を所定領域内に置き、第１の記憶部への各被写体の画像の記憶後、第２の操作用画像を一度操作するだけで、各被写体の種類に応じた各リストの一部として各被写体のメタデータを第２の記憶部へ記憶できる。
【００１９】
上記制御部は、上記被写体の画像を用いて、上記メタデータを上記所定のリストの一部として記憶する様子を示すアニメーションを投影するように上記プロジェクタを制御してもよい。
これにより情報処理装置は、被写体のメタデータを記憶する様子をユーザに閲覧させることで、ユーザの興趣の向上を図りながら、記憶したことを分かり易くユーザに把握させることができる。
【００２０】
上記制御部は、上記被写体の画像が上記第１の記憶部に記憶された後、当該被写体が当該記憶時の位置から移動したか否かを検出してもよい。そして上記制御部は、当該被写体が移動したことが検出されたときに、上記第１の記憶部に記憶された上記被写体の画像を、当該記憶時の位置に投影するように上記プロジェクタを制御してもよい。
これにより、ユーザは、被写体を所定領域から取り除いても、当該被写体が第１の記憶部に記憶されたことを容易に認識することができる。
【００２１】
本発明の他の形態に係る情報処理方法は、プロジェクタとカメラと記憶部とを有する情報処理装置における情報処理方法である。
この情報処理方法においては、操作用画像を含む投影像が上記プロジェクタにより所定領域に投影される。上記所定領域内の被写体が、上記カメラにより撮像される。上記カメラにより撮像される撮像画像を基に上記操作用画像への操作が検出される。上記操作が検出されたときに、上記撮像画像のうち少なくとも上記被写体の画像が記憶部に記憶される。
この方法により、投影像に含まれる操作用画像への操作が検出されたときに被写体の画像が記憶されるため、ユーザは、所望の被写体の画像を、情報処理装置自体に触れることなく、投影像に対する操作のみで容易かつ直感的に記憶部に記憶させることができる。
【００２２】
本発明のまた別の形態に係るプログラムは、プロジェクタとカメラと記憶部とを有する情報処理装置に、投影ステップと、撮像ステップと、検出ステップと、記憶ステップとを実行させる。
上記投影ステップは、操作用画像を含む投影像をプロジェクタにより所定領域に投影する。上記撮像ステップは、上記所定領域内の被写体をカメラにより撮像する。上記検出ステップは、上記カメラにより撮像される撮像画像を基に上記操作用画像への操作を検出する。上記記憶ステップは、上記操作が検出されたときに、上記撮像画像のうち少なくとも上記被写体の画像を記憶部に記憶する。
このプログラムの実行により、投影像に含まれる操作用画像への操作が検出されたときに被写体の画像が記憶されるため、ユーザは、所望の被写体の画像を、情報処理装置自体に触れずに、投影像への操作のみで容易かつ直感的に記憶部に記憶させることができる。
【発明の効果】
【００２３】
本発明によれば、カメラにより撮像されプロジェクタにより投影された画像を、容易かつ直感的な操作で記憶することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る携帯情報機器の外観及びその使用状態を示す図である。
【図２】本発明の一実施形態に係る携帯情報機器のハードウェア構成を示した図である。
【図３】本発明の一実施形態に係る携帯情報機器がカメラの撮影画像をキャプチャする際の動作の流れを示したフローチャートである。
【図４】本発明の一実施形態において、ＣＰＵが投影領域内の被写体の存在を検出して「Capture」ボタンを投影させる際の投影領域の様子を示した図である。
【図５】本発明の一実施形態において、ＣＰＵが「Capture」ボタンが押されたことを検出して撮像画像をキャプチャする際の投影領域の様子を示した図である。
【図６】本発明の一実施形態において、ＣＰＵが投影領域内の複数の被写体の存在を検出して「Capture」ボタンを投影させる際の投影領域の様子を示した図である。
【図７】本発明の一実施形態において、投影領域内に被写体が複数存在する場合にＣＰＵが「Capture」ボタンが押されたことを検出して撮像画像をキャプチャする際の投影領域の様子を示した図である。
【図８】本発明の一実施形態に係る携帯情報機器が被写体の画像及び被写体のメタデータを記憶する際の動作の流れを示したフローチャートである。
【図９】本発明の一実施形態において、キャプチャ後に被写体画像が投影される様子を示した図である。
【図１０】本発明の一実施形態において、メタデータの認識結果表示画像が投影される様子を示した図である。
【図１１】本発明の一実施形態において、名刺の文字情報が連絡先リストに記憶される際に投影されるアニメーションを示した図である。
【図１２】本発明の他の実施形態において、メタデータの記憶を、ボタンへのユーザの操作を基に実行する場合における携帯情報機器の動作の流れを示したフローチャートである。
【図１３】本発明の他の実施形態において、投影領域内にメタデータを記憶させるためのボタンが投影された様子を示す図である。
【図１４】本発明の他の実施形態において、投影領域内の異なる種類の被写体がそれぞれキャプチャされそれぞれについてメタデータが記憶される例を示した図である。
【図１５】本発明の他の実施形態において、投影領域と撮像領域とが一致しない場合の投影像の例を示した図である。
【図１６】本発明の他の実施形態において、アニメーション途中で誤った文字が修正される様子を示した図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２６】
［システムの概要］
図１は、本発明の一実施形態に係る携帯情報機器の外観及びその使用状態を示す図である。
同図に示すように、本実施形態に係る携帯情報機器１００は、例えば手に収まる程度の大きさの筐体１を有し、例えば机や床等の水平面に載置されて使用される。もちろん、携帯情報機器１００は、壁等の垂直面に掛けられて使用されても構わない。
【００２７】
この携帯情報機器１００は、プロジェクタ２、カメラ３、ディスプレイ４を有する。
プロジェクタ２は、机上や床上の、所定範囲の矩形の投影領域１０に、例えばＧＵＩ（Graphical User Interface）やイメージデータ等を含む投影像を投影する。カメラ３は、当該投影領域１０を撮像する。すなわち、プロジェクタ２の投影範囲とカメラ３の撮像範囲とは一致している。ユーザは、プロジェクタ２の投影像に対して手Ｈの指等で操作を行い、携帯情報機器１００は、カメラ３によりそのユーザの操作を認識し、その操作に応じた処理を実行する。また携帯情報機器１００は、ユーザにより投影領域１０内に載置された被写体を撮像し、投影像に対するユーザの操作に応じて当該撮像画像を記憶（キャプチャ）する。さらに携帯情報機器１００は、キャプチャされた撮像画像または当該撮像画像から抽出された被写体の画像をプロジェクタ２により投影する。
【００２８】
［携帯情報機器のハードウェア構成］
図２は、上記携帯情報機器１００のハードウェア構成を示した図である。
同図に示すように、携帯情報機器１００は、上記プロジェクタ２、カメラ３、ディスプレイ４のほか、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、フラッシュメモリ１３、スピーカ１４、キー／スイッチ部１５を有する。また携帯情報機器１００は、メモリカードＩ／Ｆ（インタフェース）１６、外部Ｉ／Ｆ１８等の各種インタフェースを有する。
【００２９】
ＣＰＵ１１は、携帯情報機器１００の各部と信号をやり取りして各種演算を行い、投影処理、撮像処理及びその他の処理を統括的に制御する。
ＲＡＭ１２は、ＣＰＵ１１の作業領域として用いられ、ＣＰＵ１１が処理する例えばカメラ３による撮像画像、当該撮像画像から抽出された被写体の画像、当該被写体から認識されたメタデータ等の各種データやプログラムを一時的に格納する。ＲＡＭ１２は、上記撮像画像や被写体の画像を一時的に記憶する（キャプチャ）するための領域（クリップボード）を有する。
【００３０】
フラッシュメモリ１３は、例えばＮＡＮＤ型のものである。フラッシュメモリ１３は、上記撮像画像、被写体の画像及びメタデータ、プロジェクタ２により投影される画像、その他音声、テキスト等の各種データ、ＣＰＵ１１が実行する制御プログラムやアプリケーション等の各種プログラムを記憶する。またフラッシュメモリ１３は、本実施形態において撮像画像または抽出された被写体の画像をキャプチャし、メタデータを認識して記憶するためのアプリケーションプログラムも記憶する。当該アプリケーションは、メモリカード１７等の他の記録媒体に記憶されていても構わない。携帯情報機器１００は、当該フラッシュメモリ１３に代えて、またはそれに加えて、ＨＤＤを有していてもよい。
【００３１】
スピーカ１４は、例えば撮像時やその他の操作時等に、上記フラッシュメモリ１３等に記憶された音声を出力する。
キー／スイッチ部１５は、例えば電源のＯＮ／ＯＦＦや各種機能の切替等、上記タッチパネル５への操作では実行できない機能や、タッチパネル５への操作で実行できる機能と同等の機能に対応した操作を受け付け、入力信号をＣＰＵ１１へ伝える。
【００３２】
メモリカードＩ／Ｆ１６は、例えばメモリースティック等の各種メモリカード１７と接続して、例えば上記撮像画像等の各種データをメモリカード１７へ記憶させる。またメモリカードＩ／Ｆ１６は、メモリカード１７内の各種データをＲＡＭ１２へ読み出し、ＣＰＵ１１により再生させる。
外部Ｉ／Ｆ１８は、例えばＵＳＢ（Universal Serial Bus）や無線ＬＡＮ（Local Area Network）等の各種規格に基づいて、有線または無線により外部機器と接続し、各種データのやり取りを行う。
【００３３】
上記プロジェクタ２は、例えば液晶プロジェクタであり、投影制御部２１、光源２２、液晶パネル２３及び投影光学系２４を有する。
光源２２は例えばＬＥＤ（Light Emitting Diode）であり、供給される電流に応じた明るさで液晶パネル２３を照明する。液晶パネル２３は変調素子として機能し、投影制御部２１からの駆動信号に応じて投影像（光像）を生成する。投影光学系２４は、液晶パネル２３から出射される変調光を投影する。投影制御部２１は、ＣＰＵ１１からの指示に基づき、光源２２及び液晶パネル２３へ制御信号を供給する。
もちろん、プロジェクタ２は、液晶プロジェクタに限られず、ＤＬＰ（登録商標）プロジェクタやＬＣＯＳ（Liquid Crystal On Silicon）プロジェクタ等の、他の動作方式のプロジェクタであってもよい。
【００３４】
プロジェクタ２は、後述するユーザの操作用の画像を含む投影像を上記投影領域１０へ投影し、また、カメラ３により撮像されＲＡＭ１２にキャプチャされた撮像画像または被写体の画像を上記投影領域１０へ投影する。
【００３５】
上記カメラ３は、撮像制御部３１、撮像素子３２及び撮像光学系３３を有する。
撮像素子３２としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられる。撮像光学系３３は、撮像素子３２の撮像面上に被写体像を結像させる。撮像制御部３１は、ＣＰＵ１１からの指示に基づき、撮像素子３２を駆動し、撮像素子３２から出力される画像信号に対して所定の信号処理を行う。
信号処理後の撮像画像は、ＣＰＵ１１が投影像に対するユーザの操作を検出するために用いられる。また当該撮像画像は、当該検出されたユーザの操作に基づいて上記ＲＡＭ１２のクリップボード等にキャプチャされ、その後、適宜フラッシュメモリ１３またはメモリカード１７に記憶される。
【００３６】
ディスプレイ４は例えばＴＦＴ（Thin Film Transistor）等のＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）であり、タッチパネル５を有する。ディスプレイ４は、ＣＰＵ１１の制御の下、例えばユーザが携帯情報機器１００内のデータについて操作を行う場合や、プロジェクタ２及びカメラ３の各種設定操作を行う場合等に、タッチ操作用のＧＵＩや各種データを表示する。
ディスプレイ４がタッチパネル５を有さずに、ユーザの操作が上記キー／スイッチ部１５のみから入力されても構わない。
【００３７】
［携帯情報機器の動作］
次に、以上のように構成された携帯情報機器１００の動作について説明する。以下の説明では、ＣＰＵ１１を動作の主体として説明するが、このＣＰＵ１１の動作は、ＲＡＭ１２に展開されるプログラムと協働して実行される。
【００３８】
（携帯情報機器のキャプチャ動作）
まず、携帯情報機器１００のキャプチャ動作について説明する。
図３は、携帯情報機器１００がカメラ３の撮影画像をキャプチャする際の動作の流れを示したフローチャートである。
【００３９】
同図に示すように、まず、携帯情報機器１００のＣＰＵ１１は、上記プロジェクタ２により上記投影領域１０に投影像を投影し、カメラ３により当該投影領域１０を撮像する（ステップ４１）。
続いてＣＰＵ１１は、カメラ３による撮像画像を解析し、当該投影領域１０内にユーザの手Ｈ以外の被写体が存在するか否かを判断する（ステップ４２）。
当該被写体の存在を認識できた場合（ＹＥＳ）には、ＣＰＵ１１は、投影領域１０内に「Capture」ボタンの画像を投影させるようにプロジェクタ２を制御する（ステップ４３）。
【００４０】
続いてＣＰＵ１１は、上記投影された「Capture」ボタンがユーザの指で押されたか否か（投影領域１０のうち、「Capture」ボタンの領域にユーザの指が触れたか否か）を判断する。当該判断も、カメラ３の撮像画像について画像解析を行うことで実行される。
【００４１】
続いてＣＰＵ１１は、上記「Capture」ボタン５０が押されたことを検出した場合（ＹＥＳ）、投影領域１０内に存在する被写体にフォーカスを合わせるようにカメラ３を制御する（ステップ４５）。
そしてＣＰＵ１１は、当該フォーカスが合わされた撮像画像をカメラ３によりキャプチャする（ステップ４６）。キャプチャされた撮像画像は例えばＲＡＭ１２のクリップボードに記憶される。
このとき、ＣＰＵ１１は、プロジェクタ２による投影像の照度を例えば１秒等の所定時間大きくする。またそれと同時にＣＰＵ１１は、スピーカ１４から、一般的なカメラのフラッシュ音を出力させる（ステップ４７）。これらの動作により、ＣＰＵ１１は、一般的なカメラのフラッシュ及びフラッシュ音を擬似的に再現する。
【００４２】
図４は、ＣＰＵ１１が上記投影領域１０内の被写体の存在を検出して上記「Capture」ボタンを投影させる際の投影領域１０の様子を示した図である。同図においては、被写体としてＣＤジャケット（ＣＤケース）が撮像される場合の例を示す。
同図（Ａ）に示すように、ユーザが例えば手ＨでＣＤジャケットＪを投影領域１０内に載置すると、ＣＰＵ１１は、カメラ３によるその手Ｈ及びＣＤジャケットＪの撮像画像を認識する。ＣＰＵ１１は、例えば予め記憶された手の形態や色等のメタデータと撮像画像とをパターンマッチングし、またエッジ抽出等の画像解析処理を行うことで、投影領域１０内に手Ｈ以外の物体が存在することを検出する。この時点では、ＣＰＵ１１は、手以外の何らかの物体が存在することは認識できているが、その物体がＣＤジャケットＪであることは認識していない。
ＣＰＵ１１は、被写体の存在を検出すると、同図（Ｂ）に示すように、プロジェクタ２を制御して、例えば投影領域１０の右下等に、「Capture」ボタン５０を投影させる。
もちろん、この「Capture」ボタン５０は、「Capture」の文字を有するボタンに限られるものではなく、キャプチャ動作を実行させるための操作用の画像であることがユーザに認識できればどのようなボタンやアイコン等であっても構わない。
【００４３】
図５は、ＣＰＵ１１が上記「Capture」ボタン５０が押されたことを検出して撮像画像をキャプチャする際の投影領域１０の様子を示した図である。
同図（Ａ）に示すように、ＣＰＵ１１は、カメラ３による撮像画像を基に、当該「Capture」ボタン５０周辺の撮像画像が変化したことを認識することで、ユーザが指等で「Capture」ボタン５０を押したことを検出する。
「Capture」ボタン５０を押したことを検出すると、ＣＰＵ１１は、例えばその検出から１秒後等の所定時間後に、カメラ３により撮像画像をキャプチャする。またこれと同時にＣＰＵ１１は、同図（Ｂ）に示すように、投影像の照度を大きくするようにプロジェクタ２を制御する。これにより一般的なカメラのフラッシュが視覚的に再現される。これとともにＣＰＵ１１は、スピーカ１４からフラッシュ音を模した音を出力させる。
【００４４】
被写体は投影領域１０内に複数存在してもよい。
図６は、ＣＰＵ１１が投影領域１０内の複数の被写体の存在を検出して「Capture」ボタン５０を投影させる際の投影領域１０の様子を示した図である。図７は、投影領域１０内に被写体が複数存在する場合にＣＰＵ１１が「Capture」ボタン５０が押されたことを検出して撮像画像をキャプチャする際の投影領域１０の様子を示した図である。これらの図においては、被写体として複数の名刺が撮像される場合の例を示す。
図６（Ａ）に示すように、ユーザが例えば手Ｈで名刺Ｃ１〜Ｃ５を投影領域１０内に載置すると、ＣＰＵ１１は、カメラ３による手Ｈ及び名刺Ｃ１〜Ｃ５の撮像画像を認識する。ＣＰＵ１１は、上記図４の場合と同様に画像解析処理等を行い、投影領域１０内に手Ｈ以外の複数の物体が存在することを検出すると、同図（Ｂ）に示すように、プロジェクタ２に「Capture」ボタン５０を投影させる。
図７（Ａ）に示すように、ＣＰＵ１１は、上記図５の場合と同様に、カメラ３による撮像画像を基に、ユーザにより「Capture」ボタン５０が押されたことを検出すると、カメラ３により撮像画像をキャプチャする。これとともにＣＰＵ１１は、プロジェクタ２により投影像の照度を所定時間大きくさせ、スピーカ１４からフラッシュ音を出力させる。
【００４５】
（携帯情報機器による被写体のメタデータ記憶動作）
次に、携帯情報機器１００による被写体のメタデータの記憶動作について説明する。
図８は、携帯情報機器１００が被写体のメタデータを記憶する際の動作の流れを示したフローチャートである。
【００４６】
同図に示すように、ＣＰＵ１１は、撮像画像のキャプチャ後、キャプチャ画像についてエッジ検出等の画像解析処理を行い、被写体の領域の画像を抽出する（ステップ８１）。以下、この抽出された被写体の領域の画像を被写体画像と称する。被写体画像は例えばＲＡＭ１２等に一時的に記憶される。
続いてＣＰＵ１１は、投影領域１０内の手Ｈ以外の被写体が、キャプチャ時の位置から移動したか否かを判断する。この判断は、カメラ３による撮像画像をキャプチャ時と所定時間経過後とで比較して差分を取ること等により行われる。
ＣＰＵ１１は、被写体が移動したと判断した場合（ＹＥＳ）には、上記被写体画像を、キャプチャ時に被写体が存在していた位置へ投影するようにプロジェクタ２を制御する（ステップ８３）。
【００４７】
図９は、この被写体画像が投影される様子を示した図である。
同図（Ａ）は、被写体が上記ＣＤジャケットＪである場合の投影の様子を示す。ＣＰＵ１１は、ユーザが手ＨによりＣＤジャケットＪをキャプチャ時の位置から移動させたことを検出すると、キャプチャ画像からＣＤジャケットＪの領域を抽出したＣＤジャケット画像５１を、そのＣＤジャケットＪのキャプチャ時の位置に投影させる。
同図（Ｂ）は、被写体が上記複数の名刺Ｃ１〜Ｃ５である場合の投影の様子を示す。ＣＰＵ１１は、ユーザが手Ｈにより名刺Ｃ１〜Ｃ５をキャプチャ時の位置から移動させたことを検出すると、キャプチャ画像から名刺Ｃ１〜Ｃ５の領域をそれぞれ抽出した複数の名刺画像Ｃ１〜Ｃ５を、それら名刺Ｃ１〜Ｃ５のキャプチャ時の位置に投影させる。
同図（Ａ）及び（Ｂ）に示した処理により、ユーザは、被写体がキャプチャされたことを容易に把握することができる。
【００４８】
図８に戻り、続いてＣＰＵ１１は、投影領域１０内から全ての被写体が投影領域１０外へ移動したか（存在しなくなったか）否かを判断する（ステップ８４）。この判断も、カメラ３による撮像画像を解析することで行われる。
ＣＰＵ１１は、全ての被写体が投影領域１０外へ移動したと判断した場合（ＹＥＳ）には、上記「Capture」ボタン５０を投影像から消去するようにプロジェクタ２を制御する（ステップ８５）。当該ステップ８４及び８５の処理は、これ以降の処理の実行中も随時実行される。
【００４９】
続いてＣＰＵ１１は、上記抽出された被写体画像から、被写体のメタデータを認識する（ステップ８６）。ここでメタデータとは、例えば被写体の正体（被写体が何であるか）、被写体に含まれる文字等のデータ等の被写体に関連するデータである。このメタデータの認識は、例えばパターンマッチングや特徴認識等の画像認識技術を用いて実行される。被写体が著作物である場合には、メタデータとして著作情報（著作者・著作物名）が認識されてもよい。この認識には、上記画像認識技術のほか、ＯＣＲ等の文字認識技術が用いられてもよい。また携帯情報機器１００は、被写体画像をネットワーク上の検索エンジンに送信して対応する著作情報を取得するための通信手段を有していてもよい。
【００５０】
続いてＣＰＵ１１は、被写体からメタデータを認識できた場合（ＹＥＳ）には、認識成功を示す画像を投影し、認識できなかった場合に（ＮＯ）には、認識失敗を示す画像を投影するようにプロジェクタ２を制御する（ステップ８８、８９）。
【００５１】
図１０は、当該メタデータの認識の成功及び失敗を示す画像（以下、認識結果表示画像と称する）が投影される様子を示した図である。
同図（Ａ）は、被写体が上記ＣＤジャケットＪである場合の投影の様子を示す。ＣＰＵ１１は、ＣＤジャケットＪのメタデータ（ＣＤジャケットという正体）の認識に成功した場合には、認識結果表示画像５３として、ＣＤジャケット画像５１近傍に例えばバルーンやポップアップ等により「Recognized」という文字をプロジェクタ２に投影させる。またＣＰＵ１１は、ＣＤジャケット画像５１の周囲に、メタデータの認識対象であることを示す枠５４を投影させるようにプロジェクタ２を制御する。
同図（Ｂ）は、被写体が上記複数の名刺Ｃ１〜Ｃ５である場合の投影の様子を示す。ＣＰＵ１１は、名刺Ｃ１〜Ｃ５のメタデータ（例えば名刺に記載された文字）の認識に成功した場合には、認識結果表示画像５３として、名刺画像５２の近傍に「Recognized」の文字を投影させ、失敗した場合には「Failed」の文字をプロジェクタ２に投影させる。各名刺画像５２の周囲には枠５４も投影される。同図では、名刺画像５２ａ、５２ｂ、５２ｃ及び５２ｅに対応する名刺Ｃ１、Ｃ２、Ｃ３及びＣ５の文字認識が成功し、名刺画像５２ｄに対応する名刺Ｃ４の文字認識が失敗した例が示されている。
【００５２】
これにより、ユーザはメタデータの認識結果を容易に把握することができる。また、メタデータの認識に失敗した名刺画像については、ユーザは、当該名刺画像に対応する名刺を再度投影領域１０内に載置して再度キャプチャさせることで、メタデータを正しく認識させることができる。
もちろん、メタデータの認識結果を示すための表示としては、上記「Recognized」及び「Failed」の文字に限られるものではなく、認識結果がユーザに把握できる態様であればどのような表示がなされてもよい。
【００５３】
図８に戻り、ＣＰＵ１１は、続いて、メタデータ認識対象の被写体が名刺であるか否かを判断する（ステップ９０）。被写体が名刺であると判断した場合（ＹＥＳ）には、ＣＰＵ１１は、名刺のメタデータを連絡先リストの一部として例えばフラッシュメモリ１３等に記憶させる（ステップ９１）。名刺が複数存在する場合には、各名刺のメタデータが一度に記憶される。
【００５４】
ここで連絡先リストとは、名刺から認識した名前、会社名、住所、電話番号、メールアドレス等の文字情報を人物毎にリスト化したものである。この連絡先リストに名刺の文字情報を記憶させる場合、ＣＰＵ１１は、その記憶の様子を示すアニメーションを投影させるようにプロジェクタ２を制御する。
【００５５】
図１１は、当該名刺の文字情報が連絡先リストに記憶される際のアニメーションを示した図である。このアニメーションは、上記キャプチャ動作及びメタデータ認識結果の投影動作からの一連の処理として投影される。また同図では、ＣＰＵ１１は上記名刺Ｃ１〜Ｃ５の全てについて文字情報の認識に成功したものとして説明する。
同図（Ａ）に示すように、ＣＰＵ１１は、名刺画像５２ａ〜５２ｅを例えば縦に並べ、各名刺画像５２ａ〜５２ｅの横に、文字情報として認識した名前５５（５５ａ〜５５ｅ）を投影させるようにプロジェクタ２を制御する。
同図（Ｂ）及び（Ｃ）に示すように、ＣＰＵ１１は、各名刺画像５２ａ〜５２ｅを例えば名前のアルファベット順に重ねて、既に連絡先リストに格納済みの他の名刺のアルファベット順の列５６の一部の該当箇所に順次ファイルするようなアニメーションを投影させる。
ここで、連絡先リストには、文字情報とともに名刺画像５２ａ〜５２ｅ自体も記憶されてもよい。
このようなアニメーションにより、携帯情報機器１００は、名刺Ｃ１〜Ｃ５が連絡先リストの一部として記憶されたことを分かりやすくユーザに把握させるとともに、ユーザの興趣の向上を図ることができる。
また、複数の名刺の文字情報が一度に認識され記憶されるため、それぞれについて記憶処理を実行する場合に比べて、ＣＰＵ１１の処理を効率化でき、ユーザの手間も省略することができる。
【００５６】
図８に戻り、ＣＰＵ１１は、被写体が名刺でないと判断した場合（ＮＯ）には被写体がＣＤジャケットであるか否かを判断する（ステップ９２）。被写体がＣＤジャケットであると判断した場合（ＹＥＳ）には、ＣＤジャケットのメタデータをミュージックコレクションの一部として例えばフラッシュメモリ１３等に記憶させる。
ここでミュージックコレクションとは、ＣＤジャケット画像５１自体を写真集として記憶するものである。しかし、ＣＰＵ１１は、ＣＤジャケット画像５１を基にそのＣＤジャケットＪに対応するアルバム名やアーティスト名等をメタデータとして認識して、当該ＣＤジャケット画像５１とともにミュージックコレクションに記憶してもよい。
さらに、ＣＰＵ１１は、当該メタデータを認識したＣＤジャケットＪに対応する楽曲データや関連する楽曲データを例えばインターネット等からダウンロードしてもよい。また、ＣＰＵ１１は、当該携帯情報機器１００が外部機器と接続したときに、当該楽曲データが当該外部機器に記憶されている場合には、当該楽曲データが外部機器から例えば上記外部Ｉ／Ｆ１８を介して携帯情報機器１００へ転送されるように予約をしてもよい。
【００５７】
被写体が名刺でもＣＤジャケットでもないと判断した場合（ＮＯ）には、ＣＰＵ１１は処理を終了する。しかし、携帯情報機器１００が、名刺及びＣＤジャケット以外の被写体からメタデータを認識して記憶するためのアプリケーションも有している場合には、それに応じた処理が実行される。
また、以上の処理を実行する上で、名刺からメタデータを認識するアプリケーションとＣＤジャケットからメタデータを認識するためのアプリケーションとは別個に存在してもよいし、１つのアプリケーションの各機能として存在してもよい。
【００５８】
上記ステップ８５において消去された「Capture」ボタン５０は、被写体が投影領域１０内に存在することが検出された場合には、上記図３のステップ４２以降で説明した処理により再度投影される。
【００５９】
以上の処理により、携帯情報機器１００は、投影像に含まれる「Capture」ボタン５０への操作が検出されたときに被写体の画像をキャプチャすることができる。さらに携帯情報機器１００は、全ての被写体が投影領域１０内に存在しなくなったことをトリガとして、被写体画像からメタデータを認識して記憶することができる。したがってユーザは、所望の被写体の画像を、携帯情報機器１００自体には触れずに投影像に対する操作のみで容易かつ直感的にキャプチャさせ、メタデータを認識及び記憶させることができる。またユーザは、投影領域１０内に所望の被写体を載置して「Capture」ボタン５０を押すことで、当該携帯情報機器１００を、投影領域１０をファインダ、「Capture」ボタン５０をシャッターボタンとする擬似的な大きなカメラとして使用することができる。
【００６０】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００６１】
上述の実施形態においては、ＣＰＵ１１は、全ての被写体が投影領域１０内に存在しなくなった（投影領域１０外へ移動した）ことをトリガとして、被写体画像からメタデータを認識して記憶していた。しかし、認識されたメタデータを記憶するか否かをユーザに判断させ、ユーザの操作を基にメタデータを記憶してもよい。
例えば、ＣＰＵ１１は、メタデータの記憶を指示するための操作を行うためのボタン画像を投影像に含めるようにプロジェクタ２を制御してもよい。
【００６２】
図１２は、上記メタデータの記憶を、ボタンの画像へのユーザの操作を基に実行する場合における携帯情報機器１００の動作の流れを示したフローチャートである。
同図に示すように、ＣＰＵ１１は、ステップ１２１からステップ１２９までは、上述した図８におけるステップ８１からステップ８９と同様の処理を実行する。
【００６３】
続いて、ＣＰＵ１１は、被写体が名刺であると判断した場合（ステップ１３０のＹＥＳ）には、投影像に「Save as Contacts」ボタンを含ませるようにプロジェクタ２を制御する（ステップ１３１）。
続いてＣＰＵ１１は、カメラ３の撮像画像を基に、ユーザが指等で「Save as Contacts」ボタンを押したか否かを判断する（ステップ１３２）。
そしてＣＰＵ１１は、「Save as Contacts」ボタンが押されたと判断した場合（ＹＥＳ）には、上述の実施形態と同様に、上記連絡先リストへメタデータを記憶する（ステップ１３３）。
【００６４】
またＣＰＵ１１は、被写体がＣＤジャケットであると判断した場合（ステップ１３４のＹＥＳ）には、投影像に「Save as Music Collection」ボタンを含ませるようにプロジェクタ２を制御する（ステップ１３５）。
続いてＣＰＵ１１は、カメラ３の撮像画像を基に、ユーザが指等で「Save as Music Collection」ボタンを押したか否かを判断する（ステップ１３６）。
そしてＣＰＵ１１は、「Save as Music Collection」ボタンが押されたと判断した場合（ＹＥＳ）には、上述の実施形態と同様に、上記ミュージックコレクションへＣＤジャケット画像Ｊを記憶する（ステップ１３７）。
【００６５】
もちろん、この「Save as Contacts」ボタン及び「Save as Music Collection」ボタンは、それらの文字を有するボタンに限られるものではない。すなわち、各被写体のメタデータの記憶処理を実行させるための操作用の画像であることがユーザに認識できればどのようなボタンやアイコン等が投影されも構わない。
【００６６】
図１３は、投影領域１０内に上記「Save as Music Collection」ボタン及び「Save as Contacts」ボタンが投影された様子を示す図である。
同図（Ａ）は、被写体がＣＤジャケットＪである場合の例を示す。ＣＰＵ１１は、被写体がＣＤジャケットであると判断すると、例えばＣＤジャケット画像５１の近傍に、上記「Capture」ボタン５０とは明確に区別できる態様で「Save as Music Collection」ボタン６１を投影するようにプロジェクタ２を制御する。
ＣＰＵ１１は当該「Save as Music Collection」ボタン６１をユーザが押したことを検出した場合に、ＣＤジャケット画像５１の記憶処理を実行する。
同図（Ｂ）は、被写体が複数の名刺Ｃ１〜Ｃ５である場合の例を示す。ＣＰＵ１１は、名刺Ｃ１〜Ｃ５の全てについて文字情報を認識し、被写体が名刺であると判断すると、「Save as Contacts」ボタン６２を投影するようにプロジェクタ２を制御する。
同図では、「Save as Contacts」ボタン６２は、複数の名刺Ｃ１〜Ｃ５に対応する名刺画像５２ａ〜５２ｅについて１つのみ投影されているが、もちろん、名刺毎にそれぞれ投影されてもよい。またこの場合には、全ての名刺について文字情報の認識が成功している必要はなく、成功している名刺についてのみ「Save as Contacts」ボタンが表示されてもよい。
ＣＰＵ１１は当該「Save as Contacts」ボタン６２をユーザが押したことを検出した場合に、複数の名刺画像５２ａ〜５２ｅを一度に記憶する。
【００６７】
以上の処理により、携帯情報機器１００は、メタデータの認識後、当該メタデータ及び被写体画像を連絡先リストやミュージックコレクション等のリストに記憶するか否かを、投影像に対するユーザの操作を基に判断して実行することができる。したがって、ユーザは、被写体のメタデータ及び被写体画像をリストに記憶するか否かにつき、容易な操作で能動的に決定することができる。
【００６８】
上述の実施形態においては、投影領域１０内に被写体としてＣＤジャケットが存在する場合と名刺が存在する場合とを別個に示した。しかし、このような異なる種類の被写体が投影領域１０内に同時に存在する場合には、ＣＰＵ１１は、それぞれについてキャプチャ処理及びメタデータ認識・記憶処理を実行してもよい。
図１４は、このように異なる被写体が投影領域１０内に同時に存在する場合の様子を示した図である。
同図（Ａ）に示すように、ＣＰＵ１１は、投影領域１０内に異なる被写体（ＣＤジャケットＪ及び名刺Ｃ）が存在することを認識した場合、両者を含むカメラ３の撮像画像をキャプチャするための「Capture」ボタン５０をプロジェクタに投影させる。
ＣＰＵ１１は、「Capture」ボタン５０が押されたことを検出した場合、同図（Ｂ）に示すように、当該投影画像をキャプチャし、各キャプチャ画像から、ＣＤジャケット画像５１及び名刺画像５２をそれぞれ抽出する。
続いてＣＰＵ１１は、認識結果表示画像５３に続いて「Save as Music Collection」ボタン６１及び「Save as Contacts」ボタン６２をプロジェクタ２に投影させる。そしてＣＰＵ１１は、これらのボタンに対するユーザの操作に応じて、名刺Ｃの文字情報を連絡先リストに記憶し、ＣＤジャケット画像５１をミュージックコレクションに記憶する。
また、ＣＰＵ１１は、「Save as Music Collection」ボタン６１及び「Save as Contacts」ボタン６２を投影させない場合には、ＣＤジャケットＪ及び名刺Ｃが投影領域１０内から投影領域１０外へそれぞれ移動したときにそれぞれ記憶処理を実行する。
以上の処理により、ユーザは、種類の異なる被写体を投影領域１０内に一度に載置して投影像に対する操作を行うだけで、異なる被写体のメタデータ等をそれぞれのリストに容易に記憶させることができる。
【００６９】
上述の実施形態においては、プロジェクタ２の投影領域１０とカメラ３の撮像領域とは一致していた。しかし、この投影領域１０と撮像領域とは一致していなくてもよい。
図１５は、この場合の投影像の例を示した図である。
同図に示すように、撮像領域１１０は、投影領域１０の内部に、投影領域１０の一部として設けられる。投影領域１０のうち、撮像領域１１０を除いた非撮像領域１２０には、上記「Capture」ボタン５０が投影される。
これにより、「Capture」ボタン５０や、「Capture」ボタン５０を押すユーザの指がキャプチャされることを防ぐことができる。したがってユーザは、所望の被写体以外の余計な物体が写っていないキャプチャ画像を携帯情報機器１００に記憶させることができる。
【００７０】
上述の実施形態において、ＣＰＵ１１は、キャプチャ時に、投影像の照度を大きくするようにプロジェクタ２を制御したり、フラッシュ音を出力するようにスピーカ１４を制御したりしていた。しかし、ＣＰＵ１１は、それらの処理の代わりに、キャプチャした旨を示すアイコンやテキストをプロジェクタ２により投影させてもよい。
【００７１】
上述の実施形態においては、「Capture」ボタン５０が押されたときにキャプチャ処理が実行された。しかし、当該キャプチャ処理のトリガは「Capture」ボタン５０の押下のみに限られない。携帯情報機器１００は、例えば「Capture」等、キャプチャを指示するユーザの音声を認識したときにキャプチャ処理を実行してもよい。この場合、「Capture」ボタン５０は表示されなくてもよい。
【００７２】
上述の実施形態においては、上記図１１に示したように、例えば名刺等の被写体のキャプチャ画像（被写体画像）から認識されたメタデータ（例えば文字情報）が、所定のリスト（連絡先リスト）に記憶される様子がアニメーションとして表示された。ここで、文字認識の対象である被写体に複数項目（例えば、名前、会社名、住所等）の文字列が含まれる場合、認識文字自体が誤っている場合のほか、各文字列の項目と各認識文字列との対応が取れない場合も考えられる。例えば、会社名として認識すべき文字列が誤って名前として認識されてしまう場合が考えられる。このような誤った文字認識がなされると、記憶されるリストも誤ったままの状態となり、不都合が生じる。
そこで、携帯情報機器１００は、そのような誤った文字列を、上記アニメーション実行途中でユーザの操作入力を基に修正してもよい。
図１６は、当該アニメーション途中で誤った文字を修正する様子を示した図である。
同図（Ａ）に示すように、アニメーション途中で縦に並べられた複数の名刺画像５２のうち、名刺画像５２ａに対応して名前が表示されるべき箇所に、会社名１６１が取り違えられて表示されている。このような場合、ユーザは、同図（Ａ）に示すように、手Ｈの指等で、間違って会社名１６１が表示されている箇所をタッチする。
携帯情報機器のＣＰＵ１１は、当該タッチをカメラ３の撮像画像を基に検出する。そしてＣＰＵ１１は、同図（Ｂ）に示すように、その名刺画像５２ａから既に認識してある文字列の一覧を修正候補として提示するための修正候補リストボックス１６２を表示するようにプロジェクタ２を制御する。
ユーザが、当該修正候補リストボックス１６２から、同図（Ｂ）に示すように指で正しい文字列（名前）をタッチにより選択すると、ＣＰＵ１１は、当該タッチをカメラ３の撮像画像から検出する。そしてＣＰＵ１１は、同図（Ｃ）に示すように、それまでに表示されていた会社名１６１を、当該選択された文字列（名前５５ａ）へと変更する。これにより、フラッシュメモリ１３内の連絡先リストにも、正しい文字列が記憶されることとなる。
以上の処理により、携帯情報機器１００は、仮に認識文字列の項目を誤った場合でも、修正候補を提示してユーザにタッチさせることで、当該誤りを容易に修正させることが可能となる。
ＣＰＵ１１は、上記修正候補リストボックス１６２の代わりに、例えばソフトウェアキーボードを表示させ、当該キーボードからユーザが入力した文字列によって、間違った文字列を修正してもよい。
【００７３】
上述の実施形態においては、被写体としてＣＤジャケット及び名刺を例に挙げたが、被写体はもちろんこれらに限られない。
例えば、携帯情報機器１００は、レストランに置いてあるレストラン情報カードを被写体としてキャプチャし、当該キャプチャ画像から文字情報を認識して、その情報をレストランリストの一部として記憶することもできる。
また携帯情報機器１００は、ワインボトルを被写体としてキャプチャし、当該キャプチャ画像から文字情報を認識して、その情報をワインリストの一部として記憶することもできる。
【００７４】
上述の実施形態において本発明を適用可能な携帯情報機器１００としては、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、スマートフォン、携帯型音楽／動画プレイヤー、電子辞書、電子手帳等のあらゆる情報処理装置が挙げられる。また本発明は携帯情報機器に限られず据置型のあらゆる情報処理装置にも同様に適用可能である。
【符号の説明】
【００７５】
２…プロジェクタ
３…カメラ
４…ディスプレイ
１０…投影領域
１１…ＣＰＵ
１２…ＲＡＭ
１３…フラッシュメモリ
１４…スピーカ
１７…メモリカード
５０…「Capture」ボタン
５１…ＣＤジャケット画像
５２（５２ａ〜５２ｅ）…名刺画像
５３…認識結果表示画像
６１…「Save as Music Collection」ボタン
６２…「Save as Contacts」ボタン
１００…携帯情報機器
１１０…撮像領域
１２０…非撮像領域
Ｊ…ＣＤジャケット
Ｃ（Ｃ１〜Ｃ５）…名刺
【技術分野】
【０００１】
本発明は、カメラ及びプロジェクタを有する情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、カメラで撮影した画像をプロジェクタによって表示することが可能な装置が知られている。例えば、下記特許文献１には、カメラによる対象物の撮影画像と、入力装置から入力される付加情報とを合成して投影画像を作成して、当該投影画像を、対象物の存在位置に対応付けて投影させる情報提示装置が開示されている。これにより、この情報提示装置は、対象物が移動した後も対象物の痕跡を残すことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５１２０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザが、上述のようにカメラで撮像されプロジェクタで投影された対象物の画像を装置に記憶（キャプチャ）することを望む場合が考えられる。上記特許文献１に記載の技術においては、撮影された対象物の画像は、付加情報との合成のために情報提示装置に取り込まれるが、当該取り込みは自動的に実行され、ユーザはその処理に関与していない。したがって、ユーザが所望の対象物を撮影（撮像）範囲に対象物を置いたときに、ユーザの意図しない画像が記憶されてしまう可能性がある。
【０００５】
また、上記特許文献１に記載の技術では、対象物に関連する付加情報が投影画像に重畳されるが、この付加情報の入力は、カメラ及びプロジェクタに接続された情報提示装置の入力装置（キーボードやマウス等）によって行われる。この技術は、例えばプレゼンテーションやウェブ会議等、複数の人が大型のスクリーン等で投影画像を共有し、各人が手元に有する情報提示装置からその投影画像に対して情報を入力する場面を想定したものである。
【０００６】
しかし、例えば机や床等、より小さい領域に対象物を置いて撮影及び投影することを想定した場合、ユーザはその投影領域に注目しており、かつ対象物を把持したり、投影領域内に載置したりする必要がある。したがって、ユーザが、その対象物の画像を装置に記憶させるための操作を上記入力装置によって行う場合、操作が煩雑となり、直感性に欠ける結果となる。
【０００７】
以上のような事情に鑑み、本発明の目的は、カメラにより撮像されプロジェクタにより投影された画像を、容易かつ直感的な操作で記憶することが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、プロジェクタと、カメラと、第１の記憶部と、制御部とを有する。上記プロジェクタは、第１の操作用画像を含む投影像を所定領域に投影する。上記カメラは、上記所定領域内の被写体を撮像する。第１の記憶部は、ＲＡＭ（Random Access Memory）、内蔵フラッシュメモリ、メモリカード、ＨＤＤ（Hard Disk Drive）、光ディスク等である。上記制御部は、上記カメラにより撮像される撮像画像を基に上記第１の操作用画像への操作を検出し、当該操作が検出されたときに、上記撮像画像のうち少なくとも上記被写体の画像を記憶するように上記第１の記憶部を制御する。
上記第１の操作用画像とは、アイコン、ボタン、図形、文字等、ユーザの操作の対象となる画像をいう。上記第１の記憶部は、上記第１の操作用画像への操作の検出は、例えば異なる時間の撮像画像の差分を用いて、例えば第１の操作用画像がユーザの指で触れられたか否かを検出することで実行される。上記被写体は、例えば名刺や音楽ＣＤジャケット等であるが、これらに限られず、あらゆる物が想定される。
この構成により、投影像に含まれる第１の操作用画像への操作が検出されたときに被写体の画像が記憶される。したがってユーザは、所望の被写体の画像を、情報処理装置自体には触れずに投影像に対する操作のみで容易かつ直感的に第１の記憶部に記憶させることができる。
【０００９】
上記情報処理装置は、第２の記憶部をさらに有してもよい。この場合、上記制御部は、上記撮像画像を基に上記被写体のメタデータを認識し、当該メタデータを所定のリストの一部として記憶するように上記第２の記憶部を制御してもよい。
また、第２の記憶部は、上記メタデータとともに、上記第１の記憶部に記憶された撮像画像や、当該撮像画像から抽出された被写体の画像を記憶してもよい。
上記第２の記憶部は、ＲＡＭ、内蔵フラッシュメモリ、メモリカード、ＨＤＤ、光ディスク等であり、上記第１の記憶部と同一のものであってもよいし、別個のものであってもよい。第１の記憶部と第２の記憶部とが別個のものである場合、典型的には、第１の記憶部はＲＡＭ（クリップボード）等の一時記憶媒体であり、第２の記憶部は内蔵フラッシュメモリ、メモリカード、ＨＤＤ、光ディスク等の不揮発性の記憶媒体である。
上記メタデータとは、例えば被写体の正体（アイデンティティ）、著作情報、被写体に含まれる文字等のデータ等、被写体に関連するデータである。メタデータの認識は、例えばパターンマッチングや特徴認識等の画像認識技術、ＯＣＲ（Optical Character Reader）等の文字認識技術を用いて実行される。所定のリストとは、例えばコンテンツリスト、連絡先リスト等、各被写体の種類に応じたリストである。メタデータは、上記被写体の画像とともにリストの一部として記憶されてもよいし、被写体の画像とは別個に記憶されてもよい。
これによりユーザは、被写体の画像自体のみならず、当該被写体のメタデータも情報処理装置に容易かつ直感的な操作で第２の記憶部へ記憶させることができる。
【００１０】
上記制御部は、上記メタデータが認識できたか否かを示す情報を上記投影像に含めるように上記プロジェクタを制御してもよい。
これによりユーザは、被写体のメタデータが認識できたか否かを容易に把握できる。また、メタデータが認識できなかった場合には、ユーザは、所定領域内における被写体の位置や姿勢を変更する等、認識精度を高めるための作業を行い、認識を確実に実行させることができる。
【００１１】
上記制御部は、上記操作が検出されたときから所定時間、上記投影像の照度を上記検出の前よりも大きくするように上記プロジェクタを制御してもよい。
これにより情報処理装置は、従来のスチルカメラのフラッシュをプロジェクタの投影像で擬似的に再現することができる。よってユーザは、記憶された画像を確認することなく、当該画像が記憶されたことを直感的に認識することができる。上記所定時間とは例えば０．５秒〜１．５秒程度であるが、この範囲に限られず、画像が記憶されたことをユーザが認識できればいかなる時間でもよい。
【００１２】
上記制御部は、上記撮像画像を基に上記被写体が上記所定領域内に存在するか否かを検出し、上記被写体が上記所定領域内に存在することが検出された場合に、上記第１の操作用画像を上記投影像に含めるように上記プロジェクタを制御してもよい。
これにより、所定領域内に被写体が存在する場合にのみ第１の操作用画像が投影されるため、被写体が存在しないにも関わらず第１の操作用画像が投影され視認性が損なわれることを防ぐことができる。またユーザは、被写体の画像を記憶させるための準備が整ったことを容易に認識することができる。被写体の存在の有無の検出は、例えば異なる時間の撮像画像の差分を用いて行われる。
【００１３】
上記制御部は、上記メタデータが認識された被写体が上記所定領域内に存在しなくなったことが検出されたときに、上記メタデータを記憶するように上記第２の記憶部を制御してもよい。
これによりユーザは、第１の記憶部へ被写体の画像が記憶された後、所定領域から被写体を取り除くだけで、被写体の画像及びメタデータをリストの一部として第２の記憶部へ記憶させることができる。
【００１４】
この場合上記制御部は、上記所定領域内に存在する複数の被写体からそれぞれメタデータを認識してもよい。そして上記制御部は、複数の被写体が全て上記所定領域内に存在しなくなったことが検出されたときに、上記複数のメタデータをそれぞれ上記所定のリストの一部として一度に記憶するように上記第２の記憶部を制御してもよい。
これによりユーザは、上記所定領域内に複数の被写体を置き、第１の記憶部へ各被写体の画像が記憶された後、各被写体を所定領域内から取り除くだけで、全ての被写体の画像及びメタデータを一度に第２の記憶部へ記憶させることができる。
【００１５】
また上記制御部は、上記所定領域内に存在する、第１の被写体及び当該第１の被写体とは異なる種類の第２の被写体からそれぞれメタデータを認識してもよい。そして上記制御部は、第１の被写体が上記所定領域内に存在しなくなったことが検出されたときに、当該第１の被写体の第１のメタデータを第１のリストの一部として記憶するように上記第２の記憶部を制御してもよい。同様に上記制御部は、第２の被写体が上記所定領域内に存在しなくなったことが検出されたときに、当該第２の被写体の第２のメタデータを第２のリストの一部として記憶するように、上記第２の記憶部を制御してもよい。
これによりユーザは、異なる種類の被写体を所定領域内に置き、第１の記憶部への各被写体の画像の記憶後、所定領域から各被写体を取り除くだけで、各被写体の種類に応じた各リストの一部として各被写体のメタデータを第２の記憶部へ記憶できる。
【００１６】
上記制御部は、上記メタデータが認識されたときに、上記第１の操作用画像とは異なる第２の操作用画像を上記投影像に含めるように上記プロジェクタを制御してもよい。そして上記制御部は、上記撮像画像を基に当該第２の操作用画像への操作を検出し、当該操作が検出されたときに、上記メタデータを記憶するように上記第２の記憶部を制御してもよい。
この第２の操作用画像も、アイコン、ボタン、図形、文字等、ユーザの操作の対象となる画像であり、上記第１の操作用画像とは区別可能な状態で投影される。
これにより、ユーザは、第２の操作用画像に対する容易かつ直感的な操作により、各被写体のメタデータをリストの一部として第２の記憶部へ記憶させることができる。
【００１７】
この場合上記制御部は、上記所定領域内に存在する複数の被写体からそれぞれメタデータを認識してもよい。そして上記制御部は、上記第２の操作用画像への操作が検出されたときに、上記複数のメタデータをそれぞれ上記所定のリストの一部として一度に記憶するように上記第２の記憶部を制御してもよい。
これによりユーザは、上記所定領域内に複数の被写体を置き、第１の記憶部へ各被写体の画像が記憶された後、第２の操作用画像に対して一度の操作を行うだけで、全ての被写体のメタデータを第２の記憶部へ記憶させることができる。
【００１８】
また上記制御部は、上記所定領域内に存在する、第１の被写体及び当該第１の被写体とは異なる種類の第２の被写体からそれぞれメタデータを認識してもよい。そして上記制御部は、上記第２の操作用画像への操作が検出されたときに、当該第１の被写体及び当該第１の被写体の第１のメタデータを第１のリストの一部として記憶するように上記第２の記憶部を制御してもよい。同様に上記制御部は、当該第２の被写体及び当該第２の被写体の第２のメタデータを第２のリストの一部として記憶するように、上記第２の記憶部を制御してもよい。
これによりユーザは、異なる種類の被写体を所定領域内に置き、第１の記憶部への各被写体の画像の記憶後、第２の操作用画像を一度操作するだけで、各被写体の種類に応じた各リストの一部として各被写体のメタデータを第２の記憶部へ記憶できる。
【００１９】
上記制御部は、上記被写体の画像を用いて、上記メタデータを上記所定のリストの一部として記憶する様子を示すアニメーションを投影するように上記プロジェクタを制御してもよい。
これにより情報処理装置は、被写体のメタデータを記憶する様子をユーザに閲覧させることで、ユーザの興趣の向上を図りながら、記憶したことを分かり易くユーザに把握させることができる。
【００２０】
上記制御部は、上記被写体の画像が上記第１の記憶部に記憶された後、当該被写体が当該記憶時の位置から移動したか否かを検出してもよい。そして上記制御部は、当該被写体が移動したことが検出されたときに、上記第１の記憶部に記憶された上記被写体の画像を、当該記憶時の位置に投影するように上記プロジェクタを制御してもよい。
これにより、ユーザは、被写体を所定領域から取り除いても、当該被写体が第１の記憶部に記憶されたことを容易に認識することができる。
【００２１】
本発明の他の形態に係る情報処理方法は、プロジェクタとカメラと記憶部とを有する情報処理装置における情報処理方法である。
この情報処理方法においては、操作用画像を含む投影像が上記プロジェクタにより所定領域に投影される。上記所定領域内の被写体が、上記カメラにより撮像される。上記カメラにより撮像される撮像画像を基に上記操作用画像への操作が検出される。上記操作が検出されたときに、上記撮像画像のうち少なくとも上記被写体の画像が記憶部に記憶される。
この方法により、投影像に含まれる操作用画像への操作が検出されたときに被写体の画像が記憶されるため、ユーザは、所望の被写体の画像を、情報処理装置自体に触れることなく、投影像に対する操作のみで容易かつ直感的に記憶部に記憶させることができる。
【００２２】
本発明のまた別の形態に係るプログラムは、プロジェクタとカメラと記憶部とを有する情報処理装置に、投影ステップと、撮像ステップと、検出ステップと、記憶ステップとを実行させる。
上記投影ステップは、操作用画像を含む投影像をプロジェクタにより所定領域に投影する。上記撮像ステップは、上記所定領域内の被写体をカメラにより撮像する。上記検出ステップは、上記カメラにより撮像される撮像画像を基に上記操作用画像への操作を検出する。上記記憶ステップは、上記操作が検出されたときに、上記撮像画像のうち少なくとも上記被写体の画像を記憶部に記憶する。
このプログラムの実行により、投影像に含まれる操作用画像への操作が検出されたときに被写体の画像が記憶されるため、ユーザは、所望の被写体の画像を、情報処理装置自体に触れずに、投影像への操作のみで容易かつ直感的に記憶部に記憶させることができる。
【発明の効果】
【００２３】
本発明によれば、カメラにより撮像されプロジェクタにより投影された画像を、容易かつ直感的な操作で記憶することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る携帯情報機器の外観及びその使用状態を示す図である。
【図２】本発明の一実施形態に係る携帯情報機器のハードウェア構成を示した図である。
【図３】本発明の一実施形態に係る携帯情報機器がカメラの撮影画像をキャプチャする際の動作の流れを示したフローチャートである。
【図４】本発明の一実施形態において、ＣＰＵが投影領域内の被写体の存在を検出して「Capture」ボタンを投影させる際の投影領域の様子を示した図である。
【図５】本発明の一実施形態において、ＣＰＵが「Capture」ボタンが押されたことを検出して撮像画像をキャプチャする際の投影領域の様子を示した図である。
【図６】本発明の一実施形態において、ＣＰＵが投影領域内の複数の被写体の存在を検出して「Capture」ボタンを投影させる際の投影領域の様子を示した図である。
【図７】本発明の一実施形態において、投影領域内に被写体が複数存在する場合にＣＰＵが「Capture」ボタンが押されたことを検出して撮像画像をキャプチャする際の投影領域の様子を示した図である。
【図８】本発明の一実施形態に係る携帯情報機器が被写体の画像及び被写体のメタデータを記憶する際の動作の流れを示したフローチャートである。
【図９】本発明の一実施形態において、キャプチャ後に被写体画像が投影される様子を示した図である。
【図１０】本発明の一実施形態において、メタデータの認識結果表示画像が投影される様子を示した図である。
【図１１】本発明の一実施形態において、名刺の文字情報が連絡先リストに記憶される際に投影されるアニメーションを示した図である。
【図１２】本発明の他の実施形態において、メタデータの記憶を、ボタンへのユーザの操作を基に実行する場合における携帯情報機器の動作の流れを示したフローチャートである。
【図１３】本発明の他の実施形態において、投影領域内にメタデータを記憶させるためのボタンが投影された様子を示す図である。
【図１４】本発明の他の実施形態において、投影領域内の異なる種類の被写体がそれぞれキャプチャされそれぞれについてメタデータが記憶される例を示した図である。
【図１５】本発明の他の実施形態において、投影領域と撮像領域とが一致しない場合の投影像の例を示した図である。
【図１６】本発明の他の実施形態において、アニメーション途中で誤った文字が修正される様子を示した図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２６】
［システムの概要］
図１は、本発明の一実施形態に係る携帯情報機器の外観及びその使用状態を示す図である。
同図に示すように、本実施形態に係る携帯情報機器１００は、例えば手に収まる程度の大きさの筐体１を有し、例えば机や床等の水平面に載置されて使用される。もちろん、携帯情報機器１００は、壁等の垂直面に掛けられて使用されても構わない。
【００２７】
この携帯情報機器１００は、プロジェクタ２、カメラ３、ディスプレイ４を有する。
プロジェクタ２は、机上や床上の、所定範囲の矩形の投影領域１０に、例えばＧＵＩ（Graphical User Interface）やイメージデータ等を含む投影像を投影する。カメラ３は、当該投影領域１０を撮像する。すなわち、プロジェクタ２の投影範囲とカメラ３の撮像範囲とは一致している。ユーザは、プロジェクタ２の投影像に対して手Ｈの指等で操作を行い、携帯情報機器１００は、カメラ３によりそのユーザの操作を認識し、その操作に応じた処理を実行する。また携帯情報機器１００は、ユーザにより投影領域１０内に載置された被写体を撮像し、投影像に対するユーザの操作に応じて当該撮像画像を記憶（キャプチャ）する。さらに携帯情報機器１００は、キャプチャされた撮像画像または当該撮像画像から抽出された被写体の画像をプロジェクタ２により投影する。
【００２８】
［携帯情報機器のハードウェア構成］
図２は、上記携帯情報機器１００のハードウェア構成を示した図である。
同図に示すように、携帯情報機器１００は、上記プロジェクタ２、カメラ３、ディスプレイ４のほか、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、フラッシュメモリ１３、スピーカ１４、キー／スイッチ部１５を有する。また携帯情報機器１００は、メモリカードＩ／Ｆ（インタフェース）１６、外部Ｉ／Ｆ１８等の各種インタフェースを有する。
【００２９】
ＣＰＵ１１は、携帯情報機器１００の各部と信号をやり取りして各種演算を行い、投影処理、撮像処理及びその他の処理を統括的に制御する。
ＲＡＭ１２は、ＣＰＵ１１の作業領域として用いられ、ＣＰＵ１１が処理する例えばカメラ３による撮像画像、当該撮像画像から抽出された被写体の画像、当該被写体から認識されたメタデータ等の各種データやプログラムを一時的に格納する。ＲＡＭ１２は、上記撮像画像や被写体の画像を一時的に記憶する（キャプチャ）するための領域（クリップボード）を有する。
【００３０】
フラッシュメモリ１３は、例えばＮＡＮＤ型のものである。フラッシュメモリ１３は、上記撮像画像、被写体の画像及びメタデータ、プロジェクタ２により投影される画像、その他音声、テキスト等の各種データ、ＣＰＵ１１が実行する制御プログラムやアプリケーション等の各種プログラムを記憶する。またフラッシュメモリ１３は、本実施形態において撮像画像または抽出された被写体の画像をキャプチャし、メタデータを認識して記憶するためのアプリケーションプログラムも記憶する。当該アプリケーションは、メモリカード１７等の他の記録媒体に記憶されていても構わない。携帯情報機器１００は、当該フラッシュメモリ１３に代えて、またはそれに加えて、ＨＤＤを有していてもよい。
【００３１】
スピーカ１４は、例えば撮像時やその他の操作時等に、上記フラッシュメモリ１３等に記憶された音声を出力する。
キー／スイッチ部１５は、例えば電源のＯＮ／ＯＦＦや各種機能の切替等、上記タッチパネル５への操作では実行できない機能や、タッチパネル５への操作で実行できる機能と同等の機能に対応した操作を受け付け、入力信号をＣＰＵ１１へ伝える。
【００３２】
メモリカードＩ／Ｆ１６は、例えばメモリースティック等の各種メモリカード１７と接続して、例えば上記撮像画像等の各種データをメモリカード１７へ記憶させる。またメモリカードＩ／Ｆ１６は、メモリカード１７内の各種データをＲＡＭ１２へ読み出し、ＣＰＵ１１により再生させる。
外部Ｉ／Ｆ１８は、例えばＵＳＢ（Universal Serial Bus）や無線ＬＡＮ（Local Area Network）等の各種規格に基づいて、有線または無線により外部機器と接続し、各種データのやり取りを行う。
【００３３】
上記プロジェクタ２は、例えば液晶プロジェクタであり、投影制御部２１、光源２２、液晶パネル２３及び投影光学系２４を有する。
光源２２は例えばＬＥＤ（Light Emitting Diode）であり、供給される電流に応じた明るさで液晶パネル２３を照明する。液晶パネル２３は変調素子として機能し、投影制御部２１からの駆動信号に応じて投影像（光像）を生成する。投影光学系２４は、液晶パネル２３から出射される変調光を投影する。投影制御部２１は、ＣＰＵ１１からの指示に基づき、光源２２及び液晶パネル２３へ制御信号を供給する。
もちろん、プロジェクタ２は、液晶プロジェクタに限られず、ＤＬＰ（登録商標）プロジェクタやＬＣＯＳ（Liquid Crystal On Silicon）プロジェクタ等の、他の動作方式のプロジェクタであってもよい。
【００３４】
プロジェクタ２は、後述するユーザの操作用の画像を含む投影像を上記投影領域１０へ投影し、また、カメラ３により撮像されＲＡＭ１２にキャプチャされた撮像画像または被写体の画像を上記投影領域１０へ投影する。
【００３５】
上記カメラ３は、撮像制御部３１、撮像素子３２及び撮像光学系３３を有する。
撮像素子３２としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられる。撮像光学系３３は、撮像素子３２の撮像面上に被写体像を結像させる。撮像制御部３１は、ＣＰＵ１１からの指示に基づき、撮像素子３２を駆動し、撮像素子３２から出力される画像信号に対して所定の信号処理を行う。
信号処理後の撮像画像は、ＣＰＵ１１が投影像に対するユーザの操作を検出するために用いられる。また当該撮像画像は、当該検出されたユーザの操作に基づいて上記ＲＡＭ１２のクリップボード等にキャプチャされ、その後、適宜フラッシュメモリ１３またはメモリカード１７に記憶される。
【００３６】
ディスプレイ４は例えばＴＦＴ（Thin Film Transistor）等のＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）であり、タッチパネル５を有する。ディスプレイ４は、ＣＰＵ１１の制御の下、例えばユーザが携帯情報機器１００内のデータについて操作を行う場合や、プロジェクタ２及びカメラ３の各種設定操作を行う場合等に、タッチ操作用のＧＵＩや各種データを表示する。
ディスプレイ４がタッチパネル５を有さずに、ユーザの操作が上記キー／スイッチ部１５のみから入力されても構わない。
【００３７】
［携帯情報機器の動作］
次に、以上のように構成された携帯情報機器１００の動作について説明する。以下の説明では、ＣＰＵ１１を動作の主体として説明するが、このＣＰＵ１１の動作は、ＲＡＭ１２に展開されるプログラムと協働して実行される。
【００３８】
（携帯情報機器のキャプチャ動作）
まず、携帯情報機器１００のキャプチャ動作について説明する。
図３は、携帯情報機器１００がカメラ３の撮影画像をキャプチャする際の動作の流れを示したフローチャートである。
【００３９】
同図に示すように、まず、携帯情報機器１００のＣＰＵ１１は、上記プロジェクタ２により上記投影領域１０に投影像を投影し、カメラ３により当該投影領域１０を撮像する（ステップ４１）。
続いてＣＰＵ１１は、カメラ３による撮像画像を解析し、当該投影領域１０内にユーザの手Ｈ以外の被写体が存在するか否かを判断する（ステップ４２）。
当該被写体の存在を認識できた場合（ＹＥＳ）には、ＣＰＵ１１は、投影領域１０内に「Capture」ボタンの画像を投影させるようにプロジェクタ２を制御する（ステップ４３）。
【００４０】
続いてＣＰＵ１１は、上記投影された「Capture」ボタンがユーザの指で押されたか否か（投影領域１０のうち、「Capture」ボタンの領域にユーザの指が触れたか否か）を判断する。当該判断も、カメラ３の撮像画像について画像解析を行うことで実行される。
【００４１】
続いてＣＰＵ１１は、上記「Capture」ボタン５０が押されたことを検出した場合（ＹＥＳ）、投影領域１０内に存在する被写体にフォーカスを合わせるようにカメラ３を制御する（ステップ４５）。
そしてＣＰＵ１１は、当該フォーカスが合わされた撮像画像をカメラ３によりキャプチャする（ステップ４６）。キャプチャされた撮像画像は例えばＲＡＭ１２のクリップボードに記憶される。
このとき、ＣＰＵ１１は、プロジェクタ２による投影像の照度を例えば１秒等の所定時間大きくする。またそれと同時にＣＰＵ１１は、スピーカ１４から、一般的なカメラのフラッシュ音を出力させる（ステップ４７）。これらの動作により、ＣＰＵ１１は、一般的なカメラのフラッシュ及びフラッシュ音を擬似的に再現する。
【００４２】
図４は、ＣＰＵ１１が上記投影領域１０内の被写体の存在を検出して上記「Capture」ボタンを投影させる際の投影領域１０の様子を示した図である。同図においては、被写体としてＣＤジャケット（ＣＤケース）が撮像される場合の例を示す。
同図（Ａ）に示すように、ユーザが例えば手ＨでＣＤジャケットＪを投影領域１０内に載置すると、ＣＰＵ１１は、カメラ３によるその手Ｈ及びＣＤジャケットＪの撮像画像を認識する。ＣＰＵ１１は、例えば予め記憶された手の形態や色等のメタデータと撮像画像とをパターンマッチングし、またエッジ抽出等の画像解析処理を行うことで、投影領域１０内に手Ｈ以外の物体が存在することを検出する。この時点では、ＣＰＵ１１は、手以外の何らかの物体が存在することは認識できているが、その物体がＣＤジャケットＪであることは認識していない。
ＣＰＵ１１は、被写体の存在を検出すると、同図（Ｂ）に示すように、プロジェクタ２を制御して、例えば投影領域１０の右下等に、「Capture」ボタン５０を投影させる。
もちろん、この「Capture」ボタン５０は、「Capture」の文字を有するボタンに限られるものではなく、キャプチャ動作を実行させるための操作用の画像であることがユーザに認識できればどのようなボタンやアイコン等であっても構わない。
【００４３】
図５は、ＣＰＵ１１が上記「Capture」ボタン５０が押されたことを検出して撮像画像をキャプチャする際の投影領域１０の様子を示した図である。
同図（Ａ）に示すように、ＣＰＵ１１は、カメラ３による撮像画像を基に、当該「Capture」ボタン５０周辺の撮像画像が変化したことを認識することで、ユーザが指等で「Capture」ボタン５０を押したことを検出する。
「Capture」ボタン５０を押したことを検出すると、ＣＰＵ１１は、例えばその検出から１秒後等の所定時間後に、カメラ３により撮像画像をキャプチャする。またこれと同時にＣＰＵ１１は、同図（Ｂ）に示すように、投影像の照度を大きくするようにプロジェクタ２を制御する。これにより一般的なカメラのフラッシュが視覚的に再現される。これとともにＣＰＵ１１は、スピーカ１４からフラッシュ音を模した音を出力させる。
【００４４】
被写体は投影領域１０内に複数存在してもよい。
図６は、ＣＰＵ１１が投影領域１０内の複数の被写体の存在を検出して「Capture」ボタン５０を投影させる際の投影領域１０の様子を示した図である。図７は、投影領域１０内に被写体が複数存在する場合にＣＰＵ１１が「Capture」ボタン５０が押されたことを検出して撮像画像をキャプチャする際の投影領域１０の様子を示した図である。これらの図においては、被写体として複数の名刺が撮像される場合の例を示す。
図６（Ａ）に示すように、ユーザが例えば手Ｈで名刺Ｃ１〜Ｃ５を投影領域１０内に載置すると、ＣＰＵ１１は、カメラ３による手Ｈ及び名刺Ｃ１〜Ｃ５の撮像画像を認識する。ＣＰＵ１１は、上記図４の場合と同様に画像解析処理等を行い、投影領域１０内に手Ｈ以外の複数の物体が存在することを検出すると、同図（Ｂ）に示すように、プロジェクタ２に「Capture」ボタン５０を投影させる。
図７（Ａ）に示すように、ＣＰＵ１１は、上記図５の場合と同様に、カメラ３による撮像画像を基に、ユーザにより「Capture」ボタン５０が押されたことを検出すると、カメラ３により撮像画像をキャプチャする。これとともにＣＰＵ１１は、プロジェクタ２により投影像の照度を所定時間大きくさせ、スピーカ１４からフラッシュ音を出力させる。
【００４５】
（携帯情報機器による被写体のメタデータ記憶動作）
次に、携帯情報機器１００による被写体のメタデータの記憶動作について説明する。
図８は、携帯情報機器１００が被写体のメタデータを記憶する際の動作の流れを示したフローチャートである。
【００４６】
同図に示すように、ＣＰＵ１１は、撮像画像のキャプチャ後、キャプチャ画像についてエッジ検出等の画像解析処理を行い、被写体の領域の画像を抽出する（ステップ８１）。以下、この抽出された被写体の領域の画像を被写体画像と称する。被写体画像は例えばＲＡＭ１２等に一時的に記憶される。
続いてＣＰＵ１１は、投影領域１０内の手Ｈ以外の被写体が、キャプチャ時の位置から移動したか否かを判断する。この判断は、カメラ３による撮像画像をキャプチャ時と所定時間経過後とで比較して差分を取ること等により行われる。
ＣＰＵ１１は、被写体が移動したと判断した場合（ＹＥＳ）には、上記被写体画像を、キャプチャ時に被写体が存在していた位置へ投影するようにプロジェクタ２を制御する（ステップ８３）。
【００４７】
図９は、この被写体画像が投影される様子を示した図である。
同図（Ａ）は、被写体が上記ＣＤジャケットＪである場合の投影の様子を示す。ＣＰＵ１１は、ユーザが手ＨによりＣＤジャケットＪをキャプチャ時の位置から移動させたことを検出すると、キャプチャ画像からＣＤジャケットＪの領域を抽出したＣＤジャケット画像５１を、そのＣＤジャケットＪのキャプチャ時の位置に投影させる。
同図（Ｂ）は、被写体が上記複数の名刺Ｃ１〜Ｃ５である場合の投影の様子を示す。ＣＰＵ１１は、ユーザが手Ｈにより名刺Ｃ１〜Ｃ５をキャプチャ時の位置から移動させたことを検出すると、キャプチャ画像から名刺Ｃ１〜Ｃ５の領域をそれぞれ抽出した複数の名刺画像Ｃ１〜Ｃ５を、それら名刺Ｃ１〜Ｃ５のキャプチャ時の位置に投影させる。
同図（Ａ）及び（Ｂ）に示した処理により、ユーザは、被写体がキャプチャされたことを容易に把握することができる。
【００４８】
図８に戻り、続いてＣＰＵ１１は、投影領域１０内から全ての被写体が投影領域１０外へ移動したか（存在しなくなったか）否かを判断する（ステップ８４）。この判断も、カメラ３による撮像画像を解析することで行われる。
ＣＰＵ１１は、全ての被写体が投影領域１０外へ移動したと判断した場合（ＹＥＳ）には、上記「Capture」ボタン５０を投影像から消去するようにプロジェクタ２を制御する（ステップ８５）。当該ステップ８４及び８５の処理は、これ以降の処理の実行中も随時実行される。
【００４９】
続いてＣＰＵ１１は、上記抽出された被写体画像から、被写体のメタデータを認識する（ステップ８６）。ここでメタデータとは、例えば被写体の正体（被写体が何であるか）、被写体に含まれる文字等のデータ等の被写体に関連するデータである。このメタデータの認識は、例えばパターンマッチングや特徴認識等の画像認識技術を用いて実行される。被写体が著作物である場合には、メタデータとして著作情報（著作者・著作物名）が認識されてもよい。この認識には、上記画像認識技術のほか、ＯＣＲ等の文字認識技術が用いられてもよい。また携帯情報機器１００は、被写体画像をネットワーク上の検索エンジンに送信して対応する著作情報を取得するための通信手段を有していてもよい。
【００５０】
続いてＣＰＵ１１は、被写体からメタデータを認識できた場合（ＹＥＳ）には、認識成功を示す画像を投影し、認識できなかった場合に（ＮＯ）には、認識失敗を示す画像を投影するようにプロジェクタ２を制御する（ステップ８８、８９）。
【００５１】
図１０は、当該メタデータの認識の成功及び失敗を示す画像（以下、認識結果表示画像と称する）が投影される様子を示した図である。
同図（Ａ）は、被写体が上記ＣＤジャケットＪである場合の投影の様子を示す。ＣＰＵ１１は、ＣＤジャケットＪのメタデータ（ＣＤジャケットという正体）の認識に成功した場合には、認識結果表示画像５３として、ＣＤジャケット画像５１近傍に例えばバルーンやポップアップ等により「Recognized」という文字をプロジェクタ２に投影させる。またＣＰＵ１１は、ＣＤジャケット画像５１の周囲に、メタデータの認識対象であることを示す枠５４を投影させるようにプロジェクタ２を制御する。
同図（Ｂ）は、被写体が上記複数の名刺Ｃ１〜Ｃ５である場合の投影の様子を示す。ＣＰＵ１１は、名刺Ｃ１〜Ｃ５のメタデータ（例えば名刺に記載された文字）の認識に成功した場合には、認識結果表示画像５３として、名刺画像５２の近傍に「Recognized」の文字を投影させ、失敗した場合には「Failed」の文字をプロジェクタ２に投影させる。各名刺画像５２の周囲には枠５４も投影される。同図では、名刺画像５２ａ、５２ｂ、５２ｃ及び５２ｅに対応する名刺Ｃ１、Ｃ２、Ｃ３及びＣ５の文字認識が成功し、名刺画像５２ｄに対応する名刺Ｃ４の文字認識が失敗した例が示されている。
【００５２】
これにより、ユーザはメタデータの認識結果を容易に把握することができる。また、メタデータの認識に失敗した名刺画像については、ユーザは、当該名刺画像に対応する名刺を再度投影領域１０内に載置して再度キャプチャさせることで、メタデータを正しく認識させることができる。
もちろん、メタデータの認識結果を示すための表示としては、上記「Recognized」及び「Failed」の文字に限られるものではなく、認識結果がユーザに把握できる態様であればどのような表示がなされてもよい。
【００５３】
図８に戻り、ＣＰＵ１１は、続いて、メタデータ認識対象の被写体が名刺であるか否かを判断する（ステップ９０）。被写体が名刺であると判断した場合（ＹＥＳ）には、ＣＰＵ１１は、名刺のメタデータを連絡先リストの一部として例えばフラッシュメモリ１３等に記憶させる（ステップ９１）。名刺が複数存在する場合には、各名刺のメタデータが一度に記憶される。
【００５４】
ここで連絡先リストとは、名刺から認識した名前、会社名、住所、電話番号、メールアドレス等の文字情報を人物毎にリスト化したものである。この連絡先リストに名刺の文字情報を記憶させる場合、ＣＰＵ１１は、その記憶の様子を示すアニメーションを投影させるようにプロジェクタ２を制御する。
【００５５】
図１１は、当該名刺の文字情報が連絡先リストに記憶される際のアニメーションを示した図である。このアニメーションは、上記キャプチャ動作及びメタデータ認識結果の投影動作からの一連の処理として投影される。また同図では、ＣＰＵ１１は上記名刺Ｃ１〜Ｃ５の全てについて文字情報の認識に成功したものとして説明する。
同図（Ａ）に示すように、ＣＰＵ１１は、名刺画像５２ａ〜５２ｅを例えば縦に並べ、各名刺画像５２ａ〜５２ｅの横に、文字情報として認識した名前５５（５５ａ〜５５ｅ）を投影させるようにプロジェクタ２を制御する。
同図（Ｂ）及び（Ｃ）に示すように、ＣＰＵ１１は、各名刺画像５２ａ〜５２ｅを例えば名前のアルファベット順に重ねて、既に連絡先リストに格納済みの他の名刺のアルファベット順の列５６の一部の該当箇所に順次ファイルするようなアニメーションを投影させる。
ここで、連絡先リストには、文字情報とともに名刺画像５２ａ〜５２ｅ自体も記憶されてもよい。
このようなアニメーションにより、携帯情報機器１００は、名刺Ｃ１〜Ｃ５が連絡先リストの一部として記憶されたことを分かりやすくユーザに把握させるとともに、ユーザの興趣の向上を図ることができる。
また、複数の名刺の文字情報が一度に認識され記憶されるため、それぞれについて記憶処理を実行する場合に比べて、ＣＰＵ１１の処理を効率化でき、ユーザの手間も省略することができる。
【００５６】
図８に戻り、ＣＰＵ１１は、被写体が名刺でないと判断した場合（ＮＯ）には被写体がＣＤジャケットであるか否かを判断する（ステップ９２）。被写体がＣＤジャケットであると判断した場合（ＹＥＳ）には、ＣＤジャケットのメタデータをミュージックコレクションの一部として例えばフラッシュメモリ１３等に記憶させる。
ここでミュージックコレクションとは、ＣＤジャケット画像５１自体を写真集として記憶するものである。しかし、ＣＰＵ１１は、ＣＤジャケット画像５１を基にそのＣＤジャケットＪに対応するアルバム名やアーティスト名等をメタデータとして認識して、当該ＣＤジャケット画像５１とともにミュージックコレクションに記憶してもよい。
さらに、ＣＰＵ１１は、当該メタデータを認識したＣＤジャケットＪに対応する楽曲データや関連する楽曲データを例えばインターネット等からダウンロードしてもよい。また、ＣＰＵ１１は、当該携帯情報機器１００が外部機器と接続したときに、当該楽曲データが当該外部機器に記憶されている場合には、当該楽曲データが外部機器から例えば上記外部Ｉ／Ｆ１８を介して携帯情報機器１００へ転送されるように予約をしてもよい。
【００５７】
被写体が名刺でもＣＤジャケットでもないと判断した場合（ＮＯ）には、ＣＰＵ１１は処理を終了する。しかし、携帯情報機器１００が、名刺及びＣＤジャケット以外の被写体からメタデータを認識して記憶するためのアプリケーションも有している場合には、それに応じた処理が実行される。
また、以上の処理を実行する上で、名刺からメタデータを認識するアプリケーションとＣＤジャケットからメタデータを認識するためのアプリケーションとは別個に存在してもよいし、１つのアプリケーションの各機能として存在してもよい。
【００５８】
上記ステップ８５において消去された「Capture」ボタン５０は、被写体が投影領域１０内に存在することが検出された場合には、上記図３のステップ４２以降で説明した処理により再度投影される。
【００５９】
以上の処理により、携帯情報機器１００は、投影像に含まれる「Capture」ボタン５０への操作が検出されたときに被写体の画像をキャプチャすることができる。さらに携帯情報機器１００は、全ての被写体が投影領域１０内に存在しなくなったことをトリガとして、被写体画像からメタデータを認識して記憶することができる。したがってユーザは、所望の被写体の画像を、携帯情報機器１００自体には触れずに投影像に対する操作のみで容易かつ直感的にキャプチャさせ、メタデータを認識及び記憶させることができる。またユーザは、投影領域１０内に所望の被写体を載置して「Capture」ボタン５０を押すことで、当該携帯情報機器１００を、投影領域１０をファインダ、「Capture」ボタン５０をシャッターボタンとする擬似的な大きなカメラとして使用することができる。
【００６０】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００６１】
上述の実施形態においては、ＣＰＵ１１は、全ての被写体が投影領域１０内に存在しなくなった（投影領域１０外へ移動した）ことをトリガとして、被写体画像からメタデータを認識して記憶していた。しかし、認識されたメタデータを記憶するか否かをユーザに判断させ、ユーザの操作を基にメタデータを記憶してもよい。
例えば、ＣＰＵ１１は、メタデータの記憶を指示するための操作を行うためのボタン画像を投影像に含めるようにプロジェクタ２を制御してもよい。
【００６２】
図１２は、上記メタデータの記憶を、ボタンの画像へのユーザの操作を基に実行する場合における携帯情報機器１００の動作の流れを示したフローチャートである。
同図に示すように、ＣＰＵ１１は、ステップ１２１からステップ１２９までは、上述した図８におけるステップ８１からステップ８９と同様の処理を実行する。
【００６３】
続いて、ＣＰＵ１１は、被写体が名刺であると判断した場合（ステップ１３０のＹＥＳ）には、投影像に「Save as Contacts」ボタンを含ませるようにプロジェクタ２を制御する（ステップ１３１）。
続いてＣＰＵ１１は、カメラ３の撮像画像を基に、ユーザが指等で「Save as Contacts」ボタンを押したか否かを判断する（ステップ１３２）。
そしてＣＰＵ１１は、「Save as Contacts」ボタンが押されたと判断した場合（ＹＥＳ）には、上述の実施形態と同様に、上記連絡先リストへメタデータを記憶する（ステップ１３３）。
【００６４】
またＣＰＵ１１は、被写体がＣＤジャケットであると判断した場合（ステップ１３４のＹＥＳ）には、投影像に「Save as Music Collection」ボタンを含ませるようにプロジェクタ２を制御する（ステップ１３５）。
続いてＣＰＵ１１は、カメラ３の撮像画像を基に、ユーザが指等で「Save as Music Collection」ボタンを押したか否かを判断する（ステップ１３６）。
そしてＣＰＵ１１は、「Save as Music Collection」ボタンが押されたと判断した場合（ＹＥＳ）には、上述の実施形態と同様に、上記ミュージックコレクションへＣＤジャケット画像Ｊを記憶する（ステップ１３７）。
【００６５】
もちろん、この「Save as Contacts」ボタン及び「Save as Music Collection」ボタンは、それらの文字を有するボタンに限られるものではない。すなわち、各被写体のメタデータの記憶処理を実行させるための操作用の画像であることがユーザに認識できればどのようなボタンやアイコン等が投影されも構わない。
【００６６】
図１３は、投影領域１０内に上記「Save as Music Collection」ボタン及び「Save as Contacts」ボタンが投影された様子を示す図である。
同図（Ａ）は、被写体がＣＤジャケットＪである場合の例を示す。ＣＰＵ１１は、被写体がＣＤジャケットであると判断すると、例えばＣＤジャケット画像５１の近傍に、上記「Capture」ボタン５０とは明確に区別できる態様で「Save as Music Collection」ボタン６１を投影するようにプロジェクタ２を制御する。
ＣＰＵ１１は当該「Save as Music Collection」ボタン６１をユーザが押したことを検出した場合に、ＣＤジャケット画像５１の記憶処理を実行する。
同図（Ｂ）は、被写体が複数の名刺Ｃ１〜Ｃ５である場合の例を示す。ＣＰＵ１１は、名刺Ｃ１〜Ｃ５の全てについて文字情報を認識し、被写体が名刺であると判断すると、「Save as Contacts」ボタン６２を投影するようにプロジェクタ２を制御する。
同図では、「Save as Contacts」ボタン６２は、複数の名刺Ｃ１〜Ｃ５に対応する名刺画像５２ａ〜５２ｅについて１つのみ投影されているが、もちろん、名刺毎にそれぞれ投影されてもよい。またこの場合には、全ての名刺について文字情報の認識が成功している必要はなく、成功している名刺についてのみ「Save as Contacts」ボタンが表示されてもよい。
ＣＰＵ１１は当該「Save as Contacts」ボタン６２をユーザが押したことを検出した場合に、複数の名刺画像５２ａ〜５２ｅを一度に記憶する。
【００６７】
以上の処理により、携帯情報機器１００は、メタデータの認識後、当該メタデータ及び被写体画像を連絡先リストやミュージックコレクション等のリストに記憶するか否かを、投影像に対するユーザの操作を基に判断して実行することができる。したがって、ユーザは、被写体のメタデータ及び被写体画像をリストに記憶するか否かにつき、容易な操作で能動的に決定することができる。
【００６８】
上述の実施形態においては、投影領域１０内に被写体としてＣＤジャケットが存在する場合と名刺が存在する場合とを別個に示した。しかし、このような異なる種類の被写体が投影領域１０内に同時に存在する場合には、ＣＰＵ１１は、それぞれについてキャプチャ処理及びメタデータ認識・記憶処理を実行してもよい。
図１４は、このように異なる被写体が投影領域１０内に同時に存在する場合の様子を示した図である。
同図（Ａ）に示すように、ＣＰＵ１１は、投影領域１０内に異なる被写体（ＣＤジャケットＪ及び名刺Ｃ）が存在することを認識した場合、両者を含むカメラ３の撮像画像をキャプチャするための「Capture」ボタン５０をプロジェクタに投影させる。
ＣＰＵ１１は、「Capture」ボタン５０が押されたことを検出した場合、同図（Ｂ）に示すように、当該投影画像をキャプチャし、各キャプチャ画像から、ＣＤジャケット画像５１及び名刺画像５２をそれぞれ抽出する。
続いてＣＰＵ１１は、認識結果表示画像５３に続いて「Save as Music Collection」ボタン６１及び「Save as Contacts」ボタン６２をプロジェクタ２に投影させる。そしてＣＰＵ１１は、これらのボタンに対するユーザの操作に応じて、名刺Ｃの文字情報を連絡先リストに記憶し、ＣＤジャケット画像５１をミュージックコレクションに記憶する。
また、ＣＰＵ１１は、「Save as Music Collection」ボタン６１及び「Save as Contacts」ボタン６２を投影させない場合には、ＣＤジャケットＪ及び名刺Ｃが投影領域１０内から投影領域１０外へそれぞれ移動したときにそれぞれ記憶処理を実行する。
以上の処理により、ユーザは、種類の異なる被写体を投影領域１０内に一度に載置して投影像に対する操作を行うだけで、異なる被写体のメタデータ等をそれぞれのリストに容易に記憶させることができる。
【００６９】
上述の実施形態においては、プロジェクタ２の投影領域１０とカメラ３の撮像領域とは一致していた。しかし、この投影領域１０と撮像領域とは一致していなくてもよい。
図１５は、この場合の投影像の例を示した図である。
同図に示すように、撮像領域１１０は、投影領域１０の内部に、投影領域１０の一部として設けられる。投影領域１０のうち、撮像領域１１０を除いた非撮像領域１２０には、上記「Capture」ボタン５０が投影される。
これにより、「Capture」ボタン５０や、「Capture」ボタン５０を押すユーザの指がキャプチャされることを防ぐことができる。したがってユーザは、所望の被写体以外の余計な物体が写っていないキャプチャ画像を携帯情報機器１００に記憶させることができる。
【００７０】
上述の実施形態において、ＣＰＵ１１は、キャプチャ時に、投影像の照度を大きくするようにプロジェクタ２を制御したり、フラッシュ音を出力するようにスピーカ１４を制御したりしていた。しかし、ＣＰＵ１１は、それらの処理の代わりに、キャプチャした旨を示すアイコンやテキストをプロジェクタ２により投影させてもよい。
【００７１】
上述の実施形態においては、「Capture」ボタン５０が押されたときにキャプチャ処理が実行された。しかし、当該キャプチャ処理のトリガは「Capture」ボタン５０の押下のみに限られない。携帯情報機器１００は、例えば「Capture」等、キャプチャを指示するユーザの音声を認識したときにキャプチャ処理を実行してもよい。この場合、「Capture」ボタン５０は表示されなくてもよい。
【００７２】
上述の実施形態においては、上記図１１に示したように、例えば名刺等の被写体のキャプチャ画像（被写体画像）から認識されたメタデータ（例えば文字情報）が、所定のリスト（連絡先リスト）に記憶される様子がアニメーションとして表示された。ここで、文字認識の対象である被写体に複数項目（例えば、名前、会社名、住所等）の文字列が含まれる場合、認識文字自体が誤っている場合のほか、各文字列の項目と各認識文字列との対応が取れない場合も考えられる。例えば、会社名として認識すべき文字列が誤って名前として認識されてしまう場合が考えられる。このような誤った文字認識がなされると、記憶されるリストも誤ったままの状態となり、不都合が生じる。
そこで、携帯情報機器１００は、そのような誤った文字列を、上記アニメーション実行途中でユーザの操作入力を基に修正してもよい。
図１６は、当該アニメーション途中で誤った文字を修正する様子を示した図である。
同図（Ａ）に示すように、アニメーション途中で縦に並べられた複数の名刺画像５２のうち、名刺画像５２ａに対応して名前が表示されるべき箇所に、会社名１６１が取り違えられて表示されている。このような場合、ユーザは、同図（Ａ）に示すように、手Ｈの指等で、間違って会社名１６１が表示されている箇所をタッチする。
携帯情報機器のＣＰＵ１１は、当該タッチをカメラ３の撮像画像を基に検出する。そしてＣＰＵ１１は、同図（Ｂ）に示すように、その名刺画像５２ａから既に認識してある文字列の一覧を修正候補として提示するための修正候補リストボックス１６２を表示するようにプロジェクタ２を制御する。
ユーザが、当該修正候補リストボックス１６２から、同図（Ｂ）に示すように指で正しい文字列（名前）をタッチにより選択すると、ＣＰＵ１１は、当該タッチをカメラ３の撮像画像から検出する。そしてＣＰＵ１１は、同図（Ｃ）に示すように、それまでに表示されていた会社名１６１を、当該選択された文字列（名前５５ａ）へと変更する。これにより、フラッシュメモリ１３内の連絡先リストにも、正しい文字列が記憶されることとなる。
以上の処理により、携帯情報機器１００は、仮に認識文字列の項目を誤った場合でも、修正候補を提示してユーザにタッチさせることで、当該誤りを容易に修正させることが可能となる。
ＣＰＵ１１は、上記修正候補リストボックス１６２の代わりに、例えばソフトウェアキーボードを表示させ、当該キーボードからユーザが入力した文字列によって、間違った文字列を修正してもよい。
【００７３】
上述の実施形態においては、被写体としてＣＤジャケット及び名刺を例に挙げたが、被写体はもちろんこれらに限られない。
例えば、携帯情報機器１００は、レストランに置いてあるレストラン情報カードを被写体としてキャプチャし、当該キャプチャ画像から文字情報を認識して、その情報をレストランリストの一部として記憶することもできる。
また携帯情報機器１００は、ワインボトルを被写体としてキャプチャし、当該キャプチャ画像から文字情報を認識して、その情報をワインリストの一部として記憶することもできる。
【００７４】
上述の実施形態において本発明を適用可能な携帯情報機器１００としては、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、スマートフォン、携帯型音楽／動画プレイヤー、電子辞書、電子手帳等のあらゆる情報処理装置が挙げられる。また本発明は携帯情報機器に限られず据置型のあらゆる情報処理装置にも同様に適用可能である。
【符号の説明】
【００７５】
２…プロジェクタ
３…カメラ
４…ディスプレイ
１０…投影領域
１１…ＣＰＵ
１２…ＲＡＭ
１３…フラッシュメモリ
１４…スピーカ
１７…メモリカード
５０…「Capture」ボタン
５１…ＣＤジャケット画像
５２（５２ａ〜５２ｅ）…名刺画像
５３…認識結果表示画像
６１…「Save as Music Collection」ボタン
６２…「Save as Contacts」ボタン
１００…携帯情報機器
１１０…撮像領域
１２０…非撮像領域
Ｊ…ＣＤジャケット
Ｃ（Ｃ１〜Ｃ５）…名刺
【特許請求の範囲】
【請求項１】
第１の操作用画像を含む投影像を所定領域に投影するプロジェクタと、
前記所定領域内の被写体を撮像するカメラと、
第１の記憶部と、
前記カメラにより撮像される撮像画像を基に前記第１の操作用画像への操作を検出し、当該操作が検出されたときに、前記撮像画像のうち少なくとも前記被写体の画像を記憶するように前記第１の記憶部を制御する制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
第２の記憶部をさらに具備し、
前記制御部は、前記撮像画像を基に前記被写体のメタデータを認識し、当該メタデータを所定のリストの一部として記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記制御部は、前記メタデータが認識できたか否かを示す情報を前記投影像に含めるように前記プロジェクタを制御する
情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記制御部は、前記操作が検出されたときから所定時間、前記投影像の照度を前記検出の前よりも大きくするように前記プロジェクタを制御する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記制御部は、前記撮像画像を基に前記被写体が前記所定領域内に存在するか否かを検出し、前記被写体が前記所定領域内に存在することが検出された場合に、前記第１の操作用画像を前記投影像に含めるように前記プロジェクタを制御する
情報処理装置。
【請求項６】
請求項２に記載の情報処理装置であって、
前記制御部は、前記撮像画像を基に前記メタデータが認識された被写体が前記所定領域内に存在しなくなったことが検出されたときに、前記メタデータを記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記制御部は、前記所定領域内に存在する複数の被写体からそれぞれメタデータを認識し、複数の被写体が全て前記所定領域内に存在しなくなったことが検出されたときに、前記複数のメタデータをそれぞれ前記所定のリストの一部として一度に記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項８】
請求項６に記載の情報処理装置であって、
前記制御部は、前記所定領域内に存在する、第１の被写体及び当該第１の被写体とは異なる種類の第２の被写体からそれぞれメタデータを認識し、第１の被写体が前記所定領域内に存在しなくなったことが検出されたときに、当該第１の被写体の第１のメタデータを第１のリストの一部として記憶し、第２の被写体が前記所定領域内に存在しなくなったことが検出されたときに、当該第２の被写体の第２のメタデータを第２のリストの一部として記憶するように、前記第２の記憶部を制御する
情報処理装置。
【請求項９】
請求項２に記載の情報処理装置であって、
前記制御部は、前記メタデータが認識されたときに、前記第１の操作用画像とは異なる第２の操作用画像を前記投影像に含めるように前記プロジェクタを制御し、前記撮像画像を基に当該第２の操作用画像への操作を検出し、当該操作が検出されたときに、前記メタデータを記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、
前記制御部は、前記所定領域内に存在する複数の被写体からそれぞれメタデータを認識し、前記第２の操作用画像への操作が検出されたときに、前記複数のメタデータをそれぞれ前記所定のリストの一部として一度に記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項１１】
請求項９に記載の情報処理装置であって、
前記制御部は、前記所定領域内に存在する、第１の被写体及び当該第１の被写体とは異なる種類の第２の被写体からそれぞれメタデータを認識し、前記第２の操作用画像への操作が検出されたときに、当該第１の被写体及び当該第１の被写体の第１のメタデータを第１のリストの一部として記憶し、当該第２の被写体及び当該第２の被写体の第２のメタデータを第２のリストの一部として記憶するように、前記第２の記憶部を制御する
情報処理装置。
【請求項１２】
請求項２に記載の情報処理装置であって、
前記制御部は、前記被写体の画像を用いて、前記メタデータを前記所定のリストの一部として記憶する様子を示すアニメーションを投影するように前記プロジェクタを制御する
情報処理装置。
【請求項１３】
請求項５に記載の情報処理装置であって、
前記制御部は、前記被写体の画像が前記第１の記憶部に記憶された後、当該被写体が当該記憶時の位置から移動したか否かを検出し、当該被写体が移動したことが検出されたときに、前記第１の記憶部に記憶された前記被写体の画像を、当該記憶時の位置に投影するように前記プロジェクタを制御する
情報処理装置。
【請求項１４】
プロジェクタとカメラと記憶部とを有する情報処理装置における情報処理方法であって、
操作用画像を含む投影像を前記プロジェクタにより所定領域に投影し、
前記所定領域内の被写体を前記カメラにより撮像し、
前記カメラにより撮像される撮像画像を基に前記操作用画像への操作を検出し、
前記操作が検出されたときに、前記撮像画像のうち少なくとも前記被写体の画像を前記記憶部に記憶する
情報処理方法。
【請求項１５】
プロジェクタとカメラと記憶部とを有する情報処理装置に、
操作用画像を含む投影像を前記プロジェクタにより所定領域に投影するステップと、
前記所定領域内の被写体を前記カメラにより撮像するステップと、
前記カメラにより撮像される撮像画像を基に前記操作用画像への操作を検出するステップと、
前記操作が検出されたときに、前記撮像画像のうち少なくとも前記被写体の画像を前記記憶部に記憶するステップと
を実行させるプログラム。
【請求項１】
第１の操作用画像を含む投影像を所定領域に投影するプロジェクタと、
前記所定領域内の被写体を撮像するカメラと、
第１の記憶部と、
前記カメラにより撮像される撮像画像を基に前記第１の操作用画像への操作を検出し、当該操作が検出されたときに、前記撮像画像のうち少なくとも前記被写体の画像を記憶するように前記第１の記憶部を制御する制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
第２の記憶部をさらに具備し、
前記制御部は、前記撮像画像を基に前記被写体のメタデータを認識し、当該メタデータを所定のリストの一部として記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記制御部は、前記メタデータが認識できたか否かを示す情報を前記投影像に含めるように前記プロジェクタを制御する
情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記制御部は、前記操作が検出されたときから所定時間、前記投影像の照度を前記検出の前よりも大きくするように前記プロジェクタを制御する
情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記制御部は、前記撮像画像を基に前記被写体が前記所定領域内に存在するか否かを検出し、前記被写体が前記所定領域内に存在することが検出された場合に、前記第１の操作用画像を前記投影像に含めるように前記プロジェクタを制御する
情報処理装置。
【請求項６】
請求項２に記載の情報処理装置であって、
前記制御部は、前記撮像画像を基に前記メタデータが認識された被写体が前記所定領域内に存在しなくなったことが検出されたときに、前記メタデータを記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記制御部は、前記所定領域内に存在する複数の被写体からそれぞれメタデータを認識し、複数の被写体が全て前記所定領域内に存在しなくなったことが検出されたときに、前記複数のメタデータをそれぞれ前記所定のリストの一部として一度に記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項８】
請求項６に記載の情報処理装置であって、
前記制御部は、前記所定領域内に存在する、第１の被写体及び当該第１の被写体とは異なる種類の第２の被写体からそれぞれメタデータを認識し、第１の被写体が前記所定領域内に存在しなくなったことが検出されたときに、当該第１の被写体の第１のメタデータを第１のリストの一部として記憶し、第２の被写体が前記所定領域内に存在しなくなったことが検出されたときに、当該第２の被写体の第２のメタデータを第２のリストの一部として記憶するように、前記第２の記憶部を制御する
情報処理装置。
【請求項９】
請求項２に記載の情報処理装置であって、
前記制御部は、前記メタデータが認識されたときに、前記第１の操作用画像とは異なる第２の操作用画像を前記投影像に含めるように前記プロジェクタを制御し、前記撮像画像を基に当該第２の操作用画像への操作を検出し、当該操作が検出されたときに、前記メタデータを記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、
前記制御部は、前記所定領域内に存在する複数の被写体からそれぞれメタデータを認識し、前記第２の操作用画像への操作が検出されたときに、前記複数のメタデータをそれぞれ前記所定のリストの一部として一度に記憶するように前記第２の記憶部を制御する
情報処理装置。
【請求項１１】
請求項９に記載の情報処理装置であって、
前記制御部は、前記所定領域内に存在する、第１の被写体及び当該第１の被写体とは異なる種類の第２の被写体からそれぞれメタデータを認識し、前記第２の操作用画像への操作が検出されたときに、当該第１の被写体及び当該第１の被写体の第１のメタデータを第１のリストの一部として記憶し、当該第２の被写体及び当該第２の被写体の第２のメタデータを第２のリストの一部として記憶するように、前記第２の記憶部を制御する
情報処理装置。
【請求項１２】
請求項２に記載の情報処理装置であって、
前記制御部は、前記被写体の画像を用いて、前記メタデータを前記所定のリストの一部として記憶する様子を示すアニメーションを投影するように前記プロジェクタを制御する
情報処理装置。
【請求項１３】
請求項５に記載の情報処理装置であって、
前記制御部は、前記被写体の画像が前記第１の記憶部に記憶された後、当該被写体が当該記憶時の位置から移動したか否かを検出し、当該被写体が移動したことが検出されたときに、前記第１の記憶部に記憶された前記被写体の画像を、当該記憶時の位置に投影するように前記プロジェクタを制御する
情報処理装置。
【請求項１４】
プロジェクタとカメラと記憶部とを有する情報処理装置における情報処理方法であって、
操作用画像を含む投影像を前記プロジェクタにより所定領域に投影し、
前記所定領域内の被写体を前記カメラにより撮像し、
前記カメラにより撮像される撮像画像を基に前記操作用画像への操作を検出し、
前記操作が検出されたときに、前記撮像画像のうち少なくとも前記被写体の画像を前記記憶部に記憶する
情報処理方法。
【請求項１５】
プロジェクタとカメラと記憶部とを有する情報処理装置に、
操作用画像を含む投影像を前記プロジェクタにより所定領域に投影するステップと、
前記所定領域内の被写体を前記カメラにより撮像するステップと、
前記カメラにより撮像される撮像画像を基に前記操作用画像への操作を検出するステップと、
前記操作が検出されたときに、前記撮像画像のうち少なくとも前記被写体の画像を前記記憶部に記憶するステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２５０４６４（Ｐ２０１０−２５０４６４Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−９７７２３（Ｐ２００９−９７７２３）
【出願日】平成２１年４月１４日（２００９．４．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１４日（２００９．４．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]