情報処理装置、情報処理方法、およびプログラム
【課題】被写体に対して状態変化を促す情報を提供することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。
【解決手段】情報処理装置は、撮像画像を取得する画像取得部１４１と、上記画像取得部により取得される撮像画像内の被写体に対して、状態変化を促すためのグラフィックを生成する生成部１４３と、上記生成部により生成されたグラフィックの上記被写体への照射を制御する照射制御部１４４とを有する。
【解決手段】情報処理装置は、撮像画像を取得する画像取得部１４１と、上記画像取得部により取得される撮像画像内の被写体に対して、状態変化を促すためのグラフィックを生成する生成部１４３と、上記生成部により生成されたグラフィックの上記被写体への照射を制御する照射制御部１４４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、プロジェクタとカメラの機能を併せ持つ装置が登場し、カメラによる撮影において、プロジェクタの機能を利用することが提案されてきている。例えば、特許文献１には、撮影情報を被写体に向けて照射することにより、被写体が撮影に関する情報を知ることができるカメラが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１２９１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載のカメラを用いると、被写体は、例えば撮影範囲などの撮影に関する情報を知ることができるが、それによって被写体が何をすればよいのかは知ることができず、被写体は与えられた情報から自分で判断するしかなかった。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、被写体に対して状態変化を促す情報を提供することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する画像取得部と、上記画像取得部により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成部と、上記生成部により生成されたグラフィックの上記被写体への照射を制御する照射制御部と、を有する情報処理装置が提供される。
【０００７】
また、上記画像取得部により取得される撮像画像を解析する解析部をさらに有し、上記生成部は、上記解析部における解析結果に基づいて上記グラフィックを生成してもよい。
【０００８】
また、操作者による操作の情報を取得する操作情報取得部をさらに有し、上記生成部は、上記操作情報に基づいて上記グラフィックを生成してもよい。
【０００９】
また、上記生成部は、生成した上記グラフィックに対する操作の情報に基づいて修正グラフィックを生成し、上記照射制御部は、上記修正グラフィックの上記被写体への照射を制御してもよい。
【００１０】
また、上記解析部は、所望の状態と上記撮像画像内の被写体の状態との差異を示す差異情報を含む解析結果を出力し、上記生成部は、上記差異情報に基づいて、上記被写体が上記所望の状態に近づくよう上記被写体に対して状態変化を促すためのグラフィックを生成してもよい。
【００１１】
また、上記照射制御部は、上記差異情報が所定の閾値以下となったことが検知されると、上記グラフィックの照射を停止させてもよい。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、情報処理装置の演算処理手段に所定の処理手順を実行させることにより実現される譲歩処理方法の、上記処理手順が、撮像画像を取得する画像取得ステップと、上記撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成ステップと、上記グラフィックの上記被写体への照射を制御する照射制御ステップと、を含む、情報処理方法が提供される。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、撮像画像を取得する画像取得部と、上記画像取得部により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成部と、上記生成部により生成されたグラフィックの上記被写体への照射を制御する照射制御部として機能させるためのプログラムが提供される。
【発明の効果】
【００１４】
以上説明したように本発明によれば、被写体に対して状態変化を促す情報を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る情報処理装置の外観図である。
【図２】同実施形態にかかる情報処理装置のハードウェア構成図である。
【図３】同実施形態に係る情報処理装置によって実現されるユーザ体験の一例を示す説明図である。
【図４】同実施形態に係る情報処理装置の機能ブロック図である。
【図５】同実施形態に係る情報処理装置の動作を示すフローチャートである。
【図６】ユーザ操作に従ってグラフィックが生成される一例の説明図である。
【図７】撮像領域と照射領域が異なる場合の表示例を示す説明図である。
【図８】ユーザ操作と生成されるグラフィックの一例を示す説明図である。
【図９】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１０】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１１】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１２】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１３】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１４】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１５】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１６】修正グラフィックの生成の一例についての説明図である。
【図１７】修正グラフィックの生成の他の一例についての説明図である。
【図１８】解析結果により生成されるグラフィックの一例を示す説明図である。
【図１９】解析結果により生成されるグラフィックの他の一例を示す説明図である。
【図２０】解析結果により生成されるグラフィックの他の一例を示す説明図である。
【図２１】解析結果により生成されるグラフィックの他の一例を示す説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
なお、説明は以下の順序で行うものとする。
１．概要
２．機能構成
３．動作
４．ユーザ操作に従ってグラフィックを生成する例
５．解析結果に従って自動的にグラフィックを生成する例
【００１８】
＜１．概要＞
まず、図１を参照して、本実施形態の概要について説明する。本実施形態にかかる情報処理装置１０は、主に、被写体を撮像する撮像装置（カメラ）と、映像を被写体に照射する照射装置（プロジェクタ）と、カメラにより撮像された撮像画像を表示する表示装置（ディスプレイ）などを備える。図１に示したように、情報処理装置１０の一の面（表面）には、ディスプレイ１１が備えられている。また、情報処理装置１０の他の面（裏面）には、カメラ用レンズ１２とプロジェクタ用レンズ１３が備えられている。以下では、カメラ用レンズ１２を含むカメラを撮像装置１２またはカメラ１２と称し、プロジェクタ用レンズ１３を含むプロジェクタを照射装置１３またはプロジェクタ１３と称する。
【００１９】
情報処理装置１０では、カメラ１２とプロジェクタ１３が情報処理装置１０の筐体の固定の位置に備えられている。カメラ１２で撮像された被写体の画像は、ディスプレイ１１に表示される。また、プロジェクタ１３から被写体に投影イメージが照射される。そして、投影イメージが照射された被写体がディスプレイ１１に表示される。
【００２０】
次に、図２を参照して、情報処理装置１０のハードウェア構成について説明する。図２は、情報処理装置１０のハードウェア構成を示すブロック図である。図２に示したように、情報処理装置１０は、表示装置（ディスプレイ）１１と、撮像装置（カメラ）１２と、照射装置（プロジェクタ）１３と、ＣＰＵ１４と、入力装置１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、不揮発性メモリ１７などを備える。
【００２１】
ＣＰＵ１４は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１４は、マイクロプロセッサであってもよい。ＲＡＭ１６は、ＣＰＵ１４の実行において使用するプログラムや、その実行において適宜変換するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１７は、ＣＰＵ１４が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１７は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等を用いることができる。
【００２２】
表示装置１１は、情報を出力する出力装置の一例である。表示装置１１として、例えば液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを用いることができる。
【００２３】
撮像装置１２は、撮像レンズを介して通過した光をＣＣＤで電気信号に変換し、アナログ信号をデジタル変換することにより被写体を撮像する機能を有する。撮像装置１２により撮像された画像は、表示装置１１に表示される。
【００２４】
照射装置１３は、照射レンズを介して被写体に光を照射する機能を有する。照射装置１３は、ＣＰＵ１４の制御のもと、投影イメージを被写体に照射する。
【００２５】
入力装置１５は、例えば、タッチパネル、ボタン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１４に出力する入力制御回路などから構成されている。なお、以下の説明中においては、入力装置１５は表示装置１１上に積層されたタッチパネルである場合について主に説明するため、タッチパネル１５と称する。
【００２６】
次に、情報処理装置１０を用いて実現できるユーザ体験の一例について図３を用いて説明する。図３は、情報処理装置１０を用いて実現できるユーザ体験の一例について説明するための説明図である。
【００２７】
なお、本明細書及び図面において、実質的に同一の役割を有する要素を同一の符号の後にハイフンを介して異なる番号を付して区別する場合もある。例えば、実質的に同一の役割を有する複数の要素を、必要に応じて被写体２０−１、被写体２０−２、および被写体２０−３のように区別する。ただし、実質的に同一の役割を有する要素を特に区別する必要がない場合、同一符号のみを付する。例えば、被写体２０−１、被写体２０−２などを特に区別する必要がない場合には、単に被写体２０と称する。
【００２８】
情報処理装置１０は、撮像画像２０２における被写体２０の状態、具体的には、被写体２０の配置、表情、ポーズなどの状態変化を促すためのグラフィック１０２を生成し、被写体２０に対して照射装置１３を用いて照射する。被写体は、グラフィック１０２を見ることによって自らに要求されている状態変化を知ることができる。このため、被写体２０はグラフィック１０２に従って移動する、表情を変える、またはポーズを変えるなど状態を変化させることにより、要求されている状態へと変化することができる。
【００２９】
ここで、照射するグラフィック１０２が時の経過に従って変化する動的なグラフィックであれば、被写体２０は、静的なグラフィックによって状態変化を促されるよりもその情報の内容をより正確に把握することができる。例えば、図３の例によると、被写体２０に全体的に右に移動して欲しい場合には、右向きの小さな矢印が複数連なってなるグラフィック１０２によって状態変化を促す。このとき、グラフィック１０２を構成する一部の小さな矢印が欠けており、時の経過に伴って、小さな矢印の欠けている位置が順次右方向に変化する動的なグラフィック１０２を照射する。これにより、被写体２０は、単に静的な右向きの矢印からなるグラフィックを照射されるよりもその方向を直感的に知ることができる。
【００３０】
なお、ここで要求されている状態とは、例えば情報処理装置１０の操作者が要求する状態であってもよい。この場合、操作者は、表示装置１１に表示された撮像画像を見ながら、要求する状態へと被写体２０を誘導するためのグラフィックを生成するためにタッチパネル１５を用いて入力する。また、例えばここで要求されている状態とは、予め情報処理装置１０に記憶された望ましい状態であってもよい。例えば、撮像画像における望ましい構図についての情報を情報処理装置１０が予め有している場合に、情報処理装置１０は、撮像画像を解析することにより、望ましい構図との差異を埋めるために被写体へ状態変化を促すグラフィックを生成する。また、予め情報処理装置１０に記憶された望ましい状態とは、構図に限らず、表情などであってもよい。
【００３１】
以上、本実施形態に係る情報処理装置１０と、情報処理装置１０により実現できるユーザ体験の概要について説明してきた。次に、このような機能を実現するための情報処理装置１０の機能構成について図４を用いて説明する。
【００３２】
＜２．機能構成＞
図４は、情報処理装置１０のＣＰＵ１４の機能構成図である。情報処理装置１０のＣＰＵ１４は、画像取得部１４１、解析部１４２、生成部１４３、照射制御部１４４、操作情報取得部１４５、および表示制御部１４６の機能を主に有する。
【００３３】
画像取得部１４１は、撮像装置１２を制御することにより、撮像画像を取得する。画像取得部１４１は、取得した撮像画像を解析部１４２および表示制御部１４６に入力する。
【００３４】
解析部１４２は、画像取得部１４１により取得される撮像画像を解析する。解析部１４１は、情報処理装置１０の動作モードが被写体に対してグラフィックにより情報を提供するアシストモードとなっており、さらにアシストモードの中でも、解析によって自動的にグラフィックを生成する自動解析モードとなっている場合に解析を実行する。動作モードが自動解析モードでない場合には、解析部１４２は撮像画像の解析を実行せずに、撮像画像を生成部１４３に入力する。
【００３５】
ここで、自動解析モード動作中の場合の解析部１４２の機能について説明する。解析部１４２は、所定の解析基準に従って撮像画像を解析することによって、撮像画像中の被写体２０の状態が所定の解析基準における好ましい状態であるか否か、また、撮像画像中の被写体２０の状態と好ましい状態との差異の程度を示す解析結果を生成部１４３に出力する。解析部１４２の具体的な解析の内容については、具体例を用いて後述する。
【００３６】
生成部１４３は、画像取得部１４１により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する。このとき、生成部１４３は、被写体が所望の状態に近づくように促すためのグラフィックを生成する。生成部１４３は、情報処理装置１０が解析モードで動作している場合には、解析部１４２の解析結果に基づいて、グラフィックを生成する。また、生成部１４３は、情報処理装置１０がアシストモードの中でも操作者の入力に従ってグラフィックを生成する入力モードで動作している場合には、操作情報取得部１４５による操作情報に基づいてグラフィックを生成する。さらに、生成部１４３は、入力モード動作中であっても、操作情報に基づいて、さらに解析結果に基づいてグラフィックが必要な場合には、解析部１４２に撮像画像を解析させ、操作情報および解析情報の双方に基づいたグラフィックを生成してもよい。かかる具体例については、後述される。そして、生成部１４３は、生成したグラフィックを照射制御部１４４および表示制御部１４６に入力する。
【００３７】
また、生成部１４３は、生成したグラフィックに対する操作の情報に基づいて、照射したグラフィックを修正しあた修正グラフィックを生成してもよい。このとき、操作の情報は、例えば表示装置１１に表示されたグラフィックに対して、タッチパネル１５を用いて操作者が行った操作の情報であってよい。または、操作の情報は、照射装置１３により被写体２０に照射されたグラフィックに対して被写体が行った操作の情報であってもよい。
【００３８】
照射制御部１４４は、照射装置１３によるグラフィックの照射を制御する。照射制御部１４４は、生成部１４３により生成されたグラフィックまたは修正グラフィックの被写体２０への照射を制御する。照射制御部１４４は、例えば撮像装置１２のシャッターボタンが押下された情報を操作情報取得部１４５から得ると、グラフィックの照射を停止してもよい。或いは、照射制御部１４４は、解析部１４２による解析結果から被写体２０の状態が要求される状態となったことが検知されると、グラフィックの照射を停止してもよい。
【００３９】
操作情報取得部１４５は、情報処理装置１０に対する操作者の操作情報を取得する。操作情報取得部１４５は入力装置１５を用いた操作者の操作情報を取得する。ここで、入力装置１５は、例えばタッチパネルであってもよく、例えばシャッターボタンのような入力装置であってもよい。
【００４０】
表示制御部１４６は、表示装置１１の画面表示を制御する。表示制御部１４６は、画像取得部１４１により取得された撮像画像に生成部１４３から入力されたグラフィックを重畳した表示画像を生成して表示装置１１に表示させる。
【００４１】
以上、情報処理装置１０のＣＰＵ１４の機能構成について説明してきた。なお、ここで説明した各部の機能は、実際には、ＣＰＵ１４がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＡＭ１６などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより達成される。なお、以上説明してきた機能部による情報処理装置１０の動作について、次に、図５のフローチャートを用いて説明する。
【００４２】
＜３．動作＞
図５は、情報処理装置１０のアシストモードにおける動作を説明するためのフローチャートである。まず、情報処理装置１０のＣＰＵ１４は、情報処理装置１０の動作モードがアシストモードになっているか否かを判断する（Ｓ１０２）。ステップＳ１０２の判断において、動作モードがアシストモードでない場合には、ここで説明する動作は関係ないため、処理を終了する。一方、アシストモードであることが確認された場合には、次に、ＣＰＵ１４は、照射装置１３が動作しているか否かを判断する（Ｓ１０４）。
【００４３】
ステップＳ１０４の判断において照射装置１３が動作していない場合には、照射装置の照射を開始し（Ｓ１０６）、次に画像取得部１４１が撮像装置１２から撮像画像を取得する（Ｓ１０８）。そして、画像取得部１４１が、解析部１４２および表示制御部１４６に取得した撮像画像を入力すると、表示制御部１４６は、入力された撮像画像を表示装置１１に表示させる。一方、解析部１４２は、情報処理装置１０の動作モードがアシストモードのうち操作者の操作情報に従って照射するグラフィックを生成する入力モードであるか否かを判断する（Ｓ１１０）。本実施形態においては、アシストモードの動作モードとして入力モードと解析モードがあることとする。
【００４４】
ステップＳ１１０において動作モードが入力モードであると判断された場合には、次にＣＰＵ１４は、操作者からの操作入力を受付ける状態となるよう情報処理装置１０の動作を制御する（Ｓ１１２）。そして、操作者による操作情報から、撮像画像の解析が必要な操作であるか否かが判断され（Ｓ１１４）、ステップＳ１１４の判断において撮像画像の解析が必要な操作であると判断されると、生成部１４３は、解析部１４２に撮像画像を解析させる（Ｓ１１６）。ステップＳ１１４の判断において、解析の必要な操作ではないと判断された場合には、ステップＳ１１６の解析処理は省略される。また一方、ステップＳ１１０において、動作モードが入力モードではなく解析モードであると判断された場合には、ステップＳ１１２およびステップＳ１１４の動作は省略され、ステップＳ１１６において、解析部１４２は、撮像画像を解析する。
【００４５】
そして、次に生成部１４３は、操作情報または解析情報の少なくともいずれかに基づいて、被写体に提示する情報があるか否かを判断する（Ｓ１１８）。ステップＳ１１８の判断において提示するべき情報がない場合には、ステップＳ１０８に戻って撮像画像が取得される。一方、ステップＳ１１８の判断において被写体に提示するべき情報があると判断された場合には、生成部１４３は、操作情報または解析情報の少なくともいずれかに基づいて、被写体２０に照射するグラフィックを生成する（Ｓ１２０）。
【００４６】
そして、照射制御部１４４は、ステップＳ１２０において生成部１４２により生成されたグラフィックを照射装置１３に照射させる（Ｓ１２２）。被写体２０は、照射されたグラフィックを見て要求されている状態に近づくための状態変化をする。具体的には、状態変化とは、立ち位置を移動したり、表情を変更したり、ポーズを変更したりといった行為をいう。
【００４７】
そして、ＣＰＵ１４は、操作者が撮影のために例えばシャッターボタンを半押しすることによってピントを合わせるなどの動作をしたか否かを判断する（Ｓ１２４）。ステップＳ１２４における判断の結果、シャッターボタンが押下されていない場合には、再びステップＳ１０８に戻って撮像画像の取得が実行される。一方、ステップＳ１２４における判断の結果シャッターボタンの押下などの動作が行われた場合には、照射制御部１４４は、グラフィック照射を停止し（Ｓ１２６）、撮像装置１２により撮影が実行される（Ｓ１２８）。なお、ステップＳ１２８において撮影が実行された後は、ステップＳ１０２の判断に戻り、アシストモードがＯＦＦにされるまで上記の動作が繰り返される。
【００４８】
なお、図５の例においては、シャッターボタンの押下を検知することによってグラフィック照射の停止を判断することとしたが、グラフィック照射停止の判断は、かかる例に限定されるものではない。例えば、照射制御部１４４は、解析部１４２の解析結果から被写体２０の状態が要求される状態となったことが検知されると、グラフィックの照射を停止してもよい。或いは、照射制御部１４４は、操作者又は被写体による停止操作に基づいてグラフィックの照射を停止してもよい。
【００４９】
以上、情報処理装置１０の動作について説明してきたが、次は、図６〜図１７を用いて、情報処理装置１０の生成部１４３において生成されるグラフィックの具体例を挙げて説明していく。なお、図６〜図１５に示されるグラフィックは、操作者による操作情報に従って生成されるグラフィックの例である。また、図１６および図１７は、生成されたグラフィックを修正する操作の例である。
【００５０】
＜４．ユーザ操作に従ってグラフィックを生成する例＞
情報処理装置１０は、操作者による操作情報に従ってグラフィックを生成するが、このとき、タッチパネル１５上の操作と、そのとき生成するグラフィックとを予め対応付けておくことによって、操作情報からグラフィックを生成することができる。この対応関係については様々に定めることができるが、例えば以下のような例が挙げられる。
【００５１】
まず図６の例について説明する。操作者が、表示装置１１の表示画面に表示された撮像画像２０４を見て、被写体２０にもっと右側に移動して欲しいと思った場合を考える。この場合、操作者は、タッチパネル１５上において指を右側に動かす動作をすることにより、右側に移動して欲しいことを被写体２０に伝えるためのグラフィックを生成することができる。このとき、生成部１４３は、操作者がタッチパネル上で指を動かした方向に動きの方向があるグラフィックを生成する。また、生成部１４３は、操作者がタッチパネル上で示した位置にグラフィックが照射されるようにグラフィックを生成する。
【００５２】
このとき、タッチパネル上の表示範囲と、照射装置１１の照射範囲とが同期されて一致している場合には、操作者がタッチパネル上で操作した位置にグラフィックを照射することができる。なお、図７に示すように、表示範囲５１（この場合撮影範囲でもある）が照射範囲５２よりも大きい場合には、表示装置１１の画面上において、照射範囲５２を示すことによって、操作者は、画面上において操作することのできる範囲を知ることができる。
【００５３】
また、図６と同様の状態において、図８に示すように、操作者が移動の終点を明確に示すこともできる。操作者は、タッチパネル１５上において、指を右に動かしたあと、その終点において縦に線を引く動作をする。すると、右側を向いた矢印を示すグラフィック１０６の終端に縦棒のグラフィック１０８が生成される。
【００５４】
また、図９のように、操作者が、表示装置１１の表示画面に表示された撮像画像２０８中を見て、被写体２０−１および被写体２０−２が端に寄り過ぎているため、中央に集まって欲しい場合を考える。操作者は、二本の指の相対距離を縮ませる動作をタッチパネル上において行うことにより、表示装置１１の画面の中心点に相当する位置に向かった矢印を含むグラフィックを生成し、被写体に対して照射することができる。また、この場合に生成されるグラフィックは、画面の中心に相当する位置に向かった矢印に限定されるものではない。例えば、図１０に示すように、時の経過に従って段々と小さくなる円を含むグラフィック１１２を被写体に対して照射させることにより、中心に向けた移動の要求を示してもよい。このとき、グラフィック１１２−３が表示された後は再びグラフィック１１２−１に戻って、繰り返しグラフィックが照射される。
【００５５】
また、図９および図１０の例とは逆に、図１１のように、操作者が、表示装置１１の表示画面に表示された撮像画像２１０を見て、被写体２０にもっと立ち位置を広げるように移動して欲しいと思った場合を考える。この場合、操作者は、二本の指の相対距離を広げる動作をタッチパネル１５上において行う。すると、表示装置１１の画面の中心から外側に向けた矢印を含むグラフィックが生成され、生成されたグラフィックが被写体に対して照射される。また、図示しないが、図１０と同様に、時の経過に従って段々と大きくなる円を含むグラフィックが照射されてもよい。
【００５６】
また、操作者が、被写体２０−１および被写体２０−２に立ち位置を入れ替わって欲しいと思った場合について考える。この場合、操作者は、図１２に示すように、タッチパネル１５上において、被写体２０−１および被写体２０−２を指差し、それぞれの指の位置を入れ替える動作を行う。すると、操作者から見て左側の被写体２０−１には右側へ移動するよう促すグラフィック１１８が、操作者から見て右側の被写体２０−２には左側へ移動するよう促すグラフィック１１６が照射される。
【００５７】
また、図１３に示すように、操作者が、表示装置１１の表示画面に表示された撮像画像２１４を見ると、被写体２０の他に、関係のない人物３０が写りこんでいた場合について考える。この場合、操作者は、表示画面に表示された撮像画像２１４の人物３０上において、消しゴムでこするような動作をする。すると、人物３０上に避けて欲しい旨を伝えるためのグラフィック１２０が照射される。
【００５８】
また、図１４に示されるように、操作者が、表示装置１１の表示画面に表示された撮像画像２１６を見ると、被写体２０−１および被写体２０−２の他に、関係のない人物３０が写りこんでいた場合について考える。この場合、操作者は、被写体２０−１および被写体２０−２の顔を囲むように指でなぞる操作をタッチパネル１５上で行う。すると、被写体２０−１および被写体２０−２に対しては、もっと近寄るよう促すためのグラフィック１２２が照射され、関係のない人物３０−１および人物３０−２に対しては、避けてほしい旨を伝えるためのグラフィック１２３が照射される。このとき、操作者は被写体２０の顔を囲む操作を行ったが、これに限らず例えばタッチパネル上で被写体２０の顔の部分を触ることによって、被写体を指定するようにしてもよい。
【００５９】
または、図１５に示されるように、ツールボックスによって予め準備されたグラフィックを選択して操作者が入力するようにしてもよい。例えば、操作者が、被写体２０の表情を変化させたい場合、被写体２０が笑顔の状態を撮影したい場合には、表示装置１１の表示画面に表示されたツールボックス内のアイコン４０２を触り、これをドラッグ＆ドロップ操作することにより、被写体２０の顔付近にグラフィック１２４が照射される。このとき、グラフィック１２４は、被写体２０の表情に応じた色で照射されてもよい。例えば、笑顔の程度が少ないほど寒色系の色が照射され、笑顔に近づくほど暖色系の色が照射されるようにしてもよい。このような色の調整は、解析部１４２により撮像画像が解析されることにより実現される。
【００６０】
また、このツールボックス内に予め準備されたグラフィックを組み合わせることによって照射するグラフィックを生成することもできる。或いは、ツールボックス内のグラフィックテンプレートを操作者が作ることのできるインタフェースを用意してもよい。
【００６１】
以上、ユーザの操作情報に基づいて生成されるグラフィックの例について挙げてきたが、次に、生成されたグラフィックを調整する動作について、説明する。例えば、図１６は、図８の例によって生成されたグラフィック１０６及びグラフィック１０８を調整する例である。例えば左図に示されるように、ユーザのタッチパネル１５上の操作に従ってグラフィック１０６およびグラフィック１０８が生成される。操作者がグラフィック１０８に触れて左側に移動するようドラッグ＆ドロップ操作を行う。すると、グラフィック１０８がドロップされた位置に応じてグラフィック１０６の長さが変更される。なお、この調整操作は、例えば、操作者の操作によって調整モードに切替えることにより行われてもよい。或いは、操作者の指の位置によって既に生成されたグラフィックの調整操作なのか、又は新たなグラフィックの生成のための入力操作なのかが自動的に区別されてもよい。
【００６２】
また、例えば、図１７は、図１０の例によって生成されたグラフィック１１２を調整する例である。例えば、操作者は、表示装置１１の表示画面上に表示された撮像画像２２２上に重畳して表示されたグラフィック１１２−１に対して、中図に示すようにグラフィック１１２−１をつかんで大きさを調整するための動作を行う。例えば図１７は、円を小さくする操作が示されている。すると、操作者の操作に従って大きさが調整された修正グラフィック１１２−２が被写体２０に照射される。
【００６３】
＜５．解析結果に従って自動的にグラフィックを生成する例＞
以上、ユーザによる操作情報に基づいてグラフィックが生成される例について説明してきた。次に、解析部１４２における撮像画像の解析結果に基づいて自動的にグラフィックが生成される例について、説明していく。
【００６４】
図１８は、被写体２０の表情を解析する例である。被写体２０が笑っていない場合には、暗い色のグラフィック１２６−１が照射され、被写体２０が笑顔になるほど明るい色のグラフィック１２６−２が照射されるようにする。このとき、解析部１４２においては、既存の顔認識技術や笑顔検出技術が用いられてよい。
【００６５】
図１９は、被写体のフレームアウトを検知する例である。被写体２０が撮影領域からはみ出してしまう可能性がある場合、移動すべき方向を示すグラフィックが照射される。
【００６６】
また、図２０は、顔被りを検出する例である。被写体２０−１の顔が他の被写体２０−２などによって見えなくなってしまう場合に、他の被写体２０−２、被写体２０−３、および被写体２０−４の位置から、顔被りしない方向への顔の位置の移動を促すグラフィック１３０が照射される。このとき、解析部１４２においては、既存の顔認識技術により被写体２０の顔を検出し、検出された顔が見えなくなった場合などに顔被りしている状態であると認識することができる。
【００６７】
図２１は、既に撮影された過去の写真２２０を被写体に対して照射することにより、その構図情報を参考にして被写体に移動を促す例である。この場合に、解析部１４２は、過去の写真２２０と、現在の被写体の位置との差異を検出し、生成部１４３は、解析部１４２により検出された差異を埋める方向を示す矢印を含むグラフィックを生成してもよい。
【００６８】
なお、解析部１４２による解析結果から、所望の状態との差異を把握することができる場合には、この情報をグラフィック照射の停止の判断に用いることができる。図５のフローチャートにおいては、照射制御部１４４は、操作者がシャッターボタンを半押ししたことを検知してグラフィックの照射を停止することとした。しかし、本発明はこれに限らず、解析情報から、所望の状態との差異がなくなった、或いは、非常に小さくなった場合にグラフィックの照射を停止してもよい。例えば、図１８の例においては、被写体２０の表情が笑顔になったのが検知された場合であり、図２０の例においては、全ての人の顔が正しく認識された場合に、グラフィックの照射が停止される。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７０】
例えば、上記実施形態では、情報処理装置１０は、撮像装置１２および照射装置１３を内蔵する装置としたが、本発明はかかる例に限定されない。例えば、情報処理装置１０は、別体の撮像装置から撮像画像を取得し、照射するグラフィックを生成した後、別体の照射装置へ照射するグラフィックを出力する装置であってもよい。
【００７１】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００７２】
１０ 情報処理装置
１１ 表示装置
１２ 撮像装置
１３ 照射装置
１４ ＣＰＵ
１４１ 画像取得部
１４２ 解析部
１４３ 生成部
１４４ 照射制御部
１４５ 操作情報取得部
１４６ 表示制御部
１５ タッチパネル
１６ ＲＡＭ
１７ 不揮発性メモリ
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、プロジェクタとカメラの機能を併せ持つ装置が登場し、カメラによる撮影において、プロジェクタの機能を利用することが提案されてきている。例えば、特許文献１には、撮影情報を被写体に向けて照射することにより、被写体が撮影に関する情報を知ることができるカメラが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１２９１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載のカメラを用いると、被写体は、例えば撮影範囲などの撮影に関する情報を知ることができるが、それによって被写体が何をすればよいのかは知ることができず、被写体は与えられた情報から自分で判断するしかなかった。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、被写体に対して状態変化を促す情報を提供することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する画像取得部と、上記画像取得部により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成部と、上記生成部により生成されたグラフィックの上記被写体への照射を制御する照射制御部と、を有する情報処理装置が提供される。
【０００７】
また、上記画像取得部により取得される撮像画像を解析する解析部をさらに有し、上記生成部は、上記解析部における解析結果に基づいて上記グラフィックを生成してもよい。
【０００８】
また、操作者による操作の情報を取得する操作情報取得部をさらに有し、上記生成部は、上記操作情報に基づいて上記グラフィックを生成してもよい。
【０００９】
また、上記生成部は、生成した上記グラフィックに対する操作の情報に基づいて修正グラフィックを生成し、上記照射制御部は、上記修正グラフィックの上記被写体への照射を制御してもよい。
【００１０】
また、上記解析部は、所望の状態と上記撮像画像内の被写体の状態との差異を示す差異情報を含む解析結果を出力し、上記生成部は、上記差異情報に基づいて、上記被写体が上記所望の状態に近づくよう上記被写体に対して状態変化を促すためのグラフィックを生成してもよい。
【００１１】
また、上記照射制御部は、上記差異情報が所定の閾値以下となったことが検知されると、上記グラフィックの照射を停止させてもよい。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、情報処理装置の演算処理手段に所定の処理手順を実行させることにより実現される譲歩処理方法の、上記処理手順が、撮像画像を取得する画像取得ステップと、上記撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成ステップと、上記グラフィックの上記被写体への照射を制御する照射制御ステップと、を含む、情報処理方法が提供される。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、撮像画像を取得する画像取得部と、上記画像取得部により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成部と、上記生成部により生成されたグラフィックの上記被写体への照射を制御する照射制御部として機能させるためのプログラムが提供される。
【発明の効果】
【００１４】
以上説明したように本発明によれば、被写体に対して状態変化を促す情報を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る情報処理装置の外観図である。
【図２】同実施形態にかかる情報処理装置のハードウェア構成図である。
【図３】同実施形態に係る情報処理装置によって実現されるユーザ体験の一例を示す説明図である。
【図４】同実施形態に係る情報処理装置の機能ブロック図である。
【図５】同実施形態に係る情報処理装置の動作を示すフローチャートである。
【図６】ユーザ操作に従ってグラフィックが生成される一例の説明図である。
【図７】撮像領域と照射領域が異なる場合の表示例を示す説明図である。
【図８】ユーザ操作と生成されるグラフィックの一例を示す説明図である。
【図９】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１０】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１１】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１２】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１３】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１４】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１５】ユーザ操作と生成されるグラフィックの他の一例を示す説明図である。
【図１６】修正グラフィックの生成の一例についての説明図である。
【図１７】修正グラフィックの生成の他の一例についての説明図である。
【図１８】解析結果により生成されるグラフィックの一例を示す説明図である。
【図１９】解析結果により生成されるグラフィックの他の一例を示す説明図である。
【図２０】解析結果により生成されるグラフィックの他の一例を示す説明図である。
【図２１】解析結果により生成されるグラフィックの他の一例を示す説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
なお、説明は以下の順序で行うものとする。
１．概要
２．機能構成
３．動作
４．ユーザ操作に従ってグラフィックを生成する例
５．解析結果に従って自動的にグラフィックを生成する例
【００１８】
＜１．概要＞
まず、図１を参照して、本実施形態の概要について説明する。本実施形態にかかる情報処理装置１０は、主に、被写体を撮像する撮像装置（カメラ）と、映像を被写体に照射する照射装置（プロジェクタ）と、カメラにより撮像された撮像画像を表示する表示装置（ディスプレイ）などを備える。図１に示したように、情報処理装置１０の一の面（表面）には、ディスプレイ１１が備えられている。また、情報処理装置１０の他の面（裏面）には、カメラ用レンズ１２とプロジェクタ用レンズ１３が備えられている。以下では、カメラ用レンズ１２を含むカメラを撮像装置１２またはカメラ１２と称し、プロジェクタ用レンズ１３を含むプロジェクタを照射装置１３またはプロジェクタ１３と称する。
【００１９】
情報処理装置１０では、カメラ１２とプロジェクタ１３が情報処理装置１０の筐体の固定の位置に備えられている。カメラ１２で撮像された被写体の画像は、ディスプレイ１１に表示される。また、プロジェクタ１３から被写体に投影イメージが照射される。そして、投影イメージが照射された被写体がディスプレイ１１に表示される。
【００２０】
次に、図２を参照して、情報処理装置１０のハードウェア構成について説明する。図２は、情報処理装置１０のハードウェア構成を示すブロック図である。図２に示したように、情報処理装置１０は、表示装置（ディスプレイ）１１と、撮像装置（カメラ）１２と、照射装置（プロジェクタ）１３と、ＣＰＵ１４と、入力装置１５と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６と、不揮発性メモリ１７などを備える。
【００２１】
ＣＰＵ１４は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１４は、マイクロプロセッサであってもよい。ＲＡＭ１６は、ＣＰＵ１４の実行において使用するプログラムや、その実行において適宜変換するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１７は、ＣＰＵ１４が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１７は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等を用いることができる。
【００２２】
表示装置１１は、情報を出力する出力装置の一例である。表示装置１１として、例えば液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを用いることができる。
【００２３】
撮像装置１２は、撮像レンズを介して通過した光をＣＣＤで電気信号に変換し、アナログ信号をデジタル変換することにより被写体を撮像する機能を有する。撮像装置１２により撮像された画像は、表示装置１１に表示される。
【００２４】
照射装置１３は、照射レンズを介して被写体に光を照射する機能を有する。照射装置１３は、ＣＰＵ１４の制御のもと、投影イメージを被写体に照射する。
【００２５】
入力装置１５は、例えば、タッチパネル、ボタン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１４に出力する入力制御回路などから構成されている。なお、以下の説明中においては、入力装置１５は表示装置１１上に積層されたタッチパネルである場合について主に説明するため、タッチパネル１５と称する。
【００２６】
次に、情報処理装置１０を用いて実現できるユーザ体験の一例について図３を用いて説明する。図３は、情報処理装置１０を用いて実現できるユーザ体験の一例について説明するための説明図である。
【００２７】
なお、本明細書及び図面において、実質的に同一の役割を有する要素を同一の符号の後にハイフンを介して異なる番号を付して区別する場合もある。例えば、実質的に同一の役割を有する複数の要素を、必要に応じて被写体２０−１、被写体２０−２、および被写体２０−３のように区別する。ただし、実質的に同一の役割を有する要素を特に区別する必要がない場合、同一符号のみを付する。例えば、被写体２０−１、被写体２０−２などを特に区別する必要がない場合には、単に被写体２０と称する。
【００２８】
情報処理装置１０は、撮像画像２０２における被写体２０の状態、具体的には、被写体２０の配置、表情、ポーズなどの状態変化を促すためのグラフィック１０２を生成し、被写体２０に対して照射装置１３を用いて照射する。被写体は、グラフィック１０２を見ることによって自らに要求されている状態変化を知ることができる。このため、被写体２０はグラフィック１０２に従って移動する、表情を変える、またはポーズを変えるなど状態を変化させることにより、要求されている状態へと変化することができる。
【００２９】
ここで、照射するグラフィック１０２が時の経過に従って変化する動的なグラフィックであれば、被写体２０は、静的なグラフィックによって状態変化を促されるよりもその情報の内容をより正確に把握することができる。例えば、図３の例によると、被写体２０に全体的に右に移動して欲しい場合には、右向きの小さな矢印が複数連なってなるグラフィック１０２によって状態変化を促す。このとき、グラフィック１０２を構成する一部の小さな矢印が欠けており、時の経過に伴って、小さな矢印の欠けている位置が順次右方向に変化する動的なグラフィック１０２を照射する。これにより、被写体２０は、単に静的な右向きの矢印からなるグラフィックを照射されるよりもその方向を直感的に知ることができる。
【００３０】
なお、ここで要求されている状態とは、例えば情報処理装置１０の操作者が要求する状態であってもよい。この場合、操作者は、表示装置１１に表示された撮像画像を見ながら、要求する状態へと被写体２０を誘導するためのグラフィックを生成するためにタッチパネル１５を用いて入力する。また、例えばここで要求されている状態とは、予め情報処理装置１０に記憶された望ましい状態であってもよい。例えば、撮像画像における望ましい構図についての情報を情報処理装置１０が予め有している場合に、情報処理装置１０は、撮像画像を解析することにより、望ましい構図との差異を埋めるために被写体へ状態変化を促すグラフィックを生成する。また、予め情報処理装置１０に記憶された望ましい状態とは、構図に限らず、表情などであってもよい。
【００３１】
以上、本実施形態に係る情報処理装置１０と、情報処理装置１０により実現できるユーザ体験の概要について説明してきた。次に、このような機能を実現するための情報処理装置１０の機能構成について図４を用いて説明する。
【００３２】
＜２．機能構成＞
図４は、情報処理装置１０のＣＰＵ１４の機能構成図である。情報処理装置１０のＣＰＵ１４は、画像取得部１４１、解析部１４２、生成部１４３、照射制御部１４４、操作情報取得部１４５、および表示制御部１４６の機能を主に有する。
【００３３】
画像取得部１４１は、撮像装置１２を制御することにより、撮像画像を取得する。画像取得部１４１は、取得した撮像画像を解析部１４２および表示制御部１４６に入力する。
【００３４】
解析部１４２は、画像取得部１４１により取得される撮像画像を解析する。解析部１４１は、情報処理装置１０の動作モードが被写体に対してグラフィックにより情報を提供するアシストモードとなっており、さらにアシストモードの中でも、解析によって自動的にグラフィックを生成する自動解析モードとなっている場合に解析を実行する。動作モードが自動解析モードでない場合には、解析部１４２は撮像画像の解析を実行せずに、撮像画像を生成部１４３に入力する。
【００３５】
ここで、自動解析モード動作中の場合の解析部１４２の機能について説明する。解析部１４２は、所定の解析基準に従って撮像画像を解析することによって、撮像画像中の被写体２０の状態が所定の解析基準における好ましい状態であるか否か、また、撮像画像中の被写体２０の状態と好ましい状態との差異の程度を示す解析結果を生成部１４３に出力する。解析部１４２の具体的な解析の内容については、具体例を用いて後述する。
【００３６】
生成部１４３は、画像取得部１４１により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する。このとき、生成部１４３は、被写体が所望の状態に近づくように促すためのグラフィックを生成する。生成部１４３は、情報処理装置１０が解析モードで動作している場合には、解析部１４２の解析結果に基づいて、グラフィックを生成する。また、生成部１４３は、情報処理装置１０がアシストモードの中でも操作者の入力に従ってグラフィックを生成する入力モードで動作している場合には、操作情報取得部１４５による操作情報に基づいてグラフィックを生成する。さらに、生成部１４３は、入力モード動作中であっても、操作情報に基づいて、さらに解析結果に基づいてグラフィックが必要な場合には、解析部１４２に撮像画像を解析させ、操作情報および解析情報の双方に基づいたグラフィックを生成してもよい。かかる具体例については、後述される。そして、生成部１４３は、生成したグラフィックを照射制御部１４４および表示制御部１４６に入力する。
【００３７】
また、生成部１４３は、生成したグラフィックに対する操作の情報に基づいて、照射したグラフィックを修正しあた修正グラフィックを生成してもよい。このとき、操作の情報は、例えば表示装置１１に表示されたグラフィックに対して、タッチパネル１５を用いて操作者が行った操作の情報であってよい。または、操作の情報は、照射装置１３により被写体２０に照射されたグラフィックに対して被写体が行った操作の情報であってもよい。
【００３８】
照射制御部１４４は、照射装置１３によるグラフィックの照射を制御する。照射制御部１４４は、生成部１４３により生成されたグラフィックまたは修正グラフィックの被写体２０への照射を制御する。照射制御部１４４は、例えば撮像装置１２のシャッターボタンが押下された情報を操作情報取得部１４５から得ると、グラフィックの照射を停止してもよい。或いは、照射制御部１４４は、解析部１４２による解析結果から被写体２０の状態が要求される状態となったことが検知されると、グラフィックの照射を停止してもよい。
【００３９】
操作情報取得部１４５は、情報処理装置１０に対する操作者の操作情報を取得する。操作情報取得部１４５は入力装置１５を用いた操作者の操作情報を取得する。ここで、入力装置１５は、例えばタッチパネルであってもよく、例えばシャッターボタンのような入力装置であってもよい。
【００４０】
表示制御部１４６は、表示装置１１の画面表示を制御する。表示制御部１４６は、画像取得部１４１により取得された撮像画像に生成部１４３から入力されたグラフィックを重畳した表示画像を生成して表示装置１１に表示させる。
【００４１】
以上、情報処理装置１０のＣＰＵ１４の機能構成について説明してきた。なお、ここで説明した各部の機能は、実際には、ＣＰＵ１４がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＡＭ１６などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより達成される。なお、以上説明してきた機能部による情報処理装置１０の動作について、次に、図５のフローチャートを用いて説明する。
【００４２】
＜３．動作＞
図５は、情報処理装置１０のアシストモードにおける動作を説明するためのフローチャートである。まず、情報処理装置１０のＣＰＵ１４は、情報処理装置１０の動作モードがアシストモードになっているか否かを判断する（Ｓ１０２）。ステップＳ１０２の判断において、動作モードがアシストモードでない場合には、ここで説明する動作は関係ないため、処理を終了する。一方、アシストモードであることが確認された場合には、次に、ＣＰＵ１４は、照射装置１３が動作しているか否かを判断する（Ｓ１０４）。
【００４３】
ステップＳ１０４の判断において照射装置１３が動作していない場合には、照射装置の照射を開始し（Ｓ１０６）、次に画像取得部１４１が撮像装置１２から撮像画像を取得する（Ｓ１０８）。そして、画像取得部１４１が、解析部１４２および表示制御部１４６に取得した撮像画像を入力すると、表示制御部１４６は、入力された撮像画像を表示装置１１に表示させる。一方、解析部１４２は、情報処理装置１０の動作モードがアシストモードのうち操作者の操作情報に従って照射するグラフィックを生成する入力モードであるか否かを判断する（Ｓ１１０）。本実施形態においては、アシストモードの動作モードとして入力モードと解析モードがあることとする。
【００４４】
ステップＳ１１０において動作モードが入力モードであると判断された場合には、次にＣＰＵ１４は、操作者からの操作入力を受付ける状態となるよう情報処理装置１０の動作を制御する（Ｓ１１２）。そして、操作者による操作情報から、撮像画像の解析が必要な操作であるか否かが判断され（Ｓ１１４）、ステップＳ１１４の判断において撮像画像の解析が必要な操作であると判断されると、生成部１４３は、解析部１４２に撮像画像を解析させる（Ｓ１１６）。ステップＳ１１４の判断において、解析の必要な操作ではないと判断された場合には、ステップＳ１１６の解析処理は省略される。また一方、ステップＳ１１０において、動作モードが入力モードではなく解析モードであると判断された場合には、ステップＳ１１２およびステップＳ１１４の動作は省略され、ステップＳ１１６において、解析部１４２は、撮像画像を解析する。
【００４５】
そして、次に生成部１４３は、操作情報または解析情報の少なくともいずれかに基づいて、被写体に提示する情報があるか否かを判断する（Ｓ１１８）。ステップＳ１１８の判断において提示するべき情報がない場合には、ステップＳ１０８に戻って撮像画像が取得される。一方、ステップＳ１１８の判断において被写体に提示するべき情報があると判断された場合には、生成部１４３は、操作情報または解析情報の少なくともいずれかに基づいて、被写体２０に照射するグラフィックを生成する（Ｓ１２０）。
【００４６】
そして、照射制御部１４４は、ステップＳ１２０において生成部１４２により生成されたグラフィックを照射装置１３に照射させる（Ｓ１２２）。被写体２０は、照射されたグラフィックを見て要求されている状態に近づくための状態変化をする。具体的には、状態変化とは、立ち位置を移動したり、表情を変更したり、ポーズを変更したりといった行為をいう。
【００４７】
そして、ＣＰＵ１４は、操作者が撮影のために例えばシャッターボタンを半押しすることによってピントを合わせるなどの動作をしたか否かを判断する（Ｓ１２４）。ステップＳ１２４における判断の結果、シャッターボタンが押下されていない場合には、再びステップＳ１０８に戻って撮像画像の取得が実行される。一方、ステップＳ１２４における判断の結果シャッターボタンの押下などの動作が行われた場合には、照射制御部１４４は、グラフィック照射を停止し（Ｓ１２６）、撮像装置１２により撮影が実行される（Ｓ１２８）。なお、ステップＳ１２８において撮影が実行された後は、ステップＳ１０２の判断に戻り、アシストモードがＯＦＦにされるまで上記の動作が繰り返される。
【００４８】
なお、図５の例においては、シャッターボタンの押下を検知することによってグラフィック照射の停止を判断することとしたが、グラフィック照射停止の判断は、かかる例に限定されるものではない。例えば、照射制御部１４４は、解析部１４２の解析結果から被写体２０の状態が要求される状態となったことが検知されると、グラフィックの照射を停止してもよい。或いは、照射制御部１４４は、操作者又は被写体による停止操作に基づいてグラフィックの照射を停止してもよい。
【００４９】
以上、情報処理装置１０の動作について説明してきたが、次は、図６〜図１７を用いて、情報処理装置１０の生成部１４３において生成されるグラフィックの具体例を挙げて説明していく。なお、図６〜図１５に示されるグラフィックは、操作者による操作情報に従って生成されるグラフィックの例である。また、図１６および図１７は、生成されたグラフィックを修正する操作の例である。
【００５０】
＜４．ユーザ操作に従ってグラフィックを生成する例＞
情報処理装置１０は、操作者による操作情報に従ってグラフィックを生成するが、このとき、タッチパネル１５上の操作と、そのとき生成するグラフィックとを予め対応付けておくことによって、操作情報からグラフィックを生成することができる。この対応関係については様々に定めることができるが、例えば以下のような例が挙げられる。
【００５１】
まず図６の例について説明する。操作者が、表示装置１１の表示画面に表示された撮像画像２０４を見て、被写体２０にもっと右側に移動して欲しいと思った場合を考える。この場合、操作者は、タッチパネル１５上において指を右側に動かす動作をすることにより、右側に移動して欲しいことを被写体２０に伝えるためのグラフィックを生成することができる。このとき、生成部１４３は、操作者がタッチパネル上で指を動かした方向に動きの方向があるグラフィックを生成する。また、生成部１４３は、操作者がタッチパネル上で示した位置にグラフィックが照射されるようにグラフィックを生成する。
【００５２】
このとき、タッチパネル上の表示範囲と、照射装置１１の照射範囲とが同期されて一致している場合には、操作者がタッチパネル上で操作した位置にグラフィックを照射することができる。なお、図７に示すように、表示範囲５１（この場合撮影範囲でもある）が照射範囲５２よりも大きい場合には、表示装置１１の画面上において、照射範囲５２を示すことによって、操作者は、画面上において操作することのできる範囲を知ることができる。
【００５３】
また、図６と同様の状態において、図８に示すように、操作者が移動の終点を明確に示すこともできる。操作者は、タッチパネル１５上において、指を右に動かしたあと、その終点において縦に線を引く動作をする。すると、右側を向いた矢印を示すグラフィック１０６の終端に縦棒のグラフィック１０８が生成される。
【００５４】
また、図９のように、操作者が、表示装置１１の表示画面に表示された撮像画像２０８中を見て、被写体２０−１および被写体２０−２が端に寄り過ぎているため、中央に集まって欲しい場合を考える。操作者は、二本の指の相対距離を縮ませる動作をタッチパネル上において行うことにより、表示装置１１の画面の中心点に相当する位置に向かった矢印を含むグラフィックを生成し、被写体に対して照射することができる。また、この場合に生成されるグラフィックは、画面の中心に相当する位置に向かった矢印に限定されるものではない。例えば、図１０に示すように、時の経過に従って段々と小さくなる円を含むグラフィック１１２を被写体に対して照射させることにより、中心に向けた移動の要求を示してもよい。このとき、グラフィック１１２−３が表示された後は再びグラフィック１１２−１に戻って、繰り返しグラフィックが照射される。
【００５５】
また、図９および図１０の例とは逆に、図１１のように、操作者が、表示装置１１の表示画面に表示された撮像画像２１０を見て、被写体２０にもっと立ち位置を広げるように移動して欲しいと思った場合を考える。この場合、操作者は、二本の指の相対距離を広げる動作をタッチパネル１５上において行う。すると、表示装置１１の画面の中心から外側に向けた矢印を含むグラフィックが生成され、生成されたグラフィックが被写体に対して照射される。また、図示しないが、図１０と同様に、時の経過に従って段々と大きくなる円を含むグラフィックが照射されてもよい。
【００５６】
また、操作者が、被写体２０−１および被写体２０−２に立ち位置を入れ替わって欲しいと思った場合について考える。この場合、操作者は、図１２に示すように、タッチパネル１５上において、被写体２０−１および被写体２０−２を指差し、それぞれの指の位置を入れ替える動作を行う。すると、操作者から見て左側の被写体２０−１には右側へ移動するよう促すグラフィック１１８が、操作者から見て右側の被写体２０−２には左側へ移動するよう促すグラフィック１１６が照射される。
【００５７】
また、図１３に示すように、操作者が、表示装置１１の表示画面に表示された撮像画像２１４を見ると、被写体２０の他に、関係のない人物３０が写りこんでいた場合について考える。この場合、操作者は、表示画面に表示された撮像画像２１４の人物３０上において、消しゴムでこするような動作をする。すると、人物３０上に避けて欲しい旨を伝えるためのグラフィック１２０が照射される。
【００５８】
また、図１４に示されるように、操作者が、表示装置１１の表示画面に表示された撮像画像２１６を見ると、被写体２０−１および被写体２０−２の他に、関係のない人物３０が写りこんでいた場合について考える。この場合、操作者は、被写体２０−１および被写体２０−２の顔を囲むように指でなぞる操作をタッチパネル１５上で行う。すると、被写体２０−１および被写体２０−２に対しては、もっと近寄るよう促すためのグラフィック１２２が照射され、関係のない人物３０−１および人物３０−２に対しては、避けてほしい旨を伝えるためのグラフィック１２３が照射される。このとき、操作者は被写体２０の顔を囲む操作を行ったが、これに限らず例えばタッチパネル上で被写体２０の顔の部分を触ることによって、被写体を指定するようにしてもよい。
【００５９】
または、図１５に示されるように、ツールボックスによって予め準備されたグラフィックを選択して操作者が入力するようにしてもよい。例えば、操作者が、被写体２０の表情を変化させたい場合、被写体２０が笑顔の状態を撮影したい場合には、表示装置１１の表示画面に表示されたツールボックス内のアイコン４０２を触り、これをドラッグ＆ドロップ操作することにより、被写体２０の顔付近にグラフィック１２４が照射される。このとき、グラフィック１２４は、被写体２０の表情に応じた色で照射されてもよい。例えば、笑顔の程度が少ないほど寒色系の色が照射され、笑顔に近づくほど暖色系の色が照射されるようにしてもよい。このような色の調整は、解析部１４２により撮像画像が解析されることにより実現される。
【００６０】
また、このツールボックス内に予め準備されたグラフィックを組み合わせることによって照射するグラフィックを生成することもできる。或いは、ツールボックス内のグラフィックテンプレートを操作者が作ることのできるインタフェースを用意してもよい。
【００６１】
以上、ユーザの操作情報に基づいて生成されるグラフィックの例について挙げてきたが、次に、生成されたグラフィックを調整する動作について、説明する。例えば、図１６は、図８の例によって生成されたグラフィック１０６及びグラフィック１０８を調整する例である。例えば左図に示されるように、ユーザのタッチパネル１５上の操作に従ってグラフィック１０６およびグラフィック１０８が生成される。操作者がグラフィック１０８に触れて左側に移動するようドラッグ＆ドロップ操作を行う。すると、グラフィック１０８がドロップされた位置に応じてグラフィック１０６の長さが変更される。なお、この調整操作は、例えば、操作者の操作によって調整モードに切替えることにより行われてもよい。或いは、操作者の指の位置によって既に生成されたグラフィックの調整操作なのか、又は新たなグラフィックの生成のための入力操作なのかが自動的に区別されてもよい。
【００６２】
また、例えば、図１７は、図１０の例によって生成されたグラフィック１１２を調整する例である。例えば、操作者は、表示装置１１の表示画面上に表示された撮像画像２２２上に重畳して表示されたグラフィック１１２−１に対して、中図に示すようにグラフィック１１２−１をつかんで大きさを調整するための動作を行う。例えば図１７は、円を小さくする操作が示されている。すると、操作者の操作に従って大きさが調整された修正グラフィック１１２−２が被写体２０に照射される。
【００６３】
＜５．解析結果に従って自動的にグラフィックを生成する例＞
以上、ユーザによる操作情報に基づいてグラフィックが生成される例について説明してきた。次に、解析部１４２における撮像画像の解析結果に基づいて自動的にグラフィックが生成される例について、説明していく。
【００６４】
図１８は、被写体２０の表情を解析する例である。被写体２０が笑っていない場合には、暗い色のグラフィック１２６−１が照射され、被写体２０が笑顔になるほど明るい色のグラフィック１２６−２が照射されるようにする。このとき、解析部１４２においては、既存の顔認識技術や笑顔検出技術が用いられてよい。
【００６５】
図１９は、被写体のフレームアウトを検知する例である。被写体２０が撮影領域からはみ出してしまう可能性がある場合、移動すべき方向を示すグラフィックが照射される。
【００６６】
また、図２０は、顔被りを検出する例である。被写体２０−１の顔が他の被写体２０−２などによって見えなくなってしまう場合に、他の被写体２０−２、被写体２０−３、および被写体２０−４の位置から、顔被りしない方向への顔の位置の移動を促すグラフィック１３０が照射される。このとき、解析部１４２においては、既存の顔認識技術により被写体２０の顔を検出し、検出された顔が見えなくなった場合などに顔被りしている状態であると認識することができる。
【００６７】
図２１は、既に撮影された過去の写真２２０を被写体に対して照射することにより、その構図情報を参考にして被写体に移動を促す例である。この場合に、解析部１４２は、過去の写真２２０と、現在の被写体の位置との差異を検出し、生成部１４３は、解析部１４２により検出された差異を埋める方向を示す矢印を含むグラフィックを生成してもよい。
【００６８】
なお、解析部１４２による解析結果から、所望の状態との差異を把握することができる場合には、この情報をグラフィック照射の停止の判断に用いることができる。図５のフローチャートにおいては、照射制御部１４４は、操作者がシャッターボタンを半押ししたことを検知してグラフィックの照射を停止することとした。しかし、本発明はこれに限らず、解析情報から、所望の状態との差異がなくなった、或いは、非常に小さくなった場合にグラフィックの照射を停止してもよい。例えば、図１８の例においては、被写体２０の表情が笑顔になったのが検知された場合であり、図２０の例においては、全ての人の顔が正しく認識された場合に、グラフィックの照射が停止される。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７０】
例えば、上記実施形態では、情報処理装置１０は、撮像装置１２および照射装置１３を内蔵する装置としたが、本発明はかかる例に限定されない。例えば、情報処理装置１０は、別体の撮像装置から撮像画像を取得し、照射するグラフィックを生成した後、別体の照射装置へ照射するグラフィックを出力する装置であってもよい。
【００７１】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００７２】
１０ 情報処理装置
１１ 表示装置
１２ 撮像装置
１３ 照射装置
１４ ＣＰＵ
１４１ 画像取得部
１４２ 解析部
１４３ 生成部
１４４ 照射制御部
１４５ 操作情報取得部
１４６ 表示制御部
１５ タッチパネル
１６ ＲＡＭ
１７ 不揮発性メモリ
【特許請求の範囲】
【請求項１】
撮像画像を取得する画像取得部と、
前記画像取得部により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成部と、
前記生成部により生成されたグラフィックの前記被写体への照射を制御する照射制御部と、
を備える、情報処理装置。
【請求項２】
前記画像取得部により取得される撮像画像を解析する解析部をさらに備え、
前記生成部は、前記解析部における解析結果に基づいて前記グラフィックを生成する、請求項１に記載の情報処理装置。
【請求項３】
操作者による操作の情報を取得する操作情報取得部をさらに備え、
前記生成部は、前記操作情報に基づいて前記グラフィックを生成する、請求項２に記載の情報処理装置。
【請求項４】
前記生成部は、生成した前記グラフィックに対する操作の情報に基づいて修正グラフィックを生成し、
前記照射制御部は、前記修正グラフィックの前記被写体への照射を制御する、請求項３に記載の情報処理装置。
【請求項５】
前記解析部は、所望の状態と前記撮像画像内の被写体の状態との差異を示す差異情報を含む解析結果を出力し、
前記生成部は、前記差異情報に基づいて、前記被写体が前記所望の状態に近づくよう前記被写体に対して状態変化を促すためのグラフィックを生成する、請求項４に記載の情報処理装置。
【請求項６】
前記照射制御部は、前記差異情報が所定の閾値以下となったことが検知されると、前記グラフィックの照射を停止させる、請求項５に記載の情報処理装置。
【請求項７】
情報処理装置の演算処理手段に所定の処理手順を実行させることにより実現される譲歩処理方法の、前記処理手順が、
撮像画像を取得する画像取得ステップと、
前記撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成ステップと、
前記グラフィックの前記被写体への照射を制御する照射制御ステップと、
を含む、情報処理方法。
【請求項８】
コンピュータを、
撮像画像を取得する画像取得部と、
前記画像取得部により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成部と、
前記生成部により生成されたグラフィックの前記被写体への照射を制御する照射制御部として機能させるためのプログラム。
【請求項１】
撮像画像を取得する画像取得部と、
前記画像取得部により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成部と、
前記生成部により生成されたグラフィックの前記被写体への照射を制御する照射制御部と、
を備える、情報処理装置。
【請求項２】
前記画像取得部により取得される撮像画像を解析する解析部をさらに備え、
前記生成部は、前記解析部における解析結果に基づいて前記グラフィックを生成する、請求項１に記載の情報処理装置。
【請求項３】
操作者による操作の情報を取得する操作情報取得部をさらに備え、
前記生成部は、前記操作情報に基づいて前記グラフィックを生成する、請求項２に記載の情報処理装置。
【請求項４】
前記生成部は、生成した前記グラフィックに対する操作の情報に基づいて修正グラフィックを生成し、
前記照射制御部は、前記修正グラフィックの前記被写体への照射を制御する、請求項３に記載の情報処理装置。
【請求項５】
前記解析部は、所望の状態と前記撮像画像内の被写体の状態との差異を示す差異情報を含む解析結果を出力し、
前記生成部は、前記差異情報に基づいて、前記被写体が前記所望の状態に近づくよう前記被写体に対して状態変化を促すためのグラフィックを生成する、請求項４に記載の情報処理装置。
【請求項６】
前記照射制御部は、前記差異情報が所定の閾値以下となったことが検知されると、前記グラフィックの照射を停止させる、請求項５に記載の情報処理装置。
【請求項７】
情報処理装置の演算処理手段に所定の処理手順を実行させることにより実現される譲歩処理方法の、前記処理手順が、
撮像画像を取得する画像取得ステップと、
前記撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成ステップと、
前記グラフィックの前記被写体への照射を制御する照射制御ステップと、
を含む、情報処理方法。
【請求項８】
コンピュータを、
撮像画像を取得する画像取得部と、
前記画像取得部により取得される撮像画像内の被写体に対して状態変化を促すためのグラフィックを生成する生成部と、
前記生成部により生成されたグラフィックの前記被写体への照射を制御する照射制御部として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−１９３２４０（Ｐ２０１１−１９３２４０Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５７８１７（Ｐ２０１０−５７８１７）
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]