画像処理装置、プログラム及び画像処理方法
【課題】拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示すること。
【解決手段】撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、上記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、上記情報取得部により取得される上記表示情報を上記入力画像に重畳することにより出力画像を生成する出力画像生成部と、を備え、上記出力画像生成部は、各ユーザについての上記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、画像処理装置を提供する。
【解決手段】撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、上記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、上記情報取得部により取得される上記表示情報を上記入力画像に重畳することにより出力画像を生成する出力画像生成部と、を備え、上記出力画像生成部は、各ユーザについての上記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
近年、実空間を撮像して得られる画像に情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術において画像に重畳される情報は様々である。例えば、下記特許文献１は、入力画像に映る実空間内の運動する物体にハイパーリンク情報を付加して呈示する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５８０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、情報を付加すべき対象が入力画像内に多数存在する場合には、表示される情報が混雑し、ユーザに呈示される出力画像が分かり易さを失ってしまう恐れがある。例えば、拡張現実の画像を介したユーザ間のコミュニケーションにおいて、コミュニケーションに積極的に関与しているユーザについての情報と周囲に存在するユーザについての情報とを区別することなく表示すると、情報の混雑により円滑なコミュニケーションが阻害され、誰がどの情報を発しているのかも分かりにくい状況が発生し得る。
【０００５】
そこで、本発明は、拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示することのできる、新規かつ改良された画像処理装置、プログラム及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明のある実施形態によれば、撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、上記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、上記情報取得部により取得される上記表示情報を上記入力画像に重畳することにより出力画像を生成する出力画像生成部と、を備え、上記出力画像生成部は、各ユーザについての上記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、画像処理装置が提供される。
【０００７】
また、上記出力画像生成部は、上記第１の表示情報と上記第２の表示情報とが上記出力画像内で重なる場合において、上記第１のユーザの上記撮像装置からの距離が上記第２のユーザの上記撮像装置からの距離よりも小さい場合に、上記第１の表示情報を上記第２の表示情報の前面に重畳してもよい。
【０００８】
また、上記認識部は、上記入力画像に映る各ユーザの顔領域のサイズをさらに認識し、上記出力画像生成部は、上記認識部により認識される各ユーザの顔領域のサイズを上記パラメータとして使用してもよい。
【０００９】
また、上記出力画像生成部は、上記認識部により認識される各ユーザについて上記入力画像内に映っている時間の長さ又は移動速度を計測し、上記入力画像に重畳する上記表示情報の透過率を、当該表示情報に関連付けられるユーザについて計測した上記時間の長さ又は上記移動速度に応じて設定してもよい。
【００１０】
また、上記出力画像生成部は、上記入力画像内に映っている上記時間の長さがより長いユーザの上記表示情報の上記透過率をより低く設定してもよい。
【００１１】
また、上記出力画像生成部は、上記移動速度がより小さいユーザの上記表示情報の上記透過率をより低く設定してもよい。
【００１２】
また、上記認識部は、各ユーザのジェスチャをさらに認識し、上記出力画像生成部は、所定のジェスチャを行ったユーザの上記表示情報の上記透過率を一時的に減少させてもよい。
【００１３】
また、上記認識部は、各ユーザのジェスチャ、表情又は発話状態をさらに認識し、上記出力画像生成部は、所定のジェスチャ若しくは所定の表情をしているユーザ、又は発話中のユーザに関連付けられる表示情報を、上記撮像装置からの距離に関わらず一時的に前面に表示してもよい。
【００１４】
また、上記出力画像生成部は、各ユーザの上記撮像装置からの距離に応じて、各ユーザに関連付けられる上記表示情報の表示サイズを決定してもよい。
【００１５】
また、上記情報取得部は、テキスト入力装置を介して入力されるテキストを第１のタイプの表示情報として取得し、音声入力装置を介して入力される音声についての音声認識結果を第２のタイプの表示情報として取得し、上記出力画像生成部は、上記第１のタイプの表示情報を表示するオブジェクトの形状を思考を象徴する形状に設定し、上記第２のタイプの表示情報を表示するオブジェクトの形状を発話を象徴する形状に設定してもよい。
【００１６】
また、上記情報取得部は、テキスト入力装置又は音声入力装置を介して入力される情報を上記表示情報として取得し、上記出力画像生成部は、上記情報取得部により取得される上記表示情報の内容を解析することにより、上記表示情報を、ユーザの思考に対応する第３のタイプの表示情報又はユーザの発話に対応する第４のタイプの表示情報に分類し、上記第３のタイプの表示情報を表示するオブジェクトの形状を思考を象徴する形状に設定し、上記第４のタイプの表示情報を表示するオブジェクトの形状を発話を象徴する形状に設定してもよい。
【００１７】
また、上記情報取得部は、ユーザにより入力される情報を第５のタイプの表示情報として取得し、及びユーザにより入力される情報又は当該ユーザの属性情報に基づいて外部の情報源から取得される情報を第６のタイプの表示情報として取得し、上記出力画像生成部は、上記第５のタイプの表示情報と上記第６のタイプの表示情報とを互いに異なる形状を有するオブジェクトで表示してもよい。
【００１８】
また、本発明の別の実施形態によれば、画像処理装置を制御するコンピュータを、撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、上記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、上記情報取得部により取得される上記表示情報を上記入力画像に重畳することにより出力画像を生成する出力画像生成部と、として機能させるためのプログラムであって、上記出力画像生成部は、各ユーザについての上記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、プログラムが提供される。
【００１９】
また、上記出力画像生成部は、上記第１の表示情報と上記第２の表示情報とが上記出力画像内で重なる場合において、上記第１のユーザの上記撮像装置からの距離が上記第２のユーザの上記撮像装置からの距離よりも小さい場合に、上記第１の表示情報を上記第２の表示情報の前面に重畳してもよい。
【００２０】
また、上記認識部は、上記入力画像に映る各ユーザの顔領域のサイズをさらに認識し、上記出力画像生成部は、上記認識部により認識される各ユーザの顔領域のサイズを上記パラメータとして使用してもよい。
【００２１】
また、上記出力画像生成部は、上記認識部により認識される各ユーザについて上記入力画像内に映っている時間の長さ又は移動速度を計測し、上記入力画像に重畳する上記表示情報の透過率を、当該表示情報に関連付けられるユーザについて計測した上記時間の長さ又は上記移動速度に応じて設定してもよい。
【００２２】
また、上記出力画像生成部は、上記入力画像内に映っている上記時間の長さがより長いユーザの上記表示情報の上記透過率をより低く設定してもよい。
【００２３】
また、上記出力画像生成部は、上記移動速度がより小さいユーザの上記表示情報の上記透過率をより低く設定してもよい。
【００２４】
また、本発明の別の実施形態によれば、撮像装置により撮像される入力画像に映る複数のユーザを認識するステップと、認識された各ユーザと関連付けて表示すべき表示情報を取得するステップと、各ユーザについての上記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定するステップと、取得された上記表示情報を上記入力画像に重畳することにより出力画像を生成するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００２５】
以上説明したように、本発明に係る画像処理装置、プログラム及び画像処理方法によれば、拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】画像処理システムの概要を示す模式図である。
【図２】図１の画像処理システムにおいて表示される出力画像の一例を示す説明図である。
【図３】第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図４】新規ユーザの登録用のユーザインタフェースの一例を示す説明図である。
【図５】表示オブジェクトデータの構成の一例を示す説明図である。
【図６Ａ】表示オブジェクトの形状の第１の例を示す説明図である。
【図６Ｂ】表示オブジェクトの形状の第２の例を示す説明図である。
【図６Ｃ】表示オブジェクトの形状の第３の例を示す説明図である。
【図６Ｄ】表示オブジェクトの形状の第４の例を示す説明図である。
【図７】第１の実施形態における表示オブジェクトの表示位置について説明するための説明図である。
【図８Ａ】透過率設定処理の一例について説明するための説明図である。
【図８Ｂ】透過率設定処理の他の例について説明するための説明図である。
【図９Ａ】レイヤ設定処理の一例について説明するための第１の説明図である。
【図９Ｂ】レイヤ設定処理の一例について説明するための第２の説明図である。
【図１０】第１の実施形態における出力画像の一例を示す説明図である。
【図１１】第１の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１２】第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１３】重み決定処理の一例について説明するための説明図である。
【図１４Ａ】表示位置決定処理の第１の例について説明するための第１の説明図である。
【図１４Ｂ】表示位置決定処理の第１の例について説明するための第２の説明図である。
【図１４Ｃ】表示位置決定処理の第１の例について説明するための第３の説明図である。
【図１５】表示位置決定処理の第２の例について説明するための説明図である。
【図１６】第２の実施形態における出力画像の一例を示す説明図である。
【図１７】第２の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１８】第２の実施形態に係る表示位置決定処理の第１の例の流れを示すフローチャートである。
【図１９】第２の実施形態に係る表示位置決定処理の第２の例の流れを示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２８】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．システムの概要
２．第１の実施形態の説明
２−１．画像処理装置の構成例
２−２．表示オブジェクトの属性
２−３．出力画像の例
２−４．処理の流れ
２−５．第１の実施形態のまとめ
３．第２の実施形態の説明
３−１．画像処理装置の構成例
３−２．出力画像の例
３−３．処理の流れ
３−４．第２の実施形態のまとめ
【００２９】
＜１．システムの概要＞
まず、図１を用いて、本発明の一実施形態に係る画像処理システムの概要を説明する。図１は、本発明の一実施形態に係る画像処理システム１の概要を示す模式図である。図１を参照すると、画像処理システム１は、画像処理装置１００、データベース１０２、撮像装置１０４及び表示装置１０６を含む。
【００３０】
画像処理装置１００は、データベース１０２、撮像装置１０４及び表示装置１０６と接続される。画像処理装置１００は、例えば、ＰＣ（Personal Computer）若しくはワークステーションなどの汎用的なコンピュータであってもよく、又は特定の目的に特化した専用のコンピュータであってもよい。画像処理装置１００は、後に詳しく説明するように、撮像装置１０４により撮像される画像を入力画像として取得し、画像処理後の出力画像を表示装置１０６へ出力する。
【００３１】
データベース１０２は、画像処理装置１００による処理のために使用される情報を記憶する装置である。図１の例に限定されず、データベース１０２は、画像処理装置１００に内蔵されてもよい。データベース１０２により記憶される情報は、例えば、画像処理システム１の各ユーザを一意に識別する識別子（以下、ユーザＩＤという）、各ユーザを認識するための特徴量情報、各ユーザの属性情報、及び画像データなどを含む。データベース１０２により記憶される情報は、画像処理装置１００による処理の際に要求に応じてデータベース１０２から出力されてもよい。その代わりに、画像処理装置１００は、データベース１０２が記憶している情報を定期的にデータベース１０２からダウンロードしてもよい。
【００３２】
撮像装置１０４は、ユーザが存在し得る実空間を撮像する装置である。図１の例において、撮像装置１０４は、スクリーン１０７の上辺に配置され、スクリーン１０７の前の空間に向けられている。そして、撮像装置１０４は、スクリーン１０７の前の実空間を撮像し、一連の画像（即ち、映像）を時系列で画像処理装置１００へ出力する。
【００３３】
表示装置１０６は、画像処理装置１００により生成される一連の出力画像を表示する装置である。図１の例では、表示装置１０６は、プロジェクタである。表示装置１０６は、画像処理装置１００から入力される出力画像を、スクリーン１０７へ映写する。この場合、表示装置１０６は、背面映写式のプロジェクタである。なお、図１の例に限定されず、表示装置１０６は、ＰＤＰ（Plasma Display Panel）又はＬＣＤ（Liquid Crystal Display）などであってもよい。
【００３４】
スクリーン１０７は、表示装置１０６の表示面である。画像処理システム１において、表示装置１０６の表示面は、ユーザが存在する実空間に向けて配置される。図１の例では、スクリーン１０７の前に、３人のユーザＵａ、Ｕｂ及びＵｃが存在している。
【００３５】
画像処理システム１のユーザは、端末装置を用いて、画像処理システム１とインタラクションしてもよい。図１の例では、ユーザＵａが端末装置１０５を保持している。端末装置１０５は、例えば、ＰＣ、スマートフォン又はＰＤＡ（Personal Digital Assistant）などであってよい。端末装置１０５は、例えば、無線ＬＡＮ（Local Area Network）、Ｚｉｇｂｅｅ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）などの任意の無線通信プロトコルに従って、画像処理装置１００との間の通信を行う。端末装置１０５は、例えば、ユーザＵａによるテキスト若しくは音声の入力、又はユーザ情報の登録のために使用され得る。
【００３６】
図２は、図１に例示した画像処理システム１において表示される出力画像の一例について説明するための説明図である。図２を参照すると、一例としての出力画像Ｉｍ０１が示されている。出力画像Ｉｍ０１には、３人のユーザＵａ、Ｕｂ及びＵｃが映っている。また、３人のユーザＵａ、Ｕｂ及びＵｃの近傍には、それぞれ表示オブジェクト１２ａ、１２ｂ及び１２ｃが重畳されている。各表示オブジェクトは、対応するユーザと関連付けられる情報を表示するためのオブジェクトである。本明細書では、画像処理装置１００によりユーザと関連付けて表示される情報を、表示情報という。図２の例では、表示オブジェクト１２ａ、１２ｂ及び１２ｃは、それぞれ、表示情報として、対応するユーザの顔画像、ニックネーム及び属性情報（例えば、趣味など）を含む。さらに、ユーザＵａの近傍には表示オブジェクト１３ａが重畳されている。表示オブジェクト１３ａは、表示情報として、ユーザＵａにより入力されたメッセージを含む。これら表示オブジェクトは、後に詳しく説明するように、画像処理装置１００により画像に重畳される。
【００３７】
このような画像処理システム１は、例えば、パーティ会場、会議場、展示会場などのような多人数でのコミュニケーションの場において、ユーザ間の交流を深めるために利用されてもよい。また、画像処理システム１は、例えば、テレビ会議などのビジネスの場において利用されてもよい。その場合には、異なる場所に撮像装置及び表示装置がそれぞれ配置され、ある場所で撮像された映像が他の場所で表示情報と共に表示され得る。
【００３８】
ここで、画像処理システム１において、複数のユーザが入力画像に映っている場合には、出力画像内に多数の表示オブジェクトを表示すべき状況が発生する可能性がある。その場合、どの表示オブジェクトをどこにどのように配置するかによって、出力画像を見るユーザにとっての情報理解の難易度が異なる。また、情報の理解が困難になれば、円滑なコミュニケーションも阻害され得る。そこで、次節より、より分かり易く情報を呈示し、円滑なコミュニケーションをサポートするための、２つの実施形態について説明する。
【００３９】
＜２．第１の実施形態の説明＞
［２−１．画像処理装置の構成例］
図３は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１１０、音声取得部１２０、認識部１３０、情報取得部１５０及び出力画像生成部１７０を備える。また、認識部１３０は、画像認識部１３４、音声認識部１３８及び個人認識部１４２を含む。
【００４０】
（画像取得部）
画像取得部１１０は、撮像装置１０４により撮像される一連の入力画像を取得する。そして、画像取得部１１０は、取得した入力画像を認識部１３０の画像認識部１３４及び出力画像生成部１７０へ出力する。
【００４１】
（音声取得部）
音声取得部１２０は、ユーザから発せされる音声を入力音声として取得する。音声取得部１２０による音声の取得は、例えば、ユーザが保持する端末装置１０５から送信される音声信号を受信することにより行われてもよい。その代わりに、例えば、スクリーン１０７の周囲にマイクロフォンが設置されてもよい。後者の場合には、音声取得部１２０は、設置されるマイクロフォンを介して入力音声を取得する。そして、音声取得部１２０は、取得した入力音声を認識部１３０の音声認識部１３８へ出力する。
【００４２】
（画像認識部）
画像認識部１３４は、画像取得部１１０から入力される入力画像に公知の顔認識の手法（例えば、特開２００８−１３１４０５号公報参照）を適用し、入力画像に映るユーザの顔領域を検出する。また、画像認識部１３４は、検出した顔領域を対象とし、個人を特定するために使用される特徴量（以下、画像特徴量という）を算出する。そして、画像認識部１３４は、算出した画像特徴量を個人認識部１４２へ出力する。
【００４３】
その後、画像認識部１３４は、個人認識部１４２により各顔領域に対応するユーザが誰であるかが特定されると（各顔領域に対応するユーザＩＤが特定されると）、特定されたユーザＩＤと対応付けて、各顔領域の位置及びサイズを表す情報を出力画像生成部１７０へ出力する。
【００４４】
また、画像認識部１３４は、例えば、各ユーザの画像特徴量に基づいて、ユーザの表情（例えば、笑顔など）、ユーザの発話状態（発話しているか否か）、又はユーザの性別若しくは年齢層などの属性を認識してもよい。その場合には、画像認識部１３４は、認識した表情、発話状態、又は認識した性別若しくは年齢層などを表す情報を、出力画像生成部１７０へ出力する。
【００４５】
また、画像認識部１３４は、入力画像に映るユーザの手領域を検出し、検出した手領域の位置の軌跡に基づいて、ユーザのジェスチャを認識してもよい。その場合には、画像認識部１３４は、認識したジェスチャの種別を表す情報を出力画像生成部１７０へ出力する。
【００４６】
（音声認識部）
音声認識部１３８は、音声取得部１２０から入力される入力音声に公知の音声認識の手法を適用し、ユーザにより発話された内容をテキストデータ（以下、発話データという）として抽出する。そして、音声認識部１３８は、抽出した発話データをユーザＩＤと対応付けて情報取得部１５０へ出力する。
【００４７】
音声認識部１３８は、端末装置１０５を介して入力音声が取得される場合には、例えば、送信元の端末装置１０５の装置ＩＤ又はアカウントＩＤなどから、対応するユーザを特定することができる。一方、例えばスクリーン１０７の周囲に設置される音声入力装置を介して入力音声が取得される場合には、音声認識部１３８は、入力音声から抽出される音声特徴量をデータベース１０２に予め登録されるユーザの音声特徴量と照合することにより、個々のユーザを特定することができる。また、音声認識部１３８は、例えば、入力音声の音源方向を推定し、推定した音源方向に基づいて個々のユーザを特定してもよい。
【００４８】
（個人認識部）
個人認識部１４２は、撮像装置１０４により撮像される入力画像に映る１人以上のユーザがそれぞれ誰であるかを認識する。より具体的には、個人認識部１４２は、例えば、データベース１０２に予め登録されている既知のユーザの顔の画像特徴量と、画像認識部１３４から入力される画像特徴量とを照合する（照合の手法については、例えば特開２００９−５３９１６号公報参照）。そして、個人認識部１４２は、照合の結果として、画像認識部１３４により認識された各顔領域と、特定したユーザのユーザＩＤとを対応付ける。また、個人認識部１４２は、例えば、データベース１０２に予め登録されている既知のユーザの声の音声特徴量と、音声認識部１３８から入力される音声特徴量とを照合してもよい。
【００４９】
（情報取得部）
情報取得部１５０は、認識部１３０により認識される各ユーザと関連付けて表示すべき表示情報を取得する。本実施形態において、各ユーザと関連付けて表示すべき表示情報とは、例えば、当該ユーザの属性情報及び当該ユーザにより入力される入力情報を含み得る。
【００５０】
情報取得部１５０は、例えば、ユーザの属性情報をデータベース１０２から取得する。情報取得部１５０がデータベース１０２から取得する属性情報は、ユーザにより予めデータベース１０２に登録される。データベース１０２に登録される属性情報は、例えば、ユーザのニックネーム、年齢、性別、趣味、所属、特定の設問に対する回答など、任意の情報であってよい。また、情報取得部１５０は、例えば、画像認識部１３４により認識される各ユーザの性別又は年齢層などを属性情報として取得してもよい。
【００５１】
情報取得部１５０が表示情報として取得する入力情報は、例えば、テキスト入力装置を介して入力されるテキストを含む。例えば、ユーザは、端末装置１０５をテキスト入力装置として用いてテキストを入力し、入力情報としてのテキストを端末装置１０５から画像処理装置１００へ送信してもよい。また、情報取得部１５０が表示情報として取得する入力情報は、例えば、音声認識部１３８により認識される上述した発話データを含む。
【００５２】
さらに、情報取得部１５０は、ユーザの属性情報又はユーザにより入力された入力情報に含まれるキーワードに適合する何らかの情報を外部の情報源から検索し、検索結果として得られる情報（以下、検索情報という）を表示情報として取得してもよい。外部の情報源とは、例えば、オンライン辞書サービス、ＳＮＳ（Social Network Service）又はナレッジ共有サービスなどのＷｅｂ関連サービスなどであってよい。
【００５３】
また、情報取得部１５０は、例えば、新規ユーザについての情報をユーザに登録させるためのユーザインタフェース（ＵＩ）を提供する。ユーザ登録用のＵＩは、スクリーン１０７上に表示されてもよい。ユーザ登録用のＵＩは、例えば、図４に例示したような画像を用いたＵＩであってもよい。図４のＵＩの例によれば、ユーザは、スクリーン１０７に表示される設問１８への回答のための選択肢１９ａ又は１９ｂに触れるジェスチャをすることにより、自身の属性情報を画像処理システム１に登録することができる。また、ユーザ登録用のユーザインタフェースは、画像処理装置１００の固有の画面又は端末装置１０５の画面を介して提供されてもよい。
【００５４】
（出力画像生成部）
出力画像生成部１７０は、情報取得部１５０により取得される表示情報を画像取得部１１０から入力される入力画像に重畳することにより、出力画像を生成する。より具体的には、出力画像生成部１７０は、まず、情報取得部１５０により取得される表示情報を表示する表示オブジェクトの属性を決定する。表示オブジェクトの属性は、例えば、表示オブジェクトの形状、色、サイズ、表示位置、透過率、及びレイヤなどに関するデータを含む。このうち、レイヤとは、表示オブジェクト間の重畳の順序を表す。例えば、複数の表示オブジェクトが互いに重なる場合に、レイヤが小さい表示オブジェクトがより前面に重畳される。出力画像生成部１７０は、これら表示オブジェクトの属性を各表示情報について決定した後、決定した属性に従って各表示オブジェクトの画像を生成する。出力画像生成部１７０による表示オブジェクトの属性の決定の基準について、次項でより詳細に説明する。そして、出力画像生成部１７０は、生成した表示オブジェクトの画像を入力画像に重畳することにより出力画像を生成し、生成した出力画像を表示装置１０６へ順次出力する。
【００５５】
［２−２．表示オブジェクトの属性］
（１）属性の例
図５は、出力画像生成部１７０により決定される属性値を含む表示オブジェクトデータ１８０の構成の一例を示す説明図である。図５を参照すると、表示オブジェクトデータ１８０は、オブジェクトＩＤ１８１、ユーザＩＤ１８２、形状１８３、色１８４、サイズ１８５、表示位置１８６、透過率１８７、レイヤ１８８及び表示情報１８９という９つのデータ項目を有する。
【００５６】
（２）オブジェクトＩＤ及びユーザＩＤ
オブジェクトＩＤ１８１は、１つの画像内に重畳される各表示オブジェクトを一意に特定するための識別子である。ユーザＩＤ１８２は、オブジェクトＩＤ１８１により識別される表示オブジェクトが関連付けられるユーザを表すユーザＩＤである。例えば、表示オブジェクトデータ１８０の第１レコード１９０ａ及び第２レコード１９０ｂから、２つの表示オブジェクトＤ０１Ａ及びＤ０２ＡがユーザＵａと関連付けられることが理解される。また、第３レコード１９０ｃから、表示オブジェクトＤ０１ＢがユーザＵｂと関連付けられること、及び第４レコード１９０ｄから、表示オブジェクトＤ０１ＣがユーザＵｃと関連付けられること、が理解される。
【００５７】
（３）形状
形状１８３は、当該表示オブジェクトの形状を表す。図５の例では、表示オブジェクトの形状は、予め定義される表示オブジェクトのタイプＯｂｊ１、Ｏｂｊ２、…のいずれかを指定することにより特定される。
【００５８】
図６Ａ〜図６Ｄは、それぞれ表示オブジェクトのタイプの一例を示す説明図である。図６Ａを参照すると、図２に例示した表示オブジェクト１２ａ及び１３ａが示されている。このうち、表示オブジェクト１２ａのタイプはタイプＯｂｊ１である。また、表示オブジェクト１２ｂのタイプはＯｂｊ２である。これらタイプＯｂｊ１及びＯｂｊ２の表示オブジェクトは、いわゆる吹き出しの形状をしている。
【００５９】
次に、図６Ｂを参照すると、表示オブジェクト１４ａが示されている。表示オブジェクト１４ａのタイプはＯｂｊ３である。表示オブジェクト１４ａは、肩にかける看板の形状をしている。図６Ａに示したタイプＯｂｊ１及び図６Ｂに示したタイプＯｂｊ３は、例えば、ユーザの属性情報を表示するために使用されてよい。一方、図６Ａに示したタイプＯｂｊ２は、例えば、ユーザからの入力情報を表示するために使用されてよい。
【００６０】
さらに、図６Ｃを参照すると、表示オブジェクト１５ａが示されている。表示オブジェクト１５ａのタイプはＯｂｊ４である。タイプＯｂｊ４もまた、例えば、ユーザからの入力情報を表示するために使用されてよい。
【００６１】
ここで、図６Ａに示したタイプＯｂｊ２の形状は、ユーザによる発話を象徴する形状である。これに対し、図６Ｂに示したタイプＯｂｊ４の形状は、ユーザによる思考を象徴する形状である。出力画像生成部１７０は、例えば、表示情報が音声入力装置を介して入力された入力情報である場合に、当該表示情報を表示する表示オブジェクトを、発話を象徴する形状を有するタイプＯｂｊ２に設定し得る。また、出力画像生成部１７０は、例えば、表示情報がテキスト入力装置を介して入力された入力情報である場合に、当該表示情報を表示する表示オブジェクトを、思考を象徴する形状を有するタイプＯｂｊ４に設定し得る。その代わりに、出力画像生成部１７０は、例えば、表示情報の内容を解析することにより、表示情報をユーザの思考に対応する情報又はユーザの発話に対応する情報のいずれかに分類し、前者の分類に対応する表示オブジェクトをタイプＯｂｊ２に、後者の分類に対応する表示オブジェクトをタイプＯｂｊ４にそれぞれ設定してもよい。
【００６２】
また、図６Ｄを参照すると、表示オブジェクト１６ａが示されている。表示オブジェクト１６ａのタイプはＯｂｊ５である。表示オブジェクト１６ａもまた吹き出しの形状をしている。但し、タイプＯｂｊ５の吹き出しの起点は、ユーザではなく、上方を向いている。出力画像生成部１７０は、例えば、情報取得部１５０により外部の情報源から取得される情報を表示するための表示オブジェクトをタイプＯｂｊ５に設定し得る。外部の情報源から取得される情報とは、例えば、上述した検索情報などである。
【００６３】
このように、表示情報の取得経路又は情報入力のために利用された入力手段などに応じて表示オブジェクトの形状を変化させることで、画像処理システム１におけるユーザ間のコミュニケーションに際して、ユーザが情報の種類をより直感的かつ的確に理解することが可能となる。また、ユーザは自身が入力する情報が表示される際のオブジェクトの形状を使い分ける（発話又は思考）ことができるため、より豊かなユーザ間のコミュニケーションが実現され得る。
【００６４】
（４）色
図５における色１８４は、当該表示オブジェクトの色（又は当該表示オブジェクト内の表示情報のテキストの色）を表す。出力画像生成部１７０は、情報取得部１５０により取得される各ユーザの属性情報を参照し、例えばユーザの性別又は年齢層などの属性値に応じて、各表示オブジェクトの色を変化させてもよい。
【００６５】
（５）サイズ
サイズ１８５は、当該表示オブジェクトのサイズを表す。図５の例では、表示オブジェクトのサイズは、既定のサイズからの倍率（％）により表されている。出力画像生成部１７０は、例えば、各ユーザの撮像装置１０４からの距離に応じて、各ユーザに関連付けられる表示情報を表示するための表示オブジェクトのサイズを決定する。本実施形態において、出力画像生成部１７０は、撮像装置１０４からの距離そのものを測定する代わりに、撮像装置１０４からの距離に応じたパラメータとして、各ユーザの顔領域のサイズを使用することができる。顔領域のサイズは、例えば、顔領域に属すると認識された画素数により表されてもよく、又は顔領域を囲むバウンディングボックスの面積により表されてもよい。より具体的には、出力画像生成部１７０は、例えば、顔領域のサイズがより大きいユーザと関連付けられる表示情報のための表示オブジェクトのサイズをより大きく設定する。但し、表示オブジェクトのサイズの上限値が予め定義されてよい。その場合、出力画像生成部１７０は、所定の距離以上撮像装置１０４に近付いたユーザの表示オブジェクトのサイズがその上限値を超えないように、表示オブジェクトのサイズを設定する。
【００６６】
（６）表示位置
表示位置１８６は、当該表示オブジェクトの表示位置、即ち、当該表示オブジェクトが重畳される画像内の位置を表す２次元座標である。本実施形態では、出力画像生成部１７０は、ユーザの顔領域を基準点として、予め定義されるオフセットを有する位置に各表示オブジェクトの中心（又は所定のコーナーなど）を配置する。
【００６７】
図７は、本実施形態における表示オブジェクトの表示位置について説明するための説明図である。図７を参照すると、ユーザの顔領域の重心位置Ｐ０が示されている。位置Ｐ０は、表示オブジェクトの表示位置を決定するためのオフセットの基準点である。出力画像生成部１７０は、例えば、あるユーザと関連付けられる表示情報の数が１つである場合には、当該表示情報を表示する表示オブジェクトの表示位置を、位置Ｐ１とする。また、出力画像生成部１７０は、例えば、あるユーザと関連付けられる表示情報の数が複数である場合には、第２、第３、及び第４の表示情報のための表示位置を、それぞれ位置Ｐ２、Ｐ３及びＰ４とする。位置Ｐ０と位置Ｐ１、Ｐ２、Ｐ３及びＰ４との間のオフセットは、それぞれ予め定義される。本明細書では、これら表示位置を「既定の表示位置」という。なお、図７に示したこれら既定の表示位置は一例に過ぎない。
【００６８】
また、表示オブジェクトのタイプが図６Ｂに例示したタイプＯｂｊ３である場合には、表示オブジェクトの既定の表示位置は、例えば位置Ｐ５であってよい。また、表示オブジェクトのタイプが図６Ｄに例示したタイプＯｂｊ５である場合には、表示オブジェクトの既定の表示位置は、例えば位置Ｐ６及びＰ７であってもよい。
【００６９】
（７）透過率
図５における透過率１８７は、当該表示オブジェクトの透過率を表す。表示オブジェクトに透過率が設定されることで、複数の表示オブジェクトが重ねて重畳される場合にも、ユーザは背面の表示オブジェクトを視認することができる。本実施形態において、出力画像生成部１７０は、認識部１３０により認識される各ユーザについて、入力画像内に映っている時間の長さ（以下、滞在時間という）又は移動速度を計測する。そして、出力画像生成部１７０は、表示情報を表示する表示オブジェクトの透過率を、当該表示情報に関連付けられるユーザについて計測した滞在時間又は移動速度に応じて設定する。
【００７０】
図８Ａは、出力画像生成部１７０による透過率設定処理の一例について説明するための説明図である。図８Ａの例では、出力画像生成部１７０は、ユーザの画像内での滞在時間に応じて、当該ユーザと関連付けられる表示オブジェクトの透過率を設定する。
【００７１】
図８Ａの横軸は、時間軸（時間Ｔ）である。縦軸は、破線で示される滞在時間Ｓｔ及び実線で示される透過率Ｔｒの大きさを表す。図８Ａの例において、時間Ｔ０に画像内に現れたユーザが継続して画像内に留まることにより、当該ユーザの滞在時間Ｓｔが時間軸に沿って線形的に増加している。一方、時間Ｔ０における表示オブジェクトの透過率Ｔｒは１００％である。即ち、ユーザが画像内に現れた瞬間には、表示オブジェクトは視認されない。そして、滞在時間Ｓｔが増加するにつれて、表示オブジェクトの透過率Ｔｒは減少する。即ち、ユーザが画像内に留まっている間、表示オブジェクトは徐々に濃く現れる。そして、時間Ｔ１において表示オブジェクトの透過率Ｔｒが２０％になると、出力画像生成部１７０は、透過率Ｔｒの減少を停止する。これは、背面に重なる表示オブジェクトを少なくともある程度視認可能とするためである。
【００７２】
ここで、ユーザの画像内での滞在時間の長さは、そのユーザの画像処理システム１により提供されるコミュニケーションに対する興味の強さ又は貢献度の大きさを表していると考えることができる。従って、滞在時間の長いユーザほど表示オブジェクトの透過率を低く設定することで、興味の強いユーザ又は貢献度の大きいユーザを優先的にコミュニケーションに関与させることができる。また、滞在時間の短いユーザについて表示オブジェクトの透過率を高く設定することで、例えば、偶然撮像装置１０４の前を通過したユーザについての不要な表示情報が画像内に強く現れることが回避される。なお、出力画像生成部１７０は、ここで説明した滞在時間の代わりに、例えばユーザによる利用開始後の経過時間などを用いてもよい。
【００７３】
図８Ｂは、出力画像生成部１７０による透過率設定処理の他の例について説明するための説明図である。図８Ｂの例では、出力画像生成部１７０は、ユーザの画像内での移動速度に応じて、当該ユーザと関連付けられる表示オブジェクトの透過率を設定する。
【００７４】
図８Ｂの横軸は、時間軸（時間Ｔ）である。縦軸は、破線で示される移動速度Ｍｖ及び実線で示される透過率Ｔｒの大きさを表す。図８Ｂの例において、時間Ｔ０に画像内に現れたユーザの移動速度はＭｖ１である。このとき、表示オブジェクトの透過率Ｔｒは１００％である。その後、時間Ｔ０からＴ２にかけてユーザの移動速度は減少し、時間Ｔ２以降ユーザの移動速度は増加している。透過率Ｔｒは、このような移動速度Ｍｖの変化に追随し、時間Ｔ０からＴ２にかけて減少した後、時間Ｔ２以降増加する。
【００７５】
ここで、画像処理システム１により提供されるコミュニケーションに強い興味を抱いているユーザは、撮像装置１０４の前に留まるものと考えられる。従って、ユーザの移動速度が小さいほど表示オブジェクトの透過率を低く設定することで、そのようなユーザを優先的にコミュニケーションに関与させることができる。また、この場合にも、偶然撮像装置１０４の前を通過したユーザについての不要な表示情報が画像内に強く現れることが回避される。なお、出力画像生成部１７０は、ユーザの移動速度を、例えば顔領域の重心位置のフレーム間の移動量から算出することができる。
【００７６】
また、出力画像生成部１７０は、ユーザの滞在時間及び移動速度の双方に応じて、表示オブジェクトの透過率を設定してもよい。例えば、出力画像生成部１７０は、ユーザの移動速度が増加した場合にも、当該ユーザの滞在時間が所定の閾値以上に長いときには、ユーザの透過率を低く維持してもよい。それにより、画像内でのユーザの一時的な移動によって当該ユーザの表示オブジェクトが視認困難となることが回避される。なお、出力画像生成部１７０は、例えば、移動速度が所定の閾値以下である静止状態の時間の長さと、移動速度が当該閾値を上回る移動状態の時間の長さとを各ユーザについて計測し、これら２つの時間の長さの比に応じて、表示オブジェクトの透過率を設定してもよい。
【００７７】
また、出力画像生成部１７０は、所定のジェスチャを行ったユーザの表示オブジェクトの透過率を一時的に減少させてもよい。例えば、手を挙げるジェスチャ又は手を振るジェスチャなどが、透過率の減少に対応付けられ得る。それにより、例えば、登場して間もない（即ち、滞在時間が短い）ながらも、コミュニケーションに強い興味を抱いているユーザを、より容易にコミュニケーションに参加させることができる。
【００７８】
（８）レイヤ
図５におけるレイヤ１８８は、当該表示オブジェクトの表示オブジェクト間の重畳の順序を表す。図５の例では、表示オブジェクトＤ０１Ａ及びＤ０２Ａのレイヤは１、表示オブジェクトＤ０１Ｂのレイヤは２、表示オブジェクトＤ０１Ｃのレイヤは３である。従って、出力画像生成部１７０は、表示オブジェクトＤ０１Ａ及びＤ０２Ａを最前面のレイヤに、表示オブジェクトＤ０１Ｂを次のレイヤに、表示オブジェクトＤ０１Ｃを最背面のレイヤに重畳する。
【００７９】
出力画像生成部１７０は、このような各表示オブジェクトのレイヤを、各ユーザについての撮像装置１０４からの距離に応じたパラメータに基づいて決定する。本実施形態において、撮像装置１０４からの距離に応じたパラメータとは、上述した顔領域のサイズであってよい。なお、かかる例に限定されず、例えば、測距センサにより測定される距離又はマイクロフォンを介して入力される音声の大きさなどが、上記パラメータとして使用されてもよい。そして、出力画像生成部１７０は、上記パラメータにより表される距離がより小さいユーザに関連付けられる表示情報を表示する表示オブジェクトのレイヤを、より小さい値に設定する（即ち、より前面に配置する）。
【００８０】
図９Ａ及び図９Ｂは、レイヤ設定処理の一例について説明するための説明図である。
【００８１】
図９Ａを参照すると、スクリーン１０７の前に３人のユーザＵａ〜Ｕｃが存在する。ユーザＵａ、Ｕｂ及びＵｃのスクリーン１０７からの距離は、それぞれＤ１、Ｄ２及びＤ３である。このうち、距離Ｄ１が最も小さく、距離Ｄ３が最も大きい。このような状況において、入力画像には、ユーザＵａの顔領域が最も大きく映る。ユーザＵｂの顔領域の大きさは２番目であり、ユーザＵｃの顔領域の大きさは最も小さい。図９Ａの例では、ユーザＵａ、Ｕｂ及びＵｃの顔領域の大きさは、それぞれ、１０００画素、８００画素及び４００画素である。そこで、出力画像生成部１７０は、ユーザＵａと関連付けられる表示オブジェクトのレイヤを１、ユーザＵｂと関連付けられる表示オブジェクトのレイヤを２、ユーザＵｃと関連付けられる表示オブジェクトのレイヤを３と設定する。
【００８２】
このように、顔領域のサイズが大きいユーザについての表示オブジェクトをより前面に重畳することで、表示オブジェクトが混雑している場合にも、距離感に合わせた自然な表示を簡易に実現することができる。また、コミュニケーションに関与したいユーザをよりスクリーン１０７の近くに導くことも可能となる。
【００８３】
また、出力画像生成部１７０は、例えば、所定のジェスチャ若しくは所定の表情をしているユーザ、又は発話中のユーザに関連付けられる表示オブジェクトのレイヤを、ユーザの撮像装置１０４からの距離に関わらず一時的に前面に設定してもよい。所定のジェスチャとは、例えば、手を挙げるジェスチャ又は手を振るジェスチャなどであってよい。また、所定の表情とは、笑顔などであってよい。図９Ｂの例では、手を振るジェスチャをしているユーザＵｃのレイヤが、スクリーン１０７からの距離が最も遠いにも関わらず、一時的に１に設定されている。このような処理により、スクリーン１０７に近い位置を占めるユーザばかりがコミュニケーションに強く関与することなく、コミュニケーションへの参加を希望する様々なユーザにコミュニケーションの機会を広く与えることができる。
【００８４】
［２−３．出力画像の例］
図１０は、本実施形態において画像処理装置１００から出力される出力画像の一例を示す説明図である。図１０を参照すると、一例としての出力画像Ｉｍ１１が示されている。出力画像Ｉｍ１１には、３人のユーザＵａ、Ｕｂ及びＵｃが映っている。また、ユーザＵａの近傍には、表示オブジェクト１２ａ及び１３ａが重畳されている。ユーザＵｂの近傍には、表示オブジェクト１２ｂが重畳されている。ユーザＵｃの近傍には、表示オブジェクト１２ｃが重畳されている。しかし、画像内でユーザＵａ、Ｕｂ及びＵｃが互いに近くに位置しているため、点線枠に囲まれた領域内で表示オブジェクトが混雑し、表示オブジェクト１３ａ、１２ｂ及び１２ｃが互いに重なっている。
【００８５】
図１０の右下の部分画像Ｉｍ１２は、出力画像Ｉｍ１１の中の上述した点線枠内の部分画像の拡大図である。部分画像Ｉｍ１２において、表示オブジェクト１３ａが最前面に重畳されている。また、表示オブジェクト１３ａの背面に表示オブジェクト１２ｂ、表示オブジェクト１２ｂの背面に表示オブジェクト１２ｃがそれぞれ重畳されている。即ち、スクリーン１０７に最も近い位置で積極的にコミュニケーションに関与しているユーザＵａについての情報が、優先的に出力画像Ｉｍ１１において表示されていることが理解される。また、画像内を右から左へ横切っているユーザＵｃの表示オブジェクト１２ｃの透過率は高く設定されている。それにより、コミュニケーションに関与しない可能性の高いユーザＵｃについての情報が他の情報の視認性を阻害することが防止される。
【００８６】
［２−４．処理の流れ］
図１１は、本実施形態に係る画像処理装置１００による画像処理の主な流れの一例を示すフローチャートである。
【００８７】
図１１を参照すると、まず、画像取得部１１０は、撮像装置１０４により撮像される入力画像を取得する（ステップＳ１０２）。そして、画像取得部１１０は、取得した入力画像を認識部１３０及び出力画像生成部１７０へ出力する。
【００８８】
次に、認識部１３０は、入力画像に映るユーザの顔領域及び手領域を検出する（ステップＳ１０４）。次に、認識部１３０は、例えば、検出した各顔領域の画像特徴量とデータベース１０２に記憶されている既知のユーザの画像特徴量とを照合することにより、入力画像に映る個々のユーザを特定する（ステップＳ１０６）。また、認識部１３０は、例えば、音声取得部１２０により取得される入力音声から検出される音声特徴量及び音源方向を追加的に用いて、個々のユーザを特定してもよい。
【００８９】
次に、情報取得部１５０は、認識部１３０により認識された各ユーザと関連付けて表示すべき表示情報を、データベース１０２、端末装置１０５又は外部の情報源などから取得する（ステップＳ１０８）。
【００９０】
次に、出力画像生成部１７０は、認識部１３０により認識された各ユーザの画像内での滞在時間又は移動速度を計測する（ステップＳ１１０）。そして、出力画像生成部１７０は、計測した滞在時間又は移動速度に基づいて、情報取得部１５０により取得された表示情報を表示する表示オブジェクトの透過率を設定する（ステップＳ１１２）。また、出力画像生成部１７０は、各ユーザの顔領域のサイズを撮像装置１０４との距離に応じたパラメータとして用いて、各表示オブジェクトのサイズ及びレイヤを設定する（ステップＳ１１４）。ここで、出力画像生成部１７０は、例えば認識部１３０により認識されるユーザの表情、ジェスチャ又は発話状態に応じて、表示オブジェクトの透過率又はレイヤを変化させてもよい。さらに、出力画像生成部１７０は、各表示オブジェクトの表示位置及び色などのその他の属性を設定する（ステップＳ１１６）。
【００９１】
次に、出力画像生成部１７０は、設定した表示オブジェクトの属性に従って、入力画像に表示オブジェクトを重畳することにより、出力画像を生成する（ステップＳ１１８）。そして、出力画像生成部１７０は、生成した出力画像を表示装置１０６へ出力し、出力画像を表示させる（ステップＳ１２０）。
【００９２】
［２−５．第１の実施形態のまとめ］
ここまで、図１〜図１１を用いて、本発明の第１の実施形態について説明した。本実施形態によれば、各ユーザに関連付けられる情報を入力画像に重畳することにより出力画像が生成される拡張現実の画像内で、情報が混雑する状況において、各ユーザの撮像装置からの距離に応じて表示情報の奥行き方向の配置が決定される。それにより、距離感に合わせた自然な表示が実現されるため、ユーザは、どの表示情報がどのユーザに関する情報であるかを容易に理解することができる。また、コミュニケーションに関与したいユーザをより画面の近くに導くことが可能となり、コミュニケーションがより活性化することが期待される。
【００９３】
また、本実施形態によれば、画像内でのユーザの滞在時間又は移動速度に応じて、表示オブジェクトの透過率が設定される。それにより、コミュニケーションへの興味が強いユーザ、又はコミュニケーションへの貢献度の高いユーザについての情報を、より視認し易いようにユーザに呈示することができる。また、コミュニケーションに関与しないユーザについての情報の存在により、他の情報の視認性が阻害されることを防止することができる。また、本実施形態によれば、表示情報の取得経路又は情報入力のために利用された入力手段などに応じて表示オブジェクトの形状が変化するため、ユーザが表示情報の種類をより直感的かつ的確に理解することが可能となる。
【００９４】
＜３．第２の実施形態の説明＞
上述した第１の実施形態では、画像内で表示情報が混雑する状況において、複数の表示情報が互いに重なる場合にも分かり易く情報が呈示される。第１の実施形態では、各表示情報は、原則として既定の表示位置に表示される。これに対し、本節で説明する第２の実施形態では、表示情報の表示位置を適応的に決定することにより、表示情報の重なりによる視認性の低下を抑制する。
【００９５】
第２の実施形態に係るシステムの構成は、図１を用いて説明した画像処理システム１の構成と同様であってよい。
【００９６】
［３−１．画像処理装置の構成例］
図１２は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。図１２を参照すると、画像処理装置２００は、画像取得部１１０、音声取得部１２０、認識部１３０、情報取得部１５０、重み決定部２６０、及び出力画像生成部２７０を備える。第１の実施形態に係る画像処理装置１００と同様、認識部１３０は、画像認識部１３４、音声認識部１３８及び個人認識部１４２を含む。
【００９７】
（重み決定部）
重み決定部２６０は、認識部１３０により認識されるユーザごとの重みを決定する。本実施形態において、ユーザの「重み」とは、そのユーザの表示上の優先度に類似する概念であり、「重み」が大きいユーザについての表示情報ほど、優先的に既定の表示位置の近くに配置される。例えば、重み決定部２６０は、入力画像内に映っている時間の長さ、即ち滞在時間に応じて、ユーザごとの重みを決定してもよい。また、重み決定部２６０は、ユーザの属性情報を用いてユーザごとの重みを決定してもよい。より具体的には、例えば、重み決定部２６０は、特定の性別（女性など）又は特定の年齢層（１０歳未満の子供又は７０歳を超える高齢者など）に属するユーザの重みが他のユーザの重みよりも大きくなるように、ユーザごとの重みを決定してもよい。
【００９８】
図１３は、重み決定部２６０による重み決定処理の一例について説明するための説明図である。図１３の横軸は、時間軸（時間Ｔ）である。縦軸は、破線で示される滞在時間Ｓｔ及び実線で示される重みＷの大きさを表す。なお、図１３の例では、重みＷは、ユーザの属性に応じて、子供（例えば１０歳未満）についての重みＷｋ、女性についての重みＷｆ及び男性についての重みＷｍの３種類に分けられる。滞在時間Ｓｔは、時間Ｔ０に画像内に現れたユーザが継続して画像内に留まることにより、時間軸に沿って線形的に増加する。重みＷｍは、時間Ｔ０からＴ３までの間滞在時間Ｓｔに比例して線形的に増加し、時間Ｔ３以降は一定の値となる。重みＷｆもまた、時間Ｔ０からＴ３までの間線形的に増加し、時間Ｔ３以降は一定の値となる。但し、重みＷｆは、重みＷｍよりも全ての時間にわたってｄＷだけ大きい。重みＷｋは、時間Ｔ０からＴ４までの間線形的に増加し、時間Ｔ４以降は一定の値となる。重みＷｋは、時間Ｔ０からＴ３までの間、重みＷｆよりも大きい。重み決定部２６０は、例えば、こうしたユーザの滞在時間及び属性に応じた重みの算出のためのグラフ又は算出式を予め記憶し、そのグラフ又は算出式に従ってユーザごとの重みを決定する。
【００９９】
このように、特定の属性を有するユーザの重みを他のユーザよりも大きくすることで、コミュニケーションに積極的に関与することが期待されるユーザを優先的に扱い、又は特定の属性を有するユーザに注目を集めることができる。また、レディファースト又は高齢者優先など、一般社会でコミュニケーションにいて尊重される考え方をシステムに取り入れることも可能となる。なお、優先的に扱われるユーザは、例えば、会費を支払っている会員ユーザなどであってもよい。
【０１００】
（出力画像生成部）
出力画像生成部２７０は、情報取得部１５０により取得される表示情報を画像取得部１１０から入力される入力画像に重畳することにより、出力画像を生成する。より具体的には、出力画像生成部２７０は、まず、情報取得部１５０により取得される表示情報を表示する表示オブジェクトの属性を決定する。表示オブジェクトの属性は、図５の例と同様、形状、色、サイズ、表示位置、透過率、及びレイヤなどに関するデータを含む。表示オブジェクトの形状、色、サイズ、透過率、及びレイヤの決定の考え方は、上述した第１の実施形態と同様であってよい。
【０１０１】
本実施形態において、出力画像生成部２７０は、重み決定部２６０により決定されるユーザごとの重みに基づいて、各ユーザに関連付けられる表示情報の表示位置（即ち、各表示オブジェクトの表示位置）を決定する。より具体的には、例えば、出力画像生成部２７０は、重みがより大きいユーザに関連付けられる表示オブジェクトほど既定の表示位置からの変位がより小さくなるように、各表示オブジェクトの表示位置を決定する。そして、出力画像生成部２７０は、決定した当該表示位置において各表示オブジェクトを入力画像に重畳することにより、出力画像を生成する。
【０１０２】
本実施形態においては、表示位置の決定に際して、ユーザの重み及び既定の表示位置からの変位に依存する「引力」という概念が用いられる。さらに、表示位置決定処理の第１の例では、あるユーザの表示情報の既定の表示位置と他のユーザの表示情報の既定の表示位置との間の距離に依存する「斥力」という概念も導入される。
【０１０３】
（１）表示位置決定処理の第１の例
図１４Ａ〜図１４Ｃは、出力画像生成部２７０による表示位置決定処理の第１の例について説明するための説明図である。表示位置決定処理の第１の例において、出力画像生成部２７０は、各表示情報についての上記斥力と上記引力とが平衡するように、各表示情報を表示する表示オブジェクトの表示位置を決定する。
【０１０４】
図１４Ａを参照すると、ユーザＵｘの表示オブジェクトＤＯ１及び他のユーザの表示オブジェクトＤＯ２が示されている。一例として、表示オブジェクトＤＯ１の既定の表示位置ＤＰ１と表示オブジェクトＤＯ２の既定の表示位置ＤＰ２との間の距離ｄ１，２＝１２０（単位は画素）である。また、ユーザＵｘの重みＷ１＝２０である。
【０１０５】
ここで、例えば、表示オブジェクトＤＯ１に作用する斥力Ｒ１を、距離ｄ１，２と所定の定数Ｃ（以下、斥力定数という。一例として、Ｃ＝５０とする）との積であると定義する。すると、斥力Ｒ１＝ｄ１，２×Ｃ＝６０００である。一方、表示オブジェクトＤＯ１に作用する引力Ｇ１を、例えば、ユーザＵｘの重みＷ１と表示オブジェクトＤＯ１の既定の表示位置ＤＰ１からの変位ｄ１との積であると定義する。すると、引力Ｇ１と斥力Ｒ１との平衡状態（即ちＧ１＝Ｒ１）において、表示オブジェクトＤＯ１の変位ｄ１＝Ｇ１／Ｗ１＝Ｒ１／Ｗ１＝６０００／２０＝３００と導かれる。そこで、出力画像生成部２７０は、例えば、位置ＤＰ１と位置ＤＰ２とを結ぶ直線上で位置ＤＰ１から距離３００（位置ＤＰ２とは反対の方向に）の位置ＮＰ１を、表示オブジェクトＤＯ１の新たな表示位置と決定する。また、表示オブジェクトＤＯ２の新たな表示位置も同様に決定され得る。
【０１０６】
図１４Ａの例では、２つの表示オブジェクトが重なり合う場合について説明した。これに対し、３つ以上の表示オブジェクトが重なり合う場合には、出力画像生成部２７０は、斥力の合力を計算過程で考慮することで、表示オブジェクトの表示位置を決定することができる。
【０１０７】
図１４Ｂを参照すると、ユーザＵｘの表示オブジェクトＤＯ１、並びに他のユーザの表示オブジェクトＤＯ２及びＤＯ３が示されている。ここで、表示オブジェクトＤＯ２の既定の表示位置ＤＰ２から表示オブジェクトＤＯ１の既定の表示位置ＤＰ１へのベクトルをＶｄ１，２とする。また、表示オブジェクトＤＯ３の既定の表示位置ＤＰ３から表示オブジェクトＤＯ１の既定の表示位置ＤＰ１へのベクトルをＶｄ１，３とする。すると、表示オブジェクトＤＯ１に作用する斥力Ｒ１は、Ｃ×Ｖｄ１，２とＣ×Ｖｄ１，３とのベクトル和により表される。そして、平衡状態では、引力Ｇ１＋斥力Ｒ１＝０である。そのため、出力画像生成部２７０は、斥力Ｒ１をユーザＵｘの重みで除することにより、表示オブジェクトＤＯ１の既定の表示位置ＤＰ１からの変位ｄ１を算出することができる。そして、変位ｄ１を既定の表示位置ＤＰ１に加えることで、表示オブジェクトＤＯ１の新たな表示位置ＮＰ１が決定される。
【０１０８】
図１４Ａ及び図１４Ｂの例では、２つの表示オブジェクトの既定の表示位置を結ぶ直線に沿って個々の（合成前の）斥力が作用するものとして説明した。その代わりに、斥力は、例えば（画像内の）上下方向など、予め決められた限定的な方向にのみ作用するものと規定されてもよい。
【０１０９】
図１４Ｃを参照すると、ユーザＵｘの表示オブジェクトＤＯ１及び他のユーザの表示オブジェクトＤＯ２が示されている。ここで、表示オブジェクトＤＯ２の既定の表示位置ＤＰ２から表示オブジェクトＤＯ１の既定の表示位置ＤＰ１へのベクトルＶｄ１，２は、右上方向へ向いている。但し、図１４Ｃの例では、斥力は上下方向のみに作用すると規定されているものとする。その結果、斥力Ｒ１は、位置ＤＰ１から上へ向かう直線に沿って作用する。この場合、表示オブジェクトＤＯ１の既定の表示位置ＤＰ１からの変位ｄ１もまた、右上方向ではなく上方向へ向かうベクトルとなる。その結果、表示オブジェクトＤＯ１は、既定の表示位置から上方向へ移動する。同様に、表示オブジェクトＤＯ２は、既定の表示位置から下方向へ移動する。この場合は、各表示オブジェクトのユーザとの相対的な位置関係が左右方向には変化しないため、出力画像を見るユーザにとって、表示オブジェクトとユーザとの対応関係を理解することが容易である。
【０１１０】
なお、ここでは、斥力を斥力定数と表示オブジェクト間の距離との積であると定義したが、かかる例に限定されず、他の斥力の定義が使用されてもよい。例えば、斥力そのものが定数であってもよく、又は斥力は表示オブジェクト間の距離の２乗に比例してもよい。また、表示情報の種類によって異なる斥力が定義されてもよい。
【０１１１】
また、表示オブジェクトの既定の表示位置の間の距離の代わりに、表示オブジェクトの外周上の点（最も近い点）の間の距離に応じた斥力を定義することで、表示オブジェクトが部分的に重なる可能性を排除することができる。また、表示オブジェクトの外周の周囲に緩衝領域を設け、緩衝領域の縁部の間の距離に応じた斥力を定義することで、表示オブジェクトの間に間隙を作ることもできる。さらに、出力画像の外周（ウィンドウ枠）からの斥力を定義し、表示オブジェクトの作用する引力と斥力との平衡状態の式にウィンドウ枠からの斥力を算入してもよい。
【０１１２】
また、ここでは、ユーザの重みと表示オブジェクトの変位との積を引力とするいわゆるバネ系の定義を利用して表示オブジェクトの変位を算出する例を説明した。しかしながら、その代わりに、例えばバネ・マス・ダンパー系の定義を利用してもよい。その場合、表示オブジェクトの加速度の係数（質量）及び速度の係数（減衰定数）は、ユーザの属性又は表示情報の種類に応じて与えられ得る。それにより、互いにぶつかった表示オブジェクトが時間軸に沿って揺れ動く（及びその揺れが次第に収まる）ような演出効果を生み出すことができる。
【０１１３】
（２）表示位置決定処理の第２の例
図１５は、出力画像生成部２７０による表示位置決定処理の第２の例について説明するための説明図である。表示位置決定処理の第２の例において、出力画像生成部２７０は、例えば、複数の表示オブジェクトに作用する引力が平衡するように、当該複数の表示オブジェクトの表示位置を決定する。この場合、上述した斥力の概念は利用されない。
【０１１４】
図１５を参照すると、ユーザＵｘの表示オブジェクトＤＯ４及びユーザＵｙの表示オブジェクトＤＯ５が示されている。一例として、表示オブジェクトＤＯ４の既定の表示位置ＤＰ４と新たな表示位置ＮＰ４との間の距離ｄ４＝４０である。また、表示オブジェクトＤＯ５の既定の表示位置ＤＰ５と新たな表示位置ＮＰ５との間の距離ｄ５＝８０である。また、ユーザＵｘの重みＷ５＝５０、ユーザＵｙの重みＷ４＝１００である。ここで、表示位置決定処理の第２の例と同様、引力の大きさをユーザの重みと表示オブジェクトの既定の表示位置からの変位との積であると定義すると、表示オブジェクトＤＯ４に作用する引力Ｇ４＝Ｗ４×ｄ４＝４０００である。また、表示オブジェクトＤＯ５に作用する引力Ｇ５＝Ｗ５×ｄ５＝４０００である。即ち、引力Ｇ４と引力Ｇ５とは上記新たな表示位置において平衡状態にある。出力画像生成部２７０は、例えば、複数の表示オブジェクトについてこのような引力の平衡状態が生じる表示位置を探索し、探索結果として得られる表示位置を当該複数の表示オブジェクトの表示位置として決定してもよい。この場合にも、表示位置決定処理の第１の例と同様、重みがより大きいユーザに関連付けられる表示オブジェクトほど、既定の表示位置からの変位がより小さくなる。
【０１１５】
（３）表示上の制約
なお、出力画像生成部２７０は、上述した表示位置決定処理により決定した表示オブジェクトの新たな表示位置が表示上の制約を満たさない場合には、表示オブジェクトの表示位置をさらに変更し、又は表示オブジェクトの表示位置を既定の表示位置に設定してもよい。表示上の制約とは、例えば、表示オブジェクトが画面外にはみださないこと、及び表示オブジェクトがユーザ（全てのユーザ、又は所定の閾値以上の重みを有するユーザなど）の顔に重ならないこと、などを含む。例えば、表示オブジェクトを既定の表示位置に重畳する場合には、複数の表示オブジェクトが互いに重なる可能性が高まる。しかし、複数の表示オブジェクトが互いに重なる場合には、第１の実施形態において説明した手法に従って出力画像生成部２７０が表示情報のサイズ、奥行き方向の配置及び透明度などを制御するため、表示情報の分かり易さの低下は軽減される。
【０１１６】
［３−２．出力画像の例］
図１６は、本実施形態において画像処理装置２００から出力される出力画像の一例を示す説明図である。図１６を参照すると、一例としての出力画像Ｉｍ２１が示されている。出力画像Ｉｍ２１には、３人のユーザＵａ、Ｕｂ及びＵｃが映っている。図１６の例において、ユーザＵａ及びＵｂは入力画像内に比較的長い時間映っており、互いにコミュニケーションを続けているものとする。一方、ユーザＵｃは、一時的に通りかかったユーザであるとする。
【０１１７】
ユーザＵａの近傍には、表示オブジェクト１２ａ及び１３ａが重畳されている。ユーザＵｂの近傍には、表示オブジェクト１２ｂ及び１３ｂが重畳されている。ユーザＵｃと関連付けられる表示オブジェクト１２ｃは、ユーザＵｃからやや離れた上方の表示位置に重畳されている。これら表示オブジェクトは、互いに重なっていない。ここで、本実施形態では、上述したように、重みがより大きいユーザに関連付けられる表示オブジェクトほど既定の表示位置からの変位がより小さくなるように、互いに重なる表示オブジェクトの位置が既定の表示位置から移動される。そのため、滞在時間が長く、重みの大きいユーザＵａ及びＵｂの表示オブジェクト１３ａ及び１３ｂは、既定の表示位置からあまり動いていない。これに対し、滞在時間が短く、重みのより小さいユーザＵｃの表示オブジェクト１２ｃは、表示オブジェクト１３ａ及び１３ｂを避けるように上方へ移動している。それにより、ユーザＵａ及びＵｂの間のコミュニケーションは、一時的に通りかかったユーザＵｃの表示オブジェクトにより阻害されることなく、円滑に継続され得る。また、ユーザは、どのユーザがどの程度システムを継続して利用しているかを容易に把握することができる。
【０１１８】
［３−３．処理の流れ］
図１７は、本実施形態に係る画像処理装置２００による画像処理の主な流れの一例を示すフローチャートである。
【０１１９】
図１７を参照すると、まず、画像取得部１１０は、撮像装置１０４により撮像される入力画像を取得する（ステップＳ２０２）。そして、画像取得部１１０は、取得した入力画像を認識部１３０及び出力画像生成部２７０へ出力する。
【０１２０】
次に、認識部１３０は、入力画像に映るユーザの顔領域及び手領域を検出する（ステップＳ２０４）。次に、認識部１３０は、例えば、検出した各顔領域の画像特徴量とデータベース１０２に記憶されている既知のユーザの画像特徴量とを照合することにより、入力画像に映る個々のユーザを特定する（ステップＳ２０６）。
【０１２１】
次に、情報取得部１５０は、認識部１３０により認識された各ユーザと関連付けて表示すべき表示情報を、データベース１０２、端末装置１０５又は外部の情報源などから取得する（ステップＳ２０８）。
【０１２２】
次に、出力画像生成部２７０は、認識部１３０により認識された各ユーザの画像内での滞在時間（及び、必要に応じて移動速度）を計測する（ステップＳ２１０）。そして、重み決定部２６０は、出力画像生成部２７０により計測された各ユーザの滞在時間、及び各ユーザの属性情報に基づいて、ユーザごとの重みを決定する（ステップＳ２１１）。
【０１２３】
次に、出力画像生成部２７０は、滞在時間又は移動速度に基づいて、情報取得部１５０により取得された表示情報を表示する表示オブジェクトの透過率を設定する（ステップＳ２１２）。また、出力画像生成部２７０は、各ユーザの顔領域のサイズを撮像装置１０４との距離に応じたパラメータとして用いて、各表示オブジェクトのサイズ及びレイヤを設定する（ステップＳ２１４）。
【０１２４】
次に、出力画像生成部２７０は、後により詳しく説明する表示位置決定処理を行い、表示オブジェクトごとの表示位置を決定する（ステップＳ２１５）。また、出力画像生成部２７０は、各表示オブジェクトの色などのその他の属性を設定する（ステップＳ２１６）。
【０１２５】
次に、出力画像生成部２７０は、設定した表示オブジェクトの属性に従って、入力画像に表示オブジェクトを重畳することにより、出力画像を生成する（ステップＳ２１８）。そして、出力画像生成部２７０は、生成した出力画像を表示装置１０６へ出力し、出力画像を表示させる（ステップＳ２２０）。
【０１２６】
図１８は、図１７のステップＳ２１５に相当する表示位置決定処理の流れの一例を示すフローチャートである。図１８のフローチャートは、図１４Ａ〜図１４Ｃを用いて説明した表示位置決定処理の第１の例に対応する。
【０１２７】
図１８を参照すると、まず、出力画像生成部２７０は、各表示オブジェクトを既定の表示位置に配置する（ステップＳ２５２）。次に、出力画像生成部２７０は、既定の表示位置の間の距離に応じて、各表示オブジェクトに作用する斥力（複数の場合にはその合力）を算出する（ステップＳ２５４）。次に、出力画像生成部２７０は、算出した斥力及びユーザの重みから、表示オブジェクトごとの既定の表示位置からの変位を算出する（ステップＳ２５６）。
【０１２８】
次に、出力画像生成部２７０は、各表示オブジェクトについて、算出した変位を既定の表示位置に加えることにより導かれる新たな表示位置が表示上の制約を満たすか否かを判定する（ステップＳ２５８）。ここで、新たな表示位置が表示上の制約を満たす場合には、出力画像生成部２７０は、その新たな表示位置に当該表示オブジェクトを配置する（ステップＳ２６０）。一方、新たな表示位置が表示上の制約を満たさない場合には、出力画像生成部２７０は、既定の表示位置を含む他の位置に当該表示オブジェクトを配置する（ステップＳ２６２）。
【０１２９】
図１９は、図１７のステップＳ２１５に相当する表示位置決定処理の流れの他の例を示すフローチャートである。図１９のフローチャートは、図１５を用いて説明した表示位置決定処理の第２の例に対応する。
【０１３０】
図１９を参照すると、まず、出力画像生成部２７０は、各表示オブジェクトを既定の表示位置に配置する（ステップＳ２７２）。次に、出力画像生成部２７０は、互いに重なる表示オブジェクトが存在するか否かを判定する（ステップＳ２７４）。ここで、互いに重なる表示オブジェクトが存在しない場合には、出力画像生成部２７０による表示位置決定処理は終了する。一方、互いに重なる表示オブジェクトが存在する場合には、処理はステップＳ２７６へ進む。
【０１３１】
ステップＳ２７６において、出力画像生成部２７０は、ステップＳ２７４において互いに重なっていた表示オブジェクトを新たな表示位置に移動させる（ステップＳ２７６）。次に、出力画像生成部２７０は、既定の表示位置からの変位とユーザの重みとに基づいて、表示オブジェクトごとの引力を算出する（ステップＳ２７８）。そして、出力画像生成部２７０は、算出した引力が表示オブジェクト間で平衡状態となったか否かを判定する（ステップＳ２８０）。ここで、引力が表示オブジェクト間で平衡状態となった場合には、出力画像生成部２７０による表示位置決定処理は終了する。一方、引力が表示オブジェクト間で平衡状態となっていない場合には、処理はステップＳ２８２へ進む。
【０１３２】
ステップＳ２８２において、出力画像生成部２７０は、表示上の制約を満たす全ての表示位置を探索済みであるか否かを判定する（ステップＳ２８２）。ここで、未探索の表示位置が残っている場合には、処理はステップＳ２７６に戻る。一方、表示上の制約を満たす全ての表示位置が探索済みである場合には、出力画像生成部２７０は、例えば、表示オブジェクトの重なりに関わらず、表示オブジェクトを既定の表示位置に再び配置し（ステップＳ２８４）、処理を終了する。
【０１３３】
［３−４．第２の実施形態のまとめ］
ここまで、図１２〜図１９を用いて、本発明の第２の実施形態について説明した。本実施形態によれば、ユーザの表示上の優先度に類似する重みが例えば滞在時間又はユーザの属性情報などに応じて決定され、その重みに基づいて、各ユーザに関連付けられる表示情報の表示位置が決定される。それにより、優先度の高いユーザの表示情報が他のユーザの表示情報から阻害又は干渉されないように、表示情報間の重なりを回避することができる。その結果、拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示することが可能となる。
【０１３４】
また、本実施形態によれば、重みがより大きいユーザに関連付けられる表示情報ほど既定の表示位置からの変位がより小さくなるように、表示情報の表示位置が決定される。それにより、例えば、本実施形態に係るシステムを継続的に利用しているユーザ間のコミュニケーションを一時的に画像内に現れたユーザの表示情報が阻害するリスクも低減される。また、ユーザにシステムをより長く利用させる動機付けを与えることができる。また、重みに基づいて決定される表示位置が表示上の制約を満たさない場合には、第１の実施形態と同様に、表示情報のサイズ、奥行き方向の配置及び透明度などが制御され、表示情報の重なりが許容され得る。それにより、拡張現実の画像内で情報が混雑した場合にも、情報の分かり易さが大きく低下することがない。
【０１３５】
なお、本明細書において説明した第１及び第２の実施形態に係る一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
【０１３６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１３７】
１ 画像処理システム
１００，２００ 画像処理装置
１３０ 認識部
１５０ 情報取得部
２６０ 重み決定部
１７０，２７０ 出力画像生成部
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
近年、実空間を撮像して得られる画像に情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術において画像に重畳される情報は様々である。例えば、下記特許文献１は、入力画像に映る実空間内の運動する物体にハイパーリンク情報を付加して呈示する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５８０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、情報を付加すべき対象が入力画像内に多数存在する場合には、表示される情報が混雑し、ユーザに呈示される出力画像が分かり易さを失ってしまう恐れがある。例えば、拡張現実の画像を介したユーザ間のコミュニケーションにおいて、コミュニケーションに積極的に関与しているユーザについての情報と周囲に存在するユーザについての情報とを区別することなく表示すると、情報の混雑により円滑なコミュニケーションが阻害され、誰がどの情報を発しているのかも分かりにくい状況が発生し得る。
【０００５】
そこで、本発明は、拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示することのできる、新規かつ改良された画像処理装置、プログラム及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００６】
本発明のある実施形態によれば、撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、上記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、上記情報取得部により取得される上記表示情報を上記入力画像に重畳することにより出力画像を生成する出力画像生成部と、を備え、上記出力画像生成部は、各ユーザについての上記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、画像処理装置が提供される。
【０００７】
また、上記出力画像生成部は、上記第１の表示情報と上記第２の表示情報とが上記出力画像内で重なる場合において、上記第１のユーザの上記撮像装置からの距離が上記第２のユーザの上記撮像装置からの距離よりも小さい場合に、上記第１の表示情報を上記第２の表示情報の前面に重畳してもよい。
【０００８】
また、上記認識部は、上記入力画像に映る各ユーザの顔領域のサイズをさらに認識し、上記出力画像生成部は、上記認識部により認識される各ユーザの顔領域のサイズを上記パラメータとして使用してもよい。
【０００９】
また、上記出力画像生成部は、上記認識部により認識される各ユーザについて上記入力画像内に映っている時間の長さ又は移動速度を計測し、上記入力画像に重畳する上記表示情報の透過率を、当該表示情報に関連付けられるユーザについて計測した上記時間の長さ又は上記移動速度に応じて設定してもよい。
【００１０】
また、上記出力画像生成部は、上記入力画像内に映っている上記時間の長さがより長いユーザの上記表示情報の上記透過率をより低く設定してもよい。
【００１１】
また、上記出力画像生成部は、上記移動速度がより小さいユーザの上記表示情報の上記透過率をより低く設定してもよい。
【００１２】
また、上記認識部は、各ユーザのジェスチャをさらに認識し、上記出力画像生成部は、所定のジェスチャを行ったユーザの上記表示情報の上記透過率を一時的に減少させてもよい。
【００１３】
また、上記認識部は、各ユーザのジェスチャ、表情又は発話状態をさらに認識し、上記出力画像生成部は、所定のジェスチャ若しくは所定の表情をしているユーザ、又は発話中のユーザに関連付けられる表示情報を、上記撮像装置からの距離に関わらず一時的に前面に表示してもよい。
【００１４】
また、上記出力画像生成部は、各ユーザの上記撮像装置からの距離に応じて、各ユーザに関連付けられる上記表示情報の表示サイズを決定してもよい。
【００１５】
また、上記情報取得部は、テキスト入力装置を介して入力されるテキストを第１のタイプの表示情報として取得し、音声入力装置を介して入力される音声についての音声認識結果を第２のタイプの表示情報として取得し、上記出力画像生成部は、上記第１のタイプの表示情報を表示するオブジェクトの形状を思考を象徴する形状に設定し、上記第２のタイプの表示情報を表示するオブジェクトの形状を発話を象徴する形状に設定してもよい。
【００１６】
また、上記情報取得部は、テキスト入力装置又は音声入力装置を介して入力される情報を上記表示情報として取得し、上記出力画像生成部は、上記情報取得部により取得される上記表示情報の内容を解析することにより、上記表示情報を、ユーザの思考に対応する第３のタイプの表示情報又はユーザの発話に対応する第４のタイプの表示情報に分類し、上記第３のタイプの表示情報を表示するオブジェクトの形状を思考を象徴する形状に設定し、上記第４のタイプの表示情報を表示するオブジェクトの形状を発話を象徴する形状に設定してもよい。
【００１７】
また、上記情報取得部は、ユーザにより入力される情報を第５のタイプの表示情報として取得し、及びユーザにより入力される情報又は当該ユーザの属性情報に基づいて外部の情報源から取得される情報を第６のタイプの表示情報として取得し、上記出力画像生成部は、上記第５のタイプの表示情報と上記第６のタイプの表示情報とを互いに異なる形状を有するオブジェクトで表示してもよい。
【００１８】
また、本発明の別の実施形態によれば、画像処理装置を制御するコンピュータを、撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、上記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、上記情報取得部により取得される上記表示情報を上記入力画像に重畳することにより出力画像を生成する出力画像生成部と、として機能させるためのプログラムであって、上記出力画像生成部は、各ユーザについての上記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、プログラムが提供される。
【００１９】
また、上記出力画像生成部は、上記第１の表示情報と上記第２の表示情報とが上記出力画像内で重なる場合において、上記第１のユーザの上記撮像装置からの距離が上記第２のユーザの上記撮像装置からの距離よりも小さい場合に、上記第１の表示情報を上記第２の表示情報の前面に重畳してもよい。
【００２０】
また、上記認識部は、上記入力画像に映る各ユーザの顔領域のサイズをさらに認識し、上記出力画像生成部は、上記認識部により認識される各ユーザの顔領域のサイズを上記パラメータとして使用してもよい。
【００２１】
また、上記出力画像生成部は、上記認識部により認識される各ユーザについて上記入力画像内に映っている時間の長さ又は移動速度を計測し、上記入力画像に重畳する上記表示情報の透過率を、当該表示情報に関連付けられるユーザについて計測した上記時間の長さ又は上記移動速度に応じて設定してもよい。
【００２２】
また、上記出力画像生成部は、上記入力画像内に映っている上記時間の長さがより長いユーザの上記表示情報の上記透過率をより低く設定してもよい。
【００２３】
また、上記出力画像生成部は、上記移動速度がより小さいユーザの上記表示情報の上記透過率をより低く設定してもよい。
【００２４】
また、本発明の別の実施形態によれば、撮像装置により撮像される入力画像に映る複数のユーザを認識するステップと、認識された各ユーザと関連付けて表示すべき表示情報を取得するステップと、各ユーザについての上記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定するステップと、取得された上記表示情報を上記入力画像に重畳することにより出力画像を生成するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００２５】
以上説明したように、本発明に係る画像処理装置、プログラム及び画像処理方法によれば、拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】画像処理システムの概要を示す模式図である。
【図２】図１の画像処理システムにおいて表示される出力画像の一例を示す説明図である。
【図３】第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図４】新規ユーザの登録用のユーザインタフェースの一例を示す説明図である。
【図５】表示オブジェクトデータの構成の一例を示す説明図である。
【図６Ａ】表示オブジェクトの形状の第１の例を示す説明図である。
【図６Ｂ】表示オブジェクトの形状の第２の例を示す説明図である。
【図６Ｃ】表示オブジェクトの形状の第３の例を示す説明図である。
【図６Ｄ】表示オブジェクトの形状の第４の例を示す説明図である。
【図７】第１の実施形態における表示オブジェクトの表示位置について説明するための説明図である。
【図８Ａ】透過率設定処理の一例について説明するための説明図である。
【図８Ｂ】透過率設定処理の他の例について説明するための説明図である。
【図９Ａ】レイヤ設定処理の一例について説明するための第１の説明図である。
【図９Ｂ】レイヤ設定処理の一例について説明するための第２の説明図である。
【図１０】第１の実施形態における出力画像の一例を示す説明図である。
【図１１】第１の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１２】第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１３】重み決定処理の一例について説明するための説明図である。
【図１４Ａ】表示位置決定処理の第１の例について説明するための第１の説明図である。
【図１４Ｂ】表示位置決定処理の第１の例について説明するための第２の説明図である。
【図１４Ｃ】表示位置決定処理の第１の例について説明するための第３の説明図である。
【図１５】表示位置決定処理の第２の例について説明するための説明図である。
【図１６】第２の実施形態における出力画像の一例を示す説明図である。
【図１７】第２の実施形態に係る画像処理の流れの一例を示すフローチャートである。
【図１８】第２の実施形態に係る表示位置決定処理の第１の例の流れを示すフローチャートである。
【図１９】第２の実施形態に係る表示位置決定処理の第２の例の流れを示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２８】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．システムの概要
２．第１の実施形態の説明
２−１．画像処理装置の構成例
２−２．表示オブジェクトの属性
２−３．出力画像の例
２−４．処理の流れ
２−５．第１の実施形態のまとめ
３．第２の実施形態の説明
３−１．画像処理装置の構成例
３−２．出力画像の例
３−３．処理の流れ
３−４．第２の実施形態のまとめ
【００２９】
＜１．システムの概要＞
まず、図１を用いて、本発明の一実施形態に係る画像処理システムの概要を説明する。図１は、本発明の一実施形態に係る画像処理システム１の概要を示す模式図である。図１を参照すると、画像処理システム１は、画像処理装置１００、データベース１０２、撮像装置１０４及び表示装置１０６を含む。
【００３０】
画像処理装置１００は、データベース１０２、撮像装置１０４及び表示装置１０６と接続される。画像処理装置１００は、例えば、ＰＣ（Personal Computer）若しくはワークステーションなどの汎用的なコンピュータであってもよく、又は特定の目的に特化した専用のコンピュータであってもよい。画像処理装置１００は、後に詳しく説明するように、撮像装置１０４により撮像される画像を入力画像として取得し、画像処理後の出力画像を表示装置１０６へ出力する。
【００３１】
データベース１０２は、画像処理装置１００による処理のために使用される情報を記憶する装置である。図１の例に限定されず、データベース１０２は、画像処理装置１００に内蔵されてもよい。データベース１０２により記憶される情報は、例えば、画像処理システム１の各ユーザを一意に識別する識別子（以下、ユーザＩＤという）、各ユーザを認識するための特徴量情報、各ユーザの属性情報、及び画像データなどを含む。データベース１０２により記憶される情報は、画像処理装置１００による処理の際に要求に応じてデータベース１０２から出力されてもよい。その代わりに、画像処理装置１００は、データベース１０２が記憶している情報を定期的にデータベース１０２からダウンロードしてもよい。
【００３２】
撮像装置１０４は、ユーザが存在し得る実空間を撮像する装置である。図１の例において、撮像装置１０４は、スクリーン１０７の上辺に配置され、スクリーン１０７の前の空間に向けられている。そして、撮像装置１０４は、スクリーン１０７の前の実空間を撮像し、一連の画像（即ち、映像）を時系列で画像処理装置１００へ出力する。
【００３３】
表示装置１０６は、画像処理装置１００により生成される一連の出力画像を表示する装置である。図１の例では、表示装置１０６は、プロジェクタである。表示装置１０６は、画像処理装置１００から入力される出力画像を、スクリーン１０７へ映写する。この場合、表示装置１０６は、背面映写式のプロジェクタである。なお、図１の例に限定されず、表示装置１０６は、ＰＤＰ（Plasma Display Panel）又はＬＣＤ（Liquid Crystal Display）などであってもよい。
【００３４】
スクリーン１０７は、表示装置１０６の表示面である。画像処理システム１において、表示装置１０６の表示面は、ユーザが存在する実空間に向けて配置される。図１の例では、スクリーン１０７の前に、３人のユーザＵａ、Ｕｂ及びＵｃが存在している。
【００３５】
画像処理システム１のユーザは、端末装置を用いて、画像処理システム１とインタラクションしてもよい。図１の例では、ユーザＵａが端末装置１０５を保持している。端末装置１０５は、例えば、ＰＣ、スマートフォン又はＰＤＡ（Personal Digital Assistant）などであってよい。端末装置１０５は、例えば、無線ＬＡＮ（Local Area Network）、Ｚｉｇｂｅｅ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）などの任意の無線通信プロトコルに従って、画像処理装置１００との間の通信を行う。端末装置１０５は、例えば、ユーザＵａによるテキスト若しくは音声の入力、又はユーザ情報の登録のために使用され得る。
【００３６】
図２は、図１に例示した画像処理システム１において表示される出力画像の一例について説明するための説明図である。図２を参照すると、一例としての出力画像Ｉｍ０１が示されている。出力画像Ｉｍ０１には、３人のユーザＵａ、Ｕｂ及びＵｃが映っている。また、３人のユーザＵａ、Ｕｂ及びＵｃの近傍には、それぞれ表示オブジェクト１２ａ、１２ｂ及び１２ｃが重畳されている。各表示オブジェクトは、対応するユーザと関連付けられる情報を表示するためのオブジェクトである。本明細書では、画像処理装置１００によりユーザと関連付けて表示される情報を、表示情報という。図２の例では、表示オブジェクト１２ａ、１２ｂ及び１２ｃは、それぞれ、表示情報として、対応するユーザの顔画像、ニックネーム及び属性情報（例えば、趣味など）を含む。さらに、ユーザＵａの近傍には表示オブジェクト１３ａが重畳されている。表示オブジェクト１３ａは、表示情報として、ユーザＵａにより入力されたメッセージを含む。これら表示オブジェクトは、後に詳しく説明するように、画像処理装置１００により画像に重畳される。
【００３７】
このような画像処理システム１は、例えば、パーティ会場、会議場、展示会場などのような多人数でのコミュニケーションの場において、ユーザ間の交流を深めるために利用されてもよい。また、画像処理システム１は、例えば、テレビ会議などのビジネスの場において利用されてもよい。その場合には、異なる場所に撮像装置及び表示装置がそれぞれ配置され、ある場所で撮像された映像が他の場所で表示情報と共に表示され得る。
【００３８】
ここで、画像処理システム１において、複数のユーザが入力画像に映っている場合には、出力画像内に多数の表示オブジェクトを表示すべき状況が発生する可能性がある。その場合、どの表示オブジェクトをどこにどのように配置するかによって、出力画像を見るユーザにとっての情報理解の難易度が異なる。また、情報の理解が困難になれば、円滑なコミュニケーションも阻害され得る。そこで、次節より、より分かり易く情報を呈示し、円滑なコミュニケーションをサポートするための、２つの実施形態について説明する。
【００３９】
＜２．第１の実施形態の説明＞
［２−１．画像処理装置の構成例］
図３は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１１０、音声取得部１２０、認識部１３０、情報取得部１５０及び出力画像生成部１７０を備える。また、認識部１３０は、画像認識部１３４、音声認識部１３８及び個人認識部１４２を含む。
【００４０】
（画像取得部）
画像取得部１１０は、撮像装置１０４により撮像される一連の入力画像を取得する。そして、画像取得部１１０は、取得した入力画像を認識部１３０の画像認識部１３４及び出力画像生成部１７０へ出力する。
【００４１】
（音声取得部）
音声取得部１２０は、ユーザから発せされる音声を入力音声として取得する。音声取得部１２０による音声の取得は、例えば、ユーザが保持する端末装置１０５から送信される音声信号を受信することにより行われてもよい。その代わりに、例えば、スクリーン１０７の周囲にマイクロフォンが設置されてもよい。後者の場合には、音声取得部１２０は、設置されるマイクロフォンを介して入力音声を取得する。そして、音声取得部１２０は、取得した入力音声を認識部１３０の音声認識部１３８へ出力する。
【００４２】
（画像認識部）
画像認識部１３４は、画像取得部１１０から入力される入力画像に公知の顔認識の手法（例えば、特開２００８−１３１４０５号公報参照）を適用し、入力画像に映るユーザの顔領域を検出する。また、画像認識部１３４は、検出した顔領域を対象とし、個人を特定するために使用される特徴量（以下、画像特徴量という）を算出する。そして、画像認識部１３４は、算出した画像特徴量を個人認識部１４２へ出力する。
【００４３】
その後、画像認識部１３４は、個人認識部１４２により各顔領域に対応するユーザが誰であるかが特定されると（各顔領域に対応するユーザＩＤが特定されると）、特定されたユーザＩＤと対応付けて、各顔領域の位置及びサイズを表す情報を出力画像生成部１７０へ出力する。
【００４４】
また、画像認識部１３４は、例えば、各ユーザの画像特徴量に基づいて、ユーザの表情（例えば、笑顔など）、ユーザの発話状態（発話しているか否か）、又はユーザの性別若しくは年齢層などの属性を認識してもよい。その場合には、画像認識部１３４は、認識した表情、発話状態、又は認識した性別若しくは年齢層などを表す情報を、出力画像生成部１７０へ出力する。
【００４５】
また、画像認識部１３４は、入力画像に映るユーザの手領域を検出し、検出した手領域の位置の軌跡に基づいて、ユーザのジェスチャを認識してもよい。その場合には、画像認識部１３４は、認識したジェスチャの種別を表す情報を出力画像生成部１７０へ出力する。
【００４６】
（音声認識部）
音声認識部１３８は、音声取得部１２０から入力される入力音声に公知の音声認識の手法を適用し、ユーザにより発話された内容をテキストデータ（以下、発話データという）として抽出する。そして、音声認識部１３８は、抽出した発話データをユーザＩＤと対応付けて情報取得部１５０へ出力する。
【００４７】
音声認識部１３８は、端末装置１０５を介して入力音声が取得される場合には、例えば、送信元の端末装置１０５の装置ＩＤ又はアカウントＩＤなどから、対応するユーザを特定することができる。一方、例えばスクリーン１０７の周囲に設置される音声入力装置を介して入力音声が取得される場合には、音声認識部１３８は、入力音声から抽出される音声特徴量をデータベース１０２に予め登録されるユーザの音声特徴量と照合することにより、個々のユーザを特定することができる。また、音声認識部１３８は、例えば、入力音声の音源方向を推定し、推定した音源方向に基づいて個々のユーザを特定してもよい。
【００４８】
（個人認識部）
個人認識部１４２は、撮像装置１０４により撮像される入力画像に映る１人以上のユーザがそれぞれ誰であるかを認識する。より具体的には、個人認識部１４２は、例えば、データベース１０２に予め登録されている既知のユーザの顔の画像特徴量と、画像認識部１３４から入力される画像特徴量とを照合する（照合の手法については、例えば特開２００９−５３９１６号公報参照）。そして、個人認識部１４２は、照合の結果として、画像認識部１３４により認識された各顔領域と、特定したユーザのユーザＩＤとを対応付ける。また、個人認識部１４２は、例えば、データベース１０２に予め登録されている既知のユーザの声の音声特徴量と、音声認識部１３８から入力される音声特徴量とを照合してもよい。
【００４９】
（情報取得部）
情報取得部１５０は、認識部１３０により認識される各ユーザと関連付けて表示すべき表示情報を取得する。本実施形態において、各ユーザと関連付けて表示すべき表示情報とは、例えば、当該ユーザの属性情報及び当該ユーザにより入力される入力情報を含み得る。
【００５０】
情報取得部１５０は、例えば、ユーザの属性情報をデータベース１０２から取得する。情報取得部１５０がデータベース１０２から取得する属性情報は、ユーザにより予めデータベース１０２に登録される。データベース１０２に登録される属性情報は、例えば、ユーザのニックネーム、年齢、性別、趣味、所属、特定の設問に対する回答など、任意の情報であってよい。また、情報取得部１５０は、例えば、画像認識部１３４により認識される各ユーザの性別又は年齢層などを属性情報として取得してもよい。
【００５１】
情報取得部１５０が表示情報として取得する入力情報は、例えば、テキスト入力装置を介して入力されるテキストを含む。例えば、ユーザは、端末装置１０５をテキスト入力装置として用いてテキストを入力し、入力情報としてのテキストを端末装置１０５から画像処理装置１００へ送信してもよい。また、情報取得部１５０が表示情報として取得する入力情報は、例えば、音声認識部１３８により認識される上述した発話データを含む。
【００５２】
さらに、情報取得部１５０は、ユーザの属性情報又はユーザにより入力された入力情報に含まれるキーワードに適合する何らかの情報を外部の情報源から検索し、検索結果として得られる情報（以下、検索情報という）を表示情報として取得してもよい。外部の情報源とは、例えば、オンライン辞書サービス、ＳＮＳ（Social Network Service）又はナレッジ共有サービスなどのＷｅｂ関連サービスなどであってよい。
【００５３】
また、情報取得部１５０は、例えば、新規ユーザについての情報をユーザに登録させるためのユーザインタフェース（ＵＩ）を提供する。ユーザ登録用のＵＩは、スクリーン１０７上に表示されてもよい。ユーザ登録用のＵＩは、例えば、図４に例示したような画像を用いたＵＩであってもよい。図４のＵＩの例によれば、ユーザは、スクリーン１０７に表示される設問１８への回答のための選択肢１９ａ又は１９ｂに触れるジェスチャをすることにより、自身の属性情報を画像処理システム１に登録することができる。また、ユーザ登録用のユーザインタフェースは、画像処理装置１００の固有の画面又は端末装置１０５の画面を介して提供されてもよい。
【００５４】
（出力画像生成部）
出力画像生成部１７０は、情報取得部１５０により取得される表示情報を画像取得部１１０から入力される入力画像に重畳することにより、出力画像を生成する。より具体的には、出力画像生成部１７０は、まず、情報取得部１５０により取得される表示情報を表示する表示オブジェクトの属性を決定する。表示オブジェクトの属性は、例えば、表示オブジェクトの形状、色、サイズ、表示位置、透過率、及びレイヤなどに関するデータを含む。このうち、レイヤとは、表示オブジェクト間の重畳の順序を表す。例えば、複数の表示オブジェクトが互いに重なる場合に、レイヤが小さい表示オブジェクトがより前面に重畳される。出力画像生成部１７０は、これら表示オブジェクトの属性を各表示情報について決定した後、決定した属性に従って各表示オブジェクトの画像を生成する。出力画像生成部１７０による表示オブジェクトの属性の決定の基準について、次項でより詳細に説明する。そして、出力画像生成部１７０は、生成した表示オブジェクトの画像を入力画像に重畳することにより出力画像を生成し、生成した出力画像を表示装置１０６へ順次出力する。
【００５５】
［２−２．表示オブジェクトの属性］
（１）属性の例
図５は、出力画像生成部１７０により決定される属性値を含む表示オブジェクトデータ１８０の構成の一例を示す説明図である。図５を参照すると、表示オブジェクトデータ１８０は、オブジェクトＩＤ１８１、ユーザＩＤ１８２、形状１８３、色１８４、サイズ１８５、表示位置１８６、透過率１８７、レイヤ１８８及び表示情報１８９という９つのデータ項目を有する。
【００５６】
（２）オブジェクトＩＤ及びユーザＩＤ
オブジェクトＩＤ１８１は、１つの画像内に重畳される各表示オブジェクトを一意に特定するための識別子である。ユーザＩＤ１８２は、オブジェクトＩＤ１８１により識別される表示オブジェクトが関連付けられるユーザを表すユーザＩＤである。例えば、表示オブジェクトデータ１８０の第１レコード１９０ａ及び第２レコード１９０ｂから、２つの表示オブジェクトＤ０１Ａ及びＤ０２ＡがユーザＵａと関連付けられることが理解される。また、第３レコード１９０ｃから、表示オブジェクトＤ０１ＢがユーザＵｂと関連付けられること、及び第４レコード１９０ｄから、表示オブジェクトＤ０１ＣがユーザＵｃと関連付けられること、が理解される。
【００５７】
（３）形状
形状１８３は、当該表示オブジェクトの形状を表す。図５の例では、表示オブジェクトの形状は、予め定義される表示オブジェクトのタイプＯｂｊ１、Ｏｂｊ２、…のいずれかを指定することにより特定される。
【００５８】
図６Ａ〜図６Ｄは、それぞれ表示オブジェクトのタイプの一例を示す説明図である。図６Ａを参照すると、図２に例示した表示オブジェクト１２ａ及び１３ａが示されている。このうち、表示オブジェクト１２ａのタイプはタイプＯｂｊ１である。また、表示オブジェクト１２ｂのタイプはＯｂｊ２である。これらタイプＯｂｊ１及びＯｂｊ２の表示オブジェクトは、いわゆる吹き出しの形状をしている。
【００５９】
次に、図６Ｂを参照すると、表示オブジェクト１４ａが示されている。表示オブジェクト１４ａのタイプはＯｂｊ３である。表示オブジェクト１４ａは、肩にかける看板の形状をしている。図６Ａに示したタイプＯｂｊ１及び図６Ｂに示したタイプＯｂｊ３は、例えば、ユーザの属性情報を表示するために使用されてよい。一方、図６Ａに示したタイプＯｂｊ２は、例えば、ユーザからの入力情報を表示するために使用されてよい。
【００６０】
さらに、図６Ｃを参照すると、表示オブジェクト１５ａが示されている。表示オブジェクト１５ａのタイプはＯｂｊ４である。タイプＯｂｊ４もまた、例えば、ユーザからの入力情報を表示するために使用されてよい。
【００６１】
ここで、図６Ａに示したタイプＯｂｊ２の形状は、ユーザによる発話を象徴する形状である。これに対し、図６Ｂに示したタイプＯｂｊ４の形状は、ユーザによる思考を象徴する形状である。出力画像生成部１７０は、例えば、表示情報が音声入力装置を介して入力された入力情報である場合に、当該表示情報を表示する表示オブジェクトを、発話を象徴する形状を有するタイプＯｂｊ２に設定し得る。また、出力画像生成部１７０は、例えば、表示情報がテキスト入力装置を介して入力された入力情報である場合に、当該表示情報を表示する表示オブジェクトを、思考を象徴する形状を有するタイプＯｂｊ４に設定し得る。その代わりに、出力画像生成部１７０は、例えば、表示情報の内容を解析することにより、表示情報をユーザの思考に対応する情報又はユーザの発話に対応する情報のいずれかに分類し、前者の分類に対応する表示オブジェクトをタイプＯｂｊ２に、後者の分類に対応する表示オブジェクトをタイプＯｂｊ４にそれぞれ設定してもよい。
【００６２】
また、図６Ｄを参照すると、表示オブジェクト１６ａが示されている。表示オブジェクト１６ａのタイプはＯｂｊ５である。表示オブジェクト１６ａもまた吹き出しの形状をしている。但し、タイプＯｂｊ５の吹き出しの起点は、ユーザではなく、上方を向いている。出力画像生成部１７０は、例えば、情報取得部１５０により外部の情報源から取得される情報を表示するための表示オブジェクトをタイプＯｂｊ５に設定し得る。外部の情報源から取得される情報とは、例えば、上述した検索情報などである。
【００６３】
このように、表示情報の取得経路又は情報入力のために利用された入力手段などに応じて表示オブジェクトの形状を変化させることで、画像処理システム１におけるユーザ間のコミュニケーションに際して、ユーザが情報の種類をより直感的かつ的確に理解することが可能となる。また、ユーザは自身が入力する情報が表示される際のオブジェクトの形状を使い分ける（発話又は思考）ことができるため、より豊かなユーザ間のコミュニケーションが実現され得る。
【００６４】
（４）色
図５における色１８４は、当該表示オブジェクトの色（又は当該表示オブジェクト内の表示情報のテキストの色）を表す。出力画像生成部１７０は、情報取得部１５０により取得される各ユーザの属性情報を参照し、例えばユーザの性別又は年齢層などの属性値に応じて、各表示オブジェクトの色を変化させてもよい。
【００６５】
（５）サイズ
サイズ１８５は、当該表示オブジェクトのサイズを表す。図５の例では、表示オブジェクトのサイズは、既定のサイズからの倍率（％）により表されている。出力画像生成部１７０は、例えば、各ユーザの撮像装置１０４からの距離に応じて、各ユーザに関連付けられる表示情報を表示するための表示オブジェクトのサイズを決定する。本実施形態において、出力画像生成部１７０は、撮像装置１０４からの距離そのものを測定する代わりに、撮像装置１０４からの距離に応じたパラメータとして、各ユーザの顔領域のサイズを使用することができる。顔領域のサイズは、例えば、顔領域に属すると認識された画素数により表されてもよく、又は顔領域を囲むバウンディングボックスの面積により表されてもよい。より具体的には、出力画像生成部１７０は、例えば、顔領域のサイズがより大きいユーザと関連付けられる表示情報のための表示オブジェクトのサイズをより大きく設定する。但し、表示オブジェクトのサイズの上限値が予め定義されてよい。その場合、出力画像生成部１７０は、所定の距離以上撮像装置１０４に近付いたユーザの表示オブジェクトのサイズがその上限値を超えないように、表示オブジェクトのサイズを設定する。
【００６６】
（６）表示位置
表示位置１８６は、当該表示オブジェクトの表示位置、即ち、当該表示オブジェクトが重畳される画像内の位置を表す２次元座標である。本実施形態では、出力画像生成部１７０は、ユーザの顔領域を基準点として、予め定義されるオフセットを有する位置に各表示オブジェクトの中心（又は所定のコーナーなど）を配置する。
【００６７】
図７は、本実施形態における表示オブジェクトの表示位置について説明するための説明図である。図７を参照すると、ユーザの顔領域の重心位置Ｐ０が示されている。位置Ｐ０は、表示オブジェクトの表示位置を決定するためのオフセットの基準点である。出力画像生成部１７０は、例えば、あるユーザと関連付けられる表示情報の数が１つである場合には、当該表示情報を表示する表示オブジェクトの表示位置を、位置Ｐ１とする。また、出力画像生成部１７０は、例えば、あるユーザと関連付けられる表示情報の数が複数である場合には、第２、第３、及び第４の表示情報のための表示位置を、それぞれ位置Ｐ２、Ｐ３及びＰ４とする。位置Ｐ０と位置Ｐ１、Ｐ２、Ｐ３及びＰ４との間のオフセットは、それぞれ予め定義される。本明細書では、これら表示位置を「既定の表示位置」という。なお、図７に示したこれら既定の表示位置は一例に過ぎない。
【００６８】
また、表示オブジェクトのタイプが図６Ｂに例示したタイプＯｂｊ３である場合には、表示オブジェクトの既定の表示位置は、例えば位置Ｐ５であってよい。また、表示オブジェクトのタイプが図６Ｄに例示したタイプＯｂｊ５である場合には、表示オブジェクトの既定の表示位置は、例えば位置Ｐ６及びＰ７であってもよい。
【００６９】
（７）透過率
図５における透過率１８７は、当該表示オブジェクトの透過率を表す。表示オブジェクトに透過率が設定されることで、複数の表示オブジェクトが重ねて重畳される場合にも、ユーザは背面の表示オブジェクトを視認することができる。本実施形態において、出力画像生成部１７０は、認識部１３０により認識される各ユーザについて、入力画像内に映っている時間の長さ（以下、滞在時間という）又は移動速度を計測する。そして、出力画像生成部１７０は、表示情報を表示する表示オブジェクトの透過率を、当該表示情報に関連付けられるユーザについて計測した滞在時間又は移動速度に応じて設定する。
【００７０】
図８Ａは、出力画像生成部１７０による透過率設定処理の一例について説明するための説明図である。図８Ａの例では、出力画像生成部１７０は、ユーザの画像内での滞在時間に応じて、当該ユーザと関連付けられる表示オブジェクトの透過率を設定する。
【００７１】
図８Ａの横軸は、時間軸（時間Ｔ）である。縦軸は、破線で示される滞在時間Ｓｔ及び実線で示される透過率Ｔｒの大きさを表す。図８Ａの例において、時間Ｔ０に画像内に現れたユーザが継続して画像内に留まることにより、当該ユーザの滞在時間Ｓｔが時間軸に沿って線形的に増加している。一方、時間Ｔ０における表示オブジェクトの透過率Ｔｒは１００％である。即ち、ユーザが画像内に現れた瞬間には、表示オブジェクトは視認されない。そして、滞在時間Ｓｔが増加するにつれて、表示オブジェクトの透過率Ｔｒは減少する。即ち、ユーザが画像内に留まっている間、表示オブジェクトは徐々に濃く現れる。そして、時間Ｔ１において表示オブジェクトの透過率Ｔｒが２０％になると、出力画像生成部１７０は、透過率Ｔｒの減少を停止する。これは、背面に重なる表示オブジェクトを少なくともある程度視認可能とするためである。
【００７２】
ここで、ユーザの画像内での滞在時間の長さは、そのユーザの画像処理システム１により提供されるコミュニケーションに対する興味の強さ又は貢献度の大きさを表していると考えることができる。従って、滞在時間の長いユーザほど表示オブジェクトの透過率を低く設定することで、興味の強いユーザ又は貢献度の大きいユーザを優先的にコミュニケーションに関与させることができる。また、滞在時間の短いユーザについて表示オブジェクトの透過率を高く設定することで、例えば、偶然撮像装置１０４の前を通過したユーザについての不要な表示情報が画像内に強く現れることが回避される。なお、出力画像生成部１７０は、ここで説明した滞在時間の代わりに、例えばユーザによる利用開始後の経過時間などを用いてもよい。
【００７３】
図８Ｂは、出力画像生成部１７０による透過率設定処理の他の例について説明するための説明図である。図８Ｂの例では、出力画像生成部１７０は、ユーザの画像内での移動速度に応じて、当該ユーザと関連付けられる表示オブジェクトの透過率を設定する。
【００７４】
図８Ｂの横軸は、時間軸（時間Ｔ）である。縦軸は、破線で示される移動速度Ｍｖ及び実線で示される透過率Ｔｒの大きさを表す。図８Ｂの例において、時間Ｔ０に画像内に現れたユーザの移動速度はＭｖ１である。このとき、表示オブジェクトの透過率Ｔｒは１００％である。その後、時間Ｔ０からＴ２にかけてユーザの移動速度は減少し、時間Ｔ２以降ユーザの移動速度は増加している。透過率Ｔｒは、このような移動速度Ｍｖの変化に追随し、時間Ｔ０からＴ２にかけて減少した後、時間Ｔ２以降増加する。
【００７５】
ここで、画像処理システム１により提供されるコミュニケーションに強い興味を抱いているユーザは、撮像装置１０４の前に留まるものと考えられる。従って、ユーザの移動速度が小さいほど表示オブジェクトの透過率を低く設定することで、そのようなユーザを優先的にコミュニケーションに関与させることができる。また、この場合にも、偶然撮像装置１０４の前を通過したユーザについての不要な表示情報が画像内に強く現れることが回避される。なお、出力画像生成部１７０は、ユーザの移動速度を、例えば顔領域の重心位置のフレーム間の移動量から算出することができる。
【００７６】
また、出力画像生成部１７０は、ユーザの滞在時間及び移動速度の双方に応じて、表示オブジェクトの透過率を設定してもよい。例えば、出力画像生成部１７０は、ユーザの移動速度が増加した場合にも、当該ユーザの滞在時間が所定の閾値以上に長いときには、ユーザの透過率を低く維持してもよい。それにより、画像内でのユーザの一時的な移動によって当該ユーザの表示オブジェクトが視認困難となることが回避される。なお、出力画像生成部１７０は、例えば、移動速度が所定の閾値以下である静止状態の時間の長さと、移動速度が当該閾値を上回る移動状態の時間の長さとを各ユーザについて計測し、これら２つの時間の長さの比に応じて、表示オブジェクトの透過率を設定してもよい。
【００７７】
また、出力画像生成部１７０は、所定のジェスチャを行ったユーザの表示オブジェクトの透過率を一時的に減少させてもよい。例えば、手を挙げるジェスチャ又は手を振るジェスチャなどが、透過率の減少に対応付けられ得る。それにより、例えば、登場して間もない（即ち、滞在時間が短い）ながらも、コミュニケーションに強い興味を抱いているユーザを、より容易にコミュニケーションに参加させることができる。
【００７８】
（８）レイヤ
図５におけるレイヤ１８８は、当該表示オブジェクトの表示オブジェクト間の重畳の順序を表す。図５の例では、表示オブジェクトＤ０１Ａ及びＤ０２Ａのレイヤは１、表示オブジェクトＤ０１Ｂのレイヤは２、表示オブジェクトＤ０１Ｃのレイヤは３である。従って、出力画像生成部１７０は、表示オブジェクトＤ０１Ａ及びＤ０２Ａを最前面のレイヤに、表示オブジェクトＤ０１Ｂを次のレイヤに、表示オブジェクトＤ０１Ｃを最背面のレイヤに重畳する。
【００７９】
出力画像生成部１７０は、このような各表示オブジェクトのレイヤを、各ユーザについての撮像装置１０４からの距離に応じたパラメータに基づいて決定する。本実施形態において、撮像装置１０４からの距離に応じたパラメータとは、上述した顔領域のサイズであってよい。なお、かかる例に限定されず、例えば、測距センサにより測定される距離又はマイクロフォンを介して入力される音声の大きさなどが、上記パラメータとして使用されてもよい。そして、出力画像生成部１７０は、上記パラメータにより表される距離がより小さいユーザに関連付けられる表示情報を表示する表示オブジェクトのレイヤを、より小さい値に設定する（即ち、より前面に配置する）。
【００８０】
図９Ａ及び図９Ｂは、レイヤ設定処理の一例について説明するための説明図である。
【００８１】
図９Ａを参照すると、スクリーン１０７の前に３人のユーザＵａ〜Ｕｃが存在する。ユーザＵａ、Ｕｂ及びＵｃのスクリーン１０７からの距離は、それぞれＤ１、Ｄ２及びＤ３である。このうち、距離Ｄ１が最も小さく、距離Ｄ３が最も大きい。このような状況において、入力画像には、ユーザＵａの顔領域が最も大きく映る。ユーザＵｂの顔領域の大きさは２番目であり、ユーザＵｃの顔領域の大きさは最も小さい。図９Ａの例では、ユーザＵａ、Ｕｂ及びＵｃの顔領域の大きさは、それぞれ、１０００画素、８００画素及び４００画素である。そこで、出力画像生成部１７０は、ユーザＵａと関連付けられる表示オブジェクトのレイヤを１、ユーザＵｂと関連付けられる表示オブジェクトのレイヤを２、ユーザＵｃと関連付けられる表示オブジェクトのレイヤを３と設定する。
【００８２】
このように、顔領域のサイズが大きいユーザについての表示オブジェクトをより前面に重畳することで、表示オブジェクトが混雑している場合にも、距離感に合わせた自然な表示を簡易に実現することができる。また、コミュニケーションに関与したいユーザをよりスクリーン１０７の近くに導くことも可能となる。
【００８３】
また、出力画像生成部１７０は、例えば、所定のジェスチャ若しくは所定の表情をしているユーザ、又は発話中のユーザに関連付けられる表示オブジェクトのレイヤを、ユーザの撮像装置１０４からの距離に関わらず一時的に前面に設定してもよい。所定のジェスチャとは、例えば、手を挙げるジェスチャ又は手を振るジェスチャなどであってよい。また、所定の表情とは、笑顔などであってよい。図９Ｂの例では、手を振るジェスチャをしているユーザＵｃのレイヤが、スクリーン１０７からの距離が最も遠いにも関わらず、一時的に１に設定されている。このような処理により、スクリーン１０７に近い位置を占めるユーザばかりがコミュニケーションに強く関与することなく、コミュニケーションへの参加を希望する様々なユーザにコミュニケーションの機会を広く与えることができる。
【００８４】
［２−３．出力画像の例］
図１０は、本実施形態において画像処理装置１００から出力される出力画像の一例を示す説明図である。図１０を参照すると、一例としての出力画像Ｉｍ１１が示されている。出力画像Ｉｍ１１には、３人のユーザＵａ、Ｕｂ及びＵｃが映っている。また、ユーザＵａの近傍には、表示オブジェクト１２ａ及び１３ａが重畳されている。ユーザＵｂの近傍には、表示オブジェクト１２ｂが重畳されている。ユーザＵｃの近傍には、表示オブジェクト１２ｃが重畳されている。しかし、画像内でユーザＵａ、Ｕｂ及びＵｃが互いに近くに位置しているため、点線枠に囲まれた領域内で表示オブジェクトが混雑し、表示オブジェクト１３ａ、１２ｂ及び１２ｃが互いに重なっている。
【００８５】
図１０の右下の部分画像Ｉｍ１２は、出力画像Ｉｍ１１の中の上述した点線枠内の部分画像の拡大図である。部分画像Ｉｍ１２において、表示オブジェクト１３ａが最前面に重畳されている。また、表示オブジェクト１３ａの背面に表示オブジェクト１２ｂ、表示オブジェクト１２ｂの背面に表示オブジェクト１２ｃがそれぞれ重畳されている。即ち、スクリーン１０７に最も近い位置で積極的にコミュニケーションに関与しているユーザＵａについての情報が、優先的に出力画像Ｉｍ１１において表示されていることが理解される。また、画像内を右から左へ横切っているユーザＵｃの表示オブジェクト１２ｃの透過率は高く設定されている。それにより、コミュニケーションに関与しない可能性の高いユーザＵｃについての情報が他の情報の視認性を阻害することが防止される。
【００８６】
［２−４．処理の流れ］
図１１は、本実施形態に係る画像処理装置１００による画像処理の主な流れの一例を示すフローチャートである。
【００８７】
図１１を参照すると、まず、画像取得部１１０は、撮像装置１０４により撮像される入力画像を取得する（ステップＳ１０２）。そして、画像取得部１１０は、取得した入力画像を認識部１３０及び出力画像生成部１７０へ出力する。
【００８８】
次に、認識部１３０は、入力画像に映るユーザの顔領域及び手領域を検出する（ステップＳ１０４）。次に、認識部１３０は、例えば、検出した各顔領域の画像特徴量とデータベース１０２に記憶されている既知のユーザの画像特徴量とを照合することにより、入力画像に映る個々のユーザを特定する（ステップＳ１０６）。また、認識部１３０は、例えば、音声取得部１２０により取得される入力音声から検出される音声特徴量及び音源方向を追加的に用いて、個々のユーザを特定してもよい。
【００８９】
次に、情報取得部１５０は、認識部１３０により認識された各ユーザと関連付けて表示すべき表示情報を、データベース１０２、端末装置１０５又は外部の情報源などから取得する（ステップＳ１０８）。
【００９０】
次に、出力画像生成部１７０は、認識部１３０により認識された各ユーザの画像内での滞在時間又は移動速度を計測する（ステップＳ１１０）。そして、出力画像生成部１７０は、計測した滞在時間又は移動速度に基づいて、情報取得部１５０により取得された表示情報を表示する表示オブジェクトの透過率を設定する（ステップＳ１１２）。また、出力画像生成部１７０は、各ユーザの顔領域のサイズを撮像装置１０４との距離に応じたパラメータとして用いて、各表示オブジェクトのサイズ及びレイヤを設定する（ステップＳ１１４）。ここで、出力画像生成部１７０は、例えば認識部１３０により認識されるユーザの表情、ジェスチャ又は発話状態に応じて、表示オブジェクトの透過率又はレイヤを変化させてもよい。さらに、出力画像生成部１７０は、各表示オブジェクトの表示位置及び色などのその他の属性を設定する（ステップＳ１１６）。
【００９１】
次に、出力画像生成部１７０は、設定した表示オブジェクトの属性に従って、入力画像に表示オブジェクトを重畳することにより、出力画像を生成する（ステップＳ１１８）。そして、出力画像生成部１７０は、生成した出力画像を表示装置１０６へ出力し、出力画像を表示させる（ステップＳ１２０）。
【００９２】
［２−５．第１の実施形態のまとめ］
ここまで、図１〜図１１を用いて、本発明の第１の実施形態について説明した。本実施形態によれば、各ユーザに関連付けられる情報を入力画像に重畳することにより出力画像が生成される拡張現実の画像内で、情報が混雑する状況において、各ユーザの撮像装置からの距離に応じて表示情報の奥行き方向の配置が決定される。それにより、距離感に合わせた自然な表示が実現されるため、ユーザは、どの表示情報がどのユーザに関する情報であるかを容易に理解することができる。また、コミュニケーションに関与したいユーザをより画面の近くに導くことが可能となり、コミュニケーションがより活性化することが期待される。
【００９３】
また、本実施形態によれば、画像内でのユーザの滞在時間又は移動速度に応じて、表示オブジェクトの透過率が設定される。それにより、コミュニケーションへの興味が強いユーザ、又はコミュニケーションへの貢献度の高いユーザについての情報を、より視認し易いようにユーザに呈示することができる。また、コミュニケーションに関与しないユーザについての情報の存在により、他の情報の視認性が阻害されることを防止することができる。また、本実施形態によれば、表示情報の取得経路又は情報入力のために利用された入力手段などに応じて表示オブジェクトの形状が変化するため、ユーザが表示情報の種類をより直感的かつ的確に理解することが可能となる。
【００９４】
＜３．第２の実施形態の説明＞
上述した第１の実施形態では、画像内で表示情報が混雑する状況において、複数の表示情報が互いに重なる場合にも分かり易く情報が呈示される。第１の実施形態では、各表示情報は、原則として既定の表示位置に表示される。これに対し、本節で説明する第２の実施形態では、表示情報の表示位置を適応的に決定することにより、表示情報の重なりによる視認性の低下を抑制する。
【００９５】
第２の実施形態に係るシステムの構成は、図１を用いて説明した画像処理システム１の構成と同様であってよい。
【００９６】
［３−１．画像処理装置の構成例］
図１２は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。図１２を参照すると、画像処理装置２００は、画像取得部１１０、音声取得部１２０、認識部１３０、情報取得部１５０、重み決定部２６０、及び出力画像生成部２７０を備える。第１の実施形態に係る画像処理装置１００と同様、認識部１３０は、画像認識部１３４、音声認識部１３８及び個人認識部１４２を含む。
【００９７】
（重み決定部）
重み決定部２６０は、認識部１３０により認識されるユーザごとの重みを決定する。本実施形態において、ユーザの「重み」とは、そのユーザの表示上の優先度に類似する概念であり、「重み」が大きいユーザについての表示情報ほど、優先的に既定の表示位置の近くに配置される。例えば、重み決定部２６０は、入力画像内に映っている時間の長さ、即ち滞在時間に応じて、ユーザごとの重みを決定してもよい。また、重み決定部２６０は、ユーザの属性情報を用いてユーザごとの重みを決定してもよい。より具体的には、例えば、重み決定部２６０は、特定の性別（女性など）又は特定の年齢層（１０歳未満の子供又は７０歳を超える高齢者など）に属するユーザの重みが他のユーザの重みよりも大きくなるように、ユーザごとの重みを決定してもよい。
【００９８】
図１３は、重み決定部２６０による重み決定処理の一例について説明するための説明図である。図１３の横軸は、時間軸（時間Ｔ）である。縦軸は、破線で示される滞在時間Ｓｔ及び実線で示される重みＷの大きさを表す。なお、図１３の例では、重みＷは、ユーザの属性に応じて、子供（例えば１０歳未満）についての重みＷｋ、女性についての重みＷｆ及び男性についての重みＷｍの３種類に分けられる。滞在時間Ｓｔは、時間Ｔ０に画像内に現れたユーザが継続して画像内に留まることにより、時間軸に沿って線形的に増加する。重みＷｍは、時間Ｔ０からＴ３までの間滞在時間Ｓｔに比例して線形的に増加し、時間Ｔ３以降は一定の値となる。重みＷｆもまた、時間Ｔ０からＴ３までの間線形的に増加し、時間Ｔ３以降は一定の値となる。但し、重みＷｆは、重みＷｍよりも全ての時間にわたってｄＷだけ大きい。重みＷｋは、時間Ｔ０からＴ４までの間線形的に増加し、時間Ｔ４以降は一定の値となる。重みＷｋは、時間Ｔ０からＴ３までの間、重みＷｆよりも大きい。重み決定部２６０は、例えば、こうしたユーザの滞在時間及び属性に応じた重みの算出のためのグラフ又は算出式を予め記憶し、そのグラフ又は算出式に従ってユーザごとの重みを決定する。
【００９９】
このように、特定の属性を有するユーザの重みを他のユーザよりも大きくすることで、コミュニケーションに積極的に関与することが期待されるユーザを優先的に扱い、又は特定の属性を有するユーザに注目を集めることができる。また、レディファースト又は高齢者優先など、一般社会でコミュニケーションにいて尊重される考え方をシステムに取り入れることも可能となる。なお、優先的に扱われるユーザは、例えば、会費を支払っている会員ユーザなどであってもよい。
【０１００】
（出力画像生成部）
出力画像生成部２７０は、情報取得部１５０により取得される表示情報を画像取得部１１０から入力される入力画像に重畳することにより、出力画像を生成する。より具体的には、出力画像生成部２７０は、まず、情報取得部１５０により取得される表示情報を表示する表示オブジェクトの属性を決定する。表示オブジェクトの属性は、図５の例と同様、形状、色、サイズ、表示位置、透過率、及びレイヤなどに関するデータを含む。表示オブジェクトの形状、色、サイズ、透過率、及びレイヤの決定の考え方は、上述した第１の実施形態と同様であってよい。
【０１０１】
本実施形態において、出力画像生成部２７０は、重み決定部２６０により決定されるユーザごとの重みに基づいて、各ユーザに関連付けられる表示情報の表示位置（即ち、各表示オブジェクトの表示位置）を決定する。より具体的には、例えば、出力画像生成部２７０は、重みがより大きいユーザに関連付けられる表示オブジェクトほど既定の表示位置からの変位がより小さくなるように、各表示オブジェクトの表示位置を決定する。そして、出力画像生成部２７０は、決定した当該表示位置において各表示オブジェクトを入力画像に重畳することにより、出力画像を生成する。
【０１０２】
本実施形態においては、表示位置の決定に際して、ユーザの重み及び既定の表示位置からの変位に依存する「引力」という概念が用いられる。さらに、表示位置決定処理の第１の例では、あるユーザの表示情報の既定の表示位置と他のユーザの表示情報の既定の表示位置との間の距離に依存する「斥力」という概念も導入される。
【０１０３】
（１）表示位置決定処理の第１の例
図１４Ａ〜図１４Ｃは、出力画像生成部２７０による表示位置決定処理の第１の例について説明するための説明図である。表示位置決定処理の第１の例において、出力画像生成部２７０は、各表示情報についての上記斥力と上記引力とが平衡するように、各表示情報を表示する表示オブジェクトの表示位置を決定する。
【０１０４】
図１４Ａを参照すると、ユーザＵｘの表示オブジェクトＤＯ１及び他のユーザの表示オブジェクトＤＯ２が示されている。一例として、表示オブジェクトＤＯ１の既定の表示位置ＤＰ１と表示オブジェクトＤＯ２の既定の表示位置ＤＰ２との間の距離ｄ１，２＝１２０（単位は画素）である。また、ユーザＵｘの重みＷ１＝２０である。
【０１０５】
ここで、例えば、表示オブジェクトＤＯ１に作用する斥力Ｒ１を、距離ｄ１，２と所定の定数Ｃ（以下、斥力定数という。一例として、Ｃ＝５０とする）との積であると定義する。すると、斥力Ｒ１＝ｄ１，２×Ｃ＝６０００である。一方、表示オブジェクトＤＯ１に作用する引力Ｇ１を、例えば、ユーザＵｘの重みＷ１と表示オブジェクトＤＯ１の既定の表示位置ＤＰ１からの変位ｄ１との積であると定義する。すると、引力Ｇ１と斥力Ｒ１との平衡状態（即ちＧ１＝Ｒ１）において、表示オブジェクトＤＯ１の変位ｄ１＝Ｇ１／Ｗ１＝Ｒ１／Ｗ１＝６０００／２０＝３００と導かれる。そこで、出力画像生成部２７０は、例えば、位置ＤＰ１と位置ＤＰ２とを結ぶ直線上で位置ＤＰ１から距離３００（位置ＤＰ２とは反対の方向に）の位置ＮＰ１を、表示オブジェクトＤＯ１の新たな表示位置と決定する。また、表示オブジェクトＤＯ２の新たな表示位置も同様に決定され得る。
【０１０６】
図１４Ａの例では、２つの表示オブジェクトが重なり合う場合について説明した。これに対し、３つ以上の表示オブジェクトが重なり合う場合には、出力画像生成部２７０は、斥力の合力を計算過程で考慮することで、表示オブジェクトの表示位置を決定することができる。
【０１０７】
図１４Ｂを参照すると、ユーザＵｘの表示オブジェクトＤＯ１、並びに他のユーザの表示オブジェクトＤＯ２及びＤＯ３が示されている。ここで、表示オブジェクトＤＯ２の既定の表示位置ＤＰ２から表示オブジェクトＤＯ１の既定の表示位置ＤＰ１へのベクトルをＶｄ１，２とする。また、表示オブジェクトＤＯ３の既定の表示位置ＤＰ３から表示オブジェクトＤＯ１の既定の表示位置ＤＰ１へのベクトルをＶｄ１，３とする。すると、表示オブジェクトＤＯ１に作用する斥力Ｒ１は、Ｃ×Ｖｄ１，２とＣ×Ｖｄ１，３とのベクトル和により表される。そして、平衡状態では、引力Ｇ１＋斥力Ｒ１＝０である。そのため、出力画像生成部２７０は、斥力Ｒ１をユーザＵｘの重みで除することにより、表示オブジェクトＤＯ１の既定の表示位置ＤＰ１からの変位ｄ１を算出することができる。そして、変位ｄ１を既定の表示位置ＤＰ１に加えることで、表示オブジェクトＤＯ１の新たな表示位置ＮＰ１が決定される。
【０１０８】
図１４Ａ及び図１４Ｂの例では、２つの表示オブジェクトの既定の表示位置を結ぶ直線に沿って個々の（合成前の）斥力が作用するものとして説明した。その代わりに、斥力は、例えば（画像内の）上下方向など、予め決められた限定的な方向にのみ作用するものと規定されてもよい。
【０１０９】
図１４Ｃを参照すると、ユーザＵｘの表示オブジェクトＤＯ１及び他のユーザの表示オブジェクトＤＯ２が示されている。ここで、表示オブジェクトＤＯ２の既定の表示位置ＤＰ２から表示オブジェクトＤＯ１の既定の表示位置ＤＰ１へのベクトルＶｄ１，２は、右上方向へ向いている。但し、図１４Ｃの例では、斥力は上下方向のみに作用すると規定されているものとする。その結果、斥力Ｒ１は、位置ＤＰ１から上へ向かう直線に沿って作用する。この場合、表示オブジェクトＤＯ１の既定の表示位置ＤＰ１からの変位ｄ１もまた、右上方向ではなく上方向へ向かうベクトルとなる。その結果、表示オブジェクトＤＯ１は、既定の表示位置から上方向へ移動する。同様に、表示オブジェクトＤＯ２は、既定の表示位置から下方向へ移動する。この場合は、各表示オブジェクトのユーザとの相対的な位置関係が左右方向には変化しないため、出力画像を見るユーザにとって、表示オブジェクトとユーザとの対応関係を理解することが容易である。
【０１１０】
なお、ここでは、斥力を斥力定数と表示オブジェクト間の距離との積であると定義したが、かかる例に限定されず、他の斥力の定義が使用されてもよい。例えば、斥力そのものが定数であってもよく、又は斥力は表示オブジェクト間の距離の２乗に比例してもよい。また、表示情報の種類によって異なる斥力が定義されてもよい。
【０１１１】
また、表示オブジェクトの既定の表示位置の間の距離の代わりに、表示オブジェクトの外周上の点（最も近い点）の間の距離に応じた斥力を定義することで、表示オブジェクトが部分的に重なる可能性を排除することができる。また、表示オブジェクトの外周の周囲に緩衝領域を設け、緩衝領域の縁部の間の距離に応じた斥力を定義することで、表示オブジェクトの間に間隙を作ることもできる。さらに、出力画像の外周（ウィンドウ枠）からの斥力を定義し、表示オブジェクトの作用する引力と斥力との平衡状態の式にウィンドウ枠からの斥力を算入してもよい。
【０１１２】
また、ここでは、ユーザの重みと表示オブジェクトの変位との積を引力とするいわゆるバネ系の定義を利用して表示オブジェクトの変位を算出する例を説明した。しかしながら、その代わりに、例えばバネ・マス・ダンパー系の定義を利用してもよい。その場合、表示オブジェクトの加速度の係数（質量）及び速度の係数（減衰定数）は、ユーザの属性又は表示情報の種類に応じて与えられ得る。それにより、互いにぶつかった表示オブジェクトが時間軸に沿って揺れ動く（及びその揺れが次第に収まる）ような演出効果を生み出すことができる。
【０１１３】
（２）表示位置決定処理の第２の例
図１５は、出力画像生成部２７０による表示位置決定処理の第２の例について説明するための説明図である。表示位置決定処理の第２の例において、出力画像生成部２７０は、例えば、複数の表示オブジェクトに作用する引力が平衡するように、当該複数の表示オブジェクトの表示位置を決定する。この場合、上述した斥力の概念は利用されない。
【０１１４】
図１５を参照すると、ユーザＵｘの表示オブジェクトＤＯ４及びユーザＵｙの表示オブジェクトＤＯ５が示されている。一例として、表示オブジェクトＤＯ４の既定の表示位置ＤＰ４と新たな表示位置ＮＰ４との間の距離ｄ４＝４０である。また、表示オブジェクトＤＯ５の既定の表示位置ＤＰ５と新たな表示位置ＮＰ５との間の距離ｄ５＝８０である。また、ユーザＵｘの重みＷ５＝５０、ユーザＵｙの重みＷ４＝１００である。ここで、表示位置決定処理の第２の例と同様、引力の大きさをユーザの重みと表示オブジェクトの既定の表示位置からの変位との積であると定義すると、表示オブジェクトＤＯ４に作用する引力Ｇ４＝Ｗ４×ｄ４＝４０００である。また、表示オブジェクトＤＯ５に作用する引力Ｇ５＝Ｗ５×ｄ５＝４０００である。即ち、引力Ｇ４と引力Ｇ５とは上記新たな表示位置において平衡状態にある。出力画像生成部２７０は、例えば、複数の表示オブジェクトについてこのような引力の平衡状態が生じる表示位置を探索し、探索結果として得られる表示位置を当該複数の表示オブジェクトの表示位置として決定してもよい。この場合にも、表示位置決定処理の第１の例と同様、重みがより大きいユーザに関連付けられる表示オブジェクトほど、既定の表示位置からの変位がより小さくなる。
【０１１５】
（３）表示上の制約
なお、出力画像生成部２７０は、上述した表示位置決定処理により決定した表示オブジェクトの新たな表示位置が表示上の制約を満たさない場合には、表示オブジェクトの表示位置をさらに変更し、又は表示オブジェクトの表示位置を既定の表示位置に設定してもよい。表示上の制約とは、例えば、表示オブジェクトが画面外にはみださないこと、及び表示オブジェクトがユーザ（全てのユーザ、又は所定の閾値以上の重みを有するユーザなど）の顔に重ならないこと、などを含む。例えば、表示オブジェクトを既定の表示位置に重畳する場合には、複数の表示オブジェクトが互いに重なる可能性が高まる。しかし、複数の表示オブジェクトが互いに重なる場合には、第１の実施形態において説明した手法に従って出力画像生成部２７０が表示情報のサイズ、奥行き方向の配置及び透明度などを制御するため、表示情報の分かり易さの低下は軽減される。
【０１１６】
［３−２．出力画像の例］
図１６は、本実施形態において画像処理装置２００から出力される出力画像の一例を示す説明図である。図１６を参照すると、一例としての出力画像Ｉｍ２１が示されている。出力画像Ｉｍ２１には、３人のユーザＵａ、Ｕｂ及びＵｃが映っている。図１６の例において、ユーザＵａ及びＵｂは入力画像内に比較的長い時間映っており、互いにコミュニケーションを続けているものとする。一方、ユーザＵｃは、一時的に通りかかったユーザであるとする。
【０１１７】
ユーザＵａの近傍には、表示オブジェクト１２ａ及び１３ａが重畳されている。ユーザＵｂの近傍には、表示オブジェクト１２ｂ及び１３ｂが重畳されている。ユーザＵｃと関連付けられる表示オブジェクト１２ｃは、ユーザＵｃからやや離れた上方の表示位置に重畳されている。これら表示オブジェクトは、互いに重なっていない。ここで、本実施形態では、上述したように、重みがより大きいユーザに関連付けられる表示オブジェクトほど既定の表示位置からの変位がより小さくなるように、互いに重なる表示オブジェクトの位置が既定の表示位置から移動される。そのため、滞在時間が長く、重みの大きいユーザＵａ及びＵｂの表示オブジェクト１３ａ及び１３ｂは、既定の表示位置からあまり動いていない。これに対し、滞在時間が短く、重みのより小さいユーザＵｃの表示オブジェクト１２ｃは、表示オブジェクト１３ａ及び１３ｂを避けるように上方へ移動している。それにより、ユーザＵａ及びＵｂの間のコミュニケーションは、一時的に通りかかったユーザＵｃの表示オブジェクトにより阻害されることなく、円滑に継続され得る。また、ユーザは、どのユーザがどの程度システムを継続して利用しているかを容易に把握することができる。
【０１１８】
［３−３．処理の流れ］
図１７は、本実施形態に係る画像処理装置２００による画像処理の主な流れの一例を示すフローチャートである。
【０１１９】
図１７を参照すると、まず、画像取得部１１０は、撮像装置１０４により撮像される入力画像を取得する（ステップＳ２０２）。そして、画像取得部１１０は、取得した入力画像を認識部１３０及び出力画像生成部２７０へ出力する。
【０１２０】
次に、認識部１３０は、入力画像に映るユーザの顔領域及び手領域を検出する（ステップＳ２０４）。次に、認識部１３０は、例えば、検出した各顔領域の画像特徴量とデータベース１０２に記憶されている既知のユーザの画像特徴量とを照合することにより、入力画像に映る個々のユーザを特定する（ステップＳ２０６）。
【０１２１】
次に、情報取得部１５０は、認識部１３０により認識された各ユーザと関連付けて表示すべき表示情報を、データベース１０２、端末装置１０５又は外部の情報源などから取得する（ステップＳ２０８）。
【０１２２】
次に、出力画像生成部２７０は、認識部１３０により認識された各ユーザの画像内での滞在時間（及び、必要に応じて移動速度）を計測する（ステップＳ２１０）。そして、重み決定部２６０は、出力画像生成部２７０により計測された各ユーザの滞在時間、及び各ユーザの属性情報に基づいて、ユーザごとの重みを決定する（ステップＳ２１１）。
【０１２３】
次に、出力画像生成部２７０は、滞在時間又は移動速度に基づいて、情報取得部１５０により取得された表示情報を表示する表示オブジェクトの透過率を設定する（ステップＳ２１２）。また、出力画像生成部２７０は、各ユーザの顔領域のサイズを撮像装置１０４との距離に応じたパラメータとして用いて、各表示オブジェクトのサイズ及びレイヤを設定する（ステップＳ２１４）。
【０１２４】
次に、出力画像生成部２７０は、後により詳しく説明する表示位置決定処理を行い、表示オブジェクトごとの表示位置を決定する（ステップＳ２１５）。また、出力画像生成部２７０は、各表示オブジェクトの色などのその他の属性を設定する（ステップＳ２１６）。
【０１２５】
次に、出力画像生成部２７０は、設定した表示オブジェクトの属性に従って、入力画像に表示オブジェクトを重畳することにより、出力画像を生成する（ステップＳ２１８）。そして、出力画像生成部２７０は、生成した出力画像を表示装置１０６へ出力し、出力画像を表示させる（ステップＳ２２０）。
【０１２６】
図１８は、図１７のステップＳ２１５に相当する表示位置決定処理の流れの一例を示すフローチャートである。図１８のフローチャートは、図１４Ａ〜図１４Ｃを用いて説明した表示位置決定処理の第１の例に対応する。
【０１２７】
図１８を参照すると、まず、出力画像生成部２７０は、各表示オブジェクトを既定の表示位置に配置する（ステップＳ２５２）。次に、出力画像生成部２７０は、既定の表示位置の間の距離に応じて、各表示オブジェクトに作用する斥力（複数の場合にはその合力）を算出する（ステップＳ２５４）。次に、出力画像生成部２７０は、算出した斥力及びユーザの重みから、表示オブジェクトごとの既定の表示位置からの変位を算出する（ステップＳ２５６）。
【０１２８】
次に、出力画像生成部２７０は、各表示オブジェクトについて、算出した変位を既定の表示位置に加えることにより導かれる新たな表示位置が表示上の制約を満たすか否かを判定する（ステップＳ２５８）。ここで、新たな表示位置が表示上の制約を満たす場合には、出力画像生成部２７０は、その新たな表示位置に当該表示オブジェクトを配置する（ステップＳ２６０）。一方、新たな表示位置が表示上の制約を満たさない場合には、出力画像生成部２７０は、既定の表示位置を含む他の位置に当該表示オブジェクトを配置する（ステップＳ２６２）。
【０１２９】
図１９は、図１７のステップＳ２１５に相当する表示位置決定処理の流れの他の例を示すフローチャートである。図１９のフローチャートは、図１５を用いて説明した表示位置決定処理の第２の例に対応する。
【０１３０】
図１９を参照すると、まず、出力画像生成部２７０は、各表示オブジェクトを既定の表示位置に配置する（ステップＳ２７２）。次に、出力画像生成部２７０は、互いに重なる表示オブジェクトが存在するか否かを判定する（ステップＳ２７４）。ここで、互いに重なる表示オブジェクトが存在しない場合には、出力画像生成部２７０による表示位置決定処理は終了する。一方、互いに重なる表示オブジェクトが存在する場合には、処理はステップＳ２７６へ進む。
【０１３１】
ステップＳ２７６において、出力画像生成部２７０は、ステップＳ２７４において互いに重なっていた表示オブジェクトを新たな表示位置に移動させる（ステップＳ２７６）。次に、出力画像生成部２７０は、既定の表示位置からの変位とユーザの重みとに基づいて、表示オブジェクトごとの引力を算出する（ステップＳ２７８）。そして、出力画像生成部２７０は、算出した引力が表示オブジェクト間で平衡状態となったか否かを判定する（ステップＳ２８０）。ここで、引力が表示オブジェクト間で平衡状態となった場合には、出力画像生成部２７０による表示位置決定処理は終了する。一方、引力が表示オブジェクト間で平衡状態となっていない場合には、処理はステップＳ２８２へ進む。
【０１３２】
ステップＳ２８２において、出力画像生成部２７０は、表示上の制約を満たす全ての表示位置を探索済みであるか否かを判定する（ステップＳ２８２）。ここで、未探索の表示位置が残っている場合には、処理はステップＳ２７６に戻る。一方、表示上の制約を満たす全ての表示位置が探索済みである場合には、出力画像生成部２７０は、例えば、表示オブジェクトの重なりに関わらず、表示オブジェクトを既定の表示位置に再び配置し（ステップＳ２８４）、処理を終了する。
【０１３３】
［３−４．第２の実施形態のまとめ］
ここまで、図１２〜図１９を用いて、本発明の第２の実施形態について説明した。本実施形態によれば、ユーザの表示上の優先度に類似する重みが例えば滞在時間又はユーザの属性情報などに応じて決定され、その重みに基づいて、各ユーザに関連付けられる表示情報の表示位置が決定される。それにより、優先度の高いユーザの表示情報が他のユーザの表示情報から阻害又は干渉されないように、表示情報間の重なりを回避することができる。その結果、拡張現実の画像内で情報が混雑する状況において、より分かり易く情報を呈示することが可能となる。
【０１３４】
また、本実施形態によれば、重みがより大きいユーザに関連付けられる表示情報ほど既定の表示位置からの変位がより小さくなるように、表示情報の表示位置が決定される。それにより、例えば、本実施形態に係るシステムを継続的に利用しているユーザ間のコミュニケーションを一時的に画像内に現れたユーザの表示情報が阻害するリスクも低減される。また、ユーザにシステムをより長く利用させる動機付けを与えることができる。また、重みに基づいて決定される表示位置が表示上の制約を満たさない場合には、第１の実施形態と同様に、表示情報のサイズ、奥行き方向の配置及び透明度などが制御され、表示情報の重なりが許容され得る。それにより、拡張現実の画像内で情報が混雑した場合にも、情報の分かり易さが大きく低下することがない。
【０１３５】
なお、本明細書において説明した第１及び第２の実施形態に係る一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
【０１３６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１３７】
１ 画像処理システム
１００，２００ 画像処理装置
１３０ 認識部
１５０ 情報取得部
２６０ 重み決定部
１７０，２７０ 出力画像生成部
【特許請求の範囲】
【請求項１】
撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、
前記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、
前記情報取得部により取得される前記表示情報を前記入力画像に重畳することにより出力画像を生成する出力画像生成部と、
を備え、
前記出力画像生成部は、各ユーザについての前記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、
画像処理装置。
【請求項２】
前記出力画像生成部は、前記第１の表示情報と前記第２の表示情報とが前記出力画像内で重なる場合において、前記第１のユーザの前記撮像装置からの距離が前記第２のユーザの前記撮像装置からの距離よりも小さい場合に、前記第１の表示情報を前記第２の表示情報の前面に重畳する、請求項１に記載の画像処理装置。
【請求項３】
前記認識部は、前記入力画像に映る各ユーザの顔領域のサイズをさらに認識し、
前記出力画像生成部は、前記認識部により認識される各ユーザの顔領域のサイズを前記パラメータとして使用する、
請求項１に記載の画像処理装置。
【請求項４】
前記出力画像生成部は、
前記認識部により認識される各ユーザについて前記入力画像内に映っている時間の長さ又は移動速度を計測し、
前記入力画像に重畳する前記表示情報の透過率を、当該表示情報に関連付けられるユーザについて計測した前記時間の長さ又は前記移動速度に応じて設定する、
請求項１に記載の画像処理装置。
【請求項５】
前記出力画像生成部は、前記入力画像内に映っている前記時間の長さがより長いユーザの前記表示情報の前記透過率をより低く設定する、請求項４に記載の画像処理装置。
【請求項６】
前記出力画像生成部は、前記移動速度がより小さいユーザの前記表示情報の前記透過率をより低く設定する、請求項４に記載の画像処理装置。
【請求項７】
前記認識部は、各ユーザのジェスチャをさらに認識し、
前記出力画像生成部は、所定のジェスチャを行ったユーザの前記表示情報の前記透過率を一時的に減少させる、
請求項４に記載の画像処理装置。
【請求項８】
前記認識部は、各ユーザのジェスチャ、表情又は発話状態をさらに認識し、
前記出力画像生成部は、所定のジェスチャ若しくは所定の表情をしているユーザ、又は発話中のユーザに関連付けられる表示情報を、前記撮像装置からの距離に関わらず一時的に前面に表示する、
請求項１に記載の画像処理装置。
【請求項９】
前記出力画像生成部は、各ユーザの前記撮像装置からの距離に応じて、各ユーザに関連付けられる前記表示情報の表示サイズを決定する、請求項１に記載の画像処理装置。
【請求項１０】
前記情報取得部は、テキスト入力装置を介して入力されるテキストを第１のタイプの表示情報として取得し、音声入力装置を介して入力される音声についての音声認識結果を第２のタイプの表示情報として取得し、
前記出力画像生成部は、前記第１のタイプの表示情報を表示するオブジェクトの形状を思考を象徴する形状に設定し、前記第２のタイプの表示情報を表示するオブジェクトの形状を発話を象徴する形状に設定する、
請求項１に記載の画像処理装置。
【請求項１１】
前記情報取得部は、テキスト入力装置又は音声入力装置を介して入力される情報を前記表示情報として取得し、
前記出力画像生成部は、
前記情報取得部により取得される前記表示情報の内容を解析することにより、前記表示情報を、ユーザの思考に対応する第３のタイプの表示情報又はユーザの発話に対応する第４のタイプの表示情報に分類し、
前記第３のタイプの表示情報を表示するオブジェクトの形状を思考を象徴する形状に設定し、前記第４のタイプの表示情報を表示するオブジェクトの形状を発話を象徴する形状に設定する、
請求項１に記載の画像処理装置。
【請求項１２】
前記情報取得部は、ユーザにより入力される情報を第５のタイプの表示情報として取得し、及びユーザにより入力される情報又は当該ユーザの属性情報に基づいて外部の情報源から取得される情報を第６のタイプの表示情報として取得し、
前記出力画像生成部は、前記第５のタイプの表示情報と前記第６のタイプの表示情報とを互いに異なる形状を有するオブジェクトで表示する、
請求項１に記載の画像処理装置。
【請求項１３】
画像処理装置を制御するコンピュータを、
撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、
前記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、
前記情報取得部により取得される前記表示情報を前記入力画像に重畳することにより出力画像を生成する出力画像生成部と、
として機能させるためのプログラムであって、
前記出力画像生成部は、各ユーザについての前記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、
プログラム。
【請求項１４】
前記出力画像生成部は、前記第１の表示情報と前記第２の表示情報とが前記出力画像内で重なる場合において、前記第１のユーザの前記撮像装置からの距離が前記第２のユーザの前記撮像装置からの距離よりも小さい場合に、前記第１の表示情報を前記第２の表示情報の前面に重畳する、請求項１３に記載のプログラム。
【請求項１５】
前記認識部は、前記入力画像に映る各ユーザの顔領域のサイズをさらに認識し、
前記出力画像生成部は、前記認識部により認識される各ユーザの顔領域のサイズを前記パラメータとして使用する、
請求項１３に記載のプログラム。
【請求項１６】
前記出力画像生成部は、
前記認識部により認識される各ユーザについて前記入力画像内に映っている時間の長さ又は移動速度を計測し、
前記入力画像に重畳する前記表示情報の透過率を、当該表示情報に関連付けられるユーザについて計測した前記時間の長さ又は前記移動速度に応じて設定する、
請求項１３に記載のプログラム。
【請求項１７】
前記出力画像生成部は、前記入力画像内に映っている前記時間の長さがより長いユーザの前記表示情報の前記透過率をより低く設定する、請求項１６に記載のプログラム。
【請求項１８】
前記出力画像生成部は、前記移動速度がより小さいユーザの前記表示情報の前記透過率をより低く設定する、請求項１６に記載のプログラム。
【請求項１９】
撮像装置により撮像される入力画像に映る複数のユーザを認識するステップと、
認識された各ユーザと関連付けて表示すべき表示情報を取得するステップと、
各ユーザについての前記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定するステップと、
取得された前記表示情報を前記入力画像に重畳することにより出力画像を生成するステップと、
を含む画像処理方法。
【請求項１】
撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、
前記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、
前記情報取得部により取得される前記表示情報を前記入力画像に重畳することにより出力画像を生成する出力画像生成部と、
を備え、
前記出力画像生成部は、各ユーザについての前記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、
画像処理装置。
【請求項２】
前記出力画像生成部は、前記第１の表示情報と前記第２の表示情報とが前記出力画像内で重なる場合において、前記第１のユーザの前記撮像装置からの距離が前記第２のユーザの前記撮像装置からの距離よりも小さい場合に、前記第１の表示情報を前記第２の表示情報の前面に重畳する、請求項１に記載の画像処理装置。
【請求項３】
前記認識部は、前記入力画像に映る各ユーザの顔領域のサイズをさらに認識し、
前記出力画像生成部は、前記認識部により認識される各ユーザの顔領域のサイズを前記パラメータとして使用する、
請求項１に記載の画像処理装置。
【請求項４】
前記出力画像生成部は、
前記認識部により認識される各ユーザについて前記入力画像内に映っている時間の長さ又は移動速度を計測し、
前記入力画像に重畳する前記表示情報の透過率を、当該表示情報に関連付けられるユーザについて計測した前記時間の長さ又は前記移動速度に応じて設定する、
請求項１に記載の画像処理装置。
【請求項５】
前記出力画像生成部は、前記入力画像内に映っている前記時間の長さがより長いユーザの前記表示情報の前記透過率をより低く設定する、請求項４に記載の画像処理装置。
【請求項６】
前記出力画像生成部は、前記移動速度がより小さいユーザの前記表示情報の前記透過率をより低く設定する、請求項４に記載の画像処理装置。
【請求項７】
前記認識部は、各ユーザのジェスチャをさらに認識し、
前記出力画像生成部は、所定のジェスチャを行ったユーザの前記表示情報の前記透過率を一時的に減少させる、
請求項４に記載の画像処理装置。
【請求項８】
前記認識部は、各ユーザのジェスチャ、表情又は発話状態をさらに認識し、
前記出力画像生成部は、所定のジェスチャ若しくは所定の表情をしているユーザ、又は発話中のユーザに関連付けられる表示情報を、前記撮像装置からの距離に関わらず一時的に前面に表示する、
請求項１に記載の画像処理装置。
【請求項９】
前記出力画像生成部は、各ユーザの前記撮像装置からの距離に応じて、各ユーザに関連付けられる前記表示情報の表示サイズを決定する、請求項１に記載の画像処理装置。
【請求項１０】
前記情報取得部は、テキスト入力装置を介して入力されるテキストを第１のタイプの表示情報として取得し、音声入力装置を介して入力される音声についての音声認識結果を第２のタイプの表示情報として取得し、
前記出力画像生成部は、前記第１のタイプの表示情報を表示するオブジェクトの形状を思考を象徴する形状に設定し、前記第２のタイプの表示情報を表示するオブジェクトの形状を発話を象徴する形状に設定する、
請求項１に記載の画像処理装置。
【請求項１１】
前記情報取得部は、テキスト入力装置又は音声入力装置を介して入力される情報を前記表示情報として取得し、
前記出力画像生成部は、
前記情報取得部により取得される前記表示情報の内容を解析することにより、前記表示情報を、ユーザの思考に対応する第３のタイプの表示情報又はユーザの発話に対応する第４のタイプの表示情報に分類し、
前記第３のタイプの表示情報を表示するオブジェクトの形状を思考を象徴する形状に設定し、前記第４のタイプの表示情報を表示するオブジェクトの形状を発話を象徴する形状に設定する、
請求項１に記載の画像処理装置。
【請求項１２】
前記情報取得部は、ユーザにより入力される情報を第５のタイプの表示情報として取得し、及びユーザにより入力される情報又は当該ユーザの属性情報に基づいて外部の情報源から取得される情報を第６のタイプの表示情報として取得し、
前記出力画像生成部は、前記第５のタイプの表示情報と前記第６のタイプの表示情報とを互いに異なる形状を有するオブジェクトで表示する、
請求項１に記載の画像処理装置。
【請求項１３】
画像処理装置を制御するコンピュータを、
撮像装置により撮像される入力画像に映る複数のユーザを認識する認識部と、
前記認識部により認識される各ユーザと関連付けて表示すべき表示情報を取得する情報取得部と、
前記情報取得部により取得される前記表示情報を前記入力画像に重畳することにより出力画像を生成する出力画像生成部と、
として機能させるためのプログラムであって、
前記出力画像生成部は、各ユーザについての前記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定する、
プログラム。
【請求項１４】
前記出力画像生成部は、前記第１の表示情報と前記第２の表示情報とが前記出力画像内で重なる場合において、前記第１のユーザの前記撮像装置からの距離が前記第２のユーザの前記撮像装置からの距離よりも小さい場合に、前記第１の表示情報を前記第２の表示情報の前面に重畳する、請求項１３に記載のプログラム。
【請求項１５】
前記認識部は、前記入力画像に映る各ユーザの顔領域のサイズをさらに認識し、
前記出力画像生成部は、前記認識部により認識される各ユーザの顔領域のサイズを前記パラメータとして使用する、
請求項１３に記載のプログラム。
【請求項１６】
前記出力画像生成部は、
前記認識部により認識される各ユーザについて前記入力画像内に映っている時間の長さ又は移動速度を計測し、
前記入力画像に重畳する前記表示情報の透過率を、当該表示情報に関連付けられるユーザについて計測した前記時間の長さ又は前記移動速度に応じて設定する、
請求項１３に記載のプログラム。
【請求項１７】
前記出力画像生成部は、前記入力画像内に映っている前記時間の長さがより長いユーザの前記表示情報の前記透過率をより低く設定する、請求項１６に記載のプログラム。
【請求項１８】
前記出力画像生成部は、前記移動速度がより小さいユーザの前記表示情報の前記透過率をより低く設定する、請求項１６に記載のプログラム。
【請求項１９】
撮像装置により撮像される入力画像に映る複数のユーザを認識するステップと、
認識された各ユーザと関連付けて表示すべき表示情報を取得するステップと、
各ユーザについての前記撮像装置からの距離に応じたパラメータに基づいて、第１のユーザに関連付けられる第１の表示情報及び第２のユーザに関連付けられる第２の表示情報のいずれを前面に重畳するかを決定するステップと、
取得された前記表示情報を前記入力画像に重畳することにより出力画像を生成するステップと、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−６０２４０（Ｐ２０１２−６０２４０Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９８９８７（Ｐ２０１０−１９８９８７）
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]