表示制御装置、表示制御方法、およびプログラム
【課題】表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることが可能な、表示制御装置、表示制御方法、およびプログラムを提供する。
【解決手段】表示画面に表示する表示対象画像と、表示画面の表示方向が撮像された撮像画像とに基づいて、表示対象画像内に切り抜き領域を設定する領域設定部と、設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部とを備える、表示制御装置が提供される。
【解決手段】表示画面に表示する表示対象画像と、表示画面の表示方向が撮像された撮像画像とに基づいて、表示対象画像内に切り抜き領域を設定する領域設定部と、設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部とを備える、表示制御装置が提供される。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
近年、広告など様々な情報を表示画面に表示させることが可能な表示装置が、様々な場所に設置されている。電子広告に係る技術としては、例えば特許文献1に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−102235号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば特許文献1に示す技術が用いられる電子広告システムでは、画像を表示画面に表示する表示装置にカメラやセンサを設けることによって、当該表示画面の前に立つユーザの属性や距離を認識し、認識結果に基づく表示内容を表示画面に表示させる。よって、例えば上記のような電子広告システムが用いられる場合には、表示画面をみているユーザに合う広告(表示内容の一例)を表示画面に表示させることができる可能性はある。
【0005】
しかしながら、例えば特許文献1に示す技術を用いる場合には、認識対象のユーザが一人であっても複数であっても、1つの認識結果に対応する表示内容しか表示画面に表示させることはできない。よって、例えば特許文献1に記載の技術を用いたとしても、表示画面に映る画像(動画像または静止画像。以下、同様とする。)をみている1または2以上のユーザそれぞれに、表示画面に表示されている表示内容が自己に対するものであると認識させることができるとは限らない。
【0006】
本開示では、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定する領域設定部と、設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部とを備える、表示制御装置が提供される。
【0008】
また、本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定するステップと、設定された切り抜き領域内に表示する表示内容を設定するステップと、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップとを有する、表示制御方法が提供される。
【0009】
また、本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定するステップ、設定された切り抜き領域内に表示する表示内容を設定するステップ、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【0010】
本開示によれば、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【図面の簡単な説明】
【0011】
【図1A】本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。
【図1B】本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。
【図2】本実施形態に係る表示制御装置における処理の一例を示す流れ図である。
【図3】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第1の例を示す流れ図である。
【図4】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第3の例を示す流れ図である。
【図5A】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。
【図5B】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。
【図6】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第4の例を示す流れ図である。
【図7】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第5の例を示す流れ図である。
【図8A】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。
【図8B】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。
【図9】本実施形態に係る表示制御装置の構成の一例を示すブロック図である。
【図10】本実施形態に係る表示制御装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る表示制御方法
2.本実施形態に係る表示制御装置
3.本実施形態に係るプログラム
【0014】
(本実施形態に係る表示制御方法)
本実施形態に係る表示制御装置の構成について説明する前に、本実施形態に係る表示制御方法について説明する。また、以下では、本実施形態に係る表示制御装置が、本実施形態に係る表示制御方法に係る処理を行うものとして説明する。
【0015】
上述したように、例えば特許文献1に記載の技術のように、表示画面の前に立つユーザの属性や距離などに基づく1つの認識結果に対応する表示内容を表示画面に表示させる場合には、表示画面をみているユーザに合う表示内容を表示画面に表示させることができる可能性はある。しかしながら、上記のように、認識結果に基づく表示内容を表示画面に表示させたとしても、例えば下記に示すような問題が生じうる。
【0016】
・表示画面の前に複数のユーザが存在する場合、表示画面に表示された表示内容が誰に対するものであるかを、それぞれのユーザに判別させることは困難である
・例えば表示画面のサイズが大きい場合、表示画面からの距離が大きな位置にいるユーザは、表示内容を認識することができるが、表示画面からの距離が小さな位置にいるユーザは、表示内容を認識することが困難である
【0017】
したがって、例えば特許文献1に記載の技術を用いたとしても、表示画面に映る画像をみている1または2以上のユーザそれぞれに、表示画面に表示されている表示内容が自己に対するものであると認識させることができるとは限らない。
【0018】
[本実施形態に係る表示制御方法に係る処理の概要]
そこで、本実施形態に係る表示制御装置は、表示画面に表示する対象の画像(以下、「表示対象画像」と示す。)内に、表示画面をみうるユーザに対応する表示領域を設定する。そして、本実施形態に係る表示制御装置は、表示対象画像から設定された表示領域部分を切り抜いて、切り抜かれた表示領域部分に表示内容が表示された画像を、表示画面に表示させる。以下では、本実施形態に係る表示画面をみうるユーザに対応する表示領域(後述する対象物体に対応する表示領域)を、「切り抜き領域」と示す。
【0019】
ここで、本実施形態に係る表示制御装置が画像を表示させる表示画面としては、例えば、本実施形態に係る表示制御装置とネットワークを介して(または、直接的に)接続された外部表示装置の表示画面、または、本実施形態に係る表示制御装置が備える表示部(後述する)の表示画面が挙げられる。また、本実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、無線LAN(Wireless Local Area Network)や基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
【0020】
また、本実施形態に係る表示対象画像としては、例えば、ネットワークを介して(または直接的に)外部装置から送信された画像信号が示す画像が挙げられるが、本実施形態に係る表示対象画像は、上記に限られない。例えば、本実施形態に係る表示対象画像は、本実施形態に係る表示制御装置がテレビ塔などから送信された放送波を(直接的、またはセットトップボックスなどを介して間接的に)受信してデコードした結果得られる画像信号が示す画像であってもよい。また、本実施形態に係る表示制御装置は、例えば、記憶部(後述する)や、表示制御装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得た画像信号が示す画像を、表示対象画像とすることも可能である。
【0021】
より具体的には、本実施形態に係る表示制御装置は、表示対象画像と、表示画面の表示方向が撮像された撮像画像とに基づいて、切り抜き領域を設定する(切り抜き領域設定処理)。また、本実施形態に係る表示制御装置は、設定された切り抜き領域内に表示する表示内容を設定する(表示内容設定処理)。そして、本実施形態に係る表示制御装置は、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる(表示制御処理)。
【0022】
ここで、本実施形態に係る撮像画像は、上記のように表示画面の表示方向が撮像された画像である。本実施形態に係る表示制御装置が画像を表示させる表示画面が外部表示装置の表示画面である場合には、例えば、外部表示装置が備える撮像デバイスや、当該外部表示装置と接続された撮像装置によって、撮像が行われる。そして、本実施形態に係る表示制御装置は、上記外部表示装置または上記撮像装置から送信された、撮像画像を示す画像信号を受信することによって、撮像画像を取得する。また、本実施形態に係る表示制御装置が画像を表示させる表示画面が表示部(後述する)の表示画面である場合には、例えば、本実施形態に係る表示制御装置が備える撮像部(後述する)や、本実施形態に係る表示制御装置に接続された撮像装置によって、撮像が行われる。そして、本実施形態に係る表示制御装置は、上記撮像部(後述する)が撮像を行うことによって、または、上記撮像装置から送信された撮像画像を示す画像信号を受信することによって、撮像画像を取得する。なお、本実施形態に係る表示制御装置における撮像画像の取得方法が、上記に限られないことは、言うまでもない。
【0023】
図1A、図1Bは、本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。図1A、図1Bに示す“A”は、表示対象画像の一例を示している。また、図1Aに示す“B”、“C”は、撮像画像から検出する検出対象の物体(以下、「対象物体」と示す。)の一例を示している。ここで、図1Aでは、ユーザ(人間)が対象物体である場合の一例を示しており、また、2人のユーザが撮像画像に含まれる場合を示している。また、図1Bに示す“AR1”は、図1Aに示す“A”に対応する切り抜き領域を示しており、図1Bに示す“AR2”は、図1Aに示す“B”に対応する切り抜き領域を示している。
【0024】
本実施形態に係る表示制御装置は、例えば撮像画像から対象物体を検出する。ここで、本実施形態に係る表示制御装置は、例えば、顔検出処理やエッジ検出処理などの処理を撮像画像に対して行うことによって、撮像画像からユーザ(対象物体の一例)を検出する。なお、本実施形態に係る表示制御装置における対象物体の検出方法は、上記に限られない。例えば、外部装置において対象物体が検出される場合には、本実施形態に係る表示制御装置は、当該外部装置から送信される検出結果を用いることによって、上記顔検出処理などの処理を撮像画像に対して行うことなく撮像画像から対象物体を検出することも可能である。
【0025】
なお、本実施形態に係る表示制御装置が撮像画像から検出する対象物体は、図1Aに示すようなユーザに限られない。例えば、本実施形態に係る表示制御装置は、任意の物体検出処理を用いることによって、車や鞄などの任意の物体を対象物体として撮像画像から検出することが可能である。以下では、本実施形態に係る表示制御装置が、ユーザを対象物体とする場合を主に例に挙げて説明する。
【0026】
撮像画像から対象物体が検出されると、本実施形態に係る表示制御装置は、表示対象画像内での対象物体に対応する画像が占める領域を特定する。そして、本実施形態に係る表示制御装置は、特定された領域を切り抜き領域“AR1”、“AR2”として設定する。
【0027】
ここで、本実施形態に係る表示制御装置は、例えば、表示対象画像と撮像画像を合成した場合における表示対象画像内での対象物体に対応する画像が占める領域を、切り抜き領域として設定するが、切り抜き領域の設定方法は、上記に限られない。例えば、本実施形態に係る表示制御装置は、表示画面と対象物体との距離を示す距離情報など、対象物体に関する情報を用いることによって、切り抜き領域を設定することも可能である。距離情報を用いる場合には、本実施形態に係る表示制御装置は、例えば、距離情報が示す距離に応じた大きさの切り抜き領域を設定する。本実施形態に係る表示制御装置は、例えば、外部表示装置が備える距離センサや赤外線センサなどの各種検出センサや当該外部表示装置と接続された各種検出センサ、または、本実施形態に係る表示制御装置が備える検出部(後述する)や表示制御装置と接続された各種検出センサから、上記対象物体に関する情報を取得する。
【0028】
また、本実施形態に係る表示制御装置は、例えば、検出された対象物体の数に基づいて切り抜き領域を設定してもよい。以下では、例えば、対象物体の形や属性、数などのような撮像画像を処理することによって得られる情報や、距離情報などのような検出センサにより得られる情報など、撮像画像に含まれる対象物体に関する情報を、総称して「対象物体情報」と示す場合がある。
【0029】
なお、本実施形態に係る表示制御装置は、例えば図1Aに示すような、表示対象画像と、撮像画像から検出された対象物体に対応する画像との合成を行わなくても、表示対象画像内での対象物体に対応する画像が占める領域の特定することが可能である。よって、本実施形態に係る表示制御装置は、例えば図1Aに示すような画像の合成を行わなくてもよい。
【0030】
切り抜き領域“AR1”、“AR2”が設定されると、本実施形態に係る表示制御装置は、例えば図1Bに示すように、設定された切り抜き領域“AR1”、“AR2”に設定された表示内容に対応する画像が合成された画像(切り抜き領域内に設定された表示内容が表示された画像の一例)を、表示画面に表示させる。
【0031】
ここで、図1Bでは、本実施形態に係る表示制御装置が、切り抜き領域“AR1”に広告を表示させ、また、切り抜き領域“AR2”にショッピングモールの構内図を表示させている例を示している。なお、本実施形態に係る表示制御装置が設定した切り抜き領域に表示させる表示内容は、図1Bに示すような広告や構内図に限られない。例えば、本実施形態に係る表示制御装置は、ユーザ(対象物体の一例)の発言履歴や購入履歴などの履歴情報の内容を、切り抜き領域に表示させる表示内容として設定することもできる。また、例えば本実施形態に係る表示制御装置がテレビ会議システムに適用される場合には、本実施形態に係る表示制御装置は、例えば、参加者(ユーザの一例)の資料を切り抜き領域に表示させたり、会話内容を切り抜き領域に表示させることも可能である。
【0032】
本実施形態に係る表示制御装置は、例えば、顔認証などの任意の認証技術を用いて対象物体としてのユーザを識別することによって、識別されたユーザに対応する履歴情報などの内容を切り抜き領域に表示させる表示内容として設定する。ここで、本実施形態に係る表示制御装置は、例えば、サーバなどの外部装置や、本実施形態に係る表示制御装置が備える記憶部(後述する)から、特定されたユーザに対応する履歴情報などを取得するが、本実施形態に係る表示制御装置における履歴情報などの取得方法は、上記に限られない。なお、上述したように、本実施形態に係る表示制御装置は、任意の物体を対象物体として撮像画像から検出することが可能である。よって、本実施形態に係る表示制御装置は、任意の識別技術を用いて検出された対象物体を識別することによって、検出された対象物体それぞれに関する情報の内容を、対応する切り抜き領域に表示させる表示内容として設定することが可能である。
【0033】
さらに、本実施形態に係る表示制御装置は、例えば、検出された対象物体の属性(例えば、ユーザが対象物体の場合には、男女や、年齢層など)や、検出された対象物体のサイズ(例えば、後述する検出された対象物体に対応する面積S)などに基づいて、表示内容を変えることも可能である。ここで、対象物体の属性は、例えば、画像から特徴点を検出して検出された特徴点に基づき判定を行う画像処理など、任意の画像処理技術を用いて判定することが可能である。また、対象物体の属性に基づいて表示内容を変える場合、表示制御装置100は、例えば、属性の判定結果と、属性と表示内容に対応するデータとを対応付けたテーブルなどとを用いて、表示内容を設定する。なお、検出された対象物体のサイズに基づく表示内容の変更に係る処理の一例については、後述する。
【0034】
また、図1Bでは、本実施形態に係る表示制御装置が、検出された2つの対象物体に対応する切り抜き領域“AR1”、“AR2”それぞれに相異なる情報の内容を設定している例を示しているが、本実施形態に係る表示制御装置が設定した切り抜き領域に表示させる表示内容は、上記に限られない。例えば、本実施形態に係る表示制御装置は、複数の対象物体それぞれに対応する切り抜き領域それぞれに表示させる表示内容として、同一の内容を設定することも可能である。上記同一の内容は、例えば、予め規定されたものであってもよいし、撮像画像から検出された複数の対象物体それぞれの属性を例えば平均などの統計手法を用いて総合評価することによって設定されたものであってもよい。
【0035】
また、図1Bでは、本実施形態に係る表示制御装置が、切り抜き領域“AR1”、“AR2”に表示内容の一部を表示させている例を示しているが、本実施形態に係る表示制御装置が切り抜き領域に表示させる表示内容は、上記に限られない。例えば、本実施形態に係る表示制御装置は、設定した切り抜き領域内に設定された表示内容の全体を表示させてもよい。なお、図1Bに示す例では、ユーザ(対象物体)が移動することによって、設定された表示内容の他の部分が表示されることとなる。
【0036】
本実施形態に係る表示制御装置は、例えば図1Bに示すように、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。例えば図1Bに示すように、検出された対象物体に対応する切り抜き領域“AR1”、“AR2”それぞれに表示内容が表示された画像が表示画面に表示されることによって、例えば図1Aに示す“B”に対応するユーザは、切り抜き領域“AR1”に表示された内容が、自己に対するものであると認識することが可能となる。同様に、例えば図1Aに示す“C”に対応するユーザは、切り抜き領域“AR2”に表示された内容が、自己に対するものであると認識することが可能となる。
【0037】
したがって、本実施形態に係る表示制御装置が、例えば、(1)切り抜き領域設定処理、(2)表示内容設定処理、および(3)表示制御処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0038】
[本実施形態に係る表示制御方法に係る処理の具体例]
次に、本実施形態に係る表示制御方法に係る処理について、より具体的に説明する。以下では、本実施形態に係る表示制御装置(以下、「表示制御装置100」と示す場合がある。)が、本実施形態に係る表示制御方法に係る処理を行うものとして説明する。
【0039】
図2は、本実施形態に係る表示制御装置100における処理の一例を示す流れ図である。ここで、図2は、表示制御装置100における処理の大枠を示している。なお、図2に示す処理の具体例については、後述する。
【0040】
表示制御装置100は、表示対象画像に切り抜き領域を設定する(S100。切り抜き領域設定処理)。ここで、表示制御装置100は、表示対象画像と撮像画像とに基づいて切り抜き領域を設定する。より具体的には、表示制御装置100は、例えば、撮像画像を処理することによって得られる情報や、各種センサによって得られた対象物体に関する情報などの、対象物体情報を用いることによって、切り抜き領域を設定する。なお、本実施形態に係る表示制御装置100における切り抜き領域の設定に係る処理の具体例については、後述する。
【0041】
ステップS100において切り抜き領域が設定されると、表示制御装置100は、設定した切り抜き領域それぞれに表示する表示内容を設定する(S102。表示内容設定処理
)。ここで、表示制御装置100は、例えば、予め規定された表示内容を設定してもよいし、または、対象物体の属性や対象物体の識別結果に対応する表示内容を設定してもよい。また、複数の切り抜き領域が設定される場合には、表示制御装置100は、例えば、設定された切り抜き領域それぞれに同一の表示内容を設定してもよいし、相異なる表示内容を設定してもよい。
【0042】
ステップS102において表示内容が設定されると、表示制御装置100は、ステップS100において設定された切り抜き領域内に、ステップS102において設定された表示内容が表示された画像を、表示画面に表示させる(S104。表示制御処理)。ここで、表示制御装置100が外部表示装置の表示画面に上記画像を表示させる場合には、表示制御装置100は、例えば、上記画像を示す画像信号を外部表示装置へ送信することによって、外部表示装置に上記画像を表示させる。また、表示制御装置100が表示部(後述する)の表示画面に上記画像を表示させる場合には、表示制御装置100は、表示部(後述)に上記画像を示す画像信号を伝達することによって、上記画像を表示させる。
【0043】
表示制御装置100は、例えば図2に示す処理を行うことによって、本実施形態に係る表示制御方法に係る(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)を実現し、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。
【0044】
よって、表示制御装置100は、例えば図2に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。なお、例えば図2に示す本実施形態に係る表示制御方法に係る処理は、1回行われれば再度行われないという類の処理ではなく、表示制御装置100は、例えば、定期的に、または、非定期的に、本実施形態に係る表示制御方法に係る処理を繰り返し行う。つまり、表示制御装置100は、リアルタイム(または、ほぼリアルタイム)に処理を行うことが可能である。よって、表示制御装置100は、設定する切り抜き領域に表示する表示内容をリアルタイム(または、ほぼリアルタイム)に変化させることができる。
【0045】
以下、図2に示す本実施形態に係る表示制御方法に係る処理について、より具体的に説明する。
【0046】
[1]第1の例
図3は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第1の例を示す流れ図である。
【0047】
表示制御装置100は、対象物体が検出されたか否かを判定する(S200)。ここで、表示制御装置100は、ハードウェアおよび/またはソフトウェアにより撮像画像を画像解析することによって、撮像画像から対象物体を検出してステップS200の判定を行うが、本実施形態に係る表示制御装置100における処理は、上記に限られない。例えば、外部表示装置に接続された物体検知センサや表示制御装置100に接続された物体検知センサなどのような、外部検出装置において対象物体が検出される場合には、表示制御装置100は、当該外部検出装置から送信される検出結果に基づいて、ステップS200の判定を行うことも可能である。
【0048】
ステップS200において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S210)。そして、表示制御装置100は、後述するステップS212の処理を行う。
【0049】
また、ステップS200において対象物体が検出されたと判定された場合には、表示制御装置100は、対象物体情報を検出する(S202)。ここで、表示制御装置100は、撮像画像を処理することや、外部の検出センサや検出部(後述する)が検出した検出結果を示す情報を用いることによって、対象物体情報を検出する。本実施形態に係る表示制御方法に係る処理の第1の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
【0050】
ステップS202の処理が行われると、表示制御装置100は、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、面積Sが面積Sminより大きいか否かを判定する(S204)。ここで、本実施形態に係る設定基準領域の面積Sminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0051】
なお、図3では、表示制御装置100が、ステップS204において面積Sが面積Sminより大きいか否かを判定する例を示しているが、ステップS204の処理は、上記に限られない。例えば、本実施形態に係る表示制御装置100は、ステップS204において、面積Sが面積Smin以上であるか否かを判定してもよい(以下、同様とする。)。
【0052】
ここで、表示制御装置100は、ステップS202において検出された対象物体の形全体の面積を、対象物体に対応する面積Sとするが、本実施形態に係る表示制御装置100における処理は、上記に限られない。例えば、対象物体がユーザの場合、表示制御装置100は、ユーザの顔の面積など、態様物体の一部の面積を、本実施形態に係る検出された対象物体に対応する面積とすることも可能である。なお、上述したように、本実施形態に係る対象物体は、ユーザに限られない。つまり、対象物体が、例えば鞄や車などであっても、表示制御装置100は、対象物体の一部または全部の面積を、本実施形態に係る検出された対象物体に対応する面積とすることができる。
【0053】
ステップS204において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S210)。そして、表示制御装置100は、後述するステップS212の処理を行う。
【0054】
また、ステップS204において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、対象物体の一部または全部を切り抜き領域として設定する(S206)。
【0055】
ステップS206の処理が行われると、表示制御装置100は、ステップS206において設定された切り抜き領域に表示する表示内容を設定する(S208)。ここで、表示制御装置100は、例えば、予め規定された表示内容を設定してもよいし、または、例えばステップS202において検出された対象物体情報を用いて、対象物体の属性や対象物体の識別結果に対応する表示内容を設定してもよい。また、複数の切り抜き領域が設定される場合には、表示制御装置100は、例えば、設定された切り抜き領域それぞれに同一の表示内容を設定してもよいし、相異なる表示内容を設定してもよい。
【0056】
ステップS208および/またはステップS210の処理が行われると、表示制御装置100は、表示画面への画像の表示を制御する(S212)。例えば、撮像画像に対象物体が含まれていない場合や検出された対象物体の全てに対して切り抜き領域が設定されなかった場合には、表示制御装置100は、表示対象画像そのものを表示画面に表示させる(通常の表示)。また、検出された対象物体のいずれかに切り抜き領域が設定された場合には、表示制御装置100は、ステップS206において設定された切り抜き領域内に、ステップS208設定された表示内容が表示された画像を、表示画面に表示させる。
【0057】
表示制御装置100は、例えば図3に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図3に示す処理では、例えばステップS200〜S206、S210の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS208の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS212の処理が(3)の処理(表示制御処理)に該当する。
【0058】
したがって、表示制御装置100は、例えば図3に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0059】
なお、図3では、表示制御装置100が、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、設定基準領域の面積(設定基準領域のサイズ)Sminとの比較結果に基づいて、切り抜き領域を選択的に設定する例を示したが、本実施形態に係る表示制御装置100における本実施形態に係る表示制御方法の第1の例に係る処理は、図3に示す処理に限られない。例えば、表示制御装置100は、ステップS204において、対象物体情報としての距離情報および対象物体の数に基づいて、表示画面からの距離が所定の基準距離より小さい対象物体の数(または、表示画面からの距離が所定の基準距離以下の対象物体の数)Hnが、切り抜き領域の設定基準数Hn_maxより大きいか否かの判定結果に基づいて、切り抜き領域を選択的に設定してもよい。上記の場合には、表示制御装置100は、例えば、対象物体の数Hnが切り抜き領域の設定基準数Hn_maxより大きい場合(または、対象物体の数Hnが切り抜き領域の設定基準数Hn_max以上の場合)に、切り抜き領域を設定する。ここで、本実施形態に係る設定基準数Hn_maxは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0060】
[2]第2の例
対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなるなど、例えば対象物体と表示画面との距離に応じて、表示制御装置100が設定する切り抜き領域の大きさは異なる。ここで、例えば図1Bの切り抜き領域“AR1”、“AR2”に示すように切り抜き領域の大きさが異なるときには、より大きな切り抜き領域ほど、ユーザに認識させることが可能な情報の情報量は多くなる。そこで、表示制御装置100は、本実施形態に係る表示制御方法の第2の例に係る処理として、例えば、切り抜き領域の大きさに基づいて、切り抜き領域に表示させる情報を変える処理を行う。
【0061】
より具体的には、表示制御装置100は、基本的に図3に示す処理と同様の処理を行いつつ、検出された対象物体に対応する面積(検出された対象物体のサイズ)S、設定基準領域の面積(設定基準領域のサイズ)Smin、および、表示内容の切替を行う基準となる基準領域の面積Schangeに基づいて、対象物体ごとに下記の(a)〜(c)のいずれかの処理を行う。また、表示制御装置100は、撮像画像から対象物体が検出されない場合には、図3のステップS200およびステップS210に示すように、切り抜き領域を設定しない。
【0062】
ここで、本実施形態に係る表示内容の切替を行う基準となる基準領域の面積Schangeは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0063】
また、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなる場合には、設定基準領域の面積Sminは、対象物体と表示画面との距離が大きいと判定するための閾値に相当する。また、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなる場合には、表示内容の切替を行う基準となる基準領域の面積Schangeは、対象物体と表示画面との距離が小さいと判定するための閾値に相当する。
【0064】
(a)S<Sminの場合の処理(または、S≦Sminの場合の処理)
表示制御装置100は、図3のステップS204およびステップS210に示すように、切り抜き領域を設定しない。
【0065】
(b)Smin≦S≦Schangeの場合の処理(または、Smin<S<Schangeの場合の処理)
表示制御装置100は、図3のステップS204およびステップS206に示すように、切り抜き領域を設定する。そして、表示制御装置100は、設定された切り抜き領域が大きくないと判定された場合に表示する表示内容を設定する。なお、表示制御装置100は、さらに対象物体情報を用いることによって、例えば対象物体の属性に応じた表示内容を設定してもよい。
【0066】
(c)S>Schangeの場合の処理(または、S≧Schangeの場合の処理)
表示制御装置100は、図3のステップS204およびステップS206に示すように、切り抜き領域を設定する。そして、表示制御装置100は、設定された切り抜き領域が大きいと判定された場合に表示する表示内容を設定する。なお、表示制御装置100は、さらに対象物体情報を用いることによって、例えば対象物体の属性に応じた表示内容を設定してもよい。
【0067】
表示制御装置100は、基本的に図3に示す処理と同様の処理を行いつつ、撮像画像に対象物体が存在する場合には、(1)の処理(切り抜き領域設定処理)および(2)の処理(表示内容設定処理)として、上記(a)の処理〜(c)の処理のいずれかの処理を行う。また、表示制御装置100は、図3に示す処理と同様に、表示画面への画像の表示を制御する。
【0068】
したがって、本実施形態に係る表示制御方法の第2の例に係る処理を行うことによって、表示制御装置100は、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0069】
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第2の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、表示内容の切替を行う基準となる基準領域の面積Schangeを複数設定することによって、表示内容を多段階に切り替えることも可能である。
【0070】
[3]第3の例
上記本実施形態に係る表示制御方法の第1の例に係る処理、第2の例に係る処理では、検出された対象物体に対応する面積(検出された対象物体のサイズ)に基づいて、切り替え領域を設定する処理の一例を示した。しかしながら、本実施形態に係る表示制御方法に係る処理は、上記に限られない。例えば、対象物体が大きく動いている場合には、切り抜き領域を設定して当該切り抜き領域に表示内容を設定したとしても、ユーザが当該表示内容をみていない可能性がある。そこで、次に、本実施形態に係る表示制御方法の第3の例に係る処理として、対象物体の動きに合わせて、選択的に切り替え領域を設定する処理の一例を説明する。
【0071】
図4は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第3の例を示す流れ図である。
【0072】
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S300)。
【0073】
ステップS300において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S310)。そして、表示制御装置100は、後述するステップS312の処理を行う。
【0074】
また、ステップS300において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S302)。本実施形態に係る表示制御方法に係る処理の第3の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
【0075】
ステップS302の処理が行われると、表示制御装置100は、検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較する。そして、表示制御装置100は、対象物体の動き量と基準動き量との比較結果に基づいて、対象物体が止まっているか否かを判定する(S304)。より具体的には、表示制御装置100は、例えば、対象物体の動き量が基準動き量より小さい場合(または、対象物体の動き量が基準動き量以下の場合。以下、同様とする。)に、対象物体が止まっていると判定する。ここで、本実施形態に係る基準動き量は、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0076】
ここで、本実施形態に係る対象物体の動き量は、例えば、時間的に連続している複数のフレーム(フレーム画像)に基づいて算出される。また、本実施形態に係る対象物体の動き量は、撮像画像に基づいて表示制御装置100が算出するが、表示制御装置100が処理に用いる対象物体の動き量は、上記に限られない。例えば、表示制御装置100は、外部装置において算出された対象物体の動き量を示す情報を当該外部装置から取得し、取得された動き量を用いてステップS302の処理を行うことも可能である。
【0077】
ステップS304において対象物体が止まっていると判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S310)。そして、表示制御装置100は、後述するステップS312の処理を行う。
【0078】
また、ステップS304において対象物体が止まっていると判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S306)。
【0079】
ステップS306の処理が行われると、表示制御装置100は、図3のステップS208と同様に、ステップS306において設定された切り抜き領域に表示する表示内容を設定する(S308)。
【0080】
ステップS308および/またはステップS310の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S312)。
【0081】
図5A、図5Bは、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。図5A、図5Bに示す“A”は、表示対象画像の一例を示している。また、図5Aに示す“C”、“D”は、対象物体を示している。ここで、図5Aでは、ユーザが対象物体である場合の一例を示している。また、図5Aは、図5Aに示す“C”に対応するユーザが表示画面の前を走って横切っており、図5Aに示す“D”に対応するユーザが表示画面の前で止まっている例を示している。また、図5Bに示す“AR3”は、図5Aに示す“D”に対応する切り抜き領域を示している。
【0082】
図5Aに示す例の場合、表示制御装置100は、ステップS304において、図5Aの“C”に示すユーザ(対象物体の一例)は止まっていると判定しないので、図5Aの“C”に示すユーザに対応する切り抜き領域は設定しない。また、表示制御装置100は、ステップS304において、図5Aの“D”に示すユーザ(対象物体の一例)は止まっていると判定するので、図5Aの“D”に示すユーザに対応する切り抜き領域を設定する。よって、図5Bに示すように、表示制御装置100は、複数の対象物体が存在する場合であっても、止まっていると判定された特定の対象物体に対して選択的に切り抜き領域が設定された画像を、表示画面に表示させることができる。
【0083】
表示制御装置100は、例えば図4に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図4に示す処理では、例えばステップS300〜S306、S310の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS308の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS312の処理が(3)の処理(表示制御処理)に該当する。
【0084】
したがって、表示制御装置100は、例えば図4に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0085】
また、図4に示す処理を行うことによって、例えば、対象物体が動いているときには、切り抜き領域が設定されていない表示対象画像を表示し(通常の表示)、対象物体が止まったと判定された場合に、対象物体に対応する切り抜き領域に設定された表示内容を表示させることが可能となる。例えば、表示制御装置100が表示を制御する表示画面が道路脇に設置された表示装置の表示画面であり、対象物体が車である場合には、例えば下記のようなユースケースを実現することができる。
・車が動いているときには車の切り抜き表示は行われないが、車が止まったときに当該車の前に車の形に切り抜かれた専用の表示領域(切り抜き領域)が現れ、当該表示領域内に専用の公告が表示される
【0086】
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第3の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図4に示す本実施形態に係る表示制御方法の第3の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理(変形例も含む。以下、同様とする。)または第2の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
【0087】
[4]第4の例
本実施形態に係る表示制御方法に係る処理は、上記第1の例に係る処理〜第3の例に係る処理に限られない。近年、表示とユーザの操作との双方が可能なタッチスクリーンの普及が進んでいる。よって、表示制御装置100は、例えば、対象物体がユーザ(人間)である場合には、表示制御装置100は、ユーザが操作することが可能な操作インタフェースを表示内容として選択的に設定してもよい。
【0088】
図6は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第4の例を示す流れ図である。
【0089】
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S400)。
【0090】
ステップS400において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S416)。そして、表示制御装置100は、後述するステップS418の処理を行う。
【0091】
また、ステップS400において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S402)。
【0092】
ステップS402の処理が行われると、表示制御装置100は、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、図3のステップS204と同様に、面積Sが面積Sminより大きいか否かを判定する(S404)。
【0093】
ステップS404において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S416)。そして、表示制御装置100は、後述するステップS418の処理を行う。
【0094】
また、ステップS404において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S406)。
【0095】
ステップS406の処理が行われると、表示制御装置100は、対象物体が人間であるか否かを判定する(S408)。ここで、表示制御装置100は、例えば、対象物体に対して顔検出処理を行い、当該顔検出処理の結果に基づいてステップS408の処理を行うが、ステップS408の処理は、上記に限られない。例えば、ステップS400の処理やステップS402の処理によって、人間と判定するための情報が得られている場合には、表示制御装置100は、既に得られている当該情報を用いてステップS408の処理を行ってもよい。
【0096】
ステップS408において対象物体が人間であると判定されない場合には、表示制御装置100は、図3のステップS208と同様に、ステップS406において設定された切り抜き領域に表示する表示内容を設定する(S414)。
【0097】
ステップS408において対象物体が人間であると判定された場合には、表示制御装置100は、表示画面と対象物体との距離Dと、操作インタフェースを表示内容として設定する基準となる基準距離Dminとを比較する。そして、表示制御装置100は、距離Dが基準距離Dminより大きいか否か(または、距離Dが基準距離Dmin以上であるか否か。以下、同様とする。)を判定する(S410)。
【0098】
ここで、表示制御装置100は、例えば、ステップS402において検出された対象物体情報としての距離情報を用いることによって、距離Dを特定することが可能である。なお、本実施形態に係る表示制御装置100における距離Dの特定方法は、上記に限られない。例えば、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなるなど、対象物体と表示画面との距離に対応関係がある場合がある。よって、表示制御装置100は、検出された対象物体に対応する面積Sに基づいて距離を推定し、推定された距離を距離Dとしてもよい。また、本実施形態に係る基準距離Dminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0099】
ステップS410において距離Dが基準距離Dminより大きいと判定されない場合には、表示制御装置100は、図3のステップS208と同様に、ステップS406において設定された切り抜き領域に表示する表示内容を設定する(S414)。
【0100】
また、ステップS410において距離Dが基準距離Dminより大きいと判定された場合には、表示制御装置100は、ユーザが操作可能な操作インタフェースを表示内容として設定する(S412)。ここで、本実施形態に係る操作インタフェースとしては、例えば、ソフトウェアキーボードやボタンなどが挙げられるが、後述するユースケースに示すように、本実施形態に係る操作インタフェースは上記に限られない。また、表示制御装置100は、上記操作インタフェースを、ステップS406において設定された切り抜き領域に表示する表示内容として設定するが、ステップS412の処理は、上記に限られない。例えば、表示制御装置100は、ステップS406において設定された切り抜き領域以外の領域に表示する表示内容として、上記操作インタフェースを設定してもよい。
【0101】
ステップS412、および/または、ステップS414、および/または、ステップS416の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S418)。
【0102】
表示制御装置100は、例えば図6に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図6に示す処理では、例えばステップS400〜S406、S416の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS408〜S414の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS416の処理が(3)の処理(表示制御処理)に該当する。
【0103】
したがって、表示制御装置100は、例えば図6に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0104】
また、表示制御装置100は、ステップS408〜S414に示すように、対象物体がユーザ(人間)である場合には、距離Dと基準距離Dminとの比較結果に基づいて操作インタフェースを表示内容として選択的に設定する。よって、例えば図6に示す第4の例に係る処理を行うことによって、表示制御装置100は、例えば下記のようなユースケースを実現することができる。
・デパートなどの店舗における行先表示などにおいて、例えば図1Bの“A”に示すように通常は切り抜き領域に各フロアの情報が表示されるが、フロアの情報を触ることによって、その位置の店舗情報に切り替わる
・店舗において、ユーザがモニタの近くを通ったときには切り抜き領域にクーポンの告知表示を行い、当該ユーザが立ち止まって表示画面の正面に顔を向けると、クーポンを取得可能な操作インタフェースが表示される
【0105】
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第4の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図6に示す本実施形態に係る表示制御方法の第4の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理〜第3の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
【0106】
[5]第5の例
本実施形態に係る表示制御方法に係る処理は、上記第1の例に係る処理〜第4の例に係る処理に限られない。例えば、本実施形態に係る表示制御装置100は、複数の対象物体が検出された場合、検出された対象物体に対応する領域を選択的に結合し、結合された領域を切り抜き領域とすることも可能である。
【0107】
図7は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第5の例を示す流れ図である。
【0108】
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S500)。
【0109】
ステップS500において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S514)。そして、表示制御装置100は、後述するステップS516の処理を行う。
【0110】
また、ステップS500において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S202)。ここで、本実施形態に係る表示制御方法に係る処理の第5の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
【0111】
ステップS502の処理が行われると、表示制御装置100は、検出された対象物体の数Nと、結合処理を行う基準となる基準数Nminとを比較する。そして、表示制御装置100は、対象物体の数Nが基準数Nminより大きいか否か(または、対象物体の数Nが基準数Nmin以上であるか否か。以下、同様とする。)を判定する(S504)。
【0112】
ここで、本実施形態に係る結合処理とは、検出された対象物体それぞれに対応する領域が重なる重なり領域を含む、対象物体に対応する領域を選択的に結合する処理である。また、表示制御装置100は、例えば、ステップS502において検出された対象物体情報としての対象物体の数の情報を用いることによって、対象物体の数Nを特定する。また、本実施形態に係る基準数Nminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0113】
ステップ504において対象物体の数Nが基準数Nminより大きいと判定されない場合には、表示制御装置100は、後述するステップS508の処理を行う。
【0114】
また、ステップ504において対象物体の数Nが基準数Nminより大きいと判定された場合には、表示制御装置100は、重なり領域を含む対象物体に対応する領域が選択的に結合された、結合領域を設定する(S506)。
【0115】
より具体的には、表示制御装置100は、例えば、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出する。また、表示制御装置100は、例えば、検出された重なり領域の面積(重なり領域のサイズ)dSと、複数の対象物体に対応する領域を結合する基準となる結合基準領域の面積(結合基準領域のサイズ)dSminとを比較する。そして、表示制御装置100は、比較結果に基づいて、例えば、面積dSが結合基準領域の面積dSminより大きい場合(または、面積dSが結合基準領域の面積dSmin以上の場合)に、重なり領域を含む対象物体に対応する領域を選択的に結合する。例えば、重なり領域を含む対象物体に対応する各領域をs1、…、sn(nは、2以上の整数)とし、重なり領域をdsとすると、表示制御装置100は、“s1+…+sn−ds”に対応する領域を、結合領域として設定する。
【0116】
なお、本実施形態に係る表示制御装置100におけるステップS506の処理は、上記に限られない。例えば、上記のように結合領域を設定した場合において、重なり領域を含まない対象物体に対応する領域が存在する場合には、表示制御装置100は、当該領域を単独の領域としてもよいし、または、実際には結合されない当該領域を、設定された結合領域と同一の領域として扱うことも可能である。上記の場合には、表示制御装置100は、実際には結合されていない領域に結合領域と対応する表示内容が表示された画像を、表示画面に表示させる。
【0117】
ステップS504、S506において選択的な結合領域の設定が行われると、表示制御装置100は、図3のステップS204と同様に、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、面積Sが面積Sminより大きいか否かを判定する(S508)。ここで、ステップS506において結合領域が設定されている場合には、表示制御装置100は、例えば、結合領域の面積を上記面積Sとする。また、上記のように、表示制御装置100が、実際には結合されない領域を設定された結合領域と同一の領域として扱う場合には、表示制御装置100は、例えば、結合領域の面積と上記実際には結合されない領域の面積とを合計した面積を、上記面積Sとしてもよい。
【0118】
ステップS508において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S514)。そして、表示制御装置100は、後述するステップS516の処理を行う。
【0119】
また、ステップS508において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S510)。
【0120】
なお、図7では、表示制御装置100が、対象物体に対応する面積Sと設定基準領域の面積Sminとの比較結果に応じて選択的に切り抜き領域を設定する例を示しているが、本実施形態に係る表示制御方法の第5の例に係る処理は、上記に限られない。例えば、表示制御装置100は、ステップS508の処理を行わないことも可能である。
【0121】
ステップS510の処理が行われると、表示制御装置100は、図3のステップS208と同様に、ステップS510において設定された切り抜き領域に表示する表示内容を設定する(S512)。
【0122】
ステップS512および/またはステップS514の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S516)。
【0123】
図8A、図8Bは、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。図8A、図8Bに示す“A”は、表示対象画像の一例を示している。また、図8Aに示す“E”、“F”、“G”は、対象物体を示している。ここで、図8Aでは、ユーザが対象物体である場合の一例を示している。また、図8Aは、図8Aに示す“E”〜“G”の各対象物体に対応する領域に重なり領域が存在する例を示している。また、図8Bに示す“AR4”は、図8Aに示す“E”〜“G”に対応する切り抜き領域を示している。
【0124】
図8Aに示すように、各対象物体に対応する重なり領域が存在する場合、表示制御装置100は、ステップS506において結合領域を設定する。そして、結合領域が設定された場合には、表示制御装置100は、ステップS510の処理において結合領域を切り抜き領域として設定する。よって、例えば図8Bに示すように、表示制御装置100は、結合領域に対応する切り抜き領域“AR4”にステップS512において設定された表示内容が表示された画像を、表示画面に表示させることができる。
【0125】
表示制御装置100は、例えば図7に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図7に示す処理では、例えばステップS500〜S510、S514の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS512の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS516の処理が(3)の処理(表示制御処理)に該当する。
【0126】
したがって、表示制御装置100は、例えば図7に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0127】
また、表示制御装置100は、複数の対象物体が存在する場合には、各対象物体に対応する領域を選択的に結合して、結合された結合領域を切り抜き領域を設定する。よって、表示制御装置100は、各対象物体に対応する領域よりもより大きな切り抜き領域に表示内容が表示された画像を、表示画面に表示させることができる。
【0128】
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第5の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図7に示す本実施形態に係る表示制御方法の第5の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理〜第4の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
【0129】
本実施形態に係る表示制御装置100は、本実施形態に係る表示制御方法に係る処理として、例えば上記第1の例に係る処理〜第5の例に係る処理(変形例も含む。以下、同様とする。)を行う。なお、表示制御装置100における、本実施形態に係る表示制御方法に係る処理が、上記第1の例に係る処理〜第5の例に係る処理に限られないことは、言うまでもない。
【0130】
(本実施形態に係る表示制御装置)
次に、上述した本実施形態に係る表示制御方法に係る処理を行うことが可能な、本実施形態に係る表示制御装置100の構成の一例について説明する。以下では、表示制御装置100が、外部表示装置の表示画面における表示を制御する場合を主に例に挙げて説明する。
【0131】
図9は、本実施形態に係る表示制御装置100の構成の一例を示すブロック図である。ここで、図9では、ネットワーク300により接続された表示システム200を併せて示している。ネットワーク300としては、例えば、LANやWANなどの有線ネットワーク、無線LANや基地局を介した無線WANなどの無線ネットワーク、あるいは、TCP/IPなどの通信プロトコルを用いたインターネットなどが挙げられる。
【0132】
表示システム200は、例えば、表示を行う表示装置400と、撮像を行う撮像装置500とを有し、表示画面への画像の表示と表示画面の表示方向の撮像とを行う。なお、本実施形態に係る表示システム200の構成は、図9に示す構成に限られない。例えば、表示システム200は、表示装置400と撮像装置500とが一体となった装置(例えば撮像機能を有する表示装置)であってもよい。また、表示システム200は、距離センサや赤外線センサ、物体検知センサなどの各種検出センサを有していてもよい。また、表示装置400は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスで構成されていてもよい。
【0133】
なお、図9では、表示制御装置100が表示を制御する対象として、表示システム200を構成する1つの表示装置400を示しているが、本実施形態に係る表示制御装置100が表示を制御する対象は、上記に限られない。例えば、表示制御装置100は、ネットワーク300を介して(または直接的に)接続された複数の外部表示装置それぞれの表示画面における表示を制御することもできる。
【0134】
図9を参照すると、表示制御装置100は、例えば、通信部102と、制御部104とを備える。
【0135】
また、表示制御装置100は、例えば、ROM(Read Only Memory;図示せず)、RAM(Random Access Memory;図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。表示制御装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
【0136】
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
【0137】
記憶部(図示せず)は、表示制御装置100が備える記憶機能であり、例えば、設定基準領域の面積Sminなどの本実施形態に係る表示制御方法に係る処理に用いる基準値のデータや、画像データ、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、表示制御装置100から着脱可能であってもよい。
【0138】
操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられ、また、表示部(図示せず)としては、例えば後述する表示デバイスが挙げられる。また、表示制御装置100は、例えば、表示制御装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)と接続することもできる。
【0139】
[表示制御装置100のハードウェア構成例]
図10は、本実施形態に係る表示制御装置100のハードウェア構成の一例を示す説明図である。表示制御装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、表示制御装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
【0140】
MPU150は、例えば、MPU(Micro Processing Unit)や、各種処理回路などで構成され表示制御装置100全体を制御する制御部104として機能する。また、MPU150は、表示制御装置100において、例えば、後述する領域設定部110、表示内容設定部112、および表示制御部114の役目を果たす。
【0141】
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
【0142】
記録媒体156は、記憶部(図示せず)として機能し、例えば、設定基準領域の面積Sminなどの本実施形態に係る表示制御方法に係る処理に用いる基準値のデータや、画像データ、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、表示制御装置100から着脱可能であってもよい。
【0143】
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、表示制御装置100上に備えられ、表示制御装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、表示制御装置100上に備えられ、表示制御装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。なお、入出力インタフェース158が、表示制御装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や、表示デバイス(例えば、表示装置400などの外部表示デバイス)、撮像デバイス(例えば、撮像装置500など)などの外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【0144】
通信インタフェース164は、表示制御装置100が備える通信機能であり、ネットワーク300を介して(あるいは、直接的に)、例えば表示装置400や撮像装置500、サーバなどの外部装置と無線/有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
【0145】
表示制御装置100は、例えば図10に示す構成によって、本実施形態に係る表示制御方法に係る処理を行う。なお、本実施形態に係る表示制御装置100のハードウェア構成は、図10に示す構成に限られない。
【0146】
例えば、表示制御装置100は、撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、White Balance補正処理、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理などが挙げられる。
【0147】
また、表示制御装置100は、検出部(図示せず)の役目を果たす検出センサを備えていてもよい。本実施形態に係る検出センサとしては、例えば、距離センサや、赤外線センサ、物体検知センサなど、対象物体の検出に係るセンサが挙げられる。
【0148】
また、表示制御装置100が、表示制御装置100が外部装置と通信を行わない場合(例えば、表示装置400などの外部表示装置の表示画面における表示を制御せず、表示制御装置100が備える表示部(図示せず)の表示画面における表示を制御する場合など)には、表示制御装置100は、通信インタフェース164を備えない構成をとることも可能である。
【0149】
再度図9を参照して、本実施形態に係る表示制御装置100の構成の一例について説明する。通信部102は、表示制御装置100が備える通信手段であり、ネットワーク300を介して(あるいは、直接的に)、表示装置400や撮像装置300、サーバなどの外部装置と無線/有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、ネットワーク300を介して外部装置と通信可能な任意の構成をとることができる。
【0150】
制御部104は、例えば、MPUなどで構成され、表示制御装置100全体を制御する役目を果たす。また、制御部104は、例えば、領域設定部110と、表示内容設定部112と、表示制御部114とを備え、本実施形態に係る表示制御方法に係る処理を主導的に行う役目を果たす。
【0151】
領域設定部110は、上記(1)の処理(切り抜き領域設定処理)を主導的に行う役目を果たし、例えば表示対象画像と撮像画像とに基づいて、切り抜き領域を設定する。より具体的には、領域設定部110は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(1)の処理(切り抜き領域設定処理)に該当する処理を行うことによって、切り抜き領域を設定する。
【0152】
表示内容設定部112は、上記(2)の処理(表示内容設定処理)を主導的に行う役目を果たし、領域設定部110において設定された切り抜き領域内に表示する表示内容を設定する。より具体的には、表示内容設定部112は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(2)の処理(表示内容設定処理)に該当する処理を行うことによって、表示内容を設定する。
【0153】
表示制御部114は、上記(3)の処理(表示制御処理)を主導的に行う役目を果たし、領域設定部110において設定された切り抜き領域内に表示内容設定部112において設定された表示内容が表示された画像を、表示画面に表示させる。より具体的には、表示制御部114は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(3)の処理(表示制御処理)に該当する処理を行うことによって、上記画像を表示画面に表示させる。
【0154】
制御部104は、例えば、領域設定部110、表示内容設定部112、および表示制御部114を備えることによって、本実施形態に係る表示制御方法に係る処理を主導的に行う。なお、本実施形態に係る表示制御方法に係る処理を実現するための構成が、図9に示す制御部104の構成に限られないことは、言うまでもない。
【0155】
表示制御装置100は、例えば図9に示す構成によって、本実施形態に係る表示制御方法に係る処理(例えば、(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理))を行う。したがって、表示制御装置100は、例えば図9に示す構成によって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0156】
なお、図9では、表示制御装置100が外部表示装置である表示装置400の表示画面における表示を制御する例を示したが、本実施形態に係る表示制御装置100の構成は、図9に示す構成に限られない。例えば、表示制御装置100が表示部(図示せず)を備える場合には、表示制御装置100は、表示部(図示せず)の表示画面における表示を制御することも可能である。
【0157】
表示部(図示せず)の表示画面における表示を制御する場合には、表示制御装置100は、例えば、通信部102を備えない構成をとることができる(いわゆるスタンドアロンの構成)。また、表示部(図示せず)の表示画面における表示を制御する場合には、表示制御装置100は、例えば、表示部(図示せず)の表示画面の表示方向を撮像する撮像部(図示せず)を備えていてもよい。また、表示制御装置100は、検出部(図示せず)をさらに備える構成をとることも可能である。
【0158】
以上のように、本実施形態に係る表示制御装置100は、本実施形態に係る表示制御方法に係る処理として、例えば、(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)を行う。上記(1)の処理〜(3)の処理を行うことによって、表示制御装置100は、例えば図1Bに示すように、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。上記のように、対象物体ごとに切り抜き領域を設定し、設定された各切り抜き領域に表示内容が表示された画像を表示画面に表示させることによって、ユーザは、表示された画像内に設定された切り抜き領域に表示された内容が、自己に対するものであるか否かをより容易に認識することが可能となる。
【0159】
したがって、表示制御装置100は、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0160】
また、例えば表示画面のサイズが大きい場合であっても、表示制御装置100は、対象物体ごとに切り抜き領域を設定し、設定された各切り抜き領域に表示内容が表示された画像を表示画面に表示させる。よって、表示画面をみるユーザが、表示画面からの距離が大きな位置にいたとしても、また、表示画面からの距離が小さな位置にいたとしても、ユーザは、切り抜き領域に表示された内容が、自己に対するものであるか否かを認識することができる。また、仮に、ユーザが、表示画面全体を俯瞰することが困難な表示画面からの距離が小さな位置にいたとしても、表示制御装置100は、当該ユーザに対応する切り抜き領域に当該ユーザに対する表示内容が表示された画像を表示させることができる。
【0161】
以上、本実施形態として表示制御装置100を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、PC(Personal Computer)やサーバなどのコンピュータ、テレビ受像機やサイネージ装置などの表示装置、プロジェクター、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、本実施形態に係る表示制御方法に係る処理を行う処理IC(Integrated Circuit)に適用され、例えば、上記のような機器に組み込まれてもよい。
【0162】
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る表示制御装置として機能させるためのプログラム(例えば、上記(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)など、本実施形態に係る表示制御方法に係る処理を実行することが可能なプログラム)によって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0163】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0164】
例えば、上記では、コンピュータを、本実施形態に係る表示制御装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【0165】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【0166】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定する領域設定部と、
設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部と、
を備える、表示制御装置。
(2)
前記領域設定部は、前記撮像画像から検出された対象物体に基づいて前記切り抜き領域を設定する、(1)に記載の表示制御装置。
(3)
前記領域設定部は、
検出された対象物体のサイズと、前記切り抜き領域を設定する基準となる設定基準領域のサイズとを比較し、
比較結果に基づいて前記切り抜き領域を選択的に設定する、(2)に記載の表示制御装置。
(4)
前記領域設定部は、
検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較し、
比較結果に基づいて、前記切り抜き領域を選択的に設定する、(2)または(3)に記載の表示制御装置。
(5)
前記領域設定部は、
複数の対象物体が検出された場合には、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出し、
検出された重なり領域のサイズと、複数の対象物体に対応する領域を結合する基準となる結合基準領域のサイズとを比較し、
比較結果に基づいて、前記重なり領域を含む対象物体に対応する領域を選択的に結合し、
結合された結合領域を前記切り抜き領域として設定する、(2)〜(4)のいずれか1つに記載の表示制御装置。
(6)
前記領域設定部は、検出された対象物体の数と、前記重なり領域を含む対象物体に対応する領域を選択的に結合する結合処理を行う基準となる基準数とを比較し、
比較結果に基づいて、前記結合処理を選択的に行う、(5)に記載の表示制御装置。
(7)
前記表示内容設定部は、前記撮像画像から検出された対象物体のサイズに基づいて、表示内容を設定する、(2)〜(6)のいずれか1つに記載の表示制御装置。
(8)
前記表示内容設定部は、前記対象物体が人間である場合には、前記表示画面と前記対象物体との距離を示す距離情報に基づいて、ユーザが操作することが可能な操作インタフェースを表示内容として選択的に設定する、(2)〜(4)のいずれか1つに記載の表示制御装置。
(9)
前記表示内容設定部は、
前記距離情報が示す距離と、前記操作インタフェースを表示内容として設定する基準となる基準距離とを比較し、
比較結果に基づいて前記操作インタフェースを表示内容として選択的に設定する、(8)に記載の表示制御装置。
(10)
前記表示内容設定部は、検出された対象物体の属性に基づいて、表示内容を設定する、(2)〜(7)のいずれか1つに記載の表示制御装置。
(11)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップと、
設定された切り抜き領域内に表示する表示内容を設定するステップと、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップと、
を有する、表示制御方法。
(12)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップ、
設定された切り抜き領域内に表示する表示内容を設定するステップ、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【0167】
100 表示制御装置
102 通信部
110 領域設定部
112 表示内容設定部
114 表示制御部
【技術分野】
【0001】
本開示は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
近年、広告など様々な情報を表示画面に表示させることが可能な表示装置が、様々な場所に設置されている。電子広告に係る技術としては、例えば特許文献1に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−102235号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば特許文献1に示す技術が用いられる電子広告システムでは、画像を表示画面に表示する表示装置にカメラやセンサを設けることによって、当該表示画面の前に立つユーザの属性や距離を認識し、認識結果に基づく表示内容を表示画面に表示させる。よって、例えば上記のような電子広告システムが用いられる場合には、表示画面をみているユーザに合う広告(表示内容の一例)を表示画面に表示させることができる可能性はある。
【0005】
しかしながら、例えば特許文献1に示す技術を用いる場合には、認識対象のユーザが一人であっても複数であっても、1つの認識結果に対応する表示内容しか表示画面に表示させることはできない。よって、例えば特許文献1に記載の技術を用いたとしても、表示画面に映る画像(動画像または静止画像。以下、同様とする。)をみている1または2以上のユーザそれぞれに、表示画面に表示されている表示内容が自己に対するものであると認識させることができるとは限らない。
【0006】
本開示では、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定する領域設定部と、設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部とを備える、表示制御装置が提供される。
【0008】
また、本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定するステップと、設定された切り抜き領域内に表示する表示内容を設定するステップと、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップとを有する、表示制御方法が提供される。
【0009】
また、本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定するステップ、設定された切り抜き領域内に表示する表示内容を設定するステップ、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【0010】
本開示によれば、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【図面の簡単な説明】
【0011】
【図1A】本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。
【図1B】本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。
【図2】本実施形態に係る表示制御装置における処理の一例を示す流れ図である。
【図3】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第1の例を示す流れ図である。
【図4】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第3の例を示す流れ図である。
【図5A】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。
【図5B】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。
【図6】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第4の例を示す流れ図である。
【図7】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第5の例を示す流れ図である。
【図8A】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。
【図8B】本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。
【図9】本実施形態に係る表示制御装置の構成の一例を示すブロック図である。
【図10】本実施形態に係る表示制御装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る表示制御方法
2.本実施形態に係る表示制御装置
3.本実施形態に係るプログラム
【0014】
(本実施形態に係る表示制御方法)
本実施形態に係る表示制御装置の構成について説明する前に、本実施形態に係る表示制御方法について説明する。また、以下では、本実施形態に係る表示制御装置が、本実施形態に係る表示制御方法に係る処理を行うものとして説明する。
【0015】
上述したように、例えば特許文献1に記載の技術のように、表示画面の前に立つユーザの属性や距離などに基づく1つの認識結果に対応する表示内容を表示画面に表示させる場合には、表示画面をみているユーザに合う表示内容を表示画面に表示させることができる可能性はある。しかしながら、上記のように、認識結果に基づく表示内容を表示画面に表示させたとしても、例えば下記に示すような問題が生じうる。
【0016】
・表示画面の前に複数のユーザが存在する場合、表示画面に表示された表示内容が誰に対するものであるかを、それぞれのユーザに判別させることは困難である
・例えば表示画面のサイズが大きい場合、表示画面からの距離が大きな位置にいるユーザは、表示内容を認識することができるが、表示画面からの距離が小さな位置にいるユーザは、表示内容を認識することが困難である
【0017】
したがって、例えば特許文献1に記載の技術を用いたとしても、表示画面に映る画像をみている1または2以上のユーザそれぞれに、表示画面に表示されている表示内容が自己に対するものであると認識させることができるとは限らない。
【0018】
[本実施形態に係る表示制御方法に係る処理の概要]
そこで、本実施形態に係る表示制御装置は、表示画面に表示する対象の画像(以下、「表示対象画像」と示す。)内に、表示画面をみうるユーザに対応する表示領域を設定する。そして、本実施形態に係る表示制御装置は、表示対象画像から設定された表示領域部分を切り抜いて、切り抜かれた表示領域部分に表示内容が表示された画像を、表示画面に表示させる。以下では、本実施形態に係る表示画面をみうるユーザに対応する表示領域(後述する対象物体に対応する表示領域)を、「切り抜き領域」と示す。
【0019】
ここで、本実施形態に係る表示制御装置が画像を表示させる表示画面としては、例えば、本実施形態に係る表示制御装置とネットワークを介して(または、直接的に)接続された外部表示装置の表示画面、または、本実施形態に係る表示制御装置が備える表示部(後述する)の表示画面が挙げられる。また、本実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、無線LAN(Wireless Local Area Network)や基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
【0020】
また、本実施形態に係る表示対象画像としては、例えば、ネットワークを介して(または直接的に)外部装置から送信された画像信号が示す画像が挙げられるが、本実施形態に係る表示対象画像は、上記に限られない。例えば、本実施形態に係る表示対象画像は、本実施形態に係る表示制御装置がテレビ塔などから送信された放送波を(直接的、またはセットトップボックスなどを介して間接的に)受信してデコードした結果得られる画像信号が示す画像であってもよい。また、本実施形態に係る表示制御装置は、例えば、記憶部(後述する)や、表示制御装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得た画像信号が示す画像を、表示対象画像とすることも可能である。
【0021】
より具体的には、本実施形態に係る表示制御装置は、表示対象画像と、表示画面の表示方向が撮像された撮像画像とに基づいて、切り抜き領域を設定する(切り抜き領域設定処理)。また、本実施形態に係る表示制御装置は、設定された切り抜き領域内に表示する表示内容を設定する(表示内容設定処理)。そして、本実施形態に係る表示制御装置は、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる(表示制御処理)。
【0022】
ここで、本実施形態に係る撮像画像は、上記のように表示画面の表示方向が撮像された画像である。本実施形態に係る表示制御装置が画像を表示させる表示画面が外部表示装置の表示画面である場合には、例えば、外部表示装置が備える撮像デバイスや、当該外部表示装置と接続された撮像装置によって、撮像が行われる。そして、本実施形態に係る表示制御装置は、上記外部表示装置または上記撮像装置から送信された、撮像画像を示す画像信号を受信することによって、撮像画像を取得する。また、本実施形態に係る表示制御装置が画像を表示させる表示画面が表示部(後述する)の表示画面である場合には、例えば、本実施形態に係る表示制御装置が備える撮像部(後述する)や、本実施形態に係る表示制御装置に接続された撮像装置によって、撮像が行われる。そして、本実施形態に係る表示制御装置は、上記撮像部(後述する)が撮像を行うことによって、または、上記撮像装置から送信された撮像画像を示す画像信号を受信することによって、撮像画像を取得する。なお、本実施形態に係る表示制御装置における撮像画像の取得方法が、上記に限られないことは、言うまでもない。
【0023】
図1A、図1Bは、本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。図1A、図1Bに示す“A”は、表示対象画像の一例を示している。また、図1Aに示す“B”、“C”は、撮像画像から検出する検出対象の物体(以下、「対象物体」と示す。)の一例を示している。ここで、図1Aでは、ユーザ(人間)が対象物体である場合の一例を示しており、また、2人のユーザが撮像画像に含まれる場合を示している。また、図1Bに示す“AR1”は、図1Aに示す“A”に対応する切り抜き領域を示しており、図1Bに示す“AR2”は、図1Aに示す“B”に対応する切り抜き領域を示している。
【0024】
本実施形態に係る表示制御装置は、例えば撮像画像から対象物体を検出する。ここで、本実施形態に係る表示制御装置は、例えば、顔検出処理やエッジ検出処理などの処理を撮像画像に対して行うことによって、撮像画像からユーザ(対象物体の一例)を検出する。なお、本実施形態に係る表示制御装置における対象物体の検出方法は、上記に限られない。例えば、外部装置において対象物体が検出される場合には、本実施形態に係る表示制御装置は、当該外部装置から送信される検出結果を用いることによって、上記顔検出処理などの処理を撮像画像に対して行うことなく撮像画像から対象物体を検出することも可能である。
【0025】
なお、本実施形態に係る表示制御装置が撮像画像から検出する対象物体は、図1Aに示すようなユーザに限られない。例えば、本実施形態に係る表示制御装置は、任意の物体検出処理を用いることによって、車や鞄などの任意の物体を対象物体として撮像画像から検出することが可能である。以下では、本実施形態に係る表示制御装置が、ユーザを対象物体とする場合を主に例に挙げて説明する。
【0026】
撮像画像から対象物体が検出されると、本実施形態に係る表示制御装置は、表示対象画像内での対象物体に対応する画像が占める領域を特定する。そして、本実施形態に係る表示制御装置は、特定された領域を切り抜き領域“AR1”、“AR2”として設定する。
【0027】
ここで、本実施形態に係る表示制御装置は、例えば、表示対象画像と撮像画像を合成した場合における表示対象画像内での対象物体に対応する画像が占める領域を、切り抜き領域として設定するが、切り抜き領域の設定方法は、上記に限られない。例えば、本実施形態に係る表示制御装置は、表示画面と対象物体との距離を示す距離情報など、対象物体に関する情報を用いることによって、切り抜き領域を設定することも可能である。距離情報を用いる場合には、本実施形態に係る表示制御装置は、例えば、距離情報が示す距離に応じた大きさの切り抜き領域を設定する。本実施形態に係る表示制御装置は、例えば、外部表示装置が備える距離センサや赤外線センサなどの各種検出センサや当該外部表示装置と接続された各種検出センサ、または、本実施形態に係る表示制御装置が備える検出部(後述する)や表示制御装置と接続された各種検出センサから、上記対象物体に関する情報を取得する。
【0028】
また、本実施形態に係る表示制御装置は、例えば、検出された対象物体の数に基づいて切り抜き領域を設定してもよい。以下では、例えば、対象物体の形や属性、数などのような撮像画像を処理することによって得られる情報や、距離情報などのような検出センサにより得られる情報など、撮像画像に含まれる対象物体に関する情報を、総称して「対象物体情報」と示す場合がある。
【0029】
なお、本実施形態に係る表示制御装置は、例えば図1Aに示すような、表示対象画像と、撮像画像から検出された対象物体に対応する画像との合成を行わなくても、表示対象画像内での対象物体に対応する画像が占める領域の特定することが可能である。よって、本実施形態に係る表示制御装置は、例えば図1Aに示すような画像の合成を行わなくてもよい。
【0030】
切り抜き領域“AR1”、“AR2”が設定されると、本実施形態に係る表示制御装置は、例えば図1Bに示すように、設定された切り抜き領域“AR1”、“AR2”に設定された表示内容に対応する画像が合成された画像(切り抜き領域内に設定された表示内容が表示された画像の一例)を、表示画面に表示させる。
【0031】
ここで、図1Bでは、本実施形態に係る表示制御装置が、切り抜き領域“AR1”に広告を表示させ、また、切り抜き領域“AR2”にショッピングモールの構内図を表示させている例を示している。なお、本実施形態に係る表示制御装置が設定した切り抜き領域に表示させる表示内容は、図1Bに示すような広告や構内図に限られない。例えば、本実施形態に係る表示制御装置は、ユーザ(対象物体の一例)の発言履歴や購入履歴などの履歴情報の内容を、切り抜き領域に表示させる表示内容として設定することもできる。また、例えば本実施形態に係る表示制御装置がテレビ会議システムに適用される場合には、本実施形態に係る表示制御装置は、例えば、参加者(ユーザの一例)の資料を切り抜き領域に表示させたり、会話内容を切り抜き領域に表示させることも可能である。
【0032】
本実施形態に係る表示制御装置は、例えば、顔認証などの任意の認証技術を用いて対象物体としてのユーザを識別することによって、識別されたユーザに対応する履歴情報などの内容を切り抜き領域に表示させる表示内容として設定する。ここで、本実施形態に係る表示制御装置は、例えば、サーバなどの外部装置や、本実施形態に係る表示制御装置が備える記憶部(後述する)から、特定されたユーザに対応する履歴情報などを取得するが、本実施形態に係る表示制御装置における履歴情報などの取得方法は、上記に限られない。なお、上述したように、本実施形態に係る表示制御装置は、任意の物体を対象物体として撮像画像から検出することが可能である。よって、本実施形態に係る表示制御装置は、任意の識別技術を用いて検出された対象物体を識別することによって、検出された対象物体それぞれに関する情報の内容を、対応する切り抜き領域に表示させる表示内容として設定することが可能である。
【0033】
さらに、本実施形態に係る表示制御装置は、例えば、検出された対象物体の属性(例えば、ユーザが対象物体の場合には、男女や、年齢層など)や、検出された対象物体のサイズ(例えば、後述する検出された対象物体に対応する面積S)などに基づいて、表示内容を変えることも可能である。ここで、対象物体の属性は、例えば、画像から特徴点を検出して検出された特徴点に基づき判定を行う画像処理など、任意の画像処理技術を用いて判定することが可能である。また、対象物体の属性に基づいて表示内容を変える場合、表示制御装置100は、例えば、属性の判定結果と、属性と表示内容に対応するデータとを対応付けたテーブルなどとを用いて、表示内容を設定する。なお、検出された対象物体のサイズに基づく表示内容の変更に係る処理の一例については、後述する。
【0034】
また、図1Bでは、本実施形態に係る表示制御装置が、検出された2つの対象物体に対応する切り抜き領域“AR1”、“AR2”それぞれに相異なる情報の内容を設定している例を示しているが、本実施形態に係る表示制御装置が設定した切り抜き領域に表示させる表示内容は、上記に限られない。例えば、本実施形態に係る表示制御装置は、複数の対象物体それぞれに対応する切り抜き領域それぞれに表示させる表示内容として、同一の内容を設定することも可能である。上記同一の内容は、例えば、予め規定されたものであってもよいし、撮像画像から検出された複数の対象物体それぞれの属性を例えば平均などの統計手法を用いて総合評価することによって設定されたものであってもよい。
【0035】
また、図1Bでは、本実施形態に係る表示制御装置が、切り抜き領域“AR1”、“AR2”に表示内容の一部を表示させている例を示しているが、本実施形態に係る表示制御装置が切り抜き領域に表示させる表示内容は、上記に限られない。例えば、本実施形態に係る表示制御装置は、設定した切り抜き領域内に設定された表示内容の全体を表示させてもよい。なお、図1Bに示す例では、ユーザ(対象物体)が移動することによって、設定された表示内容の他の部分が表示されることとなる。
【0036】
本実施形態に係る表示制御装置は、例えば図1Bに示すように、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。例えば図1Bに示すように、検出された対象物体に対応する切り抜き領域“AR1”、“AR2”それぞれに表示内容が表示された画像が表示画面に表示されることによって、例えば図1Aに示す“B”に対応するユーザは、切り抜き領域“AR1”に表示された内容が、自己に対するものであると認識することが可能となる。同様に、例えば図1Aに示す“C”に対応するユーザは、切り抜き領域“AR2”に表示された内容が、自己に対するものであると認識することが可能となる。
【0037】
したがって、本実施形態に係る表示制御装置が、例えば、(1)切り抜き領域設定処理、(2)表示内容設定処理、および(3)表示制御処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0038】
[本実施形態に係る表示制御方法に係る処理の具体例]
次に、本実施形態に係る表示制御方法に係る処理について、より具体的に説明する。以下では、本実施形態に係る表示制御装置(以下、「表示制御装置100」と示す場合がある。)が、本実施形態に係る表示制御方法に係る処理を行うものとして説明する。
【0039】
図2は、本実施形態に係る表示制御装置100における処理の一例を示す流れ図である。ここで、図2は、表示制御装置100における処理の大枠を示している。なお、図2に示す処理の具体例については、後述する。
【0040】
表示制御装置100は、表示対象画像に切り抜き領域を設定する(S100。切り抜き領域設定処理)。ここで、表示制御装置100は、表示対象画像と撮像画像とに基づいて切り抜き領域を設定する。より具体的には、表示制御装置100は、例えば、撮像画像を処理することによって得られる情報や、各種センサによって得られた対象物体に関する情報などの、対象物体情報を用いることによって、切り抜き領域を設定する。なお、本実施形態に係る表示制御装置100における切り抜き領域の設定に係る処理の具体例については、後述する。
【0041】
ステップS100において切り抜き領域が設定されると、表示制御装置100は、設定した切り抜き領域それぞれに表示する表示内容を設定する(S102。表示内容設定処理
)。ここで、表示制御装置100は、例えば、予め規定された表示内容を設定してもよいし、または、対象物体の属性や対象物体の識別結果に対応する表示内容を設定してもよい。また、複数の切り抜き領域が設定される場合には、表示制御装置100は、例えば、設定された切り抜き領域それぞれに同一の表示内容を設定してもよいし、相異なる表示内容を設定してもよい。
【0042】
ステップS102において表示内容が設定されると、表示制御装置100は、ステップS100において設定された切り抜き領域内に、ステップS102において設定された表示内容が表示された画像を、表示画面に表示させる(S104。表示制御処理)。ここで、表示制御装置100が外部表示装置の表示画面に上記画像を表示させる場合には、表示制御装置100は、例えば、上記画像を示す画像信号を外部表示装置へ送信することによって、外部表示装置に上記画像を表示させる。また、表示制御装置100が表示部(後述する)の表示画面に上記画像を表示させる場合には、表示制御装置100は、表示部(後述)に上記画像を示す画像信号を伝達することによって、上記画像を表示させる。
【0043】
表示制御装置100は、例えば図2に示す処理を行うことによって、本実施形態に係る表示制御方法に係る(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)を実現し、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。
【0044】
よって、表示制御装置100は、例えば図2に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。なお、例えば図2に示す本実施形態に係る表示制御方法に係る処理は、1回行われれば再度行われないという類の処理ではなく、表示制御装置100は、例えば、定期的に、または、非定期的に、本実施形態に係る表示制御方法に係る処理を繰り返し行う。つまり、表示制御装置100は、リアルタイム(または、ほぼリアルタイム)に処理を行うことが可能である。よって、表示制御装置100は、設定する切り抜き領域に表示する表示内容をリアルタイム(または、ほぼリアルタイム)に変化させることができる。
【0045】
以下、図2に示す本実施形態に係る表示制御方法に係る処理について、より具体的に説明する。
【0046】
[1]第1の例
図3は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第1の例を示す流れ図である。
【0047】
表示制御装置100は、対象物体が検出されたか否かを判定する(S200)。ここで、表示制御装置100は、ハードウェアおよび/またはソフトウェアにより撮像画像を画像解析することによって、撮像画像から対象物体を検出してステップS200の判定を行うが、本実施形態に係る表示制御装置100における処理は、上記に限られない。例えば、外部表示装置に接続された物体検知センサや表示制御装置100に接続された物体検知センサなどのような、外部検出装置において対象物体が検出される場合には、表示制御装置100は、当該外部検出装置から送信される検出結果に基づいて、ステップS200の判定を行うことも可能である。
【0048】
ステップS200において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S210)。そして、表示制御装置100は、後述するステップS212の処理を行う。
【0049】
また、ステップS200において対象物体が検出されたと判定された場合には、表示制御装置100は、対象物体情報を検出する(S202)。ここで、表示制御装置100は、撮像画像を処理することや、外部の検出センサや検出部(後述する)が検出した検出結果を示す情報を用いることによって、対象物体情報を検出する。本実施形態に係る表示制御方法に係る処理の第1の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
【0050】
ステップS202の処理が行われると、表示制御装置100は、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、面積Sが面積Sminより大きいか否かを判定する(S204)。ここで、本実施形態に係る設定基準領域の面積Sminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0051】
なお、図3では、表示制御装置100が、ステップS204において面積Sが面積Sminより大きいか否かを判定する例を示しているが、ステップS204の処理は、上記に限られない。例えば、本実施形態に係る表示制御装置100は、ステップS204において、面積Sが面積Smin以上であるか否かを判定してもよい(以下、同様とする。)。
【0052】
ここで、表示制御装置100は、ステップS202において検出された対象物体の形全体の面積を、対象物体に対応する面積Sとするが、本実施形態に係る表示制御装置100における処理は、上記に限られない。例えば、対象物体がユーザの場合、表示制御装置100は、ユーザの顔の面積など、態様物体の一部の面積を、本実施形態に係る検出された対象物体に対応する面積とすることも可能である。なお、上述したように、本実施形態に係る対象物体は、ユーザに限られない。つまり、対象物体が、例えば鞄や車などであっても、表示制御装置100は、対象物体の一部または全部の面積を、本実施形態に係る検出された対象物体に対応する面積とすることができる。
【0053】
ステップS204において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S210)。そして、表示制御装置100は、後述するステップS212の処理を行う。
【0054】
また、ステップS204において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、対象物体の一部または全部を切り抜き領域として設定する(S206)。
【0055】
ステップS206の処理が行われると、表示制御装置100は、ステップS206において設定された切り抜き領域に表示する表示内容を設定する(S208)。ここで、表示制御装置100は、例えば、予め規定された表示内容を設定してもよいし、または、例えばステップS202において検出された対象物体情報を用いて、対象物体の属性や対象物体の識別結果に対応する表示内容を設定してもよい。また、複数の切り抜き領域が設定される場合には、表示制御装置100は、例えば、設定された切り抜き領域それぞれに同一の表示内容を設定してもよいし、相異なる表示内容を設定してもよい。
【0056】
ステップS208および/またはステップS210の処理が行われると、表示制御装置100は、表示画面への画像の表示を制御する(S212)。例えば、撮像画像に対象物体が含まれていない場合や検出された対象物体の全てに対して切り抜き領域が設定されなかった場合には、表示制御装置100は、表示対象画像そのものを表示画面に表示させる(通常の表示)。また、検出された対象物体のいずれかに切り抜き領域が設定された場合には、表示制御装置100は、ステップS206において設定された切り抜き領域内に、ステップS208設定された表示内容が表示された画像を、表示画面に表示させる。
【0057】
表示制御装置100は、例えば図3に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図3に示す処理では、例えばステップS200〜S206、S210の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS208の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS212の処理が(3)の処理(表示制御処理)に該当する。
【0058】
したがって、表示制御装置100は、例えば図3に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0059】
なお、図3では、表示制御装置100が、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、設定基準領域の面積(設定基準領域のサイズ)Sminとの比較結果に基づいて、切り抜き領域を選択的に設定する例を示したが、本実施形態に係る表示制御装置100における本実施形態に係る表示制御方法の第1の例に係る処理は、図3に示す処理に限られない。例えば、表示制御装置100は、ステップS204において、対象物体情報としての距離情報および対象物体の数に基づいて、表示画面からの距離が所定の基準距離より小さい対象物体の数(または、表示画面からの距離が所定の基準距離以下の対象物体の数)Hnが、切り抜き領域の設定基準数Hn_maxより大きいか否かの判定結果に基づいて、切り抜き領域を選択的に設定してもよい。上記の場合には、表示制御装置100は、例えば、対象物体の数Hnが切り抜き領域の設定基準数Hn_maxより大きい場合(または、対象物体の数Hnが切り抜き領域の設定基準数Hn_max以上の場合)に、切り抜き領域を設定する。ここで、本実施形態に係る設定基準数Hn_maxは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0060】
[2]第2の例
対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなるなど、例えば対象物体と表示画面との距離に応じて、表示制御装置100が設定する切り抜き領域の大きさは異なる。ここで、例えば図1Bの切り抜き領域“AR1”、“AR2”に示すように切り抜き領域の大きさが異なるときには、より大きな切り抜き領域ほど、ユーザに認識させることが可能な情報の情報量は多くなる。そこで、表示制御装置100は、本実施形態に係る表示制御方法の第2の例に係る処理として、例えば、切り抜き領域の大きさに基づいて、切り抜き領域に表示させる情報を変える処理を行う。
【0061】
より具体的には、表示制御装置100は、基本的に図3に示す処理と同様の処理を行いつつ、検出された対象物体に対応する面積(検出された対象物体のサイズ)S、設定基準領域の面積(設定基準領域のサイズ)Smin、および、表示内容の切替を行う基準となる基準領域の面積Schangeに基づいて、対象物体ごとに下記の(a)〜(c)のいずれかの処理を行う。また、表示制御装置100は、撮像画像から対象物体が検出されない場合には、図3のステップS200およびステップS210に示すように、切り抜き領域を設定しない。
【0062】
ここで、本実施形態に係る表示内容の切替を行う基準となる基準領域の面積Schangeは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0063】
また、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなる場合には、設定基準領域の面積Sminは、対象物体と表示画面との距離が大きいと判定するための閾値に相当する。また、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなる場合には、表示内容の切替を行う基準となる基準領域の面積Schangeは、対象物体と表示画面との距離が小さいと判定するための閾値に相当する。
【0064】
(a)S<Sminの場合の処理(または、S≦Sminの場合の処理)
表示制御装置100は、図3のステップS204およびステップS210に示すように、切り抜き領域を設定しない。
【0065】
(b)Smin≦S≦Schangeの場合の処理(または、Smin<S<Schangeの場合の処理)
表示制御装置100は、図3のステップS204およびステップS206に示すように、切り抜き領域を設定する。そして、表示制御装置100は、設定された切り抜き領域が大きくないと判定された場合に表示する表示内容を設定する。なお、表示制御装置100は、さらに対象物体情報を用いることによって、例えば対象物体の属性に応じた表示内容を設定してもよい。
【0066】
(c)S>Schangeの場合の処理(または、S≧Schangeの場合の処理)
表示制御装置100は、図3のステップS204およびステップS206に示すように、切り抜き領域を設定する。そして、表示制御装置100は、設定された切り抜き領域が大きいと判定された場合に表示する表示内容を設定する。なお、表示制御装置100は、さらに対象物体情報を用いることによって、例えば対象物体の属性に応じた表示内容を設定してもよい。
【0067】
表示制御装置100は、基本的に図3に示す処理と同様の処理を行いつつ、撮像画像に対象物体が存在する場合には、(1)の処理(切り抜き領域設定処理)および(2)の処理(表示内容設定処理)として、上記(a)の処理〜(c)の処理のいずれかの処理を行う。また、表示制御装置100は、図3に示す処理と同様に、表示画面への画像の表示を制御する。
【0068】
したがって、本実施形態に係る表示制御方法の第2の例に係る処理を行うことによって、表示制御装置100は、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0069】
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第2の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、表示内容の切替を行う基準となる基準領域の面積Schangeを複数設定することによって、表示内容を多段階に切り替えることも可能である。
【0070】
[3]第3の例
上記本実施形態に係る表示制御方法の第1の例に係る処理、第2の例に係る処理では、検出された対象物体に対応する面積(検出された対象物体のサイズ)に基づいて、切り替え領域を設定する処理の一例を示した。しかしながら、本実施形態に係る表示制御方法に係る処理は、上記に限られない。例えば、対象物体が大きく動いている場合には、切り抜き領域を設定して当該切り抜き領域に表示内容を設定したとしても、ユーザが当該表示内容をみていない可能性がある。そこで、次に、本実施形態に係る表示制御方法の第3の例に係る処理として、対象物体の動きに合わせて、選択的に切り替え領域を設定する処理の一例を説明する。
【0071】
図4は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第3の例を示す流れ図である。
【0072】
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S300)。
【0073】
ステップS300において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S310)。そして、表示制御装置100は、後述するステップS312の処理を行う。
【0074】
また、ステップS300において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S302)。本実施形態に係る表示制御方法に係る処理の第3の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
【0075】
ステップS302の処理が行われると、表示制御装置100は、検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較する。そして、表示制御装置100は、対象物体の動き量と基準動き量との比較結果に基づいて、対象物体が止まっているか否かを判定する(S304)。より具体的には、表示制御装置100は、例えば、対象物体の動き量が基準動き量より小さい場合(または、対象物体の動き量が基準動き量以下の場合。以下、同様とする。)に、対象物体が止まっていると判定する。ここで、本実施形態に係る基準動き量は、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0076】
ここで、本実施形態に係る対象物体の動き量は、例えば、時間的に連続している複数のフレーム(フレーム画像)に基づいて算出される。また、本実施形態に係る対象物体の動き量は、撮像画像に基づいて表示制御装置100が算出するが、表示制御装置100が処理に用いる対象物体の動き量は、上記に限られない。例えば、表示制御装置100は、外部装置において算出された対象物体の動き量を示す情報を当該外部装置から取得し、取得された動き量を用いてステップS302の処理を行うことも可能である。
【0077】
ステップS304において対象物体が止まっていると判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S310)。そして、表示制御装置100は、後述するステップS312の処理を行う。
【0078】
また、ステップS304において対象物体が止まっていると判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S306)。
【0079】
ステップS306の処理が行われると、表示制御装置100は、図3のステップS208と同様に、ステップS306において設定された切り抜き領域に表示する表示内容を設定する(S308)。
【0080】
ステップS308および/またはステップS310の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S312)。
【0081】
図5A、図5Bは、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。図5A、図5Bに示す“A”は、表示対象画像の一例を示している。また、図5Aに示す“C”、“D”は、対象物体を示している。ここで、図5Aでは、ユーザが対象物体である場合の一例を示している。また、図5Aは、図5Aに示す“C”に対応するユーザが表示画面の前を走って横切っており、図5Aに示す“D”に対応するユーザが表示画面の前で止まっている例を示している。また、図5Bに示す“AR3”は、図5Aに示す“D”に対応する切り抜き領域を示している。
【0082】
図5Aに示す例の場合、表示制御装置100は、ステップS304において、図5Aの“C”に示すユーザ(対象物体の一例)は止まっていると判定しないので、図5Aの“C”に示すユーザに対応する切り抜き領域は設定しない。また、表示制御装置100は、ステップS304において、図5Aの“D”に示すユーザ(対象物体の一例)は止まっていると判定するので、図5Aの“D”に示すユーザに対応する切り抜き領域を設定する。よって、図5Bに示すように、表示制御装置100は、複数の対象物体が存在する場合であっても、止まっていると判定された特定の対象物体に対して選択的に切り抜き領域が設定された画像を、表示画面に表示させることができる。
【0083】
表示制御装置100は、例えば図4に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図4に示す処理では、例えばステップS300〜S306、S310の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS308の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS312の処理が(3)の処理(表示制御処理)に該当する。
【0084】
したがって、表示制御装置100は、例えば図4に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0085】
また、図4に示す処理を行うことによって、例えば、対象物体が動いているときには、切り抜き領域が設定されていない表示対象画像を表示し(通常の表示)、対象物体が止まったと判定された場合に、対象物体に対応する切り抜き領域に設定された表示内容を表示させることが可能となる。例えば、表示制御装置100が表示を制御する表示画面が道路脇に設置された表示装置の表示画面であり、対象物体が車である場合には、例えば下記のようなユースケースを実現することができる。
・車が動いているときには車の切り抜き表示は行われないが、車が止まったときに当該車の前に車の形に切り抜かれた専用の表示領域(切り抜き領域)が現れ、当該表示領域内に専用の公告が表示される
【0086】
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第3の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図4に示す本実施形態に係る表示制御方法の第3の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理(変形例も含む。以下、同様とする。)または第2の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
【0087】
[4]第4の例
本実施形態に係る表示制御方法に係る処理は、上記第1の例に係る処理〜第3の例に係る処理に限られない。近年、表示とユーザの操作との双方が可能なタッチスクリーンの普及が進んでいる。よって、表示制御装置100は、例えば、対象物体がユーザ(人間)である場合には、表示制御装置100は、ユーザが操作することが可能な操作インタフェースを表示内容として選択的に設定してもよい。
【0088】
図6は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第4の例を示す流れ図である。
【0089】
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S400)。
【0090】
ステップS400において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S416)。そして、表示制御装置100は、後述するステップS418の処理を行う。
【0091】
また、ステップS400において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S402)。
【0092】
ステップS402の処理が行われると、表示制御装置100は、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、図3のステップS204と同様に、面積Sが面積Sminより大きいか否かを判定する(S404)。
【0093】
ステップS404において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S416)。そして、表示制御装置100は、後述するステップS418の処理を行う。
【0094】
また、ステップS404において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S406)。
【0095】
ステップS406の処理が行われると、表示制御装置100は、対象物体が人間であるか否かを判定する(S408)。ここで、表示制御装置100は、例えば、対象物体に対して顔検出処理を行い、当該顔検出処理の結果に基づいてステップS408の処理を行うが、ステップS408の処理は、上記に限られない。例えば、ステップS400の処理やステップS402の処理によって、人間と判定するための情報が得られている場合には、表示制御装置100は、既に得られている当該情報を用いてステップS408の処理を行ってもよい。
【0096】
ステップS408において対象物体が人間であると判定されない場合には、表示制御装置100は、図3のステップS208と同様に、ステップS406において設定された切り抜き領域に表示する表示内容を設定する(S414)。
【0097】
ステップS408において対象物体が人間であると判定された場合には、表示制御装置100は、表示画面と対象物体との距離Dと、操作インタフェースを表示内容として設定する基準となる基準距離Dminとを比較する。そして、表示制御装置100は、距離Dが基準距離Dminより大きいか否か(または、距離Dが基準距離Dmin以上であるか否か。以下、同様とする。)を判定する(S410)。
【0098】
ここで、表示制御装置100は、例えば、ステップS402において検出された対象物体情報としての距離情報を用いることによって、距離Dを特定することが可能である。なお、本実施形態に係る表示制御装置100における距離Dの特定方法は、上記に限られない。例えば、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなるなど、対象物体と表示画面との距離に対応関係がある場合がある。よって、表示制御装置100は、検出された対象物体に対応する面積Sに基づいて距離を推定し、推定された距離を距離Dとしてもよい。また、本実施形態に係る基準距離Dminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0099】
ステップS410において距離Dが基準距離Dminより大きいと判定されない場合には、表示制御装置100は、図3のステップS208と同様に、ステップS406において設定された切り抜き領域に表示する表示内容を設定する(S414)。
【0100】
また、ステップS410において距離Dが基準距離Dminより大きいと判定された場合には、表示制御装置100は、ユーザが操作可能な操作インタフェースを表示内容として設定する(S412)。ここで、本実施形態に係る操作インタフェースとしては、例えば、ソフトウェアキーボードやボタンなどが挙げられるが、後述するユースケースに示すように、本実施形態に係る操作インタフェースは上記に限られない。また、表示制御装置100は、上記操作インタフェースを、ステップS406において設定された切り抜き領域に表示する表示内容として設定するが、ステップS412の処理は、上記に限られない。例えば、表示制御装置100は、ステップS406において設定された切り抜き領域以外の領域に表示する表示内容として、上記操作インタフェースを設定してもよい。
【0101】
ステップS412、および/または、ステップS414、および/または、ステップS416の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S418)。
【0102】
表示制御装置100は、例えば図6に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図6に示す処理では、例えばステップS400〜S406、S416の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS408〜S414の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS416の処理が(3)の処理(表示制御処理)に該当する。
【0103】
したがって、表示制御装置100は、例えば図6に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0104】
また、表示制御装置100は、ステップS408〜S414に示すように、対象物体がユーザ(人間)である場合には、距離Dと基準距離Dminとの比較結果に基づいて操作インタフェースを表示内容として選択的に設定する。よって、例えば図6に示す第4の例に係る処理を行うことによって、表示制御装置100は、例えば下記のようなユースケースを実現することができる。
・デパートなどの店舗における行先表示などにおいて、例えば図1Bの“A”に示すように通常は切り抜き領域に各フロアの情報が表示されるが、フロアの情報を触ることによって、その位置の店舗情報に切り替わる
・店舗において、ユーザがモニタの近くを通ったときには切り抜き領域にクーポンの告知表示を行い、当該ユーザが立ち止まって表示画面の正面に顔を向けると、クーポンを取得可能な操作インタフェースが表示される
【0105】
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第4の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図6に示す本実施形態に係る表示制御方法の第4の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理〜第3の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
【0106】
[5]第5の例
本実施形態に係る表示制御方法に係る処理は、上記第1の例に係る処理〜第4の例に係る処理に限られない。例えば、本実施形態に係る表示制御装置100は、複数の対象物体が検出された場合、検出された対象物体に対応する領域を選択的に結合し、結合された領域を切り抜き領域とすることも可能である。
【0107】
図7は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第5の例を示す流れ図である。
【0108】
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S500)。
【0109】
ステップS500において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S514)。そして、表示制御装置100は、後述するステップS516の処理を行う。
【0110】
また、ステップS500において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S202)。ここで、本実施形態に係る表示制御方法に係る処理の第5の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
【0111】
ステップS502の処理が行われると、表示制御装置100は、検出された対象物体の数Nと、結合処理を行う基準となる基準数Nminとを比較する。そして、表示制御装置100は、対象物体の数Nが基準数Nminより大きいか否か(または、対象物体の数Nが基準数Nmin以上であるか否か。以下、同様とする。)を判定する(S504)。
【0112】
ここで、本実施形態に係る結合処理とは、検出された対象物体それぞれに対応する領域が重なる重なり領域を含む、対象物体に対応する領域を選択的に結合する処理である。また、表示制御装置100は、例えば、ステップS502において検出された対象物体情報としての対象物体の数の情報を用いることによって、対象物体の数Nを特定する。また、本実施形態に係る基準数Nminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
【0113】
ステップ504において対象物体の数Nが基準数Nminより大きいと判定されない場合には、表示制御装置100は、後述するステップS508の処理を行う。
【0114】
また、ステップ504において対象物体の数Nが基準数Nminより大きいと判定された場合には、表示制御装置100は、重なり領域を含む対象物体に対応する領域が選択的に結合された、結合領域を設定する(S506)。
【0115】
より具体的には、表示制御装置100は、例えば、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出する。また、表示制御装置100は、例えば、検出された重なり領域の面積(重なり領域のサイズ)dSと、複数の対象物体に対応する領域を結合する基準となる結合基準領域の面積(結合基準領域のサイズ)dSminとを比較する。そして、表示制御装置100は、比較結果に基づいて、例えば、面積dSが結合基準領域の面積dSminより大きい場合(または、面積dSが結合基準領域の面積dSmin以上の場合)に、重なり領域を含む対象物体に対応する領域を選択的に結合する。例えば、重なり領域を含む対象物体に対応する各領域をs1、…、sn(nは、2以上の整数)とし、重なり領域をdsとすると、表示制御装置100は、“s1+…+sn−ds”に対応する領域を、結合領域として設定する。
【0116】
なお、本実施形態に係る表示制御装置100におけるステップS506の処理は、上記に限られない。例えば、上記のように結合領域を設定した場合において、重なり領域を含まない対象物体に対応する領域が存在する場合には、表示制御装置100は、当該領域を単独の領域としてもよいし、または、実際には結合されない当該領域を、設定された結合領域と同一の領域として扱うことも可能である。上記の場合には、表示制御装置100は、実際には結合されていない領域に結合領域と対応する表示内容が表示された画像を、表示画面に表示させる。
【0117】
ステップS504、S506において選択的な結合領域の設定が行われると、表示制御装置100は、図3のステップS204と同様に、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、面積Sが面積Sminより大きいか否かを判定する(S508)。ここで、ステップS506において結合領域が設定されている場合には、表示制御装置100は、例えば、結合領域の面積を上記面積Sとする。また、上記のように、表示制御装置100が、実際には結合されない領域を設定された結合領域と同一の領域として扱う場合には、表示制御装置100は、例えば、結合領域の面積と上記実際には結合されない領域の面積とを合計した面積を、上記面積Sとしてもよい。
【0118】
ステップS508において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S514)。そして、表示制御装置100は、後述するステップS516の処理を行う。
【0119】
また、ステップS508において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S510)。
【0120】
なお、図7では、表示制御装置100が、対象物体に対応する面積Sと設定基準領域の面積Sminとの比較結果に応じて選択的に切り抜き領域を設定する例を示しているが、本実施形態に係る表示制御方法の第5の例に係る処理は、上記に限られない。例えば、表示制御装置100は、ステップS508の処理を行わないことも可能である。
【0121】
ステップS510の処理が行われると、表示制御装置100は、図3のステップS208と同様に、ステップS510において設定された切り抜き領域に表示する表示内容を設定する(S512)。
【0122】
ステップS512および/またはステップS514の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S516)。
【0123】
図8A、図8Bは、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。図8A、図8Bに示す“A”は、表示対象画像の一例を示している。また、図8Aに示す“E”、“F”、“G”は、対象物体を示している。ここで、図8Aでは、ユーザが対象物体である場合の一例を示している。また、図8Aは、図8Aに示す“E”〜“G”の各対象物体に対応する領域に重なり領域が存在する例を示している。また、図8Bに示す“AR4”は、図8Aに示す“E”〜“G”に対応する切り抜き領域を示している。
【0124】
図8Aに示すように、各対象物体に対応する重なり領域が存在する場合、表示制御装置100は、ステップS506において結合領域を設定する。そして、結合領域が設定された場合には、表示制御装置100は、ステップS510の処理において結合領域を切り抜き領域として設定する。よって、例えば図8Bに示すように、表示制御装置100は、結合領域に対応する切り抜き領域“AR4”にステップS512において設定された表示内容が表示された画像を、表示画面に表示させることができる。
【0125】
表示制御装置100は、例えば図7に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図7に示す処理では、例えばステップS500〜S510、S514の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS512の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS516の処理が(3)の処理(表示制御処理)に該当する。
【0126】
したがって、表示制御装置100は、例えば図7に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0127】
また、表示制御装置100は、複数の対象物体が存在する場合には、各対象物体に対応する領域を選択的に結合して、結合された結合領域を切り抜き領域を設定する。よって、表示制御装置100は、各対象物体に対応する領域よりもより大きな切り抜き領域に表示内容が表示された画像を、表示画面に表示させることができる。
【0128】
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第5の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図7に示す本実施形態に係る表示制御方法の第5の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理〜第4の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
【0129】
本実施形態に係る表示制御装置100は、本実施形態に係る表示制御方法に係る処理として、例えば上記第1の例に係る処理〜第5の例に係る処理(変形例も含む。以下、同様とする。)を行う。なお、表示制御装置100における、本実施形態に係る表示制御方法に係る処理が、上記第1の例に係る処理〜第5の例に係る処理に限られないことは、言うまでもない。
【0130】
(本実施形態に係る表示制御装置)
次に、上述した本実施形態に係る表示制御方法に係る処理を行うことが可能な、本実施形態に係る表示制御装置100の構成の一例について説明する。以下では、表示制御装置100が、外部表示装置の表示画面における表示を制御する場合を主に例に挙げて説明する。
【0131】
図9は、本実施形態に係る表示制御装置100の構成の一例を示すブロック図である。ここで、図9では、ネットワーク300により接続された表示システム200を併せて示している。ネットワーク300としては、例えば、LANやWANなどの有線ネットワーク、無線LANや基地局を介した無線WANなどの無線ネットワーク、あるいは、TCP/IPなどの通信プロトコルを用いたインターネットなどが挙げられる。
【0132】
表示システム200は、例えば、表示を行う表示装置400と、撮像を行う撮像装置500とを有し、表示画面への画像の表示と表示画面の表示方向の撮像とを行う。なお、本実施形態に係る表示システム200の構成は、図9に示す構成に限られない。例えば、表示システム200は、表示装置400と撮像装置500とが一体となった装置(例えば撮像機能を有する表示装置)であってもよい。また、表示システム200は、距離センサや赤外線センサ、物体検知センサなどの各種検出センサを有していてもよい。また、表示装置400は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスで構成されていてもよい。
【0133】
なお、図9では、表示制御装置100が表示を制御する対象として、表示システム200を構成する1つの表示装置400を示しているが、本実施形態に係る表示制御装置100が表示を制御する対象は、上記に限られない。例えば、表示制御装置100は、ネットワーク300を介して(または直接的に)接続された複数の外部表示装置それぞれの表示画面における表示を制御することもできる。
【0134】
図9を参照すると、表示制御装置100は、例えば、通信部102と、制御部104とを備える。
【0135】
また、表示制御装置100は、例えば、ROM(Read Only Memory;図示せず)、RAM(Random Access Memory;図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。表示制御装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
【0136】
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
【0137】
記憶部(図示せず)は、表示制御装置100が備える記憶機能であり、例えば、設定基準領域の面積Sminなどの本実施形態に係る表示制御方法に係る処理に用いる基準値のデータや、画像データ、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、表示制御装置100から着脱可能であってもよい。
【0138】
操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられ、また、表示部(図示せず)としては、例えば後述する表示デバイスが挙げられる。また、表示制御装置100は、例えば、表示制御装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)と接続することもできる。
【0139】
[表示制御装置100のハードウェア構成例]
図10は、本実施形態に係る表示制御装置100のハードウェア構成の一例を示す説明図である。表示制御装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、表示制御装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
【0140】
MPU150は、例えば、MPU(Micro Processing Unit)や、各種処理回路などで構成され表示制御装置100全体を制御する制御部104として機能する。また、MPU150は、表示制御装置100において、例えば、後述する領域設定部110、表示内容設定部112、および表示制御部114の役目を果たす。
【0141】
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
【0142】
記録媒体156は、記憶部(図示せず)として機能し、例えば、設定基準領域の面積Sminなどの本実施形態に係る表示制御方法に係る処理に用いる基準値のデータや、画像データ、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、表示制御装置100から着脱可能であってもよい。
【0143】
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、表示制御装置100上に備えられ、表示制御装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、表示制御装置100上に備えられ、表示制御装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。なお、入出力インタフェース158が、表示制御装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や、表示デバイス(例えば、表示装置400などの外部表示デバイス)、撮像デバイス(例えば、撮像装置500など)などの外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【0144】
通信インタフェース164は、表示制御装置100が備える通信機能であり、ネットワーク300を介して(あるいは、直接的に)、例えば表示装置400や撮像装置500、サーバなどの外部装置と無線/有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
【0145】
表示制御装置100は、例えば図10に示す構成によって、本実施形態に係る表示制御方法に係る処理を行う。なお、本実施形態に係る表示制御装置100のハードウェア構成は、図10に示す構成に限られない。
【0146】
例えば、表示制御装置100は、撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、White Balance補正処理、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理などが挙げられる。
【0147】
また、表示制御装置100は、検出部(図示せず)の役目を果たす検出センサを備えていてもよい。本実施形態に係る検出センサとしては、例えば、距離センサや、赤外線センサ、物体検知センサなど、対象物体の検出に係るセンサが挙げられる。
【0148】
また、表示制御装置100が、表示制御装置100が外部装置と通信を行わない場合(例えば、表示装置400などの外部表示装置の表示画面における表示を制御せず、表示制御装置100が備える表示部(図示せず)の表示画面における表示を制御する場合など)には、表示制御装置100は、通信インタフェース164を備えない構成をとることも可能である。
【0149】
再度図9を参照して、本実施形態に係る表示制御装置100の構成の一例について説明する。通信部102は、表示制御装置100が備える通信手段であり、ネットワーク300を介して(あるいは、直接的に)、表示装置400や撮像装置300、サーバなどの外部装置と無線/有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、ネットワーク300を介して外部装置と通信可能な任意の構成をとることができる。
【0150】
制御部104は、例えば、MPUなどで構成され、表示制御装置100全体を制御する役目を果たす。また、制御部104は、例えば、領域設定部110と、表示内容設定部112と、表示制御部114とを備え、本実施形態に係る表示制御方法に係る処理を主導的に行う役目を果たす。
【0151】
領域設定部110は、上記(1)の処理(切り抜き領域設定処理)を主導的に行う役目を果たし、例えば表示対象画像と撮像画像とに基づいて、切り抜き領域を設定する。より具体的には、領域設定部110は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(1)の処理(切り抜き領域設定処理)に該当する処理を行うことによって、切り抜き領域を設定する。
【0152】
表示内容設定部112は、上記(2)の処理(表示内容設定処理)を主導的に行う役目を果たし、領域設定部110において設定された切り抜き領域内に表示する表示内容を設定する。より具体的には、表示内容設定部112は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(2)の処理(表示内容設定処理)に該当する処理を行うことによって、表示内容を設定する。
【0153】
表示制御部114は、上記(3)の処理(表示制御処理)を主導的に行う役目を果たし、領域設定部110において設定された切り抜き領域内に表示内容設定部112において設定された表示内容が表示された画像を、表示画面に表示させる。より具体的には、表示制御部114は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(3)の処理(表示制御処理)に該当する処理を行うことによって、上記画像を表示画面に表示させる。
【0154】
制御部104は、例えば、領域設定部110、表示内容設定部112、および表示制御部114を備えることによって、本実施形態に係る表示制御方法に係る処理を主導的に行う。なお、本実施形態に係る表示制御方法に係る処理を実現するための構成が、図9に示す制御部104の構成に限られないことは、言うまでもない。
【0155】
表示制御装置100は、例えば図9に示す構成によって、本実施形態に係る表示制御方法に係る処理(例えば、(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理))を行う。したがって、表示制御装置100は、例えば図9に示す構成によって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0156】
なお、図9では、表示制御装置100が外部表示装置である表示装置400の表示画面における表示を制御する例を示したが、本実施形態に係る表示制御装置100の構成は、図9に示す構成に限られない。例えば、表示制御装置100が表示部(図示せず)を備える場合には、表示制御装置100は、表示部(図示せず)の表示画面における表示を制御することも可能である。
【0157】
表示部(図示せず)の表示画面における表示を制御する場合には、表示制御装置100は、例えば、通信部102を備えない構成をとることができる(いわゆるスタンドアロンの構成)。また、表示部(図示せず)の表示画面における表示を制御する場合には、表示制御装置100は、例えば、表示部(図示せず)の表示画面の表示方向を撮像する撮像部(図示せず)を備えていてもよい。また、表示制御装置100は、検出部(図示せず)をさらに備える構成をとることも可能である。
【0158】
以上のように、本実施形態に係る表示制御装置100は、本実施形態に係る表示制御方法に係る処理として、例えば、(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)を行う。上記(1)の処理〜(3)の処理を行うことによって、表示制御装置100は、例えば図1Bに示すように、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。上記のように、対象物体ごとに切り抜き領域を設定し、設定された各切り抜き領域に表示内容が表示された画像を表示画面に表示させることによって、ユーザは、表示された画像内に設定された切り抜き領域に表示された内容が、自己に対するものであるか否かをより容易に認識することが可能となる。
【0159】
したがって、表示制御装置100は、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0160】
また、例えば表示画面のサイズが大きい場合であっても、表示制御装置100は、対象物体ごとに切り抜き領域を設定し、設定された各切り抜き領域に表示内容が表示された画像を表示画面に表示させる。よって、表示画面をみるユーザが、表示画面からの距離が大きな位置にいたとしても、また、表示画面からの距離が小さな位置にいたとしても、ユーザは、切り抜き領域に表示された内容が、自己に対するものであるか否かを認識することができる。また、仮に、ユーザが、表示画面全体を俯瞰することが困難な表示画面からの距離が小さな位置にいたとしても、表示制御装置100は、当該ユーザに対応する切り抜き領域に当該ユーザに対する表示内容が表示された画像を表示させることができる。
【0161】
以上、本実施形態として表示制御装置100を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、PC(Personal Computer)やサーバなどのコンピュータ、テレビ受像機やサイネージ装置などの表示装置、プロジェクター、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、本実施形態に係る表示制御方法に係る処理を行う処理IC(Integrated Circuit)に適用され、例えば、上記のような機器に組み込まれてもよい。
【0162】
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る表示制御装置として機能させるためのプログラム(例えば、上記(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)など、本実施形態に係る表示制御方法に係る処理を実行することが可能なプログラム)によって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
【0163】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0164】
例えば、上記では、コンピュータを、本実施形態に係る表示制御装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【0165】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【0166】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定する領域設定部と、
設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部と、
を備える、表示制御装置。
(2)
前記領域設定部は、前記撮像画像から検出された対象物体に基づいて前記切り抜き領域を設定する、(1)に記載の表示制御装置。
(3)
前記領域設定部は、
検出された対象物体のサイズと、前記切り抜き領域を設定する基準となる設定基準領域のサイズとを比較し、
比較結果に基づいて前記切り抜き領域を選択的に設定する、(2)に記載の表示制御装置。
(4)
前記領域設定部は、
検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較し、
比較結果に基づいて、前記切り抜き領域を選択的に設定する、(2)または(3)に記載の表示制御装置。
(5)
前記領域設定部は、
複数の対象物体が検出された場合には、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出し、
検出された重なり領域のサイズと、複数の対象物体に対応する領域を結合する基準となる結合基準領域のサイズとを比較し、
比較結果に基づいて、前記重なり領域を含む対象物体に対応する領域を選択的に結合し、
結合された結合領域を前記切り抜き領域として設定する、(2)〜(4)のいずれか1つに記載の表示制御装置。
(6)
前記領域設定部は、検出された対象物体の数と、前記重なり領域を含む対象物体に対応する領域を選択的に結合する結合処理を行う基準となる基準数とを比較し、
比較結果に基づいて、前記結合処理を選択的に行う、(5)に記載の表示制御装置。
(7)
前記表示内容設定部は、前記撮像画像から検出された対象物体のサイズに基づいて、表示内容を設定する、(2)〜(6)のいずれか1つに記載の表示制御装置。
(8)
前記表示内容設定部は、前記対象物体が人間である場合には、前記表示画面と前記対象物体との距離を示す距離情報に基づいて、ユーザが操作することが可能な操作インタフェースを表示内容として選択的に設定する、(2)〜(4)のいずれか1つに記載の表示制御装置。
(9)
前記表示内容設定部は、
前記距離情報が示す距離と、前記操作インタフェースを表示内容として設定する基準となる基準距離とを比較し、
比較結果に基づいて前記操作インタフェースを表示内容として選択的に設定する、(8)に記載の表示制御装置。
(10)
前記表示内容設定部は、検出された対象物体の属性に基づいて、表示内容を設定する、(2)〜(7)のいずれか1つに記載の表示制御装置。
(11)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップと、
設定された切り抜き領域内に表示する表示内容を設定するステップと、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップと、
を有する、表示制御方法。
(12)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップ、
設定された切り抜き領域内に表示する表示内容を設定するステップ、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【0167】
100 表示制御装置
102 通信部
110 領域設定部
112 表示内容設定部
114 表示制御部
【特許請求の範囲】
【請求項1】
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定する領域設定部と、
設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部と、
を備える、表示制御装置。
【請求項2】
前記領域設定部は、前記撮像画像から検出された対象物体に基づいて前記切り抜き領域を設定する、請求項1に記載の表示制御装置。
【請求項3】
前記領域設定部は、
検出された対象物体のサイズと、前記切り抜き領域を設定する基準となる設定基準領域のサイズとを比較し、
比較結果に基づいて前記切り抜き領域を選択的に設定する、請求項2に記載の表示制御装置。
【請求項4】
前記領域設定部は、
検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較し、
比較結果に基づいて、前記切り抜き領域を選択的に設定する、請求項2に記載の表示制御装置。
【請求項5】
前記領域設定部は、
複数の対象物体が検出された場合には、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出し、
検出された重なり領域のサイズと、複数の対象物体に対応する領域を結合する基準となる結合基準領域のサイズとを比較し、
比較結果に基づいて、前記重なり領域を含む対象物体に対応する領域を選択的に結合し、
結合された結合領域を前記切り抜き領域として設定する、請求項2に記載の表示制御装置。
【請求項6】
前記領域設定部は、検出された対象物体の数と、前記重なり領域を含む対象物体に対応する領域を選択的に結合する結合処理を行う基準となる基準数とを比較し、
比較結果に基づいて、前記結合処理を選択的に行う、請求項5に記載の表示制御装置。
【請求項7】
前記表示内容設定部は、前記撮像画像から検出された対象物体のサイズに基づいて、表示内容を設定する、請求項2に記載の表示制御装置。
【請求項8】
前記表示内容設定部は、前記対象物体が人間である場合には、前記表示画面と前記対象物体との距離を示す距離情報に基づいて、ユーザが操作することが可能な操作インタフェースを表示内容として選択的に設定する、請求項2に記載の表示制御装置。
【請求項9】
前記表示内容設定部は、
前記距離情報が示す距離と、前記操作インタフェースを表示内容として設定する基準となる基準距離とを比較し、
比較結果に基づいて前記操作インタフェースを表示内容として選択的に設定する、請求項8に記載の表示制御装置。
【請求項10】
前記表示内容設定部は、検出された対象物体の属性に基づいて、表示内容を設定する、請求項2に記載の表示制御装置。
【請求項11】
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップと、
設定された切り抜き領域内に表示する表示内容を設定するステップと、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップと、
を有する、表示制御方法。
【請求項12】
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップ、
設定された切り抜き領域内に表示する表示内容を設定するステップ、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、
をコンピュータに実行させるためのプログラム。
【請求項1】
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定する領域設定部と、
設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部と、
を備える、表示制御装置。
【請求項2】
前記領域設定部は、前記撮像画像から検出された対象物体に基づいて前記切り抜き領域を設定する、請求項1に記載の表示制御装置。
【請求項3】
前記領域設定部は、
検出された対象物体のサイズと、前記切り抜き領域を設定する基準となる設定基準領域のサイズとを比較し、
比較結果に基づいて前記切り抜き領域を選択的に設定する、請求項2に記載の表示制御装置。
【請求項4】
前記領域設定部は、
検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較し、
比較結果に基づいて、前記切り抜き領域を選択的に設定する、請求項2に記載の表示制御装置。
【請求項5】
前記領域設定部は、
複数の対象物体が検出された場合には、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出し、
検出された重なり領域のサイズと、複数の対象物体に対応する領域を結合する基準となる結合基準領域のサイズとを比較し、
比較結果に基づいて、前記重なり領域を含む対象物体に対応する領域を選択的に結合し、
結合された結合領域を前記切り抜き領域として設定する、請求項2に記載の表示制御装置。
【請求項6】
前記領域設定部は、検出された対象物体の数と、前記重なり領域を含む対象物体に対応する領域を選択的に結合する結合処理を行う基準となる基準数とを比較し、
比較結果に基づいて、前記結合処理を選択的に行う、請求項5に記載の表示制御装置。
【請求項7】
前記表示内容設定部は、前記撮像画像から検出された対象物体のサイズに基づいて、表示内容を設定する、請求項2に記載の表示制御装置。
【請求項8】
前記表示内容設定部は、前記対象物体が人間である場合には、前記表示画面と前記対象物体との距離を示す距離情報に基づいて、ユーザが操作することが可能な操作インタフェースを表示内容として選択的に設定する、請求項2に記載の表示制御装置。
【請求項9】
前記表示内容設定部は、
前記距離情報が示す距離と、前記操作インタフェースを表示内容として設定する基準となる基準距離とを比較し、
比較結果に基づいて前記操作インタフェースを表示内容として選択的に設定する、請求項8に記載の表示制御装置。
【請求項10】
前記表示内容設定部は、検出された対象物体の属性に基づいて、表示内容を設定する、請求項2に記載の表示制御装置。
【請求項11】
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップと、
設定された切り抜き領域内に表示する表示内容を設定するステップと、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップと、
を有する、表示制御方法。
【請求項12】
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップ、
設定された切り抜き領域内に表示する表示内容を設定するステップ、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、
をコンピュータに実行させるためのプログラム。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図1B】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【公開番号】特開2012−253551(P2012−253551A)
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願番号】特願2011−124346(P2011−124346)
【出願日】平成23年6月2日(2011.6.2)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願日】平成23年6月2日(2011.6.2)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]