表示制御装置および方法、並びにプログラム
【課題】フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させる。
【解決手段】撮像部は、レンズより入射される光のうちの可視光に対応する画素信号に基づくRGB画像と、レンズより入射される光のうちの赤外光に対応する画素信号に基づくIR画像を出力し、ROI設定部は、RGB画像に基づいて、IR画像における赤外光光源の移動領域を設定し、表示制御部は、移動領域内での赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する。本技術は、例えば、視聴者の視聴状態を監視するテレビジョン受像機に適用することができる。
【解決手段】撮像部は、レンズより入射される光のうちの可視光に対応する画素信号に基づくRGB画像と、レンズより入射される光のうちの赤外光に対応する画素信号に基づくIR画像を出力し、ROI設定部は、RGB画像に基づいて、IR画像における赤外光光源の移動領域を設定し、表示制御部は、移動領域内での赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する。本技術は、例えば、視聴者の視聴状態を監視するテレビジョン受像機に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、表示制御装置および方法、並びにプログラムに関し、特に、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることができるようにする表示制御装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年のデジタルテレビジョン受像機においては、放送映像以外に表示される情報や操作項目が増えたことにより、リモートコントローラの操作ボタンの数が増えてしまい、操作が煩雑になっている。
【０００３】
そこで、デジタルカメラのレンズ部分に、可視光を遮断し近赤外光を透過する赤外線透過フィルタを設けることで、オペレータが手に持つリモートコントローラの近赤外光のスポットを撮像し、オペレータの手の動きに連動してディスプレイ上のカーソルを動かすことにより、ディスプレイ上のメニューアイコン等を選択させるようにした、フリーカーソル型のユーザインタフェースが提案されている（例えば、特許文献１参照）。
【０００４】
また、近年、パーソナルコンピュータやテレビジョン受像機といったディスプレイを備える表示装置にデジタルカメラを搭載することで、インターネット等のネットワークを介して、ユーザがディスプレイを通じて遠方の人と会話する、いわゆるビデオコミュニケーションを行うようにしたものや、視聴者の視聴状態を監視し、長時間ディスプレイの前にいない場合には電源を切るような省エネルギー対応の機能を付加したしたものがある。
【０００５】
このような表示装置に、上述した特許文献１のフリーカーソル型のインタフェースを適用することを考えたとき、リモートコントローラの赤外光のスポットを撮像する赤外線カメラ（以下、単に、カメラという）として、光学ズーム機能がないが、低コスト化が可能な単焦点カメラを用いた場合、カメラからオペレータまでの距離が大きくなるに従って、カメラの撮像領域が広くなる。すなわち、カメラからオペレータまでの距離に応じて、カメラの撮像領域とディスプレイのサイズの比が変化し、オペレータがリモートコントローラを手に持ってカーソルを操作する際に必要な腕のストローク量が変化することになる。
【０００６】
オペレータの腕のストローク量は、操作性の観点から、カメラからオペレータまでの距離に依らず一定であることが望ましい。そこで、カメラとオペレータとの距離に応じて、カメラによって撮像された画像上の赤外光のスポットの変位量と、ディスプレイ上に表示されるカーソルの変位量との比（倍率）を変化させることが提案されている（例えば、特許文献２参照）。
【０００７】
この場合、カメラとオペレータとの距離を正確に求めることが要求されるが、特許文献２においては、リモートコントローラの赤外光の強度が距離の２乗に反比例して変化することを用いて、カメラとオペレータ（リモートコントローラ）との距離が求められている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平６−５９８０７号公報
【特許文献２】特開平６−７５６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献２の手法では、リモートコントローラにおいて赤外光を発光するLED（Light Emitting Diode）を駆動する電池残量の経時変化等によって、赤外光の強度が変化する。さらに、オペレータがリモートコントローラをカメラに対して角度をつけて振った場合にも、赤外光の強度が著しく変化する。このように、カメラとオペレータとの距離を正確に求めるのは困難であり、赤外光の強度から、カメラとオペレータとの距離を正確に求めるには、カメラの正面にリモートコントローラを正対させて、その都度キャリブレーションを行う必要があり、ユーザにとっては面倒である。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の表示制御装置は、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部とを備える。
【００１２】
前記領域設定部には、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とさせることができる。
【００１３】
前記表示制御装置には、前記可視光画像において被写体の顔を検出する顔検出部をさらに設け、前記領域設定部には、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
【００１４】
前記表示制御装置には、前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、赤外光を発光するリモートコントローラを操作する前記被写体を特定する特定部をさらに設け、前記領域設定部には、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
【００１５】
前記表示制御装置には、前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに設け、前記領域設定部には、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
【００１６】
前記領域設定部には、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
【００１７】
前記表示制御装置には、前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに設けることができる。
【００１８】
前記表示制御装置には、前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに設けることができる。
【００１９】
前記表示制御装置には、異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに設け、前記領域設定部には、前記差分画像において動きのある赤外光光源の移動領域を設定させることができる。
【００２０】
前記表示制御装置には、前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに設け、前記表示制御部には、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させることができる。
【００２１】
前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたとき、２×２（＝４）ユニットのうちの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力されるようにすることができる。
【００２２】
前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力されるようにすることができる。
【００２３】
前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたとき、２×２（＝４）ユニットのうちの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力されるようにすることができる。
【００２４】
前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、前記撮像部には、前記赤外光光源の赤外光の波長を透過帯とするフィルタを設けることができる。
【００２５】
本技術の一側面の表示制御方法は、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップとを含む。
【００２６】
本技術の一側面のプログラムは、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムであって、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップとを含む処理をコンピュータに実行させる。
【００２７】
本技術の一側面においては、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像が出力され、可視光画像に基づいて、赤外光画像における赤外光光源の移動領域が設定され、移動領域内での赤外光光源の移動に応じて、表示部上のカーソル移動量が制御される。
【発明の効果】
【００２８】
本技術の一側面によれば、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本技術を適用した表示制御装置の第１の実施の形態の外観構成を示す図である。
【図２】表示制御装置のハードウェア構成例を示すブロック図である。
【図３】撮像部の構成の詳細について説明する図である。
【図４】撮像部の分光特性について説明する図である。
【図５】イメージセンサのカラーフィルタの配列の例を示す図である。
【図６】RGB画素とIR画素の出力の例について説明する図である。
【図７】表示制御装置の機能構成例を示すブロック図である。
【図８】図７の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図９】RGB画素とIR画素の出力の例について説明する図である。
【図１０】シャッタスピードとゲインについて説明する図である。
【図１１】顔の検出とROIの大きさの設定について説明する図である。
【図１２】IR画像における輝点の抽出について説明する図である。
【図１３】IR画像におけるROIの設定について説明する図である。
【図１４】ディスプレイ上のカーソルの移動について説明する図である。
【図１５】ディスプレイ上のカーソルの移動について説明する図である。
【図１６】ディスプレイ上のカーソルの移動について説明する図である。
【図１７】RGB画素とIR画素の出力の例について説明する図である。
【図１８】RGB画素とIR画素の出力の例について説明する図である。
【図１９】RGB画素とIR画素の出力の例について説明する図である。
【図２０】RGB画素とIR画素の出力の例について説明する図である。
【図２１】本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示すブロック図である。
【図２２】図２１の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図２３】RGB画像における顔の検出について説明する図である。
【図２４】IR画像における輝点の抽出について説明する図である。
【図２５】本技術を適用した表示制御装置の第３の実施の形態の機能構成例を示すブロック図である。
【図２６】図２５の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図２７】シャッタスピードとゲインについて説明する図である。
【図２８】IR差分画像による輝点の抽出について説明する図である。
【図２９】IR差分画像による輝点の抽出について説明する図である。
【図３０】IR差分画像による輝点の抽出について説明する図である。
【図３１】本技術を適用した表示制御装置の第４の実施の形態の機能構成例を示すブロック図である。
【図３２】図３１の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図３３】オペレータとの距離によるROI内の画素数の違いについて説明する図である。
【図３４】本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示すブロック図である。
【図３５】図３４の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図３６】オペレータとの距離に応じたディスプレイの表示について説明する図である。
【図３７】オペレータとの距離に対するROIの大きさおよび操作画面上のメニューアイコン数の関係を示す図である。
【図３８】オペレータとの距離に対するROIの大きさおよび操作画面上のメニューアイコン数の関係を示す図である。
【図３９】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（フリーカーソル型のユーザインタフェースを提供する構成）
２．第２の実施の形態（複数のユーザからオペレータを特定する例）
３．第３の実施の形態（ビデオコミュニケーションを行うカメラシステムに適用する例）
４．第４の実施の形態（オペレータとの距離に応じてROIの大きさを求める例）
５．第５の実施の形態（オペレータとの距離に応じてディスプレイの表示を制御する例）
【００３１】
＜１．第１の実施の形態＞
［表示制御装置の外観構成］
図１は、本技術を適用した表示制御装置の第１の実施の形態の外観構成を示している。
【００３２】
図１の表示制御装置１１においては、カメラ部１１ａが、ユーザ１０と、ユーザ１０が操作するリモートコントローラ１０ａの赤外光のスポット（以下、輝点という）とを撮像し、ディスプレイ１１ｂが、ユーザ１０に対する操作画面とともに、カメラ部１１ａによって撮像された輝点の動きに応じた動きのカーソルを表示する。すなわち、表示制御装置１１は、ユーザ１０に対して、フリーカーソル型のユーザインタフェースを提供する。
【００３３】
［表示制御装置のハードウェア構成例］
図２は、フリーカーソル型のインタフェースを提供する表示制御装置１１のハードウェア構成例を示すブロック図である。
【００３４】
図２の表示制御装置１１は、レンズ２１、特殊フィルタ２２、イメージセンサ２３、CDS（Correlated Double Sampling）/AGC（Automatic Gain Control）回路２４、A/D（Analog/Digital）変換回路２５、DSP（Digital Signal Processor）２６、CPU（Central Processing Unit）２７、タイミングジェネレータ２８、ディスプレイ２９、およびEEPROM（Electrically Erasable Programmable Read Only Memory）３０から構成される。
【００３５】
レンズ２１は、単眼の単焦点レンズとして構成され、被写体からの光を集光し、集光した光を、特殊フィルタ２２を介してイメージセンサ２３に入射させる。イメージセンサ２３は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等から構成され、レンズ２１から特殊フィルタ２２を介して入射する光を受光し、その光を、受光量に応じた電気信号としての画像信号（アナログ信号）に光電変換して、CDS/AGC回路２４に供給する。
【００３６】
ここで、図３乃至図５を参照して、特殊フィルタ２２およびイメージセンサ２３の詳細な構成について説明する。
【００３７】
図３に示されるように、特殊フィルタ２２は、イメージセンサ２３を保護するためのシールガラス２２ａに成膜して貼り付けられている。特殊フィルタ２２は、図４の上から２番目に示されるように、可視光域（400nm乃至650nm）とともに、図４の上から１番目に示される、リモートコントローラ１０ａのLED（Light Emitting Diode）から発光される赤外光の波長帯（940nm）に透過帯を持つ分光特性を有する。なお、特殊フィルタ２２は、シールガラス２２ａの入射面側、出射面側のどちらに成膜するようにしてもよい。
【００３８】
特殊フィルタ２２は、４０層乃至５０層程度の薄膜材料を積層させた多層膜の干渉フィルタによって構成される。薄膜材料としては、例えば、誘電体材料であるTiO2，Ta2O2，SiO2，MgF2等が用いられる。また、特殊フィルタ２２は、蒸着法、IAD（Ion beam Assisted Deposition）法、スパッタリング法、CVD（Chemical Vapor Deposition）法等の製造プロセスによって成膜される。
【００３９】
なお、特殊フィルタ２２は、図３に示されるように、シールガラス２２ａに貼り付けられる他、レンズ鏡筒内の光軸上の任意の位置に配置されるようにもできる。
【００４０】
また、図３に示されるように、イメージセンサ２３の前面（図中、左側）には、カラーフィルタアレイ２３ａが配置されている。カラーフィルタアレイ２３ａは、イメージセンサ２３の１画素ごとに割り当てられたカラーフィルタから構成される。
【００４１】
ここで、図５を参照して、カラーフィルタアレイ２３ａにおけるカラーフィルタの配列について説明する。
【００４２】
図５には、ベイヤ配列において、Ｇ画素のうちの半分（Ｒ，Ｇ，Ｂ，Ｇからなる、隣接する２×２（＝４）画素のうちの１つのＧ画素）が、図中黒塗りで示されるIR（InfraRed）透過フィルタで構成されるカラーフィルタの配列例が示されている。
【００４３】
このIR透過フィルタは、図４の上から３番目に示されるような分光特性を有し、通常のカラーフィルタに用いられている有機系材料の顔料や染料の調合によって、１μｍ程度の膜厚で可視光域の透過率を数％以下に抑えるように構成されている。IR透過フィルタの分光特性において、透過率の立ち上がりの波長は、リモートコントローラの赤外光の波長（940nm）より短波長側に設定され、図４の例では800nm付近に設定されている。
【００４４】
以上のような構成により、イメージセンサ２３は、図４の上から４番目に示されるように、可視光域および赤外光の波長帯に対して感度を有するようになる。
【００４５】
すなわち、イメージセンサ２３によれば、図６に示されるように、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）を間引きした出力をデモザイクして得られるＲ画像、Ｇ画像、Ｂ画像からなる可視光画像（RGB画像）と、Ｇｒ（またはＧｂ）画素（IR画素）を間引きした出力をデモザイクして得られる赤外光画像（IR画像）が得られるようになる。なお、図６の例においては、イメージセンサ２３の解像度は、SXGA（Super Extended Graphics Array）（1280×1024：1.3M）とされる。RGB画像およびIR画像のRAW画像の解像度は、ともにVGAとなるが、RGB画像について、例えばＧｒ＝Ｇｂとするような補間処理後に、通常のベイヤ配列の画素に対応するカラー画像と同様の画像処理を施すことにより、SXGAの解像度のRGB画像が得られる。なお、IR画像の解像度はVGAとなる。
【００４６】
図２に戻り、CDS/AGS回路２４は、イメージセンサ２３において発生する１／ｆノイズを除去するとともに、CPU２７の制御に基づいて、イメージセンサ２３から供給された画像信号の大きさ（レベル）が一定になるようにゲインを調整してA/D変換回路２５に出力する。さらに、CDS/AGS回路２４は、CPU２７の制御に基づいて、イメージセンサ２３における電荷の蓄積時間を電気的に変化させる電子シャッタ処理も行う。
【００４７】
A/D変換回路２５は、CDS/AGS回路２４から出力されたアナログ信号である画像信号を、デジタル信号である画像データに変換して、DSP２６に供給する。A/D変換回路２５によって得られる画像データとしては、上述したRGB画像の画像データと、IR画像の画像データとがある。
【００４８】
DSP２６は、A/D変換回路２５からの画像データ（RGB画像およびIR画像の画像データ）に対して、所定の画像処理を施し、その結果をディスプレイ２９またはEEPROM３０に供給する。
【００４９】
CPU２７は、表示制御装置１１の各部を制御する。
【００５０】
タイミングジェネレータ２８は、CPU２７の制御に基づいて、各種のタイミング信号を発生し、イメージセンサ２３、CDS/AGC回路２４、およびA/D変換回路２５に供給する。
【００５１】
ディスプレイ２９は、図１のディスプレイ１１ｂに相当し、CPU２７の制御に基づいて、所定の画像を表示したり、DSP２６からの画像処理の結果に応じた表示を行う。例えば、ディスプレイ２９には、ユーザ１０が表示制御装置１１に対して操作入力を行うための操作画面が表示される。なお、ディスプレイ２９は、表示制御装置１１の外部に設けるようにしてもよい。
【００５２】
EEPROM３０は、いわゆる不揮発性のメモリであり、電源が落とされても、記憶保持した情報が失われることがなく、各種の設定パラメータや、DSP２６からの画像処理の結果等を記憶保持する。
【００５３】
［表示制御装置の機能構成例］
次に、図７を参照して、表示制御装置１１の機能構成例について説明する。
【００５４】
図７の表示制御装置１１は、撮像部５１、入力部５２、撮像制御部５３、RGB画像処理部５４、顔検出部５５、IR画像処理部５６、輝点抽出部５７、ROI（Region Of Interest）設定部５８、表示制御部５９、および表示部６０から構成される。
【００５５】
撮像部５１は、図２で説明したレンズ２１、特殊フィルタ２２、イメージセンサ２３を備える他、図示しないが、CDS/AGC回路２４およびA/D変換回路２５を備える。すなわち、撮像部５１は、図１のカメラ部１１ａに相当し、被写体（ユーザ１０およびリモートコントローラ１０ａの赤外光）を撮像し、対応する画像データをRGB画像処理部５４およびIR画像処理部５６に出力する。また、撮像部５１は、撮像制御部５３の制御に基づいて、ゲイン調整や電子シャッタ処理を行う。
【００５６】
入力部５２は、ユーザ１０の操作入力に応じたリモートコントローラ１０ａからの赤外光を受け付け、そのユーザの操作入力を表す信号（操作信号）を撮像制御部５３に供給する。
【００５７】
撮像制御部５３は、入力部５２からの操作信号や、ROI設定部５８からの指示に応じて、撮像に関する各種のパラメータを設定し、撮像部５１の撮像を制御する。
【００５８】
RGB画像処理部５４は、撮像部５１からの画像データのうちのRGB画像の画像データ（以下、単に、RGB画像という）に対して所定の画像処理を施し、顔検出部５５に供給する。
【００５９】
顔検出部５５は、RGB画像処理部５４からのRGB画像においてユーザ１０の顔を検出し、検出された顔（顔画像）のサイズを、ROI設定部５８に供給する。
【００６０】
IR画像処理部５６は、撮像部５１からの画像データのうちのIR画像の画像データ（以下、単に、IR画像という）に対して所定の画像処理を施し、輝点抽出部５７に供給する。
【００６１】
輝点抽出部５７は、IR画像処理部５６からのIR画像において、ユーザ１０が手に持つリモートコントローラ１０ａの赤外光の輝点（スポット）を抽出（検出）し、輝点が抽出されたIR画像を、ROI設定部５８に供給する。
【００６２】
ROI設定部５８は、顔検出部５５からの、RGB画像におけるユーザ１０の顔のサイズに基づいて、ユーザ１０が次のフレームまでにリモートコントローラ１０ａを動かし得る範囲（領域）であるROI（Region Of Interest）の大きさを求める。また、ROI設定部５８は、輝点抽出部５７からの、輝点が抽出されたIR画像において、その輝点が中心となるように、大きさを求めたROIの位置を設定する。そして、ROI設定部５８は、輝点が移動したとき、IR画像における輝点の移動量を、表示制御部５９に供給する。
【００６３】
表示制御部５９は、図１のディスプレイ１１ｂ（または、図２のディスプレイ２９）に相当する表示部６０の表示を制御する。具体的には、表示制御部５９は、リモートコントローラ１０ａを扱うユーザ１０に対するユーザインタフェースとしての操作画面を表示部６０に表示させるともに、操作画面上の所定の項目をユーザ１０に選択させるためのカーソルを、操作画面上で、ROI設定部５８からの輝点の移動量に応じて移動させる。
【００６４】
［カーソル表示制御処理について］
次に、図８のフローチャートを参照して、表示制御装置１１のカーソル表示制御処理について説明する。
【００６５】
例えば、表示制御装置１１の電源がオンされ、ユーザ１０のリモートコントローラ１０ａに対する操作によって、視聴者の視聴状態を監視する監視モードが選択されると、表示制御装置１１は、被写体の撮像が可能な監視モードとなる。本実施の形態においては、表示制御装置１１は、中立状態では監視モードとなる。すなわち、表示制御装置１１は、中立状態では、視聴者の視聴状態を監視することで、省エネルギー対応の動作を行う人感センサとして機能する。
【００６６】
ステップＳ１１において、撮像制御部５３は、リモートコントローラ１０ａの赤外光に応じた入力部５２からの操作信号に基づいて、撮像部５１の撮像に関するパラメータとして、解像度、シャッタスピード、およびゲインを、RGB画像に適した値に設定する。
【００６７】
本実施の形態においては、上述したように、RGB画像においてユーザ１０の顔の検出が行われる。すなわち、RGB画像の解像度は、顔検出ができる程度の解像度であればよい。一般に、顔検出は、１６×１６画素程度以上の解像度の白黒情報があれば処理可能であるとされており、顔検出機能を備える市販のデジタルカメラにおいても、解像度と色情報とをダウングレードさせることで、処理の高速性を追求するようにしたものがある。
【００６８】
ここでは、図９に示されるように、RGB画素について４画素加算を行うことで、VGA（Video Graphics Array）（640×480）サイズのRGB画像が得られるように解像度が設定される。４画素加算は、例えば、特許第４５１８６１６号公報に開示されている手法が適用されてもよいし、他の手法が適用されてもよい。４画素加算を行うことで、RGB画像の感度は４倍となり、暗い照明環境にユーザ１０と表示制御装置１１とが置かれている場合でも、ロバストな顔検出を行うことができるようになる。なお、図９に示されるカラーフィルタの配列の場合、Gr画素の出力はIR画素の出力であるので、Gb画素の出力をGreen画素の出力とみなして、デモザイク処理が行われる。あるいは、Gr画素の出力に同一ベイヤ領域にあるGb画素出力を代入し、この擬似的に生成したGr画素出力も用いて、通常のベイヤ配列における４画素加算を行うようにしてもよい。
【００６９】
また、ここでは、通常のデジタルカメラと同様のAE（Auto Exposure）処理が行われ、図１０の上段左側に示されるように、シャッタスピードおよびゲインが最適な値に設定される。
【００７０】
このようにして設定されたパラメータで、RGB画像およびIR画像が撮像され、それぞれRGB画像処理部５４、IR画像処理部５６に供給される。なお、ここでは、IR画像処理部５６は、IR画像に対していずれの処理を行わないようにもできる。
【００７１】
図８のフローチャートに戻り、ステップＳ１２において、入力部５２は、ユーザ１０によって、リモートコントローラ１０ａの筐体上に配置されている、フリーカーソルモードスイッチ（ボタン）がオンされたか否かを判定する。ここで、フリーカーソルモードスイッチは、表示制御装置１１の表示部６０に操作画面を表示させて、オペレータとしてのユーザ１０に操作画面上のカーソルを操作させるためのモードである。
【００７２】
ステップＳ１２において、フリーカーソルモードスイッチがオンされていないと判定された場合、フリーカーソルモードスイッチがオンされるまで、ステップＳ１２の処理が繰り返される。すなわち、ここでは、表示制御装置１１は、中立状態である監視モードであり、人感センサとして機能している。
【００７３】
そして、ステップＳ１２において、フリーカーソルモードスイッチがオンされたと判定された場合、処理はステップＳ１３に進む。なお、リモートコントローラ１０ａにおいてフリーカーソルモードスイッチがオンされると、リモートコントローラ１０ａのLEDは、連続発光を開始する。また、表示制御装置１１の表示部６０には、表示制御部５９の制御に基づいて、所定の操作画面が表示される。
【００７４】
ステップＳ１３において、顔検出部５５は、RGB画像処理部５４からのRGB画像において、ユーザ１０の顔を検出し、検出された顔の、RGB画像上のサイズをROI設定部５８に供給する。
【００７５】
ステップＳ１４において、ROI設定部５８は、顔検出部５５からの、オペレータとしてのユーザ１０の顔のサイズに基づいて、ユーザ１０がリモートコントローラ１０ａを動かし得る範囲（領域）であるROIの大きさを求める。
【００７６】
例えば、図１１に示されるように、RGB画像においてユーザ１０の顔が検出された場合、検出された顔に対して検出枠１００が設定される。ここで、ユーザ１０の腕の動く範囲（ストローク量）を考慮して、ROI１０１は、水平方向が顔（検出枠１００）の幅の２倍で、垂直方向が顔（検出枠１００）の高さと同じである長方形の領域として定義される。なお、ROI１０１の形状は、図１１に示される長方形に限らず、その長方形に内接する楕円形であってもよいし、正円形や正方形等であってもよい。
【００７７】
ROI設定部５８は、ROIの大きさを求めると、ROIの大きさを求めた旨の情報を撮像制御部５３に供給する。
【００７８】
ステップＳ１５において、撮像制御部５３は、ROI設定部５８からの情報に応じて、撮像部５１による撮像に関するパラメータとして、解像度、シャッタスピード、およびゲインを、IR画像に適した値に設定する。
【００７９】
本実施の形態においては、上述したように、IR画像においてユーザ１０が手に持つリモートコントローラ１０ａの輝点の抽出が行われる。IR画像における輝点抽出（検出）の分解能は、IR画像において設定されるROI内に含まれる画素数によって決まる。また、IR画像のROIにおける輝点の移動量に応じて、操作画面上でカーソルが移動する。ここで、ROI内に含まれる画素数が少ないと、操作画面上でのカーソルの動きが粗くなる。したがって、IR画像の解像度は、より高い解像度であることが好ましい。
【００８０】
ここでは、図９に示されるように、イメージセンサ２３のSXGA（1.3Mピクセル）画像から１画素毎にIR画素が配置されたVGAサイズのIR画像が得られるように解像度が設定される。
【００８１】
次に、IR画像について設定されるシャッタスピードおよびゲインについて、図１０を参照して説明する。
【００８２】
一般に、赤外光を発光する赤外線リモートコントローラにおいては、PPM（Pulse Position Modulation）信号の点灯・消灯（明滅）のパターンによってビット値が定義される。具体的には、図１０下段に示されるON時間TonとOFF時間Toffの長さを変えることで、ビット値が定義される。ON時間Tonにおいては、赤外線リモートコントローラのLEDが、キャリア周波数38kHzでパルス発光している。また、OFF時間Toff（信号フレームにおけるリセットタイム）の最小設定は、６msec程度とされる。本実施の形態においては、赤外線リモートコントローラのLEDは、信号フレーム長固定、OFF時間Toffが最小設定の固定パターンで発光するものとする。
【００８３】
ところで、表示制御装置１１の撮像部５１のシャッタスピードと、リモートコントローラ１０ａのLEDの発光パターンとは同期していない。したがって、撮像部５１のシャッタ開放時間Topと、リモートコントローラ１０ａのLED発光のOFF時間Toffとが一致してしまった場合、そのときのフレームのIR画像においては輝点を抽出できなくなる。
【００８４】
そこで、本実施の形態においては、撮像部５１のシャッタ開放時間Topは、リモートコントローラ１０ａのLED発光のOFF時間Toffより長く設定されるようにする。また、リモートコントローラ１０ａのLED発光のON時間Tonの半分以下程度のエネルギーしか撮像部５１のシャッタ開放時間Top内に取り込めない場合、IR画像における輝点の抽出が困難となるため、撮像部５１のシャッタ開放時間Topは、LED発光のOFF時間Toffの２倍以上であることが好ましい。
【００８５】
さらに、図４の上から３番目の、IR画素に対応するIR透過フィルタの分光特性によれば、IR透過フィルタは実際には可視光域を完全に遮光することはできず、可視光の数％はIR画素に入り込み、IR画像においてはノイズ（以下、背景ノイズという）となる。例えば、明るい外光が入り込むリビングや、白色蛍光灯が照明として用いられている部屋においては、この背景ノイズが顕著に現れる。リモートコントローラ１０ａのLEDからの赤外光は、直接イメージセンサ２３のIR画素に入射されるため、その時間当たりの入射光量は、背景ノイズを引き起こす可視光の光量よりも十分大きい。したがって、撮像部５１のシャッタ開放時間Topを必要以上に長くする必要はなく、適度に短くすることで、背景ノイズの影響を小さくすることができる。
【００８６】
そこで、本実施の形態においては、IR画像の撮像について、撮像部５１のシャッタ開放時間Topは、LED発光のOFF時間Toffの２倍以上で、かつ、可能な限り短くするように設定される。これにより、IR画像の所定フレームにおける輝点抽出のエラーを防ぐことができるとともに、背景ノイズの影響を抑えることでIR画像における輝点抽出のSNR（Signal to Noise Ratio）を向上させることができる。
【００８７】
具体的には、IR画像の数フレーム内で、撮像部５１のシャッタ開放時間Topを、例えば２×Toffを初期設定として徐々に長くしながら、IR画素の出力最大値が飽和しないシャッタスピードを設定させるとともに、ゲインを中立に設定させる。また、撮像部５１のシャッタ開放時間Topを２×Toff以上の所定の時間とした固定のシャッタスピードを設定させるようにしてもよい。
【００８８】
このように、撮像部５１による撮像における、解像度、シャッタスピード、およびゲインが、RGB画像に適した値からIR画像に適した値に切り替えられるようにできる。なお、以降の処理においては、RGB画像処理部５４は、RGB画像に対していずれの処理を行わないようにもできる。
【００８９】
図８のフローチャートに戻り、ステップＳ１６において、輝点抽出部５７は、IR画像処理部５６からの、例えば図１２に示されるIR画像において、リモートコントローラ１０ａの輝点１１０を抽出し、輝点が抽出されたIR画像を、ROI設定部５８に供給する。
【００９０】
ステップＳ１７において、ROI設定部５８は、図１３に示されるように、輝点抽出部５７からの、輝点１１０が抽出されたIR画像において、その輝点１１０が中心となるように、ステップＳ１４において大きさを求めたROI１０１を、ROI１１１として設定する。ROI設定部５８は、IR画像においてROI１１１を設定した旨の情報を、表示制御部５９に供給する。
【００９１】
ステップＳ１８において、表示制御部５９は、ROI設定部５８からの情報が供給されると、表示部６０に表示されている操作画面上の初期位置にカーソルを表示させる。ここで、操作画面上の初期位置は、操作画面の中央であってもよいし、操作画面上のメニューアイコンの配列に応じた位置であってもよい。
【００９２】
以降、フレーム毎のIR画像に対して、輝点抽出部５７によって現フレームにおけるROI内で輝点の抽出が行われ、輝点が抽出されたIR画像が、ROI設定部５８に供給される。
【００９３】
ステップＳ１９において、ROI設定部５８は、輝点抽出部５７からのIR画像（以下、現フレームIR画像ともいう）に対して、１つ前のフレームのIR画像（以下、前フレームIR画像ともいう）に対して設定したROIを設定し、ROI内に輝点が存在するか否かを判定する。
【００９４】
ステップＳ１９において、ROI内に輝点が存在すると判定された場合、処理はステップＳ２０に進み、ROI設定部５８は、前フレームIR画像における輝点の位置から、現フレームIR画像における輝点が移動したか否かを判定する。
【００９５】
ステップＳ２０において、輝点が移動していないと判定された場合、処理はステップＳ１９に戻り、次のフレームのIR画像（次フレームIR画像）に対しての処理が行われる。このとき、次フレームIR画像においては、現フレームIR画像において設定されたROIの位置と同じ位置にROIが設定されるようになる。
【００９６】
一方、ステップＳ２０において、輝点が移動したと判定された場合、処理はステップＳ２１に進む。このとき、ROI設定部５８は、IR画像（ROI）における輝点の移動量を求め、表示制御部５９に供給する。
【００９７】
ステップＳ２１において、ROI設定部５８は、現フレームIR画像において、その（移動した）輝点が中心となるように次フレームのROIを設定する。
【００９８】
ステップＳ２２において、表示制御部５９は、ROI設定部５８からの輝点の移動量に応じて、表示部６０に表示されている操作画面上のカーソルを移動させる。その後、処理はステップＳ１９に戻り、次のフレームのIR画像に対しての処理が行われる。
【００９９】
このようにして、IR画像において、輝点の追尾が行われる。
【０１００】
ここで、図１４乃至図１６を参照して、IR画像における輝点の追尾と、操作画面上のカーソルの移動について詳細に説明する。図１４は、初期状態（時刻T=T0）、すなわち、ステップＳ１８において操作画面上の初期位置にカーソルが表示されたときの、RGB画像、IR画像、および操作画面の例を示しており、図１５および図１６は、それぞれ初期状態から時刻ΔT後、時刻2ΔT後のRGB画像、IR画像、および操作画面の例を示している。なお、IR画像における輝点の追尾においては、RGB画像に対する処理は行われないが、説明のため、RGB画像をIR画像および操作画面の例に併せて示している。
【０１０１】
図１４乃至図１６の例においては、RGB画像およびIR画像のアスペクト比は４：３とされ、操作画面（表示部６０）のアスペクト比は１６：９とされる。操作画面上には、例えば、テレビジョン番組のチャンネルを選択させるためのメニューアイコンmenu1乃至menu8と、表示制御装置１１に接続される、BD（Blu-Ray（登録商標） Disc)プレーヤやDVD(Digital Versatile Disc)プレーヤ、ゲーム機等の機器を選択させるためのメニューアイコンＡ乃至Ｃが、Ｌ字型に配置されている。また、操作画面上で、Ｌ字型に配置されているメニューアイコンに囲われるようにして、テレビジョン放送番組の映像や接続される機器からの映像が表示される表示領域が配置されている。
【０１０２】
また、RGB画像において検出された顔のサイズ（検出枠１００）を、横ｈ画素、縦ｖ画素（以下、(h,v)[pix]等と表す）とすると、IR画像において設定されるROI１１１のサイズは、(2h,v)[pix]となる。さらに、操作画面（表示部６０）のサイズを、(H,V)[pix]とする。なお、IR画像におけるROIの縦横比と、操作画面の縦横比とは、異なっていてもよいし、同一としてもよい。
【０１０３】
まず、図１４に示されるように、時刻T=T0において、RGB画像における顔が検出され、検出枠１００の大きさと、IR画像における輝点１１０とに基づいてROI１１１が設定されると、初期位置としての操作画面上の中心座標(0,0)に、カーソル１２１が表示される。
【０１０４】
次に、図１５に示されるように、時刻T=T0+ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａが振られ、IR画像において、輝点１１０が、時刻T=T0の状態からベクトル(s[i],t[i])[pix]だけ移動した場合、IR画像においては、時刻T=T0の状態からベクトル(s[i],t[i])だけ移動した輝点１１０が中心となるように、ROI１１１が設定される。そして、操作画面上におけるカーソル１２１は、ROI１１１のサイズ(2h,v)と、操作画面のサイズ(H,V)とに基づいて、操作画面上の中心座標(0,0)から以下に示す座標に表示される。
【０１０５】
【数１】
【０１０６】
そして、図１６に示されるように、時刻T=T0+2ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａがさらに振られ、IR画像において、輝点１１０が、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])[pix]だけ移動した場合、IR画像においては、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])だけ移動した輝点１１０が中心となるように、ROI１１１が設定される。そして、操作画面上におけるカーソル１２１は、ROI１１１のサイズ(2h,v)と、操作画面のサイズ(H,V)とに基づいて、操作画面上の中心座標(0,0)から以下に示す座標に表示される。
【０１０７】
【数２】
【０１０８】
図８のフローチャートに戻り、ステップＳ１９において、ROI内に輝点が存在しないと判定された場合、処理はステップＳ２３に進み、ROI設定部５８は、ROIを拡張する。その後、処理はステップＳ１９に戻る。これにより、何らかの理由で、現フレームIR画像における輝点が、前フレームIR画像において設定されたROIの外側に存在するような場合でも、処理を継続させることができる。また、ステップＳ２３の処理が、例えば５回等の複数回繰り返された場合、オペレータが移動した可能性があるので、処理はステップＳ１１の中立状態である監視モードに戻るようにして、オペレータの位置をリセットするようにしてもよい。
【０１０９】
以上の処理によれば、RGB画像におけるユーザの顔のサイズに応じて決められたROIが、IR画像における輝点を常に中心として設定され、ROI内での輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置からユーザまでの距離を直接求めることなく、また、ユーザまでの距離によらず、ユーザがストレスに感じない程度の腕のストローク量で、操作画面上のカーソルを隅から隅まで移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
【０１１０】
また、IR画像において輝点を抽出する際に、IR画像全体から輝点を検索して抽出するのではなく、１つ前のフレームのIR画像において設定されたROI内から輝点を検索して抽出するようにしたので、フレーム毎の輝点の抽出にかかる処理コストを大幅に軽減することができる。特に、輝点の位置はリアルタイムで検出される必要があるので、一般的なデジタルビデオカメラと同等の15fps以上のフレームレートが必要となるが、30fps乃至60fpsレベルの高フレームレート対応のイメージセンサを用いるようにして、低コストのCPUパワーであっても、時間応答性の高いユーザインタフェースを提供することが可能となる。
【０１１１】
さらに、視聴者の視聴状態を監視するための監視カメラの機能と、リモートコントローラの赤外光のスポットを撮像する赤外線カメラの機能とを、１つの撮像部５１、すなわち単眼のカメラシステムで実現するようにしたので、得られるRGB画像およびIR画像において視差が生じることがなく、同時性を確保することができるようになる。
【０１１２】
また、RGB画像に対する処理とIR画像に対する処理とは、シリアルに行われるので、解像度、シャッタスピード、およびゲインを、RGB画像およびIR画像のそれぞれに適した値に設定することができるとともに、RGB画像についての情報と、IR画像についての情報とを相補的に用いたシステムを構成することができる。
【０１１３】
［RGB画素とIR画素の出力の例］
ここで、表示制御装置１１の表示部６０（ディスプレイ１１ｂ，２９）の画面サイズが、大型でない場合、具体的には、視聴距離が３ｍ以内と想定される３２インチ以下の画面サイズである場合を考える。
【０１１４】
この場合、操作画面上には、それほど多くのメニューアイコンを配列することはできないので、IR画像の解像度は、図６で説明した解像度より粗くても十分である。
【０１１５】
すなわち、この場合、イメージセンサ２３の前面に配置されるカラーフィルタアレイ２３ａの配列を、図１７に示される配列にしてもよい。図１７のカラーフィルタアレイ２３ａは、ベイヤ配列における４画素を１つの画素ユニットとしたときの、４画素ユニットのうちの１画素ユニットが、IR透過フィルタで構成される。IR画素は、その画素数はVGAとなるが、２画素毎に配置されることになり、図６で示される配列より空間分解能は粗くなる。なお、図１７の例の場合、イメージセンサ２３においては、1.3M（SXGA）のうちの約1.2M（1240×960）の画素が使用されるものとする。
【０１１６】
図１７の例においては、IR画像は、１画素ユニットのIR画素が間引きされて出力される（出力ａ）。RGB画像は、１画素ユニットのIR画素の対角線上に位置するRGB画素の画素ユニットが抽出され出力されるか（出力ｂ）、または、４画素加算されて、RGB画素にIR画素が１／４混ざって出力される（出力ｃ）。得られるRGB画像およびIR画像の解像度は、いずれもVGAとなる。
【０１１７】
図１７に示されるカラーフィルタアレイ２３ａの配列により、IR透過フィルタの面積を大きくすることができるようになる。イメージセンサ２３におけるセルのサイズが、1.5μｍ程になった場合、Ｒ，Ｇ，Ｂのカラーフィルタと比較して約２倍の膜厚を有するIR透過フィルタは、製造プロセスにおいて剥がれやすくなる恐れがある。そこで、IR透過フィルタの面積を大きくすることで、安定したIR透過フィルタを形成することが可能となる。
【０１１８】
また、RGB画素について、画素出力を図１７の出力ｂとした場合、RGB画素とIR画素との間の相互干渉を最も軽微にすることができ、画素出力を図１７の出力ｃとした場合、IR画素によるノイズが含まれるが、出力ｂと比較して、RGB画素の出力が３倍となり、低照度の環境下での顔検出に有利となる。
【０１１９】
ところで、監視カメラの機能として必要な機能が顔検出のみである場合、顔検出の対象となる画像において、色情報は必要とされない。そこで、カラーフィルタアレイ２３ａにおけるＲ，Ｇ，Ｂのカラーフィルタを、可視光域を全て透過するようにして、そのカラーフィルタに対応する画素をホワイト画素とすることで、RGB画像に代えて白黒画像を得るようにしてもよい。
【０１２０】
図１８は、図６で示された画素出力において、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素をホワイト画素とした画素出力の例を示している。ここでは、説明を簡単にするために、画素数は1.2Mとする。図１８の例によれば、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）に対応するホワイト画素を間引きした出力をデモザイクして得られる白黒画像と、Ｇｒ（またはＧｂ）画素（IR画素）を間引きした出力をデモザイクして得られるIR画像が得られるようになる。このようにして得られる白黒画像の感度は、Ｒ，Ｇ，Ｂのカラーフィルタによる減衰がないので、RGB画像のおよそ３倍となる。また、図１８の例においては、イメージセンサ２３の解像度が1.2Mであるとされ、白黒画像およびIR画像の解像度はそれぞれ1.2M，VGAとされる。
【０１２１】
図１９は、図９で示された画素出力において、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素をホワイト画素とした画素出力の例を示している。ここでも、説明を簡単にするために、画素数は1.2Mとする。図１９の例によれば、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）に対応するホワイト画素が４画素加算されて出力される。この場合、４画素セル中３画素セルをホワイト画素の出力として用いることができるので、白黒画像の感度は、さらに３倍され、RGB画像のおよそ９倍となる。したがって、一層暗い照明環境にユーザ１０と表示制御装置１１とが置かれている場合でも、ロバストな顔検出を行うことができるようになる。
【０１２２】
図２０は、図１７で示された画素出力において、Ｒ，Ｇ，Ｂ画素をホワイト画素とした画素出力の例を示している。図２０の例においても、図１７の例と同様の効果が得られるとともに、RGB画像と比較して感度の高い白黒画像が得られるようになる。
【０１２３】
ところで、以上においては、表示制御装置によって視聴状態が監視されるユーザ（視聴者）が１人の場合のカーソル表示制御処理について説明したが、表示制御装置によって視聴状態が監視されるユーザが１人であるとは限らない。そこで、以下においては、表示制御装置によって視聴状態が監視されるユーザが複数である場合のカーソル表示制御処理について説明する。
【０１２４】
＜２．第２の実施の形態＞
［表示制御装置の機能構成例］
図２１は、本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示している。
【０１２５】
なお、図２１の表示制御装置２１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１２６】
すなわち、図２１の表示制御装置２１１において、図７の表示制御装置１１と異なるのは、顔検出部５５に代えて、顔検出部２５１を設けた点である。
【０１２７】
顔検出部２５１は、図７の顔検出部５５と同様の機能を備える他、特定部２５１ａを備えている。特定部２５１ａは、RGB画像処理部５４からのRGB画像において検出された顔が複数存在する場合、IR画像処理部５６からIR画像を取得し、そのIR画像とRGB画像とに基づいて、オペレータとしてのユーザを特定する。
【０１２８】
［カーソル表示制御処理について］
次に、図２２のフローチャートを参照して、図２１の表示制御装置２１１によるカーソル表示制御処理について説明する。
【０１２９】
なお、図２１のフローチャートのステップＳ１１１乃至Ｓ１１３，Ｓ１１７乃至Ｓ１２６の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１４乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
【０１３０】
すなわち、ステップＳ１１４において、顔検出部２５１は、ステップＳ１１３で、RGB画像処理部５４からのRGB画像において検出された顔が複数存在するか否かを判定する。
【０１３１】
例えば、図２３に示されるように、RGB画像において、２人のユーザ１０Ａ，１０Ｂの顔が検出された場合、検出されたそれぞれの顔に対して検出枠１００Ａ，１００Ｂが設定される。顔検出部２５１は、検出枠が複数設定されたか否かを判定することで、顔が複数存在するか否かを判定する。
【０１３２】
ステップＳ１１４において、顔が複数存在すると判定された場合、処理はステップＳ１１５に進み、顔検出部２５１は、IR画像処理部５６から、顔が検出されたRGB画像のフレームと同時刻のフレームのIR画像を取得する。
【０１３３】
ステップＳ１１６において、顔検出部２５１の特定部２５１ａは、RGB画像における顔の位置と、IR画像における輝点の位置とに基づいて、リモートコントローラ１０ａのオペレータであるユーザを特定する。
【０１３４】
具体的には、図２４に示されるように、特定部２５１ａは、IR画像処理部５６から取得されたIR画像において輝点１１０を抽出するとともに、RGB画像に対して設定された検出枠１００Ａ，１００Ｂを、IR画像の対応する位置に設定する。そして、特定部２５１ａは、IR画像において、輝点１１０と、検出枠１００Ａ，１００Ｂの中心位置との距離を算出し、その距離が最も小さい検出枠１００Ａに対応するユーザ１０Ａを、リモートコントローラ１０ａのオペレータとして特定する。その後、特定部２５１ａは、特定されたユーザ１０Ａの顔（検出枠１００Ａ）の、RGB画像上のサイズをROI設定部５８に供給する。
【０１３５】
以上の処理によれば、RGB画像におけるユーザが複数であっても、オペレータとしてのユーザを特定し、特定されたそのユーザの顔のサイズに応じて決められたROIが、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置から複数のユーザそれぞれまでの距離を求めることなく、また、オペレータとしてのユーザまでの距離によらず、ユーザの腕のストローク量の分だけ、操作画面上のカーソルを移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
【０１３６】
以上においては、RGB画像に対する処理とIR画像に対する処理とがシリアルに行われる構成について説明してきた。この構成は、視聴者の視聴状態を監視するカメラシステムにフリーカーソル型のユーザインタフェースを適用した構成に適用することができる。
【０１３７】
以下においては、インターネット等のネットワークを介してビデオコミュニケーションを行うカメラシステムにフリーカーソル型のユーザインタフェースを適用した構成に、本技術を適用する例について説明する。
【０１３８】
＜３．第３の実施の形態＞
［表示制御装置の機能構成例］
図２５は、本技術を適用した表示制御装置の第３の実施の形態の機能構成例を示している。
【０１３９】
なお、図２５の表示制御装置３１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１４０】
すなわち、図２５の表示制御装置３１１において、図７の表示制御装置１１と異なるのは、IR差分画像生成部３５１を新たに設け、輝点抽出部５７に代えて、輝点抽出部３５２を設けた点である。
【０１４１】
IR差分画像生成部３５１は、１フレーム前のIR画像（前フレームIR画像）を保持するバッファを備え、IR画像処理部５６からのIR画像（現フレームIR画像）と、バッファに保持されている前フレームIR画像との差分であるIR差分画像を生成する。IR差分画像生成部３５１は、生成したIR差分画像と現フレームIR画像とを、輝点抽出部３５２に供給する。
【０１４２】
輝点抽出部３５２は、IR差分画像生成部３５１からのIR差分画像から輝点を抽出し、輝点が抽出されたIR差分画像を、現フレームIR画像とともにROI設定部５８に供給する。
【０１４３】
なお、本実施の形態においては、RGB画像に対する処理（ビデオコミュニケーションのための処理）とIR画像に対する処理（輝点の追尾のための処理）とはパラレルに行われる。したがって、画素出力として、間引きと画素加算とを併用することはハードウェア構成上困難である。また、ビデオコミュニケーションを行うカメラシステムにおいては、通常のデジタルカメラと同様に高画質な画像が求められる。以上のことから、本実施の形態においては、解像度が、RGB画像に適した値のみに設定されるとともに、図２６に示されるように、シャッタスピードおよびゲインも、RGB画像に適した値のみに設定されるようになる。
【０１４４】
［カーソル表示制御処理について］
次に、図２７のフローチャートを参照して、図２５の表示制御装置３１１によるカーソル表示制御処理について説明する。
【０１４５】
なお、図２７のフローチャートのステップＳ２２１乃至Ｓ２２４，Ｓ２２８乃至Ｓ２３３の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１４，Ｓ１８乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
【０１４６】
すなわち、ステップＳ２２５において、IR差分画像生成部３５１は、IR画像処理部５６からの現フレームIR画像と、バッファに保持されている前フレームIR画像を基に、IR差分画像を生成し、現フレームIR画像とともに輝点抽出部３５２に供給する。
【０１４７】
ステップＳ２２６において、輝点抽出部３５２は、IR差分画像生成部３５１からのIR差分画像において輝点を抽出し、輝点が抽出されたIR差分画像を、現フレームIR画像とともにROI設定部５８に供給する。
【０１４８】
ステップＳ２２７において、ROI設定部５８は、輝点抽出部３５２からのIR差分画像において抽出された輝点に基づいて、現フレームIR画像における輝点を特定し、現フレームIR画像において、その輝点が中心となるように、ステップＳ２２４で大きさが求められたROIを設定する。
【０１４９】
このようにして、IR差分画像に基づいた輝点の抽出が行われることにより、IR画像における輝点の追尾が行われる。
【０１５０】
ここで、図２８乃至図３０を参照して、IR差分画像に基づいた輝点の抽出が行われることによる、IR画像における輝点の追尾について詳細に説明する。図２８は、初期状態（時刻T=T0）、すなわち、最初のフレームのRGB画像およびIR画像の例を示しており、図２９および図３０は、それぞれ初期状態から時刻ΔT後、時刻2ΔT後のRGB画像、IR画像、およびIR差分画像の例を示している。なお、IR画像における輝点の追尾においては、RGB画像に対する処理は行われないが、説明のため、RGB画像をIR画像およびIR差分画像の例に併せて示している。
【０１５１】
通常、ビデオコミュニケーションを行うカメラシステムは、屋内に設置されているので、図２８乃至図３０のRGB画像には、屋内に設けられている照明による光や、屋外からの光が鏡等で反射した反射光等を放つ光源３８１が存在する。したがって、図２８乃至図３０のIR画像には、ユーザ１０が手に持つリモートコントローラ１０ａのLEDによる輝点１１０の他に、RGB画像における光源３８１に対応する光源３９１が存在するようになる。光源３９１は、RGB画像に適したシャッタスピードで撮像されたIR画像において、可視光域の大きな光量入射による画素出力の結果によるものであり、その画素出力は、リモートコントローラ１０ａのLEDの赤外光による画素出力と同等またはそれ以上のものとされる。
【０１５２】
まず、図２８に示されるように、時刻T=T0においては、IR画像において、輝点１１０と光源３９１のいずれが、リモートコントローラ１０ａのLEDの赤外光によるものかを判定することはできず、したがって、IR画像においてROIを設定することができない。
【０１５３】
次に、図２９に示されるように、時刻T=T0+ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａが振られ、IR画像において、輝点１１０が、時刻T=T0の状態からベクトル(s[i],t[i])だけ移動したとする。このとき、時刻T=T0+ΔTにおける現フレームIR画像と、時刻T=T0における前フレームIR画像とから、IR差分画像が生成される。ここで、IR差分画像において、差分値がマイナスとなる画素については、その差分値を０とする。したがって、IR差分画像においては、動きのない光源３９１は差分によって相殺され、ユーザ１０に振られたことにより移動したリモートコントローラ１０ａのLEDの赤外光による輝点１１０のみが存在するようになる。これにより、IR差分画像において、輝点が抽出されるようになる。そして、IR画像においては、IR差分画像において抽出された輝点１１０が中心となるように、ROI１１１が設定される。
【０１５４】
そして、図３０に示されるように、時刻T=T0+2ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａがさらに振られ、IR画像において、輝点１１０が、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])だけ移動したとする。このとき、時刻T=T0+2ΔTにおける現フレームIR画像と、時刻T=T0+ΔTにおける前フレームIR画像とから、IR差分画像が生成される。なお、このとき、IR差分画像を生成するためのフレーム差分処理は、時刻T=T0+ΔTにおいて設定されたROI１１１に対応する領域のみに対して行われればよい。そして、IR差分画像において、輝点１１０が抽出され、IR画像において、IR差分画像において抽出された輝点１１０が中心となるように、ROI１１１が設定される。
【０１５５】
以上の処理によれば、本技術を、ビデオコミュニケーションを行うカメラシステムに適用した場合であっても、RGB画像におけるユーザの顔のサイズに応じて決められたROIが、IR差分画像に基づいて抽出された、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置からユーザまでの距離を求めることなく、また、ユーザまでの距離によらず、ユーザがストレスに感じない程度の腕のストローク量で、操作画面上のカーソルを移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
【０１５６】
また、本実施の形態においては、RGB画像に対する処理とIR画像に対する処理とはパラレルに行われることにより、シャッタスピードがRGB画像に適した値のみに設定される。すなわち、RGB画像において感度を得るためにシャッタ開放時間が長くなるので、明るい外光が入り込むリビングや、白色蛍光灯が照明として用いられている部屋における背景ノイズにより、IR画像における輝点抽出のSNRが低下するが、IR差分画像による動き検出によって、確実に輝点を抽出することができる。これにより、ユーザは、ビデオコミュニケーションを行いながら、並行して操作画面上のカーソル操作を行うことが可能となる。
【０１５７】
なお、図２５の表示制御装置３１１において、顔検出部５５に代えて、図２１の顔検出部２５１を設けることで、ユーザが複数であっても、上述した効果と同等の効果を得ることが可能となる。
【０１５８】
ところで、以上においては、上述で説明した表示制御装置によって提供されるフリーカーソル型のユーザインタフェースをユーザが用いる際、ユーザの腕のストローク量を、ユーザの顔サイズを基準として（例えば、顔サイズの２倍として）、必要な腕のストローク量が距離に依存しないユーザインタフェースを提供するようにした。しかしながら、実際、ユーザの多くは、リモートコントローラを、無意識にレーザポインタのようにして扱い、操作する。すなわち、ユーザは、表示制御装置までの距離に応じた腕のストロークで、リモートコントローラを扱うことが考えられる。具体的には、表示制御装置（ディスプレイ）までの距離が小さいときは、ユーザの腕のストローク量は小さくなり、ディスプレイまでの距離が大きいときは、ユーザの腕のストローク量は大きくなることが考えられる。このような場合、ROIの大きさは、表示制御装置とユーザとの距離に応じた大きさ、言い換えれば、ユーザの腕のストローク量に応じた大きさとなることが好ましい。
【０１５９】
そこで、以下においては、表示制御装置とユーザとの距離に応じて、ROIの大きさを求める構成について説明する。
【０１６０】
＜４．第４の実施の形態＞
［表示制御装置の機能構成例］
図３１は、本技術を適用した表示制御装置の第４の実施の形態の機能構成例を示している。
【０１６１】
なお、図３１の表示制御装置４１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１６２】
すなわち、図３１の表示制御装置４１１において、図７の表示制御装置１１と異なるのは、距離算出部４５１を新たに設け、ROI設定部５８に代えて、ROI設定部４５２を設けた点である。
【０１６３】
距離算出部４５１は、顔検出部５５によって検出された、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離を算出し、算出した距離をROI設定部４５２に供給する。
【０１６４】
ROI設定部４５２は、距離算出部４５１からの、表示制御装置４１１とユーザとの距離に基づいて、ROIの大きさを求める。また、ROI設定部４５２は、輝点抽出部５７からの、輝点が抽出されたIR画像において、その輝点が中心となるように、大きさを求めたROIを設定する。そして、ROI設定部４５２は、設定したROIにおいて輝点が移動したとき、ROIにおける輝点の移動量を、表示制御部５９に供給する。
【０１６５】
［カーソル表示制御処理について］
次に、図３２のフローチャートを参照して、図３１の表示制御装置４１１によるカーソル表示制御処理について説明する。
【０１６６】
なお、図３２のフローチャートのステップＳ３１１乃至Ｓ３１３，Ｓ３１６乃至Ｓ３２４の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１５乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
【０１６７】
すなわち、ステップＳ３１４において、距離算出部４５１は、顔検出部５５からの、RGB画像における、オペレータとしてのユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離を算出し、算出した距離をROI設定部４５２に供給する。
【０１６８】
ここで、撮像部５１によって撮像されているユーザは１人であり、そのユーザが手に持つリモートコントローラのLEDおよびユーザの顔の、距離方向の位置は同一であるものとする。また、撮像部５１の水平視野角および垂直視野角をそれぞれFOVx，FOVyとし、イメージセンサ２３の画素数をPx×Pyとする。さらに、RGB画像において検出されたユーザの顔（検出枠）のサイズを(h,v)[pix]とし、平均的な人の顔の実サイズを横BLx[mm]、縦Bly[mm]とする。なお、簡単のために、RGB画像において検出された顔のサイズを、水平方向（横方向）の１次元のみで扱うものとする。
【０１６９】
まず、平均的な人の顔の実サイズBLxを基準にすると、１pix（ピクセル）当たりの顔の実サイズはBLx/hとなるので、水平方向の視野サイズは以下のように表される。
【０１７０】
【数３】
【０１７１】
一方、表示制御装置４１１とユーザとの距離が、距離Ｄであるときの水平方向の視野サイズは以下のように表される。
【０１７２】
【数４】
【０１７３】
したがって、表示制御装置４１１とユーザとの距離Ｄは、以下の式（１）で表される。
【０１７４】
【数５】
・・・（１）
【０１７５】
このようにして、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離Ｄが算出される。
【０１７６】
図３２のフローチャートに戻り、ステップＳ３１５において、ROI設定部４５２は、距離算出部４５１からの、表示制御装置４１１とユーザとの距離Ｄに基づいて、ROIの大きさを求める。
【０１７７】
例えば、ROIの大きさは、距離Ｄの関数として予め定められており、距離算出部４５１によって算出された距離Ｄに応じて、ROIの大きさが決定される。また、ROIの大きさと距離Ｄとを対応付けたテーブルを予め用意し、そのテーブルに基づいて、ROIの大きさが決定されるようにしてもよい。なお、距離Ｄの関数や、ROIの大きさと距離Ｄとを対応付けたテーブルは、ユーザインタフェースの操作性を考慮して与えられるものとする。例えば、操作画面のサイズが40インチであるとして、距離Ｄが１ｍ程度と小さい場合には、ROIの大きさを顔サイズの１倍とし、距離Ｄが５ｍ程度と大きい場合には、ROIの大きさを顔サイズの４倍とすることで、上述したような、ユーザの無意識な操作における腕のストロークに整合した操作性が得られるようになる。この場合、ROIの大きさは、操作画面のサイズおよび距離Ｄを基に決定される。
【０１７８】
以上の処理によれば、RGB画像におけるユーザの顔のサイズに基づいて算出された、表示制御装置とユーザとの距離に応じて大きさが決められたROIが、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。これにより、表示制御装置とユーザとの距離が変化した場合であっても、ユーザに違和感を与えることなく、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
【０１７９】
なお、図３２の表示制御装置４１１において、顔検出部５５に代えて、図２１の顔検出部２５１を設けることで、ユーザが複数であっても、上述した効果と同等の効果を得ることが可能となる。
【０１８０】
また、図３２の表示制御装置４１１において、図２５のIR差分画像生成部３５１を新たに設け、輝点抽出部５７に代えて、図２５の輝点抽出部３５２を設けることで、ビデオコミュニケーションを行うカメラシステムに適用するようにしてもよい。
【０１８１】
ところで、上述した表示制御装置の撮像部は単焦点カメラとして構成されるので、図３３に示されるように、表示制御装置とユーザ（リモートコントローラ）との距離が小さいとき（図中、左側）と、表示制御装置とユーザとの距離が大きいとき（図中、右側）とでは、IR画像に設定されるROI内に含まれる画素数が異なる。具体的には、表示制御装置とユーザとの距離が大きい程、ROI内に含まれる画素数は少なくなる。
【０１８２】
ここで、操作画面上のカーソルの動きの滑らかさは、ROI内に含まれる画素数によるので、表示制御装置とユーザとの距離が大きい程、操作画面上のカーソルの動きはカクカクしたものとなる。したがって、表示制御装置とユーザとの距離が大きいときに、操作画面上に多くのメニューアイコンが配列されている場合（すなわち、操作画面に対するメニューアイコンの大きさが小さい場合）、ユーザが所望のメニューアイコンを正確に選択することができず、操作性が低下してしまう。
【０１８３】
そこで、以下においては、表示制御装置とユーザとの距離に応じて、操作画面上のメニューアイコンの大きさを変える構成について説明する。
【０１８４】
＜５．第５の実施の形態＞
［表示制御装置の機能構成例］
図３４は、本技術を適用した表示制御装置の第５の実施の形態の機能構成例を示している。
【０１８５】
なお、図３４の表示制御装置５１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１８６】
すなわち、図３４の表示制御装置５１１において、図７の表示制御装置１１と異なるのは、距離算出部５５１を新たに設け、表示制御部５９に代えて、表示制御部５５２を設けた点である。
【０１８７】
距離算出部５５１は、顔検出部５５によって検出された、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置５１１とユーザとの距離を算出し、算出した距離を表示制御部５５２に供給する。
【０１８８】
表示制御部５５２は、距離算出部５５１からの、表示制御装置５１１とユーザとの距離に基づいて、操作画面上のメニューアイコンの大きさを決定し、表示部６０に表示させる。
【０１８９】
［カーソル表示制御処理において］
次に、図３５のフローチャートを参照して、図３４の表示制御装置５１１によるカーソル表示制御処理について説明する。
【０１９０】
なお、図３５のフローチャートのステップＳ４１１乃至Ｓ４１７，Ｓ４２０乃至Ｓ４２５の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１７，Ｓ１８乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
【０１９１】
すなわち、ステップＳ４１８において、距離算出部５５１は、顔検出部５５からの、RGB画像における、オペレータとしてのユーザの顔のサイズに基づいて、表示制御装置５１１とユーザとの距離を算出し、算出した距離を表示制御部５５２に供給する。具体的には、表示制御装置５１１とユーザとの距離は、上述した式（１）によって算出される。
【０１９２】
ステップＳ４１９において、表示制御部５５２は、距離算出部５５１からの、表示制御装置５１１とユーザとの距離に基づいて、操作画面上のメニューアイコンの大きさを決定し、表示部６０に表示させる。具体的には、表示制御部５５２は、図３６に示されるように、表示制御装置５１１とユーザとの距離が大きい程、操作画面上のメニューアイコンを大きくして、表示部６０に表示させる。このとき、（ROI内の画素数）／（操作画面上のメニューアイコンの数）が一定の値となるように、操作画面上のメニューアイコンの数が設定される。
【０１９３】
ここで、簡単のために、RGB画像において検出された顔のサイズを、水平方向（横方向）の１次元のみで扱うものとして、例えば、イメージセンサ２３の解像度をVGA（Px=640，Py=480）、撮像部５１の水平視野角FOVxを60°、平均的な人の顔の実サイズBLxを150mmとする。このとき、表示制御装置５１１とユーザとの距離Ｄが５ｍである場合の、RGB画像上の顔のサイズｈは、上述した式（１）より、ｈ＝１６（ピクセル）となる。ここで、ユーザの腕のストローク量が顔のサイズの２倍とすると、RGB画像上のユーザの腕のストローク量は最大で３２ピクセル分となる。このとき、表示制御部５５２は、操作画面上のメニューアイコン１つ分（横の長さ）に対応するRGB画像（IR画像）上の画素数を１０ピクセルとし、操作画面上に、横方向に３つのメニューアイコンを表示させる。
【０１９４】
メニューアイコン１つ分に対応するRGB画像上の画素数を１０ピクセルとしたのは、IR画像におけるリモートコントローラ１０ａの輝点抽出の誤差（最小で１ピクセル分）によるカーソルの表示位置の誤りが、ユーザによるメニューアイコンの選択に影響を与えないようにするためである。
【０１９５】
同様にして、表示制御装置５１１とユーザとの距離Ｄが２ｍである場合には、操作画面上に、横方向に８つのメニューアイコンが表示されるようになる。
【０１９６】
図３７および図３８は、表示制御装置５１１とユーザとの距離に対する、ROIの水平方向の大きさ（ROI_x）およびメニューアイコン数を計算した結果を示している。図３７は、イメージセンサ２３の解像度がVGAの場合の計算結果を示しており、図３８は、イメージセンサ２３の解像度がQuad-VGAの場合の計算結果を示している。なお、メニューアイコン数の最大値は１５に制限されているものとする。
【０１９７】
例えば、４０インチを超える大型のテレビジョン受像機の平均的な視聴距離を３ｍとして、撮像部５１のイメージセンサ２３として解像度がQuad-VGAのものを適用した場合には、図３８に示されるように、操作画面上、水平方向に１０個程度のメニューアイコンが配列されるようになる。また、視聴距離を５ｍとした場合には、操作画面上、水平方向に６個のメニューアイコンが配列されるようになる。
【０１９８】
このように、表示制御装置５１１とユーザとの距離が大きくなる程、メニューアイコン数が少なくなるように、言い換えれば、メニューアイコンの１つ１つが大きくなるように、操作画面が表示されるので、ユーザが所望のメニューアイコンを正確に選択することができるようになり、ユーザの操作性を向上させることができる。
【０１９９】
また、表示制御装置５１１とユーザとの距離が大きくなる程、メニューアイコンの１つ１つが大きく表示されるようになるので、ユーザの視認性も向上し、より操作性を向上させることができるようになる。
【０２００】
なお、本技術の表示制御装置において、フリーカーソルを操作するためのリモートコントローラ（フリーカーソル用リモートコントローラ）と、他の電子機器を操作するための赤外線リモートコントローラ（電子機器用リモートコントローラ）とを区別する手段を設けるようにして、混信を防ぐようにしてもよい。例えば、フリーカーソル用リモートコントローラのLEDの波長を、電子機器用リモートコントローラのLEDの波長と異なる波長とする等してもよい。具体的には、フリーカーソル用リモートコントローラのLEDの波長を850nmとし、図４の上から２番目に示される特殊フィルタ２２の分光特性を850nmに透過帯を持つようにする。電子機器用リモートコントローラのLEDの波長が940nmであるとすると、光学的な混信を防止することが可能となる。
【０２０１】
さらに、本技術の表示制御装置において、フリーカーソルを操作するためのリモートコントローラのLEDから発光される赤外光の波長と同一波長の赤外光を発光するLED光源を照明として設けるようにしてもよい。これにより、感度不足により不可能であった暗所での視聴状態の監視が可能となる。
【０２０２】
また、第２乃至第４の実施の形態においても、図１７乃至図２０を参照して説明した画素出力を適用するようにしてもよい。
【０２０３】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２０４】
図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０５】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２０６】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２０７】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０８】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２０９】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２１０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１２】
さらに、本技術は以下のような構成をとることができる。
（１） レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部と
を備える表示制御装置。
（２） 前記領域設定部は、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とする
（１）に記載の表示制御装置。
（３） 前記可視光画像において被写体の顔を検出する顔検出部をさらに備え、
前記領域設定部は、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
（２）に記載の表示制御装置。
（４） 前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、１の前記被写体を特定する特定部をさらに備え、
前記領域設定部は、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
（３）に記載の表示制御装置。
（５） 前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
前記領域設定部は、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
（２）または（３）に記載の表示制御装置。
（６） 前記領域設定部は、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
（５）に記載の表示制御装置。
（７） 前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに備える
（１）乃至（６）のいずれかに記載の表示制御装置。
（８） 前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに備える
（１）乃至（６）のいずれかに記載の表示制御装置。
（９） 異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに備え、
前記領域設定部は、前記差分画像において動きのある赤外光光源の移動領域を設定する
（８）に記載の表示制御装置。
（１０） 前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
前記表示制御部は、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させる
（１）乃至（３）のいずれかに記載の表示制御装置。
（１１） 前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
（１）乃至（１０）のいずれかに記載の表示制御装置。
（１２） 前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力される
（１１）に記載の表示制御装置。
（１３） 前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
（１）乃至（１０）のいずれかに記載の表示制御装置。
（１４） 前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、
前記撮像部は、前記赤外光光源の赤外光の波長を透過帯とするフィルタを備える
（１）乃至（１１）のいずれかに記載の表示制御装置。
（１５） レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
含む表示制御方法。
（１６） レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムにおいて、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２１３】
１１ 表示制御装置， ２１ レンズ， ２２ 特殊フィルタ， ２３ イメージセンサ， ２３ａ カラーフィルタアレイ， ５３ 撮像制御部， ５４ RGB画像処理部， ５５ 顔検出部， ５６ IR画像処理部， ５７ 輝点抽出部， ５８ ROI設定部， ５９ 表示制御部， ６０ 表示部
【技術分野】
【０００１】
本技術は、表示制御装置および方法、並びにプログラムに関し、特に、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることができるようにする表示制御装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年のデジタルテレビジョン受像機においては、放送映像以外に表示される情報や操作項目が増えたことにより、リモートコントローラの操作ボタンの数が増えてしまい、操作が煩雑になっている。
【０００３】
そこで、デジタルカメラのレンズ部分に、可視光を遮断し近赤外光を透過する赤外線透過フィルタを設けることで、オペレータが手に持つリモートコントローラの近赤外光のスポットを撮像し、オペレータの手の動きに連動してディスプレイ上のカーソルを動かすことにより、ディスプレイ上のメニューアイコン等を選択させるようにした、フリーカーソル型のユーザインタフェースが提案されている（例えば、特許文献１参照）。
【０００４】
また、近年、パーソナルコンピュータやテレビジョン受像機といったディスプレイを備える表示装置にデジタルカメラを搭載することで、インターネット等のネットワークを介して、ユーザがディスプレイを通じて遠方の人と会話する、いわゆるビデオコミュニケーションを行うようにしたものや、視聴者の視聴状態を監視し、長時間ディスプレイの前にいない場合には電源を切るような省エネルギー対応の機能を付加したしたものがある。
【０００５】
このような表示装置に、上述した特許文献１のフリーカーソル型のインタフェースを適用することを考えたとき、リモートコントローラの赤外光のスポットを撮像する赤外線カメラ（以下、単に、カメラという）として、光学ズーム機能がないが、低コスト化が可能な単焦点カメラを用いた場合、カメラからオペレータまでの距離が大きくなるに従って、カメラの撮像領域が広くなる。すなわち、カメラからオペレータまでの距離に応じて、カメラの撮像領域とディスプレイのサイズの比が変化し、オペレータがリモートコントローラを手に持ってカーソルを操作する際に必要な腕のストローク量が変化することになる。
【０００６】
オペレータの腕のストローク量は、操作性の観点から、カメラからオペレータまでの距離に依らず一定であることが望ましい。そこで、カメラとオペレータとの距離に応じて、カメラによって撮像された画像上の赤外光のスポットの変位量と、ディスプレイ上に表示されるカーソルの変位量との比（倍率）を変化させることが提案されている（例えば、特許文献２参照）。
【０００７】
この場合、カメラとオペレータとの距離を正確に求めることが要求されるが、特許文献２においては、リモートコントローラの赤外光の強度が距離の２乗に反比例して変化することを用いて、カメラとオペレータ（リモートコントローラ）との距離が求められている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平６−５９８０７号公報
【特許文献２】特開平６−７５６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献２の手法では、リモートコントローラにおいて赤外光を発光するLED（Light Emitting Diode）を駆動する電池残量の経時変化等によって、赤外光の強度が変化する。さらに、オペレータがリモートコントローラをカメラに対して角度をつけて振った場合にも、赤外光の強度が著しく変化する。このように、カメラとオペレータとの距離を正確に求めるのは困難であり、赤外光の強度から、カメラとオペレータとの距離を正確に求めるには、カメラの正面にリモートコントローラを正対させて、その都度キャリブレーションを行う必要があり、ユーザにとっては面倒である。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の表示制御装置は、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部とを備える。
【００１２】
前記領域設定部には、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とさせることができる。
【００１３】
前記表示制御装置には、前記可視光画像において被写体の顔を検出する顔検出部をさらに設け、前記領域設定部には、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
【００１４】
前記表示制御装置には、前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、赤外光を発光するリモートコントローラを操作する前記被写体を特定する特定部をさらに設け、前記領域設定部には、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
【００１５】
前記表示制御装置には、前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに設け、前記領域設定部には、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
【００１６】
前記領域設定部には、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定させることができる。
【００１７】
前記表示制御装置には、前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに設けることができる。
【００１８】
前記表示制御装置には、前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに設けることができる。
【００１９】
前記表示制御装置には、異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに設け、前記領域設定部には、前記差分画像において動きのある赤外光光源の移動領域を設定させることができる。
【００２０】
前記表示制御装置には、前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに設け、前記表示制御部には、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させることができる。
【００２１】
前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたとき、２×２（＝４）ユニットのうちの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力されるようにすることができる。
【００２２】
前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力されるようにすることができる。
【００２３】
前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたとき、２×２（＝４）ユニットのうちの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力されるようにすることができる。
【００２４】
前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、前記撮像部には、前記赤外光光源の赤外光の波長を透過帯とするフィルタを設けることができる。
【００２５】
本技術の一側面の表示制御方法は、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップとを含む。
【００２６】
本技術の一側面のプログラムは、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムであって、前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップとを含む処理をコンピュータに実行させる。
【００２７】
本技術の一側面においては、レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像が出力され、可視光画像に基づいて、赤外光画像における赤外光光源の移動領域が設定され、移動領域内での赤外光光源の移動に応じて、表示部上のカーソル移動量が制御される。
【発明の効果】
【００２８】
本技術の一側面によれば、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本技術を適用した表示制御装置の第１の実施の形態の外観構成を示す図である。
【図２】表示制御装置のハードウェア構成例を示すブロック図である。
【図３】撮像部の構成の詳細について説明する図である。
【図４】撮像部の分光特性について説明する図である。
【図５】イメージセンサのカラーフィルタの配列の例を示す図である。
【図６】RGB画素とIR画素の出力の例について説明する図である。
【図７】表示制御装置の機能構成例を示すブロック図である。
【図８】図７の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図９】RGB画素とIR画素の出力の例について説明する図である。
【図１０】シャッタスピードとゲインについて説明する図である。
【図１１】顔の検出とROIの大きさの設定について説明する図である。
【図１２】IR画像における輝点の抽出について説明する図である。
【図１３】IR画像におけるROIの設定について説明する図である。
【図１４】ディスプレイ上のカーソルの移動について説明する図である。
【図１５】ディスプレイ上のカーソルの移動について説明する図である。
【図１６】ディスプレイ上のカーソルの移動について説明する図である。
【図１７】RGB画素とIR画素の出力の例について説明する図である。
【図１８】RGB画素とIR画素の出力の例について説明する図である。
【図１９】RGB画素とIR画素の出力の例について説明する図である。
【図２０】RGB画素とIR画素の出力の例について説明する図である。
【図２１】本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示すブロック図である。
【図２２】図２１の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図２３】RGB画像における顔の検出について説明する図である。
【図２４】IR画像における輝点の抽出について説明する図である。
【図２５】本技術を適用した表示制御装置の第３の実施の形態の機能構成例を示すブロック図である。
【図２６】図２５の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図２７】シャッタスピードとゲインについて説明する図である。
【図２８】IR差分画像による輝点の抽出について説明する図である。
【図２９】IR差分画像による輝点の抽出について説明する図である。
【図３０】IR差分画像による輝点の抽出について説明する図である。
【図３１】本技術を適用した表示制御装置の第４の実施の形態の機能構成例を示すブロック図である。
【図３２】図３１の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図３３】オペレータとの距離によるROI内の画素数の違いについて説明する図である。
【図３４】本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示すブロック図である。
【図３５】図３４の表示制御装置のカーソル表示制御処理について説明するフローチャートである。
【図３６】オペレータとの距離に応じたディスプレイの表示について説明する図である。
【図３７】オペレータとの距離に対するROIの大きさおよび操作画面上のメニューアイコン数の関係を示す図である。
【図３８】オペレータとの距離に対するROIの大きさおよび操作画面上のメニューアイコン数の関係を示す図である。
【図３９】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（フリーカーソル型のユーザインタフェースを提供する構成）
２．第２の実施の形態（複数のユーザからオペレータを特定する例）
３．第３の実施の形態（ビデオコミュニケーションを行うカメラシステムに適用する例）
４．第４の実施の形態（オペレータとの距離に応じてROIの大きさを求める例）
５．第５の実施の形態（オペレータとの距離に応じてディスプレイの表示を制御する例）
【００３１】
＜１．第１の実施の形態＞
［表示制御装置の外観構成］
図１は、本技術を適用した表示制御装置の第１の実施の形態の外観構成を示している。
【００３２】
図１の表示制御装置１１においては、カメラ部１１ａが、ユーザ１０と、ユーザ１０が操作するリモートコントローラ１０ａの赤外光のスポット（以下、輝点という）とを撮像し、ディスプレイ１１ｂが、ユーザ１０に対する操作画面とともに、カメラ部１１ａによって撮像された輝点の動きに応じた動きのカーソルを表示する。すなわち、表示制御装置１１は、ユーザ１０に対して、フリーカーソル型のユーザインタフェースを提供する。
【００３３】
［表示制御装置のハードウェア構成例］
図２は、フリーカーソル型のインタフェースを提供する表示制御装置１１のハードウェア構成例を示すブロック図である。
【００３４】
図２の表示制御装置１１は、レンズ２１、特殊フィルタ２２、イメージセンサ２３、CDS（Correlated Double Sampling）/AGC（Automatic Gain Control）回路２４、A/D（Analog/Digital）変換回路２５、DSP（Digital Signal Processor）２６、CPU（Central Processing Unit）２７、タイミングジェネレータ２８、ディスプレイ２９、およびEEPROM（Electrically Erasable Programmable Read Only Memory）３０から構成される。
【００３５】
レンズ２１は、単眼の単焦点レンズとして構成され、被写体からの光を集光し、集光した光を、特殊フィルタ２２を介してイメージセンサ２３に入射させる。イメージセンサ２３は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等から構成され、レンズ２１から特殊フィルタ２２を介して入射する光を受光し、その光を、受光量に応じた電気信号としての画像信号（アナログ信号）に光電変換して、CDS/AGC回路２４に供給する。
【００３６】
ここで、図３乃至図５を参照して、特殊フィルタ２２およびイメージセンサ２３の詳細な構成について説明する。
【００３７】
図３に示されるように、特殊フィルタ２２は、イメージセンサ２３を保護するためのシールガラス２２ａに成膜して貼り付けられている。特殊フィルタ２２は、図４の上から２番目に示されるように、可視光域（400nm乃至650nm）とともに、図４の上から１番目に示される、リモートコントローラ１０ａのLED（Light Emitting Diode）から発光される赤外光の波長帯（940nm）に透過帯を持つ分光特性を有する。なお、特殊フィルタ２２は、シールガラス２２ａの入射面側、出射面側のどちらに成膜するようにしてもよい。
【００３８】
特殊フィルタ２２は、４０層乃至５０層程度の薄膜材料を積層させた多層膜の干渉フィルタによって構成される。薄膜材料としては、例えば、誘電体材料であるTiO2，Ta2O2，SiO2，MgF2等が用いられる。また、特殊フィルタ２２は、蒸着法、IAD（Ion beam Assisted Deposition）法、スパッタリング法、CVD（Chemical Vapor Deposition）法等の製造プロセスによって成膜される。
【００３９】
なお、特殊フィルタ２２は、図３に示されるように、シールガラス２２ａに貼り付けられる他、レンズ鏡筒内の光軸上の任意の位置に配置されるようにもできる。
【００４０】
また、図３に示されるように、イメージセンサ２３の前面（図中、左側）には、カラーフィルタアレイ２３ａが配置されている。カラーフィルタアレイ２３ａは、イメージセンサ２３の１画素ごとに割り当てられたカラーフィルタから構成される。
【００４１】
ここで、図５を参照して、カラーフィルタアレイ２３ａにおけるカラーフィルタの配列について説明する。
【００４２】
図５には、ベイヤ配列において、Ｇ画素のうちの半分（Ｒ，Ｇ，Ｂ，Ｇからなる、隣接する２×２（＝４）画素のうちの１つのＧ画素）が、図中黒塗りで示されるIR（InfraRed）透過フィルタで構成されるカラーフィルタの配列例が示されている。
【００４３】
このIR透過フィルタは、図４の上から３番目に示されるような分光特性を有し、通常のカラーフィルタに用いられている有機系材料の顔料や染料の調合によって、１μｍ程度の膜厚で可視光域の透過率を数％以下に抑えるように構成されている。IR透過フィルタの分光特性において、透過率の立ち上がりの波長は、リモートコントローラの赤外光の波長（940nm）より短波長側に設定され、図４の例では800nm付近に設定されている。
【００４４】
以上のような構成により、イメージセンサ２３は、図４の上から４番目に示されるように、可視光域および赤外光の波長帯に対して感度を有するようになる。
【００４５】
すなわち、イメージセンサ２３によれば、図６に示されるように、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）を間引きした出力をデモザイクして得られるＲ画像、Ｇ画像、Ｂ画像からなる可視光画像（RGB画像）と、Ｇｒ（またはＧｂ）画素（IR画素）を間引きした出力をデモザイクして得られる赤外光画像（IR画像）が得られるようになる。なお、図６の例においては、イメージセンサ２３の解像度は、SXGA（Super Extended Graphics Array）（1280×1024：1.3M）とされる。RGB画像およびIR画像のRAW画像の解像度は、ともにVGAとなるが、RGB画像について、例えばＧｒ＝Ｇｂとするような補間処理後に、通常のベイヤ配列の画素に対応するカラー画像と同様の画像処理を施すことにより、SXGAの解像度のRGB画像が得られる。なお、IR画像の解像度はVGAとなる。
【００４６】
図２に戻り、CDS/AGS回路２４は、イメージセンサ２３において発生する１／ｆノイズを除去するとともに、CPU２７の制御に基づいて、イメージセンサ２３から供給された画像信号の大きさ（レベル）が一定になるようにゲインを調整してA/D変換回路２５に出力する。さらに、CDS/AGS回路２４は、CPU２７の制御に基づいて、イメージセンサ２３における電荷の蓄積時間を電気的に変化させる電子シャッタ処理も行う。
【００４７】
A/D変換回路２５は、CDS/AGS回路２４から出力されたアナログ信号である画像信号を、デジタル信号である画像データに変換して、DSP２６に供給する。A/D変換回路２５によって得られる画像データとしては、上述したRGB画像の画像データと、IR画像の画像データとがある。
【００４８】
DSP２６は、A/D変換回路２５からの画像データ（RGB画像およびIR画像の画像データ）に対して、所定の画像処理を施し、その結果をディスプレイ２９またはEEPROM３０に供給する。
【００４９】
CPU２７は、表示制御装置１１の各部を制御する。
【００５０】
タイミングジェネレータ２８は、CPU２７の制御に基づいて、各種のタイミング信号を発生し、イメージセンサ２３、CDS/AGC回路２４、およびA/D変換回路２５に供給する。
【００５１】
ディスプレイ２９は、図１のディスプレイ１１ｂに相当し、CPU２７の制御に基づいて、所定の画像を表示したり、DSP２６からの画像処理の結果に応じた表示を行う。例えば、ディスプレイ２９には、ユーザ１０が表示制御装置１１に対して操作入力を行うための操作画面が表示される。なお、ディスプレイ２９は、表示制御装置１１の外部に設けるようにしてもよい。
【００５２】
EEPROM３０は、いわゆる不揮発性のメモリであり、電源が落とされても、記憶保持した情報が失われることがなく、各種の設定パラメータや、DSP２６からの画像処理の結果等を記憶保持する。
【００５３】
［表示制御装置の機能構成例］
次に、図７を参照して、表示制御装置１１の機能構成例について説明する。
【００５４】
図７の表示制御装置１１は、撮像部５１、入力部５２、撮像制御部５３、RGB画像処理部５４、顔検出部５５、IR画像処理部５６、輝点抽出部５７、ROI（Region Of Interest）設定部５８、表示制御部５９、および表示部６０から構成される。
【００５５】
撮像部５１は、図２で説明したレンズ２１、特殊フィルタ２２、イメージセンサ２３を備える他、図示しないが、CDS/AGC回路２４およびA/D変換回路２５を備える。すなわち、撮像部５１は、図１のカメラ部１１ａに相当し、被写体（ユーザ１０およびリモートコントローラ１０ａの赤外光）を撮像し、対応する画像データをRGB画像処理部５４およびIR画像処理部５６に出力する。また、撮像部５１は、撮像制御部５３の制御に基づいて、ゲイン調整や電子シャッタ処理を行う。
【００５６】
入力部５２は、ユーザ１０の操作入力に応じたリモートコントローラ１０ａからの赤外光を受け付け、そのユーザの操作入力を表す信号（操作信号）を撮像制御部５３に供給する。
【００５７】
撮像制御部５３は、入力部５２からの操作信号や、ROI設定部５８からの指示に応じて、撮像に関する各種のパラメータを設定し、撮像部５１の撮像を制御する。
【００５８】
RGB画像処理部５４は、撮像部５１からの画像データのうちのRGB画像の画像データ（以下、単に、RGB画像という）に対して所定の画像処理を施し、顔検出部５５に供給する。
【００５９】
顔検出部５５は、RGB画像処理部５４からのRGB画像においてユーザ１０の顔を検出し、検出された顔（顔画像）のサイズを、ROI設定部５８に供給する。
【００６０】
IR画像処理部５６は、撮像部５１からの画像データのうちのIR画像の画像データ（以下、単に、IR画像という）に対して所定の画像処理を施し、輝点抽出部５７に供給する。
【００６１】
輝点抽出部５７は、IR画像処理部５６からのIR画像において、ユーザ１０が手に持つリモートコントローラ１０ａの赤外光の輝点（スポット）を抽出（検出）し、輝点が抽出されたIR画像を、ROI設定部５８に供給する。
【００６２】
ROI設定部５８は、顔検出部５５からの、RGB画像におけるユーザ１０の顔のサイズに基づいて、ユーザ１０が次のフレームまでにリモートコントローラ１０ａを動かし得る範囲（領域）であるROI（Region Of Interest）の大きさを求める。また、ROI設定部５８は、輝点抽出部５７からの、輝点が抽出されたIR画像において、その輝点が中心となるように、大きさを求めたROIの位置を設定する。そして、ROI設定部５８は、輝点が移動したとき、IR画像における輝点の移動量を、表示制御部５９に供給する。
【００６３】
表示制御部５９は、図１のディスプレイ１１ｂ（または、図２のディスプレイ２９）に相当する表示部６０の表示を制御する。具体的には、表示制御部５９は、リモートコントローラ１０ａを扱うユーザ１０に対するユーザインタフェースとしての操作画面を表示部６０に表示させるともに、操作画面上の所定の項目をユーザ１０に選択させるためのカーソルを、操作画面上で、ROI設定部５８からの輝点の移動量に応じて移動させる。
【００６４】
［カーソル表示制御処理について］
次に、図８のフローチャートを参照して、表示制御装置１１のカーソル表示制御処理について説明する。
【００６５】
例えば、表示制御装置１１の電源がオンされ、ユーザ１０のリモートコントローラ１０ａに対する操作によって、視聴者の視聴状態を監視する監視モードが選択されると、表示制御装置１１は、被写体の撮像が可能な監視モードとなる。本実施の形態においては、表示制御装置１１は、中立状態では監視モードとなる。すなわち、表示制御装置１１は、中立状態では、視聴者の視聴状態を監視することで、省エネルギー対応の動作を行う人感センサとして機能する。
【００６６】
ステップＳ１１において、撮像制御部５３は、リモートコントローラ１０ａの赤外光に応じた入力部５２からの操作信号に基づいて、撮像部５１の撮像に関するパラメータとして、解像度、シャッタスピード、およびゲインを、RGB画像に適した値に設定する。
【００６７】
本実施の形態においては、上述したように、RGB画像においてユーザ１０の顔の検出が行われる。すなわち、RGB画像の解像度は、顔検出ができる程度の解像度であればよい。一般に、顔検出は、１６×１６画素程度以上の解像度の白黒情報があれば処理可能であるとされており、顔検出機能を備える市販のデジタルカメラにおいても、解像度と色情報とをダウングレードさせることで、処理の高速性を追求するようにしたものがある。
【００６８】
ここでは、図９に示されるように、RGB画素について４画素加算を行うことで、VGA（Video Graphics Array）（640×480）サイズのRGB画像が得られるように解像度が設定される。４画素加算は、例えば、特許第４５１８６１６号公報に開示されている手法が適用されてもよいし、他の手法が適用されてもよい。４画素加算を行うことで、RGB画像の感度は４倍となり、暗い照明環境にユーザ１０と表示制御装置１１とが置かれている場合でも、ロバストな顔検出を行うことができるようになる。なお、図９に示されるカラーフィルタの配列の場合、Gr画素の出力はIR画素の出力であるので、Gb画素の出力をGreen画素の出力とみなして、デモザイク処理が行われる。あるいは、Gr画素の出力に同一ベイヤ領域にあるGb画素出力を代入し、この擬似的に生成したGr画素出力も用いて、通常のベイヤ配列における４画素加算を行うようにしてもよい。
【００６９】
また、ここでは、通常のデジタルカメラと同様のAE（Auto Exposure）処理が行われ、図１０の上段左側に示されるように、シャッタスピードおよびゲインが最適な値に設定される。
【００７０】
このようにして設定されたパラメータで、RGB画像およびIR画像が撮像され、それぞれRGB画像処理部５４、IR画像処理部５６に供給される。なお、ここでは、IR画像処理部５６は、IR画像に対していずれの処理を行わないようにもできる。
【００７１】
図８のフローチャートに戻り、ステップＳ１２において、入力部５２は、ユーザ１０によって、リモートコントローラ１０ａの筐体上に配置されている、フリーカーソルモードスイッチ（ボタン）がオンされたか否かを判定する。ここで、フリーカーソルモードスイッチは、表示制御装置１１の表示部６０に操作画面を表示させて、オペレータとしてのユーザ１０に操作画面上のカーソルを操作させるためのモードである。
【００７２】
ステップＳ１２において、フリーカーソルモードスイッチがオンされていないと判定された場合、フリーカーソルモードスイッチがオンされるまで、ステップＳ１２の処理が繰り返される。すなわち、ここでは、表示制御装置１１は、中立状態である監視モードであり、人感センサとして機能している。
【００７３】
そして、ステップＳ１２において、フリーカーソルモードスイッチがオンされたと判定された場合、処理はステップＳ１３に進む。なお、リモートコントローラ１０ａにおいてフリーカーソルモードスイッチがオンされると、リモートコントローラ１０ａのLEDは、連続発光を開始する。また、表示制御装置１１の表示部６０には、表示制御部５９の制御に基づいて、所定の操作画面が表示される。
【００７４】
ステップＳ１３において、顔検出部５５は、RGB画像処理部５４からのRGB画像において、ユーザ１０の顔を検出し、検出された顔の、RGB画像上のサイズをROI設定部５８に供給する。
【００７５】
ステップＳ１４において、ROI設定部５８は、顔検出部５５からの、オペレータとしてのユーザ１０の顔のサイズに基づいて、ユーザ１０がリモートコントローラ１０ａを動かし得る範囲（領域）であるROIの大きさを求める。
【００７６】
例えば、図１１に示されるように、RGB画像においてユーザ１０の顔が検出された場合、検出された顔に対して検出枠１００が設定される。ここで、ユーザ１０の腕の動く範囲（ストローク量）を考慮して、ROI１０１は、水平方向が顔（検出枠１００）の幅の２倍で、垂直方向が顔（検出枠１００）の高さと同じである長方形の領域として定義される。なお、ROI１０１の形状は、図１１に示される長方形に限らず、その長方形に内接する楕円形であってもよいし、正円形や正方形等であってもよい。
【００７７】
ROI設定部５８は、ROIの大きさを求めると、ROIの大きさを求めた旨の情報を撮像制御部５３に供給する。
【００７８】
ステップＳ１５において、撮像制御部５３は、ROI設定部５８からの情報に応じて、撮像部５１による撮像に関するパラメータとして、解像度、シャッタスピード、およびゲインを、IR画像に適した値に設定する。
【００７９】
本実施の形態においては、上述したように、IR画像においてユーザ１０が手に持つリモートコントローラ１０ａの輝点の抽出が行われる。IR画像における輝点抽出（検出）の分解能は、IR画像において設定されるROI内に含まれる画素数によって決まる。また、IR画像のROIにおける輝点の移動量に応じて、操作画面上でカーソルが移動する。ここで、ROI内に含まれる画素数が少ないと、操作画面上でのカーソルの動きが粗くなる。したがって、IR画像の解像度は、より高い解像度であることが好ましい。
【００８０】
ここでは、図９に示されるように、イメージセンサ２３のSXGA（1.3Mピクセル）画像から１画素毎にIR画素が配置されたVGAサイズのIR画像が得られるように解像度が設定される。
【００８１】
次に、IR画像について設定されるシャッタスピードおよびゲインについて、図１０を参照して説明する。
【００８２】
一般に、赤外光を発光する赤外線リモートコントローラにおいては、PPM（Pulse Position Modulation）信号の点灯・消灯（明滅）のパターンによってビット値が定義される。具体的には、図１０下段に示されるON時間TonとOFF時間Toffの長さを変えることで、ビット値が定義される。ON時間Tonにおいては、赤外線リモートコントローラのLEDが、キャリア周波数38kHzでパルス発光している。また、OFF時間Toff（信号フレームにおけるリセットタイム）の最小設定は、６msec程度とされる。本実施の形態においては、赤外線リモートコントローラのLEDは、信号フレーム長固定、OFF時間Toffが最小設定の固定パターンで発光するものとする。
【００８３】
ところで、表示制御装置１１の撮像部５１のシャッタスピードと、リモートコントローラ１０ａのLEDの発光パターンとは同期していない。したがって、撮像部５１のシャッタ開放時間Topと、リモートコントローラ１０ａのLED発光のOFF時間Toffとが一致してしまった場合、そのときのフレームのIR画像においては輝点を抽出できなくなる。
【００８４】
そこで、本実施の形態においては、撮像部５１のシャッタ開放時間Topは、リモートコントローラ１０ａのLED発光のOFF時間Toffより長く設定されるようにする。また、リモートコントローラ１０ａのLED発光のON時間Tonの半分以下程度のエネルギーしか撮像部５１のシャッタ開放時間Top内に取り込めない場合、IR画像における輝点の抽出が困難となるため、撮像部５１のシャッタ開放時間Topは、LED発光のOFF時間Toffの２倍以上であることが好ましい。
【００８５】
さらに、図４の上から３番目の、IR画素に対応するIR透過フィルタの分光特性によれば、IR透過フィルタは実際には可視光域を完全に遮光することはできず、可視光の数％はIR画素に入り込み、IR画像においてはノイズ（以下、背景ノイズという）となる。例えば、明るい外光が入り込むリビングや、白色蛍光灯が照明として用いられている部屋においては、この背景ノイズが顕著に現れる。リモートコントローラ１０ａのLEDからの赤外光は、直接イメージセンサ２３のIR画素に入射されるため、その時間当たりの入射光量は、背景ノイズを引き起こす可視光の光量よりも十分大きい。したがって、撮像部５１のシャッタ開放時間Topを必要以上に長くする必要はなく、適度に短くすることで、背景ノイズの影響を小さくすることができる。
【００８６】
そこで、本実施の形態においては、IR画像の撮像について、撮像部５１のシャッタ開放時間Topは、LED発光のOFF時間Toffの２倍以上で、かつ、可能な限り短くするように設定される。これにより、IR画像の所定フレームにおける輝点抽出のエラーを防ぐことができるとともに、背景ノイズの影響を抑えることでIR画像における輝点抽出のSNR（Signal to Noise Ratio）を向上させることができる。
【００８７】
具体的には、IR画像の数フレーム内で、撮像部５１のシャッタ開放時間Topを、例えば２×Toffを初期設定として徐々に長くしながら、IR画素の出力最大値が飽和しないシャッタスピードを設定させるとともに、ゲインを中立に設定させる。また、撮像部５１のシャッタ開放時間Topを２×Toff以上の所定の時間とした固定のシャッタスピードを設定させるようにしてもよい。
【００８８】
このように、撮像部５１による撮像における、解像度、シャッタスピード、およびゲインが、RGB画像に適した値からIR画像に適した値に切り替えられるようにできる。なお、以降の処理においては、RGB画像処理部５４は、RGB画像に対していずれの処理を行わないようにもできる。
【００８９】
図８のフローチャートに戻り、ステップＳ１６において、輝点抽出部５７は、IR画像処理部５６からの、例えば図１２に示されるIR画像において、リモートコントローラ１０ａの輝点１１０を抽出し、輝点が抽出されたIR画像を、ROI設定部５８に供給する。
【００９０】
ステップＳ１７において、ROI設定部５８は、図１３に示されるように、輝点抽出部５７からの、輝点１１０が抽出されたIR画像において、その輝点１１０が中心となるように、ステップＳ１４において大きさを求めたROI１０１を、ROI１１１として設定する。ROI設定部５８は、IR画像においてROI１１１を設定した旨の情報を、表示制御部５９に供給する。
【００９１】
ステップＳ１８において、表示制御部５９は、ROI設定部５８からの情報が供給されると、表示部６０に表示されている操作画面上の初期位置にカーソルを表示させる。ここで、操作画面上の初期位置は、操作画面の中央であってもよいし、操作画面上のメニューアイコンの配列に応じた位置であってもよい。
【００９２】
以降、フレーム毎のIR画像に対して、輝点抽出部５７によって現フレームにおけるROI内で輝点の抽出が行われ、輝点が抽出されたIR画像が、ROI設定部５８に供給される。
【００９３】
ステップＳ１９において、ROI設定部５８は、輝点抽出部５７からのIR画像（以下、現フレームIR画像ともいう）に対して、１つ前のフレームのIR画像（以下、前フレームIR画像ともいう）に対して設定したROIを設定し、ROI内に輝点が存在するか否かを判定する。
【００９４】
ステップＳ１９において、ROI内に輝点が存在すると判定された場合、処理はステップＳ２０に進み、ROI設定部５８は、前フレームIR画像における輝点の位置から、現フレームIR画像における輝点が移動したか否かを判定する。
【００９５】
ステップＳ２０において、輝点が移動していないと判定された場合、処理はステップＳ１９に戻り、次のフレームのIR画像（次フレームIR画像）に対しての処理が行われる。このとき、次フレームIR画像においては、現フレームIR画像において設定されたROIの位置と同じ位置にROIが設定されるようになる。
【００９６】
一方、ステップＳ２０において、輝点が移動したと判定された場合、処理はステップＳ２１に進む。このとき、ROI設定部５８は、IR画像（ROI）における輝点の移動量を求め、表示制御部５９に供給する。
【００９７】
ステップＳ２１において、ROI設定部５８は、現フレームIR画像において、その（移動した）輝点が中心となるように次フレームのROIを設定する。
【００９８】
ステップＳ２２において、表示制御部５９は、ROI設定部５８からの輝点の移動量に応じて、表示部６０に表示されている操作画面上のカーソルを移動させる。その後、処理はステップＳ１９に戻り、次のフレームのIR画像に対しての処理が行われる。
【００９９】
このようにして、IR画像において、輝点の追尾が行われる。
【０１００】
ここで、図１４乃至図１６を参照して、IR画像における輝点の追尾と、操作画面上のカーソルの移動について詳細に説明する。図１４は、初期状態（時刻T=T0）、すなわち、ステップＳ１８において操作画面上の初期位置にカーソルが表示されたときの、RGB画像、IR画像、および操作画面の例を示しており、図１５および図１６は、それぞれ初期状態から時刻ΔT後、時刻2ΔT後のRGB画像、IR画像、および操作画面の例を示している。なお、IR画像における輝点の追尾においては、RGB画像に対する処理は行われないが、説明のため、RGB画像をIR画像および操作画面の例に併せて示している。
【０１０１】
図１４乃至図１６の例においては、RGB画像およびIR画像のアスペクト比は４：３とされ、操作画面（表示部６０）のアスペクト比は１６：９とされる。操作画面上には、例えば、テレビジョン番組のチャンネルを選択させるためのメニューアイコンmenu1乃至menu8と、表示制御装置１１に接続される、BD（Blu-Ray（登録商標） Disc)プレーヤやDVD(Digital Versatile Disc)プレーヤ、ゲーム機等の機器を選択させるためのメニューアイコンＡ乃至Ｃが、Ｌ字型に配置されている。また、操作画面上で、Ｌ字型に配置されているメニューアイコンに囲われるようにして、テレビジョン放送番組の映像や接続される機器からの映像が表示される表示領域が配置されている。
【０１０２】
また、RGB画像において検出された顔のサイズ（検出枠１００）を、横ｈ画素、縦ｖ画素（以下、(h,v)[pix]等と表す）とすると、IR画像において設定されるROI１１１のサイズは、(2h,v)[pix]となる。さらに、操作画面（表示部６０）のサイズを、(H,V)[pix]とする。なお、IR画像におけるROIの縦横比と、操作画面の縦横比とは、異なっていてもよいし、同一としてもよい。
【０１０３】
まず、図１４に示されるように、時刻T=T0において、RGB画像における顔が検出され、検出枠１００の大きさと、IR画像における輝点１１０とに基づいてROI１１１が設定されると、初期位置としての操作画面上の中心座標(0,0)に、カーソル１２１が表示される。
【０１０４】
次に、図１５に示されるように、時刻T=T0+ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａが振られ、IR画像において、輝点１１０が、時刻T=T0の状態からベクトル(s[i],t[i])[pix]だけ移動した場合、IR画像においては、時刻T=T0の状態からベクトル(s[i],t[i])だけ移動した輝点１１０が中心となるように、ROI１１１が設定される。そして、操作画面上におけるカーソル１２１は、ROI１１１のサイズ(2h,v)と、操作画面のサイズ(H,V)とに基づいて、操作画面上の中心座標(0,0)から以下に示す座標に表示される。
【０１０５】
【数１】
【０１０６】
そして、図１６に示されるように、時刻T=T0+2ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａがさらに振られ、IR画像において、輝点１１０が、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])[pix]だけ移動した場合、IR画像においては、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])だけ移動した輝点１１０が中心となるように、ROI１１１が設定される。そして、操作画面上におけるカーソル１２１は、ROI１１１のサイズ(2h,v)と、操作画面のサイズ(H,V)とに基づいて、操作画面上の中心座標(0,0)から以下に示す座標に表示される。
【０１０７】
【数２】
【０１０８】
図８のフローチャートに戻り、ステップＳ１９において、ROI内に輝点が存在しないと判定された場合、処理はステップＳ２３に進み、ROI設定部５８は、ROIを拡張する。その後、処理はステップＳ１９に戻る。これにより、何らかの理由で、現フレームIR画像における輝点が、前フレームIR画像において設定されたROIの外側に存在するような場合でも、処理を継続させることができる。また、ステップＳ２３の処理が、例えば５回等の複数回繰り返された場合、オペレータが移動した可能性があるので、処理はステップＳ１１の中立状態である監視モードに戻るようにして、オペレータの位置をリセットするようにしてもよい。
【０１０９】
以上の処理によれば、RGB画像におけるユーザの顔のサイズに応じて決められたROIが、IR画像における輝点を常に中心として設定され、ROI内での輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置からユーザまでの距離を直接求めることなく、また、ユーザまでの距離によらず、ユーザがストレスに感じない程度の腕のストローク量で、操作画面上のカーソルを隅から隅まで移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
【０１１０】
また、IR画像において輝点を抽出する際に、IR画像全体から輝点を検索して抽出するのではなく、１つ前のフレームのIR画像において設定されたROI内から輝点を検索して抽出するようにしたので、フレーム毎の輝点の抽出にかかる処理コストを大幅に軽減することができる。特に、輝点の位置はリアルタイムで検出される必要があるので、一般的なデジタルビデオカメラと同等の15fps以上のフレームレートが必要となるが、30fps乃至60fpsレベルの高フレームレート対応のイメージセンサを用いるようにして、低コストのCPUパワーであっても、時間応答性の高いユーザインタフェースを提供することが可能となる。
【０１１１】
さらに、視聴者の視聴状態を監視するための監視カメラの機能と、リモートコントローラの赤外光のスポットを撮像する赤外線カメラの機能とを、１つの撮像部５１、すなわち単眼のカメラシステムで実現するようにしたので、得られるRGB画像およびIR画像において視差が生じることがなく、同時性を確保することができるようになる。
【０１１２】
また、RGB画像に対する処理とIR画像に対する処理とは、シリアルに行われるので、解像度、シャッタスピード、およびゲインを、RGB画像およびIR画像のそれぞれに適した値に設定することができるとともに、RGB画像についての情報と、IR画像についての情報とを相補的に用いたシステムを構成することができる。
【０１１３】
［RGB画素とIR画素の出力の例］
ここで、表示制御装置１１の表示部６０（ディスプレイ１１ｂ，２９）の画面サイズが、大型でない場合、具体的には、視聴距離が３ｍ以内と想定される３２インチ以下の画面サイズである場合を考える。
【０１１４】
この場合、操作画面上には、それほど多くのメニューアイコンを配列することはできないので、IR画像の解像度は、図６で説明した解像度より粗くても十分である。
【０１１５】
すなわち、この場合、イメージセンサ２３の前面に配置されるカラーフィルタアレイ２３ａの配列を、図１７に示される配列にしてもよい。図１７のカラーフィルタアレイ２３ａは、ベイヤ配列における４画素を１つの画素ユニットとしたときの、４画素ユニットのうちの１画素ユニットが、IR透過フィルタで構成される。IR画素は、その画素数はVGAとなるが、２画素毎に配置されることになり、図６で示される配列より空間分解能は粗くなる。なお、図１７の例の場合、イメージセンサ２３においては、1.3M（SXGA）のうちの約1.2M（1240×960）の画素が使用されるものとする。
【０１１６】
図１７の例においては、IR画像は、１画素ユニットのIR画素が間引きされて出力される（出力ａ）。RGB画像は、１画素ユニットのIR画素の対角線上に位置するRGB画素の画素ユニットが抽出され出力されるか（出力ｂ）、または、４画素加算されて、RGB画素にIR画素が１／４混ざって出力される（出力ｃ）。得られるRGB画像およびIR画像の解像度は、いずれもVGAとなる。
【０１１７】
図１７に示されるカラーフィルタアレイ２３ａの配列により、IR透過フィルタの面積を大きくすることができるようになる。イメージセンサ２３におけるセルのサイズが、1.5μｍ程になった場合、Ｒ，Ｇ，Ｂのカラーフィルタと比較して約２倍の膜厚を有するIR透過フィルタは、製造プロセスにおいて剥がれやすくなる恐れがある。そこで、IR透過フィルタの面積を大きくすることで、安定したIR透過フィルタを形成することが可能となる。
【０１１８】
また、RGB画素について、画素出力を図１７の出力ｂとした場合、RGB画素とIR画素との間の相互干渉を最も軽微にすることができ、画素出力を図１７の出力ｃとした場合、IR画素によるノイズが含まれるが、出力ｂと比較して、RGB画素の出力が３倍となり、低照度の環境下での顔検出に有利となる。
【０１１９】
ところで、監視カメラの機能として必要な機能が顔検出のみである場合、顔検出の対象となる画像において、色情報は必要とされない。そこで、カラーフィルタアレイ２３ａにおけるＲ，Ｇ，Ｂのカラーフィルタを、可視光域を全て透過するようにして、そのカラーフィルタに対応する画素をホワイト画素とすることで、RGB画像に代えて白黒画像を得るようにしてもよい。
【０１２０】
図１８は、図６で示された画素出力において、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素をホワイト画素とした画素出力の例を示している。ここでは、説明を簡単にするために、画素数は1.2Mとする。図１８の例によれば、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）に対応するホワイト画素を間引きした出力をデモザイクして得られる白黒画像と、Ｇｒ（またはＧｂ）画素（IR画素）を間引きした出力をデモザイクして得られるIR画像が得られるようになる。このようにして得られる白黒画像の感度は、Ｒ，Ｇ，Ｂのカラーフィルタによる減衰がないので、RGB画像のおよそ３倍となる。また、図１８の例においては、イメージセンサ２３の解像度が1.2Mであるとされ、白黒画像およびIR画像の解像度はそれぞれ1.2M，VGAとされる。
【０１２１】
図１９は、図９で示された画素出力において、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素をホワイト画素とした画素出力の例を示している。ここでも、説明を簡単にするために、画素数は1.2Mとする。図１９の例によれば、Ｒ，Ｇｂ（またはＧｒ），Ｂ画素（RGB画素）に対応するホワイト画素が４画素加算されて出力される。この場合、４画素セル中３画素セルをホワイト画素の出力として用いることができるので、白黒画像の感度は、さらに３倍され、RGB画像のおよそ９倍となる。したがって、一層暗い照明環境にユーザ１０と表示制御装置１１とが置かれている場合でも、ロバストな顔検出を行うことができるようになる。
【０１２２】
図２０は、図１７で示された画素出力において、Ｒ，Ｇ，Ｂ画素をホワイト画素とした画素出力の例を示している。図２０の例においても、図１７の例と同様の効果が得られるとともに、RGB画像と比較して感度の高い白黒画像が得られるようになる。
【０１２３】
ところで、以上においては、表示制御装置によって視聴状態が監視されるユーザ（視聴者）が１人の場合のカーソル表示制御処理について説明したが、表示制御装置によって視聴状態が監視されるユーザが１人であるとは限らない。そこで、以下においては、表示制御装置によって視聴状態が監視されるユーザが複数である場合のカーソル表示制御処理について説明する。
【０１２４】
＜２．第２の実施の形態＞
［表示制御装置の機能構成例］
図２１は、本技術を適用した表示制御装置の第２の実施の形態の機能構成例を示している。
【０１２５】
なお、図２１の表示制御装置２１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１２６】
すなわち、図２１の表示制御装置２１１において、図７の表示制御装置１１と異なるのは、顔検出部５５に代えて、顔検出部２５１を設けた点である。
【０１２７】
顔検出部２５１は、図７の顔検出部５５と同様の機能を備える他、特定部２５１ａを備えている。特定部２５１ａは、RGB画像処理部５４からのRGB画像において検出された顔が複数存在する場合、IR画像処理部５６からIR画像を取得し、そのIR画像とRGB画像とに基づいて、オペレータとしてのユーザを特定する。
【０１２８】
［カーソル表示制御処理について］
次に、図２２のフローチャートを参照して、図２１の表示制御装置２１１によるカーソル表示制御処理について説明する。
【０１２９】
なお、図２１のフローチャートのステップＳ１１１乃至Ｓ１１３，Ｓ１１７乃至Ｓ１２６の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１４乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
【０１３０】
すなわち、ステップＳ１１４において、顔検出部２５１は、ステップＳ１１３で、RGB画像処理部５４からのRGB画像において検出された顔が複数存在するか否かを判定する。
【０１３１】
例えば、図２３に示されるように、RGB画像において、２人のユーザ１０Ａ，１０Ｂの顔が検出された場合、検出されたそれぞれの顔に対して検出枠１００Ａ，１００Ｂが設定される。顔検出部２５１は、検出枠が複数設定されたか否かを判定することで、顔が複数存在するか否かを判定する。
【０１３２】
ステップＳ１１４において、顔が複数存在すると判定された場合、処理はステップＳ１１５に進み、顔検出部２５１は、IR画像処理部５６から、顔が検出されたRGB画像のフレームと同時刻のフレームのIR画像を取得する。
【０１３３】
ステップＳ１１６において、顔検出部２５１の特定部２５１ａは、RGB画像における顔の位置と、IR画像における輝点の位置とに基づいて、リモートコントローラ１０ａのオペレータであるユーザを特定する。
【０１３４】
具体的には、図２４に示されるように、特定部２５１ａは、IR画像処理部５６から取得されたIR画像において輝点１１０を抽出するとともに、RGB画像に対して設定された検出枠１００Ａ，１００Ｂを、IR画像の対応する位置に設定する。そして、特定部２５１ａは、IR画像において、輝点１１０と、検出枠１００Ａ，１００Ｂの中心位置との距離を算出し、その距離が最も小さい検出枠１００Ａに対応するユーザ１０Ａを、リモートコントローラ１０ａのオペレータとして特定する。その後、特定部２５１ａは、特定されたユーザ１０Ａの顔（検出枠１００Ａ）の、RGB画像上のサイズをROI設定部５８に供給する。
【０１３５】
以上の処理によれば、RGB画像におけるユーザが複数であっても、オペレータとしてのユーザを特定し、特定されたそのユーザの顔のサイズに応じて決められたROIが、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置から複数のユーザそれぞれまでの距離を求めることなく、また、オペレータとしてのユーザまでの距離によらず、ユーザの腕のストローク量の分だけ、操作画面上のカーソルを移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
【０１３６】
以上においては、RGB画像に対する処理とIR画像に対する処理とがシリアルに行われる構成について説明してきた。この構成は、視聴者の視聴状態を監視するカメラシステムにフリーカーソル型のユーザインタフェースを適用した構成に適用することができる。
【０１３７】
以下においては、インターネット等のネットワークを介してビデオコミュニケーションを行うカメラシステムにフリーカーソル型のユーザインタフェースを適用した構成に、本技術を適用する例について説明する。
【０１３８】
＜３．第３の実施の形態＞
［表示制御装置の機能構成例］
図２５は、本技術を適用した表示制御装置の第３の実施の形態の機能構成例を示している。
【０１３９】
なお、図２５の表示制御装置３１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１４０】
すなわち、図２５の表示制御装置３１１において、図７の表示制御装置１１と異なるのは、IR差分画像生成部３５１を新たに設け、輝点抽出部５７に代えて、輝点抽出部３５２を設けた点である。
【０１４１】
IR差分画像生成部３５１は、１フレーム前のIR画像（前フレームIR画像）を保持するバッファを備え、IR画像処理部５６からのIR画像（現フレームIR画像）と、バッファに保持されている前フレームIR画像との差分であるIR差分画像を生成する。IR差分画像生成部３５１は、生成したIR差分画像と現フレームIR画像とを、輝点抽出部３５２に供給する。
【０１４２】
輝点抽出部３５２は、IR差分画像生成部３５１からのIR差分画像から輝点を抽出し、輝点が抽出されたIR差分画像を、現フレームIR画像とともにROI設定部５８に供給する。
【０１４３】
なお、本実施の形態においては、RGB画像に対する処理（ビデオコミュニケーションのための処理）とIR画像に対する処理（輝点の追尾のための処理）とはパラレルに行われる。したがって、画素出力として、間引きと画素加算とを併用することはハードウェア構成上困難である。また、ビデオコミュニケーションを行うカメラシステムにおいては、通常のデジタルカメラと同様に高画質な画像が求められる。以上のことから、本実施の形態においては、解像度が、RGB画像に適した値のみに設定されるとともに、図２６に示されるように、シャッタスピードおよびゲインも、RGB画像に適した値のみに設定されるようになる。
【０１４４】
［カーソル表示制御処理について］
次に、図２７のフローチャートを参照して、図２５の表示制御装置３１１によるカーソル表示制御処理について説明する。
【０１４５】
なお、図２７のフローチャートのステップＳ２２１乃至Ｓ２２４，Ｓ２２８乃至Ｓ２３３の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１４，Ｓ１８乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
【０１４６】
すなわち、ステップＳ２２５において、IR差分画像生成部３５１は、IR画像処理部５６からの現フレームIR画像と、バッファに保持されている前フレームIR画像を基に、IR差分画像を生成し、現フレームIR画像とともに輝点抽出部３５２に供給する。
【０１４７】
ステップＳ２２６において、輝点抽出部３５２は、IR差分画像生成部３５１からのIR差分画像において輝点を抽出し、輝点が抽出されたIR差分画像を、現フレームIR画像とともにROI設定部５８に供給する。
【０１４８】
ステップＳ２２７において、ROI設定部５８は、輝点抽出部３５２からのIR差分画像において抽出された輝点に基づいて、現フレームIR画像における輝点を特定し、現フレームIR画像において、その輝点が中心となるように、ステップＳ２２４で大きさが求められたROIを設定する。
【０１４９】
このようにして、IR差分画像に基づいた輝点の抽出が行われることにより、IR画像における輝点の追尾が行われる。
【０１５０】
ここで、図２８乃至図３０を参照して、IR差分画像に基づいた輝点の抽出が行われることによる、IR画像における輝点の追尾について詳細に説明する。図２８は、初期状態（時刻T=T0）、すなわち、最初のフレームのRGB画像およびIR画像の例を示しており、図２９および図３０は、それぞれ初期状態から時刻ΔT後、時刻2ΔT後のRGB画像、IR画像、およびIR差分画像の例を示している。なお、IR画像における輝点の追尾においては、RGB画像に対する処理は行われないが、説明のため、RGB画像をIR画像およびIR差分画像の例に併せて示している。
【０１５１】
通常、ビデオコミュニケーションを行うカメラシステムは、屋内に設置されているので、図２８乃至図３０のRGB画像には、屋内に設けられている照明による光や、屋外からの光が鏡等で反射した反射光等を放つ光源３８１が存在する。したがって、図２８乃至図３０のIR画像には、ユーザ１０が手に持つリモートコントローラ１０ａのLEDによる輝点１１０の他に、RGB画像における光源３８１に対応する光源３９１が存在するようになる。光源３９１は、RGB画像に適したシャッタスピードで撮像されたIR画像において、可視光域の大きな光量入射による画素出力の結果によるものであり、その画素出力は、リモートコントローラ１０ａのLEDの赤外光による画素出力と同等またはそれ以上のものとされる。
【０１５２】
まず、図２８に示されるように、時刻T=T0においては、IR画像において、輝点１１０と光源３９１のいずれが、リモートコントローラ１０ａのLEDの赤外光によるものかを判定することはできず、したがって、IR画像においてROIを設定することができない。
【０１５３】
次に、図２９に示されるように、時刻T=T0+ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａが振られ、IR画像において、輝点１１０が、時刻T=T0の状態からベクトル(s[i],t[i])だけ移動したとする。このとき、時刻T=T0+ΔTにおける現フレームIR画像と、時刻T=T0における前フレームIR画像とから、IR差分画像が生成される。ここで、IR差分画像において、差分値がマイナスとなる画素については、その差分値を０とする。したがって、IR差分画像においては、動きのない光源３９１は差分によって相殺され、ユーザ１０に振られたことにより移動したリモートコントローラ１０ａのLEDの赤外光による輝点１１０のみが存在するようになる。これにより、IR差分画像において、輝点が抽出されるようになる。そして、IR画像においては、IR差分画像において抽出された輝点１１０が中心となるように、ROI１１１が設定される。
【０１５４】
そして、図３０に示されるように、時刻T=T0+2ΔTにおいて、ユーザ１０によってリモートコントローラ１０ａがさらに振られ、IR画像において、輝点１１０が、時刻T=T0+ΔTの状態からベクトル(s[i+1],t[i+1])だけ移動したとする。このとき、時刻T=T0+2ΔTにおける現フレームIR画像と、時刻T=T0+ΔTにおける前フレームIR画像とから、IR差分画像が生成される。なお、このとき、IR差分画像を生成するためのフレーム差分処理は、時刻T=T0+ΔTにおいて設定されたROI１１１に対応する領域のみに対して行われればよい。そして、IR差分画像において、輝点１１０が抽出され、IR画像において、IR差分画像において抽出された輝点１１０が中心となるように、ROI１１１が設定される。
【０１５５】
以上の処理によれば、本技術を、ビデオコミュニケーションを行うカメラシステムに適用した場合であっても、RGB画像におけるユーザの顔のサイズに応じて決められたROIが、IR差分画像に基づいて抽出された、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。すなわち、表示制御装置からユーザまでの距離を求めることなく、また、ユーザまでの距離によらず、ユーザがストレスに感じない程度の腕のストローク量で、操作画面上のカーソルを移動させることができる。したがって、フリーカーソル型のユーザインタフェースにおいて、カメラとオペレータとの距離を求めるために、その都度キャリブレーションを行う必要はなく、また、カメラとオペレータとの距離を求める必要もなく、ユーザの操作性を向上させることが可能となる。
【０１５６】
また、本実施の形態においては、RGB画像に対する処理とIR画像に対する処理とはパラレルに行われることにより、シャッタスピードがRGB画像に適した値のみに設定される。すなわち、RGB画像において感度を得るためにシャッタ開放時間が長くなるので、明るい外光が入り込むリビングや、白色蛍光灯が照明として用いられている部屋における背景ノイズにより、IR画像における輝点抽出のSNRが低下するが、IR差分画像による動き検出によって、確実に輝点を抽出することができる。これにより、ユーザは、ビデオコミュニケーションを行いながら、並行して操作画面上のカーソル操作を行うことが可能となる。
【０１５７】
なお、図２５の表示制御装置３１１において、顔検出部５５に代えて、図２１の顔検出部２５１を設けることで、ユーザが複数であっても、上述した効果と同等の効果を得ることが可能となる。
【０１５８】
ところで、以上においては、上述で説明した表示制御装置によって提供されるフリーカーソル型のユーザインタフェースをユーザが用いる際、ユーザの腕のストローク量を、ユーザの顔サイズを基準として（例えば、顔サイズの２倍として）、必要な腕のストローク量が距離に依存しないユーザインタフェースを提供するようにした。しかしながら、実際、ユーザの多くは、リモートコントローラを、無意識にレーザポインタのようにして扱い、操作する。すなわち、ユーザは、表示制御装置までの距離に応じた腕のストロークで、リモートコントローラを扱うことが考えられる。具体的には、表示制御装置（ディスプレイ）までの距離が小さいときは、ユーザの腕のストローク量は小さくなり、ディスプレイまでの距離が大きいときは、ユーザの腕のストローク量は大きくなることが考えられる。このような場合、ROIの大きさは、表示制御装置とユーザとの距離に応じた大きさ、言い換えれば、ユーザの腕のストローク量に応じた大きさとなることが好ましい。
【０１５９】
そこで、以下においては、表示制御装置とユーザとの距離に応じて、ROIの大きさを求める構成について説明する。
【０１６０】
＜４．第４の実施の形態＞
［表示制御装置の機能構成例］
図３１は、本技術を適用した表示制御装置の第４の実施の形態の機能構成例を示している。
【０１６１】
なお、図３１の表示制御装置４１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１６２】
すなわち、図３１の表示制御装置４１１において、図７の表示制御装置１１と異なるのは、距離算出部４５１を新たに設け、ROI設定部５８に代えて、ROI設定部４５２を設けた点である。
【０１６３】
距離算出部４５１は、顔検出部５５によって検出された、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離を算出し、算出した距離をROI設定部４５２に供給する。
【０１６４】
ROI設定部４５２は、距離算出部４５１からの、表示制御装置４１１とユーザとの距離に基づいて、ROIの大きさを求める。また、ROI設定部４５２は、輝点抽出部５７からの、輝点が抽出されたIR画像において、その輝点が中心となるように、大きさを求めたROIを設定する。そして、ROI設定部４５２は、設定したROIにおいて輝点が移動したとき、ROIにおける輝点の移動量を、表示制御部５９に供給する。
【０１６５】
［カーソル表示制御処理について］
次に、図３２のフローチャートを参照して、図３１の表示制御装置４１１によるカーソル表示制御処理について説明する。
【０１６６】
なお、図３２のフローチャートのステップＳ３１１乃至Ｓ３１３，Ｓ３１６乃至Ｓ３２４の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１３，Ｓ１５乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
【０１６７】
すなわち、ステップＳ３１４において、距離算出部４５１は、顔検出部５５からの、RGB画像における、オペレータとしてのユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離を算出し、算出した距離をROI設定部４５２に供給する。
【０１６８】
ここで、撮像部５１によって撮像されているユーザは１人であり、そのユーザが手に持つリモートコントローラのLEDおよびユーザの顔の、距離方向の位置は同一であるものとする。また、撮像部５１の水平視野角および垂直視野角をそれぞれFOVx，FOVyとし、イメージセンサ２３の画素数をPx×Pyとする。さらに、RGB画像において検出されたユーザの顔（検出枠）のサイズを(h,v)[pix]とし、平均的な人の顔の実サイズを横BLx[mm]、縦Bly[mm]とする。なお、簡単のために、RGB画像において検出された顔のサイズを、水平方向（横方向）の１次元のみで扱うものとする。
【０１６９】
まず、平均的な人の顔の実サイズBLxを基準にすると、１pix（ピクセル）当たりの顔の実サイズはBLx/hとなるので、水平方向の視野サイズは以下のように表される。
【０１７０】
【数３】
【０１７１】
一方、表示制御装置４１１とユーザとの距離が、距離Ｄであるときの水平方向の視野サイズは以下のように表される。
【０１７２】
【数４】
【０１７３】
したがって、表示制御装置４１１とユーザとの距離Ｄは、以下の式（１）で表される。
【０１７４】
【数５】
・・・（１）
【０１７５】
このようにして、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置４１１とユーザとの距離Ｄが算出される。
【０１７６】
図３２のフローチャートに戻り、ステップＳ３１５において、ROI設定部４５２は、距離算出部４５１からの、表示制御装置４１１とユーザとの距離Ｄに基づいて、ROIの大きさを求める。
【０１７７】
例えば、ROIの大きさは、距離Ｄの関数として予め定められており、距離算出部４５１によって算出された距離Ｄに応じて、ROIの大きさが決定される。また、ROIの大きさと距離Ｄとを対応付けたテーブルを予め用意し、そのテーブルに基づいて、ROIの大きさが決定されるようにしてもよい。なお、距離Ｄの関数や、ROIの大きさと距離Ｄとを対応付けたテーブルは、ユーザインタフェースの操作性を考慮して与えられるものとする。例えば、操作画面のサイズが40インチであるとして、距離Ｄが１ｍ程度と小さい場合には、ROIの大きさを顔サイズの１倍とし、距離Ｄが５ｍ程度と大きい場合には、ROIの大きさを顔サイズの４倍とすることで、上述したような、ユーザの無意識な操作における腕のストロークに整合した操作性が得られるようになる。この場合、ROIの大きさは、操作画面のサイズおよび距離Ｄを基に決定される。
【０１７８】
以上の処理によれば、RGB画像におけるユーザの顔のサイズに基づいて算出された、表示制御装置とユーザとの距離に応じて大きさが決められたROIが、IR画像における輝点を常に中心として設定され、ROI内の輝点の移動量に応じて、操作画面上のカーソルが移動されるようになる。これにより、表示制御装置とユーザとの距離が変化した場合であっても、ユーザに違和感を与えることなく、フリーカーソル型のユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
【０１７９】
なお、図３２の表示制御装置４１１において、顔検出部５５に代えて、図２１の顔検出部２５１を設けることで、ユーザが複数であっても、上述した効果と同等の効果を得ることが可能となる。
【０１８０】
また、図３２の表示制御装置４１１において、図２５のIR差分画像生成部３５１を新たに設け、輝点抽出部５７に代えて、図２５の輝点抽出部３５２を設けることで、ビデオコミュニケーションを行うカメラシステムに適用するようにしてもよい。
【０１８１】
ところで、上述した表示制御装置の撮像部は単焦点カメラとして構成されるので、図３３に示されるように、表示制御装置とユーザ（リモートコントローラ）との距離が小さいとき（図中、左側）と、表示制御装置とユーザとの距離が大きいとき（図中、右側）とでは、IR画像に設定されるROI内に含まれる画素数が異なる。具体的には、表示制御装置とユーザとの距離が大きい程、ROI内に含まれる画素数は少なくなる。
【０１８２】
ここで、操作画面上のカーソルの動きの滑らかさは、ROI内に含まれる画素数によるので、表示制御装置とユーザとの距離が大きい程、操作画面上のカーソルの動きはカクカクしたものとなる。したがって、表示制御装置とユーザとの距離が大きいときに、操作画面上に多くのメニューアイコンが配列されている場合（すなわち、操作画面に対するメニューアイコンの大きさが小さい場合）、ユーザが所望のメニューアイコンを正確に選択することができず、操作性が低下してしまう。
【０１８３】
そこで、以下においては、表示制御装置とユーザとの距離に応じて、操作画面上のメニューアイコンの大きさを変える構成について説明する。
【０１８４】
＜５．第５の実施の形態＞
［表示制御装置の機能構成例］
図３４は、本技術を適用した表示制御装置の第５の実施の形態の機能構成例を示している。
【０１８５】
なお、図３４の表示制御装置５１１において、図７の表示制御装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１８６】
すなわち、図３４の表示制御装置５１１において、図７の表示制御装置１１と異なるのは、距離算出部５５１を新たに設け、表示制御部５９に代えて、表示制御部５５２を設けた点である。
【０１８７】
距離算出部５５１は、顔検出部５５によって検出された、RGB画像におけるユーザの顔のサイズに基づいて、表示制御装置５１１とユーザとの距離を算出し、算出した距離を表示制御部５５２に供給する。
【０１８８】
表示制御部５５２は、距離算出部５５１からの、表示制御装置５１１とユーザとの距離に基づいて、操作画面上のメニューアイコンの大きさを決定し、表示部６０に表示させる。
【０１８９】
［カーソル表示制御処理において］
次に、図３５のフローチャートを参照して、図３４の表示制御装置５１１によるカーソル表示制御処理について説明する。
【０１９０】
なお、図３５のフローチャートのステップＳ４１１乃至Ｓ４１７，Ｓ４２０乃至Ｓ４２５の処理は、図８のフローチャートのステップＳ１１乃至Ｓ１７，Ｓ１８乃至Ｓ２３の処理と基本的に同様であるので、その説明は省略する。
【０１９１】
すなわち、ステップＳ４１８において、距離算出部５５１は、顔検出部５５からの、RGB画像における、オペレータとしてのユーザの顔のサイズに基づいて、表示制御装置５１１とユーザとの距離を算出し、算出した距離を表示制御部５５２に供給する。具体的には、表示制御装置５１１とユーザとの距離は、上述した式（１）によって算出される。
【０１９２】
ステップＳ４１９において、表示制御部５５２は、距離算出部５５１からの、表示制御装置５１１とユーザとの距離に基づいて、操作画面上のメニューアイコンの大きさを決定し、表示部６０に表示させる。具体的には、表示制御部５５２は、図３６に示されるように、表示制御装置５１１とユーザとの距離が大きい程、操作画面上のメニューアイコンを大きくして、表示部６０に表示させる。このとき、（ROI内の画素数）／（操作画面上のメニューアイコンの数）が一定の値となるように、操作画面上のメニューアイコンの数が設定される。
【０１９３】
ここで、簡単のために、RGB画像において検出された顔のサイズを、水平方向（横方向）の１次元のみで扱うものとして、例えば、イメージセンサ２３の解像度をVGA（Px=640，Py=480）、撮像部５１の水平視野角FOVxを60°、平均的な人の顔の実サイズBLxを150mmとする。このとき、表示制御装置５１１とユーザとの距離Ｄが５ｍである場合の、RGB画像上の顔のサイズｈは、上述した式（１）より、ｈ＝１６（ピクセル）となる。ここで、ユーザの腕のストローク量が顔のサイズの２倍とすると、RGB画像上のユーザの腕のストローク量は最大で３２ピクセル分となる。このとき、表示制御部５５２は、操作画面上のメニューアイコン１つ分（横の長さ）に対応するRGB画像（IR画像）上の画素数を１０ピクセルとし、操作画面上に、横方向に３つのメニューアイコンを表示させる。
【０１９４】
メニューアイコン１つ分に対応するRGB画像上の画素数を１０ピクセルとしたのは、IR画像におけるリモートコントローラ１０ａの輝点抽出の誤差（最小で１ピクセル分）によるカーソルの表示位置の誤りが、ユーザによるメニューアイコンの選択に影響を与えないようにするためである。
【０１９５】
同様にして、表示制御装置５１１とユーザとの距離Ｄが２ｍである場合には、操作画面上に、横方向に８つのメニューアイコンが表示されるようになる。
【０１９６】
図３７および図３８は、表示制御装置５１１とユーザとの距離に対する、ROIの水平方向の大きさ（ROI_x）およびメニューアイコン数を計算した結果を示している。図３７は、イメージセンサ２３の解像度がVGAの場合の計算結果を示しており、図３８は、イメージセンサ２３の解像度がQuad-VGAの場合の計算結果を示している。なお、メニューアイコン数の最大値は１５に制限されているものとする。
【０１９７】
例えば、４０インチを超える大型のテレビジョン受像機の平均的な視聴距離を３ｍとして、撮像部５１のイメージセンサ２３として解像度がQuad-VGAのものを適用した場合には、図３８に示されるように、操作画面上、水平方向に１０個程度のメニューアイコンが配列されるようになる。また、視聴距離を５ｍとした場合には、操作画面上、水平方向に６個のメニューアイコンが配列されるようになる。
【０１９８】
このように、表示制御装置５１１とユーザとの距離が大きくなる程、メニューアイコン数が少なくなるように、言い換えれば、メニューアイコンの１つ１つが大きくなるように、操作画面が表示されるので、ユーザが所望のメニューアイコンを正確に選択することができるようになり、ユーザの操作性を向上させることができる。
【０１９９】
また、表示制御装置５１１とユーザとの距離が大きくなる程、メニューアイコンの１つ１つが大きく表示されるようになるので、ユーザの視認性も向上し、より操作性を向上させることができるようになる。
【０２００】
なお、本技術の表示制御装置において、フリーカーソルを操作するためのリモートコントローラ（フリーカーソル用リモートコントローラ）と、他の電子機器を操作するための赤外線リモートコントローラ（電子機器用リモートコントローラ）とを区別する手段を設けるようにして、混信を防ぐようにしてもよい。例えば、フリーカーソル用リモートコントローラのLEDの波長を、電子機器用リモートコントローラのLEDの波長と異なる波長とする等してもよい。具体的には、フリーカーソル用リモートコントローラのLEDの波長を850nmとし、図４の上から２番目に示される特殊フィルタ２２の分光特性を850nmに透過帯を持つようにする。電子機器用リモートコントローラのLEDの波長が940nmであるとすると、光学的な混信を防止することが可能となる。
【０２０１】
さらに、本技術の表示制御装置において、フリーカーソルを操作するためのリモートコントローラのLEDから発光される赤外光の波長と同一波長の赤外光を発光するLED光源を照明として設けるようにしてもよい。これにより、感度不足により不可能であった暗所での視聴状態の監視が可能となる。
【０２０２】
また、第２乃至第４の実施の形態においても、図１７乃至図２０を参照して説明した画素出力を適用するようにしてもよい。
【０２０３】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２０４】
図３９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０５】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２０６】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２０７】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０８】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２０９】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２１０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１２】
さらに、本技術は以下のような構成をとることができる。
（１） レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部と
を備える表示制御装置。
（２） 前記領域設定部は、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とする
（１）に記載の表示制御装置。
（３） 前記可視光画像において被写体の顔を検出する顔検出部をさらに備え、
前記領域設定部は、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
（２）に記載の表示制御装置。
（４） 前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、１の前記被写体を特定する特定部をさらに備え、
前記領域設定部は、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
（３）に記載の表示制御装置。
（５） 前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
前記領域設定部は、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
（２）または（３）に記載の表示制御装置。
（６） 前記領域設定部は、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
（５）に記載の表示制御装置。
（７） 前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに備える
（１）乃至（６）のいずれかに記載の表示制御装置。
（８） 前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに備える
（１）乃至（６）のいずれかに記載の表示制御装置。
（９） 異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに備え、
前記領域設定部は、前記差分画像において動きのある赤外光光源の移動領域を設定する
（８）に記載の表示制御装置。
（１０） 前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
前記表示制御部は、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させる
（１）乃至（３）のいずれかに記載の表示制御装置。
（１１） 前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
（１）乃至（１０）のいずれかに記載の表示制御装置。
（１２） 前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力される
（１１）に記載の表示制御装置。
（１３） 前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
（１）乃至（１０）のいずれかに記載の表示制御装置。
（１４） 前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、
前記撮像部は、前記赤外光光源の赤外光の波長を透過帯とするフィルタを備える
（１）乃至（１１）のいずれかに記載の表示制御装置。
（１５） レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
含む表示制御方法。
（１６） レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムにおいて、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２１３】
１１ 表示制御装置， ２１ レンズ， ２２ 特殊フィルタ， ２３ イメージセンサ， ２３ａ カラーフィルタアレイ， ５３ 撮像制御部， ５４ RGB画像処理部， ５５ 顔検出部， ５６ IR画像処理部， ５７ 輝点抽出部， ５８ ROI設定部， ５９ 表示制御部， ６０ 表示部
【特許請求の範囲】
【請求項１】
レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部と
を備える表示制御装置。
【請求項２】
前記領域設定部は、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とする
請求項１に記載の表示制御装置。
【請求項３】
前記可視光画像において被写体の顔を検出する顔検出部をさらに備え、
前記領域設定部は、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
請求項２に記載の表示制御装置。
【請求項４】
前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、１の前記被写体を特定する特定部をさらに備え、
前記領域設定部は、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
請求項３に記載の表示制御装置。
【請求項５】
前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
前記領域設定部は、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
請求項２に記載の表示制御装置。
【請求項６】
前記領域設定部は、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
請求項５に記載の表示制御装置。
【請求項７】
前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに備える
請求項１に記載の表示制御装置。
【請求項８】
前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに備える
請求項１に記載の表示制御装置。
【請求項９】
異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに備え、
前記領域設定部は、前記差分画像において動きのある赤外光光源の移動領域を設定する
請求項８に記載の表示制御装置。
【請求項１０】
前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
前記表示制御部は、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させる
請求項１に記載の表示制御装置。
【請求項１１】
前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
請求項１に記載の表示制御装置。
【請求項１２】
前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力される
請求項１１に記載の表示制御装置。
【請求項１３】
前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
請求項１に記載の表示制御装置。
【請求項１４】
前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、
前記撮像部は、前記赤外光光源の赤外光の波長を透過帯とするフィルタを備える
請求項１に記載の表示制御装置。
【請求項１５】
レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
含む表示制御方法。
【請求項１６】
レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムにおいて、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部と、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定部と、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御部と
を備える表示制御装置。
【請求項２】
前記領域設定部は、前記可視光画像における被写体に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定するとともに、前記赤外光画像における前記赤外光光源の位置を常に前記移動領域の中心位置とする
請求項１に記載の表示制御装置。
【請求項３】
前記可視光画像において被写体の顔を検出する顔検出部をさらに備え、
前記領域設定部は、前記可視光画像における前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
請求項２に記載の表示制御装置。
【請求項４】
前記顔検出部によって複数の顔が検出された場合、前記可視光画像における前記被写体の顔の位置と、前記赤外光画像における赤外光光源の位置とに基づいて、１の前記被写体を特定する特定部をさらに備え、
前記領域設定部は、前記特定部によって特定された前記被写体の顔の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
請求項３に記載の表示制御装置。
【請求項５】
前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
前記領域設定部は、前記被写体までの距離に基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
請求項２に記載の表示制御装置。
【請求項６】
前記領域設定部は、前記被写体までの距離および前記表示部の大きさに基づいて、前記赤外光画像における赤外光光源の前記移動領域の大きさを設定する
請求項５に記載の表示制御装置。
【請求項７】
前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像と前記赤外光画像のそれぞれに最適となるように切り替える撮像制御部をさらに備える
請求項１に記載の表示制御装置。
【請求項８】
前記撮像部における撮像に関するパラメータを、前記撮像部によって出力される前記可視光画像に最適となるように設定する撮像制御部をさらに備える
請求項１に記載の表示制御装置。
【請求項９】
異なる時間フレームの前記赤外光画像から差分画像を生成する差分画像生成部をさらに備え、
前記領域設定部は、前記差分画像において動きのある赤外光光源の移動領域を設定する
請求項８に記載の表示制御装置。
【請求項１０】
前記可視光画像に基づいて、前記被写体までの距離を算出する距離算出部をさらに備え、
前記表示制御部は、前記表示部の表示対象を、前記被写体までの距離に応じた大きさで表示させるとともに、前記移動領域内での前記赤外光光源の移動に応じて、前記表示部におけるカーソルを移動させる
請求項１に記載の表示制御装置。
【請求項１１】
前記撮像部から前記赤外光画像として出力される画素信号は、ＲＧＢ画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
請求項１に記載の表示制御装置。
【請求項１２】
前記撮像部から前記赤外光画像として出力される画素信号は、ベイヤ配列のＧ画素のうちの１つに赤外光を透過する前記フィルタが配置された撮像素子から出力される
請求項１１に記載の表示制御装置。
【請求項１３】
前記撮像部から前記赤外光画像として出力される画素信号は、白画素の４画素を１つの画素ユニットとしたときの１ユニットに赤外光を透過するフィルタが配置された撮像素子から出力される
請求項１に記載の表示制御装置。
【請求項１４】
前記赤外光光源の赤外光の波長は、電子機器を操作するためのリモートコントローラのLED（Light Emitting Diode）から発光される赤外光の波長と異なり、
前記撮像部は、前記赤外光光源の赤外光の波長を透過帯とするフィルタを備える
請求項１に記載の表示制御装置。
【請求項１５】
レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御方法であって、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
含む表示制御方法。
【請求項１６】
レンズより入射される光のうちの可視光に対応する画素信号に基づく可視光画像と、前記レンズより入射される光のうちの赤外光に対応する画素信号に基づく赤外光画像を出力する撮像部を備える表示制御装置の表示制御処理をコンピュータに実行させるプログラムにおいて、
前記可視光画像に基づいて、前記赤外光画像における赤外光光源の移動領域を設定する領域設定ステップと、
前記移動領域内での前記赤外光光源の移動に応じて、表示部上のカーソル移動量を制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２０１２−２４２９４８（Ｐ２０１２−２４２９４８Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１０３６３（Ｐ２０１１−１１０３６３）
【出願日】平成２３年５月１７日（２０１１．５．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１７日（２０１１．５．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]