照明制御装置
【課題】三次元情報を用いることにより、照明器具による照明範囲を床面上で対応付け、床面上での人の位置を用いて適切な位置の照明器具の光出力を制御する。
【解決手段】計測処理部130は、2台のカメラ11,12を用いたステレオビジョンにより照明空間の三次元情報を取得する。マップ生成部131は、三次元情報を用いることにより照明空間の床面上の位置を照明器具21,22,23に割り当てた照明範囲マップを生成する。人検出部132は、計測処理部130が取得した三次元情報を用いて照明空間における床面上での人の存在位置を検出する。制御指示部134は、人の存在位置が照明範囲マップに照合されることにより抽出された照明器具21,22,23ごとの照明範囲を用いて照明器具21,22,23の光出力を決定し、照明制御部15を通して照明器具21,22,23を制御する。
【解決手段】計測処理部130は、2台のカメラ11,12を用いたステレオビジョンにより照明空間の三次元情報を取得する。マップ生成部131は、三次元情報を用いることにより照明空間の床面上の位置を照明器具21,22,23に割り当てた照明範囲マップを生成する。人検出部132は、計測処理部130が取得した三次元情報を用いて照明空間における床面上での人の存在位置を検出する。制御指示部134は、人の存在位置が照明範囲マップに照合されることにより抽出された照明器具21,22,23ごとの照明範囲を用いて照明器具21,22,23の光出力を決定し、照明制御部15を通して照明器具21,22,23を制御する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の存在位置に応じて照明器具の光出力を自動的に調節する照明制御装置に関するものである。
【背景技術】
【0002】
従来から、照明器具により照明される照明空間での人の存否に応じて照明器具の光出力を自動的に調節する技術が提案されている。この種の技術は、照明空間に人が存在する期間にのみ照明器具を点灯させることにより照明器具の消し忘れを防止し、また、人の非存在時に照明器具の光出力を抑制することにより消費電力の無駄な増加を抑制することを目的として採用されている。
【0003】
人の存否は、焦電型赤外線センサを備える人感センサを用いて検出することが多い。ただし、カメラのような撮像手段を用いて照明空間の画像を取得し、画像から人か否かを判別し、かつ人の位置を検出する技術も提案されている。
【0004】
ところで、照明空間がオフィスや店舗のように広い場合には、一般に複数台の照明器具が配置される。各照明器具は、照明空間の全体を照明するのではなく、照明空間の一部を照明範囲にしている。ここに、照明範囲は、照明空間の利用目的に応じた必要な照度が得られる範囲を意味する。たとえば、照明器具を天井に配置している場合に、床面での照度が規定した照度以上になる範囲が照明範囲になる。
【0005】
複数台の照明器具により1つの照明空間を照明している場合、照明空間における人の存在位置がわかれば、人の存在位置に応じて照明器具の光出力を調節することが可能になる。すなわち、照明空間において人が局在している場合には、人の近辺に存在する照明器具からの光出力を相対的に大きくし、残りの照明器具の光出力を相対的に小さくすることによって、照明空間全体での消費電力が低減されることになる。ここに、光出力を大きくする場合には全点灯(定格点灯)する場合が含まれており、光出力を小さくする場合には消灯する場合が含まれている。
【0006】
上述の動作では、人の存在しない領域を照明範囲とする照明器具の光出力を相対的に小さくしているから、照明空間の全体で照明器具の光出力を一定にする場合に比較すると、照明器具による消費電力が低減される。しかも、人の近辺に存在する照明器具の光出力を相対的に大きくしているから、照明空間の利用に応じた必要な照度が確保されることになる。
【0007】
人の存在位置に応じて照明器具の光出力を調節するには、焦電型赤外線センサを用いた人感センサを個々の照明器具に設け、人感センサでの人の検知の有無に応じて人の周囲の照明器具の光出力を連携させて調節することが考えられる。この場合、複数台の照明器具を連携させるために、照明器具の間で通信を行うことが必要になる。この構成を採用すると、照明器具と同じ個数の人感センサが必要になる上に、複数の照明器具の間で連携させるための回路構成が個々の照明器具に必要になり、結果的にコスト増につながるという問題が生じる。
【0008】
一方、撮像手段を用いて取得した画像を用いて人の存在位置を検出する技術を採用する場合は、個々の照明器具に撮像手段を設ける必要がなく、複数台の照明器具の照明範囲における人の存在位置を1台の撮像手段によって検知することが可能になる。この種の技術を採用する場合、照明空間の広さにもよるが、1台の撮像手段で照明空間の全体を撮像することが多い。
【0009】
ただし、撮像手段を用いて人の存在位置を検出する場合には、撮像手段が撮像する画像内の位置と、照明空間における位置とをあらかじめ対応付けておくことが必要である。
【0010】
特許文献1には、互いに直交する2方向から撮像する2台の画像センサを用い、2台の画像センサから得られた撮像データに基づいて人の位置座標を演算し、さらに、人が居る位置に近いほど明るくなるように照明器具の調光制御を行う技術が記載されている。
【0011】
特許文献1では、撮像データにおける照明器具の論理アドレスと、照明器具の実際の物理アドレスとを一致させるために、照明器具を1台ずつ順に点灯させ、撮像データにおいて明るくなった領域の位置を用いて、照明器具の座標を求めている。言い換えると、照明器具を1台ずつ点灯させ、画像内で明るくなった領域の論理アドレスに、点灯させた照明器具の物理アドレスを対応付けている。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2009−283183号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
ところで、特許文献1に記載された技術では、照明空間に机、棚、ロッカ、事務機、パーティションのような立体物が存在している場合に、論理アドレスと物理アドレスとを正確に対応付けることができない場合がある。論理アドレスと物理アドレスとが正確に対応付けられていなければ、照明空間における人の存在位置に基づいて照明器具の光出力を調節する際に、不適切な照明器具を制御する可能性がある。
【0014】
いま、図11のように、照明器具24,25を備える照明空間において、照明器具25の直下付近に机26が配置されている場合を考える。撮像手段としてのカメラ16は、照明器具24,25の間に配置されているものとする。図示した配置では、机26の近傍に人31が存在する場合には、照明器具25の光出力を相対的に大きくし、机26から遠方に配置された照明器具24は光出力を相対的に小さくすることが望ましい。
【0015】
ここで、カメラ16の視野に机26の一側面が含まれているとすると、机26の側面には照明器具24からの直接光が入射するが、照明器具25からの直接光は入射しない。したがって、図12に示すように、カメラ16で撮像された画像において、机26の一側面は照明器具24に対応付けられことになる。図12に示す画像において、斜線部が照明器具24に対応付けられる領域であり、残りの領域が照明器具25に対応付けられる。
【0016】
一方、机26の近傍に存在する人31は、図12のように、人31の存在位置が、机26の近傍で照明器具24に対応付けられた領域(斜線部)に重複する場合が生じる。この場合、照明器具24の光出力が照明器具25の光出力よりも相対的に大きくなり、意図した動作が得られないという問題が生じる。
【0017】
図13に実際の動作例を示す。図13(a)は照明空間の一例であって、3台の照明器具により照明を行う場合を示している。照明器具ごとの照明範囲は、床面上に3つの領域E1,E2,E3で示している。また、照明空間の床には、複数個の立体物27(机、棚、事務機など)が配置され、天井にはカメラ16が配置されている。図示例では、カメラ16が領域E1,E2の境界付近の天井に配置されている。
【0018】
照明器具を1台ずつ個別に点灯させたときにカメラ16で撮像される画像は、図13(b)(c)(d)のようになる。そして、各画像で明るくなった領域の論理アドレスに、点灯させた照明器具の物理アドレスを対応付けると、図13(e)のように、カメラ16で撮像した画像内に照明器具の物理アドレスが対応付けられる。図13(e)では3段階の濃淡値を用いて照明器具の物理アドレスを表している。
【0019】
照明器具の物理アドレスは、本来ならば、図13(a)に示された領域E1,E2,E3と同様に、照明器具ごとに1つの領域にまとまっていなければならない。しかしながら、実際の照明空間には立体物27が存在するから、図13(e)のように、1台の照明器具の物理アドレスが複数の領域に分割され、1つの物理アドレスに飛び地状の領域(図13(e)において破線で囲まれた領域)が生じることがある。このような飛び地状の領域が生じていると、上述したように、人の存在位置に対して不適切な照明器具を制御する可能性が生じる。
【0020】
本発明は、照明空間の三次元情報を用いることにより、照明器具による照明範囲を床面上で対応付けることを可能にし、結果的に、床面上での人の位置を用いて適切な位置の照明器具の光出力を制御することを可能にした照明制御装置を提供することを目的とする。
【課題を解決するための手段】
【0021】
本発明に係る照明制御装置は、上記目的を達成するために、複数台の照明器具により照明される照明空間を撮像する撮像手段を備え撮像手段が撮像した画像から照明空間の三次元情報を取得する三次元計測部と、三次元情報を用いることにより照明空間の床面上の位置を照明器具に割り当てた照明範囲マップを生成するマップ生成部と、三次元情報を用いて照明空間における床面上での人の存在位置を検出する人検出部と、人の存在位置が照明範囲マップに照合されることにより抽出された照明器具ごとの照明範囲を用いて照明器具の光出力を決定する制御指示部とを備えることを特徴とする。
【0022】
この照明制御装置において、三次元計測部は、撮像手段として2台のカメラを用い、カメラが撮像した画像から三角測量法の原理を用いて照明空間の三次元情報を取得することが好ましい。
【0023】
この照明制御装置において、マップ生成部は、照明範囲マップを生成するために、照明器具ごとに光出力を2段階で変化させ、撮像手段が撮像した画像を構成する画素のうち照明空間における床面に対応付けられる各画素について照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、画素ごとに変化分を最大にする照明器具を対応付けることが好ましい。
【0024】
この照明制御装置において、マップ生成部は、照明範囲マップを生成するために、照明器具ごとに光出力を2段階で変化させ、撮像手段が撮像した画像を構成する画素のうち照明空間における床面に対応付けられる各画素について照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、画素ごとに変化分が規定の閾値以上になる照明器具を対応付けることが好ましい。
【0025】
この照明制御装置において、マップ生成部は、撮像手段が撮像した画像を構成する画素のうち床面に交差する面に対応する画素は、照明範囲マップの対象外とすることがさらに好ましい。
【0026】
この照明制御装置において、マップ生成部は、照明範囲マップにおいて照明空間の床面上の位置のうち照明器具が対応付けられていない位置には、照明器具ごとの照明範囲と位置との位置関係を用いて位置に照明器具を割り当てることがさらに好ましい。
【0027】
この照明制御装置において、マップ生成部は、照明範囲マップにおける照明器具ごとの照明範囲に基づいて、床面における照明器具ごとの直下の位置を推定することがさらに好ましい。
【発明の効果】
【0028】
本発明の構成によれば、照明空間の三次元情報を用いることにより、照明器具による照明範囲を床面上で対応付けているので、床面上での人の位置を用いて適切な位置の照明器具の光出力を制御することが可能になるという利点がある。
【図面の簡単な説明】
【0029】
【図1】実施形態を示す概略構成図である。
【図2】同上に用いるカメラの配置例を示す図である。
【図3】同上の原理説明図である。
【図4】同上の原理説明図である。
【図5】同上の動作例を示す図である。
【図6】同上において照明範囲マップを生成する手順を示す動作説明図である。
【図7】同上における視差の概念を説明する図である。
【図8】同上において照明範囲マップの補正処理を説明する図である。
【図9】同上の動作例を示す図である。
【図10】実施形態2の動作説明図である。
【図11】照明器具の配置例を示す概略構成図である。
【図12】図11の配置例に対応した課題を説明する図である。
【図13】従来の動作を説明する図である。
【発明を実施するための形態】
【0030】
以下に説明する実施形態は、照明空間の三次元情報を取得する三次元計測部において、2台のカメラを用いたステレオビジョンによる三次元計測を想定する。ただし、撮像手段としてのカメラで撮像した画像から三次元情報を取得する構成であれば、三次元計測部の構成は問わない。たとえば、ステレオビジョンのようにパッシブ型の構成のほか、光切断法や位相シフト法のように光パターンを投影して三次元情報を取得するアクティブ型の構成であってもよい。これらの技術は三角測量の原理を用いている。
【0031】
三次元計測部は、強度が一定周期で変化する強度変調光を投光し、反射光をカメラで受光することにより、強度変調光の投受光の位相差から画素ごとの距離を求めて距離画像を生成する技術を採用してもよい。この技術は、光の飛行時間を計測するからTOF(Time of Flight)法と呼ばれている。
【0032】
(実施形態1)
図1に示すように、三次元計測部10は、三次元の実空間に対する視野がほぼ重複するように配置された撮像手段としての2台のカメラ11,12を備える。カメラ11,12は、2次元格子の格子点上に画素が配列されたエリアイメージセンサに光学系を組み合わせて構成されており、エリアイメージセンサには、CCDイメージセンサ、CMOSイメージセンサなどが用いられる。また、2台のカメラ11,12は、画像の解像度や焦点距離などの仕様が等しいものが用いられる。また、図2のように、2台のカメラ11,12は、光軸Ax1,Ax2を平行にし、かつ受光面PL1,PL2の中心を結ぶ方向(「ベースライン方向」と呼ぶ)と光軸Ax1,Ax2とを直交させて配置されている。ここでは、光軸Ax1,Ax2は、光学中心と受光面PL1,PL2の中心を結ぶ直線とする。
【0033】
各カメラ11,12は、画角が180度に近い魚眼レンズないし魚眼レンズに相当する機能を有した光学系(図示せず)を備える。光学系の射影方式はとくに問わないが、以下では等距離射影方式を用いて説明する。また、2台のカメラ11,12は、ベースライン方向と受光面PL1,PL2における水平方向とを一致させるように配置される。すなわち、平行ステレオを想定する。なお、光学系の射影方式は等距離射影方式に限定されず、光学系は他の歪み特性を有していてもよく、またキャリブレーションを行うから歪み特性が未知の光学系を用いることも可能である。
【0034】
上述した三次元計測部10の構成は限定する趣旨ではないが、上述した構成を採用することにより、照明空間の全体を撮像する程度の広視野角が得られ、しかも、カメラ11,12が撮像した画像から三次元情報を算出する際の演算量が低減されることになる。ここに、カメラ11,12は、天井のような高所に、それぞれの光軸Ax1,Ax2がともに鉛直下向きとなるように配置される。また、カメラ11,12は、後述する照明器具の照明対象である照明空間の全体が視野に含まれるように配置される。
【0035】
以下では、受光面PL1,PL2の水平方向に沿う方向(すなわち、ベースライン方向)をx方向、受光面の垂直方向に沿う方向をy方向とし、受光面に直交する方向をz方向とする。また、各カメラ11,12の撮像画像をモニタ装置に表示したときに、水平方向の右向きがx方向の正の向き、垂直方向の下向きがy方向の正の向きになるように座標系を定めている。z方向についてはカメラの受光面から遠ざかる向きを正の向きとする。
【0036】
カメラ11で撮像した画像の画素位置は(u1,v1)という形式で表され、カメラ12で撮像した画像の画素位置は(u2,v2)という形式で表される。u1軸とu2軸とはx方向の座標軸であり、v1軸とv2軸とはy方向の座標軸になる。また、平行ステレオであるから、u1軸とu2軸とは一直線上に並ぶ。
【0037】
図1に示す構成例では、複数台(図示例では3台)の照明器具21,22,23が天井のような高所に配置され、照明器具21と照明器具22との間にカメラ11,12が配置されている。上述のように、カメラ11,12の視野は、3台の照明器具21,22,23が照明対象とする照明空間の全体を含むように設定される。図1では、図示の都合上3台の照明器具21,22,23が一直線上に配置されているが、照明器具の台数は3台以上であってもよく、また照明器具は任意の位置関係で配置されていてもよい。
【0038】
カメラ11,12から出力された画像データは演算処理部13に入力される。本実施形態では、画像データが濃淡画像である場合を例として説明するが、画像データがカラー画像であっても以下に説明する技術思想は適用可能である。
【0039】
演算処理部13は、ハードウェア資源としてのコンピュータを有し、コンピュータを以下に説明する処理を行う装置として機能させるためのプログラムを実行する。ただし、演算処理部13は専用のハードウェアを備える構成であってもよい。また、マイコンを備えるコンピュータのほか、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)のようにプログラムを実行する機能を備えるデバイスを用いて構成してもよい。
【0040】
カメラ11,12がアナログ信号を出力する場合には、カメラ11,12と演算処理部13との間にアナログ信号をデジタル信号に変換するAD変換器が設けられる。また、カメラ11,12と演算処理部13との間には、画像データからノイズのような不要成分を除去するフィルタ回路などが設けられていてもよい。
【0041】
演算処理部13を動作させるためのシステムプログラムおよびアプリケーションプログラムは記憶部14に記憶される。また、演算処理部13の処理対象である撮像画像データや演算過程のデータも、データメモリおよび作業用メモリとして機能する記憶部14に記憶される。したがって、記憶部14は、フラッシュメモリやハードディスクドライブ装置のように無給電で記憶内容が保持される記憶媒体と、処理の実行時にシステムプログラムやアプリケーションプログラムを置くための主記憶となる揮発性メモリとを含む。
【0042】
演算処理部13は、カメラ11,12から取得した画像データを用いて照明空間の三次元情報を生成する計測処理部130を備える。すなわち、記憶部14の一部と計測処理部l30とは、カメラ11,12とともに三次元計測部10を構成する。画像データから三次元情報を生成する技術については後述する。演算処理部13は、照明器具21,22,23ごとの照明範囲を表す照明範囲マップを生成するマップ生成部131と、三次元情報を用いて人30の存在位置を検出する人検出部132とを備える。マップ生成部131が生成した照明範囲マップは記憶部14に設けたマップ記憶部141に記憶される。マップ記憶部141は、書換可能な不揮発性メモリで構成されていることが好ましい。
【0043】
演算処理部13には、人検出部132が人30の存在位置を検出したときに、検出された位置を照明範囲マップに照合することによって、当該位置を照明範囲とする照明器具21,22,23を抽出する照合部133が設けられる。照合部133により抽出された照明器具21,22,23を識別する情報は、演算処理部13に設けた制御指示部134に与えられ、制御指示部134において、あらかじめ定められたルールに従って照明器具21,22,23ごとの光出力が決定される。
【0044】
ルールは、たとえば、照合部133が抽出した照明器具21,22,23だけを定格点灯させるように設定される。あるいは、照合部133が抽出した照明器具21,22,23を定格点灯させるとともに当該照明器具21,22,23の周囲と隣り合わせである照明器具21,22,23を調光点灯させるようにルールが設定される。これらのルールは一例であって、ルールは、照明空間において人の存在位置の周囲の領域が残りの領域よりも相対的に明るくなるように設定されていればよい。
【0045】
演算処理部13に設けた制御指示部134の出力は、照明器具21,22,23の光出力を調節する照明制御部15に与えられる。照明制御部15は、制御指示部134の指示内容に従って照明器具21,22,23の光出力を調節する。したがって、人の存在位置が検出されると、制御指示部134に設定されたルールに応じて照明器具21,22,23の点灯状態が制御される。
【0046】
以下では、個々の技術についてさらに詳しく説明する。三次元計測部10は、2台のカメラ11,12がそれぞれ撮像した撮像画像に基づいて実空間の三次元情報を取得するために、2台のカメラ11,12が同時刻に撮像した対になる撮像画像を取得して記憶部14に保存する。
【0047】
いま、2台のカメラ11,12のうちの1台について着目する。図3に示すように、実空間に対して光学中心Oを原点とする三次元の座標系(xyz)を規定し、受光面PLに対して2次元の座標系(o−uv)を規定する。受光面PLの座標系は撮像画像の座標系と一対一に対応する。実空間における三次元の座標系におけるx方向はベースライン方向と平行とし、y方向は受光面の垂直方向と平行とする。また、受光面PLにおける2次元の座標系におけるu方向はx方向と平行とし、v方向はy方向と平行とする。
【0048】
受光面PLでの画素の位置は、左上隅を原点として水平方向と垂直方向との画素の個数で表される。画像上に投影された光軸上の点の座標を(uc,vc)とすると、(uc,vc)と座標(u,v)に位置する画素との距離rは、数1で表される。
【0049】
【数1】
また、等距離射影方式を採用しているから、三次元の実空間における点Pが光学中心Oを中心位置とする半径1の球面SPの表面に射影されるモデルを用いることができる。すなわち、図3のように実空間の点Pが球面SPの表面に射影された点Qと光学中心Oとを結ぶ直線が、光軸Ax(z軸方向)となす角度θ[rad]は、距離rを用いて、数2で表される。
【0050】
【数2】
ただし、数2において、距離L0は、実空間が投影される球面SPの上でz=0に対応した受光面PLの上での円の半径を示す。また、図3において、点Rは点Qを受光面PLへ投影した画素の位置を示す。
【0051】
実空間における点Pが、受光面PLの座標(u,v)の画素に対応付けられるようにキャリブレーションが行われているとすると、モデルとして用いる球面SPの表面に実空間の点Pを射影した点Qの位置(Xr,Yr,Zr)は、数3で表される。
【0052】
【数3】
また、数1の距離rは、r=f・θとおくことが可能であって、この場合、fは等距離射影方式における光学系の比例定数に相当する。
【0053】
ところで、図4に示しているように、点Qの位置(Xr,Yr,Zr)は、画素の座標(u,v)に代えてx軸、y軸、z軸の3軸のうちの2軸の周りの角度の組み合わせとして表すことが可能である。点Qについて、x軸周りの角度(yz平面内での角度)をβ、y軸周りの角度(zx平面内での角度)をαとする。また、上述した角度φは、z軸周りの角度(xy平面内での角度)ということができる。
【0054】
角度αはx軸の正の向きを0度としz軸の正の向きに向かって増加し、角度βはy軸の正の向きを0度としz軸の正の向きに向かって増加する。角度α,βを用いると、画素の位置は、座標(u,v)に代えて(α,β)で表すことができる。座標(u,v)から(α,β)に変換するには、数3の計算結果を用いて数4の計算を行う。
【0055】
【数4】
上述した手順によって、画素の位置を座標(u,v)で表現した画像から、(α,β)で表現した画像に変換した結果を図5に示す。図5(a)はカメラ11で得られた撮像画像を示し、図5(b)はカメラ12で得られた撮像画像を示す。また、図5(c)(d)はそれぞれ座標(u,v)から、(α,β)に変換した画像を示す。
【0056】
このように、演算処理部13における計測処理部130は、2台のカメラ11,12がそれぞれ撮像した撮像画像内での画素の位置(u,v)を、上述した三次元の実空間における角度の組(α,β)に変換した画像を生成する。以下では、実空間の点Pに対応する位置を(α,β)で表した画像を変換画像と呼ぶ。
【0057】
ここで、本実施形態は、上述した条件の平行ステレオを前提にしているから、2台のカメラ11,12が撮像した撮像画像から得られる2枚の変換画像において、実空間における同一の点Pに対応するβの値は等しくなる。そのため、実空間における同一の点Pに対応する画素を2枚の変換画像から探索する際には、角度βを変化させずに角度αのみを変化させればよいから、2枚の画像間で画素を対応付ける処理において、撮像画像を用いる場合よりも処理負荷が軽減されることになる。要するに、実空間における1つの点Pに対応する画素(以下、「対応点」という)を2枚の変換画像から探索する際に、x軸回りの角度βが同じである範囲内のみを探索すればよいから、対応点の探索範囲が狭められ、処理負荷が低減される。
【0058】
ところで、計測処理部130は、対応点か否かを評価するために、ブロックマッチングの技術を採用している。すなわち、2枚の変換画像のうち一方の変換画像において対応点の評価を行おうとする部位の周囲に複数画素を含むブロックを形成するとともに、ブロックに対応する大きさの走査ブロックを他方の変換画像に設定し、走査ブロックをα軸に沿って走査するのである。ブロックおよび走査ブロックは、対応点の評価を行おうとする画素の周囲で矩形領域として設定するのが望ましい。
【0059】
一方の変換画像における座標(α1,β1)の画素と、他方の変換画像における座標(α2,β2)の画素とは、数5に示す評価値Vsが最小になる場合に対応点とみなす。ただし、β2=β1という条件で探索を行う。また、ブロックと走査ブロックとは、α方向に(2N+1)画素を有し、β方向に(2M+1)画素を有する。また、数5において、I(α1,β1)は一方の変換画像の座標(α1,β1)における輝度値であり、I2(α2,β2)は他方の変換画像の座標(α2,β2)における輝度値である。
【0060】
【数5】
数5において用いた評価値Vsは、SAD(Sum of Absolute Difference)として知られている値であるが、対応点の評価には他の評価値を用いることが可能である。たとえば、SSD(Sum of Squared Difference)、正規化相互相関関数などを評価値に用いることが可能である。また、ブロックマッチングに代えて他のステレオマッチングの技術を採用してもよい。
【0061】
上述のようにして、計測処理部130は、2枚の変換画像から対応点を抽出した後、座標(α,β)ごとに視差dを画素値に持つ視差画像を生成する。視差dは、対応点について、d=α2−α1として求められる。視差画像の例を図5(e)に示す。計測処理部130は、点Pに関して 視差dに基づいて実空間におけるz方向の座標値を求める。すなわち、実空間の三次元情報が得られることになる。
【0062】
次にマップ生成部131について説明する。マップ生成部131は、計測処理部130により得られた三次元情報と、照明器具21,22,23の照明範囲とを対応付けた照明範囲マップを生成する。マップ生成部131により照明範囲マップを生成するために、マップ生成部131は、照明器具21,22,23を1台ずつ個別に点灯させ、照明器具21,22,23がそれぞれ点灯したときの画像を少なくとも一方のカメラ11,12で撮像し、各画素の濃淡値を求める。
【0063】
たとえば、すべての照明器具21,22,23を消灯させた状態から、照明器具21のみを点灯させた画像をカメラ11で撮像した後、照明器具22のみを点灯させた画像をカメラ11で撮像し、次に、照明器具23のみを点灯させた画像をカメラ11で撮像する。このようにして得られた3枚の画像は、照明器具21,22,23が1台だけ点灯している状態の画像になる(図13(b)(c)(d)を参照)。したがって、3枚の画像における濃淡値を比較することにより、カメラ11の視野内(つまり照明空間)のどの領域において、どの照明器具21,22,23が支配的に照明を行っているかの情報が得られる。
【0064】
本実施形態では、照明範囲マップを生成するにあたり2段階の処理を行う。第1段階では、カメラ11の撮像画像と同じ解像度で対応マップ画像を生成する。対応マップ画像を生成する際に、マップ生成部131は、照明器具21,22,23を1台ずつ点灯させて撮像した3枚の画像について、同じ座標(u,v)の濃淡値の大小を比較する。
【0065】
さらに、マップ生成部131は、濃淡値がもっとも小さい(もっとも受光強度が大きい)画像を選択し、当該画像を撮像したときに点灯させた照明器具21,22,23を、当該座標(u,v)に対応付ける。具体的には、照明器具21,22,23に、互いに識別可能な識別子を付与しておき、撮像画像の各座標(u,v)には照明器具21,22,23の識別子を対応付ける。識別子は、1画素に対応付けることができれば、どのような値でもよく、たとえば、照明器具21に「1」、照明器具22に「2」、照明器具23に「3」という識別子を割り当てればよい。換言すれば、画素値が照明器具21,22,23の識別子である画像が生成され、この画像が対応マップ画像になる(対応マップ画像の例は図13(e)を参照)。
【0066】
マップ生成部131では、図6に示す手順で、対応マップ画像を照明範囲マップに変換する。照明範囲マップは、対応マップ画像の画素値(照明器具21,22,23の識別子)が三次元情報の座標値に対応付けられる。照明範囲マップを生成するには、まず初期化のために三次元情報の座標値に対応付ける識別子が0に設定される(S11)。次に、数3と数4とを用いて、対応マップ画像における座標(u,v)が座標(α,β)に変換される(S12)。さらに、マップ生成部131は、変換された座標(α,β)を視差画像に照合することにより視差dを求め、数6により座標(α,β)に対応する距離Zdを算出する(S13)。数6においてBは、カメラ11の光学中心O1とカメラ12の光学中心O2との距離である。
【0067】
【数6】
実空間における点Pと、カメラ11,12の光学中心O1,O2と角度α1,α2と距離Bとの関係を図7に示す。図7において、座標zは、カメラ11の光学中心O1を原点とする座標系でのxy平面から点Pまでの距離である。
【0068】
ところで、カメラ11,12が上述のように配置されていることにより、照明空間の床面は、カメラ11を基準に設定したxy平面(図3参照)に平行な平面になる。いま、原点を床面上に設定したワールド座標を規定し、ワールド座標におけるカメラ11の光学中心O1の座標を(X0,Y0,Z0)とする。また、ワールド座標におけるZ軸は、床面から天井面に向かう向きを正の向きとする。数3により求められた球面SP上での座標(Xr,Yr,Zr)と、カメラ11の光学中心O1のワールド座標(X0,Y0,Z0)と、数6により求めた距離Zdとを用いると、対応マップ画像における座標(u,v)に対応するワールド座標(X,Y,Z)は数7で表される。すなわち、座標(u,v)が座標(X,Y,Z)に変換される(S14)。
【0069】
【数7】
次に、対応マップ画像の座標(u,v)に設定された識別子が、座標(u,v)から変換した照明範囲マップの座標(X,Y)に対応付けられる(S17)。この処理は、対応マップ画像のすべての座標(u,v)について行われる(S19,S20)。
【0070】
ところで、対応マップ画像において異なる座標(u,v)が、照明範囲マップの同じ座標(X,Y)に対応する場合が考えられる。そこで、このような座標(X,Y)の重複を避けるために、座標(X,Y)にすでにZ値が記憶されている場合(S15:Yes)、すでに記憶されているZ値と、今回求めたZ値との大小を比較する(S16)。そして、今回のZ値が、記憶しているZ値よりも小さい場合(S16:Yes)、すなわち、座標(X,Y)に対応する部位が床面よりも上方に位置する場合には、座標(u,v)に対応する座標(X,Y)に照明器具21,22,23の識別子が対応付けられ(S17)、さらに、座標(X,Y)に今回求めたZ値が対応付けて記憶される(S18)。
【0071】
このように、対応マップ画像の1つの座標(u,v)に、ワールド座標の複数の座標(X,Y)が対応する場合に、Z値が小さいほうが採用されるから、対応マップ画像上で床面に交差した面(ほぼ直交した面)に設定された照明器具21,22,23の識別子が、照明範囲マップに対応付けられることが防止される。
【0072】
マップ生成部131は、図6に示した処理により照明範囲マップを生成した後、照明器具21,22,23の識別子が対応付けられていない座標(X,Y)に、いずれかの照明器具21,22,23の識別子を対応付けるように補正処理を行う。この補正処理には、XY平面(床面)上で、照明器具21,22,23ごとの直下の座標位置を推定し、当該座標位置からの距離に応じて座標(X,Y)で表される領域のすべての座標位置に照明器具21,22,23の識別子を対応付ける。
【0073】
照明器具21,22,23の直下の座標位置は、補正処理前の照明範囲マップを用い、識別子ごとに座標位置の平均の位置(重心位置)が割り当てられる。要するに、照明器具21,22,23ごとの照明範囲の重心の位置が、照明器具21,22,23の直下の座標位置と推定される。
【0074】
マップ生成部131は、照明器具21,22,23の直下の座標位置を求めた後、数8を用いて、照明範囲マップのうち照明器具21,22,23の識別子を対応付けていない座標(X,Y)と照明器具21,22,23ごとの直下の座標位置との距離Dを求める。数8において(ug,vg)は照明器具21,22,23の直下の座標位置であり、照明器具21,22,23ごとに異なる値になる。
【0075】
【数8】
距離Dは照明器具21,22,23ごとに求められ、本実施形態では3台の照明器具21,22,23を用いているから、座標(X,Y)に対して3種類の距離Dが求められることになる。照明器具21,22,23は、座標(X,Y)までの距離Dが小さいほど影響が大きいと考えられるから、マップ生成部131は、求めた距離Dが最小になる照明器具21,22,23を座標(X,Y)に割り当てる。
【0076】
たとえば、対応マップ画像が図13(e)に例として示した画像である場合、マップ生成部131は、まず図8に示すような照明範囲マップを生成する。図8において、楕円形の領域F1,F2,F3には、それぞれ照明器具21,22,23の識別子が対応付けられている。また、領域F1,F2,F3ごとに重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)が求められている。これらの重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)は、それぞれ照明器具21,22,23の直下の座標位置とみなされる。次に、照明範囲マップのうち照明器具21,22,23の識別子が対応付けられていない座標(X,Y)から各重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)までの距離D1,D2,D3が求められる。求められた距離D1,D2,D3が最小になる重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)に対応する照明器具21,22,23が、座標(X,Y)に割り当てられる。
【0077】
上述のように、照明空間の床面において、照明器具21,22,23の識別子を割り当てられていない座標(X,Y)に対し、距離Dが最小になる照明器具21,22,23の識別子が割り当てられる。つまり、照明範囲マップの補正処理によって、照明空間の床面のすべての座標(X,Y)に照明器具21,22,23の識別子が対応付けられる。
【0078】
床面の座標(X,Y)と照明器具21,22,23との対応付けには、照明器具21,22,23の直下の座標との距離Dを用いることは必須ではない。たとえば、照明器具21,22,23の識別子が割り当てられている座標(X,Y)との距離を用いてもよい。つまり、照明器具21,22,23との対応付けがなされていない場合、近い位置に割り当てられている識別子を割り当てるようにしてもよい。
【0079】
いずれの場合も、照明器具21,22,23ごとの照明範囲と、座標(X,Y)で表される床面上の位置との位置関係を用いて、座標(X,Y)に照明器具21,22,23が割り当てられることになる。
【0080】
上述した処理は、照明器具21,22,23を制御する前の設定モードにおいて実施される。次に、照明器具21,22,23の光出力を人の存在位置に応じて制御する通常モードの動作について説明する。
【0081】
通常モードでは、カメラ11,12が撮像した画像を用いて人検出部132が人の存在位置を検出する。すなわち、人検出部132は、照明空間における人の存否を検出するだけではなく、照明空間に人が存在する場合に、人が存在する位置を検出する。カメラ11,12から出力される撮像画像を用いて人の存在位置を検出するには、まず三次元計測部10において照明空間の三次元情報を取得する。三次元情報は、カメラ11,12のフレームレートに応じて生成され、たとえば、毎秒30フレームで出力される画像に対して、それぞれ三次元情報が取得される。三次元計測部10が三次元情報を取得する動作は上述した通りであって、カメラ11,12ごとの撮像画像の座標(u,v)が(α,β)に変換され、さらに視差画像が生成され、視差画像に基づいて三次元情報が算出される。
【0082】
人の存在位置を検出するには、設定モードにおいて生成した人の存在しない状態での視差画像(すなわち、背景画像)と、通常モードにおいて生成した視差画像(すなわち、評価画像)との差分画像を用いる。この差分画像は、比較対象である評価画像と背景画像とにおける同座標の画素値の差分を画素値に持つ。したがって、背景画像に含まれない物体が評価画像に含まれていると、当該物体に対応する座標の画素値が比較的大きくなる。このことを利用すれば、差分画像を用いて人の存在位置を検出することが可能になる。
【0083】
本実施形態では、人の存在位置を検出するために設定モードでの視差画像と通常モードでの視差画像の差分を用いるが、他の方法により人の存在位置を検出してもよい。たとえば、視差画像の各画素について、図7に示す距離zの値を算出することで距離画像を生成できるため、設定モードでの距離画像と通常モードでの距離画像をそれぞれ生成し、距離画像同士の差分を用いて人の存在位置を検出することができる。また、通常モードにおいてカメラ11,12のいずれかから得られる画像に基づいて、フレーム間差分法やテンプレートマッチングなどの方法により画像中の人に相当する領域を抽出し、抽出した領域について視差および距離を算出することで人の存在位置を検出することができる。
【0084】
人検出部132は、通常モードにおいて取得した三次元情報に基づいて生成した評価画像と背景画像との差分画像を生成し、差分画像における画素値が規定した閾値以上である画素を人に対応する画素の候補として抽出する。具体的には、評価画像における座標(α,β)の視差dn(α,β)と、背景画像における座標(α,β)の視差db(α,β)との差分を適宜に設定した閾値dthと比較し、dn(α,β)−db(α,β)>dthが成立するときに、当該座標(α,β)の画素を、人に対応する画素の候補とする。
【0085】
たとえば、図9(a)のような評価画像と、図9(b)のような背景画像とが得られている場合に、差分画像は図9(c)のようになる。図示例の差分画像は、差分値が閾値dth以下である画素の画素値を最大明度とし、差分値が大きいほど画素値の明度を低くしたグレースケールで表されている。したがって、色の濃い領域が人に対応する領域の候補になっている。
【0086】
ただし、差分値が閾値dthを超えている領域であっても人ではないノイズが含まれている可能性があるから、差分値が閾値dth以下である画素はノイズとして除去する。さらに、差分値が閾値dthを超えている領域については、連結性を評価するとともに、連結性がある場合には面積が規定範囲内か否かを判定する。
【0087】
ここに、連結性は、着目する画素と隣接する画素(4近傍や8近傍)とについて評価し、2つの画素がともに閾値dthを超えているときに、両画素は連結性があると判断される。また、人検出部132は、連結性があると判断された画素の集合について、当該集合を構成する画素の面積(画素数)を規定範囲と比較し、面積が規定範囲内であれば当該集合が人に対応すると推定する。以上の処理により、図9(d)に示すように人に対応する領域が抽出される。なお、図9(d)に示す例は、αβ平面からXY平面への座標変換を施してある。
【0088】
人に対応すると推定された画素の集合は、照明空間の床面に対する代表点の位置が求められる。すなわち、人検出部132は、人の候補となる画素の集合に対して、数7および数8を用いて、ワールド座標における座標値(X,Y,Z)を求める。さらに、当該画素の集合についてXY平面の上での重心の座標を求め、この座標を人の代表点の位置、すなわち、人の存在位置の座標とする。
【0089】
上述したように人検出部132により床面上での人の存在位置が求められると、照合部133は、人の存在位置を照明範囲マップと照合し、人の存在位置に対応する照明器具21,22,23を抽出する。つまり、照明範囲マップにおいて人の存在位置に対応付けた照明器具21,22,23の識別子が抽出される。照合部133が抽出した識別子は、制御指示部134に与えられる。
【0090】
制御指示部134は、適宜に設定されているルールに従って、照明器具21,22,23の光出力を決定し、決定した光出力を照明制御部15に指示する。もっとも簡単なルールは、照合部133が抽出した識別子に対応する照明器具21,22,23のみを定格で点灯させ、他の照明器具21,22,23は消灯するように設定される。また、照合部133が抽出した識別子に対応する照明器具21,22,23を定格で点灯させ、さらに、その照明器具21,22,23の周囲の照明器具21,22,23を調光点灯(たとえば、光出力を50%に調光)させるようにルールが設定されていてもよい。この場合、定格点灯と調光点灯とが指示される照明器具21,22,23を除く他の照明器具21,22,23は消灯される。
【0091】
上述のようにルールが設定されていれば、人からの距離が近い照明器具21,22,23を定格で点灯させることにより、作業の実施や安全の確保に必要な照度を得ることができる。しかも、人からの距離が遠い照明器具21,22,23は消灯させているから、作業の実施や安全の確保において影響の少ない照明器具21,22,23を消灯して省エネルギーを実現することができる。
【0092】
また、照明空間において床面に交差する面(家具の側面や壁面など)に照明器具21,22,23が対応付けられないようにしているから、床面上での人の存在位置に対応するように照明器具21,22,23の光出力を制御することが可能になる。つまり、人からの距離が遠い照明器具21,22,23で人の周囲が照明されるという、誤った対応付けが防止される。言い換えると、人からの距離が近い照明器具21,22,23で必要な照度を確保するから、必要な照度を確保するのに必要なエネルギーが低減され、結果的に省エネルギーにつながる。
【0093】
上述した実施形態では、対応マップ画像を生成する際に、照明器具21,22,23を1台ずつ点灯させたときのカメラ11,12での受光強度を比較している。この動作に対して、照明器具21,22,23を1台ずつ点灯させた状態での画像と、すべての照明器具21,22,23を消灯させた状態での画像との差分画像を生成し、差分画像における画素値を用いて対応マップ画像を生成してもよい。また、照明範囲マップを生成する際には、照明器具21,22,23の光出力を2段階で変化させればよく、点灯と消灯とではなく、点灯状態において光出力を2段階に変化させてもよい。要するに、照明器具21,22,23の光出力の変化が、カメラ11,12において濃淡値の変化に反映されていればよい。
【0094】
(実施形態2)
実施形態1において説明したように、人検出部132が検出した人の存在位置を、照合部133が照明範囲マップと照合すると、照明範囲マップからは照明器具21,22,23が1台だけ抽出される。この処理では、制御指示部134に適切なルールが設定してあれば、人の周囲における照度が適切に設定されるが、人の存在位置によっては適切な照度を得るようにルールを設定することが難しい場合も考えられる。
【0095】
実施形態1は、複数台の照明器具21,22,23を併せて1枚の照明範囲マップを生成しているが、本実施形態は、照明器具21,22,23ごとに照明範囲マップを生成する。すなわち、3台の照明器具21,22,23に対しては、3枚の照明範囲マップが生成される。
【0096】
マップ生成部131は、実施形態1と同様に、照明器具21,22,23を1台ずつ点灯させて3枚の撮像画像を生成する。実施形態1では、得られた3枚の撮像画像における濃淡値を用いて、照明器具21,22,23の識別子を三次元情報の座標値に対応付けた照明範囲マップを生成している。これに対して、本実施形態は、3枚の撮像画像を用いて3枚の個別点灯画像が生成される。
【0097】
個別点灯画像は、1枚の撮像画像の座標(u,v)における濃淡値Iを、同じ座標(u,v)におけるすべての撮像画像の濃淡値の合計Sで除した値を、当該座標(u,v)の画素値に持っている。ここに、すべての照明器具21,22,23を定格で点灯させたときの濃淡値を、照明器具21,22,23を個別に点灯させたときの撮像画像の濃淡値の合計Sとみなしている。つまり、各撮像画像の濃淡値を、I1,I2,I3とすると、S=I1+I2+I3になる。
【0098】
また、個別点灯画像の画素値はI/Sであり、それぞれの照明器具21,22,23が座標(u,v)で表される位置に影響する程度(寄与度)を、I/Sという指標で表していることになる。したがって、座標(u,v)の画素値が、I1/S、I2/S、I3/Sである3枚の個別点灯画像が得られる。
【0099】
個別点灯画像を模式的に示すと、図10(a)(b)(c)のようになる。各図において円形の領域は、カメラ11,12の視野を示している。個別点灯画像は、図13(b)(c)(d)と同様の画像であって、個別点灯画像を組み合わせると実施形態1で説明した対応マップ画像が生成される。図示例において、照明器具21に対応する個別点灯画像(図10(a))は上部が明るく、照明器具22に対応する個別点灯画像(図10(b))は中央部が明るく、照明器具23に対応する個別点灯画像(図10(c))は下部が明るくなっている。
【0100】
マップ生成部131は、次に、個々の個別点灯画像を用いて、照明空間における床面の座標と照明器具21,22,23の識別子とを対応付けた3枚の照明範囲マップを生成する。ここに、実施形態1では1枚の照明範囲マップに複数台の照明器具21,22,23の識別子を含んでいるが、本実施形態では1枚の照明範囲マップには1台の照明器具21,22,23の識別子のみが含まれる。言い換えると、照明器具21,22,23の識別子ごとに生成された3枚の個別点灯画像から3枚の照明範囲マップが生成される。また、照明範囲マップには、照明器具21,22,23ごとの座標(X,Y)への寄与度が対応付けられる。座標(X,Y)における寄与度には、個別点灯画像において座標(X,Y)に対応する座標(u,v)の画素値(I1/S,I2/S,I3/S)が用いられる。
【0101】
照明範囲マップを生成する手順は、基本的には図6に示した実施形態1と同様の手順になる。すなわち、照明範囲マップの初期化後、個別点灯画像の座標(u,v)の画素値を床面上の座標(X,Y)に対応付ける。また、床面に交差する面への対応付けは防止される。以上のように設定モードでは、個別点灯画像ごとに照明範囲マップを生成することにより、照明器具21,22,23ごとの照明範囲マップが形成されることになる。
【0102】
たとえば、図10(a)(b)(c)に示した個別点灯画像からは、それぞれ図10(d)(e)(f)に示す3枚の照明範囲マップが生成される。図示する照明範囲マップにおける明度は寄与度を表しており、明度が高いほど寄与度が大きいことを示す。
【0103】
通常モードでは、照合部133は、人検出部132が求めた人の存在位置を、すべての照明範囲マップにそれぞれ照合し、照明範囲マップごとに人の存在位置に対応する座標(X,Y)の寄与度を抽出する。照明範囲マップから人の存在位置における照明器具21,22,23ごとの寄与度が抽出されると、制御指示部134は、照明範囲マップごとに抽出した寄与度を規定の閾値と比較し、寄与度が閾値以上である照明器具21,22,23を点灯させる。
【0104】
たとえば、図10(d)(e)(f)に示す照明範囲マップのうち、図10(d)(e)において人30の位置の寄与度が閾値以上であり、図10(f)において人30の位置の寄与度が閾値未満であるとする。この例の場合、制御指示部134は、照明器具21,22を点灯させ、照明器具23を消灯させる。
【0105】
上述の動作によって、たとえば、複数台の照明器具21,22,23の照明範囲の境界付近に人が存在する場合に、1台の照明器具21,22,23のみを点灯させるのではなく、人の周囲の複数台の照明器具21,22,23を点灯させることが可能になる。したがって、実施形態1のように、複数台の照明器具21,22,23の点灯を許容するためのルールを制御指示部134に設定しなくとも、人の存在位置に応じて点灯させる照明器具21,22,23の台数を動的に変化させることが可能になる。他の構成および動作は実施形態1と同様である。
【符号の説明】
【0106】
10 三次元計測部
11,12 カメラ(撮像手段)
21,22,23 照明器具
131 マップ生成部
132 人検出部
134 制御指示部
【技術分野】
【0001】
本発明は、人の存在位置に応じて照明器具の光出力を自動的に調節する照明制御装置に関するものである。
【背景技術】
【0002】
従来から、照明器具により照明される照明空間での人の存否に応じて照明器具の光出力を自動的に調節する技術が提案されている。この種の技術は、照明空間に人が存在する期間にのみ照明器具を点灯させることにより照明器具の消し忘れを防止し、また、人の非存在時に照明器具の光出力を抑制することにより消費電力の無駄な増加を抑制することを目的として採用されている。
【0003】
人の存否は、焦電型赤外線センサを備える人感センサを用いて検出することが多い。ただし、カメラのような撮像手段を用いて照明空間の画像を取得し、画像から人か否かを判別し、かつ人の位置を検出する技術も提案されている。
【0004】
ところで、照明空間がオフィスや店舗のように広い場合には、一般に複数台の照明器具が配置される。各照明器具は、照明空間の全体を照明するのではなく、照明空間の一部を照明範囲にしている。ここに、照明範囲は、照明空間の利用目的に応じた必要な照度が得られる範囲を意味する。たとえば、照明器具を天井に配置している場合に、床面での照度が規定した照度以上になる範囲が照明範囲になる。
【0005】
複数台の照明器具により1つの照明空間を照明している場合、照明空間における人の存在位置がわかれば、人の存在位置に応じて照明器具の光出力を調節することが可能になる。すなわち、照明空間において人が局在している場合には、人の近辺に存在する照明器具からの光出力を相対的に大きくし、残りの照明器具の光出力を相対的に小さくすることによって、照明空間全体での消費電力が低減されることになる。ここに、光出力を大きくする場合には全点灯(定格点灯)する場合が含まれており、光出力を小さくする場合には消灯する場合が含まれている。
【0006】
上述の動作では、人の存在しない領域を照明範囲とする照明器具の光出力を相対的に小さくしているから、照明空間の全体で照明器具の光出力を一定にする場合に比較すると、照明器具による消費電力が低減される。しかも、人の近辺に存在する照明器具の光出力を相対的に大きくしているから、照明空間の利用に応じた必要な照度が確保されることになる。
【0007】
人の存在位置に応じて照明器具の光出力を調節するには、焦電型赤外線センサを用いた人感センサを個々の照明器具に設け、人感センサでの人の検知の有無に応じて人の周囲の照明器具の光出力を連携させて調節することが考えられる。この場合、複数台の照明器具を連携させるために、照明器具の間で通信を行うことが必要になる。この構成を採用すると、照明器具と同じ個数の人感センサが必要になる上に、複数の照明器具の間で連携させるための回路構成が個々の照明器具に必要になり、結果的にコスト増につながるという問題が生じる。
【0008】
一方、撮像手段を用いて取得した画像を用いて人の存在位置を検出する技術を採用する場合は、個々の照明器具に撮像手段を設ける必要がなく、複数台の照明器具の照明範囲における人の存在位置を1台の撮像手段によって検知することが可能になる。この種の技術を採用する場合、照明空間の広さにもよるが、1台の撮像手段で照明空間の全体を撮像することが多い。
【0009】
ただし、撮像手段を用いて人の存在位置を検出する場合には、撮像手段が撮像する画像内の位置と、照明空間における位置とをあらかじめ対応付けておくことが必要である。
【0010】
特許文献1には、互いに直交する2方向から撮像する2台の画像センサを用い、2台の画像センサから得られた撮像データに基づいて人の位置座標を演算し、さらに、人が居る位置に近いほど明るくなるように照明器具の調光制御を行う技術が記載されている。
【0011】
特許文献1では、撮像データにおける照明器具の論理アドレスと、照明器具の実際の物理アドレスとを一致させるために、照明器具を1台ずつ順に点灯させ、撮像データにおいて明るくなった領域の位置を用いて、照明器具の座標を求めている。言い換えると、照明器具を1台ずつ点灯させ、画像内で明るくなった領域の論理アドレスに、点灯させた照明器具の物理アドレスを対応付けている。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2009−283183号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
ところで、特許文献1に記載された技術では、照明空間に机、棚、ロッカ、事務機、パーティションのような立体物が存在している場合に、論理アドレスと物理アドレスとを正確に対応付けることができない場合がある。論理アドレスと物理アドレスとが正確に対応付けられていなければ、照明空間における人の存在位置に基づいて照明器具の光出力を調節する際に、不適切な照明器具を制御する可能性がある。
【0014】
いま、図11のように、照明器具24,25を備える照明空間において、照明器具25の直下付近に机26が配置されている場合を考える。撮像手段としてのカメラ16は、照明器具24,25の間に配置されているものとする。図示した配置では、机26の近傍に人31が存在する場合には、照明器具25の光出力を相対的に大きくし、机26から遠方に配置された照明器具24は光出力を相対的に小さくすることが望ましい。
【0015】
ここで、カメラ16の視野に机26の一側面が含まれているとすると、机26の側面には照明器具24からの直接光が入射するが、照明器具25からの直接光は入射しない。したがって、図12に示すように、カメラ16で撮像された画像において、机26の一側面は照明器具24に対応付けられことになる。図12に示す画像において、斜線部が照明器具24に対応付けられる領域であり、残りの領域が照明器具25に対応付けられる。
【0016】
一方、机26の近傍に存在する人31は、図12のように、人31の存在位置が、机26の近傍で照明器具24に対応付けられた領域(斜線部)に重複する場合が生じる。この場合、照明器具24の光出力が照明器具25の光出力よりも相対的に大きくなり、意図した動作が得られないという問題が生じる。
【0017】
図13に実際の動作例を示す。図13(a)は照明空間の一例であって、3台の照明器具により照明を行う場合を示している。照明器具ごとの照明範囲は、床面上に3つの領域E1,E2,E3で示している。また、照明空間の床には、複数個の立体物27(机、棚、事務機など)が配置され、天井にはカメラ16が配置されている。図示例では、カメラ16が領域E1,E2の境界付近の天井に配置されている。
【0018】
照明器具を1台ずつ個別に点灯させたときにカメラ16で撮像される画像は、図13(b)(c)(d)のようになる。そして、各画像で明るくなった領域の論理アドレスに、点灯させた照明器具の物理アドレスを対応付けると、図13(e)のように、カメラ16で撮像した画像内に照明器具の物理アドレスが対応付けられる。図13(e)では3段階の濃淡値を用いて照明器具の物理アドレスを表している。
【0019】
照明器具の物理アドレスは、本来ならば、図13(a)に示された領域E1,E2,E3と同様に、照明器具ごとに1つの領域にまとまっていなければならない。しかしながら、実際の照明空間には立体物27が存在するから、図13(e)のように、1台の照明器具の物理アドレスが複数の領域に分割され、1つの物理アドレスに飛び地状の領域(図13(e)において破線で囲まれた領域)が生じることがある。このような飛び地状の領域が生じていると、上述したように、人の存在位置に対して不適切な照明器具を制御する可能性が生じる。
【0020】
本発明は、照明空間の三次元情報を用いることにより、照明器具による照明範囲を床面上で対応付けることを可能にし、結果的に、床面上での人の位置を用いて適切な位置の照明器具の光出力を制御することを可能にした照明制御装置を提供することを目的とする。
【課題を解決するための手段】
【0021】
本発明に係る照明制御装置は、上記目的を達成するために、複数台の照明器具により照明される照明空間を撮像する撮像手段を備え撮像手段が撮像した画像から照明空間の三次元情報を取得する三次元計測部と、三次元情報を用いることにより照明空間の床面上の位置を照明器具に割り当てた照明範囲マップを生成するマップ生成部と、三次元情報を用いて照明空間における床面上での人の存在位置を検出する人検出部と、人の存在位置が照明範囲マップに照合されることにより抽出された照明器具ごとの照明範囲を用いて照明器具の光出力を決定する制御指示部とを備えることを特徴とする。
【0022】
この照明制御装置において、三次元計測部は、撮像手段として2台のカメラを用い、カメラが撮像した画像から三角測量法の原理を用いて照明空間の三次元情報を取得することが好ましい。
【0023】
この照明制御装置において、マップ生成部は、照明範囲マップを生成するために、照明器具ごとに光出力を2段階で変化させ、撮像手段が撮像した画像を構成する画素のうち照明空間における床面に対応付けられる各画素について照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、画素ごとに変化分を最大にする照明器具を対応付けることが好ましい。
【0024】
この照明制御装置において、マップ生成部は、照明範囲マップを生成するために、照明器具ごとに光出力を2段階で変化させ、撮像手段が撮像した画像を構成する画素のうち照明空間における床面に対応付けられる各画素について照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、画素ごとに変化分が規定の閾値以上になる照明器具を対応付けることが好ましい。
【0025】
この照明制御装置において、マップ生成部は、撮像手段が撮像した画像を構成する画素のうち床面に交差する面に対応する画素は、照明範囲マップの対象外とすることがさらに好ましい。
【0026】
この照明制御装置において、マップ生成部は、照明範囲マップにおいて照明空間の床面上の位置のうち照明器具が対応付けられていない位置には、照明器具ごとの照明範囲と位置との位置関係を用いて位置に照明器具を割り当てることがさらに好ましい。
【0027】
この照明制御装置において、マップ生成部は、照明範囲マップにおける照明器具ごとの照明範囲に基づいて、床面における照明器具ごとの直下の位置を推定することがさらに好ましい。
【発明の効果】
【0028】
本発明の構成によれば、照明空間の三次元情報を用いることにより、照明器具による照明範囲を床面上で対応付けているので、床面上での人の位置を用いて適切な位置の照明器具の光出力を制御することが可能になるという利点がある。
【図面の簡単な説明】
【0029】
【図1】実施形態を示す概略構成図である。
【図2】同上に用いるカメラの配置例を示す図である。
【図3】同上の原理説明図である。
【図4】同上の原理説明図である。
【図5】同上の動作例を示す図である。
【図6】同上において照明範囲マップを生成する手順を示す動作説明図である。
【図7】同上における視差の概念を説明する図である。
【図8】同上において照明範囲マップの補正処理を説明する図である。
【図9】同上の動作例を示す図である。
【図10】実施形態2の動作説明図である。
【図11】照明器具の配置例を示す概略構成図である。
【図12】図11の配置例に対応した課題を説明する図である。
【図13】従来の動作を説明する図である。
【発明を実施するための形態】
【0030】
以下に説明する実施形態は、照明空間の三次元情報を取得する三次元計測部において、2台のカメラを用いたステレオビジョンによる三次元計測を想定する。ただし、撮像手段としてのカメラで撮像した画像から三次元情報を取得する構成であれば、三次元計測部の構成は問わない。たとえば、ステレオビジョンのようにパッシブ型の構成のほか、光切断法や位相シフト法のように光パターンを投影して三次元情報を取得するアクティブ型の構成であってもよい。これらの技術は三角測量の原理を用いている。
【0031】
三次元計測部は、強度が一定周期で変化する強度変調光を投光し、反射光をカメラで受光することにより、強度変調光の投受光の位相差から画素ごとの距離を求めて距離画像を生成する技術を採用してもよい。この技術は、光の飛行時間を計測するからTOF(Time of Flight)法と呼ばれている。
【0032】
(実施形態1)
図1に示すように、三次元計測部10は、三次元の実空間に対する視野がほぼ重複するように配置された撮像手段としての2台のカメラ11,12を備える。カメラ11,12は、2次元格子の格子点上に画素が配列されたエリアイメージセンサに光学系を組み合わせて構成されており、エリアイメージセンサには、CCDイメージセンサ、CMOSイメージセンサなどが用いられる。また、2台のカメラ11,12は、画像の解像度や焦点距離などの仕様が等しいものが用いられる。また、図2のように、2台のカメラ11,12は、光軸Ax1,Ax2を平行にし、かつ受光面PL1,PL2の中心を結ぶ方向(「ベースライン方向」と呼ぶ)と光軸Ax1,Ax2とを直交させて配置されている。ここでは、光軸Ax1,Ax2は、光学中心と受光面PL1,PL2の中心を結ぶ直線とする。
【0033】
各カメラ11,12は、画角が180度に近い魚眼レンズないし魚眼レンズに相当する機能を有した光学系(図示せず)を備える。光学系の射影方式はとくに問わないが、以下では等距離射影方式を用いて説明する。また、2台のカメラ11,12は、ベースライン方向と受光面PL1,PL2における水平方向とを一致させるように配置される。すなわち、平行ステレオを想定する。なお、光学系の射影方式は等距離射影方式に限定されず、光学系は他の歪み特性を有していてもよく、またキャリブレーションを行うから歪み特性が未知の光学系を用いることも可能である。
【0034】
上述した三次元計測部10の構成は限定する趣旨ではないが、上述した構成を採用することにより、照明空間の全体を撮像する程度の広視野角が得られ、しかも、カメラ11,12が撮像した画像から三次元情報を算出する際の演算量が低減されることになる。ここに、カメラ11,12は、天井のような高所に、それぞれの光軸Ax1,Ax2がともに鉛直下向きとなるように配置される。また、カメラ11,12は、後述する照明器具の照明対象である照明空間の全体が視野に含まれるように配置される。
【0035】
以下では、受光面PL1,PL2の水平方向に沿う方向(すなわち、ベースライン方向)をx方向、受光面の垂直方向に沿う方向をy方向とし、受光面に直交する方向をz方向とする。また、各カメラ11,12の撮像画像をモニタ装置に表示したときに、水平方向の右向きがx方向の正の向き、垂直方向の下向きがy方向の正の向きになるように座標系を定めている。z方向についてはカメラの受光面から遠ざかる向きを正の向きとする。
【0036】
カメラ11で撮像した画像の画素位置は(u1,v1)という形式で表され、カメラ12で撮像した画像の画素位置は(u2,v2)という形式で表される。u1軸とu2軸とはx方向の座標軸であり、v1軸とv2軸とはy方向の座標軸になる。また、平行ステレオであるから、u1軸とu2軸とは一直線上に並ぶ。
【0037】
図1に示す構成例では、複数台(図示例では3台)の照明器具21,22,23が天井のような高所に配置され、照明器具21と照明器具22との間にカメラ11,12が配置されている。上述のように、カメラ11,12の視野は、3台の照明器具21,22,23が照明対象とする照明空間の全体を含むように設定される。図1では、図示の都合上3台の照明器具21,22,23が一直線上に配置されているが、照明器具の台数は3台以上であってもよく、また照明器具は任意の位置関係で配置されていてもよい。
【0038】
カメラ11,12から出力された画像データは演算処理部13に入力される。本実施形態では、画像データが濃淡画像である場合を例として説明するが、画像データがカラー画像であっても以下に説明する技術思想は適用可能である。
【0039】
演算処理部13は、ハードウェア資源としてのコンピュータを有し、コンピュータを以下に説明する処理を行う装置として機能させるためのプログラムを実行する。ただし、演算処理部13は専用のハードウェアを備える構成であってもよい。また、マイコンを備えるコンピュータのほか、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)のようにプログラムを実行する機能を備えるデバイスを用いて構成してもよい。
【0040】
カメラ11,12がアナログ信号を出力する場合には、カメラ11,12と演算処理部13との間にアナログ信号をデジタル信号に変換するAD変換器が設けられる。また、カメラ11,12と演算処理部13との間には、画像データからノイズのような不要成分を除去するフィルタ回路などが設けられていてもよい。
【0041】
演算処理部13を動作させるためのシステムプログラムおよびアプリケーションプログラムは記憶部14に記憶される。また、演算処理部13の処理対象である撮像画像データや演算過程のデータも、データメモリおよび作業用メモリとして機能する記憶部14に記憶される。したがって、記憶部14は、フラッシュメモリやハードディスクドライブ装置のように無給電で記憶内容が保持される記憶媒体と、処理の実行時にシステムプログラムやアプリケーションプログラムを置くための主記憶となる揮発性メモリとを含む。
【0042】
演算処理部13は、カメラ11,12から取得した画像データを用いて照明空間の三次元情報を生成する計測処理部130を備える。すなわち、記憶部14の一部と計測処理部l30とは、カメラ11,12とともに三次元計測部10を構成する。画像データから三次元情報を生成する技術については後述する。演算処理部13は、照明器具21,22,23ごとの照明範囲を表す照明範囲マップを生成するマップ生成部131と、三次元情報を用いて人30の存在位置を検出する人検出部132とを備える。マップ生成部131が生成した照明範囲マップは記憶部14に設けたマップ記憶部141に記憶される。マップ記憶部141は、書換可能な不揮発性メモリで構成されていることが好ましい。
【0043】
演算処理部13には、人検出部132が人30の存在位置を検出したときに、検出された位置を照明範囲マップに照合することによって、当該位置を照明範囲とする照明器具21,22,23を抽出する照合部133が設けられる。照合部133により抽出された照明器具21,22,23を識別する情報は、演算処理部13に設けた制御指示部134に与えられ、制御指示部134において、あらかじめ定められたルールに従って照明器具21,22,23ごとの光出力が決定される。
【0044】
ルールは、たとえば、照合部133が抽出した照明器具21,22,23だけを定格点灯させるように設定される。あるいは、照合部133が抽出した照明器具21,22,23を定格点灯させるとともに当該照明器具21,22,23の周囲と隣り合わせである照明器具21,22,23を調光点灯させるようにルールが設定される。これらのルールは一例であって、ルールは、照明空間において人の存在位置の周囲の領域が残りの領域よりも相対的に明るくなるように設定されていればよい。
【0045】
演算処理部13に設けた制御指示部134の出力は、照明器具21,22,23の光出力を調節する照明制御部15に与えられる。照明制御部15は、制御指示部134の指示内容に従って照明器具21,22,23の光出力を調節する。したがって、人の存在位置が検出されると、制御指示部134に設定されたルールに応じて照明器具21,22,23の点灯状態が制御される。
【0046】
以下では、個々の技術についてさらに詳しく説明する。三次元計測部10は、2台のカメラ11,12がそれぞれ撮像した撮像画像に基づいて実空間の三次元情報を取得するために、2台のカメラ11,12が同時刻に撮像した対になる撮像画像を取得して記憶部14に保存する。
【0047】
いま、2台のカメラ11,12のうちの1台について着目する。図3に示すように、実空間に対して光学中心Oを原点とする三次元の座標系(xyz)を規定し、受光面PLに対して2次元の座標系(o−uv)を規定する。受光面PLの座標系は撮像画像の座標系と一対一に対応する。実空間における三次元の座標系におけるx方向はベースライン方向と平行とし、y方向は受光面の垂直方向と平行とする。また、受光面PLにおける2次元の座標系におけるu方向はx方向と平行とし、v方向はy方向と平行とする。
【0048】
受光面PLでの画素の位置は、左上隅を原点として水平方向と垂直方向との画素の個数で表される。画像上に投影された光軸上の点の座標を(uc,vc)とすると、(uc,vc)と座標(u,v)に位置する画素との距離rは、数1で表される。
【0049】
【数1】
また、等距離射影方式を採用しているから、三次元の実空間における点Pが光学中心Oを中心位置とする半径1の球面SPの表面に射影されるモデルを用いることができる。すなわち、図3のように実空間の点Pが球面SPの表面に射影された点Qと光学中心Oとを結ぶ直線が、光軸Ax(z軸方向)となす角度θ[rad]は、距離rを用いて、数2で表される。
【0050】
【数2】
ただし、数2において、距離L0は、実空間が投影される球面SPの上でz=0に対応した受光面PLの上での円の半径を示す。また、図3において、点Rは点Qを受光面PLへ投影した画素の位置を示す。
【0051】
実空間における点Pが、受光面PLの座標(u,v)の画素に対応付けられるようにキャリブレーションが行われているとすると、モデルとして用いる球面SPの表面に実空間の点Pを射影した点Qの位置(Xr,Yr,Zr)は、数3で表される。
【0052】
【数3】
また、数1の距離rは、r=f・θとおくことが可能であって、この場合、fは等距離射影方式における光学系の比例定数に相当する。
【0053】
ところで、図4に示しているように、点Qの位置(Xr,Yr,Zr)は、画素の座標(u,v)に代えてx軸、y軸、z軸の3軸のうちの2軸の周りの角度の組み合わせとして表すことが可能である。点Qについて、x軸周りの角度(yz平面内での角度)をβ、y軸周りの角度(zx平面内での角度)をαとする。また、上述した角度φは、z軸周りの角度(xy平面内での角度)ということができる。
【0054】
角度αはx軸の正の向きを0度としz軸の正の向きに向かって増加し、角度βはy軸の正の向きを0度としz軸の正の向きに向かって増加する。角度α,βを用いると、画素の位置は、座標(u,v)に代えて(α,β)で表すことができる。座標(u,v)から(α,β)に変換するには、数3の計算結果を用いて数4の計算を行う。
【0055】
【数4】
上述した手順によって、画素の位置を座標(u,v)で表現した画像から、(α,β)で表現した画像に変換した結果を図5に示す。図5(a)はカメラ11で得られた撮像画像を示し、図5(b)はカメラ12で得られた撮像画像を示す。また、図5(c)(d)はそれぞれ座標(u,v)から、(α,β)に変換した画像を示す。
【0056】
このように、演算処理部13における計測処理部130は、2台のカメラ11,12がそれぞれ撮像した撮像画像内での画素の位置(u,v)を、上述した三次元の実空間における角度の組(α,β)に変換した画像を生成する。以下では、実空間の点Pに対応する位置を(α,β)で表した画像を変換画像と呼ぶ。
【0057】
ここで、本実施形態は、上述した条件の平行ステレオを前提にしているから、2台のカメラ11,12が撮像した撮像画像から得られる2枚の変換画像において、実空間における同一の点Pに対応するβの値は等しくなる。そのため、実空間における同一の点Pに対応する画素を2枚の変換画像から探索する際には、角度βを変化させずに角度αのみを変化させればよいから、2枚の画像間で画素を対応付ける処理において、撮像画像を用いる場合よりも処理負荷が軽減されることになる。要するに、実空間における1つの点Pに対応する画素(以下、「対応点」という)を2枚の変換画像から探索する際に、x軸回りの角度βが同じである範囲内のみを探索すればよいから、対応点の探索範囲が狭められ、処理負荷が低減される。
【0058】
ところで、計測処理部130は、対応点か否かを評価するために、ブロックマッチングの技術を採用している。すなわち、2枚の変換画像のうち一方の変換画像において対応点の評価を行おうとする部位の周囲に複数画素を含むブロックを形成するとともに、ブロックに対応する大きさの走査ブロックを他方の変換画像に設定し、走査ブロックをα軸に沿って走査するのである。ブロックおよび走査ブロックは、対応点の評価を行おうとする画素の周囲で矩形領域として設定するのが望ましい。
【0059】
一方の変換画像における座標(α1,β1)の画素と、他方の変換画像における座標(α2,β2)の画素とは、数5に示す評価値Vsが最小になる場合に対応点とみなす。ただし、β2=β1という条件で探索を行う。また、ブロックと走査ブロックとは、α方向に(2N+1)画素を有し、β方向に(2M+1)画素を有する。また、数5において、I(α1,β1)は一方の変換画像の座標(α1,β1)における輝度値であり、I2(α2,β2)は他方の変換画像の座標(α2,β2)における輝度値である。
【0060】
【数5】
数5において用いた評価値Vsは、SAD(Sum of Absolute Difference)として知られている値であるが、対応点の評価には他の評価値を用いることが可能である。たとえば、SSD(Sum of Squared Difference)、正規化相互相関関数などを評価値に用いることが可能である。また、ブロックマッチングに代えて他のステレオマッチングの技術を採用してもよい。
【0061】
上述のようにして、計測処理部130は、2枚の変換画像から対応点を抽出した後、座標(α,β)ごとに視差dを画素値に持つ視差画像を生成する。視差dは、対応点について、d=α2−α1として求められる。視差画像の例を図5(e)に示す。計測処理部130は、点Pに関して 視差dに基づいて実空間におけるz方向の座標値を求める。すなわち、実空間の三次元情報が得られることになる。
【0062】
次にマップ生成部131について説明する。マップ生成部131は、計測処理部130により得られた三次元情報と、照明器具21,22,23の照明範囲とを対応付けた照明範囲マップを生成する。マップ生成部131により照明範囲マップを生成するために、マップ生成部131は、照明器具21,22,23を1台ずつ個別に点灯させ、照明器具21,22,23がそれぞれ点灯したときの画像を少なくとも一方のカメラ11,12で撮像し、各画素の濃淡値を求める。
【0063】
たとえば、すべての照明器具21,22,23を消灯させた状態から、照明器具21のみを点灯させた画像をカメラ11で撮像した後、照明器具22のみを点灯させた画像をカメラ11で撮像し、次に、照明器具23のみを点灯させた画像をカメラ11で撮像する。このようにして得られた3枚の画像は、照明器具21,22,23が1台だけ点灯している状態の画像になる(図13(b)(c)(d)を参照)。したがって、3枚の画像における濃淡値を比較することにより、カメラ11の視野内(つまり照明空間)のどの領域において、どの照明器具21,22,23が支配的に照明を行っているかの情報が得られる。
【0064】
本実施形態では、照明範囲マップを生成するにあたり2段階の処理を行う。第1段階では、カメラ11の撮像画像と同じ解像度で対応マップ画像を生成する。対応マップ画像を生成する際に、マップ生成部131は、照明器具21,22,23を1台ずつ点灯させて撮像した3枚の画像について、同じ座標(u,v)の濃淡値の大小を比較する。
【0065】
さらに、マップ生成部131は、濃淡値がもっとも小さい(もっとも受光強度が大きい)画像を選択し、当該画像を撮像したときに点灯させた照明器具21,22,23を、当該座標(u,v)に対応付ける。具体的には、照明器具21,22,23に、互いに識別可能な識別子を付与しておき、撮像画像の各座標(u,v)には照明器具21,22,23の識別子を対応付ける。識別子は、1画素に対応付けることができれば、どのような値でもよく、たとえば、照明器具21に「1」、照明器具22に「2」、照明器具23に「3」という識別子を割り当てればよい。換言すれば、画素値が照明器具21,22,23の識別子である画像が生成され、この画像が対応マップ画像になる(対応マップ画像の例は図13(e)を参照)。
【0066】
マップ生成部131では、図6に示す手順で、対応マップ画像を照明範囲マップに変換する。照明範囲マップは、対応マップ画像の画素値(照明器具21,22,23の識別子)が三次元情報の座標値に対応付けられる。照明範囲マップを生成するには、まず初期化のために三次元情報の座標値に対応付ける識別子が0に設定される(S11)。次に、数3と数4とを用いて、対応マップ画像における座標(u,v)が座標(α,β)に変換される(S12)。さらに、マップ生成部131は、変換された座標(α,β)を視差画像に照合することにより視差dを求め、数6により座標(α,β)に対応する距離Zdを算出する(S13)。数6においてBは、カメラ11の光学中心O1とカメラ12の光学中心O2との距離である。
【0067】
【数6】
実空間における点Pと、カメラ11,12の光学中心O1,O2と角度α1,α2と距離Bとの関係を図7に示す。図7において、座標zは、カメラ11の光学中心O1を原点とする座標系でのxy平面から点Pまでの距離である。
【0068】
ところで、カメラ11,12が上述のように配置されていることにより、照明空間の床面は、カメラ11を基準に設定したxy平面(図3参照)に平行な平面になる。いま、原点を床面上に設定したワールド座標を規定し、ワールド座標におけるカメラ11の光学中心O1の座標を(X0,Y0,Z0)とする。また、ワールド座標におけるZ軸は、床面から天井面に向かう向きを正の向きとする。数3により求められた球面SP上での座標(Xr,Yr,Zr)と、カメラ11の光学中心O1のワールド座標(X0,Y0,Z0)と、数6により求めた距離Zdとを用いると、対応マップ画像における座標(u,v)に対応するワールド座標(X,Y,Z)は数7で表される。すなわち、座標(u,v)が座標(X,Y,Z)に変換される(S14)。
【0069】
【数7】
次に、対応マップ画像の座標(u,v)に設定された識別子が、座標(u,v)から変換した照明範囲マップの座標(X,Y)に対応付けられる(S17)。この処理は、対応マップ画像のすべての座標(u,v)について行われる(S19,S20)。
【0070】
ところで、対応マップ画像において異なる座標(u,v)が、照明範囲マップの同じ座標(X,Y)に対応する場合が考えられる。そこで、このような座標(X,Y)の重複を避けるために、座標(X,Y)にすでにZ値が記憶されている場合(S15:Yes)、すでに記憶されているZ値と、今回求めたZ値との大小を比較する(S16)。そして、今回のZ値が、記憶しているZ値よりも小さい場合(S16:Yes)、すなわち、座標(X,Y)に対応する部位が床面よりも上方に位置する場合には、座標(u,v)に対応する座標(X,Y)に照明器具21,22,23の識別子が対応付けられ(S17)、さらに、座標(X,Y)に今回求めたZ値が対応付けて記憶される(S18)。
【0071】
このように、対応マップ画像の1つの座標(u,v)に、ワールド座標の複数の座標(X,Y)が対応する場合に、Z値が小さいほうが採用されるから、対応マップ画像上で床面に交差した面(ほぼ直交した面)に設定された照明器具21,22,23の識別子が、照明範囲マップに対応付けられることが防止される。
【0072】
マップ生成部131は、図6に示した処理により照明範囲マップを生成した後、照明器具21,22,23の識別子が対応付けられていない座標(X,Y)に、いずれかの照明器具21,22,23の識別子を対応付けるように補正処理を行う。この補正処理には、XY平面(床面)上で、照明器具21,22,23ごとの直下の座標位置を推定し、当該座標位置からの距離に応じて座標(X,Y)で表される領域のすべての座標位置に照明器具21,22,23の識別子を対応付ける。
【0073】
照明器具21,22,23の直下の座標位置は、補正処理前の照明範囲マップを用い、識別子ごとに座標位置の平均の位置(重心位置)が割り当てられる。要するに、照明器具21,22,23ごとの照明範囲の重心の位置が、照明器具21,22,23の直下の座標位置と推定される。
【0074】
マップ生成部131は、照明器具21,22,23の直下の座標位置を求めた後、数8を用いて、照明範囲マップのうち照明器具21,22,23の識別子を対応付けていない座標(X,Y)と照明器具21,22,23ごとの直下の座標位置との距離Dを求める。数8において(ug,vg)は照明器具21,22,23の直下の座標位置であり、照明器具21,22,23ごとに異なる値になる。
【0075】
【数8】
距離Dは照明器具21,22,23ごとに求められ、本実施形態では3台の照明器具21,22,23を用いているから、座標(X,Y)に対して3種類の距離Dが求められることになる。照明器具21,22,23は、座標(X,Y)までの距離Dが小さいほど影響が大きいと考えられるから、マップ生成部131は、求めた距離Dが最小になる照明器具21,22,23を座標(X,Y)に割り当てる。
【0076】
たとえば、対応マップ画像が図13(e)に例として示した画像である場合、マップ生成部131は、まず図8に示すような照明範囲マップを生成する。図8において、楕円形の領域F1,F2,F3には、それぞれ照明器具21,22,23の識別子が対応付けられている。また、領域F1,F2,F3ごとに重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)が求められている。これらの重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)は、それぞれ照明器具21,22,23の直下の座標位置とみなされる。次に、照明範囲マップのうち照明器具21,22,23の識別子が対応付けられていない座標(X,Y)から各重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)までの距離D1,D2,D3が求められる。求められた距離D1,D2,D3が最小になる重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)に対応する照明器具21,22,23が、座標(X,Y)に割り当てられる。
【0077】
上述のように、照明空間の床面において、照明器具21,22,23の識別子を割り当てられていない座標(X,Y)に対し、距離Dが最小になる照明器具21,22,23の識別子が割り当てられる。つまり、照明範囲マップの補正処理によって、照明空間の床面のすべての座標(X,Y)に照明器具21,22,23の識別子が対応付けられる。
【0078】
床面の座標(X,Y)と照明器具21,22,23との対応付けには、照明器具21,22,23の直下の座標との距離Dを用いることは必須ではない。たとえば、照明器具21,22,23の識別子が割り当てられている座標(X,Y)との距離を用いてもよい。つまり、照明器具21,22,23との対応付けがなされていない場合、近い位置に割り当てられている識別子を割り当てるようにしてもよい。
【0079】
いずれの場合も、照明器具21,22,23ごとの照明範囲と、座標(X,Y)で表される床面上の位置との位置関係を用いて、座標(X,Y)に照明器具21,22,23が割り当てられることになる。
【0080】
上述した処理は、照明器具21,22,23を制御する前の設定モードにおいて実施される。次に、照明器具21,22,23の光出力を人の存在位置に応じて制御する通常モードの動作について説明する。
【0081】
通常モードでは、カメラ11,12が撮像した画像を用いて人検出部132が人の存在位置を検出する。すなわち、人検出部132は、照明空間における人の存否を検出するだけではなく、照明空間に人が存在する場合に、人が存在する位置を検出する。カメラ11,12から出力される撮像画像を用いて人の存在位置を検出するには、まず三次元計測部10において照明空間の三次元情報を取得する。三次元情報は、カメラ11,12のフレームレートに応じて生成され、たとえば、毎秒30フレームで出力される画像に対して、それぞれ三次元情報が取得される。三次元計測部10が三次元情報を取得する動作は上述した通りであって、カメラ11,12ごとの撮像画像の座標(u,v)が(α,β)に変換され、さらに視差画像が生成され、視差画像に基づいて三次元情報が算出される。
【0082】
人の存在位置を検出するには、設定モードにおいて生成した人の存在しない状態での視差画像(すなわち、背景画像)と、通常モードにおいて生成した視差画像(すなわち、評価画像)との差分画像を用いる。この差分画像は、比較対象である評価画像と背景画像とにおける同座標の画素値の差分を画素値に持つ。したがって、背景画像に含まれない物体が評価画像に含まれていると、当該物体に対応する座標の画素値が比較的大きくなる。このことを利用すれば、差分画像を用いて人の存在位置を検出することが可能になる。
【0083】
本実施形態では、人の存在位置を検出するために設定モードでの視差画像と通常モードでの視差画像の差分を用いるが、他の方法により人の存在位置を検出してもよい。たとえば、視差画像の各画素について、図7に示す距離zの値を算出することで距離画像を生成できるため、設定モードでの距離画像と通常モードでの距離画像をそれぞれ生成し、距離画像同士の差分を用いて人の存在位置を検出することができる。また、通常モードにおいてカメラ11,12のいずれかから得られる画像に基づいて、フレーム間差分法やテンプレートマッチングなどの方法により画像中の人に相当する領域を抽出し、抽出した領域について視差および距離を算出することで人の存在位置を検出することができる。
【0084】
人検出部132は、通常モードにおいて取得した三次元情報に基づいて生成した評価画像と背景画像との差分画像を生成し、差分画像における画素値が規定した閾値以上である画素を人に対応する画素の候補として抽出する。具体的には、評価画像における座標(α,β)の視差dn(α,β)と、背景画像における座標(α,β)の視差db(α,β)との差分を適宜に設定した閾値dthと比較し、dn(α,β)−db(α,β)>dthが成立するときに、当該座標(α,β)の画素を、人に対応する画素の候補とする。
【0085】
たとえば、図9(a)のような評価画像と、図9(b)のような背景画像とが得られている場合に、差分画像は図9(c)のようになる。図示例の差分画像は、差分値が閾値dth以下である画素の画素値を最大明度とし、差分値が大きいほど画素値の明度を低くしたグレースケールで表されている。したがって、色の濃い領域が人に対応する領域の候補になっている。
【0086】
ただし、差分値が閾値dthを超えている領域であっても人ではないノイズが含まれている可能性があるから、差分値が閾値dth以下である画素はノイズとして除去する。さらに、差分値が閾値dthを超えている領域については、連結性を評価するとともに、連結性がある場合には面積が規定範囲内か否かを判定する。
【0087】
ここに、連結性は、着目する画素と隣接する画素(4近傍や8近傍)とについて評価し、2つの画素がともに閾値dthを超えているときに、両画素は連結性があると判断される。また、人検出部132は、連結性があると判断された画素の集合について、当該集合を構成する画素の面積(画素数)を規定範囲と比較し、面積が規定範囲内であれば当該集合が人に対応すると推定する。以上の処理により、図9(d)に示すように人に対応する領域が抽出される。なお、図9(d)に示す例は、αβ平面からXY平面への座標変換を施してある。
【0088】
人に対応すると推定された画素の集合は、照明空間の床面に対する代表点の位置が求められる。すなわち、人検出部132は、人の候補となる画素の集合に対して、数7および数8を用いて、ワールド座標における座標値(X,Y,Z)を求める。さらに、当該画素の集合についてXY平面の上での重心の座標を求め、この座標を人の代表点の位置、すなわち、人の存在位置の座標とする。
【0089】
上述したように人検出部132により床面上での人の存在位置が求められると、照合部133は、人の存在位置を照明範囲マップと照合し、人の存在位置に対応する照明器具21,22,23を抽出する。つまり、照明範囲マップにおいて人の存在位置に対応付けた照明器具21,22,23の識別子が抽出される。照合部133が抽出した識別子は、制御指示部134に与えられる。
【0090】
制御指示部134は、適宜に設定されているルールに従って、照明器具21,22,23の光出力を決定し、決定した光出力を照明制御部15に指示する。もっとも簡単なルールは、照合部133が抽出した識別子に対応する照明器具21,22,23のみを定格で点灯させ、他の照明器具21,22,23は消灯するように設定される。また、照合部133が抽出した識別子に対応する照明器具21,22,23を定格で点灯させ、さらに、その照明器具21,22,23の周囲の照明器具21,22,23を調光点灯(たとえば、光出力を50%に調光)させるようにルールが設定されていてもよい。この場合、定格点灯と調光点灯とが指示される照明器具21,22,23を除く他の照明器具21,22,23は消灯される。
【0091】
上述のようにルールが設定されていれば、人からの距離が近い照明器具21,22,23を定格で点灯させることにより、作業の実施や安全の確保に必要な照度を得ることができる。しかも、人からの距離が遠い照明器具21,22,23は消灯させているから、作業の実施や安全の確保において影響の少ない照明器具21,22,23を消灯して省エネルギーを実現することができる。
【0092】
また、照明空間において床面に交差する面(家具の側面や壁面など)に照明器具21,22,23が対応付けられないようにしているから、床面上での人の存在位置に対応するように照明器具21,22,23の光出力を制御することが可能になる。つまり、人からの距離が遠い照明器具21,22,23で人の周囲が照明されるという、誤った対応付けが防止される。言い換えると、人からの距離が近い照明器具21,22,23で必要な照度を確保するから、必要な照度を確保するのに必要なエネルギーが低減され、結果的に省エネルギーにつながる。
【0093】
上述した実施形態では、対応マップ画像を生成する際に、照明器具21,22,23を1台ずつ点灯させたときのカメラ11,12での受光強度を比較している。この動作に対して、照明器具21,22,23を1台ずつ点灯させた状態での画像と、すべての照明器具21,22,23を消灯させた状態での画像との差分画像を生成し、差分画像における画素値を用いて対応マップ画像を生成してもよい。また、照明範囲マップを生成する際には、照明器具21,22,23の光出力を2段階で変化させればよく、点灯と消灯とではなく、点灯状態において光出力を2段階に変化させてもよい。要するに、照明器具21,22,23の光出力の変化が、カメラ11,12において濃淡値の変化に反映されていればよい。
【0094】
(実施形態2)
実施形態1において説明したように、人検出部132が検出した人の存在位置を、照合部133が照明範囲マップと照合すると、照明範囲マップからは照明器具21,22,23が1台だけ抽出される。この処理では、制御指示部134に適切なルールが設定してあれば、人の周囲における照度が適切に設定されるが、人の存在位置によっては適切な照度を得るようにルールを設定することが難しい場合も考えられる。
【0095】
実施形態1は、複数台の照明器具21,22,23を併せて1枚の照明範囲マップを生成しているが、本実施形態は、照明器具21,22,23ごとに照明範囲マップを生成する。すなわち、3台の照明器具21,22,23に対しては、3枚の照明範囲マップが生成される。
【0096】
マップ生成部131は、実施形態1と同様に、照明器具21,22,23を1台ずつ点灯させて3枚の撮像画像を生成する。実施形態1では、得られた3枚の撮像画像における濃淡値を用いて、照明器具21,22,23の識別子を三次元情報の座標値に対応付けた照明範囲マップを生成している。これに対して、本実施形態は、3枚の撮像画像を用いて3枚の個別点灯画像が生成される。
【0097】
個別点灯画像は、1枚の撮像画像の座標(u,v)における濃淡値Iを、同じ座標(u,v)におけるすべての撮像画像の濃淡値の合計Sで除した値を、当該座標(u,v)の画素値に持っている。ここに、すべての照明器具21,22,23を定格で点灯させたときの濃淡値を、照明器具21,22,23を個別に点灯させたときの撮像画像の濃淡値の合計Sとみなしている。つまり、各撮像画像の濃淡値を、I1,I2,I3とすると、S=I1+I2+I3になる。
【0098】
また、個別点灯画像の画素値はI/Sであり、それぞれの照明器具21,22,23が座標(u,v)で表される位置に影響する程度(寄与度)を、I/Sという指標で表していることになる。したがって、座標(u,v)の画素値が、I1/S、I2/S、I3/Sである3枚の個別点灯画像が得られる。
【0099】
個別点灯画像を模式的に示すと、図10(a)(b)(c)のようになる。各図において円形の領域は、カメラ11,12の視野を示している。個別点灯画像は、図13(b)(c)(d)と同様の画像であって、個別点灯画像を組み合わせると実施形態1で説明した対応マップ画像が生成される。図示例において、照明器具21に対応する個別点灯画像(図10(a))は上部が明るく、照明器具22に対応する個別点灯画像(図10(b))は中央部が明るく、照明器具23に対応する個別点灯画像(図10(c))は下部が明るくなっている。
【0100】
マップ生成部131は、次に、個々の個別点灯画像を用いて、照明空間における床面の座標と照明器具21,22,23の識別子とを対応付けた3枚の照明範囲マップを生成する。ここに、実施形態1では1枚の照明範囲マップに複数台の照明器具21,22,23の識別子を含んでいるが、本実施形態では1枚の照明範囲マップには1台の照明器具21,22,23の識別子のみが含まれる。言い換えると、照明器具21,22,23の識別子ごとに生成された3枚の個別点灯画像から3枚の照明範囲マップが生成される。また、照明範囲マップには、照明器具21,22,23ごとの座標(X,Y)への寄与度が対応付けられる。座標(X,Y)における寄与度には、個別点灯画像において座標(X,Y)に対応する座標(u,v)の画素値(I1/S,I2/S,I3/S)が用いられる。
【0101】
照明範囲マップを生成する手順は、基本的には図6に示した実施形態1と同様の手順になる。すなわち、照明範囲マップの初期化後、個別点灯画像の座標(u,v)の画素値を床面上の座標(X,Y)に対応付ける。また、床面に交差する面への対応付けは防止される。以上のように設定モードでは、個別点灯画像ごとに照明範囲マップを生成することにより、照明器具21,22,23ごとの照明範囲マップが形成されることになる。
【0102】
たとえば、図10(a)(b)(c)に示した個別点灯画像からは、それぞれ図10(d)(e)(f)に示す3枚の照明範囲マップが生成される。図示する照明範囲マップにおける明度は寄与度を表しており、明度が高いほど寄与度が大きいことを示す。
【0103】
通常モードでは、照合部133は、人検出部132が求めた人の存在位置を、すべての照明範囲マップにそれぞれ照合し、照明範囲マップごとに人の存在位置に対応する座標(X,Y)の寄与度を抽出する。照明範囲マップから人の存在位置における照明器具21,22,23ごとの寄与度が抽出されると、制御指示部134は、照明範囲マップごとに抽出した寄与度を規定の閾値と比較し、寄与度が閾値以上である照明器具21,22,23を点灯させる。
【0104】
たとえば、図10(d)(e)(f)に示す照明範囲マップのうち、図10(d)(e)において人30の位置の寄与度が閾値以上であり、図10(f)において人30の位置の寄与度が閾値未満であるとする。この例の場合、制御指示部134は、照明器具21,22を点灯させ、照明器具23を消灯させる。
【0105】
上述の動作によって、たとえば、複数台の照明器具21,22,23の照明範囲の境界付近に人が存在する場合に、1台の照明器具21,22,23のみを点灯させるのではなく、人の周囲の複数台の照明器具21,22,23を点灯させることが可能になる。したがって、実施形態1のように、複数台の照明器具21,22,23の点灯を許容するためのルールを制御指示部134に設定しなくとも、人の存在位置に応じて点灯させる照明器具21,22,23の台数を動的に変化させることが可能になる。他の構成および動作は実施形態1と同様である。
【符号の説明】
【0106】
10 三次元計測部
11,12 カメラ(撮像手段)
21,22,23 照明器具
131 マップ生成部
132 人検出部
134 制御指示部
【特許請求の範囲】
【請求項1】
複数台の照明器具により照明される照明空間を撮像する撮像手段を備え前記撮像手段が撮像した画像から前記照明空間の三次元情報を取得する三次元計測部と、前記三次元情報を用いることにより前記照明空間の床面上の位置を前記照明器具に割り当てた照明範囲マップを生成するマップ生成部と、前記三次元情報を用いて前記照明空間における床面上での人の存在位置を検出する人検出部と、人の存在位置が前記照明範囲マップに照合されることにより抽出された前記照明器具ごとの照明範囲を用いて前記照明器具の光出力を決定する制御指示部とを備えることを特徴とする照明制御装置。
【請求項2】
前記三次元計測部は、前記撮像手段として2台のカメラを用い、前記カメラが撮像した画像から三角測量法の原理を用いて前記照明空間の三次元情報を取得することを特徴とする請求項1記載の照明制御装置。
【請求項3】
前記マップ生成部は、前記照明範囲マップを生成するために、前記照明器具ごとに光出力を2段階で変化させ、前記撮像手段が撮像した画像を構成する画素のうち前記照明空間における床面に対応付けられる各画素について前記照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、前記画素ごとに前記変化分を最大にする前記照明器具を対応付けることを特徴とする請求項1又は2記載の照明制御装置。
【請求項4】
前記マップ生成部は、前記照明範囲マップを生成するために、前記照明器具ごとに光出力を2段階で変化させ、前記撮像手段が撮像した画像を構成する画素のうち前記照明空間における床面に対応付けられる各画素について前記照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、前記画素ごとに前記変化分が規定の閾値以上になる前記照明器具を対応付けることを特徴とする請求項1又は2記載の照明制御装置。
【請求項5】
前記マップ生成部は、前記撮像手段が撮像した画像を構成する画素のうち床面に交差する面に対応する画素は、前記照明範囲マップの対象外とすることを特徴とする請求項1〜4のいずれか1項に記載の照明制御装置。
【請求項6】
前記マップ生成部は、照明範囲マップにおいて前記照明空間の床面上の位置のうち前記照明器具が対応付けられていない位置には、前記照明器具ごとの照明範囲と前記位置との位置関係を用いて前記位置に前記照明器具を割り当てることを特徴とする請求項1〜5のいずれか1項に記載の照明制御装置。
【請求項7】
前記マップ生成部は、前記照明範囲マップにおける前記照明器具ごとの照明範囲に基づいて、前記床面における前記照明器具ごとの直下の位置を推定することを特徴とする請求項6記載の照明制御装置。
【請求項1】
複数台の照明器具により照明される照明空間を撮像する撮像手段を備え前記撮像手段が撮像した画像から前記照明空間の三次元情報を取得する三次元計測部と、前記三次元情報を用いることにより前記照明空間の床面上の位置を前記照明器具に割り当てた照明範囲マップを生成するマップ生成部と、前記三次元情報を用いて前記照明空間における床面上での人の存在位置を検出する人検出部と、人の存在位置が前記照明範囲マップに照合されることにより抽出された前記照明器具ごとの照明範囲を用いて前記照明器具の光出力を決定する制御指示部とを備えることを特徴とする照明制御装置。
【請求項2】
前記三次元計測部は、前記撮像手段として2台のカメラを用い、前記カメラが撮像した画像から三角測量法の原理を用いて前記照明空間の三次元情報を取得することを特徴とする請求項1記載の照明制御装置。
【請求項3】
前記マップ生成部は、前記照明範囲マップを生成するために、前記照明器具ごとに光出力を2段階で変化させ、前記撮像手段が撮像した画像を構成する画素のうち前記照明空間における床面に対応付けられる各画素について前記照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、前記画素ごとに前記変化分を最大にする前記照明器具を対応付けることを特徴とする請求項1又は2記載の照明制御装置。
【請求項4】
前記マップ生成部は、前記照明範囲マップを生成するために、前記照明器具ごとに光出力を2段階で変化させ、前記撮像手段が撮像した画像を構成する画素のうち前記照明空間における床面に対応付けられる各画素について前記照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、前記画素ごとに前記変化分が規定の閾値以上になる前記照明器具を対応付けることを特徴とする請求項1又は2記載の照明制御装置。
【請求項5】
前記マップ生成部は、前記撮像手段が撮像した画像を構成する画素のうち床面に交差する面に対応する画素は、前記照明範囲マップの対象外とすることを特徴とする請求項1〜4のいずれか1項に記載の照明制御装置。
【請求項6】
前記マップ生成部は、照明範囲マップにおいて前記照明空間の床面上の位置のうち前記照明器具が対応付けられていない位置には、前記照明器具ごとの照明範囲と前記位置との位置関係を用いて前記位置に前記照明器具を割り当てることを特徴とする請求項1〜5のいずれか1項に記載の照明制御装置。
【請求項7】
前記マップ生成部は、前記照明範囲マップにおける前記照明器具ごとの照明範囲に基づいて、前記床面における前記照明器具ごとの直下の位置を推定することを特徴とする請求項6記載の照明制御装置。
【図1】
【図2】
【図3】
【図4】
【図6】
【図7】
【図11】
【図12】
【図5】
【図8】
【図9】
【図10】
【図13】
【図2】
【図3】
【図4】
【図6】
【図7】
【図11】
【図12】
【図5】
【図8】
【図9】
【図10】
【図13】
【公開番号】特開2013−41714(P2013−41714A)
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願番号】特願2011−176847(P2011−176847)
【出願日】平成23年8月12日(2011.8.12)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願日】平成23年8月12日(2011.8.12)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]