画像処理装置及び画像処理方法
【課題】処理量を増大させることなく、ユーザが視認しやすい平面マップを表示する画像処理装置及び画像処理方法を提供する。
【解決手段】平面マップ生成装置１０３は、物体が撮像された画像であり、かつ、物体の三次元座標を算出可能な画像を取得する画像取得部３０１と、基準面上に存在する第１の物体の上面を画像から抽出し、抽出した上面の特徴点の座標を取得する座標取得部３０２と、取得した座標を用いて、基準面に対して垂直方向に相当する座標の値が基準面と同じ値になるように、上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成部３０３とを有する。
【解決手段】平面マップ生成装置１０３は、物体が撮像された画像であり、かつ、物体の三次元座標を算出可能な画像を取得する画像取得部３０１と、基準面上に存在する第１の物体の上面を画像から抽出し、抽出した上面の特徴点の座標を取得する座標取得部３０２と、取得した座標を用いて、基準面に対して垂直方向に相当する座標の値が基準面と同じ値になるように、上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成部３０３とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間の様子を撮像した画像に透視変換を施して平面マップを生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
車両周辺の様子を、上方から見たときの状態でディスプレイ等の画面上に表示する技術が知られている。このような画像処理技術としては、他車両の大きさに基づいて合成した擬似他車両の画像を、撮像画像に重畳して表示する技術がある（例えば特許文献１参照）。
【０００３】
図１は、特許文献１に開示された車両用表示装置１１の構成を示す図である。図１において、車両用表示装置１１は、カメラ群１２、距離センサ群１３、画像処理装置１４、ディスプレイ１５、撮像条件検出装置１６及び障害物位置検出装置１７を備えている。
【０００４】
カメラ群１２は、自車両の周囲を撮像するための装置である。カメラ群１２は、自車両のボディ周縁部に取付けられる１つ以上のカメラを含んで構成されている。距離センサ群１３は、周辺に存在する障害物を検出するための装置である。距離センサ群１３は、自車両に取付けられる１つ以上のセンサを含んで構成されている。
【０００５】
画像処理装置１４は、ＲＯＭ（Read Only Memory）に予め格納された種々のプログラムによって、周囲画像合成部４１、車両検出部４２、擬似車両描画部４３、及び、画像合成部４４として機能する。
【０００６】
周囲画像合成部４１は、カメラ群１２によって得られた複数の周辺画像データを、それぞれ自車両の上方の視点から見た上視点画像に透視変換し、それらの画像を１枚に合成して、車両周囲画像を生成する。車両検出部４２は、距離センサ群１３の障害物の検出データ及び車両周囲画像を用いて、自車両の周囲に存在する他車両を検出する。
【０００７】
擬似車両描画部４３は、車両検出部４２により検出された車両を上方から見たときの、擬似的な画像（擬似車両画像）を、検出された車輪及びボディに合わせて描画する。なお、擬似車両描画部４３で利用される擬似車両画像は、ＲＯＭ等のデータベースに登録されたものである。画像合成部４４は、車両周囲画像と擬似車両画像とを合成して、自車両の周辺に存在する他車両を含む周囲画像を生成する。
【０００８】
ディスプレイ１５は、周囲画像の信号に基づいて、自車両周囲の画像を表示する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−１３４９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特許文献１に開示の技術では、透視変換により平面マップを生成する際、データベースに登録されていない車両（物体）は、透視変換されたままの歪んだ状態で平面マップに表示される。このため、ユーザにとって視認しにくい画像が表示されるという問題がある。また、物体の擬似的な画像を登録するデータベースを逐次更新することも考えられるが、この更新作業には膨大な処理量を要する。
【００１１】
本発明の目的は、処理量を増大させることなく、ユーザが視認しやすい平面マップを生成する画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、物体が撮像された画像であり、かつ、前記物体の三次元座標を算出可能な画像を取得する画像取得手段と、前記画像のうち、三次元空間での基準面（平面マップ上でユーザが基準としたい面）上に存在する物体（第一の物体）の上面を前記画像から抽出し、抽出した前記上面の特徴点の三次元座標を取得する座標取得手段と、前記基準面に対して垂直方向に相当する座標の値が前記基準面と同じ値になるように、前記上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成手段と、を具備する構成を採る。
【００１３】
本発明の画像処理方法は、物体が撮像された画像であり、かつ、前記物体の三次元座標を算出可能な画像を取得する画像取得工程と、前記画像のうち、三次元空間での基準面上に存在する第１の物体の上面を前記画像から抽出し、抽出した前記上面の特徴点の三次元座標を取得する座標取得工程と、前記基準面に対して垂直方向に相当する座標の値が前記基準面と同じ値になるように、前記上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成工程と、を具備するようにした。
【発明の効果】
【００１４】
本発明によれば、処理量を増大させることなく、ユーザが視認しやすい平面マップを生成することができる。
【図面の簡単な説明】
【００１５】
【図１】特許文献１に開示された車両用表示装置の構成を示す図
【図２】本発明の実施の形態１に係る監視システムを示す図
【図３】本実施の形態１における監視対象エリアの外観およびディスプレイに表示したときの様子の具体例を示す図
【図４】本実施の形態１における図２に示した平面マップ生成装置の内部構成を示すブロック図
【図５】本実施の形態１における図４に示した平面マップ生成装置の処理手順を示すフロー図
【図６】本実施の形態１における図４に示した平面マップ生成装置の処理の様子を示す図
【図７】本実施の形態１における特徴点の抽出イメージを示す図
【図８】本実施の形態１における後処理の様子を示す図
【図９】本実施の形態１におけるオフィスに複数のカメラを配置した様子を示す図
【図１０】本実施の形態１における図４に示した平面マップ生成装置により生成される平面マップを示す図
【図１１】本発明の実施の形態１に係る他の平面マップ生成装置の内部構成を示すブロック図
【図１２】本実施の形態１における平面マップ上に人の動きを示す動線を表示した様子を示す図
【図１３】本発明の実施の形態２に係る平面マップ生成装置の内部構成を示すブロック図
【図１４】本発明の実施の形態２に係る他の平面マップ生成装置の内部構成を示すブロック図
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。ただし、実施の形態において、同一の機能を有する部分には、同一の符号を付し、重複する説明は省略する。
【００１７】
（実施の形態１）
図２は、本発明の実施の形態１に係る監視システム１００を示した図である。図２の監視システム１００は、カメラ群１０１、ネットワーク１０２、平面マップ（Plane Map）生成装置１０３、ディスプレイ１０４を備えている。
【００１８】
カメラ群１０１は、工場又はオフィス等の監視対象エリアの空間を撮像するために配置される。カメラ群１０１は、監視対象エリア内の固定した場所に取り付けられる１つ以上のカメラから構成されている。以下、監視対象エリアがオフィスである場合について説明を行う。例えば、カメラは、ＣＣＤカメラ、ＣＭＯＳカメラのステレオカメラ等を採用できる。各カメラは、オフィス全体において撮像されていない死角部分が少なくなるように、天井又は壁等に設置される。
【００１９】
ネットワーク１０２は、カメラ群１０１と平面マップ生成装置１０３とを接続する。カメラ群１０１によって撮像された画像は、ネットワーク１０２を介して平面マップ生成装置１０３に送信される。
【００２０】
平面マップ生成装置１０３は、取得した画像から平面マップを生成し、ディスプレイ１０４に出力する。平面マップ生成装置１０３は、ＰＣ（パーソナルコンピュータ）等の端末を採用できる。なお、平面マップ生成装置１０３の詳細については後述する。
【００２１】
ディスプレイ１０４は、平面マップ生成装置１０３によって生成された平面マップを表示する。
【００２２】
図４は、図２に示した平面マップ生成装置１０３の内部構成を示すブロック図である。平面マップ生成装置１０３は、画像取得部３０１、座標取得部３０２、第１の平面マップ生成部３０３、画像領域抽出部３０４、第２の平面マップ生成部３０５、重畳処理部３０６、及び貼り合わせ部３０７を備える。
【００２３】
画像取得部３０１は、ネットワーク１０２から送信されたカメラ群１０１の画像を取得する。そして、画像取得部３０１は、取得した画像を、座標取得部３０２、第１の平面マップ生成部３０３及び画像領域抽出部３０４に出力する。ここで取得される画像は、三次元座標を算出可能な画像である。本実施の形態では、この画像がステレオ画像である場合について説明する。
【００２４】
座標取得部３０２は、二つの処理を行う。
【００２５】
一つ目の処理として、座標取得部３０２は、まず、画像取得部３０１から出力された画像に対して、透視変換（Perspective Transform）及び平滑処理を施す。続いて、座標取得部３０２は、対象となる物体（第１の物体）の上面領域を抽出し、抽出した上面領域における各特徴点（Features）の三次元座標を算出する。そして、座標取得部３０２は、算出結果を、第１の平面マップ生成部３０３に出力する。より具体的には、座標取得部３０２は、画像取得部３０１からのステレオ画像を用いた三角測量により、上面の各特徴点の三次元座標を算出する。
【００２６】
ここで、図３（Ａ）を具体例として、三次元座標軸を説明する。図３（Ａ）に示すＡ面を基準面とした場合、基準面上において直角に交わる軸がｘ軸およびｙ軸になり、基準面の上向きの法線方向がｚ軸となる。なお、基準面は、平面マップ生成過程において、ユーザが基準として定義した面であり、例えば床面である。
【００２７】
二つ目の処理として、座標取得部３０２は、まず、後述する画像領域抽出部３０４から第２の物体の画像領域の各特徴点を取得する。そして、座標取得部３０２は、取得した各特徴点の三次元座標を算出し、算出結果を、第２の平面マップ生成部３０５に出力する。座標取得部３０２は、領域の各特徴点の三次元座標を、上面領域の各特徴点算出と同様の方法を用いて求める。
【００２８】
第１の平面マップ生成部３０３は、座標取得部３０２から上面領域における各特徴点の三次元座標を取得する。そして、第１の平面マップ生成部３０３は、取得した三次元座標のうちｚ座標の値が、基準面のｚ座標の値と同じ値になるように、第１の物体の画像領域の大きさを変換する。その後、第１の平面マップ生成部３０３は、変換した領域を基準面上に移動させて第１の平面マップを生成し、生成した第１の平面マップを、重畳処理部３０６に出力する。
【００２９】
画像領域抽出部３０４は、座標取得部３０２から取得した各第１の物体の領域の座標を元に、第１の物体上に存在する物体（以下、第２の物体と称す）の画像中の領域を抽出する。画像領域抽出部３０４は、抽出した領域を、第２の平面マップ生成部３０５および座標取得部３０２にそれぞれ出力する。
【００３０】
第２の平面マップ生成部３０５は、座標取得部３０２から出力された第２の物体の画像領域の各特徴点に対する三次元座標と、画像領域抽出部３０４から出力された画像領域とを取得する。第２の平面マップ生成部３０５は、座標取得部３０２から取得した三次元座標のうちｚ座標の値が基準面のｚ座標の値と同じ値になるように、画像領域抽出部３０４から取得した画像領域の大きさを変換する。その後、第２の平面マップ生成部３０５は、変換した領域を基準面上に移動させて第２の平面マップを生成し、生成した第２の平面マップを、重畳処理部３０６に出力する。
【００３１】
重畳処理部３０６は、第１の平面マップ生成部３０３から出力された第１の平面マップと、第２の平面マップ生成部３０５から出力された第２の平面マップとを取得する。そして、重畳処理部３０６は、取得した第１の平面マップと第２の平面マップとを重ね合わせて、第３の平面マップを生成し、生成した第３の平面マップを、貼り合わせ部３０７に出力する。
【００３２】
貼り合わせ部３０７は、オフィス内の異なる場所に配置された複数のカメラが撮像した画像を元にして生成された複数の第３の平面マップを取得する。そして、貼り合わせ部３０７は、取得した複数の第３の平面マップを貼り合わせて、室内全体を表す第４の平面マップを生成し、生成した第４の平面マップを、ディスプレイ１０４に出力する。
【００３３】
貼り合わせ部３０７は、複数の平面マップを貼り合わせる際の重なり領域については、重なり領域に最も近いカメラが撮影したステレオ画像から生成された平面マップの画像を、優先して採用する。
【００３４】
次に、図４に示した平面マップ生成装置１０３の動作について詳細に説明する。
【００３５】
平面マップ生成装置１０３は、例えば、図３（Ａ）に示すオフィス空間に対して、図３（Ｂ）に示す平面マップを生成する。平面マップは、オフィス空間を上方から見たときの状態を擬似的に示す画像である。本実施の形態に係る平面マップ生成装置１０３は、床面を基準面として、基準面上に存在する第１の物体と、第１の物体の上に置かれた第２の物体とを、それぞれ異なる方法で処理する。第１の物体は、例えば、図３（Ａ）の机、脇棚、キャビネット等、高さの異なる物体である。また、第２の物体は、例えば、図３（Ａ）のパソコン、本、ノート等である。第１の物体に対する処理は、第１の平面マップ生成部３０３によって行われる。第２の物体に対する処理は、第２の平面マップ生成部３０５によって行われる。
【００３６】
図５、図６及び図７を用いて、平面マップ生成装置１０３の主要機能の処理手順についての説明は、図３（Ａ）のようなオフィス空間に存在する物体一つに着目して説明する。
【００３７】
ステップＳ４０１において、座標取得部３０２は、画像取得部３０１によって取得された画像に対して、透視変換を施す。透視変換とは、３次元空間内に置かれた３次元物体を任意の視点から見て２次元平面に投影する変換する処理のことである。本実施の形態の透視変換は、２次元平面をユーザが任意に設定した基準面（例えば、床面等）として変換処理を行う。この変換処理の際、物体の高さについては考慮されていないため、図６（Ａ）に示す撮像された画像に対してそのまま透視変換を施すと、図６（Ｂ）に示すような状態となり、ディスプレイ等の高さのある物体は形状が歪んでしまう。
【００３８】
透視変換処理は、例えば、式（１）に示す透視変換行列を用いて、基準面への変換を行う。透視変換行列は、３行３列の行列Ｐである。（ｘ，ｙ）は監視領域に設定された空間座標の値であり、（ｘ’，ｙ’）は上記２次元平面上の座標の値であり、ｗは視点によって異なる画像の遠近感を表す変数である。
【数１】
【００３９】
ステップＳ４０２において、座標取得部３０２は、平滑処理を行う。平滑処理は、例えば、画像全体に対して、ノイズ等の小さな画像成分を除去し、滑らかな画像を作る処理である。本実施の形態における平滑処理は、画像中で占める面積が小さな物体の画像を除去する処理である。続いて、座標取得部３０２は、第１の物体の領域を抽出する。本実施の形態における領域抽出処理は、図６（Ｃ）に示すように、三次元空間上の基準面上に存在する、例えば机等の第１の物体の、画像上での領域を求める処理である。以下、この領域を、「第１の物体の画像領域」という。座標取得部３０２は、例えば、色情報を利用して、この領域抽出を行う。具体的には、座標取得部３０２は、例えば、色の濃淡の変化が激しい部分に基づいて、第１の物体の画像領域を抽出する。なお、座標取得部３０２は、ＨＳＶ系、ＲＧＢ系を利用して、色の変化が激しい部分に基づいて、第１の物体の画像領域を抽出してもよい。なお、ＨＳＶ系とは、色相（Hue）、彩度（Saturation）、明度（Brightness・Value）の三つの成分からなる色空間である。以降の処理は、ステップＳ４０２で得られた第１の物体の画像領域の数の分だけ繰り返される。図１０においては、第１の物体である机、脇棚、キャビネットの数の分だけ繰り返されることとなる。
【００４０】
ステップＳ４０３では、座標取得部３０２は、ステップＳ４０２で得られた第１の物体の数の分だけ、以下にステップＳ４０４〜Ｓ４１０として説明する処理を行ったか否かを判断する。終わっていない場合は、ステップＳ４０４へ移行し、終わった場合は、処理を終了する。
【００４１】
ステップＳ４０４において、座標取得部３０２は、第１の物体の画像領域に対して、物体の上面部分の抽出を行う。本実施の形態における上面抽出処理を施した結果は、図６（Ｄ）に示すようになる。
【００４２】
上面抽出では、まず、座標取得部３０２において、抽出された第１の物体の画像領域に対して、ステレオ画像を用いて特徴点を求め、各特徴点の三次元座標を算出する。ここで特徴点は、ステレオ画像において、それぞれの画像中で周辺の画素との濃淡の変化が激しい等、特定の変化がある点とする。座標取得部３０２は、特徴点を、ステレオ画像中のｘｙ座標値を用いて保持する。
【００４３】
図７は、特徴点の抽出イメージを示すものである。図中の四角のマークは、特徴点の例を示す。
【００４４】
次に、座標取得部３０２は、画像中の同じ第１物体の画像領域内に存在する特徴点の中から、同じ高さを持ち、かつ、それらの点で囲まれた領域の色情報が同じとなる複数の特徴点を抽出する。そして、座標取得部３０２は、抽出した複数の特徴点によって囲まれた領域を、第１の物体の上面領域として抽出する。最後に、座標取得部３０２は、第１の物体の画像領域を、上面領域と上面領域以外の領域とに分割する。図６（Ｄ）の特徴点ｔ１（ｔｘ１，ｔｙ１）、ｔ２（ｔｘ２，ｔｙ２）、ｔ３（ｔｘ３，ｔｙ３）、ｔ４（ｔｘ４，ｔｙ４）で囲まれた、斜線で示す領域は、上面領域の例である。
【００４５】
上面領域は、画像中の特徴点で囲まれた領域として定義されるため、その形状は特徴点の数により変化する。例えば、特徴点が４点であれば上面領域は四角形となり、特徴点が５点であれば上面領域は五角形となる。
【００４６】
このとき、図６（Ｄ）に示すように、抽出された上面領域（ｔ１−ｔ４）は、第１の物体の上面の画像を基準面に対して透視変換した結果である。このため、変換された上面領域は、基準面から机の高さ分だけ、本来あるべき大きさから異なりが生じている。
【００４７】
そこで、ステップＳ４０５において、第１の平面マップ生成部３０３は、ステップＳ４０４で求められた三次元座標のうちｚ座標の値が基準面のｚ座標の値と同じ値になるように、上面領域を移動させる。すなわち、第１の平面マップ生成部３０３は、上面領域を、基準面上に移動させる。その際、第１の平面マップ生成部３０３は、領域が実際の大きさと等しくなるように、領域の大きさを縮小又は拡大する（図６（Ｅ）参照）。以下、ステップＳ４０５の処理が施された第１の物体の画像を、「第１の物体の変換後領域」という。
【００４８】
ステップＳ４０６において、画像領域抽出部３０４は、ステップＳ４０４で抽出された画像から、第１の物体の上面領域に存在する、パソコン、本、ノート等の第２の物体（図６（Ｆ）参照）の画像領域を抽出する。以下、この領域を、「第２の物体の画像領域」という。第２の物体の画像領域の抽出は、例えば、第１の物体の上面領域に相当する画像において、ここでも濃淡情報を利用した領域抽出を行い、第２の物体に相当する画像領域を分離することによって行われる（図６（Ｇ）参照）。この処理は、画像中の第１の物体の画像中の領域の数の分だけ繰り返される。次に、画像領域抽出部３０４は、抽出した各第２の物体の画像領域の座標を、座標取得部３０２に出力する。
【００４９】
ステップＳ４０７において、座標取得部３０２は、ステップＳ４０６で抽出された第２の物体の画像領域の三次元座標をそれぞれ算出する。
【００５０】
ここで、図６（Ｇ）に示す画像中の代表点ｏ１（ｏｘ１，ｏｙ１）、ｏ２（ｏｘ２，ｏｙ２）等が存在する第２の物体の画像領域は、第２の物体が存在する机の高さ分、位置が上面領域と異なる。また、第２の物体の画像領域は、高さが基準面と異なることにより、大きさも異なる。なお、これは、図６（Ｄ）に示した第１の平面マップ生成部３０３と同様である。
【００５１】
そのため、ステップＳ４０８において、第２の平面マップ生成部３０５は、ステップＳ４０７で取得した三次元座標のうち、ｚ座標の値が基準面のｚ座標の値と同じ値になるようにする。具体的には、第２の平面マップ生成部３０５は、第２の物体の画像領域を、画像中での領域の大きさを調節し、抽出した画像のまま（つまり同じ形状で）移動させる。例えば、領域の代表点ｏ１（ｏｘ１，ｏｙ１）はＯ１（Ｏｘ１，Ｏｙ１）へ、ｏ２（ｏｘ２，ｏｙ２）はＯ２（Ｏｘ２，Ｏｙ２）へそれぞれ移動する（図６（Ｈ）参照）。以下、ステップＳ４０８の処理が施された第２の物体の画像を、「第２の物体の変換後領域」という。
【００５２】
このように、平面マップ生成装置１０３は、第１の物体に対しては、入力画像に対して透視変換を施した後、物体の上面領域を取得して三次元座標中の適した位置、領域の大きさに変換する。一方で、平面マップ生成装置１０３は、第２の物体に対しては、入力画像のまま、位置、領域の大きさの変換をする。平面マップ生成装置１０３は、このように第１の物体と第２の物体とで異なった処理を行うことにより、ディスプレイのような高さのある第２の物体が歪みなく表示される平面マップを生成することができる。なお、第２の物体については、第１の物体に対する処理と同様の処理を行い、上方から見たときの状態に変換してもよい。
【００５３】
ステップＳ４０９において、第１の平面マップ生成部３０３は、後処理として、第１の物体の上面領域以外の領域等、カメラから死角となっている領域（以下「死角領域」と総称する）に対して、色情報を用いて塗りつぶす処理を行う。死角領域は、第１の物体の側面領域や、第１の物体によって発生するオクルージョン（Occlusion）領域、ステップＳ４０５の処理を施される前の上面領域等が相当する。ここで、図８（Ａ）には、撮像した画像を透視変換した結果を示す。また、図８（Ｂ）は、図８（Ａ）に示す透視変換結果に対して、ステップＳ４０２からステップＳ４０８までの処理を施した結果である。すなわち、図８（Ｂ）は、抽出された第１の物体の上面領域を、三次元座標の適した位置、大きさに変更したものである。図８（Ｃ）は、図８（Ａ）における死角領域と図８（Ｂ）とを重ね合わせたものである。死角領域に該当する部分は、黒色で表示した。第１の平面マップ生成部３０３は、平面マップ上に表示する際に、他の領域と見分けがつくように、オフィス内に存在しない色で死角領域を塗りつぶしてもよい（図８（Ｃ）参照）。また、第１の平面マップ生成部３０３は、周囲の色（例えば、基準面である床の濃淡情報）を利用して、死角領域を塗りつぶしてもよい。
【００５４】
ステップＳ４１０において、重畳処理部３０６は、ステップＳ４０５で得られた第１の物体の変換後領域と、ステップＳ４０８で得られた第２の物体の変換後領域とを、平面マップ上へ重畳する処理を行う（図６（Ｉ）参照）。また、重畳処理部３０６は、ステップＳ４０９で得られた死角領域（塗りつぶしが行われた死角領域）を、平面マップ上へ重畳する処理も行う。重畳処理の手順は、次の通りである。まず、重畳処理部３０６は、第１の平面マップである第１の物体の領域を配置し、第２の平面マップである第２の物体の領域を合成する。そして、重畳処理部３０６は、ステップＳ４０９で得られた死角領域のうち、第１、第２の物体の変換後領域で埋められない領域を、所定の色で塗りつぶす。なお、重畳処理部３０６は、ステップＳ４１０で死角領域抽出に関して、他のカメラから得られた情報で補完することによって、第１の物体の側面部分、オクルージョン部分等を周囲の領域の画像情報を用いて塗りつぶしてもよい。
【００５５】
平面マップ生成装置１０３は、ステップＳ４１０の処理の後、ステップＳ４０３へ移行する。
【００５６】
図９は、オフィスに複数のカメラを配置した様子を示す図である。この図に示すように、オフィスにおいて、撮像されていない死角部分が少なくなるように、複数台のカメラを適した位置に設置する。図１０（Ａ）は、カメラから取得したカメラ画像（イメージ図）である。図１０（Ｂ）は、図１０（Ａ）の画像に対して透視変換を施した平面マップであり、図１０（Ｃ）は、図１０（Ａ）の画像を平面マップ生成装置１０３によって処理した平面マップである。
【００５７】
図１０（Ｂ）では、物体が原型の形状をとどめておらず、非常に歪んでおり、大変視認しにくい平面マップである。これに対して、図１０（Ｃ）では、視認しやすい平面マップが表示されている。
【００５８】
このように実施の形態１に係る監視システム１００は、基準面に存在する第１の物体の画像領域と、第１の物体の上部に存在する第２の物体の画像領域を分離する。そして、監視システム１００は、第１の物体の上面領域と第２の物体の画像領域とを、それぞれ大きさ及び位置を調整して合成表示する。これにより、実施の形態１では、物体の歪みの少ない平面マップを生成することができ、ユーザの視認性を向上させることができる。したがって、実施の形態１に係る監視システム１００を用いることにより、工場、オフィス等の監視対象エリアの空間の様子全体を容易に把握することができる。
【００５９】
なお、本実施の形態に係る平面マップ生成装置は、上述の構成以外の構成とすることもできる。
【００６０】
図１１は、実施の形態１に係る他の平面マップ生成装置５００の内部構成を示すブロック図である。図１１において、人物検出部５０１は、画像取得部３０１から画像を取得し、取得した画像から人物の特徴を利用して人物を検出する。検出結果は、動線表示部５０２に出力される。また、動線表示部５０２は、人物検出部５０１から出力された検出結果に基づいて、人物が移動した軌跡を解析する。そして、動線表示部５０２は、解析した軌跡を、人物の動線として平面マップに埋め込み、ディスプレイ１０４に表示させる。
【００６１】
これにより、実施の形態１に係る他の平面マップ生成装置５００は、平面マップ上に人の動きを示す動線を表示することが可能となり、監視対象エリア全体の物体の位置関係の把握を容易にする。また、他の平面マップ生成装置５００からは、室内を移動している人物と、人物の移動と物体との関連性を、ディスプレイ１０４上で容易に確認することができる。例えば、図１２に示すように、オフィス等において、入り口から入ってきた人物がある特定の場所を経由して各人の席に着く場合、その動線から人の行動を判断することができる。すなわち、他の平面マップ生成装置５００を用いることにより、平面マップ上の物体と人物の動きとの関係の分析が可能となる。これにより、他の平面マップ生成装置５００では、物体に関連付けて人の動きを見ることができ、更に、その物体が何であるかを特定することができる。例えば、人物に関連している物体としてその場所Ａに在席管理ボードがあると解析した場合は、「Ａに在席管理ボードがあります」等の情報を平面マップ上の端等に表示することができる。
【００６２】
なお、平面マップ生成装置は、平面マップ生成の処理を一定時間間隔で実行することにより、監視対象エリアにおいて、机や備品等が移動した場合でもより最新に近い状態を表示することが可能となる。平面マップ生成装置は、監視対象エリア内の様子が変化しない場合は、設置時のみ実行するようにしてもよい（変化するまで処理を実行しないようにしてもよい）。
【００６３】
また、本実施の形態においては、カメラ群を、ステレオカメラとして説明したが、２台以上の複数カメラとしてもかまわない。
【００６４】
また、本実施の形態では、座標の算出にステレオ画像によるステレオマッチングを用いたが、測距センサ等を用いてもよい。
【００６５】
また、生成された平面マップ上の死角領域の塗りつぶし色は、黒色に対応する値等、色情報を統一した値で設定を行ってもよい。
【００６６】
また、基準面上に存在する第１の物体の上面抽出方法として、本実施の形態に係る監視装置１００は、画像中の特徴点を求め、その特徴点の三次元座標を算出する。次に、監視装置１００は、それらが同じ高さを持ち、かつ、それらで囲まれた領域内の色が同じ場合に、その囲まれた領域を、上面領域として取得していた。しかし、高さの条件は、特徴点の高さが完全に一致している必要はなく、ほぼ同じであることとしてもよい。また、色の条件は、領域内の色が似ていることとしてもよい。また、上面領域の取得の条件を、高さの条件と色の条件のいずれか一方が成り立つこととしてもよい。
【００６７】
また、貼り合わせ部３０７は、複数の平面マップを貼り合わせる際、重なり領域が存在しない部分を、周囲の領域の画像情報や基準面の画像情報によって埋め合わせてもよい。
【００６８】
（実施の形態２）
図１３は、本発明の実施の形態２に係る平面マップ生成装置６００の内部構成を示すブロック図である。図１３の図４と異なる点は、差分検知部６０１及び差分判定部６０２を追加した点である。差分検知部６０１は、貼り合わせ部３０７から出力された平面マップを保持し、前回出力された平面マップと今回出力された平面マップとの差分を検知する。そして、差分検知部６０１は、差分を検知したとき、差分の内容を示す差分情報を、差分判定部６０２に出力する。
【００６９】
差分判定部６０２は、オフィス内に存在する物体を予め登録しておき、差分検知部６０１から出力された差分情報に相当する物体が登録されているか否かを判定する。そして、差分判定部６０２は、当該物体が登録されている場合には、オフィス内に存在する物体が紛失しているとして、警報を発する等、その旨をディスプレイ１０４に表示する。
【００７０】
なお、平面マップ生成装置６００は、警報を発する方法として、平面マップ上に色又は文字等で知らせてもよいし、ディスプレイ１０４とは別に警告用のライトを用意しておき、ライトを点滅させてもよい。また、平面マップ生成装備６００は、これらの警報と併せて、またはこれらの警報に代えて、オフィス管理部署等に直接連絡を行うようにしてもよい。
【００７１】
このように、実施の形態２に係る平面マップ生成装置６００は、前回出力された平面マップと今回出力された平面マップとの差分を検知し、差分情報に相当する物体が登録されているか判定する。これにより、平面マップ生成装置６００は、オフィス内に存在する物体の状況管理を行うことができる。
【００７２】
なお、本実施の形態に係る平面マップ生成装置は、上述の構成以外の構成とすることもできる。
【００７３】
図１４は、実施の形態２に係る他の平面マップ生成装置７００の内部構成を示すブロック図である。図１４において、人物検出部５０１は、画像取得部３０１から画像を取得し、取得した画像から人物の特徴を抽出して、人物を検出する。検出結果は、動線表示部５０２に出力される。動線表示部５０２は、人物検出部５０１から出力された検出結果に基づいて、人物が移動した軌跡を解析する。そして、動線表示部５０２は、解析した軌跡を、人物の動線として平面マップ上に埋め込み、ディスプレイ１０４に表示させる。
【００７４】
これにより、実施の形態２に係る他の平面マップ生成装置７００は、平面マップ上に人の動きを示す動線を表示することが可能となる。更に、他の平面マップ生成装置７００は、室内で物体が紛失した場合に、いつ誰が物体を紛失させたか等、人と物体との関係を把握することができ、物体が紛失した原因を特定することが可能となる。
【産業上の利用可能性】
【００７５】
本発明にかかる画像処理装置及び画像処理方法は、セキュリティ管理システム、安全管理システム等に適用できる。
【符号の説明】
【００７６】
１０１ カメラ群
１０２ ネットワーク
１０３、５００、６００、７００ 平面マップ生成装置
１０４ ディスプレイ
３０１ 画像取得部
３０２ 座標取得部
３０３ 第１の平面マップ生成部
３０４ 画像領域抽出部
３０５ 第２の平面マップ生成部
３０６ 重畳処理部
３０７ 貼り合わせ部
５０１ 人物検出部
５０２ 動線表示部
６０１ 差分検知部
６０２ 差分判定部
【技術分野】
【０００１】
本発明は、空間の様子を撮像した画像に透視変換を施して平面マップを生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
車両周辺の様子を、上方から見たときの状態でディスプレイ等の画面上に表示する技術が知られている。このような画像処理技術としては、他車両の大きさに基づいて合成した擬似他車両の画像を、撮像画像に重畳して表示する技術がある（例えば特許文献１参照）。
【０００３】
図１は、特許文献１に開示された車両用表示装置１１の構成を示す図である。図１において、車両用表示装置１１は、カメラ群１２、距離センサ群１３、画像処理装置１４、ディスプレイ１５、撮像条件検出装置１６及び障害物位置検出装置１７を備えている。
【０００４】
カメラ群１２は、自車両の周囲を撮像するための装置である。カメラ群１２は、自車両のボディ周縁部に取付けられる１つ以上のカメラを含んで構成されている。距離センサ群１３は、周辺に存在する障害物を検出するための装置である。距離センサ群１３は、自車両に取付けられる１つ以上のセンサを含んで構成されている。
【０００５】
画像処理装置１４は、ＲＯＭ（Read Only Memory）に予め格納された種々のプログラムによって、周囲画像合成部４１、車両検出部４２、擬似車両描画部４３、及び、画像合成部４４として機能する。
【０００６】
周囲画像合成部４１は、カメラ群１２によって得られた複数の周辺画像データを、それぞれ自車両の上方の視点から見た上視点画像に透視変換し、それらの画像を１枚に合成して、車両周囲画像を生成する。車両検出部４２は、距離センサ群１３の障害物の検出データ及び車両周囲画像を用いて、自車両の周囲に存在する他車両を検出する。
【０００７】
擬似車両描画部４３は、車両検出部４２により検出された車両を上方から見たときの、擬似的な画像（擬似車両画像）を、検出された車輪及びボディに合わせて描画する。なお、擬似車両描画部４３で利用される擬似車両画像は、ＲＯＭ等のデータベースに登録されたものである。画像合成部４４は、車両周囲画像と擬似車両画像とを合成して、自車両の周辺に存在する他車両を含む周囲画像を生成する。
【０００８】
ディスプレイ１５は、周囲画像の信号に基づいて、自車両周囲の画像を表示する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−１３４９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特許文献１に開示の技術では、透視変換により平面マップを生成する際、データベースに登録されていない車両（物体）は、透視変換されたままの歪んだ状態で平面マップに表示される。このため、ユーザにとって視認しにくい画像が表示されるという問題がある。また、物体の擬似的な画像を登録するデータベースを逐次更新することも考えられるが、この更新作業には膨大な処理量を要する。
【００１１】
本発明の目的は、処理量を増大させることなく、ユーザが視認しやすい平面マップを生成する画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、物体が撮像された画像であり、かつ、前記物体の三次元座標を算出可能な画像を取得する画像取得手段と、前記画像のうち、三次元空間での基準面（平面マップ上でユーザが基準としたい面）上に存在する物体（第一の物体）の上面を前記画像から抽出し、抽出した前記上面の特徴点の三次元座標を取得する座標取得手段と、前記基準面に対して垂直方向に相当する座標の値が前記基準面と同じ値になるように、前記上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成手段と、を具備する構成を採る。
【００１３】
本発明の画像処理方法は、物体が撮像された画像であり、かつ、前記物体の三次元座標を算出可能な画像を取得する画像取得工程と、前記画像のうち、三次元空間での基準面上に存在する第１の物体の上面を前記画像から抽出し、抽出した前記上面の特徴点の三次元座標を取得する座標取得工程と、前記基準面に対して垂直方向に相当する座標の値が前記基準面と同じ値になるように、前記上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成工程と、を具備するようにした。
【発明の効果】
【００１４】
本発明によれば、処理量を増大させることなく、ユーザが視認しやすい平面マップを生成することができる。
【図面の簡単な説明】
【００１５】
【図１】特許文献１に開示された車両用表示装置の構成を示す図
【図２】本発明の実施の形態１に係る監視システムを示す図
【図３】本実施の形態１における監視対象エリアの外観およびディスプレイに表示したときの様子の具体例を示す図
【図４】本実施の形態１における図２に示した平面マップ生成装置の内部構成を示すブロック図
【図５】本実施の形態１における図４に示した平面マップ生成装置の処理手順を示すフロー図
【図６】本実施の形態１における図４に示した平面マップ生成装置の処理の様子を示す図
【図７】本実施の形態１における特徴点の抽出イメージを示す図
【図８】本実施の形態１における後処理の様子を示す図
【図９】本実施の形態１におけるオフィスに複数のカメラを配置した様子を示す図
【図１０】本実施の形態１における図４に示した平面マップ生成装置により生成される平面マップを示す図
【図１１】本発明の実施の形態１に係る他の平面マップ生成装置の内部構成を示すブロック図
【図１２】本実施の形態１における平面マップ上に人の動きを示す動線を表示した様子を示す図
【図１３】本発明の実施の形態２に係る平面マップ生成装置の内部構成を示すブロック図
【図１４】本発明の実施の形態２に係る他の平面マップ生成装置の内部構成を示すブロック図
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。ただし、実施の形態において、同一の機能を有する部分には、同一の符号を付し、重複する説明は省略する。
【００１７】
（実施の形態１）
図２は、本発明の実施の形態１に係る監視システム１００を示した図である。図２の監視システム１００は、カメラ群１０１、ネットワーク１０２、平面マップ（Plane Map）生成装置１０３、ディスプレイ１０４を備えている。
【００１８】
カメラ群１０１は、工場又はオフィス等の監視対象エリアの空間を撮像するために配置される。カメラ群１０１は、監視対象エリア内の固定した場所に取り付けられる１つ以上のカメラから構成されている。以下、監視対象エリアがオフィスである場合について説明を行う。例えば、カメラは、ＣＣＤカメラ、ＣＭＯＳカメラのステレオカメラ等を採用できる。各カメラは、オフィス全体において撮像されていない死角部分が少なくなるように、天井又は壁等に設置される。
【００１９】
ネットワーク１０２は、カメラ群１０１と平面マップ生成装置１０３とを接続する。カメラ群１０１によって撮像された画像は、ネットワーク１０２を介して平面マップ生成装置１０３に送信される。
【００２０】
平面マップ生成装置１０３は、取得した画像から平面マップを生成し、ディスプレイ１０４に出力する。平面マップ生成装置１０３は、ＰＣ（パーソナルコンピュータ）等の端末を採用できる。なお、平面マップ生成装置１０３の詳細については後述する。
【００２１】
ディスプレイ１０４は、平面マップ生成装置１０３によって生成された平面マップを表示する。
【００２２】
図４は、図２に示した平面マップ生成装置１０３の内部構成を示すブロック図である。平面マップ生成装置１０３は、画像取得部３０１、座標取得部３０２、第１の平面マップ生成部３０３、画像領域抽出部３０４、第２の平面マップ生成部３０５、重畳処理部３０６、及び貼り合わせ部３０７を備える。
【００２３】
画像取得部３０１は、ネットワーク１０２から送信されたカメラ群１０１の画像を取得する。そして、画像取得部３０１は、取得した画像を、座標取得部３０２、第１の平面マップ生成部３０３及び画像領域抽出部３０４に出力する。ここで取得される画像は、三次元座標を算出可能な画像である。本実施の形態では、この画像がステレオ画像である場合について説明する。
【００２４】
座標取得部３０２は、二つの処理を行う。
【００２５】
一つ目の処理として、座標取得部３０２は、まず、画像取得部３０１から出力された画像に対して、透視変換（Perspective Transform）及び平滑処理を施す。続いて、座標取得部３０２は、対象となる物体（第１の物体）の上面領域を抽出し、抽出した上面領域における各特徴点（Features）の三次元座標を算出する。そして、座標取得部３０２は、算出結果を、第１の平面マップ生成部３０３に出力する。より具体的には、座標取得部３０２は、画像取得部３０１からのステレオ画像を用いた三角測量により、上面の各特徴点の三次元座標を算出する。
【００２６】
ここで、図３（Ａ）を具体例として、三次元座標軸を説明する。図３（Ａ）に示すＡ面を基準面とした場合、基準面上において直角に交わる軸がｘ軸およびｙ軸になり、基準面の上向きの法線方向がｚ軸となる。なお、基準面は、平面マップ生成過程において、ユーザが基準として定義した面であり、例えば床面である。
【００２７】
二つ目の処理として、座標取得部３０２は、まず、後述する画像領域抽出部３０４から第２の物体の画像領域の各特徴点を取得する。そして、座標取得部３０２は、取得した各特徴点の三次元座標を算出し、算出結果を、第２の平面マップ生成部３０５に出力する。座標取得部３０２は、領域の各特徴点の三次元座標を、上面領域の各特徴点算出と同様の方法を用いて求める。
【００２８】
第１の平面マップ生成部３０３は、座標取得部３０２から上面領域における各特徴点の三次元座標を取得する。そして、第１の平面マップ生成部３０３は、取得した三次元座標のうちｚ座標の値が、基準面のｚ座標の値と同じ値になるように、第１の物体の画像領域の大きさを変換する。その後、第１の平面マップ生成部３０３は、変換した領域を基準面上に移動させて第１の平面マップを生成し、生成した第１の平面マップを、重畳処理部３０６に出力する。
【００２９】
画像領域抽出部３０４は、座標取得部３０２から取得した各第１の物体の領域の座標を元に、第１の物体上に存在する物体（以下、第２の物体と称す）の画像中の領域を抽出する。画像領域抽出部３０４は、抽出した領域を、第２の平面マップ生成部３０５および座標取得部３０２にそれぞれ出力する。
【００３０】
第２の平面マップ生成部３０５は、座標取得部３０２から出力された第２の物体の画像領域の各特徴点に対する三次元座標と、画像領域抽出部３０４から出力された画像領域とを取得する。第２の平面マップ生成部３０５は、座標取得部３０２から取得した三次元座標のうちｚ座標の値が基準面のｚ座標の値と同じ値になるように、画像領域抽出部３０４から取得した画像領域の大きさを変換する。その後、第２の平面マップ生成部３０５は、変換した領域を基準面上に移動させて第２の平面マップを生成し、生成した第２の平面マップを、重畳処理部３０６に出力する。
【００３１】
重畳処理部３０６は、第１の平面マップ生成部３０３から出力された第１の平面マップと、第２の平面マップ生成部３０５から出力された第２の平面マップとを取得する。そして、重畳処理部３０６は、取得した第１の平面マップと第２の平面マップとを重ね合わせて、第３の平面マップを生成し、生成した第３の平面マップを、貼り合わせ部３０７に出力する。
【００３２】
貼り合わせ部３０７は、オフィス内の異なる場所に配置された複数のカメラが撮像した画像を元にして生成された複数の第３の平面マップを取得する。そして、貼り合わせ部３０７は、取得した複数の第３の平面マップを貼り合わせて、室内全体を表す第４の平面マップを生成し、生成した第４の平面マップを、ディスプレイ１０４に出力する。
【００３３】
貼り合わせ部３０７は、複数の平面マップを貼り合わせる際の重なり領域については、重なり領域に最も近いカメラが撮影したステレオ画像から生成された平面マップの画像を、優先して採用する。
【００３４】
次に、図４に示した平面マップ生成装置１０３の動作について詳細に説明する。
【００３５】
平面マップ生成装置１０３は、例えば、図３（Ａ）に示すオフィス空間に対して、図３（Ｂ）に示す平面マップを生成する。平面マップは、オフィス空間を上方から見たときの状態を擬似的に示す画像である。本実施の形態に係る平面マップ生成装置１０３は、床面を基準面として、基準面上に存在する第１の物体と、第１の物体の上に置かれた第２の物体とを、それぞれ異なる方法で処理する。第１の物体は、例えば、図３（Ａ）の机、脇棚、キャビネット等、高さの異なる物体である。また、第２の物体は、例えば、図３（Ａ）のパソコン、本、ノート等である。第１の物体に対する処理は、第１の平面マップ生成部３０３によって行われる。第２の物体に対する処理は、第２の平面マップ生成部３０５によって行われる。
【００３６】
図５、図６及び図７を用いて、平面マップ生成装置１０３の主要機能の処理手順についての説明は、図３（Ａ）のようなオフィス空間に存在する物体一つに着目して説明する。
【００３７】
ステップＳ４０１において、座標取得部３０２は、画像取得部３０１によって取得された画像に対して、透視変換を施す。透視変換とは、３次元空間内に置かれた３次元物体を任意の視点から見て２次元平面に投影する変換する処理のことである。本実施の形態の透視変換は、２次元平面をユーザが任意に設定した基準面（例えば、床面等）として変換処理を行う。この変換処理の際、物体の高さについては考慮されていないため、図６（Ａ）に示す撮像された画像に対してそのまま透視変換を施すと、図６（Ｂ）に示すような状態となり、ディスプレイ等の高さのある物体は形状が歪んでしまう。
【００３８】
透視変換処理は、例えば、式（１）に示す透視変換行列を用いて、基準面への変換を行う。透視変換行列は、３行３列の行列Ｐである。（ｘ，ｙ）は監視領域に設定された空間座標の値であり、（ｘ’，ｙ’）は上記２次元平面上の座標の値であり、ｗは視点によって異なる画像の遠近感を表す変数である。
【数１】
【００３９】
ステップＳ４０２において、座標取得部３０２は、平滑処理を行う。平滑処理は、例えば、画像全体に対して、ノイズ等の小さな画像成分を除去し、滑らかな画像を作る処理である。本実施の形態における平滑処理は、画像中で占める面積が小さな物体の画像を除去する処理である。続いて、座標取得部３０２は、第１の物体の領域を抽出する。本実施の形態における領域抽出処理は、図６（Ｃ）に示すように、三次元空間上の基準面上に存在する、例えば机等の第１の物体の、画像上での領域を求める処理である。以下、この領域を、「第１の物体の画像領域」という。座標取得部３０２は、例えば、色情報を利用して、この領域抽出を行う。具体的には、座標取得部３０２は、例えば、色の濃淡の変化が激しい部分に基づいて、第１の物体の画像領域を抽出する。なお、座標取得部３０２は、ＨＳＶ系、ＲＧＢ系を利用して、色の変化が激しい部分に基づいて、第１の物体の画像領域を抽出してもよい。なお、ＨＳＶ系とは、色相（Hue）、彩度（Saturation）、明度（Brightness・Value）の三つの成分からなる色空間である。以降の処理は、ステップＳ４０２で得られた第１の物体の画像領域の数の分だけ繰り返される。図１０においては、第１の物体である机、脇棚、キャビネットの数の分だけ繰り返されることとなる。
【００４０】
ステップＳ４０３では、座標取得部３０２は、ステップＳ４０２で得られた第１の物体の数の分だけ、以下にステップＳ４０４〜Ｓ４１０として説明する処理を行ったか否かを判断する。終わっていない場合は、ステップＳ４０４へ移行し、終わった場合は、処理を終了する。
【００４１】
ステップＳ４０４において、座標取得部３０２は、第１の物体の画像領域に対して、物体の上面部分の抽出を行う。本実施の形態における上面抽出処理を施した結果は、図６（Ｄ）に示すようになる。
【００４２】
上面抽出では、まず、座標取得部３０２において、抽出された第１の物体の画像領域に対して、ステレオ画像を用いて特徴点を求め、各特徴点の三次元座標を算出する。ここで特徴点は、ステレオ画像において、それぞれの画像中で周辺の画素との濃淡の変化が激しい等、特定の変化がある点とする。座標取得部３０２は、特徴点を、ステレオ画像中のｘｙ座標値を用いて保持する。
【００４３】
図７は、特徴点の抽出イメージを示すものである。図中の四角のマークは、特徴点の例を示す。
【００４４】
次に、座標取得部３０２は、画像中の同じ第１物体の画像領域内に存在する特徴点の中から、同じ高さを持ち、かつ、それらの点で囲まれた領域の色情報が同じとなる複数の特徴点を抽出する。そして、座標取得部３０２は、抽出した複数の特徴点によって囲まれた領域を、第１の物体の上面領域として抽出する。最後に、座標取得部３０２は、第１の物体の画像領域を、上面領域と上面領域以外の領域とに分割する。図６（Ｄ）の特徴点ｔ１（ｔｘ１，ｔｙ１）、ｔ２（ｔｘ２，ｔｙ２）、ｔ３（ｔｘ３，ｔｙ３）、ｔ４（ｔｘ４，ｔｙ４）で囲まれた、斜線で示す領域は、上面領域の例である。
【００４５】
上面領域は、画像中の特徴点で囲まれた領域として定義されるため、その形状は特徴点の数により変化する。例えば、特徴点が４点であれば上面領域は四角形となり、特徴点が５点であれば上面領域は五角形となる。
【００４６】
このとき、図６（Ｄ）に示すように、抽出された上面領域（ｔ１−ｔ４）は、第１の物体の上面の画像を基準面に対して透視変換した結果である。このため、変換された上面領域は、基準面から机の高さ分だけ、本来あるべき大きさから異なりが生じている。
【００４７】
そこで、ステップＳ４０５において、第１の平面マップ生成部３０３は、ステップＳ４０４で求められた三次元座標のうちｚ座標の値が基準面のｚ座標の値と同じ値になるように、上面領域を移動させる。すなわち、第１の平面マップ生成部３０３は、上面領域を、基準面上に移動させる。その際、第１の平面マップ生成部３０３は、領域が実際の大きさと等しくなるように、領域の大きさを縮小又は拡大する（図６（Ｅ）参照）。以下、ステップＳ４０５の処理が施された第１の物体の画像を、「第１の物体の変換後領域」という。
【００４８】
ステップＳ４０６において、画像領域抽出部３０４は、ステップＳ４０４で抽出された画像から、第１の物体の上面領域に存在する、パソコン、本、ノート等の第２の物体（図６（Ｆ）参照）の画像領域を抽出する。以下、この領域を、「第２の物体の画像領域」という。第２の物体の画像領域の抽出は、例えば、第１の物体の上面領域に相当する画像において、ここでも濃淡情報を利用した領域抽出を行い、第２の物体に相当する画像領域を分離することによって行われる（図６（Ｇ）参照）。この処理は、画像中の第１の物体の画像中の領域の数の分だけ繰り返される。次に、画像領域抽出部３０４は、抽出した各第２の物体の画像領域の座標を、座標取得部３０２に出力する。
【００４９】
ステップＳ４０７において、座標取得部３０２は、ステップＳ４０６で抽出された第２の物体の画像領域の三次元座標をそれぞれ算出する。
【００５０】
ここで、図６（Ｇ）に示す画像中の代表点ｏ１（ｏｘ１，ｏｙ１）、ｏ２（ｏｘ２，ｏｙ２）等が存在する第２の物体の画像領域は、第２の物体が存在する机の高さ分、位置が上面領域と異なる。また、第２の物体の画像領域は、高さが基準面と異なることにより、大きさも異なる。なお、これは、図６（Ｄ）に示した第１の平面マップ生成部３０３と同様である。
【００５１】
そのため、ステップＳ４０８において、第２の平面マップ生成部３０５は、ステップＳ４０７で取得した三次元座標のうち、ｚ座標の値が基準面のｚ座標の値と同じ値になるようにする。具体的には、第２の平面マップ生成部３０５は、第２の物体の画像領域を、画像中での領域の大きさを調節し、抽出した画像のまま（つまり同じ形状で）移動させる。例えば、領域の代表点ｏ１（ｏｘ１，ｏｙ１）はＯ１（Ｏｘ１，Ｏｙ１）へ、ｏ２（ｏｘ２，ｏｙ２）はＯ２（Ｏｘ２，Ｏｙ２）へそれぞれ移動する（図６（Ｈ）参照）。以下、ステップＳ４０８の処理が施された第２の物体の画像を、「第２の物体の変換後領域」という。
【００５２】
このように、平面マップ生成装置１０３は、第１の物体に対しては、入力画像に対して透視変換を施した後、物体の上面領域を取得して三次元座標中の適した位置、領域の大きさに変換する。一方で、平面マップ生成装置１０３は、第２の物体に対しては、入力画像のまま、位置、領域の大きさの変換をする。平面マップ生成装置１０３は、このように第１の物体と第２の物体とで異なった処理を行うことにより、ディスプレイのような高さのある第２の物体が歪みなく表示される平面マップを生成することができる。なお、第２の物体については、第１の物体に対する処理と同様の処理を行い、上方から見たときの状態に変換してもよい。
【００５３】
ステップＳ４０９において、第１の平面マップ生成部３０３は、後処理として、第１の物体の上面領域以外の領域等、カメラから死角となっている領域（以下「死角領域」と総称する）に対して、色情報を用いて塗りつぶす処理を行う。死角領域は、第１の物体の側面領域や、第１の物体によって発生するオクルージョン（Occlusion）領域、ステップＳ４０５の処理を施される前の上面領域等が相当する。ここで、図８（Ａ）には、撮像した画像を透視変換した結果を示す。また、図８（Ｂ）は、図８（Ａ）に示す透視変換結果に対して、ステップＳ４０２からステップＳ４０８までの処理を施した結果である。すなわち、図８（Ｂ）は、抽出された第１の物体の上面領域を、三次元座標の適した位置、大きさに変更したものである。図８（Ｃ）は、図８（Ａ）における死角領域と図８（Ｂ）とを重ね合わせたものである。死角領域に該当する部分は、黒色で表示した。第１の平面マップ生成部３０３は、平面マップ上に表示する際に、他の領域と見分けがつくように、オフィス内に存在しない色で死角領域を塗りつぶしてもよい（図８（Ｃ）参照）。また、第１の平面マップ生成部３０３は、周囲の色（例えば、基準面である床の濃淡情報）を利用して、死角領域を塗りつぶしてもよい。
【００５４】
ステップＳ４１０において、重畳処理部３０６は、ステップＳ４０５で得られた第１の物体の変換後領域と、ステップＳ４０８で得られた第２の物体の変換後領域とを、平面マップ上へ重畳する処理を行う（図６（Ｉ）参照）。また、重畳処理部３０６は、ステップＳ４０９で得られた死角領域（塗りつぶしが行われた死角領域）を、平面マップ上へ重畳する処理も行う。重畳処理の手順は、次の通りである。まず、重畳処理部３０６は、第１の平面マップである第１の物体の領域を配置し、第２の平面マップである第２の物体の領域を合成する。そして、重畳処理部３０６は、ステップＳ４０９で得られた死角領域のうち、第１、第２の物体の変換後領域で埋められない領域を、所定の色で塗りつぶす。なお、重畳処理部３０６は、ステップＳ４１０で死角領域抽出に関して、他のカメラから得られた情報で補完することによって、第１の物体の側面部分、オクルージョン部分等を周囲の領域の画像情報を用いて塗りつぶしてもよい。
【００５５】
平面マップ生成装置１０３は、ステップＳ４１０の処理の後、ステップＳ４０３へ移行する。
【００５６】
図９は、オフィスに複数のカメラを配置した様子を示す図である。この図に示すように、オフィスにおいて、撮像されていない死角部分が少なくなるように、複数台のカメラを適した位置に設置する。図１０（Ａ）は、カメラから取得したカメラ画像（イメージ図）である。図１０（Ｂ）は、図１０（Ａ）の画像に対して透視変換を施した平面マップであり、図１０（Ｃ）は、図１０（Ａ）の画像を平面マップ生成装置１０３によって処理した平面マップである。
【００５７】
図１０（Ｂ）では、物体が原型の形状をとどめておらず、非常に歪んでおり、大変視認しにくい平面マップである。これに対して、図１０（Ｃ）では、視認しやすい平面マップが表示されている。
【００５８】
このように実施の形態１に係る監視システム１００は、基準面に存在する第１の物体の画像領域と、第１の物体の上部に存在する第２の物体の画像領域を分離する。そして、監視システム１００は、第１の物体の上面領域と第２の物体の画像領域とを、それぞれ大きさ及び位置を調整して合成表示する。これにより、実施の形態１では、物体の歪みの少ない平面マップを生成することができ、ユーザの視認性を向上させることができる。したがって、実施の形態１に係る監視システム１００を用いることにより、工場、オフィス等の監視対象エリアの空間の様子全体を容易に把握することができる。
【００５９】
なお、本実施の形態に係る平面マップ生成装置は、上述の構成以外の構成とすることもできる。
【００６０】
図１１は、実施の形態１に係る他の平面マップ生成装置５００の内部構成を示すブロック図である。図１１において、人物検出部５０１は、画像取得部３０１から画像を取得し、取得した画像から人物の特徴を利用して人物を検出する。検出結果は、動線表示部５０２に出力される。また、動線表示部５０２は、人物検出部５０１から出力された検出結果に基づいて、人物が移動した軌跡を解析する。そして、動線表示部５０２は、解析した軌跡を、人物の動線として平面マップに埋め込み、ディスプレイ１０４に表示させる。
【００６１】
これにより、実施の形態１に係る他の平面マップ生成装置５００は、平面マップ上に人の動きを示す動線を表示することが可能となり、監視対象エリア全体の物体の位置関係の把握を容易にする。また、他の平面マップ生成装置５００からは、室内を移動している人物と、人物の移動と物体との関連性を、ディスプレイ１０４上で容易に確認することができる。例えば、図１２に示すように、オフィス等において、入り口から入ってきた人物がある特定の場所を経由して各人の席に着く場合、その動線から人の行動を判断することができる。すなわち、他の平面マップ生成装置５００を用いることにより、平面マップ上の物体と人物の動きとの関係の分析が可能となる。これにより、他の平面マップ生成装置５００では、物体に関連付けて人の動きを見ることができ、更に、その物体が何であるかを特定することができる。例えば、人物に関連している物体としてその場所Ａに在席管理ボードがあると解析した場合は、「Ａに在席管理ボードがあります」等の情報を平面マップ上の端等に表示することができる。
【００６２】
なお、平面マップ生成装置は、平面マップ生成の処理を一定時間間隔で実行することにより、監視対象エリアにおいて、机や備品等が移動した場合でもより最新に近い状態を表示することが可能となる。平面マップ生成装置は、監視対象エリア内の様子が変化しない場合は、設置時のみ実行するようにしてもよい（変化するまで処理を実行しないようにしてもよい）。
【００６３】
また、本実施の形態においては、カメラ群を、ステレオカメラとして説明したが、２台以上の複数カメラとしてもかまわない。
【００６４】
また、本実施の形態では、座標の算出にステレオ画像によるステレオマッチングを用いたが、測距センサ等を用いてもよい。
【００６５】
また、生成された平面マップ上の死角領域の塗りつぶし色は、黒色に対応する値等、色情報を統一した値で設定を行ってもよい。
【００６６】
また、基準面上に存在する第１の物体の上面抽出方法として、本実施の形態に係る監視装置１００は、画像中の特徴点を求め、その特徴点の三次元座標を算出する。次に、監視装置１００は、それらが同じ高さを持ち、かつ、それらで囲まれた領域内の色が同じ場合に、その囲まれた領域を、上面領域として取得していた。しかし、高さの条件は、特徴点の高さが完全に一致している必要はなく、ほぼ同じであることとしてもよい。また、色の条件は、領域内の色が似ていることとしてもよい。また、上面領域の取得の条件を、高さの条件と色の条件のいずれか一方が成り立つこととしてもよい。
【００６７】
また、貼り合わせ部３０７は、複数の平面マップを貼り合わせる際、重なり領域が存在しない部分を、周囲の領域の画像情報や基準面の画像情報によって埋め合わせてもよい。
【００６８】
（実施の形態２）
図１３は、本発明の実施の形態２に係る平面マップ生成装置６００の内部構成を示すブロック図である。図１３の図４と異なる点は、差分検知部６０１及び差分判定部６０２を追加した点である。差分検知部６０１は、貼り合わせ部３０７から出力された平面マップを保持し、前回出力された平面マップと今回出力された平面マップとの差分を検知する。そして、差分検知部６０１は、差分を検知したとき、差分の内容を示す差分情報を、差分判定部６０２に出力する。
【００６９】
差分判定部６０２は、オフィス内に存在する物体を予め登録しておき、差分検知部６０１から出力された差分情報に相当する物体が登録されているか否かを判定する。そして、差分判定部６０２は、当該物体が登録されている場合には、オフィス内に存在する物体が紛失しているとして、警報を発する等、その旨をディスプレイ１０４に表示する。
【００７０】
なお、平面マップ生成装置６００は、警報を発する方法として、平面マップ上に色又は文字等で知らせてもよいし、ディスプレイ１０４とは別に警告用のライトを用意しておき、ライトを点滅させてもよい。また、平面マップ生成装備６００は、これらの警報と併せて、またはこれらの警報に代えて、オフィス管理部署等に直接連絡を行うようにしてもよい。
【００７１】
このように、実施の形態２に係る平面マップ生成装置６００は、前回出力された平面マップと今回出力された平面マップとの差分を検知し、差分情報に相当する物体が登録されているか判定する。これにより、平面マップ生成装置６００は、オフィス内に存在する物体の状況管理を行うことができる。
【００７２】
なお、本実施の形態に係る平面マップ生成装置は、上述の構成以外の構成とすることもできる。
【００７３】
図１４は、実施の形態２に係る他の平面マップ生成装置７００の内部構成を示すブロック図である。図１４において、人物検出部５０１は、画像取得部３０１から画像を取得し、取得した画像から人物の特徴を抽出して、人物を検出する。検出結果は、動線表示部５０２に出力される。動線表示部５０２は、人物検出部５０１から出力された検出結果に基づいて、人物が移動した軌跡を解析する。そして、動線表示部５０２は、解析した軌跡を、人物の動線として平面マップ上に埋め込み、ディスプレイ１０４に表示させる。
【００７４】
これにより、実施の形態２に係る他の平面マップ生成装置７００は、平面マップ上に人の動きを示す動線を表示することが可能となる。更に、他の平面マップ生成装置７００は、室内で物体が紛失した場合に、いつ誰が物体を紛失させたか等、人と物体との関係を把握することができ、物体が紛失した原因を特定することが可能となる。
【産業上の利用可能性】
【００７５】
本発明にかかる画像処理装置及び画像処理方法は、セキュリティ管理システム、安全管理システム等に適用できる。
【符号の説明】
【００７６】
１０１ カメラ群
１０２ ネットワーク
１０３、５００、６００、７００ 平面マップ生成装置
１０４ ディスプレイ
３０１ 画像取得部
３０２ 座標取得部
３０３ 第１の平面マップ生成部
３０４ 画像領域抽出部
３０５ 第２の平面マップ生成部
３０６ 重畳処理部
３０７ 貼り合わせ部
５０１ 人物検出部
５０２ 動線表示部
６０１ 差分検知部
６０２ 差分判定部
【特許請求の範囲】
【請求項１】
物体が撮像された画像であり、かつ、前記物体の三次元座標を算出可能な画像を取得する画像取得部と、
基準面上に存在する第１の物体の上面を前記画像から抽出し、抽出した前記上面の特徴点の座標を取得する座標取得部と、
取得した前記座標を用いて、前記基準面に対して垂直方向に相当する座標の値が前記基準面と同じ値になるように、前記上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成部と、
を具備する画像処理装置。
【請求項２】
前記第１の物体の上に存在する第２の物体の位置に対応する画像領域を前記画像から抽出する画像領域抽出部と、
前記画像領域の代表点の座標を取得し、取得した前記代表点の座標を用いて、前記基準面に対して垂直方向に相当する座標の値が基準面と同じ値になるように、前記画像領域の大きさ及び位置を調整して第２の平面マップを生成する第２の平面マップ生成部と、
前記第１の平面マップと前記第２の平面マップとを重ね合わせて第３の平面マップを生成する重畳部と、を更に具備する、
請求項１に記載の画像処理装置。
【請求項３】
複数の異なる位置で撮像された画像から生成された複数の前記第３の平面マップを貼り合わせる貼り合わせ部、を更に具備する、
請求項２に記載の画像処理装置。
【請求項４】
前記重畳部は、
前記第１の平面マップと前記第２の平面マップとを重ね合わせる際、重なり領域が存在しない部分を、周囲の領域の画像情報によって埋め合わせる、
請求項２に記載の画像処理装置。
【請求項５】
前記重畳部は、
前記第１の平面マップと前記第２の平面マップとを重ね合わせる際、重なり領域が存在しない部分を、基準面の画像情報によって埋め合わせる、
請求項２に記載の画像処理装置。
【請求項６】
前記貼り合わせ部は、
複数の前記第３の平面マップを貼り合わせる際、重なり領域が存在する部分において、カメラまでの距離が近い前記第３の平面マップを優先して貼り合わせる、
請求項３に記載の画像処理装置。
【請求項７】
前記貼り合わせ部は、
複数の前記第３の平面マップを貼り合わせる際、重なり領域が存在しない部分を、周囲の領域の画像情報によって埋め合わせる、
請求項３に記載の画像処理装置。
【請求項８】
前記貼り合わせ部は、
複数の前記第３の平面マップを貼り合わせる際、重なり領域が存在しない部分を、基準面の画像情報によって埋め合わせる、
請求項３に記載の画像処理装置。
【請求項９】
前回生成された前記第３の平面マップと今回生成された前記第３の平面マップとの差分を検知する差分検知部、を更に具備する、
請求項２に記載の画像処理装置。
【請求項１０】
人物を検出する人物検出部と、
検出された前記人物が移動した軌跡を動線で前記第３の平面マップに表す動線表示部と、を更に具備する、
請求項２に記載の画像処理装置。
【請求項１１】
物体が撮像された画像であり、かつ、前記物体の三次元座標を算出可能な画像を取得する画像取得工程と、
基準面上に存在する第１の物体の上面を前記画像から抽出し、抽出した前記上面の特徴点の座標を取得する座標取得工程と、
取得した前記座標を用いて、前記基準面に対して垂直方向に相当する座標の値が基準面と同じ値になるように、前記上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成工程と、
を具備する画像処理方法。
【請求項１】
物体が撮像された画像であり、かつ、前記物体の三次元座標を算出可能な画像を取得する画像取得部と、
基準面上に存在する第１の物体の上面を前記画像から抽出し、抽出した前記上面の特徴点の座標を取得する座標取得部と、
取得した前記座標を用いて、前記基準面に対して垂直方向に相当する座標の値が前記基準面と同じ値になるように、前記上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成部と、
を具備する画像処理装置。
【請求項２】
前記第１の物体の上に存在する第２の物体の位置に対応する画像領域を前記画像から抽出する画像領域抽出部と、
前記画像領域の代表点の座標を取得し、取得した前記代表点の座標を用いて、前記基準面に対して垂直方向に相当する座標の値が基準面と同じ値になるように、前記画像領域の大きさ及び位置を調整して第２の平面マップを生成する第２の平面マップ生成部と、
前記第１の平面マップと前記第２の平面マップとを重ね合わせて第３の平面マップを生成する重畳部と、を更に具備する、
請求項１に記載の画像処理装置。
【請求項３】
複数の異なる位置で撮像された画像から生成された複数の前記第３の平面マップを貼り合わせる貼り合わせ部、を更に具備する、
請求項２に記載の画像処理装置。
【請求項４】
前記重畳部は、
前記第１の平面マップと前記第２の平面マップとを重ね合わせる際、重なり領域が存在しない部分を、周囲の領域の画像情報によって埋め合わせる、
請求項２に記載の画像処理装置。
【請求項５】
前記重畳部は、
前記第１の平面マップと前記第２の平面マップとを重ね合わせる際、重なり領域が存在しない部分を、基準面の画像情報によって埋め合わせる、
請求項２に記載の画像処理装置。
【請求項６】
前記貼り合わせ部は、
複数の前記第３の平面マップを貼り合わせる際、重なり領域が存在する部分において、カメラまでの距離が近い前記第３の平面マップを優先して貼り合わせる、
請求項３に記載の画像処理装置。
【請求項７】
前記貼り合わせ部は、
複数の前記第３の平面マップを貼り合わせる際、重なり領域が存在しない部分を、周囲の領域の画像情報によって埋め合わせる、
請求項３に記載の画像処理装置。
【請求項８】
前記貼り合わせ部は、
複数の前記第３の平面マップを貼り合わせる際、重なり領域が存在しない部分を、基準面の画像情報によって埋め合わせる、
請求項３に記載の画像処理装置。
【請求項９】
前回生成された前記第３の平面マップと今回生成された前記第３の平面マップとの差分を検知する差分検知部、を更に具備する、
請求項２に記載の画像処理装置。
【請求項１０】
人物を検出する人物検出部と、
検出された前記人物が移動した軌跡を動線で前記第３の平面マップに表す動線表示部と、を更に具備する、
請求項２に記載の画像処理装置。
【請求項１１】
物体が撮像された画像であり、かつ、前記物体の三次元座標を算出可能な画像を取得する画像取得工程と、
基準面上に存在する第１の物体の上面を前記画像から抽出し、抽出した前記上面の特徴点の座標を取得する座標取得工程と、
取得した前記座標を用いて、前記基準面に対して垂直方向に相当する座標の値が基準面と同じ値になるように、前記上面の大きさ及び位置を調整して第１の平面マップを生成する第１の平面マップ生成工程と、
を具備する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１６０７８５（Ｐ２０１０−１６０７８５Ａ）
【公開日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願番号】特願２００９−２０９３０４（Ｐ２００９−２０９３０４）
【出願日】平成２１年９月１０日（２００９．９．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願日】平成２１年９月１０日（２００９．９．１０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]