説明

カメラ設置支援方法、画像認識方法

【課題】作業員が少ない操作量によって監視カメラを適切な角度で設置することを課題とする。
【解決手段】本発明は、カメラ設置支援方法であって、カメラパラメータ生成装置1のカメラモデル構築部5は、寸法の異なる監視エリア間で、監視エリア内の被写体の見え方の差異が小さくなるように、カメラの目標設置角度を選定し、カメラパラメータ生成装置1のカメラ設置角度調整部7は、監視エリアに固定された座標系において位置が予め設定された目印が目標設置角度でカメラが設置されるときにカメラの撮影画像中に表示される位置である画像上目標位置を算出し、目標設置角度でカメラが設置されるように、目印が撮影画像中に表示されたものである画像上目印と、画像上目標位置とを一致させるようにして、カメラの設置角度の調整をガイダンスすることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ設置支援方法、画像認識方法の技術に関する。
【背景技術】
【0002】
監視カメラによる撮影画像を監視する監視員の負荷の軽減のために、撮影画像中の人物の挙動や人数を計測する監視システムが普及しつつある。異常な挙動を画像認識することによって、事故の発生や事故に至るような人物の危険な挙動を検知することが監視システムの代表的な機能の一つである。また、撮影画像中における人物の存在や人数を画像認識することで、監視範囲内の人の流れを把握することも、監視システムの代表的な機能の一つである。
【0003】
例えば、非特許文献1では、高次局所自己相関という画像上の局所的な見え方と動きの特徴量を利用して、撮影画像中の人物の異常挙動を検知する技術が開示されている。また、非特許文献2は、人物の形状を楕円モデルで近似し、撮影画像と楕円モデルを照合することによって、人物を抽出する技術が開示されている。
【0004】
非特許文献2では、人物と前記楕円モデルの照合において、事前に監視カメラの設置位置や設置角度といった幾何パラメータおよび監視カメラの焦点距離やレンズの歪係数といった光学パラメータを合わせたカメラパラメータを用意しておき、撮影画像上の場所ごとにカメラパラメータに応じて楕円モデルの傾きや大きさを最適化することで画像認識の精度を高めている。
【0005】
エレベータ内においても、悪意を持った乗客がカゴ内の設備を破損したり、他の乗客に危害を加えたりするような異常挙動の検知のために、前述した監視システムが求められている。また、カゴ内に人物が閉じ込められる事故の検知や、過剰な数の乗客の搭乗を検知するためにも、前述した監視システムが求められている。
【0006】
エレベータ内の監視カメラの設置に関わる技術として、特許文献1では、監視カメラの設置角度を調整する駆動装置を設けた監視カメラを対象として、監視カメラ内の画像からカゴ内の床の角を画像認識により検知し、床の角を画像の中央に位置させることで監視カメラの設置角度を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−46253号公報
【非特許文献】
【0008】
【非特許文献1】南里卓也、大津展之、“複数人動画像からの異常動作検出”、コンピュータビジョンとイメージメディア” 、P.43−50、2005年10月
【非特許文献2】辻俊明、田代浩紀、阿部茂、“エレベータ乗場画像の移動体上端に着目した待客数計測方式” 、電気学会論文誌D、P.334−340、2010年3月
【発明の概要】
【発明が解決しようとする課題】
【0009】
エレベータ内に取り付ける監視カメラはカゴ内を一望できるように、カゴ内の天井近くの高いところに取り付けられることが一般的である。ここで、監視カメラの設置角度がカゴごとにまちまちであると、カゴ内に居る人物の位置が同一であっても、画像中における人物の角度や大きさがカゴごとに異なってしまうために、カゴ内の人物を捉える画像認識の精度が低下してしまう。例えば、非特許文献1の異常挙動を検知する技術では、人物の局所的な見え方が変化してしまうために、異常挙動の検知の精度が低下する。
【0010】
また、監視カメラのカメラパラメータを用いる画像認識では、実際の空間中との誤差がなるべく小さいカメラパラメータを使うことが画像認識の精度のために望ましい。例えば、非特許文献2の人物を抽出する技術では、カメラパラメータの精度が高いほど、画像中の場所ごとの楕円モデルの傾きや大きさが、画像中の人物に近くなる。
【0011】
また、特許文献1の技術では、監視カメラを設置するエレベータのカゴの寸法が全て均一である場合には、どのカゴでも均一な角度でカメラを設置することが可能である。しかし、実際のエレベータには、貨物用や乗員用といった用途、想定する乗客の数、エレベータを設置する建物の条件等によって、多様な寸法のカゴが存在する。仮に、監視カメラの高さをすべてのカゴで同一に取り付けるという条件で、多様な床面積のカゴに特許文献1の技術で監視カメラを取り付けると、床面積が小さなカゴではカメラの俯角は大きくなり(垂直に近づき)、床面積が大きなカゴではカメラの俯角は小さくなる(水平に近づく)。よって、特許文献1の技術では、カゴの寸法に応じて、監視カメラの設置角度がばらつくという問題がある。
【0012】
また、特許文献1の技術では、多様な寸法のカゴにおいてカメラパラメータを取得しようとすると、カゴの寸法や監視カメラの設置位置を計測尺で計測することや、監視カメラの光学パラメータを直接計測して求めることや、光学パラメータを記録したデータベースから選択することが必要となり、カメラパラメータの取得に多くの作業量を要するという問題がある。
【0013】
そこで、本発明は、前記問題に鑑みてなされたものであり、作業員が少ない操作量によって監視カメラを適切な角度で設置することを目的とする。
【課題を解決するための手段】
【0014】
前記課題を解決するために、本発明のカメラ設置支援方法は、監視エリアを監視する監視システムにおいて、前記監視エリアを撮影するカメラのカメラパラメータを生成するカメラパラメータ生成装置におけるカメラ設置支援方法であって、前記カメラパラメータ生成装置のカメラモデル構築部は、与えられた条件を満たしつつ、寸法の異なる前記監視エリア間で、前記監視エリア内の被写体の見え方の差異が小さくなるように、前記カメラの目標設置角度を選定し、前記カメラパラメータ生成装置のカメラ設置角度調整部は、前記監視エリアに固定された座標系において位置が予め設定された目印が前記目標設置角度で前記カメラが設置されるときに前記カメラの撮影画像中に表示される位置である画像上目標位置を算出し、前記目標設置角度で前記カメラが設置されるように、前記目印が前記撮影画像中に表示されたものである画像上目印と、前記画像上目標位置とを一致させるようにして、前記カメラの設置角度の調整をガイダンスすることを特徴とする。
その他の解決手段については、実施形態中で適宜説明する。
【発明の効果】
【0015】
本発明によれば、作業員が少ない操作量によって監視カメラを適切な角度で設置することが可能となる。
【図面の簡単な説明】
【0016】
【図1】実施形態に係るカメラパラメータ生成装置、カメラおよびエレベータを示す図である。
【図2】第1実施形態に係るカメラパラメータ生成装置の構成を示すブロック図である。
【図3】実施形態に係るカメラパラメータ生成装置における型式選択部の画面の一例を示す図である。
【図4】実施形態に係るカメラパラメータ生成装置における型式選択部の画面の一例を示す図である。
【図5】第1実施形態に係るカメラパラメータ生成装置におけるカメラ設置支援方法の手順を示すフローチャートである。
【図6】実施形態に係るカメラパラメータとその状態の一例を示す図である。
【図7】エレベータのカゴの奥行きが異なる場合に撮影画像における人物の傾き等が異なってくることを説明するための図であり、(a)は、(b)のエレベータよりも奥行きが長いエレベータ内を模式的に示した図である。(b)は、(a)のエレベータよりも奥行きが短いエレベータ内を模式的に示した図である。
【図8】実施形態に係るカメラパラメータ生成装置におけるカメラ設置角度調整部の画面の一例を示す図である。
【図9】実施形態に係るカメラパラメータ生成装置におけるカメラ設置角度調整部の画面の一例を示す図であり、画像上目標位置に幅を持たせた場合の一例を示す図である。
【図10】第2実施形態に係るカメラパラメータ生成装置の構成を示すブロック図である。
【図11】第2実施形態に係るカメラパラメータ生成装置における目標設置角度調整部の画面の一例を示す図である。
【図12】第2実施形態に係るカメラパラメータ生成装置におけるカメラ設置支援方法の手順を示すフローチャートである。
【図13】第3実施形態に係るカメラパラメータ生成装置の構成を示すブロック図である。
【図14】第3実施形態に係るカメラパラメータ生成装置におけるカメラ設置支援方法の手順を示すフローチャートである。
【発明を実施するための形態】
【0017】
<第1実施形態>
以下、本発明の第1実施形態について、図1〜図9を参照して説明する。なお、各図において、共通する部分には同一の符号を付し重複した説明を省略する。
図1は、実施形態に係るカメラパラメータ生成装置(カメラ設置支援装置)1、監視カメラ52およびエレベータを示す図である。
まず、概略を説明する。図1に示すように、エレベータのカゴ51に監視カメラ(以下、適宜「カメラ」という。)52が設置されている。符号53は、エレベータのドアである。カメラパラメータ生成装置1は、携帯端末であり、作業員は、これを用いて、カメラ52の設置角度を調整する。なお、カメラパラメータ生成装置1は、ノート型のPC(Personal Computer)、タブレット型のPC、PDA(Personal Digital Assistant)、または、携帯電話等で実現できる。
【0018】
カゴ51には、カゴ51に固定されたXYZ座標系が定義されている。
カメラ52には、角度Tと角度Pの2つの角度調整の機構が備え付けられている。このような機構は、ジンバル機構と呼ばれ、装置構成が簡単で廉価であり、カメラの角度調整の機構として広く普及している。なお、角度Tと角度Pは、カメラ52がX軸方向を見るときに、それぞれ0°である。このとき、角度Pの回転軸はZ軸、角度Tの回転軸はY軸である。点Cは、カメラ52の設置位置である。
【0019】
符号50は、カメラ52の設置角度の調整において用いる目印である。目印50は、例えば、カゴ51の床の角の1つである。目印50は、カメラ52の視野内に入る条件を満たせば任意である。
【0020】
[カメラパラメータ生成装置1の構成]
次に、カメラパラメータ生成装置1の構成について図2を参照して説明する。
図2は、第1実施形態に係るカメラパラメータ生成装置1の構成を示すブロック図である。
図2に示すように、カメラパラメータ生成装置1は、型式選択部2と、カゴ寸法DB3と、カメラ設定DB4と、カメラモデル構築部5と、画像取得部6と、カメラ設置角度調整部7と、パラメータ記憶部30と、を備える。
【0021】
型式選択部2は、カゴ51およびカメラ52の型式の作業員による選択結果を読込むものであり、そのためのユーザインタフェースを提供する。詳細は、後記する項目(型式選択部2の説明)において説明する。
カゴ寸法DB3は、予め設定されたカゴ51の寸法を型式ごとに格納するデータベースである。カゴ寸法DB3中のデータは、カゴ51のカタログから作成できる。
カメラ設定DB4は、予め設定されたカメラ52のカメラパラメータに関する情報を型式ごとに格納するデータベースである。カメラパラメータとは、光学パラメータ、設置位置および設置角度である。光学パラメータのデータは、カメラ52のカタログから作成できる。設置位置のデータは、カメラ52の設置基準から作成できる。
【0022】
カメラモデル構築部5は、型式選択部2から入力されるカゴ51およびカメラ52の型式に応じて、最適なカメラモデルを構築し、カメラ52を設置するための目標設置角度を選定するものである。目標設置角度とは、種々の条件を満たしている設置角度であり、作業員がカメラ52をカゴ51に設置する際、この設置角度で設置すべきものである。目標設置角度を選定する方法については、後記する。
画像取得部6は、カメラ52の撮影画像を取得するものである。カメラパラメータ生成装置1とカメラ52の間には、図示しない有線あるいは無線の伝送路があり、カメラパラメータ生成装置1は、カメラ52の撮影画像を取得することができる。
カメラ設置角度調整部7は、作業員がカメラ52を適切な角度で設置するように、カメラ52の設置角度の調整をガイダンスするユーザインタフェースを提供するものである。詳細は、後記する。
【0023】
パラメータ記憶部30には、カメラパラメータ34、設置要件パラメータ35および代表的パラメータ36が格納されている。
カメラパラメータ34については、後記する項目(カメラパラメータ34の説明)において説明する。
設置要件パラメータ35は、後記する条件(1)を満たすようなパラメータの範囲を定めるものである。なお、この設置要件パラメータ35は、カメラパラメータ生成装置1に必ずしも格納されている必要はない。
代表的パラメータ36は、後記する条件(2)を満たすようなパラメータの値を定めるものである。なお、この代表的パラメータ36は、カメラパラメータ生成装置1に必ずしも格納されている必要はない。
また、カメラパラメータ生成装置1には、図示しない表示画面および入力装置が備えられている。入力装置は、例えば、キーボード、マウス、タッチパネル等の作業員からの入力を受け付ける装置で構成される。
画像認識装置60は、カメラ52で撮影された撮影画像中における人物の存在や、人数、人の流れを画像認識することで把握するものである。カメラパラメータ生成装置1は、この画像認識装置60における画像認識の精度を高めることを目的の一つとしている。
【0024】
(型式選択部2の説明)
図3は、実施形態に係るカメラパラメータ生成装置1における型式選択部2の画面の一例20aを示す図である。
符号111は、カゴ51の型式を選択するプルダウンメニューである。作業員がカメラパラメータ生成装置1を操作してプルダウンメニュー111を選択すると、プルダウンメニュー111は、カゴ51の型式の一覧表示112を出力する。作業員は、この一覧表示112の中から、現地のカゴ51に対応した型式を選択する。
【0025】
同様に、符号113は、カメラ52の型式を選択するプルダウンメニューである。作業員がカメラパラメータ生成装置1を操作してプルダウンメニュー113を選択すると、プルダウンメニュー113は、カメラ52の型式の一覧表示114を出力する。作業員は、この一覧表示114の中から、現地のカメラ52に対応した型式を選択する。
【0026】
カゴ51の型式は、カゴ51の高さ、間口および奥行きを一意に定める。なお、カゴ51の高さ、間口および奥行きとは、それぞれ図1におけるカゴ51のZ軸方向、X軸方向、Y軸方向の寸法である。
カメラ52の型式は、カメラ52の型式を一意に定める。この一意に定められたカメラ52の型式は、カメラ52の光学パラメータを一意に定める。光学パラメータとは、焦点距離、レンズ歪係数である。また、カメラ52の型式は、カゴ51中におけるカメラ52の設置位置を一意に定める。カメラ52の型式とカメラ52の設置位置の対応付けは、カメラ52の設置基準を設けておくことで容易に実現できる。
【0027】
また、図4は、実施形態に係るカメラパラメータ生成装置1における型式選択部2の画面の一例20bを示す図である。
図4に示すように、カゴ51に対してカメラ52の設置位置が1カ所あるいは少数カ所に限られ、かつ、カゴ51に取り付けるカメラ52の型式が1つあるいは少数に限られる場合、カゴ51の型式のカメラ52の型式を組にしてもよい。
カゴ51に対してカメラ52の設置位置が1カ所あるいは少数カ所に限られる場合とは、例えば、事前に、カメラ52の設置位置にカメラ52の治具を固定するための取り付け用の穴をカゴ51の筐体に加工しておく場合や、カメラ52に接続する電源や映像の配線を通すための穴をカゴ51に加工しておく場合等である。
カゴ51に取り付けるカメラ52の型式が1つあるいは少数に限られる場合とは、例えば、カゴ51の型式の所定範囲のグループに対して、適用するカメラ52の型式および設置位置を共通化しておく場合等である。
【0028】
また、カゴ51の型式に対してカメラ52の型式が一意に定まる場合、カゴ51の型式で、カゴ51の型式とカメラ52の型式の組を代表してもよい。
なお、図3および図4において、プルダウンメニューは、ユーザインタフェースの一例であって、他の形態をとることができる。例えば、テキストボックスやチェックボックス、コンボボックスによって、プルダウンメニューを代替することができる。
【0029】
[カメラ設置支援方法]
次に、カメラ設置支援方法について図5〜図8(構成は適宜図2)を参照して説明する。
図5は、第1実施形態に係るカメラパラメータ生成装置1におけるカメラ設置支援方法の手順を示すフローチャートである。なお、作業員によるものは、破線で示している。
図5のフローチャートに示すように、ステップS11において、作業員は、カゴ51およびカメラ52の型式を選択する。
ステップS12において、型式選択部2は、作業員の選択結果であるカゴ51およびカメラ52の型式を読込む。
ステップS13において、カメラモデル構築部5は、カゴ51の型式に応じた寸法のデータを読込む。
ステップS14において、カメラモデル構築部5は、カメラ52の型式に応じたカメラパラメータ34のデータを読込む。
【0030】
ステップS15において、カメラモデル構築部5は、読込んだデータを利用してカメラパラメータ34のうち設置角度以外のものを確定する。
ここで、このステップS15について詳細に説明する。
まず、カメラパラメータ34について説明する。
【0031】
(カメラパラメータ34の説明)
図6は、実施形態に係るカメラパラメータ34とその状態の一例を示す図である。
図6に示すように、カメラパラメータ34は、光学パラメータであるレンズ歪係数kおよび焦点距離fと、設置位置Xc,Yc,Zcと、設置角度P,T,Rとを備えている。
設置位置Xc,Yc,Zcは、図1に示した点Cの座標である。設置角度P,Tは、前記した角度P,Tである。設置角度Rは、図1に図示しないカメラ52の光軸回りの回転角である。
【0032】
カメラパラメータ34は、カメラ52の撮影画像に射影変換のモデルと放射歪曲のモデルを適用するときのカメラパラメータである。射影変換のモデルと放射歪曲のモデルについては、後記する。
カメラパラメータ34のうち、ステップS15の時点では、設置角度P,T以外は、確定されている。レンズ歪係数kおよび焦点距離fの光学パラメータは、カメラ52が固定焦点であれば、カメラ52の型式から一意に決まる。カメラ52がズーム機構を有して焦点距離fが可変の場合には、カメラ52のズームを事前に所定値に固定しておくことで、固定焦点として扱うことができる。
【0033】
また、設置位置Xc,Yc,Zcの幾何パラメータは、カメラ52の型式から一意に決まる。設置角度Rは、カメラ52が角度Rの角度調整機構を有さないため、カメラ52がカゴ51に固定されたときに定まる。よって、どの現場のカゴ51においても角度Rを0°あるいは所定の角度で取り付けることで、角度Rを固定値として扱える。
角度Rを0°あるいは所定の角度で取り付けることは、例えば、カゴ51に対してカメラ52の筐体が常に所定の角度になる冶具で取り付けることで実現できる。なお、カメラ52に角度Rの調整機構が有る場合には、事前に角度Rを所定の角度に固定しておくことで、角度Rを固定値として扱える。
【0034】
以上により、ステップS15において、カメラパラメータ34のうち設置角度P,T以外のものが確定することがわかる。
【0035】
ステップS16において、カメラモデル構築部5は、カメラ52の目標設置角度を選定する。
ここで、このステップS16について詳細に説明する。
目標設置角度を(Pt,Tt)とする。この目標設置角度(Pt,Tt)は、次の条件(1)および条件(2)を満たす範囲で選定される。
【0036】
(条件(1)の説明)
条件(1)は、監視システムの運用者が決めるカメラ52の設置要件であり、カメラ52は、予めこの設置要件を満たすように取り付けられている。本実施形態では、カメラ52の手前からドア153a付近までの人物の全身が確実に視野内に入るように、カゴ51内の所定の対象物が撮影画像中に収まることを設置要件としている。例えば図7(a)に示すように、ドア153aを人物の身長の目安として、ドア153aの上端が撮影画像151aの中に収まることを設置要件としている。また、エレベータの階数を示すインジケータ154aが撮影画像151aの中にさらに収まることを設置要件としてもよい。図7(a)において、カメラ52は、設置要件を満たすように、ドア153aの上端が撮影画像151aの上端から少し下に来るように設置角度が調整されている。なお、設置要件に応じたカメラパラメータの範囲は、カゴ51およびカメラ52の型式が決まれば、定まる。
【0037】
(条件(2)の説明)
カメラ52が撮影した画像は、画像認識装置60(図2参照)で処理されることになるが、課題のところでも述べたように、カメラ52の設置角度がカゴ51ごとにまちまちであると、カゴ51内に居る人物の位置が同一であっても、撮影画像中における人物の角度や大きさがカゴ51ごとに異なってしまうために、カゴ51内の人物を捉える画像認識の精度が低下してしまう。すなわち、画像認識装置60が持つモデルと、撮影画像中の人物の形状が乖離すると、画像認識の精度が低下してしまう。
【0038】
そこで、画像認識装置60が持つモデルにおける人物の見え方と撮影画像中の人物の見え方の差異ができるだけ小さくなるように、目標設置角度(Pt,Tt)を定めることを条件(2)とする。
【0039】
まず、カゴ51ごとに人物の見え方の差異が発生することを、図7(a)および図7(b)を参照して説明する。
図7(a)は、代表的な型式のカゴ51i(図示せず)における代表的な型式のカメラ52i(図示せず)の撮影画像151aを示している。代表的な型式とは、例えば、最も出荷台数が多い型式や、寸法が平均的な型式を選択すればよいが、この例に限られない。撮影画像151aにおいて、符号153aは前記のとおりドアであり、符号154aは、エレベータの階数を示すインジケータである。また、符号161aは、足元の空間座標がP1の人物、符号162aは、足元の空間座標がP2の人物を示している。
【0040】
図7(b)は、カゴ51iの寸法と比べて、間口と高さは同じであるが、奥行きが短いカゴ51におけるカメラ52の撮影画像151bを示している。撮影画像151bにおいて、符号153bはドア、符号154bは、エレベータのインジケータである。符号161bは、人物161aと足元の空間座標が同一のP1である人物、符号162bは、人物162aと足元の空間座標が同一のP2である人物を示している。
また、ドア153aとドア153bの空間中における高さは同一である。カメラ52は、設置要件を満たすように、ドア153bの上端が、撮影画像151bの上端と近くなる角度で設置されている。
【0041】
このとき、図7(b)におけるカメラ52の俯角Tbは、図7(b)のカゴ51のほうが図7(a)のカゴ51iよりも奥行きが短いことにより、図7(a)におけるカメラ52iの俯角Tiよりも、大きくなる(下向きに近づく)。カメラ52をこの角度Tbで設置すると、設置要件は満たされるが、俯角Tiと俯角Tbの違いによって、足元の空間座標が同一の人物161aと人物161b、および、人物162aと162bの角度や長さといった見え方の差異が発生する。
【0042】
そこで、カメラモデル構築部5は、カゴ51の型式およびカメラ52の型式に対して、設置要件を満たしつつ、代表的な型式のカゴ51i内の人物161a、162a等の人物の見え方の差異が最小となるように、カメラ52の目標設置角度(Pt,Tt)を計算する。
見え方の差異の基準は、カメラ52の撮影画像151bを入力とした画像認識のアルゴリズムによって、任意に定めてよい。例えば、画像認識装置60において、カメラ52の撮影画像151bを入力として異常挙動の検知を行う場合、画像認識装置60が持つモデルに対応する撮影画像151aと入力した撮影画像151bにおける人物の角度のばらつきが影響するため、撮影画像151aと撮影画像151bにおける人物の角度差を見え方の差異の基準に設定するとよい。また、複数の位置の人物に対しては、差異の平均や最大値のような統計量をもって評価値を出力すればよい。
【0043】
図7(a)の代表的な設置角度を(Pi,Ti)とすると、目標設置角度(Pt,Tt)は、設置要件を満たす範囲内で、PtをPiに、また、TtをTiに、できるだけ近づけるようにして選定する。なお、代表的パラメータ36(図2参照)とは、(Pi,Ti)のことである。
【0044】
カメラモデル構築部5における見え方の差異の計算は、標準的な体型の人物の立体計測データ、あるいは標準的な体型の人物を近似した楕円体等の形状モデル、およびカメラパラメータ34を用いて、コンピュータグラフィクスにより実現できる。標準的な体型の人物の立体計測データは、レーザ距離計測計のようなセンサを使用することで実現できる。
なお、カメラモデル構築部5は、目標設置角度(Pt,Tt)の選定を現地ごとに行うほか、目標設置角度(Pt,Tt)を予めカゴ51の型式ならびにカメラ52の型式ごとに事前に計算しておき、ステップS11における型式の選択結果に応じて事前に計算した目標設置角度(Pt,Tt)を読み込んでもよい。このとき、設置要件パラメータ35および代表的パラメータ36は、カメラパラメータ生成装置1に必ずしも必要ではない。
【0045】
以上により、ステップS16において、カメラモデル構築部5は、カメラ52の目標設置角度(Pt,Tt)を選定する。
【0046】
図5に戻り説明を続ける。
ステップS17において、カメラ設置角度調整部7は、画像上目標位置を算出する。
ここで、このステップS17について詳細に説明する。
【0047】
画像上目標位置とは、目標設置角度(Pt,Tt)でカメラ52が設置されるときに、カゴ51に固定された座標系において位置が予め設定された目印50(図1参照)がカメラ52の撮影画像中に表示される位置のことである。画像上目標位置を(um,vm)とする。
図8は、カメラパラメータ生成装置1におけるカメラ設置角度調整部7の画面の一例を示す図である。
符号70は、カメラ設置角度調整部7におけるガイダンス画面である。符号150は、空間中の目印50が撮影画像151中に表示されたものである画像上目印である。符号250は、画像上目標位置(um,vm)を示す重畳描画である。符号120は、カメラ設置角度調整部7における角度調整の完了を受け付けるボタンである。重畳描画250は、縦線と横線の交点をもって画像上目標位置(um,vm)を示している。
【0048】
(画像上目標位置(um,vm)算出方法)
カメラ設置角度調整部7は、ステップS15で確定した設置角度以外のカメラパラメータと、ステップS16で選定した目標設置角度(Pt,Tt)とから、後記する射影変換のモデルと放射歪曲のモデルを適用して、目印50の空間座標M(Xm,Ym,Zm)(図1参照)を画像上目標位置(um,vm)に変換する。目印50の空間座標M(Xm,Ym,Zm)は、ステップS13で読み込んだカゴ51の間口と奥行きで定まる。その後、カメラ設置角度調整部7は、画像上目標位置(um,vm)の位置に重畳描画250を描画する。
【0049】
《射影変換のモデル》
射影変換とは、レンズ歪みが無い場合において、撮影画像座標(u,v)と空間座標(X,Y,Z)との間に、次の(1)式を関係付けるモデルである。
【0050】
【数1】

【0051】
ここで、[u,v,1]は画像座標(u,v)の同次ベクトル、[X,Y,Z,1]は空間座標(X,Y,Z)の同次ベクトル、変数hはスケールパラメータ、行列Aはカメラ52の内部行列、Rmはカメラ52の回転行列、ベクトルtはカメラ52の設置位置(Xc,Yc,Zc)である。(1)式の行列Aは、カメラ52の光学パラメータの焦点距離fに対して、次の(2)式で一意に定まる。
【0052】
【数2】

【0053】
また、行列Rmは、カメラ52の設置角度(P,T,R)に対して、次の(3)式で一意に定まる。
【0054】
【数3】

【0055】
(1)式の右辺を空間座標(X,Y,Z)、カメラ52の設置角度(P,T,R)、カメラ52の設置位置(Xc,Yc,Zc)、焦点距離fの関数で表すと、次の(4)式の関係がある。
【0056】
【数4】

【0057】
また、(4)式の3行目の等号からhの値は定まる。また、hの値を定めた時の(4)式の1行目と2行目の比較から、画像座標(u,v)は、次の(5)式で計算できる。
【0058】
【数5】

【0059】
《放射歪曲のモデル》
放射歪曲とは、レンズ歪みが無いときの画像座標(u,v)と、レンズ歪みが有るときの画像座標(u’,v’)の間を、次の(6)式で対応付けるモデルである。ここで、kはレンズ歪係数である。実際のカメラ52の撮影画像はレンズ歪みが有るため、空間座標(X,Y,Z)に対して、(5)式で求めた(u,v)を、(6)式で変換した(u’,v’)が画像座標となる。なお、レンズ歪みが有るときの画像座標(u’,v’)が与えられたとき、(6)式の逆問題を解くことでレンズ歪みが無いときの画像座標(u,v)は一意に得られる。この逆問題を解くことは、一般的な非線形の連立方程式の解法を適用することで実現できる。
【0060】
【数6】

【0061】
なお、以上の説明では、レンズ歪モデルに(6)式による放射歪曲を適用した場合を述べたが、あくまで一例であり他のレンズ歪モデルを当てはめてもよい。他のレンズ歪モデルを当てはめたときには、当てはめたレンズ歪モデルに応じて、カメラパラメータ34および(6)式を更新すればよい。また、カメラ内部行列も(2)式はあくまで一例であり、CCD(Charge Coupled Device)の歪み等の項を加えてもよい。カメラ内部行列を(2)式から変更した場合には、変更後のカメラ内部行列に応じて、カメラパラメータ34を更新すればよい。ただし、上記のようにレンズ歪モデルおよびカメラ内部行列を変えたときであっても、ステップS14でカメラ52の型式に応じたデータが読み込めることは自明である。
【0062】
以上により、ステップS17において、カメラ設置角度調整部7は、画像上目標位置を算出する。
【0063】
図5に戻り説明を続ける。
ステップS18において、作業員は、画像上目印150と画像上目標位置(um,vm)を合わせる。すなわち、作業員は、カメラ52の設置角度の調整において、ガイダンス画面70を見ながら、画像上目印150と重畳描画250が示す画像上目標位置(um,vm)とが一致するように、カメラ52の設置角度を、カメラを動かして調整する。
【0064】
なお、複数の作業員が居る場合には、カメラ52の設置角度の調整と、ガイダンス画面70を目視することを、複数の作業員で分担してもよい。作業員は、画像上目印150と画像上目標位置(um,vm)とが一致したと判断すると、ボタン120を押してカメラ52の設置角度の調整を完了する。これにより、条件(1)および条件(2)を満たす設置角度P,Tでカメラ52が設置されたことになる。
以上により、カメラ設置支援方法を終了する。
【0065】
なお、カメラ設置角度調整部7は、重畳描画250を十字線で示したが、他の描画で代替してもよい。例えば、円や四角形や三画形の図形は、重畳描画250を代替することができる。
【0066】
また、図9に示すように、カメラ設置角度調整部7は、画像上目標位置(um,vm)として所定幅の許容誤差を設け、重畳描画250の代わりに、重畳描画251,252で示される目標領域(斜線部)としてもよい。目標領域は、左右2本の縦線と上下2本の横線で囲まれる領域である。あるいは、画像上目標位置(um,vm)の許容誤差は、縦方向あるいは横方向のどちらかのみに設けてもよく、縦方向あるいは横方向のみ許容誤差を設けた場合には、目標領域は線分となる。画像上目標位置(um,vm)に許容誤差を設けた場合、カメラ52の設置角度は多少ずれていても許容されるので、作業員が設置角度の調整をする作業の難易度を下げることができる。
【0067】
また、カメラモデル構築部5は、見え方の差異を最小にする以外に、見え方の差異が許容誤差に収まる範囲内で、画像上目印150ができるだけ撮影画像151の中央に来るように、カメラ52の設置角度を定めてもよい。この場合、異なる寸法のカゴ51の撮影画像151間において、画像上目印150の位置が互いに近くなり、ガイダンス画面70の見た目に統一感が出るという利点がある。
【0068】
なお、カメラモデル構築部5は、目標設置角度(Pt,Tt)が選定されたカメラパラメータ34を出力するようにしてもよい。このカメラパラメータ34の出力先は、カメラパラメータ生成装置1内あるいはカメラパラメータ生成装置1外の計算機内で稼働する画像認識手段である。あるいは、このカメラパラメータ34の出力先は、画像認識手段が読込むデータファイルである。このカメラパラメータ34は、画像認識アルゴリズムで参照され、画像認識の精度の向上に寄与する。例えば、非特許文献2の人物の抽出の技術では、画像中の場所ごとの楕円モデルの傾きや大きさが、撮影画像151中の人物に近くなり認識精度が向上する。
【0069】
さらに、このカメラパラメータ34をファイルで出力する場合、このカメラパラメータ34の内容を直接出力する以外に、カゴ51およびカメラ52の型式ごとにインデックスを付与した目標設置角度(Pt,Tt)を画像認識手段の側に予め持っておき、カメラモデル構築部5は、インデックス情報のみを出力する形態でもよい。
【0070】
本実施形態により、型式選択部2におけるカゴ51およびカメラ52の型式の選択と、カメラ設置角度調整部7のガイダンス画面70に沿ったカメラ52の設置角度の調整という簡単な操作によって、寸法が異なるカゴ51においても、作業員は、画像認識に適した角度でカメラ52を設置することができる。例えば、非特許文献1の異常挙動の検知の技術では、異なる寸法のカゴ51間において、人物の局所的な見え方が互いに近くなり、認識精度の低下を抑止できる。
【0071】
なお、カメラパラメータ生成装置1は、図示を省略したCPU(Central Processing Unit)やメモリを搭載した一般的なコンピュータで実現することができる。このとき、カメラパラメータ生成装置1は、コンピュータを、前記した各機能部として機能させるカメラパラメータ生成プログラムによって動作する。また、前記した各機能部は、IC(Integrated Circuit)やLSI(Large Scale Integration)等のハードウェア回路で実現してもよい。
【0072】
<第2実施形態>
次に、本発明の第2実施形態について、図10〜図12を参照して説明する。
[カメラパラメータ生成装置1Aの構成]
図10に示すように、カメラパラメータ生成装置1Aは、第1実施形態に係るカメラパラメータ生成装置1の構成に加え、目標設置角度調整部8と、カメラモデル更新部9と、をさらに備える。なお、第1実施形態の構成と同一の構成には同一の符号を付して、重複した説明は省略する。
【0073】
目標設置角度調整部8は、カメラ設置角度調整部7が作業員によるカメラ52の設置角度の調整をガイダンスした後に、画像上目印150と画像上目標位置(um,vm)との微妙なずれを、重畳描画250を調整することによって一致させ、あるいは、ずれを小さくするように、ガイダンスするものである。
カメラモデル更新部9は、調整後の重畳描画250が示す画像上座標(un,vn)から、対応する設置角度(Pn,Tn)を算出し、カメラパラメータ34を更新するものである。
【0074】
図11は、カメラパラメータ生成装置1Aにおける目標設置角度調整部8の画面の一例を示す図である。
符号80は、目標設置角度調整部8におけるガイダンス画面である。符号121は、方向ボタンである。重畳描画250が示す画像上座標(十字の位置)は、画像上目印150から少しずれている。方向ボタン121は、重畳描画250が示す画像上座標を調整するユーザインタフェースであり、作業員が方向ボタン121の上下あるいは左右を入力することで、重畳描画250が示す画像上座標は、上下あるいは左右に変化する。
【0075】
[カメラ設置支援方法]
次に、カメラ設置支援方法について図12(構成は適宜図10)を参照して説明する。
図12は、第2実施形態に係るカメラパラメータ生成装置1Aにおけるカメラ設置支援方法の手順を示すフローチャートである。なお、作業員によるものは、点線で示している。また、ステップS11からステップS18までは、第1実施形態と同様であるため、説明を省略する。
ところで、ステップS18では、作業員は、カメラ52の設置角度の調整において、ガイダンス画面70(図8参照)を見ながら、画像上目印150と重畳描画250が示す画像上目標位置(um,vm)とが一致するように、カメラ52の設置角度を、カメラを動かして調整した。
しかし、人間がカメラ52の本体を手動で調整するため、微妙にずれてしまうことがある。
そこで、図12のフローチャートに示すように、ステップS19aにおいて、作業員は、重畳描画250を移動させて、重畳描画250が示す画像上座標を画像上目印に合わせる。
【0076】
すなわち、図11に示すように、作業員は、ガイダンス画面80において、重畳描画250が示す画像上座標が画像上目印150と一致するように方向ボタン121を操作して画面上で調整する。作業員は、重畳描画250が示す画像上座標が画像上目印150と一致したと判断すると、完了ボタン122を押す。目標設置角度調整部8は、作業員が完了ボタン122を押すと、調整後の重畳描画250が示す画像上座標(un,vn)を保持する。
【0077】
ステップS20において、カメラモデル更新部9は、カメラパラメータ34を更新する。ここで、ステップS20を詳細に説明する。
カメラモデル更新部9は、調整後の重畳描画250が示す画像上座標(un,vn)に応じたカメラ52の設置角度(Pn,Tn)を計算する。
まず、レンズ歪みを無視すると、(5)式において、Xc,Yc,Zc,R,fは既知であるため、(5)式は未知数が2つで拘束条件が2つとなり、画像上座標(un,vn)に対して設置角度(Pn,Tn)は一意に定まる。(5)式において、与えられた画像上座標(un,vn)に対して設置角度(Pn,Tn)を計算することは、一般的な非線形連立方程式の解法によって容易に実現できる。カメラモデル更新部9は、計算した設置角度(Pn,Tn)で、カメラモデル構築部5のカメラ52のカメラパラメータ34を更新する。
レンズ歪みを無視できない場合には、(6)式の逆問題を解いて、実際の撮影画像上のレンズ歪みがある画像上座標(un’,vn’)から、レンズ歪みが無い画像上座標(un,vn)を求めれば、上記と同じ手順で設置角度(Pn,Tn)を計算できる。
【0078】
なお、カメラモデル更新部9は、更新したカメラパラメータ34を出力するようにしてもよい。カメラモデル更新部9が出力する更新したカメラパラメータ34の出力先および出力内容は、第1実施形態におけるカメラパラメータ34と同一である。
【0079】
本実施形態により、作業員が設置したカメラ52の設置角度に多少のずれがあっても、重畳描画250が示す画像上座標を作業員が方向ボタン121を用いて画面上で調整することによって、カメラ52のカメラパラメータ34を正確に求めることができる。
【0080】
<第3実施形態>
次に、本発明の第3実施形態について、図13および図14を参照して説明する。
[カメラパラメータ生成装置1Bの構成]
図13に示すように、カメラパラメータ生成装置1Bは、第2実施形態に係るカメラパラメータ生成装置1Aの構成のうち、目標設置角度調整部8の代わりに、目印認識部10を備える。なお、第2実施形態の構成と同一の構成には同一の符号を付して、重複した説明は省略する。
概略を説明すると、カメラパラメータ生成装置1Bは、第2実施形態の目標設置角度調整部8において重畳描画250が示す画像上座標を作業員が手動により画面上で調整していたことを、自動的に行おうとするものである。
【0081】
目印認識部10は、画像上目印150の画像上座標を画像認識により抽出し、重畳描画250が示す画像上座標を画像上目印150の画像上座標に合わせて設定するものである。画像上目印150の画像上座標を抽出する画像認識は、例えばカゴ51の壁と壁、壁と床の境界線をハフ変換等により抽出し、その交点を求める手法で実現できるが、これに限るものではない。
【0082】
[カメラ設置支援方法]
次に、カメラ設置支援方法について図14(構成は適宜図13)を参照して説明する。
図14は、第3実施形態に係るカメラパラメータ生成装置1Bにおけるカメラ設置支援方法の手順を示すフローチャートである。なお、ステップS11からステップS18まで、ステップS20は、第2実施形態と同様であるため、説明を省略する。
ステップS18では、作業員は、カメラ52の設置角度の調整において、ガイダンス画面70(図8参照)を見ながら、画像上目印150と重畳描画250が示す画像上目標位置(um,vm)とが一致するように、カメラ52の設置角度を調整した。
【0083】
図14のフローチャートに示すように、ステップS19bにおいて、目印認識部10は、画像上目印150の画像上座標を画像認識により抽出し、重畳描画250が示す画像上座標を画像上目印150の画像上座標に、自動的に合わせて設定する。
【0084】
これにより、自動的に調整後の重畳描画250が示す画像上座標(un,vn)が求まり、対応する設置角度(Pn,Tn)が求まる。その後は、第2実施形態と同様である。
本実施形態により、目標設置角度調整部8で重畳描画250が示す画像上座標を調整する作業が不要であるため、作業員の作業を削減することができる。
【0085】
<変形例>
以上、本発明の実施形態について説明したが、本発明はこれに限定されず、本発明の趣旨を逸脱しない範囲で、例えば次のように変更することができる。
【0086】
目印50は、床の角としたが、目印50は床の角以外に、カゴ51に固定された座標系において位置が特定可能な目印に置き換えることができる。例えば、エレベータのインジケータやドアの角を目印50とすることができる。
【0087】
また、目印50の数を1つとしたが、2つ以上の複数にしてもよい。空間中の目印50を複数にすると、撮影画像151中における画像上目印150も複数となり、ガイダンス画面70,80の重畳描画250も画像上目印150の数だけ描画する。また、ガイダンス画面80では、方向ボタン121も重畳描画250と同数だけ増やす。もしくは、ガイダンス画面80では、方向ボタン121で調整する画像上目印150の数を選択するメニューを備えるようにしてもよい。
【0088】
目印50を2つ以上の複数にした場合、各点について(5)式が成立することと、(5)式が2つの拘束式を持つことより、拘束式が4つ以上成立する。ここで、カメラ設置角度調整部7における未知数は、設置角度Pと設置角度Tの2つであるため、最小2乗の解法を用いて、設置角度Pと設置角度Tの精度を高めてもよい。また、拘束式の数が3つを超えることにより、カメラ設置角度調整部7で調整するカメラメータ、あるいはカメラモデル更新部9で更新するカメラパラメータに、設置角度Rを加えて未知数の数を3つにしてもよい。すなわち、目印が2つあると、光軸方向も調整できるようになり、設置角度Pと設置角度Tに加えて、設置角度Rについても目標設定できる。
また、設置角度R以外にも、未知数の数が拘束式を超過しない条件で、焦点距離f等の1つ以上のパラメータをカメラモデル更新部9で更新するカメラパラメータとしてもよい。すなわち、焦点距離fを未知数とすれば、カメラ52のズームも目標設定できる。
【0089】
また、カメラ設置支援方法は、エレベータ内のカメラの設置に限定することなく、監視エリアの寸法を型式で管理すること、ならびにカメラの装置と設置位置を型式で管理することの条件を満たすシステムに広く適用できる。例えば、コンビニエンスストアの店舗において、テナントの寸法とカメラの装置と設置位置を型式で管理しておき、レジやドアを目印とすれば、本発明を適用できる。
【0090】
本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【0091】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0092】
1 カメラパラメータ生成装置
1A カメラパラメータ生成装置
1B カメラパラメータ生成装置
2 型式選択部
3 カゴ寸法DB
4 カメラ設定DB
5 カメラモデル構築部
6 画像取得部
7 カメラ設置角度調整部
8 目標設置角度調整部
9 カメラモデル更新部
10 目印認識部
30 パラメータ記憶部
34 カメラパラメータ
35 設置要件パラメータ
36 代表的パラメータ
50 目印
51 カゴ(監視エリア)
51i 代表的な型式のカゴ
52 カメラ
52i 代表的な型式のカメラ
53 ドア
60 画像認識装置
70 ガイダンス画面
80 ガイダンス画面
150 画像上目印
151 撮影画像
151a 撮影画像
151b 撮影画像
250 重畳描画

【特許請求の範囲】
【請求項1】
監視エリアを監視する監視システムにおいて、前記監視エリアに設置するカメラのカメラパラメータを生成するカメラ設置支援装置におけるカメラ設置支援方法であって、
前記カメラ設置支援装置のカメラモデル構築部は、
与えられた条件を満たしつつ、寸法の異なる前記監視エリア間で、前記監視エリア内の被写体の見え方の差異が小さくなるように、前記カメラの目標設置角度を選定し、
前記カメラ設置支援装置のカメラ設置角度調整部は、
前記監視エリアに固定された座標系において位置が予め設定された目印が、前記目標設置角度で前記カメラが設置されるときに、前記カメラの撮影画像中に表示される位置である画像上目標位置を算出し、前記目標設置角度で前記カメラが設置されるように、前記目印が前記撮影画像中に表示されたものである画像上目印と、前記画像上目標位置とを一致させるようにして、前記カメラの設置角度の調整をガイダンスする
ことを特徴とするカメラ設置支援方法。
【請求項2】
前記カメラ設置支援装置の型式選択部は、前記カメラおよび前記監視エリアの型式を読込み、
前記カメラモデル構築部は、前記目標設置角度の選定において、前記カメラの型式を用いて前記カメラパラメータのうち設置角度以外のものを確定し、
前記カメラ設置角度調整部は、前記画像上目標位置の算出において、前記監視エリアの型式を用いる
ことを特徴とする請求項1に記載のカメラ設置支援方法。
【請求項3】
前記カメラモデル構築部は、代表的な型式の前記監視エリアにおける代表的な型式の前記カメラの代表的なパラメータである代表的パラメータに近い前記目標設置角度を選定する
ことを特徴とする請求項1または請求項2に記載のカメラ設置支援方法。
【請求項4】
前記与えられた条件は、前記監視エリア内の所定の対象物が前記カメラの撮影画像中に収まることを条件に含むことを特徴とする請求項1から請求項3のいずれか一項に記載のカメラ設置支援方法。
【請求項5】
前記与えられた条件は、前記カメラの撮影画像を画像認識する画像認識装置において前記画像認識装置が持つモデルにおける人物の見え方と前記カメラの撮影画像中の人物の見え方の差異ができるだけ小さくなることを条件に含むことを特徴とする請求項1から請求項4のいずれか一項に記載のカメラ設置支援方法。
【請求項6】
前記カメラ設置支援装置の目標設置角度調整部は、前記撮影画像中において、前記画像上目標位置を前記画像上目印に一致させるように前記画像上目標位置を動かせるようにして、前記目標設置角度の調整をガイダンスし、
前記カメラ設置支援装置のカメラモデル更新部は、調整後の前記画像上目標位置から調整後の前記カメラの設置角度を算出し、前記カメラパラメータの設置角度を調整後の前記カメラの設置角度に更新する
ことを特徴とする請求項1から請求項5のいずれか一項に記載のカメラ設置支援方法。
【請求項7】
前記カメラ設置支援装置の目印認識部は、
前記画像上目印を画像認識により検知し、前記撮影画像中において、前記画像上目標位置を前記画像上目印の位置に合わせて設定し、
前記カメラ設置支援装置のカメラモデル更新部は、前記画像上目印の位置に合わせて設定した後の前記画像上目標位置から調整後の前記カメラの設置角度を算出し、前記カメラパラメータの設置角度を調整後の前記カメラの設置角度に更新する
ことを特徴とする請求項1から請求項5のいずれか一項に記載のカメラ設置支援方法。
【請求項8】
前記監視エリアはエレベータのカゴ内であることを特徴とする請求項1から請求項7のいずれか一項に記載のカメラ設置支援方法。
【請求項9】
監視エリアを監視する監視システムにおいて、前記監視エリアに設置するカメラの撮影画像を認識して処理する画像認識装置の画像認識方法であって、
請求項1から請求項8のいずれか一項に記載のカメラ設置支援方法により生成されたカメラパラメータを用いて画像認識を行うことを特徴とする画像認識方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2012−205229(P2012−205229A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−70241(P2011−70241)
【出願日】平成23年3月28日(2011.3.28)
【出願人】(000005108)株式会社日立製作所 (27,607)
【出願人】(000232955)株式会社日立ビルシステム (895)
【Fターム(参考)】