説明

動的なカメラ色補正装置およびそれを用いた映像検索装置

【課題】カメラ設置環境、日照環境等といった撮像環境の変動に影響されることなく、画像の色を適切に補正できる動的なカメラ色補正装置およびそれを用いた映像検索装置を提供する。
【解決手段】背景抽出部121、色抽出部123で、初期設置時にカメラ110に撮像された背景の位置・色情報を参照テーブル124に保持し、背景確認部122、色抽出部123で、運用中のカメラ110の背景を抽出し、色比較部125で、日照変動により背景の色空間が変化したか比較し、色補正部122で、色補正パラメータを更新する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラによって撮像されて得られた画像を補正する動的なカメラ色補正装置と、その動的なカメラ色補正装置を用いた映像検索装置に関するものである。
【背景技術】
【0002】
従来のカメラを用いて人物や物体を追跡、検索する装置は、人物や物体の色情報を用いた装置が多く使用されている。色情報を用いる場合、カメラの個体差、光源環境の影響を補正するために、設置したカメラで一度カラーチャート等の特定色パターンを撮像し、個々にカメラパターンを導入する手法がある(例えば、特許文献1参照)。
【特許文献1】特開平11−186487号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、監視システムの場合、屋内、屋外、場所を問わず設置されることが常であり、特に屋外においては、日照等の動的な変化により監視オブジェクトの色の見え方が時刻、天候等によって刻々と変化する。そのため、設置カメラにいったん導入したカメラパラメータを動的に更新する必要があり、かつ、設置カメラ台数、日照環境の多様さを考慮すると、カメラパラメータ更新の自動化は必須である。
【0004】
本発明は、上記事情に鑑みてなされたものであって、カメラ設置環境、日照環境等といった撮像環境の変動に影響されることなく、画像の色を適切に補正できる色補正装置およびそれを用いた映像検索装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の動的なカメラ色補正装置は、監視領域を撮像する撮像手段から入力される画像の色補正を行うカメラ色補正装置であって、特定のカラーチャートから色補正パラメータを決定する色補完手段と、前記色補正パラメータに基づいて、前記撮像手段が撮像した画像の色補正を行い色補正画像を出力する色補正手段と、前記色補正画像から背景画像を抽出する背景抽出手段と、前記背景画像が、背景か否かを確認する背景確認手段と、前記確認された背景画像から色情報を抽出する色抽出手段と、前記抽出された色情報が変化した場合に、前記色補正パラメータを変更させる色比較手段とを備える構成を有している。
【0006】
この構成により、監視領域内の背景画像を抽出し、背景画像の色の変化を確認し、色補正パラメータを逐次更新することで、撮像手段の撮像環境の変化によらず自動的に撮像画像を色補正することができる。
【0007】
また、本発明の動的なカメラ色補正装置は、前記背景画像の色情報を背景画像の位置情報と対応させて格納する参照テーブル手段を備える構成を有している。
【0008】
また、本発明の動的なカメラ色補正装置において、前記色補正手段は、前記色比較手段が変更する色補正パラメータに基づいて、全色空間の色補正パラメータを更新する構成を有している。
【0009】
この構成により、色補完手段で、変更された背景画素の色を用いて色補完を行い、色補正パラメータ全体を更新することにより、より精度の高い色補正をすることができる。
【0010】
また、本発明の動的なカメラ色補正装置は、前記背景画像の画素情報を検出し、前記背景画像の画素情報と基準となる画素情報との差に応じて、前記色比較手段を機能させるか否か判別する更新タイミング判別手段を備える構成を有している。
【0011】
この構成により、色比較を行うタイミングを知ることができる。
【0012】
また、本発明の動的なカメラ色補正装置は、前記更新タイミング判別手段が、前記背景画像を所定の領域に分割し、各領域の輝度値の平均を計算する構成を有している。
【0013】
この構成により、更新タイミング判別手段で、初期運用時に比べ日照変動が多く発生したときのみ、色補正パラメータの更新を行うことなど、色補正を行うCPUもしくはDSPの処理負荷を軽減することができる。
【0014】
また、本発明の動的なカメラ色補正装置は、前記色補正手段が補正した画像を格納する第1と第2のバッファを備え、前記背景抽出手段が、前記第1のバッファに格納した画像から複数の背景画像群1を抽出し、前記背景確認手段が、前記第2のバッファに格納した画像から複数の背景画像群2を抽出し、前記色比較手段が、前記背景画像群1および背景画像群2の画素情報を検出し、前記背景画像群1および背景画像群2の画素情報の変化に基づいて前記色比較処理を行う構成を有している。
【0015】
また、本発明の動的なカメラ色補正装置は、記背景抽出手段が、前記第1のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出し、前記背景確認手段が、前記第2のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出する構成を有している。
【0016】
この構成により、背景抽出手段と背景確認手段で、複数の背景画素を抽出することにより、葉っぱや旗等の揺れが発生した場合等でも、精度よく色補正することができる。
【0017】
また、本発明の動的なカメラ色補正装置は、前記背景確認手段で確認した背景画像中の物体が移動したかどうかを確認する背景変化確認手段を備える構成をしている。
【0018】
また、本発明の動的なカメラ色補正装置において、前記背景変化確認手段が、1つ前のフレームの背景画像と現在の背景画像との差分を求める構成を有している。
【0019】
この構成により、背景変化確認手段で、1つ前のフレームの背景画像(群)と現在の背景画像(群)を比較することにより、背景画像に含まれている駐車車両等が移動した場合等であっても、精度よく色補正することができる。
【0020】
また、本発明の映像検索装置は、上記のいづれか一項記載の動的なカメラ色補正装置と、前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、前記代表色算出手段で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出する人物検索手段と、前記人物検索手段で算出されたスコアを表示する検索結果表示手段とを備える構成を有している。
【0021】
この構成により、動的なカメラ色補正装置で、動的に色補正を行うことにより、カメラの個体差、日照の変動等の影響を受けることなく、精度の良い人物検索をすることができる。
【0022】
また、本発明の映像検索装置は、上記のいづれか一項記載の動的なカメラ色補正装置と、前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、前記代表色算出手段で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出し、特定のスコアの撮像画像を再生するよう再生命令を送信する人物検索手段と、前記色補正手段で補正した撮像画像を所定の圧縮方式で圧縮する圧縮手段と、前記圧縮手段で圧縮された撮像画像を格納するストレージと、前記人物検索手段が送信した再生命令に基づき、前記ストレージに格納された前記圧縮手段で圧縮された撮像画像を読み出し、所定の伸張方式で伸張する展開手段と、前記展開手段で展開された撮像画像を表示する表示手段とを備える構成を有している。
【0023】
また、本発明の映像検索装置において、前記圧縮手段は、前記色補正手段で補正した撮像画像から任意のフレームを間欠し、所定の圧縮方式で圧縮する構成を有している。
【0024】
この構成により、動的なカメラ色補正装置で動的に色補正を行い、色補正された映像をストレージに蓄積し、表示手段で表示することで、カメラの個体差、日照の変動等の影響を受けることなく、所望の人物を映像再生することができる。
【0025】
さらに、本発明の映像検索装置は、複数のカメラに接続される映像検索装置であって、上記のいづれか一項記載の動的なカメラ色補正装置と、前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、特定の人物の色情報とテクスチャ情報とが格納された検索人物データベースと、前記検索人物データベースに格納された色情報およびテクスチャ情報と、前記代表色算出手段で算出された色情報およびテクスチャ情報とを比較し、同一人物のものである場合、前記代表色算出手段が検出した人物が撮像されている前記色補正手段で補正した撮像画像を表示するようカメラ切替命令を送信する人物マッチング手段と、前記人物マッチング手段が送信したカメラ切替命令に基づき、前記色補正手段で補正した撮像画像を撮像するカメラに切り替える映像切替手段と、前記映像切替手段で切り替えられた前記色補正手段で補正した撮像画像をモニタ表示する表示手段とを備える構成を有している。
【0026】
この構成により、動的なカメラ色補正装置で、動的に色補正を行い、人物マッチング手段で、あらかじめ検索人物DBに格納された人物かどうか比較し、同一人物の場合、映像切替手段で、カメラ切替をすることにより、カメラの個体差、日照の変動等の影響を受けることなく、所望の人物がカメラ間を移動してもモニタリングすることができる。
【発明の効果】
【0027】
本発明は、監視領域内の背景画像を自動で抽出し、背景画像の色の変化を確認し、色補正パラメータを逐次更新することで、撮像手段の撮像環境の変化によらず自動的に撮像画像を色補正することができるという効果を有する動的なカメラ色補正装置およびそれを用いた映像検索装置を提供することができるものである。
【発明を実施するための最良の形態】
【0028】
以下、本発明の実施の形態の動的なカメラ色補正装置について、図面を用いて説明する。
【0029】
(第1の実施の形態)
図1は、本発明の第1の実施の形態の動的なカメラ色補正装置の構成を示す。動的なカメラ色補正装置100は、カラー画像を出力するカメラ110に接続されるものである。動的なカメラ色補正装置100は、特定のカラーチャートから色補正パラメータを決定する色補完部126、色補正パラメータに基づいて、カメラ110が撮像した画像の色補正を行う色補正部120、色補正部120経由で入力される映像(色補正画像)から背景情報を抽出する背景抽出部121、色補正部120経由で入力される映像の画素が背景画素かどうか確認する背景確認部122、背景抽出部121および背景確認部122から出力される映像から画素の位置情報と色情報とを計算する色抽出部123、背景画素の位置情報と色情報とをテーブル化した参照テーブル124、参照テーブル124に格納された位置情報および色情報と、背景確認部122および色抽出部123経由で抽出された位置情報と色情報とを比較し、異なっていた場合に色補正部120に色補正値変更命令を出す色比較部125から構成される。なお、色補正パラメータは色補正部に内蔵されている。
【0030】
なお、図1において、動的なカメラ色補正装置100に接続されるカメラ110は一例を示すものであって、カメラ110の数を限定するものではない。また、図1の太矢印は映像信号を表し、例えば、カメラ110がNTSC準拠の信号の場合、太矢印はNTSC準拠の信号である。
【0031】
以上のように構成された動的なカメラ色補正装置100について、初期運用動作と通常運用動作の2種類説明する。初期運用動作は、動的な色補正を行うために、カメラ設置時に一度だけ行う動作である。通常運用動作は、前記初期運用動作時に設定した初期値を使用し動的な色補正を行う動作で、本発明の主要部分である。
【0032】
まず、初期運用動作について、図2、図3、図4を用いて説明する。カメラで同じ物体を撮像するとする。朝方撮像すると太陽の光量が弱いため暗く写り、昼間撮像すると太陽の光量が強いため明るく写り、夕方撮像すると赤っぽく写る。そのため、朝方撮像された色空間と夕方撮像された色空間とが、昼間撮像された色空間となるよう色補正を行う必要がある。
【0033】
図2(a)は、カラーチャートの模式図であり、図2(b)は、理論的なUV色空間とカラーチャートの理論的なUV値の一例であり、図2(c)は、UV色空間とカラーチャートをカメラ撮像した場合のUV値の一例である。
【0034】
例えば、RGB色空間は、R(赤)は0〜255、G(緑)は0〜255、Bは0〜255であり、色空間は255×255×255=1677万色存在する。色空間を同一にするためには、1677万色をカメラで撮像して色補正すればよいが、1677万色を用意し、カメラで撮像することは、工数が膨大になることもあり、現実的ではない。そのため、3次元のRGB色空間を輝度情報を除いた2次元のUV空間に変換し、UV空間での数種類の代表色をもったカラーチャート200(図2(a))をカメラで撮像し、代表色以外の色は補完する手法が一般的に使用される。
【0035】
図2(b)は、UV色空間においてUV色空間が理論上表現可能な範囲210を示す。また、カラーチャート200の代表色の理論値211a、211b、211c、‥、211nを示す。カラーチャート200の代表色をカメラ110で撮像して得られた画像(RGBの3色から構成される)を再度UV空間に変換すると、図2(c)に示すUV値221a、221b、221c、‥、221nを取る。
【0036】
理論値211aとUV値221a、理論値211bとUV値221b、‥、理論値211nとUV値221nが対応していることが既知のため、代表色以外の色空間220(図2(c))を補完することが可能である。なお、図2における代表色数は一例に示すものであって、代表数を限定するものではない。また、色空間はUV色空間に限るものではない。
【0037】
図3は、本発明の第1の実施の形態における動的なカメラ色補正装置の初期運用動作を説明するためのフロー図を示す。まず、カメラ110がカラーチャート200を撮像する(S300)。色補完部126は、カメラ110の撮像画像からカラーチャート200を抽出し(S301)、カラーチャート200のもつ固有の色とカメラ110で撮像されたカラーチャート200の色を比較する(S302)。色補完部126は、比較した結果から、カラーチャート200以外の色の色補完を行い、色補正パラメータを色補正部120に送信する(S303)。
【0038】
図4は、動的なカメラ色補正装置の色補正動作を説明するための模式図である。例えば、太陽の光量が多い昼間にカラーチャート200を撮像した場合、カメラ110の撮像カラーチャート400はとび気味に撮像される。しかし、色補正部120にて、色補正パラメータに基づき色補正402を行うことにより、カラーチャート200のもつ固有の色空間のカラーチャート402として出力される。
【0039】
図3に戻り、カメラ110が監視領域を撮像する(S304)。撮像画像は、色補正部120で色補正パラメータに基づき色補正され(S305)、背景抽出部121に入力される。カメラ110で撮像される画像には前景と背景が存在する。前景とは、人、車といった常に動きのあるもので、背景とは、壁、地面といった動きのないものである。背景抽出部121は、前景情報を除いた背景情報のみを抽出することにより背景画像を生成する(S306)。
【0040】
背景抽出(背景画像の生成)を行うアルゴリズムの一例を示す。数フレームのカメラ撮像画像であるカメラ撮像画像群には、前景よりも背景の方に非常に多く情報が含まれていると仮定することが出来る。任意の個数存在する母集団から最頻値をとる最小二乗メディアン法を用いて、フレーム内で画素毎の最頻値を背景画素とすることにより、背景画像を生成する。
【0041】
背景抽出部121で抽出された背景画像から、色抽出部123が、例えばY(輝度)U、V(色)といった輝度信号を除いた色情報を取得する(S307)。変換された色情報は、背景画素の位置情報と対応付けて、参照テーブル124に格納される(S308)。
【0042】
図5は、参照テーブルの一例を示す。この参照テーブルは、カメラ110がNTSC準拠、色情報がYUV規格の場合の例で、位置は720×480、U,Vの範囲は、16から240の範囲が格納される。
【0043】
図6は、本発明の第1の実施の形態における動的なカメラ色補正装置の通常運用動作を説明するためのフロー図を示す。通常運用動作について図6を用いてその動作を説明する。カメラ110が、監視領域を撮像する(S600)。撮像画像は、色補正部120で色補正され(S601)、背景確認部122に入力される。
【0044】
背景確認部122は、差分法や動きベクトル法を用いて、入力された撮像画像から背景であるか前景であるか、画素単位で確認する(S602)。例えば、差分法を用いる場合、現在のフレームの撮像画像とその1つ前のフレームの撮像画像との差分を求めて、動き領域を抽出し、その動き領域以外を背景であるとする。
【0045】
背景確認部122で背景と確認された画素について、色抽出部123は、輝度信号を除いた色情報を取得する(S603)。色情報を取得するアルゴリズムは、ステップS307と同一である。抽出された色情報と、その画素の位置情報とは、色比較部125に送られる(S604)。
【0046】
色比較部125は、S604で送られてきた色情報と、参照テーブル124に格納されている色情報とを、位置情報に基づいて比較する(S605)。色情報の値が異なっている場合(S606)、日照変動等により、初期設定動作時に設定した色空間が変化したと判断され、色比較部125は、色補正部122に、色補正値変更命令と参照テーブル124の色情報と背景確認部122経由の色情報とを送信する(S606)。
【0047】
色補正部120は、参照テーブル124の色情報と背景確認部122経由の色情報とを基に、現時刻の背景色が初期設定動作時の背景色として出力されるように色補正パラメータを更新(変更)する(S607)。色情報の値が異なっていない場合(S606)、ステップS600に戻る。
【0048】
このような本発明の第1の実施の形態の動的なカメラ色補正装置によれば、背景抽出部121、色抽出部123で、初期設置時にカメラ110に撮像された背景の位置・色情報を参照テーブル124に保持し、背景確認部122、色抽出部123で、運用中のカメラ110の背景を抽出し、色比較部125で、日照変動により色空間が変化したか比較し、色補正部122で、色補正パラメータを更新することにより、カメラ110の設置環境や日照変動等の撮像環境の変化によらず自動的に撮像画像を適切に色補正することができる。
【0049】
(第2の実施の形態)
次に、本発明の第2の実施の形態の動的なカメラ色補正装置を説明する。図7は、本発明の第2の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図7において図1と共通する部分には同一の符号を付けてその説明を省略する。
【0050】
図7において、本実施の形態に係る動的なカメラ色補正装置700は、実施形態1で説明した色補正部120、背景抽出部121、背景確認部122、色抽出部123、参照テーブル124、色比較部125に加え、色補完部726を備えて構成される。
【0051】
以上のように構成された動的なカメラ色補正装置700について、初期運用動作と通常運用動作の2種類説明する。初期運用動作は、前述の図3のステップS300〜ステップS308と同一であるので、説明を省略する。
【0052】
通常運用動作について、図8、図9を用いて説明する。図8は、UV色空間と背景色をカメラ撮像した場合のUV値の一例である。また、図9は、本発明の第2の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図9のステップS900〜ステップS907は、前述した図6のステップS600〜ステップS607と同一であるので、説明を省略する。
【0053】
カメラ110で撮像されたUV色空間は、例えば、図2(b)に示すUV色空間220である。また、参照テーブル124に格納された背景画素のU,V値を、801a、802b、‥、801nとする。日照変動等により、背景画素の色801aが811aに変化したとする。
【0054】
色補完部726は、背景画素の色801a、802b、‥、801nの中から、背景画素の色801aと811aに近い色を探す(S908)。図8のように801bが近い場合、色補完部726は、色801aと801bを除いた、811a、801c、‥、801nを用いて色補完を行い、色補正パラメータを更新する(S909)
【0055】
以上のように本発明の第2の実施の形態の動的なカメラ色補正装置によれば、色補完部726で、変更された背景画素の色を用いて色補完を行い、色補正パラメータ全体を更新することにより、より精度の高い色補正をすることができる。
【0056】
(第3の実施の形態)
次に、本発明の第3の実施の形態の動的なカメラ色補正装置を説明する。図10は、本発明の第3の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図10において図1、図7と共通する部分には同一の符号を付けてその説明を省略する。
【0057】
図10において、本実施の形態に係る動的なカメラ色補正装置1000は、実施の形態1で説明した色補正部120、背景抽出部121、背景確認部122、色抽出部123、参照テーブル124、色比較部125と、実施の形態2で説明した色補完部726に加え、更新タイミング判別部1027を備えて構成される。
【0058】
以上のように構成された動的なカメラ色補正装置1000について、初期運用動作と通常運用動作の2種類を説明する。初期運用動作は、前述の図3のステップS300〜ステップS308と同一であるので、説明を省略する。
【0059】
通常運用動作について、図11、図12を用いて説明する。図11は、本発明の第3の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図11のステップS1100〜ステップS1109は、前述した図9のステップS900〜ステップS909と同一であるので、説明を省略する。また、図12は、ブロック分割した背景画像の一例を示す。
【0060】
更新タイミング判別部1027は、背景確認部122から入力された背景画像を図12のように、N×M個に矩形分割する(S1110)。なお、図12に示すN=4、M=4の16分割は、一例を示すものであって、N,Mの分割数を限定するものでない。更新タイミング判別部1027は、分割された各領域について、輝度値の平均を計算する(S1111)。
【0061】
通常運用動作1回目の場合、1回目の各領域の輝度値の平均を初期運用動作時の輝度値の平均として格納する(S1112)。更新タイミング判別部1027は、分割された各領域について、初期運用動作時の輝度値の平均と、現フレームの輝度値の平均を比較する(S1113)。
【0062】
輝度値に大きな変化があった場合(S1113:YES)、日照変動が発生したと判断し、ステップS1103〜ステップS1109の処理に進む。輝度値に大きな変化がない場合(S1113:NO)、日照変動が発生していないと判断し、ステップS1100に戻る。
【0063】
このような本発明の第3の実施の形態の動的なカメラ色補正装置によれば、更新タイミング判別部1027が、背景画像の輝度値を検出し、前記背景画像の輝度値と初期運用時の輝度値(基準となる輝度値)との差に応じて色比較部125を機能させるか否か判別し、初期運用時に比べ日照変動が多く発生したときのみ、色補正パラメータの更新を行うことで、色補正を行うCPUもしくはDSPの処理負荷を軽減することができる。なお、更新タイミング判別部は、色情報に基づいて、色比較部125を機能させるか否か判別してもよい。
【0064】
(第4の実施の形態)
次に、本発明の第4の実施の形態の動的なカメラ色補正装置を説明する。図13は、本発明の第4の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図13において図1、図7、図10と共通する部分には同一の符号を付けてその説明を省略する。
【0065】
図13において、本実施の形態に係る動的なカメラ色補正装置1300は、実施の形態1で説明した色補正部120、色抽出部123、参照テーブル124、色比較部125と、実施の形態2で説明した色補完部726と、実施の形態3で説明した更新タイミング判別部1027に加え、背景抽出部1321、背景確認部1322、バッファ1328、バッファ1329を備えて構成される。
【0066】
以上のように構成された動的なカメラ色補正装置1300について、初期運用動作と通常運用動作の2種類を説明する。まず、初期運用動作について図14、図15を用いてその動作を説明する。図14は、本発明の第4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図14のステップS1400〜ステップS1405は、前述した図3のステップS300〜ステップS305と同一であるので、説明を省略する。
【0067】
図15(a)は、現画像の一例であり、図15(b)および図15(c)は、背景画素の一例であり、図15(d)は、背景画素について時系列で作成したヒストグラムの一例である。図15(a)のように家の前に葉っぱが存在し、葉っぱが風などで揺れる場合、図15(a)の矩形画素には、図15(b)に示す葉っぱ、図15(c)に示す家の2種類の背景色が存在する。そのため、背景抽出部1321は、2種類の背景色を抽出する必要がある。
【0068】
以下、2種類の背景色を抽出するアルゴリズムの一例を説明する。色補正部120で色補正パラメータに基づき色補正された撮像画像は、バッファ1328に格納される(S1406)。背景抽出部1321は、時系列的に格納された撮像画像について各画素毎にヒストグラム(図15(d))を生成する(S1407)。生成されたヒストグラムから、例えば、Mixture of Gaussian法や閾値法などを用いて、頻度の高い輝度b(葉っぱの輝度)、輝度c(家の輝度)を抽出する(S1408)。 図15(d)では、横軸を輝度としたが、輝度に制限するものでなく色も含んでよい。
【0069】
色抽出部123は、輝度b、輝度cの各画素の位置情報と画素情報から、例えばY(輝度)U、V(色)といった輝度信号を除いた2つの色情報を取得する(S1409)。変換された色情報は、画素の位置情報と2つの色情報を対応付けて、参照テーブル124に格納される(S1410)。
【0070】
次に、通常運用動作について図16を用いて説明する。図16は、本発明の第4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図16のステップS1600〜ステップS1609は、前述した図9のステップS900〜ステップS909と同一であるので、説明を省略する。
【0071】
カメラ110で撮像された監視領域の画像は、バッファ1329に格納される(S1614)。背景確認部1322は、時系列的に格納された撮像画像について各画素毎にヒストグラム(図15(d))を生成する(S1615)。生成されたヒストグラムから、例えば、Mixture of Gaussian法や閾値法などを用いて、頻度の高い輝度b(葉っぱの輝度)、輝度c(家の輝度)を抽出する(S1616)。
【0072】
更新タイミング判別部1027は、背景画像を図12に示すように、N×M個に矩形分割する(S1617)。なお、図12のN=4、M=4の16分割は、一例を示すものであって、N,Mの分割数を限定するものでない。
【0073】
分割された各領域について、輝度bと輝度cの2種類の領域について、輝度値の平均を計算する(S1618)。通常運用動作1回目の場合、1回目の各領域の輝度値の平均を初期運用動作時の輝度値の平均として格納する(S1619)。分割された各領域について、初期運用動作時の2種類の輝度値の平均のそれぞれと、2種類の現フレームの輝度値の平均とを比較する(S1620)。
【0074】
比較した2種類の輝度値のどちらかに大きな変化があった場合(S1620:YES)、ステップS1603〜ステップS1609に進む。比較した2種類の輝度値のどちらかに大きな変化がない場合(S1620:NO)、ステップS1600に戻る。また、2種類の背景色を抽出するアルゴリズムを記載したが、2種類に制限するものではない。
【0075】
このような本発明の第4の実施の形態の動的なカメラ色補正装置によれば、背景抽出部1321と背景確認部1322で、複数の背景画素を抽出することにより、葉っぱや旗等の揺れが発生した場合であっても、精度よく色補正するができる。
【0076】
(第5の実施の形態)
次に、本発明の第5の実施の形態の動的なカメラ色補正装置を説明する。図17は、本発明の第5の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図17において図1、図7、図10、図13と共通する部分には同一の符号を付けてその説明を省略する。
【0077】
図17において、本実施の形態に係る動的なカメラ色補正装置1700は、実施の形態1で説明した色補正部120、色抽出部123、参照テーブル124、色比較部125と、実施の形態2で説明した色補完部726と、実施の形態3で説明した更新タイミング判別部1027と、実施の形態4で説明した背景抽出部1321、背景確認部1322、バッファ1328、バッファ1329に加え、背景変化確認部1730を備えて構成される。
【0078】
以上のように構成された動的なカメラ色補正装置1700について、初期運用動作と通常運用動作の2種類を説明する。初期運用動作は、前述の図14のステップS1400〜ステップS1410と同一であるので、説明を省略する。
【0079】
通常運用動作について、図18、図19を用いて説明する。図18および図19は、本発明の第5の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図18のステップS1800〜ステップS1820は、前述した図16のステップS1600〜ステップS1620と同一であるので、説明を省略する。
【0080】
背景確認部1322で抽出された背景画像(群)は、背景変化確認部1730に送られる。背景変化確認部1730は、1つ前のフレームの背景画像(群)と現在の背景画像(群)との差分を求める(S1821)。
【0081】
背景変化確認部1730は、1つ前のフレームの背景画像(群)に、現在の背景画像(群)を上書き保存する(S1822)。差分結果に大きさ差異が存在した場合(S1823:YES)、ステップS1904〜ステップS1910(図19参照)に進む。
【0082】
図19のステップS1904〜ステップS1910は、前述した図14のステップS1404〜ステップS1410と同一であるので、説明を省略する。差分結果に大きな差異が存在しない場合(S1823:NO)、ステップS1817〜ステップS1820、ステップS1803〜ステップS1809の処理に進む。
【0083】
このような本発明の第4の実施の形態の動的なカメラ色補正装置によれば、背景変化確認部1730で、1つ前のフレームの背景画像(群)と現在の背景画像(群)を比較することにより、背景画像に含まれている駐車車両等が移動した場合であっても、精度よく色補正することができる。
【0084】
(第6の実施の形態)
次に、本発明の第6の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図20は、本発明の第6の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図20において図1と共通する部分には同一の符号を付けてその説明を省略する。
【0085】
図20において、本実施の形態の映像検索装置は、カメラ110と、監視装置2000と、データベース(DB)2035、人物検索部2036、検索結果表示部2037、キーボード・マウス2038から構成される。
【0086】
監視装置2000は、上述した実施の形態1に係る動的なカメラ色補正装置100、動領域抽出部2031、人判別部2032、領域分割部2033、代表色算出部2034、から構成される。
【0087】
以上のように構成された本実施の形態6の映像検索装置について、蓄積動作、検索動作について説明する。まず、蓄積動作について、図21、図22を用いてその動作を説明する。図21は、本発明の第6の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。また、図22はその説明図である。なお、動的なカメラ色補正装置100の動作は、上述した実施の形態1の動作と同一であるので、説明を省略する。
【0088】
色補正部120が処理した撮像画像は、動領域抽出部2031に入力される(S2100)。動領域抽出部2031は、入力された撮像画像とあらかじめ保持する背景画像との差分値を算出する背景差分処理を行う(S2101)。
【0089】
次に、動領域抽出部2031は、撮像画像に動きがあるか否かを判別する(S2102)。具体的には、動領域抽出部2031は、S2102における背景差分処理において、差分値があらかじめ決められた値より大きな場合には映像に動きがあると判定し、そうでない場合には画像に動きがないと判定する。
【0090】
なお、動領域抽出部2031は、S2101において、背景差分処理以外の処理を行い、S2102において、その背景差分処理以外の処理の結果に応じて画像に動きがあるか否かを判定するようにしても良い。
【0091】
動領域抽出部2031に入力された撮像画像に対応する映像に動きがある場合には、動領域抽出部2031は、その映像内の動領域を抽出する(S2103)。更に、動領域抽出部2031は、動領域の撮像画像を、人判定部2032へ出力する。
【0092】
人判定部2032は、動領域抽出部2031からの動領域の撮像画像が入力されると、楕円ハフ処理を行う(S2104)。次に、人判定部2032は、動領域の撮像画像が人であることの条件を満たしているか否かを判定する(S2105)。
【0093】
具体的には、人判定部2032は、S2104における楕円ハフ処理によって、動領域内に人の顔らしい楕円形状の領域を検出することができた場合には、その動領域が人であることの条件を満たしていると判定する。また、人の顔らしい楕円形状の領域を検出することができなかった場合には、その動領域が人であることの条件を満たしていないと判定する。
【0094】
なお、人判定部2032は、S2104において、楕円ハフ処理以外の処理(例えば、蓄積対象動領域全体の形状、大きさ等を導出する処理)を行い、S2105において、その楕円ハフ処理以外の処理の結果に応じて動領域が人であることの条件を満たしているか否か判定するようにしても良い。
【0095】
動領域が人であることの条件を満たしていない場合(S2105:NO)には、ステップS2100に戻る。動領域が人であることの条件を満たしている場合(S2105:YES)には、人判定部2032は、動領域の撮像画像を、領域分割部2033へ出力する。
【0096】
領域分割部2033は、人判定部2032からの動領域撮像画像を複数のブロック領域に分割する(S2106)。例えば、領域分割部2033は、図22のように、頭、上半身、下半身、靴の4つに分割する。分割するアルゴリズムは、K−Mean法でも、反復型領域拡張法でもよい。なお、動領域の分割数やブロック領域の形状、分割アルゴリズムは特に限定されるものではない。
【0097】
領域分割部2033は、分割された各ブロック領域に対応する撮像画像を、代表色算出部2034へ出力する。代表色算出部2034は、各ブロック領域を所定の色変換アルゴリズム(例えば、RGB表色系を、HSV表色系やLab表色系、YUV表色系に変換する)で、各ブロック領域の代表色を算出する(S2107)。例えば、領域内の色の平均値や、最頻値、ヒストグラム全体でもよい。
【0098】
更に、代表色算出部2034は、各ブロック領域のテクスチャ情報を取得する(S2108)。例えば、2次元ガボール変換による空間ー周波数解析手法や、縦、横、斜め方向のエッジヒストグラムでも良い。
【0099】
次に、代表色算出部2034は、DB2035に代表色情報、テクスチャ情報を出力する。DB2035は、代表色情報、テクスチャ情報を蓄積する(S2109)。なお、DB2035は、代表色情報、テクスチャ情報に対応付けて、撮像したカメラ110の識別番号、撮像日時、サムネイル画像を蓄積するようにしてもよい。
【0100】
上述したステップS2100〜ステップS2109の処理が繰り返されることによって、DB2035には、複数の人物に対応する代表色情報、テクスチャ情報が蓄積される。
【0101】
次に、検索動作について、図23を用いて説明する。図23は、本発明の第6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。
【0102】
まず、ユーザがキーボード・マウス2038を介して、人物検索部2036に、人物検索命令を送信する(S2300)。人物検索命令は、例えば、DB2035に蓄積されたサムネイル画像でも、赤、青、黄色といった知覚代表11色でも、日時、カメラ110の識別番号でもよい。
【0103】
また、上半身が赤色で、下半身が黒と白のストライプのテクスチャをもち、2005年11月11日10時10分〜2005年11月11日20時45分の間に、カメラ番号1に撮像された人物を検索といった、絞込検索をしてもよい。
【0104】
人物検索部2036は、人物検索命令が入力されると、DB2035から人物検索命令に対応した人物に対応する代表色情報、テクスチャ情報を読み出す(S2301)。例えば、カメラ番号1の人物と人物検索命令が出ている場合、カメラ番号2に撮像された人物は読み出さない。
【0105】
次に、人物検索部2036は、読み出された人物に対応する代表色情報、テクスチャ情報を、人物検索命令に沿ってスコア算出する(S2302)。例えば、DB2035から人物A、人物B、人物Cの代表色情報、テクスチャ情報が読み出されたとする。また、人物検索命令が、人物Dの上半身の色と似ている人とする。
【0106】
人物Aの上半身の色情報を2次元座標(A1、A2)、人物Bの上半身の色情報を2次元座標(B1、B2)、人物Cの上半身の色情報を2次元座標(C1、C2)、人物Dの上半身の色情報を2次元座標(D1、D2)とすると、Dの座標と、A,B,Cの座標のユークリッド距離を算出する。なお、ユークリッド距離以外の手法で、スコア算出してもよい。
【0107】
次に、検索結果表示部2037は、人物検索部2036が算出したスコア順に、例えばサムネイル画像を表示する(S2303)。なお、監視装置2000は、動的なカメラ色補正装置100の代わりに、実施の形態2の動的なカメラ色補正装置700、実施の形態3の動的なカメラ色補正装置900、実施の形態4の動的なカメラ色補正装置1300、実施の形態5の動的なカメラ色補正装置1700を備えてもよい。
【0108】
なお、本実施の形態の監視装置2000において、動的なカメラ色補正装置100は、カメラ110内部に実装されてもよい。また、本実施の形態6の監視装置2000における動領域抽出部2031、人判定部2032、領域分割部2033、代表色算出部2034は、カメラ110内部に実装されてもよい。
【0109】
このような本発明の第6の実施の形態によれば、動的なカメラ色補正装置100で、動的に色補正を行うことにより、カメラの個体差、日照の変動等の影響を受けることなく、精度の良い人物検索をすることができる。
【0110】
(第7の実施の形態)
次に、本発明の第7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図24は、本発明の第7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図24において図1、図20と共通する部分には同一の符号を付けてその説明を省略する
【0111】
図24において、本実施の形態の映像検索装置は、カメラ110と、実施の形態6で説明した監視装置2000、DB2035、人物検索部2036、キーボード・マウス2038に加え、圧縮部2439、ストレージ2440、展開部2441、表示部2442を備えて構成される。
【0112】
監視装置2000は、上述した実施の形態1に係る動的なカメラ色補正装置100、上述した実施の形態6に係る動領域抽出部2031、人判別部2032、領域分割部2033、代表色算出部2034、から構成される。
【0113】
以上のように構成された本実施の形態7の映像検索装置について、DB蓄積動作、ストレージ蓄積動作、表示動作について説明する。蓄積動作は、前述の図21のステップS2100〜ステップS2109と同一であるので、説明を省略する。
【0114】
ストレージ蓄積動作について、図25を用いて説明する。図25は、本発明の第7の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。
【0115】
色補正部120は、色補正した撮像画像を、圧縮部2439に出力する(S2500)。圧縮部2439は、撮像画像を所定の圧縮方式で圧縮し(S2501)、圧縮された撮像画像はストレージ2440に蓄積される(S2502)。ここで、所定の圧縮方式としては、例えばMPEG(Movging Picture Experts Group)方式、JPEG(Joint Photographic Experts Group)方式等が用いられる。
【0116】
なお、ストレージ2440は、圧縮画像に対応付けて、撮像したカメラ110の識別番号、撮像日時を蓄積するようにしてもよい。上述したステップS2500〜ステップS2502の処理が繰り返されることによって、ストレージ2440に撮像画像が格納される。
【0117】
表示動作について、図26を用いて説明する。図26は、本発明の第7の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。ここで、図26のステップS2600〜ステップS2602は、前述した図23のステップS2300〜ステップS2302と同一であるので、説明を省略する。
【0118】
人物検索部2036によって算出された最上位のスコアの人物の画像を再生するよう、展開部2441に人物再生命令を送信する(S2603)。例えば、最上位のスコアが、2005年11月11日10時10分00秒にカメラ番号1で撮像された人物の場合、人物再生命令は、2005年11月11日10時10分00秒〜2005年11月11日10時11分00秒のカメラ番号1の圧縮画像を展開せよ、というようになる。
【0119】
展開部2441は、人物再生命令に従い、ストレージ2440から圧縮画像を読み出し(S2604)、所定の伸張方式で、伸張する(S2605)。ここで、所定の伸張方式は、圧縮部2439の圧縮方式と対応した伸張方式をとる。伸張された画像を、表示部2442で表示する(S2606)。
【0120】
なお、監視装置2000は、動的なカメラ色補正装置100の代わりに、実施の形態2の動的なカメラ色補正装置700、実施の形態3の動的なカメラ色補正装置900、実施の形態4の動的なカメラ色補正装置1300、実施の形態5の動的なカメラ色補正装置1700を備えてもよい。
【0121】
また、圧縮部2439にて、圧縮するフレームを選択し、間欠して圧縮しても良い。これにより、扱うデータ量を減らすことができる。また、動的なカメラ色補正装置100は、カメラ110内部に実装されてもよい。また、動領域抽出部2031、人判定部2032、領域分割部2033、代表色算出部2034は、カメラ110内部に実装されてもよい。
【0122】
このような本発明の第7の実施の形態によれば、動的なカメラ色補正装置100で、動的に色補正を行い、色補正された映像をストレージ2440に蓄積し、表示部2442で表示することで、カメラの個体差、日照の変動等の影響を受けることなく、所望の人物を映像再生することができる。
【0123】
(第8の実施の形態)
次に、本発明の第8の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図27は、本発明の第7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図27において図1、図20、図24と共通する部分には同一の符号を付けてその説明を省略する
【0124】
図27において、本実施の形態の映像検索装置は、カメラ110と、実施の形態6で説明した監視装置2000、表示部2442に加え、人物マッチング部2743、映像切替部2745を備えて構成される。
【0125】
監視装置2000は、上述した実施の形態1に係る動的なカメラ色補正装置100、上述した実施の形態6に係る動領域抽出部2031、人判別部2032、領域分割部2033、代表色算出部2034、から構成される。
【0126】
以上のように構成された本実施の形態8の映像検索装置について、図28を用いて説明する。図28は、本発明の第8の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。ここで、図28のステップS2800〜ステップS2808は、前述した図21のステップS2100〜ステップS2108と同一であるので、説明を省略する。
【0127】
代表色算出部2034で生成された人物の代表色情報、テクスチャ情報は、人物マッチング部2743に送られる。また、検索人物DB2744には、あらかじめ特定の人物の代表色情報、テクスチャ情報が格納されている。
【0128】
人物マッチング部2743は、検索人物DB2744に格納されている代表色情報、テクスチャ情報を読み出す(S2809)。検索人物DB2744から読み出された代表色情報、テクスチャ情報と、代表色算出部2034から送られた代表色情報、テクスチャ情報とを比較し(S2810)、同一人物であるか判別する。比較方法は、例えば、前述のスコア算出(S2302参照)で述べたユークリッド距離でも良い。
【0129】
同一人物である場合(S2811:YES)、その人物の代表色情報、テクスチャ情報を生成した代表色算出部2034に対応したカメラ識別番号にモニタ表示するよう、映像切替部2745にカメラ切替命令を送信する(S2812)。切り替えられた撮像画像を、表示部2442で表示する(S2813)。同一人物でない場合(S2811:NO)、ステップS2800に戻る。
【0130】
なお、監視装置2000は、動的なカメラ色補正装置100の代わりに、実施の形態2の動的なカメラ色補正装置700、実施の形態3の動的なカメラ色補正装置900、実施の形態4の動的なカメラ色補正装置1300、実施の形態5の動的なカメラ色補正装置1700を備えてもよい。
【0131】
また、動的なカメラ色補正装置100は、カメラ110内部に実装されてもよい。また、動領域抽出部2031、人判定部2032、領域分割部2033、代表色算出部2034は、カメラ110内部に実装されてもよい。
【0132】
このような本発明の第7の実施の形態によれば、動的なカメラ色補正装置100で、動的に色補正を行い、人物マッチング部2743で、あらかじめ検索人物DB2744に格納された人物かどうか比較し、同一人物の場合、映像切替部2745で、カメラ切替をすることにより、カメラの個体差、日照の変動等の影響を受けることなく、所望の人物がカメラ間を移動してもモニタリングすることができる。
【産業上の利用可能性】
【0133】
本発明は、カメラ設置環境、日照環境等といった撮像環境の変動に影響されることなく、画像の色を適切に補正できるという効果を有し、動的なカメラ色補正装置およびそれを用いた映像検索装置等に有用である。
【図面の簡単な説明】
【0134】
【図1】本発明の第1の実施の形態における動的なカメラ色補正装置のブロック図
【図2】本発明の第1の実施の形態におけるカラーチャートの模式図(a)、理論的なUV色空間とカラー化チャートの理論的なUV値の一例(b)、およびUV色空間とカラー化チャートをカメラ撮像した場合のUV値の一例(c)
【図3】本発明の第1の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図
【図4】本発明の第1の実施の形態における動的なカメラ色補正装置の色補正動作説明のための模式図
【図5】本発明の第1の実施の形態における動的なカメラ色補正装置の参照テーブルの一例
【図6】本発明の第1の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図
【図7】本発明の第2の実施の形態における動的なカメラ色補正装置のブロック図
【図8】本発明の第2の実施の形態におけるUV色空間と背景色をカメラ撮像した場合のUV値の一例(a)、およびUV色空間と背景色をカメラ撮像した場合のUV値の他の例(b)
【図9】本発明の第2の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図
【図10】本発明の第3の実施の形態における動的なカメラ色補正装置のブロック図
【図11】本発明の第3の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図
【図12】本発明の第3の実施の形態におけるブロック分割した背景画像の一例(a)、およびブロック分割した背景画像の一例(b)
【図13】本発明の第4の実施の形態における動的なカメラ色補正装置のブロック図
【図14】本発明の第4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図
【図15】本発明の第4の実施の形態における現画像の一例(a)、背景画素の一例(b)、背景画素一例(c)、および背景画素について時系列で作成したヒストグラムの一例(d)
【図16】本発明の第4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図
【図17】本発明の第5の実施の形態における動的なカメラ色補正装置のブロック図
【図18】本発明の第5の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図
【図19】本発明の第5の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図
【図20】本発明の第6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置のブロック図
【図21】本発明の第6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図
【図22】本発明の第6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のための模倣図
【図23】本発明の第6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図
【図24】本発明の第7の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置のブロック図
【図25】本発明の第7の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図
【図26】本発明の第7の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図
【図27】本発明の第8の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置のブロック図
【図28】本発明の第8の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図
【符号の説明】
【0135】
100、700、1000、1300、1700 動的なカメラ間色補正装置
2000 監視装置
110 カメラ
120 色補正部
121、1321 背景抽出部
122、1322 背景確認部
123 色抽出部
124 参照テーブル
125 色比較部
126、726 色補完部
1027 更新タイミング判別部
1328、1329 バッファ
1730 背景変化確認部
2031 動領域抽出部
2032 人判別部
2033 領域分割部
2034 代表色算出部
2035 DB
2036、2436 人物検索部
2037 検索結果表示部
2038 キーボード・マウス
2439 圧縮部
2440 ストレージ
2441 展開部
2442 表示部
2743 人物マッチング部
2744 検索人物DB
2745 映像切替部
200 カラーチャートの一例
210 理論的なUV色空間
211 カラーチャートのUV値の一例
220 カメラ撮像後のUV色空間
221 カメラ撮像後のカラーチャートのUV値の一例
400 カメラ撮像後のカラーチャート画像
401 色補正処理ブロック
402 色補正後のカラーチャート画像
800、810 カメラ撮像後のUV色空間
801、811 カメラ撮像後の背景色のUV値の一例

【特許請求の範囲】
【請求項1】
監視領域を撮像する撮像手段から入力される画像の色補正を行うカメラ色補正装置であって、
特定のカラーチャートから色補正パラメータを決定する色補完手段と、
前記色補正パラメータに基づいて、前記撮像手段が撮像した画像の色補正を行い色補正画像を出力する色補正手段と、
前記色補正画像から背景画像を抽出する背景抽出手段と、
前記背景画像が、背景か否かを確認する背景確認手段と、
前記確認された背景画像から色情報を抽出する色抽出手段と、
前記抽出された色情報が変化した場合に、前記色補正パラメータを変更させる色比較手段とを備える動的なカメラ色補正装置。
【請求項2】
前記背景画像の色情報を背景画像の位置情報と対応させて格納する参照テーブル手段を備える請求項1記載の動的なカメラ色補正装置。
【請求項3】
前記色補正手段は、前記色比較手段が変更する色補正パラメータに基づいて、全色空間の色補正パラメータを更新する請求項1記載の動的なカメラ色補正装置。
【請求項4】
前記背景画像の画素情報を検出し、前記背景画像の画素情報と基準となる画素情報との差に応じて、前記色比較手段を機能させるか否か判別する更新タイミング判別手段を備える請求項1記載の動的なカメラ色補正装置。
【請求項5】
前記更新タイミング判別手段は、前記背景画像を所定の領域に分割し、各領域の輝度値の平均を計算する請求項4記載の動的なカメラ色補正装置。
【請求項6】
前記色補正手段が補正した画像を格納する第1と第2のバッファを備え、
前記背景抽出手段は、前記第1のバッファに格納した画像から複数の背景画像群1を抽出し、
前記背景確認手段は、前記第2のバッファに格納した画像から複数の背景画像群2を抽出し、
前記色比較手段は、前記背景画像群1および背景画像群2の画素情報を検出し、前記背景画像群1および背景画像群2の画素情報の変化に基づいて前記色比較処理を行う請求項4記載の動的なカメラ色補正装置。
【請求項7】
前記背景抽出手段は、前記第1のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出し、
前記背景確認手段は、前記第2のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出する請求項6記載の動的なカメラ色補正装置。
【請求項8】
前記背景確認手段で確認した背景画像中の物体が移動したかどうかを確認する背景変化確認手段を備える請求項4記載の動的なカメラ色補正装置。
【請求項9】
前記背景変化確認手段は、1つ前のフレームの背景画像と現在の背景画像との差分を求める請求項8記載の動的なカメラ色補正装置。
【請求項10】
請求項1ないし9のいづれか一項記載の動的なカメラ色補正装置と、
前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、
前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、
前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、
前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、
前記代表色算出手段で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、
前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出する人物検索手段と、
前記人物検索手段で算出されたスコアを表示する検索結果表示手段とを備える映像検索装置。
【請求項11】
請求項1ないし9のいづれか一項記載の動的なカメラ色補正装置と、
前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、
前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、
前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、
前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、
前記代表色算出手段で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、
前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出し、特定のスコアの撮像画像を再生するよう再生命令を送信する人物検索手段と、
前記色補正手段で補正した撮像画像を所定の圧縮方式で圧縮する圧縮手段と、
前記圧縮手段で圧縮された撮像画像を格納するストレージと、
前記人物検索手段が送信した再生命令に基づき、前記ストレージに格納された前記圧縮手段で圧縮された撮像画像を読み出し、所定の伸張方式で伸張する展開手段と、
前記展開手段で展開された撮像画像を表示する表示手段とを備える映像検索装置。
【請求項12】
前記圧縮手段は、前記色補正手段で補正した撮像画像から任意のフレームを間欠し、所定の圧縮方式で圧縮する請求項11記載の映像検索装置。
【請求項13】
複数のカメラに接続される映像検索装置であって、
請求項1ないし9のいづれか一項記載の動的なカメラ色補正装置と、
前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、
前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、
前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、
前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、
特定の人物の色情報とテクスチャ情報とが格納された検索人物データベースと、
前記検索人物データベースに格納された色情報およびテクスチャ情報と、前記代表色算出手段で算出された色情報およびテクスチャ情報とを比較し、同一人物のものである場合、前記代表色算出手段が検出した人物が撮像されている前記色補正手段で補正した撮像画像を表示するようカメラ切替命令を送信する人物マッチング手段と、
前記人物マッチング手段が送信したカメラ切替命令に基づき、前記色補正手段で補正した撮像画像を撮像するカメラに切り替える映像切替手段と、
前記映像切替手段で切り替えられた前記色補正手段で補正した撮像画像をモニタ表示する表示手段とを備える映像検索装置。
【請求項14】
監視領域を撮像する撮像手段から入力された画像の色補正を色補正パラメータに基づいて行う色補正装置であって、
前記画像中の背景領域を抽出する手段と、
前記背景領域の色情報を抽出する手段と、
参照テーブル手段に格納されている、初期運用時における背景領域の色情報と、抽出した色情報とを比較する手段と、
比較結果に基づいて、前記色補正パラメータを変更する手段と、
を備える色補正装置。

【図1】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図2】
image rotate

【図22】
image rotate


【公開番号】特開2007−183872(P2007−183872A)
【公開日】平成19年7月19日(2007.7.19)
【国際特許分類】
【出願番号】特願2006−2625(P2006−2625)
【出願日】平成18年1月10日(2006.1.10)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】