画像調整パラメータを決定するための方法およびカメラ
【課題】画像調整パラメータを決定するための方法およびカメラを提供すること。
【解決手段】本発明は画像調整パラメータを決定する方法に関する。この方法は、画像ビューを表す複数の画像を受け取るステップと、前記複数の画像から特定の事象タイプの事象を検出するステップと、特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の場所を識別するステップと、前記識別された場所の各々の存在値を決定するステップであり、存在値が、前記識別された場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、ステップと、画像ビュー内の調整場所からのデータに基づいて画像調整パラメータを決定するステップであり、調整場所が画像ビュー内の複数の場所の各場所の存在値に基づいて決定される、ステップとを含む。本発明は、さらに、画像ビューを表す複数の画像を取り込み、画像調整パラメータを決定するように構成されたカメラ（２）に関する。
【解決手段】本発明は画像調整パラメータを決定する方法に関する。この方法は、画像ビューを表す複数の画像を受け取るステップと、前記複数の画像から特定の事象タイプの事象を検出するステップと、特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の場所を識別するステップと、前記識別された場所の各々の存在値を決定するステップであり、存在値が、前記識別された場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、ステップと、画像ビュー内の調整場所からのデータに基づいて画像調整パラメータを決定するステップであり、調整場所が画像ビュー内の複数の場所の各場所の存在値に基づいて決定される、ステップとを含む。本発明は、さらに、画像ビューを表す複数の画像を取り込み、画像調整パラメータを決定するように構成されたカメラ（２）に関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像調整パラメータを決定する方法に関する。本発明は、さらに、画像ビューを表す複数の画像を取り込み、画像調整パラメータを決定するためのカメラおよびカメラシステムに関する。
【背景技術】
【０００２】
カメラは、建築物、道路、店舗などをモニタするために一般に使用される。特に、カメラは、動きの存在、および／または人、車両、顔、ナンバープレートなどのような特定のタイプの物体の存在の形態の事象を検出および／または追跡するために情景をモニタするのに使用される。
【０００３】
カメラによってモニタされる事象のタイプに応じて、カメラのカメラ設定および／またはカメラによって取り込まれる画像データの処理は、モニタされるべき事象のタイプを最良に取り込むように調整される。例えば、米国特許出願公開第２００８／００４３１１２号によれば、取り込まれる画像に動きがない限り、長い露光時間が使用される。動きが検出されると、より短い露光時間への露光時間の切り替えが生じる。
【０００４】
上記は、モニタされるべき事象のタイプを最良に取り込むためのカメラ設定調整の１つの例にすぎない。しかし、特定のモニタ状況で最適画像品質を達成するためにカメラ設定および／または画像データ処理設定を調整する方法のさらなる改善が依然として必要とされる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００８／００４３１１２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述に鑑みて、本発明の目的は、特定のモニタ状況に対して最適画像品質を達成するために、カメラの設定および／またはカメラによって取り込まれた画像データの処理の設定などの画像調整パラメータの決定における改善を可能にすることである。
【課題を解決するための手段】
【０００７】
この目的と、さらに、以下の説明から明らかになる追加の目的とを達成するために、本発明は、請求項１に記載の画像調整パラメータを決定する方法と、請求項１０に記載の画像ビューを表す複数の画像を取り込み、画像調整パラメータを決定するように構成されたカメラとを提供する。本発明のさらなる実施形態は従属請求項で開示される。
【０００８】
特に、本発明の第１の態様によれば、画像調整パラメータを決定する方法が提供される。この方法は、画像ビューを表す複数の画像を受け取るステップと、前記複数の画像から特定の事象タイプの事象を検出するステップと、特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の場所を識別するステップと、前記識別された場所の各々の存在値を決定するステップであり、存在値が、前記識別された場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、ステップと、画像ビュー内の調整場所からのデータに基づいて画像調整パラメータを決定するステップであり、調整場所が画像ビュー内の複数の場所の各場所の存在値に基づいて決定される、ステップとを含む。
【０００９】
「画像調整パラメータ」という用語は、本出願の文脈では、カメラ設定、画像処理設定、またはそれらの組合せとして理解されるものとする。カメラ設定である画像調整パラメータは、非限定例として、カメラの焦点、露光時間、利得、絞り、または被写界深度の変更に関連するパラメータとすることができる。画像処理設定である画像調整パラメータは、非限定例として、配色、信号対雑音比、またはコントラストを変更するパラメータとすることができる。
【００１０】
「事象」という用語は、本出願の文脈では、動きの存在として、または人、車両、顔、ナンバープレートなどのような特定のタイプの物体の存在として理解されるものとする。したがって、「事象」という用語の解釈は状況および本発明の実施態様によって決まる。「事象」という用語は、画像内の変化を反映することができ、または静止物体の存在とすることができる。一般に、事象を表すのに使用されるデータは動き検出アルゴリズム（動き検出器）および／または物体追跡アルゴリズム（物体追跡器）からの出力データである。動き検出アルゴリズムまたは動き検出器は、通常、動きの存在の形態の事象を識別するために使用される。物体追跡アルゴリズムまたは物体追跡器は、通常、人、車両、顔、ナンバープレートなどのような特定の外観または形状を有する事象を識別するために使用される。事象は、通常、動きの存在、または特定のタイプの物体、例えば、人、車両、顔、またはナンバープレートなどの存在などの特定のタイプの事象に分類される。
【００１１】
「存在値」という用語は、本出願の文脈では、複数の画像内のすべての事象中で、画像ビュー内の特定の場所に存在すると決定される事象の出現の数を反映するものとして理解されるものとする。
【００１２】
「場所」という用語は、本出願の文脈では、複数の画像を取り込むように構成されているカメラの画像ビュー内の場所として理解されるべきである。場所は、画像ビュー内の座標として、例えば画素座標系を使用して表すことができるが、他の表示を使用することもできる。画像ビュー内の各場所のサイズおよび事象の範囲に応じて、事象は１つを超える場所にわたることがあり、したがって、１つの実施形態では、特定のタイプの事象の決定された存在により、１つを超える場所の存在がもたらされることがある。前記決定された場所の各々の存在値は３Ｄヒストグラムまたは頻度マップで表すことができる。したがって、３Ｄヒストグラムまたは頻度マップにおける場所に対応する各ビンは、特定のタイプの事象がその特定の場所で生じた回数を示す値を含む。代替として、存在値は、数式として、例えば、多項式である平面として表すことができ、各場所の存在値は特定の場所のこの多項式の値である。したがって、前記決定された場所の各々の存在値は、特定のタイプの事象が概して現れる場所、および、さらに、特定のタイプの事象が概して現れない場所を示す。これは、以下の例でさらに説明される。特定のタイプの事象が動きの存在を表している場合、および画像データを取り込むカメラが街角の雑貨店をモニタしている場合、最も高い存在値を示す場所は、一般に、人の動きが頻繁に検出されるレジ係および／またはある特定の棚への行列であろう。
【００１３】
これによれば、画像調整パラメータを決定する方法、特に、画像内で画像品質の改善が最も必要とされる場所での画像品質の改善を容易にする方法が達成される。例えば、カメラによってモニタされた情景の静止部分、すなわち、特定の事象タイプの事象の出現の数が低い、例えば、動きがない部分を隠すことによって、画像の興味ある部分が、情景の最も興味ある部分の画像品質の改善を達成するより良好でより最適化された方法で取り込みおよび／または処理されうる。例えば、前記決定された場所の各々の存在値を決定することによって、特定のタイプの事象が生じる確率が最も高い情景の部分にカメラが合焦するように、画像データを取り込むカメラの絞り設定を変更することが可能である。
【００１４】
就いては、存在値の低い場所は関連が少ないと見なされることになり、一方、存在値の高い場所は関連があると見なされることになる。画像のダイナミクスのために、最適化選択が行われる必要がある場合、これらの関連する場所が最適化のための中心となることになる。これにより、存在値の最も高い場所の画像品質が向上されることになる。
【００１５】
情景のうちの最も興味ある場所の画像品質を最適化することにより、すべての画像データを同じように処理する必要があるわけではない。これにより、例えば、プロセッサ容量および／または帯域幅を節約することができる。さらに、使用されるプロセッサ電力が少なくなるので、熱の生成を少なくすることができる。
【００１６】
前記識別された場所の存在値を決定するステップは、前記識別された場所の各々の既存の存在値を準備するステップと、前記識別された場所の各々の既存の存在値と、前記識別された場所の特定の事象タイプの検出された事象のさらなる出現の数を反映する新しい存在値とを総計するステップとを含むことができる。
【００１７】
調整場所は、閾値を超える存在値を有する画像ビュー中の１つまたは複数の場所として決定することができる。したがって、画像データの処理、および／またはこの先の画像を取り込むカメラのカメラ設定は、関連すると見なされる画像ビューの場所に対して最適化することができる。これの非限定の１つの実施態様は、関連の少ない部分を未処理形態で残し、関連すると見なされるカメラによってモニタされた情景の場所のみを処理するものである。これにより、この方法を実施するシステムでの処理が節約される。
【００１８】
特定の事象タイプの前記事象の前記場所は前記画像ビュー内の画素座標によって表すことができる。しかし、事象は画像ビュー中の１つを超える画素にわたることがあり、または代替として、１つを超える場所が特定のタイプの事象ごとに決定されうることが理解されるべきである。
【００１９】
前記画像データはパン機能および／またはチルト機能を有するカメラによって取り込むことができる。そうならば、特定の事象タイプの前記事象の前記場所は、前記カメラの現在のパン／チルト設定と一緒に前記複数の画像のうちの１つの内の画素座標によって表すことができる。パン／チルトカメラは移動するので、カメラのパン／チルト設定は、カメラによってモニタされる画像ビューにおける、事象が生じる場所を識別するのに役立つ。したがって、パン／チルトカメラによってモニタされる画像ビュー中のすべての場所の存在値を決定することができる。
【００２０】
この方法は、前記画像調整パラメータを使用することによって画像データの処理を調整するステップをさらに含むことができる。この調整は、通常、カメラによって取り込まれることになるこの先の画像データ、または既に記録された画像の処理に影響を及ぼすことである。調整されうる画像処理パラメータのいくつかの例は、配色、信号対雑音比、コントラストなどを変更するパラメータとすることができる。
【００２１】
前記画像データはカメラによって取り込むことができる。そうならば、この方法は、前記画像調整パラメータを使用することによって前記カメラのカメラ設定を調整するステップをさらに含む。
【００２２】
本発明の別の態様によれば、画像ビューを表す複数の画像に対応する画像データを取り込み、画像調整パラメータを決定するように構成されたカメラが提示される。カメラは、前記複数の画像から、特定の事象タイプの事象、ならびに特定のタイプの前記事象の各々が存在する画像ビュー内の場所を検出するように構成されている事象場所検出器と、画像ビュー内の前記場所の各々の存在値を決定するように構成されている存在値決定器であり、存在値が、画像ビュー内の前記場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、存在値決定器と、画像ビュー内の複数の場所の各場所の存在値に基づいて調整場所を決定するように構成されている調整場所決定器と、前記調整場所からのデータに基づいて画像調整パラメータを決定するように構成されている画像調整パラメータ決定器とを含む。
【００２３】
前記事象場所検出器、前記存在値決定器、前記調整場所決定器、および／または前記画像調整パラメータ決定器は、カメラのメモリに記憶され、カメラのプロセッサによって実行されるソフトウェアコードによって、カメラ内に存在するハードウェアユニットによって、またはそれらの組合せによって実施することができる。
【００２４】
カメラは、再合焦ユニット、露光時間設定ユニット、利得設定ユニット、絞り設定ユニット、および／または被写界深度設定ユニットを含むことができ、前記画像調整パラメータを使用して、前記カメラの前記再合焦ユニット、前記露光時間設定ユニット、前記利得設定ユニット、前記絞り設定ユニット、および／または前記被写界深度設定ユニットを調整する。
【００２５】
前記事象場所検出器は、動き検出器、物体追跡器、またはそれらの組合せとして実装することができる。
【００２６】
本発明のさらなる別の態様によれば、コンピュータ可読記録媒体が提示される。コンピュータ可読記録媒体は、処理機能を有するデバイスで実行されるとき本発明の上述の態様およびその実施形態による方法を実施するためのプログラムを記録している。
【００２７】
次に、本発明のこの態様および他の態様が、本発明の実施形態を示す添付図面を参照しながらより詳細に説明される。図面は本発明を特定の実施形態に限定するものと見なされるべきではない。むしろ、図面は本発明を説明および理解するために使用される。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態によるデジタルネットワークカメラの概略図である。
【図２】本発明の一実施形態による事象場所検出器の概略図である。
【図３】画像ビューの異なる場所の存在値の生成の簡単化した例を示す図である。
【図４】本発明の実施形態による方法を示す概略の流れ図である。
【発明を実施するための形態】
【００２９】
図１は本発明の一実施形態によるカメラ１の概略図を示す。カメラ１は、例えば、デジタルネットワークビデオカメラとすることができる。さらに、カメラ１は、固定カメラまたはパン／チルト機能を有するカメラとすることができる。本発明の理解を容易にするために、本発明に関連しないカメラの標準機構は説明されない。カメラ１は、ハウジング２、レンズ３、画像センサ４、事象場所検出器５、存在値決定器６、調整場所決定器７、画像調整パラメータ決定器８、メモリ９、再合焦ユニット１０、露光時間設定ユニット１１、利得設定ユニット１２、絞り設定ユニット１３、被写界深度設定ユニット１４、およびプロセッサ１５を含む。
【００３０】
プロセッサ１５は、カメラ１の他の構成要素のいずれかによって生成されるデータを処理および／または伝えるように構成される。
【００３１】
レンズ３および画像センサ４は、画像ビューを表す画像を取り込み、画像を事象場所検出器５にさらに送るように構成される。画像センサ４は、例えば、入射光を記録するための電荷結合デバイス（ＣＣＤ）、ＣＭＯＳセンサ、または類似のものとすることができる。代替として、画像センサ４はボロメータなど非可視光を記録するセンサとすることができる。
【００３２】
カメラ１の事象場所検出器５は、カメラ１によって取り込まれた複数の画像に対応する画像データを受け取るように構成される。事象場所検出器５は前記の複数の画像に対応する画像データを分析し、事象の存在を決定する。事象が存在する場合には、事象場所検出器５は、さらに、事象ごとに画像ビュー内の場所を決定するように構成される。さらに、事象場所検出器５は事象のタイプを決定するように構成される。事象のタイプは、動きの存在、および／または人、車両、顔、ナンバープレートなどのような特定のタイプの物体の存在である。
【００３３】
事象場所検出器５は、動き検出器１６、物体追跡器１７、またはそれらの組合せとして実装することができる。動き検出器１６および物体追跡器１７の両方を備える事象場所検出器５の一実施形態が図２に示される。
【００３４】
動き検出器１６は、カメラ１でモニタされた画像ビュー内の動きを検出および分析するように構成される。画像ビュー内の動きの存在は事象と見なすことができる。通常、映像シーケンスの形態の複数の画像に対応する画像データを分析して、動きの存在を決定する。動き検出の方法の例には、映像シーケンスの画像量の時空間変化を分析することが含まれる。
【００３５】
物体追跡器１７は、人、車両、顔、ナンバープレートなどのような特定のタイプの物体の存在を検出するように構成される。物体追跡器１７は、カメラ１によって取り込まれた画像中の目に見えるフィーチャを分析することに基づいて物体を識別する方法を使用することによって実施することができる。パターンまたはフィーチャ検出のための異なるタイプの方法を、例えば、物体検出に使用することができる。動きの代わりに目に見えるフィーチャを分析する場合、識別されるべき物体が動いているか、または止まっているかは重要ではない。特定の外観を有し、検出される事前定義されたタイプの物体は、例えば、人、車両、顔、ナンバープレートなど、すなわち、目に見えるフィーチャを使用して他の事象から区別されうる任意のタイプの物体とすることができる。上述の方法および他のタイプの同様の方法の組合せをさらに使用して、異なる事象タイプの事象の存在の識別または認識を改善することができる。
【００３６】
検出された事象の場所はカメラ１の画像ビュー内の場所である。各場所のサイズおよび事象の範囲に応じて、事象は、通常、１つを超える場所にわたり、したがって、事象の決定された存在により、通常、１つを超える場所での出現がもたらされることになる。
【００３７】
本発明の１つの実施形態によれば、カメラによってモニタされた情景内の各場所はカメラの画像ビュー内の画素によって表される。
【００３８】
本発明の別の実施形態によれば、カメラによってモニタされた情景内の各場所は、カメラのパン／チルト設定と一緒に、場所、例えばカメラの現在の画像ビュー内の画素（すなわち、前記複数の画像のうちの１つの内の画素座標によって表される）によって表される。これはパン／チルト機能を有するカメラに適用することができる。したがって、パン／チルトカメラによってモニタされた画像ビュー内の場所を決定することができる。
【００３９】
存在値決定器６は事象場所検出器５からのデータを受け取るように構成される。データは、事象の画像ビュー内の前記場所および／または事象のタイプに関する情報を含む。事象に関する情報は、例えば、事象が動きの存在であるかどうか、または事象が特定の物体、例えば顔であるかどうかである。存在値決定器６は、さらに、データを分析して画像ビュー内の前記場所の各々の存在値を決定するように構成される。存在値は画像ビュー内の前記場所のうちの１つの特定の事象タイプの事象のいくつかの出現を反映するように形成される。各場所のサイズおよび事象の範囲に応じて、事象は１つを超える場所で生じることがある。存在値は３Ｄヒストグラムまたは頻度マップで表すことができる。したがって、３Ｄヒストグラムまたは頻度マップにおける場所に対応する各ビンは、特定のタイプの事象が画像ビュー内のその特定の場所に出現した回数を示す値を含む。したがって、存在値は、特定のタイプの事象が概して現れる場所、および、さらに、特定のタイプの事象が概して現れない場所を示す。例えば、カメラ１が道路およびその周囲の環境をモニタする場合、存在値決定器６は、自動車の存在の場所を含むデータを事象場所検出器５から受け取る。存在値決定器６はデータを分析して、カメラ１によってモニタされた画像ビューの場所の各々における自動車の出現の数を決定する。自動車の出現の数が、カメラによってモニタされた情景のいくつかの場所で増加するとき、これらの場所内の存在値も増加する。これを目に見えるように記述する方法は、場所ごとの出現の数を３Ｄヒストグラムまたは頻度マップにプロットすることによるものである。道路および自動車を使用して示された例では、道路を表す場所は、かなりの数の事象を分析した後で出現の数が最大になる可能性が高いことになる。
【００４０】
図３は、例えば、４つの画素である各４つの場所を有する画像ビューを表す４つの画像の簡単な例を示す。特定の事象タイプの事象がすべての４つの画像で見いだされた。その特定のタイプの事象はすべての４つの画像で同じ特定の事象から生じている。しかし、その特定の事象タイプの事象は様々な画像では異なる特定の事象から生じることがあることが了解されよう。４つの画像が分析されるとき、４つの場所の各々の対応する存在値が総計される。上で述べたように、存在値は３Ｄヒストグラムまたは頻度マップとして表すことができる。しかし、存在値は、さらに、数式として、例えば、多項式である平面として表すことができ、各場所の存在値は特定の場所のこの多項式の値である。
【００４１】
本発明の１つの実施形態によれば、存在値決定器６は、より多くの画像データが取り込まれるにつれて時間とともに存在値を動的に更新するように構成される。更新は様々な方法で開始することができる。１つの例によれば、更新は、ある一定の量の画像データが取り込まれたとき開始される。別の例によれば、更新は、ある一定の期間が最後の更新から経過したことによって開始される。更新は、例えば、存在値決定器６が、新しく取り込まれ分析された画像から生じる事象に関するデータを既に存在する存在値に単に加えるように構成されることとすることができる。別の例によれば、存在値決定器６は古い事象を削除することによって存在値を更新するように構成される。さらなる実施形態によれば、新しく取り込まれ分析された画像から生じる事象に関するデータが既に存在する存在値に加えられ、古い事象に対応するデータが存在値から削除される。
【００４２】
調整場所決定器７は、画像ビューの場所の存在値を分析して調整場所を決定するように構成される。調整場所は、閾値を超える存在値を有する画像ビュー中の１つまたは複数の場所として決定される。事象の出現が低い、閾値未満である場所は関連が少ないと見なされることになり、一方、事象の出現が高い、閾値を超える場所は関連すると見なされることになる。
【００４３】
画像調整パラメータ決定器８は、前記調整場所からのデータに基づいて画像調整パラメータを決定するように構成される。受け取ったデータに基づいて、画像調整パラメータ決定器８は、画像調整パラメータの変更に関して処置が講じられるべきかどうかを決定する。再度、上述の道路および自動車による例を使用して、画像調整パラメータ決定器８は、道路が、モニタするべき最も関連する区域であることを見いだすことができ、道路のモニタリングを最適化するのに使用されるべき１つまたは複数の画像調整パラメータを決定することになる。
【００４４】
画像調整パラメータ決定器８は、カメラ自体の設定の変更、カメラによって取り込まれた画像データの処理で用いられたパラメータの変更、またはそれらの組合せを行うように構成される。カメラの設定の変更は、例えば、再合焦ユニット１０、露光時間設定ユニット１１、利得設定ユニット１２、絞り設定ユニット１３、および／または被写界深度設定ユニット１４における変更とすることができる。この変更は、取り込まれるべき画像に影響を与えることになる。カメラによって取り込まれた画像データの処理で使用されるパラメータの変更は、例えば、配色、信号対雑音比、またはコントラストを制御するパラメータの変更とすることができる。
【００４５】
調整場所決定器７によって決定された関連の少ない場所および関連する場所に関する情報を使用して、画像調整パラメータ決定器８は、関連する場所に対して最適化される画像調整パラメータを決定するように構成される。そうすることによって、画像調整パラメータを使用して、カメラ設定、または関連すると見なされるカメラによってモニタされた画像ビューの場所、すなわち、履歴に基づいて、事象が存在する確率が最も高い場所の画像データの処理を最適化することができる。したがって、事象が今後存在する可能性の最も高い場所の情景の表示を最適化することができることになる。
【００４６】
事象場所検出器５、存在値決定器６、調整場所決定器７、および／または画像調整パラメータ決定器８はハードウェアまたはソフトウェアを使用して実施することができることが了解されよう。ソフトウェアで実施される場合、ソフトウェアは、カメラ１のプロセッサ１５によって実行されるようにコンピュータ可読記録媒体、例えば、カメラ１のメモリ９に記録することができる。
【００４７】
図４は、本発明に従って画像調整パラメータを決定する方法の一実施形態による概略の流れ図を示す。この方法は、画像ビューを表す複数の画像を受け取るステップ１００と、前記複数の画像から特定の事象タイプの事象を検出するステップ１０２と、特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の場所を識別するステップ１０４と、前記識別された場所の各々の存在値を決定するステップ１０６であり、存在値が、前記識別された場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、ステップ１０６と、画像ビュー内の調整場所からのデータに基づいて画像調整パラメータを決定するステップ１０８であり、調整場所が画像ビュー内の複数の場所の各場所の存在値に基づいて決定される、ステップ１０８とを含む。
【００４８】
ステップ１０２の間に、受け取った画像は分析され、特定のタイプの事象が検出される。事象は、動きの存在として、または人、車両、顔、ナンバープレートなどのような特定の外観を有する物体として表すことができる。動きの存在は、一般に、動き検出アルゴリズムを介して識別され、一方、特定の外観を有する物体の存在は、一般に、物体追跡アルゴリズムを介して識別される。
【００４９】
特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の場所を識別するステップ１０４によって、複数の画像を取り込むように構成されているカメラによってモニタされた画像ビュー内の場所が決定される。各場所のサイズおよび事象の範囲に応じて、事象は１つを超える場所にわたることがあり、したがって、事象の決定された存在により、通常、１つを超える場所の存在値がもたらされることになる。各々の識別された事象の場所は、事象を含む１つの画像／複数の画像の画素の座標として決定することができる。これは、前記複数の画像が固定カメラによって取り込まれるときの一般的な状況である。前記複数の画像がパン／チルト機能を有するカメラによって取り込まれるときの状況では、各事象の場所は、一般に、カメラのパン／チルト設定と組み合わされた、事象を含む画像の座標系内の場所として記述される。このように、パン／チルトカメラによって担当された画像ビュー内の場所を推定することができる。
【００５０】
ステップ１０６の間に、ステップ１０２および１０４からの情報が分析され、画像ビューの前記場所の各々の存在値が決定される。したがって、存在値は、特定のタイプの事象が概して現れる場所、および、さらに、特定のタイプの事象が概して現れない場所を示す。
【００５１】
本発明の１つの実施形態によれば、前記識別された場所の各々の存在値を決定するステップ１０６は、前記識別された場所の各々の特定の事象タイプの事象の出現の数を総計するステップを含む。
【００５２】
ステップ１０８の間に、前記画像調整パラメータは画像ビュー内の調整場所からのデータに基づいて決定される。画像調整パラメータは、複数の画像を取り込むのに使用されるカメラのカメラ設定を調整する１１０ａ、画像データの処理で使用されるパラメータを調整する１１０ｂ、またはそれらの組合せを行うのに使用することができる。カメラ設定における調整は、例えば、カメラの合焦、露光時間、利得、絞り、被写界深度などに影響を与える調整とすることができる。この調整は、取り込まれるべき画像に影響を与えることになる。カメラによって取り込まれた画像データの処理で使用されるパラメータの調整は、例えば、配色、信号対雑音比、コントラストなどを制御するパラメータの調整とすることができる。この調整は、処理されるべき新しい画像に影響を与えることになる。既に処理された画像のフォーマットに応じて、画像調整パラメータをさらに使用して、既に処理されている画像を再処理することができる。
【００５３】
追加のステップとして、存在値は、その特定のタイプのさらなる事象が識別されたとき更新される。更新が適時に行われる１つの実施形態によれば、更新は様々な方法で行うことができる。すなわち、第１に、さらなる複数の画像が所定の期間の間収集され、第２に、さらなる複数の画像の各々が特定のタイプの事象を含むかどうかが検査され、第３に、そうである場合、特定のタイプの前記事象の場所が決定される。次に、画像ビュー中の場所の存在値が、さらなる事象に関して新しく集められた情報により更新される。その後、画像調整パラメータが、前記更新された存在値に基づいて更新される。代替として、更新は「オンザフライ」で行われる、すなわち、画像が取り込まれているときに、画像が分析され、存在値が更新される。
【００５４】
本発明の１つの実施形態によれば、前記識別された場所の存在値を決定するステップは、前記識別された場所の各々の既存の存在値を準備するステップと、前記識別された場所の各々の既存の存在値と、前記識別された場所の特定の事象タイプの検出された事象のさらなる出現の数を反映する新しい存在値とを総計するステップとを含む。これは、既に存在する存在値を更新する方法の一例である。
【００５５】
当業者ならば、本発明が上述の実施形態に決して限定されないことを了解されよう。
【００５６】
例えば、本発明はデジタルおよびアナログカメラの両方に適用することができる。最近のインテリジェントアナログカメラでは、デジタル画像処理がカメラ内で実行され、次に、デジタル信号はカメラを出る前にアナログ信号に変換される。さらに、アナログカメラに接続される画像Ａ／Ｄ変換器を使用して、より簡単なアナログカメラを使用することができる。
【００５７】
さらに、カメラ１は、ネットワークに接続する、独立型カメラとする、または他の方法でシステム内に接続することができる。
【００５８】
さらに、複数の画像は、静止画像もしくは動画像、またはそれらの組合せとすることができる。
【００５９】
さらに、本発明はカメラで実施する必要はなく、代りに、カメラと処理ユニットとを含むカメラシステムで実施することができる。したがって、カメラは、例えばネットワークを介して、処理ユニットに接続される。この実施形態によれば、カメラは前記画像データを構築する複数の画像を取り込むように構成され、処理ユニットは画像データを処理するように構成される。したがって、処理ユニットは、前記事象場所検出器５、前記存在値決定器６、前記調整場所決定器７、および前記画像調整パラメータ決定器８を含む。処理ユニットは、修正されたカメラ設定の形態の画像調整パラメータをカメラに送り返すように構成することができ、または処理ユニット内もしくは他のところで使用される画像処理設定である画像調整パラメータを決定することができる。複数のカメラを処理ユニットに接続することができ、処理ユニットは複数のカメラの各々のものによって取り込まれた画像を処理するように構成される。
【００６０】
したがって、多くの変更および改変が添付の特許請求の範囲の範囲内で可能である。
【符号の説明】
【００６１】
１ カメラ
２ ハウジング
３ レンズ
４ 画像センサ
５ 事象場所検出器
６ 存在値決定器
７ 調整場所決定器
８ 画像調整パラメータ決定器
９ メモリ
１０ 再合焦ユニット
１１ 露光時間設定ユニット
１２ 利得設定ユニット
１３ 絞り設定ユニット
１４ 被写界深度設定ユニット
１５ プロセッサ
１６ 動き検出器
１７ 物体追跡器
【技術分野】
【０００１】
本発明は画像調整パラメータを決定する方法に関する。本発明は、さらに、画像ビューを表す複数の画像を取り込み、画像調整パラメータを決定するためのカメラおよびカメラシステムに関する。
【背景技術】
【０００２】
カメラは、建築物、道路、店舗などをモニタするために一般に使用される。特に、カメラは、動きの存在、および／または人、車両、顔、ナンバープレートなどのような特定のタイプの物体の存在の形態の事象を検出および／または追跡するために情景をモニタするのに使用される。
【０００３】
カメラによってモニタされる事象のタイプに応じて、カメラのカメラ設定および／またはカメラによって取り込まれる画像データの処理は、モニタされるべき事象のタイプを最良に取り込むように調整される。例えば、米国特許出願公開第２００８／００４３１１２号によれば、取り込まれる画像に動きがない限り、長い露光時間が使用される。動きが検出されると、より短い露光時間への露光時間の切り替えが生じる。
【０００４】
上記は、モニタされるべき事象のタイプを最良に取り込むためのカメラ設定調整の１つの例にすぎない。しかし、特定のモニタ状況で最適画像品質を達成するためにカメラ設定および／または画像データ処理設定を調整する方法のさらなる改善が依然として必要とされる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００８／００４３１１２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述に鑑みて、本発明の目的は、特定のモニタ状況に対して最適画像品質を達成するために、カメラの設定および／またはカメラによって取り込まれた画像データの処理の設定などの画像調整パラメータの決定における改善を可能にすることである。
【課題を解決するための手段】
【０００７】
この目的と、さらに、以下の説明から明らかになる追加の目的とを達成するために、本発明は、請求項１に記載の画像調整パラメータを決定する方法と、請求項１０に記載の画像ビューを表す複数の画像を取り込み、画像調整パラメータを決定するように構成されたカメラとを提供する。本発明のさらなる実施形態は従属請求項で開示される。
【０００８】
特に、本発明の第１の態様によれば、画像調整パラメータを決定する方法が提供される。この方法は、画像ビューを表す複数の画像を受け取るステップと、前記複数の画像から特定の事象タイプの事象を検出するステップと、特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の場所を識別するステップと、前記識別された場所の各々の存在値を決定するステップであり、存在値が、前記識別された場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、ステップと、画像ビュー内の調整場所からのデータに基づいて画像調整パラメータを決定するステップであり、調整場所が画像ビュー内の複数の場所の各場所の存在値に基づいて決定される、ステップとを含む。
【０００９】
「画像調整パラメータ」という用語は、本出願の文脈では、カメラ設定、画像処理設定、またはそれらの組合せとして理解されるものとする。カメラ設定である画像調整パラメータは、非限定例として、カメラの焦点、露光時間、利得、絞り、または被写界深度の変更に関連するパラメータとすることができる。画像処理設定である画像調整パラメータは、非限定例として、配色、信号対雑音比、またはコントラストを変更するパラメータとすることができる。
【００１０】
「事象」という用語は、本出願の文脈では、動きの存在として、または人、車両、顔、ナンバープレートなどのような特定のタイプの物体の存在として理解されるものとする。したがって、「事象」という用語の解釈は状況および本発明の実施態様によって決まる。「事象」という用語は、画像内の変化を反映することができ、または静止物体の存在とすることができる。一般に、事象を表すのに使用されるデータは動き検出アルゴリズム（動き検出器）および／または物体追跡アルゴリズム（物体追跡器）からの出力データである。動き検出アルゴリズムまたは動き検出器は、通常、動きの存在の形態の事象を識別するために使用される。物体追跡アルゴリズムまたは物体追跡器は、通常、人、車両、顔、ナンバープレートなどのような特定の外観または形状を有する事象を識別するために使用される。事象は、通常、動きの存在、または特定のタイプの物体、例えば、人、車両、顔、またはナンバープレートなどの存在などの特定のタイプの事象に分類される。
【００１１】
「存在値」という用語は、本出願の文脈では、複数の画像内のすべての事象中で、画像ビュー内の特定の場所に存在すると決定される事象の出現の数を反映するものとして理解されるものとする。
【００１２】
「場所」という用語は、本出願の文脈では、複数の画像を取り込むように構成されているカメラの画像ビュー内の場所として理解されるべきである。場所は、画像ビュー内の座標として、例えば画素座標系を使用して表すことができるが、他の表示を使用することもできる。画像ビュー内の各場所のサイズおよび事象の範囲に応じて、事象は１つを超える場所にわたることがあり、したがって、１つの実施形態では、特定のタイプの事象の決定された存在により、１つを超える場所の存在がもたらされることがある。前記決定された場所の各々の存在値は３Ｄヒストグラムまたは頻度マップで表すことができる。したがって、３Ｄヒストグラムまたは頻度マップにおける場所に対応する各ビンは、特定のタイプの事象がその特定の場所で生じた回数を示す値を含む。代替として、存在値は、数式として、例えば、多項式である平面として表すことができ、各場所の存在値は特定の場所のこの多項式の値である。したがって、前記決定された場所の各々の存在値は、特定のタイプの事象が概して現れる場所、および、さらに、特定のタイプの事象が概して現れない場所を示す。これは、以下の例でさらに説明される。特定のタイプの事象が動きの存在を表している場合、および画像データを取り込むカメラが街角の雑貨店をモニタしている場合、最も高い存在値を示す場所は、一般に、人の動きが頻繁に検出されるレジ係および／またはある特定の棚への行列であろう。
【００１３】
これによれば、画像調整パラメータを決定する方法、特に、画像内で画像品質の改善が最も必要とされる場所での画像品質の改善を容易にする方法が達成される。例えば、カメラによってモニタされた情景の静止部分、すなわち、特定の事象タイプの事象の出現の数が低い、例えば、動きがない部分を隠すことによって、画像の興味ある部分が、情景の最も興味ある部分の画像品質の改善を達成するより良好でより最適化された方法で取り込みおよび／または処理されうる。例えば、前記決定された場所の各々の存在値を決定することによって、特定のタイプの事象が生じる確率が最も高い情景の部分にカメラが合焦するように、画像データを取り込むカメラの絞り設定を変更することが可能である。
【００１４】
就いては、存在値の低い場所は関連が少ないと見なされることになり、一方、存在値の高い場所は関連があると見なされることになる。画像のダイナミクスのために、最適化選択が行われる必要がある場合、これらの関連する場所が最適化のための中心となることになる。これにより、存在値の最も高い場所の画像品質が向上されることになる。
【００１５】
情景のうちの最も興味ある場所の画像品質を最適化することにより、すべての画像データを同じように処理する必要があるわけではない。これにより、例えば、プロセッサ容量および／または帯域幅を節約することができる。さらに、使用されるプロセッサ電力が少なくなるので、熱の生成を少なくすることができる。
【００１６】
前記識別された場所の存在値を決定するステップは、前記識別された場所の各々の既存の存在値を準備するステップと、前記識別された場所の各々の既存の存在値と、前記識別された場所の特定の事象タイプの検出された事象のさらなる出現の数を反映する新しい存在値とを総計するステップとを含むことができる。
【００１７】
調整場所は、閾値を超える存在値を有する画像ビュー中の１つまたは複数の場所として決定することができる。したがって、画像データの処理、および／またはこの先の画像を取り込むカメラのカメラ設定は、関連すると見なされる画像ビューの場所に対して最適化することができる。これの非限定の１つの実施態様は、関連の少ない部分を未処理形態で残し、関連すると見なされるカメラによってモニタされた情景の場所のみを処理するものである。これにより、この方法を実施するシステムでの処理が節約される。
【００１８】
特定の事象タイプの前記事象の前記場所は前記画像ビュー内の画素座標によって表すことができる。しかし、事象は画像ビュー中の１つを超える画素にわたることがあり、または代替として、１つを超える場所が特定のタイプの事象ごとに決定されうることが理解されるべきである。
【００１９】
前記画像データはパン機能および／またはチルト機能を有するカメラによって取り込むことができる。そうならば、特定の事象タイプの前記事象の前記場所は、前記カメラの現在のパン／チルト設定と一緒に前記複数の画像のうちの１つの内の画素座標によって表すことができる。パン／チルトカメラは移動するので、カメラのパン／チルト設定は、カメラによってモニタされる画像ビューにおける、事象が生じる場所を識別するのに役立つ。したがって、パン／チルトカメラによってモニタされる画像ビュー中のすべての場所の存在値を決定することができる。
【００２０】
この方法は、前記画像調整パラメータを使用することによって画像データの処理を調整するステップをさらに含むことができる。この調整は、通常、カメラによって取り込まれることになるこの先の画像データ、または既に記録された画像の処理に影響を及ぼすことである。調整されうる画像処理パラメータのいくつかの例は、配色、信号対雑音比、コントラストなどを変更するパラメータとすることができる。
【００２１】
前記画像データはカメラによって取り込むことができる。そうならば、この方法は、前記画像調整パラメータを使用することによって前記カメラのカメラ設定を調整するステップをさらに含む。
【００２２】
本発明の別の態様によれば、画像ビューを表す複数の画像に対応する画像データを取り込み、画像調整パラメータを決定するように構成されたカメラが提示される。カメラは、前記複数の画像から、特定の事象タイプの事象、ならびに特定のタイプの前記事象の各々が存在する画像ビュー内の場所を検出するように構成されている事象場所検出器と、画像ビュー内の前記場所の各々の存在値を決定するように構成されている存在値決定器であり、存在値が、画像ビュー内の前記場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、存在値決定器と、画像ビュー内の複数の場所の各場所の存在値に基づいて調整場所を決定するように構成されている調整場所決定器と、前記調整場所からのデータに基づいて画像調整パラメータを決定するように構成されている画像調整パラメータ決定器とを含む。
【００２３】
前記事象場所検出器、前記存在値決定器、前記調整場所決定器、および／または前記画像調整パラメータ決定器は、カメラのメモリに記憶され、カメラのプロセッサによって実行されるソフトウェアコードによって、カメラ内に存在するハードウェアユニットによって、またはそれらの組合せによって実施することができる。
【００２４】
カメラは、再合焦ユニット、露光時間設定ユニット、利得設定ユニット、絞り設定ユニット、および／または被写界深度設定ユニットを含むことができ、前記画像調整パラメータを使用して、前記カメラの前記再合焦ユニット、前記露光時間設定ユニット、前記利得設定ユニット、前記絞り設定ユニット、および／または前記被写界深度設定ユニットを調整する。
【００２５】
前記事象場所検出器は、動き検出器、物体追跡器、またはそれらの組合せとして実装することができる。
【００２６】
本発明のさらなる別の態様によれば、コンピュータ可読記録媒体が提示される。コンピュータ可読記録媒体は、処理機能を有するデバイスで実行されるとき本発明の上述の態様およびその実施形態による方法を実施するためのプログラムを記録している。
【００２７】
次に、本発明のこの態様および他の態様が、本発明の実施形態を示す添付図面を参照しながらより詳細に説明される。図面は本発明を特定の実施形態に限定するものと見なされるべきではない。むしろ、図面は本発明を説明および理解するために使用される。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態によるデジタルネットワークカメラの概略図である。
【図２】本発明の一実施形態による事象場所検出器の概略図である。
【図３】画像ビューの異なる場所の存在値の生成の簡単化した例を示す図である。
【図４】本発明の実施形態による方法を示す概略の流れ図である。
【発明を実施するための形態】
【００２９】
図１は本発明の一実施形態によるカメラ１の概略図を示す。カメラ１は、例えば、デジタルネットワークビデオカメラとすることができる。さらに、カメラ１は、固定カメラまたはパン／チルト機能を有するカメラとすることができる。本発明の理解を容易にするために、本発明に関連しないカメラの標準機構は説明されない。カメラ１は、ハウジング２、レンズ３、画像センサ４、事象場所検出器５、存在値決定器６、調整場所決定器７、画像調整パラメータ決定器８、メモリ９、再合焦ユニット１０、露光時間設定ユニット１１、利得設定ユニット１２、絞り設定ユニット１３、被写界深度設定ユニット１４、およびプロセッサ１５を含む。
【００３０】
プロセッサ１５は、カメラ１の他の構成要素のいずれかによって生成されるデータを処理および／または伝えるように構成される。
【００３１】
レンズ３および画像センサ４は、画像ビューを表す画像を取り込み、画像を事象場所検出器５にさらに送るように構成される。画像センサ４は、例えば、入射光を記録するための電荷結合デバイス（ＣＣＤ）、ＣＭＯＳセンサ、または類似のものとすることができる。代替として、画像センサ４はボロメータなど非可視光を記録するセンサとすることができる。
【００３２】
カメラ１の事象場所検出器５は、カメラ１によって取り込まれた複数の画像に対応する画像データを受け取るように構成される。事象場所検出器５は前記の複数の画像に対応する画像データを分析し、事象の存在を決定する。事象が存在する場合には、事象場所検出器５は、さらに、事象ごとに画像ビュー内の場所を決定するように構成される。さらに、事象場所検出器５は事象のタイプを決定するように構成される。事象のタイプは、動きの存在、および／または人、車両、顔、ナンバープレートなどのような特定のタイプの物体の存在である。
【００３３】
事象場所検出器５は、動き検出器１６、物体追跡器１７、またはそれらの組合せとして実装することができる。動き検出器１６および物体追跡器１７の両方を備える事象場所検出器５の一実施形態が図２に示される。
【００３４】
動き検出器１６は、カメラ１でモニタされた画像ビュー内の動きを検出および分析するように構成される。画像ビュー内の動きの存在は事象と見なすことができる。通常、映像シーケンスの形態の複数の画像に対応する画像データを分析して、動きの存在を決定する。動き検出の方法の例には、映像シーケンスの画像量の時空間変化を分析することが含まれる。
【００３５】
物体追跡器１７は、人、車両、顔、ナンバープレートなどのような特定のタイプの物体の存在を検出するように構成される。物体追跡器１７は、カメラ１によって取り込まれた画像中の目に見えるフィーチャを分析することに基づいて物体を識別する方法を使用することによって実施することができる。パターンまたはフィーチャ検出のための異なるタイプの方法を、例えば、物体検出に使用することができる。動きの代わりに目に見えるフィーチャを分析する場合、識別されるべき物体が動いているか、または止まっているかは重要ではない。特定の外観を有し、検出される事前定義されたタイプの物体は、例えば、人、車両、顔、ナンバープレートなど、すなわち、目に見えるフィーチャを使用して他の事象から区別されうる任意のタイプの物体とすることができる。上述の方法および他のタイプの同様の方法の組合せをさらに使用して、異なる事象タイプの事象の存在の識別または認識を改善することができる。
【００３６】
検出された事象の場所はカメラ１の画像ビュー内の場所である。各場所のサイズおよび事象の範囲に応じて、事象は、通常、１つを超える場所にわたり、したがって、事象の決定された存在により、通常、１つを超える場所での出現がもたらされることになる。
【００３７】
本発明の１つの実施形態によれば、カメラによってモニタされた情景内の各場所はカメラの画像ビュー内の画素によって表される。
【００３８】
本発明の別の実施形態によれば、カメラによってモニタされた情景内の各場所は、カメラのパン／チルト設定と一緒に、場所、例えばカメラの現在の画像ビュー内の画素（すなわち、前記複数の画像のうちの１つの内の画素座標によって表される）によって表される。これはパン／チルト機能を有するカメラに適用することができる。したがって、パン／チルトカメラによってモニタされた画像ビュー内の場所を決定することができる。
【００３９】
存在値決定器６は事象場所検出器５からのデータを受け取るように構成される。データは、事象の画像ビュー内の前記場所および／または事象のタイプに関する情報を含む。事象に関する情報は、例えば、事象が動きの存在であるかどうか、または事象が特定の物体、例えば顔であるかどうかである。存在値決定器６は、さらに、データを分析して画像ビュー内の前記場所の各々の存在値を決定するように構成される。存在値は画像ビュー内の前記場所のうちの１つの特定の事象タイプの事象のいくつかの出現を反映するように形成される。各場所のサイズおよび事象の範囲に応じて、事象は１つを超える場所で生じることがある。存在値は３Ｄヒストグラムまたは頻度マップで表すことができる。したがって、３Ｄヒストグラムまたは頻度マップにおける場所に対応する各ビンは、特定のタイプの事象が画像ビュー内のその特定の場所に出現した回数を示す値を含む。したがって、存在値は、特定のタイプの事象が概して現れる場所、および、さらに、特定のタイプの事象が概して現れない場所を示す。例えば、カメラ１が道路およびその周囲の環境をモニタする場合、存在値決定器６は、自動車の存在の場所を含むデータを事象場所検出器５から受け取る。存在値決定器６はデータを分析して、カメラ１によってモニタされた画像ビューの場所の各々における自動車の出現の数を決定する。自動車の出現の数が、カメラによってモニタされた情景のいくつかの場所で増加するとき、これらの場所内の存在値も増加する。これを目に見えるように記述する方法は、場所ごとの出現の数を３Ｄヒストグラムまたは頻度マップにプロットすることによるものである。道路および自動車を使用して示された例では、道路を表す場所は、かなりの数の事象を分析した後で出現の数が最大になる可能性が高いことになる。
【００４０】
図３は、例えば、４つの画素である各４つの場所を有する画像ビューを表す４つの画像の簡単な例を示す。特定の事象タイプの事象がすべての４つの画像で見いだされた。その特定のタイプの事象はすべての４つの画像で同じ特定の事象から生じている。しかし、その特定の事象タイプの事象は様々な画像では異なる特定の事象から生じることがあることが了解されよう。４つの画像が分析されるとき、４つの場所の各々の対応する存在値が総計される。上で述べたように、存在値は３Ｄヒストグラムまたは頻度マップとして表すことができる。しかし、存在値は、さらに、数式として、例えば、多項式である平面として表すことができ、各場所の存在値は特定の場所のこの多項式の値である。
【００４１】
本発明の１つの実施形態によれば、存在値決定器６は、より多くの画像データが取り込まれるにつれて時間とともに存在値を動的に更新するように構成される。更新は様々な方法で開始することができる。１つの例によれば、更新は、ある一定の量の画像データが取り込まれたとき開始される。別の例によれば、更新は、ある一定の期間が最後の更新から経過したことによって開始される。更新は、例えば、存在値決定器６が、新しく取り込まれ分析された画像から生じる事象に関するデータを既に存在する存在値に単に加えるように構成されることとすることができる。別の例によれば、存在値決定器６は古い事象を削除することによって存在値を更新するように構成される。さらなる実施形態によれば、新しく取り込まれ分析された画像から生じる事象に関するデータが既に存在する存在値に加えられ、古い事象に対応するデータが存在値から削除される。
【００４２】
調整場所決定器７は、画像ビューの場所の存在値を分析して調整場所を決定するように構成される。調整場所は、閾値を超える存在値を有する画像ビュー中の１つまたは複数の場所として決定される。事象の出現が低い、閾値未満である場所は関連が少ないと見なされることになり、一方、事象の出現が高い、閾値を超える場所は関連すると見なされることになる。
【００４３】
画像調整パラメータ決定器８は、前記調整場所からのデータに基づいて画像調整パラメータを決定するように構成される。受け取ったデータに基づいて、画像調整パラメータ決定器８は、画像調整パラメータの変更に関して処置が講じられるべきかどうかを決定する。再度、上述の道路および自動車による例を使用して、画像調整パラメータ決定器８は、道路が、モニタするべき最も関連する区域であることを見いだすことができ、道路のモニタリングを最適化するのに使用されるべき１つまたは複数の画像調整パラメータを決定することになる。
【００４４】
画像調整パラメータ決定器８は、カメラ自体の設定の変更、カメラによって取り込まれた画像データの処理で用いられたパラメータの変更、またはそれらの組合せを行うように構成される。カメラの設定の変更は、例えば、再合焦ユニット１０、露光時間設定ユニット１１、利得設定ユニット１２、絞り設定ユニット１３、および／または被写界深度設定ユニット１４における変更とすることができる。この変更は、取り込まれるべき画像に影響を与えることになる。カメラによって取り込まれた画像データの処理で使用されるパラメータの変更は、例えば、配色、信号対雑音比、またはコントラストを制御するパラメータの変更とすることができる。
【００４５】
調整場所決定器７によって決定された関連の少ない場所および関連する場所に関する情報を使用して、画像調整パラメータ決定器８は、関連する場所に対して最適化される画像調整パラメータを決定するように構成される。そうすることによって、画像調整パラメータを使用して、カメラ設定、または関連すると見なされるカメラによってモニタされた画像ビューの場所、すなわち、履歴に基づいて、事象が存在する確率が最も高い場所の画像データの処理を最適化することができる。したがって、事象が今後存在する可能性の最も高い場所の情景の表示を最適化することができることになる。
【００４６】
事象場所検出器５、存在値決定器６、調整場所決定器７、および／または画像調整パラメータ決定器８はハードウェアまたはソフトウェアを使用して実施することができることが了解されよう。ソフトウェアで実施される場合、ソフトウェアは、カメラ１のプロセッサ１５によって実行されるようにコンピュータ可読記録媒体、例えば、カメラ１のメモリ９に記録することができる。
【００４７】
図４は、本発明に従って画像調整パラメータを決定する方法の一実施形態による概略の流れ図を示す。この方法は、画像ビューを表す複数の画像を受け取るステップ１００と、前記複数の画像から特定の事象タイプの事象を検出するステップ１０２と、特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の場所を識別するステップ１０４と、前記識別された場所の各々の存在値を決定するステップ１０６であり、存在値が、前記識別された場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、ステップ１０６と、画像ビュー内の調整場所からのデータに基づいて画像調整パラメータを決定するステップ１０８であり、調整場所が画像ビュー内の複数の場所の各場所の存在値に基づいて決定される、ステップ１０８とを含む。
【００４８】
ステップ１０２の間に、受け取った画像は分析され、特定のタイプの事象が検出される。事象は、動きの存在として、または人、車両、顔、ナンバープレートなどのような特定の外観を有する物体として表すことができる。動きの存在は、一般に、動き検出アルゴリズムを介して識別され、一方、特定の外観を有する物体の存在は、一般に、物体追跡アルゴリズムを介して識別される。
【００４９】
特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の場所を識別するステップ１０４によって、複数の画像を取り込むように構成されているカメラによってモニタされた画像ビュー内の場所が決定される。各場所のサイズおよび事象の範囲に応じて、事象は１つを超える場所にわたることがあり、したがって、事象の決定された存在により、通常、１つを超える場所の存在値がもたらされることになる。各々の識別された事象の場所は、事象を含む１つの画像／複数の画像の画素の座標として決定することができる。これは、前記複数の画像が固定カメラによって取り込まれるときの一般的な状況である。前記複数の画像がパン／チルト機能を有するカメラによって取り込まれるときの状況では、各事象の場所は、一般に、カメラのパン／チルト設定と組み合わされた、事象を含む画像の座標系内の場所として記述される。このように、パン／チルトカメラによって担当された画像ビュー内の場所を推定することができる。
【００５０】
ステップ１０６の間に、ステップ１０２および１０４からの情報が分析され、画像ビューの前記場所の各々の存在値が決定される。したがって、存在値は、特定のタイプの事象が概して現れる場所、および、さらに、特定のタイプの事象が概して現れない場所を示す。
【００５１】
本発明の１つの実施形態によれば、前記識別された場所の各々の存在値を決定するステップ１０６は、前記識別された場所の各々の特定の事象タイプの事象の出現の数を総計するステップを含む。
【００５２】
ステップ１０８の間に、前記画像調整パラメータは画像ビュー内の調整場所からのデータに基づいて決定される。画像調整パラメータは、複数の画像を取り込むのに使用されるカメラのカメラ設定を調整する１１０ａ、画像データの処理で使用されるパラメータを調整する１１０ｂ、またはそれらの組合せを行うのに使用することができる。カメラ設定における調整は、例えば、カメラの合焦、露光時間、利得、絞り、被写界深度などに影響を与える調整とすることができる。この調整は、取り込まれるべき画像に影響を与えることになる。カメラによって取り込まれた画像データの処理で使用されるパラメータの調整は、例えば、配色、信号対雑音比、コントラストなどを制御するパラメータの調整とすることができる。この調整は、処理されるべき新しい画像に影響を与えることになる。既に処理された画像のフォーマットに応じて、画像調整パラメータをさらに使用して、既に処理されている画像を再処理することができる。
【００５３】
追加のステップとして、存在値は、その特定のタイプのさらなる事象が識別されたとき更新される。更新が適時に行われる１つの実施形態によれば、更新は様々な方法で行うことができる。すなわち、第１に、さらなる複数の画像が所定の期間の間収集され、第２に、さらなる複数の画像の各々が特定のタイプの事象を含むかどうかが検査され、第３に、そうである場合、特定のタイプの前記事象の場所が決定される。次に、画像ビュー中の場所の存在値が、さらなる事象に関して新しく集められた情報により更新される。その後、画像調整パラメータが、前記更新された存在値に基づいて更新される。代替として、更新は「オンザフライ」で行われる、すなわち、画像が取り込まれているときに、画像が分析され、存在値が更新される。
【００５４】
本発明の１つの実施形態によれば、前記識別された場所の存在値を決定するステップは、前記識別された場所の各々の既存の存在値を準備するステップと、前記識別された場所の各々の既存の存在値と、前記識別された場所の特定の事象タイプの検出された事象のさらなる出現の数を反映する新しい存在値とを総計するステップとを含む。これは、既に存在する存在値を更新する方法の一例である。
【００５５】
当業者ならば、本発明が上述の実施形態に決して限定されないことを了解されよう。
【００５６】
例えば、本発明はデジタルおよびアナログカメラの両方に適用することができる。最近のインテリジェントアナログカメラでは、デジタル画像処理がカメラ内で実行され、次に、デジタル信号はカメラを出る前にアナログ信号に変換される。さらに、アナログカメラに接続される画像Ａ／Ｄ変換器を使用して、より簡単なアナログカメラを使用することができる。
【００５７】
さらに、カメラ１は、ネットワークに接続する、独立型カメラとする、または他の方法でシステム内に接続することができる。
【００５８】
さらに、複数の画像は、静止画像もしくは動画像、またはそれらの組合せとすることができる。
【００５９】
さらに、本発明はカメラで実施する必要はなく、代りに、カメラと処理ユニットとを含むカメラシステムで実施することができる。したがって、カメラは、例えばネットワークを介して、処理ユニットに接続される。この実施形態によれば、カメラは前記画像データを構築する複数の画像を取り込むように構成され、処理ユニットは画像データを処理するように構成される。したがって、処理ユニットは、前記事象場所検出器５、前記存在値決定器６、前記調整場所決定器７、および前記画像調整パラメータ決定器８を含む。処理ユニットは、修正されたカメラ設定の形態の画像調整パラメータをカメラに送り返すように構成することができ、または処理ユニット内もしくは他のところで使用される画像処理設定である画像調整パラメータを決定することができる。複数のカメラを処理ユニットに接続することができ、処理ユニットは複数のカメラの各々のものによって取り込まれた画像を処理するように構成される。
【００６０】
したがって、多くの変更および改変が添付の特許請求の範囲の範囲内で可能である。
【符号の説明】
【００６１】
１ カメラ
２ ハウジング
３ レンズ
４ 画像センサ
５ 事象場所検出器
６ 存在値決定器
７ 調整場所決定器
８ 画像調整パラメータ決定器
９ メモリ
１０ 再合焦ユニット
１１ 露光時間設定ユニット
１２ 利得設定ユニット
１３ 絞り設定ユニット
１４ 被写界深度設定ユニット
１５ プロセッサ
１６ 動き検出器
１７ 物体追跡器
【特許請求の範囲】
【請求項１】
カメラ設定および／または画像処理設定などの画像調整パラメータを決定するときに使用されるべき画像ビューの一部を決定する方法であって、
画像ビューを表す複数の画像を受け取るステップ（１００）と、
前記複数の画像から特定の事象タイプの事象を検出するステップ（１０２）であり、特定の事象タイプの事象が動きの存在および／または特定の外観を有する物体の存在である、ステップ（１０２）と
を含み、
特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の画素座標によって表される場所を識別するステップ（１０４）と、
前記識別された場所の各々の存在値を決定するステップ（１０６）であり、存在値が、前記識別された場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、ステップ（１０６）と、
閾値を超える存在値を有する画像ビュー中の識別された場所の１つまたは複数として画像ビューの一部を決定するステップと
を含むことを特徴とする方法。
【請求項２】
前記識別された場所の存在値を決定するステップ（１０６）が、
前記識別された場所の各々の既存の存在値を準備するステップと、
前記識別された場所の各々の既存の存在値と、前記識別された場所の特定の事象タイプの検出された事象のさらなる出現の数を反映する新しい存在値とを総計するステップと
を含む、請求項１に記載の方法。
【請求項３】
前記画像データがパン機能および／またはチルト機能を有するカメラによって取り込まれ、特定の事象タイプの前記事象の前記場所が、前記カメラの現在のパン／チルト設定と一緒に前記複数の画像の１つの内の画素座標によって表される、請求項１または２に記載の方法。
【請求項４】
前記画像調整パラメータを使用することによって画像データの処理を調整するステップ（１１０ｂ）をさらに含む、請求項１ないし３のいずれか一項に記載の方法。
【請求項５】
前記画像データがカメラによって取り込まれ、方法が前記画像調整パラメータを使用することによって前記カメラのカメラ設定を調整するステップ（１１０ａ）をさらに含む、請求項１ないし３のいずれか一項に記載の方法。
【請求項６】
画像ビューを表す複数の画像を取り込み、カメラ設定および／または画像処理設定などの画像調整パラメータを決定するときに使用されるべき画像ビューの一部を決定するように構成されたカメラ（１）であって、
前記複数の画像から特定の事象タイプの事象を検出するように構成されている事象場所検出器（５）であり、特定の事象タイプの事象が動きの存在および／または特定の外観を有する物体の存在であり、事象場所検出器は、特定のタイプの前記事象の各々が存在する画像ビュー内の画素座標によって表される場所を検出するようにさらに構成されることを特徴とする事象場所検出器（５）と、
画像ビュー内の前記場所の各々の存在値を決定するように構成されている存在値決定器（６）であり、存在値が、画像ビュー内の前記場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、存在値決定器（６）と、
閾値を超える存在値を有する画像ビュー内の検出された場所の１つまたは複数として画像ビューの一部を決定するように構成されている調整場所決定器（７）と、
調整場所からのデータを受け取るように構成されている画像調整パラメータ決定器（８）と
を含む、カメラ（１）。
【請求項７】
前記事象場所検出器（５）、前記存在値決定器（６）、前記調整場所決定器（７）、および／または前記画像調整パラメータ決定器（８）が、カメラのメモリ（９）に記憶され、カメラ（１）のプロセッサ（１５）によって実行されるソフトウェアコードによって、カメラ（１）内に存在するハードウェアユニットによって、またはそれらの組合せによって実施される、請求項６に記載のカメラ（１）。
【請求項８】
再合焦ユニット（１０）、露光時間設定ユニット（１１）、利得設定ユニット（１２）、絞り設定ユニット（１３）、および／または被写界深度設定ユニット（１４）をさらに含み、前記画像調整パラメータを使用して、前記カメラ（１）の前記再合焦ユニット（１０）、露光時間設定ユニット（１１）、利得設定ユニット（１２）、絞り設定ユニット（１３）、および／または被写界深度設定ユニット（１４）を調整する、請求項６または７に記載のカメラ（１）。
【請求項９】
前記事象場所検出器（５）が、動き検出器（１６）、物体追跡器（１７）、またはそれらの組合せとして実装される、請求項６ないし８のいずれか一項に記載のカメラ（１）。
【請求項１０】
処理機能を有するデバイスで実行されるとき請求項１ないし５のいずれか一項に記載の方法を実施するためのプログラムを記録しているコンピュータ可読記録媒体。
【請求項１】
カメラ設定および／または画像処理設定などの画像調整パラメータを決定するときに使用されるべき画像ビューの一部を決定する方法であって、
画像ビューを表す複数の画像を受け取るステップ（１００）と、
前記複数の画像から特定の事象タイプの事象を検出するステップ（１０２）であり、特定の事象タイプの事象が動きの存在および／または特定の外観を有する物体の存在である、ステップ（１０２）と
を含み、
特定の事象タイプの事象ごとに、特定のタイプの前記事象が存在する画像ビュー内の画素座標によって表される場所を識別するステップ（１０４）と、
前記識別された場所の各々の存在値を決定するステップ（１０６）であり、存在値が、前記識別された場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、ステップ（１０６）と、
閾値を超える存在値を有する画像ビュー中の識別された場所の１つまたは複数として画像ビューの一部を決定するステップと
を含むことを特徴とする方法。
【請求項２】
前記識別された場所の存在値を決定するステップ（１０６）が、
前記識別された場所の各々の既存の存在値を準備するステップと、
前記識別された場所の各々の既存の存在値と、前記識別された場所の特定の事象タイプの検出された事象のさらなる出現の数を反映する新しい存在値とを総計するステップと
を含む、請求項１に記載の方法。
【請求項３】
前記画像データがパン機能および／またはチルト機能を有するカメラによって取り込まれ、特定の事象タイプの前記事象の前記場所が、前記カメラの現在のパン／チルト設定と一緒に前記複数の画像の１つの内の画素座標によって表される、請求項１または２に記載の方法。
【請求項４】
前記画像調整パラメータを使用することによって画像データの処理を調整するステップ（１１０ｂ）をさらに含む、請求項１ないし３のいずれか一項に記載の方法。
【請求項５】
前記画像データがカメラによって取り込まれ、方法が前記画像調整パラメータを使用することによって前記カメラのカメラ設定を調整するステップ（１１０ａ）をさらに含む、請求項１ないし３のいずれか一項に記載の方法。
【請求項６】
画像ビューを表す複数の画像を取り込み、カメラ設定および／または画像処理設定などの画像調整パラメータを決定するときに使用されるべき画像ビューの一部を決定するように構成されたカメラ（１）であって、
前記複数の画像から特定の事象タイプの事象を検出するように構成されている事象場所検出器（５）であり、特定の事象タイプの事象が動きの存在および／または特定の外観を有する物体の存在であり、事象場所検出器は、特定のタイプの前記事象の各々が存在する画像ビュー内の画素座標によって表される場所を検出するようにさらに構成されることを特徴とする事象場所検出器（５）と、
画像ビュー内の前記場所の各々の存在値を決定するように構成されている存在値決定器（６）であり、存在値が、画像ビュー内の前記場所のうちの１つにおける特定の事象タイプの事象のいくつかの出現を反映するように形成される、存在値決定器（６）と、
閾値を超える存在値を有する画像ビュー内の検出された場所の１つまたは複数として画像ビューの一部を決定するように構成されている調整場所決定器（７）と、
調整場所からのデータを受け取るように構成されている画像調整パラメータ決定器（８）と
を含む、カメラ（１）。
【請求項７】
前記事象場所検出器（５）、前記存在値決定器（６）、前記調整場所決定器（７）、および／または前記画像調整パラメータ決定器（８）が、カメラのメモリ（９）に記憶され、カメラ（１）のプロセッサ（１５）によって実行されるソフトウェアコードによって、カメラ（１）内に存在するハードウェアユニットによって、またはそれらの組合せによって実施される、請求項６に記載のカメラ（１）。
【請求項８】
再合焦ユニット（１０）、露光時間設定ユニット（１１）、利得設定ユニット（１２）、絞り設定ユニット（１３）、および／または被写界深度設定ユニット（１４）をさらに含み、前記画像調整パラメータを使用して、前記カメラ（１）の前記再合焦ユニット（１０）、露光時間設定ユニット（１１）、利得設定ユニット（１２）、絞り設定ユニット（１３）、および／または被写界深度設定ユニット（１４）を調整する、請求項６または７に記載のカメラ（１）。
【請求項９】
前記事象場所検出器（５）が、動き検出器（１６）、物体追跡器（１７）、またはそれらの組合せとして実装される、請求項６ないし８のいずれか一項に記載のカメラ（１）。
【請求項１０】
処理機能を有するデバイスで実行されるとき請求項１ないし５のいずれか一項に記載の方法を実施するためのプログラムを記録しているコンピュータ可読記録媒体。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−３１１６７（Ｐ２０１３−３１１６７Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１５４３３４（Ｐ２０１２−１５４３３４）
【出願日】平成２４年７月１０日（２０１２．７．１０）
【出願人】（５０２２０８２０５）アクシス アーベー (39)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１２−１５４３３４（Ｐ２０１２−１５４３３４）
【出願日】平成２４年７月１０日（２０１２．７．１０）
【出願人】（５０２２０８２０５）アクシス アーベー (39)
【Ｆターム（参考）】
[ Back to top ]