夜景光源検知装置及び夜景光源検知方法
【課題】本発明は、夜景中ある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知装置及び夜景光源検知方法を提供する。
【解決手段】該夜景光源検知装置は、入力画像中の各画素の画素値を取得する画素値取得手段と、入力画像の平均の補正後輝度値及び高い補正後輝度値の領域の面積を２つの夜景特徴として抽出する夜景特徴抽出手段と、抽出した２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知手段と、夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知手段と、特定色の検知結果に基づき、夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断手段とを備える。
【解決手段】該夜景光源検知装置は、入力画像中の各画素の画素値を取得する画素値取得手段と、入力画像の平均の補正後輝度値及び高い補正後輝度値の領域の面積を２つの夜景特徴として抽出する夜景特徴抽出手段と、抽出した２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知手段と、夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知手段と、特定色の検知結果に基づき、夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かを判断する夜景光源検知装置及び夜景光源検知方法に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラのような結像装置による撮像工程においては、通常、夜景中のある特定の光源の照射のもとで、誤ったホワイトバランスが発生し、画像カラーの歪みの原因となっている。このため、夜景光源検知は、デジタルカメラやビデオカメラ等の結像装置の知能場面識別及び自動ホワイトバランス制御等の機能に用いられる。
【０００３】
米国特許公開公報ＵＳ２００９０１５３６９５（特許文献１参照）には、撮像画像の平均輝度値が所定の閾値未満で、かつハイライト領域の面積と全画像面積の比例値が所定の閾値を超えると、該画像を夜景画像と判断する夜景検知方法が提案されている。
【０００４】
米国特許公開公報ＵＳ２００９０１８５０５５（特許文献２参照）には夜景検知方法が提案されており、主に１）輝度ヒストグラムにおける中間値に対応する輝度値、２）輝度ヒストグラムのピーク値、３）輝度ヒストグラムの底部の幅、４）露光不足部分の全輝度ヒストグラムにおける割合、５）輝度ヒストグラムの左半部分の割合、６）解析により得られた２値化閾値、の以下の６つの特徴が用いられている。
【０００５】
前述の従来の夜景検知技術に一般に存在する問題としては、単純な夜景検知のみでは、撮像時に必要な、露光時間、感度、絞りの設定といった撮像パラメータ情報しか提供できないということである。しかしながら、通常、夜景には異なる光源が存在しており、これらによって、誤ったホワイトバランスが生じ、画像のカラーの歪みに繋がってしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来技術における前述の課題を鑑みてなされたもので、本発明は、画像処理及びモード識別に関し、画像が夜景中のある特定の光源の照射のもとで撮像されたものかを判断する夜景光源検知装置及び夜景光源検知方法を提供する。本発明の夜景光源検知装置及び夜景光源検知方法は、例えば、デジタルカメラ、ビデオカメラ等のような結像装置に用いることができ、画像が夜景中のある特定の光源の照射のもとで撮像されたかを自動判別することができる。
【課題を解決するための手段】
【０００７】
本発明の一の態様によると、夜景中のある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知装置であって、入力画像中の各画素の画素値を取得する画素値取得手段と、前記画素値取得手段に接続され、前記画素値取得手段により取得された入力画像中の各画素の画素値に基づき、入力画像の平均の補正後輝度値と高い補正後輝度値の領域面積を２つの夜景特徴として抽出する夜景特徴抽出手段と、前記夜景特徴抽出手段に接続され、前記夜景特徴抽出手段により抽出された２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知手段と、前記夜景画像検知手段に接続され、前記夜景画像検知手段により検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知手段と、前記特定色検知手段に接続され、前記特定色検知手段の特定の色の検知結果に基づき、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断手段と、を備えることを特徴とする夜景光源検知装置を提供している。
【０００８】
前記夜景光源検知装置において、前記入力画像は、マルチレベルのカラー画像であり、前記画素値は、画素の輝度チャネル値と、Ｒチャネル値と、Ｇチャネル値と、Ｂチャネル値が含まれている。
【０００９】
前記夜景光源検知装置において、前記入力画像が、結像装置により最終的に形成される画像よりも、解像度の低い画像である。
【００１０】
前記夜景光源検知装置において、前記夜景特徴抽出手段は、前記入力画像の各画素の輝度値に対して補正を行い、補正後輝度値を取得する輝度補正部と、補正後の入力画像の前記平均補正後輝度値と前記高い補正後輝度値の領域面積を前記２つの夜景特徴として算出する夜景特徴算出部と、を有している。
【００１１】
前記夜景光源検知装置において、前記夜景画像検知手段は、前記抽出された２つの夜景特徴に基づいて前記入力画像が夜景画像か非夜景画像かを判断し、前記入力画像が夜景画像であると判断された場合は、前記入力画像を前記特定色検知手段へ出力し、前記入力画像が非夜景画像であると判断された場合は、前記入力画像に対する処理を終了させる。
【００１２】
前記夜景光源検知装置において、前記夜景画像検知手段は、複数の既知の夜景サンプル画像及び複数の既知の非夜景サンプル画像を用いて訓練を行うことで、分類関数を取得する。
【００１３】
前記夜景光源検知装置において、前記特定色検知手段は、夜景画像の各画素の色特徴に基づいて、前記夜景画像の各画素が特定色画素か非特定色画素かを判断する。
【００１４】
前記夜景光源検知装置において、前記特定色検知手段は、複数の既知の特定色サンプル画像及び複数の既知の非特定色サンプル画像を用いて訓練を行うことで、分類関数を取得する。
【００１５】
前記夜景光源検知装置において、前記夜景光源判断手段は、特定色検知結果に基づいて、前記夜景画像が夜景中のある特定光源の照射下で撮像されたものであるか否かを判断し、前記夜景光源判断手段は、夜景画像中の特定色領域の面積を算出する特定色領域面積算出部と、前記特定色領域の面積が所定の閾値以上であるか否かを判断し、前記特定色領域の面積が所定の閾値未満であると判断された場合は、前記夜景光源判断手段の処理を終了させる特定色領域面積判断部と、前記特定色領域の面積が所定の閾値以上と判断された場合は、夜景画像中の特定色の領域と高い補正後輝度の領域との位置が隣り合っているか否かを判断する特定色領域位置判断部と、を有し、前記特定色の領域と高い補正後輝度の領域との位置が隣り合っている場合は、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであると判断する。
【００１６】
本発明の他の態様によると、夜景中のある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知方法であって、入力画像中の各画素の画素値を取得する画素値取得ステップと、前記画素値取得ステップにおいて取得された入力画像中の各画素の画素値に基づき、入力画像の平均の補正後輝度値と高い補正後輝度値の領域面積を２つの夜景特徴として抽出する夜景特徴抽出ステップと、前記夜景特徴抽出ステップにおいて抽出された２つの夜景特徴に基づき、前記入力画像が夜景画像か非夜景画像かを判断する夜景画像検知ステップと、前記夜景画像検知ステップにおいて検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知ステップと、前記特定色検知ステップにおける特定の色の検知結果に基づき、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断ステップと、を含むことを特徴とする夜景光源検知方法を提供している。
【００１７】
本発明の実施例における夜景中のある特定の光源の照射のもとで撮像された画像か否かを判断する夜景光源検知装置及び夜景中のある特定の光源の照射のもとで撮像された画像か否かを判断する夜景光源検知方法によれば、各種結像装置に実施することができ、夜景中のある特定の光源の照射のもとで撮像された画像か否かを判断することができるが、最終結像前に実施されてもよく、最終結像画像の後処理中に実施されてもよい。
【００１８】
以下の図面を参照した本発明の好適な実施例への詳細な説明により、本発明の以上及びその他の目標、特徴、長所、技術及び産業上の重要性がより理解できるようになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例による夜景光源検知装置の全体ブロック図である。
【図２】本発明の実施例による夜景特徴抽出装置の構成概略図である。
【図３】本発明の実施例による夜景画像検知装置の機能概略図である。
【図４】本発明の実施例による特定色検知装置の機能概略図である。
【図５】本発明の実施例による夜景光源判断装置の機能概略図である。
【図６】夜景水銀灯検知中の緑色検知例を示す図である。
【図７】夜景ナトリウム灯検知中のオレンジ色検知例を示す図である。
【図８】本発明の他の実施例による夜景光源検知方法のフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本発明の実施例について説明する。
【００２１】
図１は、本発明の実施例による夜景光源検知装置１の全体ブロック図である。本発明の夜景中のある特定の光源の照射のもとで撮像された画像か否かを判断する夜景光源検知装置１は、入力画像中の各画素の画素値を取得する画素値取得装置１０と、画素値取得装置１０に接続され、画素値取得装置１０から得られた入力画像中の各画素の画素値に基づき、入力画像の平均「補正後輝度値」と高「補正後輝度値」の領域面積を抽出し、抽出された２つの夜景特徴とする夜景特徴抽出装置１１と、夜景特徴抽出装置１１に接続され、夜景特徴抽出装置１１により抽出された２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知装置１２と、夜景画像検知装置１２に接続され、夜景画像検知装置１２により検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知装置１３と、特定色検知装置１３に接続され、特定色検知装置１３の特定の色の検知結果に基づき、夜景画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かを判断する夜景光源判断装置１４と、を備えている。
【００２２】
本発明の実施例における夜景光源検知装置１は、デジタルカメラや、ビデオカメラ等のような結像装置から形成されたマルチレベルのカラー画像を処理することができ、画素値取得装置１０は、マルチレベルカラー画像の各画素の輝度チャネル値Ｌとレッドチャネル値Ｒとグリーンチャネル値Ｇと、ブルーチャネル値Ｂの、４つのチャネルの画素値を取得することができる。ここで、Ｒ、Ｇ、Ｂは、それぞれ赤、緑、青の輝度値であり、Ｒ、Ｇ、Ｂ及びＬ値は、従来の結像装置により公知技術で画像捕獲工程から自動的に得られるものである。
【００２３】
画素値取得装置１０は、入力画像の各画素の画素値の信号を取得し、以降の夜景光源検知処理に用いている。夜景光源の検知が目的であるため、例えば、監視信号画像のような、結像装置の最終結像画像よりも解像度の低い画像に対して処理を施すことができ、これにより、処理される画像が、結像装置の最終結像画像よりも低い解像度であるため、該画像の処理速度を速くすることができ、例えば、結像装置におけるリアルタイム処理の要求を満足することができる。低解像度の監視信号画像は、カメラ、ビデオカメラのような結像装置の自動かつ直接的な測定により得られ、現実中の例として、例えば、デジタルカメラや、ビデオカメラの撮像直前の液晶モニターに表示される画像であり、その解像度は、結像装置の同等条件下で撮像された画像よりも低くなっている。当然ながら、本発明の実施例は、結像装置の最終撮像画像に対して実施されてもよく、本発明は実施例に限るものではない。
【００２４】
図２は、本発明の実施例による夜景特徴抽出装置１１の構成概略図である。夜景特徴抽出装置１１は、画素値取得装置１０に接続され、入力画像の輝度情報及び撮像パラメータ（露光時間、感度、絞り）情報に基づき、入力画像の各画素の輝度値への補正を行う、即ち、画像の各画素の「補正後輝度値」を算出する輝度補正部１１１と、輝度補正部１１１に接続され、輝度補正部１１１で補正された画像に基づき、該補正後の画像の平均「補正後輝度値」と高「補正後輝度値」の領域面積を算出し、抽出された２つの夜景特徴とする夜景特徴算出部１１２と、を有している。ここで、画素値取得装置１０で取得した入力画像の各画素の輝度値を補正する理由としては、画素値取得装置１０で取得した入力画像の各画素の輝度値がデジタルカメラや、ビデオカメラ等のセンサーから受信された画像信号の輝度値であり、外部環境の実際の輝度値ではないため、画像を生成するデジタルカメラや、ビデオカメラ等の関連パラメータに応じて、取得された輝度値への補正を行う必要がある。
【００２５】
ここで、例えば、通常の場合のデジタルカメラ、ビデオカメラ等の結像装置に関しては、輝度補正部１１１において、画像のある画素点ｉの輝度値をＬｉ、露光時間をｔ、感度をＩＳＯ、絞りをＦとすると、該画素店の補正後の輝度値Calibr_Liは、下記式より求められる。
【数１】
【００２６】
勿論、本発明は、実施例に限るものではなく、補正後の輝度が実際の環境中の真の輝度を反映することができれば、使用する結像装置の種類やサイズ、及び関連パラメータの設定に応じて、他のパラメータや補正式により、得られた輝度値への補正を行うことができる。
【００２７】
図３は、本発明の実施例による夜景画像検知装置１２の機能概略図であり、点線の左側がサンプル画像による訓練工程を表し、点線の右側が処理すべき画像への推測処理工程を表している。訓練工程において、夜景画像検知装置１２は、動作１２１中、各サンプル画像の「補正後輝度」値により、各画像の２つの夜景特徴である、画像の平均「補正後輝度値」と高「補正後輝度値」の領域面積をそれぞれ抽出している。
【００２８】
訓練動作１２２において、分類器が特定色画像画素と非特定色画像画素の夜景特徴分布の差を学習し、分類判断するための分類関数を形成する。分類器への訓練動作１２２により、分類関数を形成する目的は、非夜景画像の場合を排除し、夜景画像を保留して以降の処理を行うためである。本実施例においては、例えば、公知の線形核サポートベクトルマシン（ＳＶＭ）技術を用いて、分類関数の構築を行ってもよい。ＳＶＭは公知の方法であり、非特許文献（Ｖ．Vapnik, The Nature of Statistical Learning Theory, Springer-Verlag, New York,1995.）に該方法が記載されている。
【００２９】
推測工程においては、夜景画像検知装置１２により、推測すべき入力画像への処理がなされ、動作１２４中に、入力画像の２つの夜景特徴が抽出される。推測動作１２３において、訓練から得られた分類関数を用いて、入力画像の２つの夜景特徴を算出し、該入力画像が夜景画像か否かを判断する。非夜景画像と判断されると、該入力画像への処理が終了し、夜景画像と判断されると、該入力画像が特定色検知装置１３へ送信され、以降の処理が行われる。
【００３０】
具体的には、サポートベクトルマシン（ＳＶＭ）方法においては、訓練工程で、記号付き済みの夜景画像と非夜景画像をそれぞれプラスサンプルとマイナスサンプルとしている。各サンプルにつき、例えば、前述の２つの夜景特徴のような特徴ベクトルＶｉを抽出する。ここで、ｉは、サンプルの索引量であり、自然数である。ｐのプラスサンプルとｑのマイナスサンプルを用い、総量ｋ＝ｐ+ｑ（ここで、ｋ、ｐ、ｑは自然数）と仮定すると、特徴ベクトル集合Ｆ＝｛ｆｉ｝，ｉ＝１、……、ｋが得られ、記号集合Ｙ＝｛ｙｉ｝，ｉ＝１、……、ｋが得られる。ここで、Ｙｉは、特徴ベクトルｆｉに対応する種類記号であり、下記式（２）から定義される。
【数２】
【００３１】
訓練動作１２２前に、先ず、核関数Ｋを選択する。本実施例においては、下記式（３）により定義される線形核が選択されている。
【数３】
【００３２】
即ち、核関数Ｋは、ｇ、ｈの２つのベクトルにつき、これらの内積が求められる。
【００３３】
訓練動作において、ＳＶＭ訓練法により、特徴ベクトル集合Ｆから、ｎｖのベクトルを選出してサポートベクトル集合Ｖ＝｛Ｖｉ｝を構成することで、分類関数を決定する。ここで、ｉは、索引量で、ｉ＝１、・・・・・・、ｎｖである。なお、該算出法により、各ベクトルＶｉに重みａｉが割り当てられる。
【００３４】
テスト処理工程においては、推測動作１２３において、処理すべきテスト画像の特徴ベクトルｖ（前述の２つの夜景特徴を抽出）に関し、下記式（４）により定義される分類関数fun（）により判断が行われる。
【数４】
【００３５】
ここで、Yiは、特徴ベクトルViに対応付けられた種類記号であり、ｂは、該ＳＶＭ訓練法により算出された定数である。
【００３６】
線形核を用いる場合、上記分類関数は、下記方法で導き出され、式（５）が得られる。
【数５】
【００３７】
ｙｉ、ａｉ、ｖｉ及びｎｖは、訓練中の既知量であるため、
【数６】
をｗと表すことができ、ｗは予め計算することができるため、テスト処理中の判断時間に影響を及ぼさない。
【００３８】
処理すべきテスト画像の特徴ベクトルＶについては、下記式（６）よりその種類記号が定義される。
【数７】
【００３９】
分類関数fun（）の特徴ベクトルｖへの算出結果が０以上であると、特徴ベクトルＶの種類記号は、１となり、特徴ベクトルｖに対応するテスト画像がプラスサンプルに分類されることを表し、本実施例では該画像が夜景画像に判断されることを表し、以降の一連の判断処理が行われ、分類関数fun（）の特徴ベクトルｖへの算出結果が０未満であると、特徴ベクトルＶの種類記号は、０となり、特徴ベクトルｖに対応するテスト画像がマイナスサンプルに分類されることを表し、本実施例では該画像が非夜景画像に判断されることを表し、該画像への処理が完了し、以降の一連の判断処理が行われないことになる。
【００４０】
前述のサポートベクトルマシン（ＳＶＭ）方法は、訓練及び処理すべき画像への分類判断を説明するための単なる例に過ぎず、他のマシン学習方法、例えば、ｋ−ＮＮ、adaboost等の従来の方法によっても、分類器の訓練を行うことができ、画像画素が特定色の画像画素か否かの判断を行うことができることは、言うまでもない。
【００４１】
図４は、本発明の実施例による特定色検知装置１３の機能概略図である。点線の左側がサンプル画像の画素による訓練工程を示し、点線の右側が処理すべき画像画素への推測処理工程を示している。訓練工程においては、特定色検知装置１３が動作中に各サンプル画像画素のＲ，Ｇ，Ｂ値を該画像画素の色特徴として抽出している。
【００４２】
訓練動作１３２において、分類器が特定色画像画素と非特定色画像画素の色特徴分布の差を学習し、分類判断するための分類関数を形成する。分類器への訓練動作により、分類関数を形成する目的は、各画像画素に対し、特定色画像画素か、非特定色画像画素かの判断を行うことである。本実施例においては、公知の線形核サポートベクトルマシン（ＳＶＭ）技術を用いて、分類関数の構築を行ってもよい。ＳＶＭは前述のように公知の方法である。
【００４３】
推測工程においては、特定色検知装置１３により、推測すべき夜景画像画素への処理がなされ、動作１３４中に、夜景画像画素の色特徴が抽出される。推測動作１３３において、訓練から得られた分類関数を用いて、夜景画像画素の色特徴を算出し、特定色画像画素か、非特定色画像画素かを判断する。
【００４４】
サポートベクトルマシン（ＳＶＭ）による特定色検知の具体的な方法は、前述のサポートベクトルマシン（ＳＶＭ）による夜景検知の方法を参考することができる。相違点としては、入力が、画像から画像画素に、夜景特徴抽出動作１２１が色特徴抽出動作１３１に変わった点である。このため、同様に、他のマシン学習方法、例えば、ｋ−ＮＮ、adaboost等の従来の方法で、分類器の訓練を行い、画像画素が特定色の画像画素か否かの判断を行うことが可能なことも、当業者は理解できる。
【００４５】
ここで、本発明の実施例においては、夜景画像検知装置１３と特定色検知装置１４が独立した装置となっているが、１装置の２つの手段としてもよい。このため、図３と図４において、夜景画像検知装置１３で実行される訓練動作１２２と、特定色検知装置１４で実行される訓練動作１３２が異なる動作として示されているが、同一手段で実行されてもよい。同様に、図３と図４において、夜景画像検知装置１３で実行される推測動作１２３と、特定色検知装置１４で実行される推測動作１３３が異なる動作として示されているが、同一手段で実行されてもよい。なお、図３における、既知記号の訓練画像への夜景特徴抽出動作１２１と未知記号の訓練画像への夜景特徴抽出動作１２４には、同一の特徴が用いられているが、前述のように異なるモジュールで実施されてもよく、同一のモジュールで実施されてもよい。同様に、図４における、既知記号の訓練画像への色特徴抽出動作１３１と未知記号の訓練画像への色特徴抽出動作１３４には、同一の特徴が用いられているが、前述のように異なるモジュールで実施されてもよく、同一のモジュールで実施されてもよい。本発明は、これらの実施例に制限されるものではない。
【００４６】
図５は、本発明の実施例による夜景光源判断装置の機能概略図である。夜景光源判断装置１４は、特定色検知装置１３に接続され、特定色検知装置１３の特定色検知結果に応じて、夜景画像中の特定色領域の面積を算出する特定色領域面積算出部１４１と、特定色領域の面積が所定の閾値以上であるか否かを判断し、該特定色領域の面積が所定の閾値未満であると、該夜景画像の処理を停止し、逆に、該特定色領域の面積が所定の閾値以上である場合は、以降の判断処理を行う、特定色領域面積判断部１４２と、特定色検知装置１３に接続され、特定色検知装置１３の特定色検知結果及び該夜景画像の各画素の補正後の輝度値に応じて、夜景画像中の特定色領域と高「補正後輝度」領域の位置とが隣り合っているか否かを判断し、特定色領域と高「補正後輝度」領域の位置とが隣り合っていない場合は、該画像の処理を停止し、逆に、特定色領域と高「補正後輝度」領域の位置とが隣り合っている場合は、該夜景画像が夜景中のある特定の光源の照射のもとで撮像されたものと判断する特定色領域位置判断部１４３と、を有している。
【００４７】
ここで、前述の本発明の実施例において、夜景画像中の特定色領域の面積と位置により、夜景画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かの判断が行われているが、夜景画像中の特定色領域の面積のみにより、夜景画像が夜景中のある特定の光源の照射のもとで撮像されたか否かの判断を行ってもよい。例えば、夜景画像中の特定色領域の面積が所定の閾値以上であると、該夜景画像を夜景中のある特定の光源の照射のもとで撮像されたものと判断してもよい。本発明は、これらの実施例に制限されるものではない。
【００４８】
図６は、本発明の実施例における夜景光源検知装置１の特定色検知装置１３による、夜景水銀灯検知のために行った緑色検知の結果を示している。×格子が緑色領域で、その他が非緑色領域である。
【００４９】
図７は、本発明の実施例における夜景光源検知装置１の特定色検知装置１３による、夜景ナトリウム灯検知のために行ったオレンジ色検知の結果を示している。×格子がオレンジ色領域で、その他が非オレンジ色領域である。
【００５０】
本発明の他の実施例においては、画像が夜景中のある特定の光源の照射のもので撮像されたものか否かを判断する夜景光源検知方法を提供している。図８は、本発明の他の実施例による夜景光源検知方法のフローチャートであり、夜景光源検知装置１の画素値取得装置１０により行われ、入力画像中の各画素の画素値を取得する画素値取得ステップＳ１０１と、夜景特徴抽出装置１１により行われ、画素値取得ステップＳ１０１から得られた入力画像中の各画素の画素値に基づき、入力画像の平均「補正後輝度値」と高「補正後輝度値」の領域面積を抽出し、抽出された２つの夜景特徴とする夜景特徴抽出ステップＳ１０２と、夜景画像検知装置１２により行われ、夜景特徴抽出ステップＳ１０２により抽出された２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知ステップＳ１０３と、特定色検知装置１３により行われ、夜景画像検知ステップＳ１０３により検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知ステップＳ１０４と、夜景光源判断装置１４により行われ、特定色検知ステップＳ１０４からの特定色の検知結果に基づき、夜景画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かを判断する夜景光源判断ステップＳ１０５、が含まれる。
【００５１】
上記各ステップＳ１０１〜Ｓ１０５の処理は、前の夜景光源検知装置１の各部による処理と同様であるため、ここでは詳細は省略する。
【００５２】
明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアにより該一連の動作を実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
【００５３】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージソフトウェアとして提供してもよい。
【００５４】
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内で、実施例への修正や代替が可能なことは言うまでもない。換言すると、本発明は説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。
【産業上の利用可能性】
【００５５】
本発明は、画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かを判断する夜景光源検知装置及び夜景光源検知方法に関する分野に利用可能である。
【先行技術文献】
【特許文献】
【００５６】
【特許文献１】米国特許公開公報ＵＳ２００９０１５３６９５Ａ１
【特許文献２】米国特許公開公報ＵＳ２００９０１８５０５５Ａ１
【技術分野】
【０００１】
本発明は、画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かを判断する夜景光源検知装置及び夜景光源検知方法に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラのような結像装置による撮像工程においては、通常、夜景中のある特定の光源の照射のもとで、誤ったホワイトバランスが発生し、画像カラーの歪みの原因となっている。このため、夜景光源検知は、デジタルカメラやビデオカメラ等の結像装置の知能場面識別及び自動ホワイトバランス制御等の機能に用いられる。
【０００３】
米国特許公開公報ＵＳ２００９０１５３６９５（特許文献１参照）には、撮像画像の平均輝度値が所定の閾値未満で、かつハイライト領域の面積と全画像面積の比例値が所定の閾値を超えると、該画像を夜景画像と判断する夜景検知方法が提案されている。
【０００４】
米国特許公開公報ＵＳ２００９０１８５０５５（特許文献２参照）には夜景検知方法が提案されており、主に１）輝度ヒストグラムにおける中間値に対応する輝度値、２）輝度ヒストグラムのピーク値、３）輝度ヒストグラムの底部の幅、４）露光不足部分の全輝度ヒストグラムにおける割合、５）輝度ヒストグラムの左半部分の割合、６）解析により得られた２値化閾値、の以下の６つの特徴が用いられている。
【０００５】
前述の従来の夜景検知技術に一般に存在する問題としては、単純な夜景検知のみでは、撮像時に必要な、露光時間、感度、絞りの設定といった撮像パラメータ情報しか提供できないということである。しかしながら、通常、夜景には異なる光源が存在しており、これらによって、誤ったホワイトバランスが生じ、画像のカラーの歪みに繋がってしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来技術における前述の課題を鑑みてなされたもので、本発明は、画像処理及びモード識別に関し、画像が夜景中のある特定の光源の照射のもとで撮像されたものかを判断する夜景光源検知装置及び夜景光源検知方法を提供する。本発明の夜景光源検知装置及び夜景光源検知方法は、例えば、デジタルカメラ、ビデオカメラ等のような結像装置に用いることができ、画像が夜景中のある特定の光源の照射のもとで撮像されたかを自動判別することができる。
【課題を解決するための手段】
【０００７】
本発明の一の態様によると、夜景中のある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知装置であって、入力画像中の各画素の画素値を取得する画素値取得手段と、前記画素値取得手段に接続され、前記画素値取得手段により取得された入力画像中の各画素の画素値に基づき、入力画像の平均の補正後輝度値と高い補正後輝度値の領域面積を２つの夜景特徴として抽出する夜景特徴抽出手段と、前記夜景特徴抽出手段に接続され、前記夜景特徴抽出手段により抽出された２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知手段と、前記夜景画像検知手段に接続され、前記夜景画像検知手段により検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知手段と、前記特定色検知手段に接続され、前記特定色検知手段の特定の色の検知結果に基づき、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断手段と、を備えることを特徴とする夜景光源検知装置を提供している。
【０００８】
前記夜景光源検知装置において、前記入力画像は、マルチレベルのカラー画像であり、前記画素値は、画素の輝度チャネル値と、Ｒチャネル値と、Ｇチャネル値と、Ｂチャネル値が含まれている。
【０００９】
前記夜景光源検知装置において、前記入力画像が、結像装置により最終的に形成される画像よりも、解像度の低い画像である。
【００１０】
前記夜景光源検知装置において、前記夜景特徴抽出手段は、前記入力画像の各画素の輝度値に対して補正を行い、補正後輝度値を取得する輝度補正部と、補正後の入力画像の前記平均補正後輝度値と前記高い補正後輝度値の領域面積を前記２つの夜景特徴として算出する夜景特徴算出部と、を有している。
【００１１】
前記夜景光源検知装置において、前記夜景画像検知手段は、前記抽出された２つの夜景特徴に基づいて前記入力画像が夜景画像か非夜景画像かを判断し、前記入力画像が夜景画像であると判断された場合は、前記入力画像を前記特定色検知手段へ出力し、前記入力画像が非夜景画像であると判断された場合は、前記入力画像に対する処理を終了させる。
【００１２】
前記夜景光源検知装置において、前記夜景画像検知手段は、複数の既知の夜景サンプル画像及び複数の既知の非夜景サンプル画像を用いて訓練を行うことで、分類関数を取得する。
【００１３】
前記夜景光源検知装置において、前記特定色検知手段は、夜景画像の各画素の色特徴に基づいて、前記夜景画像の各画素が特定色画素か非特定色画素かを判断する。
【００１４】
前記夜景光源検知装置において、前記特定色検知手段は、複数の既知の特定色サンプル画像及び複数の既知の非特定色サンプル画像を用いて訓練を行うことで、分類関数を取得する。
【００１５】
前記夜景光源検知装置において、前記夜景光源判断手段は、特定色検知結果に基づいて、前記夜景画像が夜景中のある特定光源の照射下で撮像されたものであるか否かを判断し、前記夜景光源判断手段は、夜景画像中の特定色領域の面積を算出する特定色領域面積算出部と、前記特定色領域の面積が所定の閾値以上であるか否かを判断し、前記特定色領域の面積が所定の閾値未満であると判断された場合は、前記夜景光源判断手段の処理を終了させる特定色領域面積判断部と、前記特定色領域の面積が所定の閾値以上と判断された場合は、夜景画像中の特定色の領域と高い補正後輝度の領域との位置が隣り合っているか否かを判断する特定色領域位置判断部と、を有し、前記特定色の領域と高い補正後輝度の領域との位置が隣り合っている場合は、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであると判断する。
【００１６】
本発明の他の態様によると、夜景中のある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知方法であって、入力画像中の各画素の画素値を取得する画素値取得ステップと、前記画素値取得ステップにおいて取得された入力画像中の各画素の画素値に基づき、入力画像の平均の補正後輝度値と高い補正後輝度値の領域面積を２つの夜景特徴として抽出する夜景特徴抽出ステップと、前記夜景特徴抽出ステップにおいて抽出された２つの夜景特徴に基づき、前記入力画像が夜景画像か非夜景画像かを判断する夜景画像検知ステップと、前記夜景画像検知ステップにおいて検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知ステップと、前記特定色検知ステップにおける特定の色の検知結果に基づき、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断ステップと、を含むことを特徴とする夜景光源検知方法を提供している。
【００１７】
本発明の実施例における夜景中のある特定の光源の照射のもとで撮像された画像か否かを判断する夜景光源検知装置及び夜景中のある特定の光源の照射のもとで撮像された画像か否かを判断する夜景光源検知方法によれば、各種結像装置に実施することができ、夜景中のある特定の光源の照射のもとで撮像された画像か否かを判断することができるが、最終結像前に実施されてもよく、最終結像画像の後処理中に実施されてもよい。
【００１８】
以下の図面を参照した本発明の好適な実施例への詳細な説明により、本発明の以上及びその他の目標、特徴、長所、技術及び産業上の重要性がより理解できるようになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例による夜景光源検知装置の全体ブロック図である。
【図２】本発明の実施例による夜景特徴抽出装置の構成概略図である。
【図３】本発明の実施例による夜景画像検知装置の機能概略図である。
【図４】本発明の実施例による特定色検知装置の機能概略図である。
【図５】本発明の実施例による夜景光源判断装置の機能概略図である。
【図６】夜景水銀灯検知中の緑色検知例を示す図である。
【図７】夜景ナトリウム灯検知中のオレンジ色検知例を示す図である。
【図８】本発明の他の実施例による夜景光源検知方法のフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本発明の実施例について説明する。
【００２１】
図１は、本発明の実施例による夜景光源検知装置１の全体ブロック図である。本発明の夜景中のある特定の光源の照射のもとで撮像された画像か否かを判断する夜景光源検知装置１は、入力画像中の各画素の画素値を取得する画素値取得装置１０と、画素値取得装置１０に接続され、画素値取得装置１０から得られた入力画像中の各画素の画素値に基づき、入力画像の平均「補正後輝度値」と高「補正後輝度値」の領域面積を抽出し、抽出された２つの夜景特徴とする夜景特徴抽出装置１１と、夜景特徴抽出装置１１に接続され、夜景特徴抽出装置１１により抽出された２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知装置１２と、夜景画像検知装置１２に接続され、夜景画像検知装置１２により検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知装置１３と、特定色検知装置１３に接続され、特定色検知装置１３の特定の色の検知結果に基づき、夜景画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かを判断する夜景光源判断装置１４と、を備えている。
【００２２】
本発明の実施例における夜景光源検知装置１は、デジタルカメラや、ビデオカメラ等のような結像装置から形成されたマルチレベルのカラー画像を処理することができ、画素値取得装置１０は、マルチレベルカラー画像の各画素の輝度チャネル値Ｌとレッドチャネル値Ｒとグリーンチャネル値Ｇと、ブルーチャネル値Ｂの、４つのチャネルの画素値を取得することができる。ここで、Ｒ、Ｇ、Ｂは、それぞれ赤、緑、青の輝度値であり、Ｒ、Ｇ、Ｂ及びＬ値は、従来の結像装置により公知技術で画像捕獲工程から自動的に得られるものである。
【００２３】
画素値取得装置１０は、入力画像の各画素の画素値の信号を取得し、以降の夜景光源検知処理に用いている。夜景光源の検知が目的であるため、例えば、監視信号画像のような、結像装置の最終結像画像よりも解像度の低い画像に対して処理を施すことができ、これにより、処理される画像が、結像装置の最終結像画像よりも低い解像度であるため、該画像の処理速度を速くすることができ、例えば、結像装置におけるリアルタイム処理の要求を満足することができる。低解像度の監視信号画像は、カメラ、ビデオカメラのような結像装置の自動かつ直接的な測定により得られ、現実中の例として、例えば、デジタルカメラや、ビデオカメラの撮像直前の液晶モニターに表示される画像であり、その解像度は、結像装置の同等条件下で撮像された画像よりも低くなっている。当然ながら、本発明の実施例は、結像装置の最終撮像画像に対して実施されてもよく、本発明は実施例に限るものではない。
【００２４】
図２は、本発明の実施例による夜景特徴抽出装置１１の構成概略図である。夜景特徴抽出装置１１は、画素値取得装置１０に接続され、入力画像の輝度情報及び撮像パラメータ（露光時間、感度、絞り）情報に基づき、入力画像の各画素の輝度値への補正を行う、即ち、画像の各画素の「補正後輝度値」を算出する輝度補正部１１１と、輝度補正部１１１に接続され、輝度補正部１１１で補正された画像に基づき、該補正後の画像の平均「補正後輝度値」と高「補正後輝度値」の領域面積を算出し、抽出された２つの夜景特徴とする夜景特徴算出部１１２と、を有している。ここで、画素値取得装置１０で取得した入力画像の各画素の輝度値を補正する理由としては、画素値取得装置１０で取得した入力画像の各画素の輝度値がデジタルカメラや、ビデオカメラ等のセンサーから受信された画像信号の輝度値であり、外部環境の実際の輝度値ではないため、画像を生成するデジタルカメラや、ビデオカメラ等の関連パラメータに応じて、取得された輝度値への補正を行う必要がある。
【００２５】
ここで、例えば、通常の場合のデジタルカメラ、ビデオカメラ等の結像装置に関しては、輝度補正部１１１において、画像のある画素点ｉの輝度値をＬｉ、露光時間をｔ、感度をＩＳＯ、絞りをＦとすると、該画素店の補正後の輝度値Calibr_Liは、下記式より求められる。
【数１】
【００２６】
勿論、本発明は、実施例に限るものではなく、補正後の輝度が実際の環境中の真の輝度を反映することができれば、使用する結像装置の種類やサイズ、及び関連パラメータの設定に応じて、他のパラメータや補正式により、得られた輝度値への補正を行うことができる。
【００２７】
図３は、本発明の実施例による夜景画像検知装置１２の機能概略図であり、点線の左側がサンプル画像による訓練工程を表し、点線の右側が処理すべき画像への推測処理工程を表している。訓練工程において、夜景画像検知装置１２は、動作１２１中、各サンプル画像の「補正後輝度」値により、各画像の２つの夜景特徴である、画像の平均「補正後輝度値」と高「補正後輝度値」の領域面積をそれぞれ抽出している。
【００２８】
訓練動作１２２において、分類器が特定色画像画素と非特定色画像画素の夜景特徴分布の差を学習し、分類判断するための分類関数を形成する。分類器への訓練動作１２２により、分類関数を形成する目的は、非夜景画像の場合を排除し、夜景画像を保留して以降の処理を行うためである。本実施例においては、例えば、公知の線形核サポートベクトルマシン（ＳＶＭ）技術を用いて、分類関数の構築を行ってもよい。ＳＶＭは公知の方法であり、非特許文献（Ｖ．Vapnik, The Nature of Statistical Learning Theory, Springer-Verlag, New York,1995.）に該方法が記載されている。
【００２９】
推測工程においては、夜景画像検知装置１２により、推測すべき入力画像への処理がなされ、動作１２４中に、入力画像の２つの夜景特徴が抽出される。推測動作１２３において、訓練から得られた分類関数を用いて、入力画像の２つの夜景特徴を算出し、該入力画像が夜景画像か否かを判断する。非夜景画像と判断されると、該入力画像への処理が終了し、夜景画像と判断されると、該入力画像が特定色検知装置１３へ送信され、以降の処理が行われる。
【００３０】
具体的には、サポートベクトルマシン（ＳＶＭ）方法においては、訓練工程で、記号付き済みの夜景画像と非夜景画像をそれぞれプラスサンプルとマイナスサンプルとしている。各サンプルにつき、例えば、前述の２つの夜景特徴のような特徴ベクトルＶｉを抽出する。ここで、ｉは、サンプルの索引量であり、自然数である。ｐのプラスサンプルとｑのマイナスサンプルを用い、総量ｋ＝ｐ+ｑ（ここで、ｋ、ｐ、ｑは自然数）と仮定すると、特徴ベクトル集合Ｆ＝｛ｆｉ｝，ｉ＝１、……、ｋが得られ、記号集合Ｙ＝｛ｙｉ｝，ｉ＝１、……、ｋが得られる。ここで、Ｙｉは、特徴ベクトルｆｉに対応する種類記号であり、下記式（２）から定義される。
【数２】
【００３１】
訓練動作１２２前に、先ず、核関数Ｋを選択する。本実施例においては、下記式（３）により定義される線形核が選択されている。
【数３】
【００３２】
即ち、核関数Ｋは、ｇ、ｈの２つのベクトルにつき、これらの内積が求められる。
【００３３】
訓練動作において、ＳＶＭ訓練法により、特徴ベクトル集合Ｆから、ｎｖのベクトルを選出してサポートベクトル集合Ｖ＝｛Ｖｉ｝を構成することで、分類関数を決定する。ここで、ｉは、索引量で、ｉ＝１、・・・・・・、ｎｖである。なお、該算出法により、各ベクトルＶｉに重みａｉが割り当てられる。
【００３４】
テスト処理工程においては、推測動作１２３において、処理すべきテスト画像の特徴ベクトルｖ（前述の２つの夜景特徴を抽出）に関し、下記式（４）により定義される分類関数fun（）により判断が行われる。
【数４】
【００３５】
ここで、Yiは、特徴ベクトルViに対応付けられた種類記号であり、ｂは、該ＳＶＭ訓練法により算出された定数である。
【００３６】
線形核を用いる場合、上記分類関数は、下記方法で導き出され、式（５）が得られる。
【数５】
【００３７】
ｙｉ、ａｉ、ｖｉ及びｎｖは、訓練中の既知量であるため、
【数６】
をｗと表すことができ、ｗは予め計算することができるため、テスト処理中の判断時間に影響を及ぼさない。
【００３８】
処理すべきテスト画像の特徴ベクトルＶについては、下記式（６）よりその種類記号が定義される。
【数７】
【００３９】
分類関数fun（）の特徴ベクトルｖへの算出結果が０以上であると、特徴ベクトルＶの種類記号は、１となり、特徴ベクトルｖに対応するテスト画像がプラスサンプルに分類されることを表し、本実施例では該画像が夜景画像に判断されることを表し、以降の一連の判断処理が行われ、分類関数fun（）の特徴ベクトルｖへの算出結果が０未満であると、特徴ベクトルＶの種類記号は、０となり、特徴ベクトルｖに対応するテスト画像がマイナスサンプルに分類されることを表し、本実施例では該画像が非夜景画像に判断されることを表し、該画像への処理が完了し、以降の一連の判断処理が行われないことになる。
【００４０】
前述のサポートベクトルマシン（ＳＶＭ）方法は、訓練及び処理すべき画像への分類判断を説明するための単なる例に過ぎず、他のマシン学習方法、例えば、ｋ−ＮＮ、adaboost等の従来の方法によっても、分類器の訓練を行うことができ、画像画素が特定色の画像画素か否かの判断を行うことができることは、言うまでもない。
【００４１】
図４は、本発明の実施例による特定色検知装置１３の機能概略図である。点線の左側がサンプル画像の画素による訓練工程を示し、点線の右側が処理すべき画像画素への推測処理工程を示している。訓練工程においては、特定色検知装置１３が動作中に各サンプル画像画素のＲ，Ｇ，Ｂ値を該画像画素の色特徴として抽出している。
【００４２】
訓練動作１３２において、分類器が特定色画像画素と非特定色画像画素の色特徴分布の差を学習し、分類判断するための分類関数を形成する。分類器への訓練動作により、分類関数を形成する目的は、各画像画素に対し、特定色画像画素か、非特定色画像画素かの判断を行うことである。本実施例においては、公知の線形核サポートベクトルマシン（ＳＶＭ）技術を用いて、分類関数の構築を行ってもよい。ＳＶＭは前述のように公知の方法である。
【００４３】
推測工程においては、特定色検知装置１３により、推測すべき夜景画像画素への処理がなされ、動作１３４中に、夜景画像画素の色特徴が抽出される。推測動作１３３において、訓練から得られた分類関数を用いて、夜景画像画素の色特徴を算出し、特定色画像画素か、非特定色画像画素かを判断する。
【００４４】
サポートベクトルマシン（ＳＶＭ）による特定色検知の具体的な方法は、前述のサポートベクトルマシン（ＳＶＭ）による夜景検知の方法を参考することができる。相違点としては、入力が、画像から画像画素に、夜景特徴抽出動作１２１が色特徴抽出動作１３１に変わった点である。このため、同様に、他のマシン学習方法、例えば、ｋ−ＮＮ、adaboost等の従来の方法で、分類器の訓練を行い、画像画素が特定色の画像画素か否かの判断を行うことが可能なことも、当業者は理解できる。
【００４５】
ここで、本発明の実施例においては、夜景画像検知装置１３と特定色検知装置１４が独立した装置となっているが、１装置の２つの手段としてもよい。このため、図３と図４において、夜景画像検知装置１３で実行される訓練動作１２２と、特定色検知装置１４で実行される訓練動作１３２が異なる動作として示されているが、同一手段で実行されてもよい。同様に、図３と図４において、夜景画像検知装置１３で実行される推測動作１２３と、特定色検知装置１４で実行される推測動作１３３が異なる動作として示されているが、同一手段で実行されてもよい。なお、図３における、既知記号の訓練画像への夜景特徴抽出動作１２１と未知記号の訓練画像への夜景特徴抽出動作１２４には、同一の特徴が用いられているが、前述のように異なるモジュールで実施されてもよく、同一のモジュールで実施されてもよい。同様に、図４における、既知記号の訓練画像への色特徴抽出動作１３１と未知記号の訓練画像への色特徴抽出動作１３４には、同一の特徴が用いられているが、前述のように異なるモジュールで実施されてもよく、同一のモジュールで実施されてもよい。本発明は、これらの実施例に制限されるものではない。
【００４６】
図５は、本発明の実施例による夜景光源判断装置の機能概略図である。夜景光源判断装置１４は、特定色検知装置１３に接続され、特定色検知装置１３の特定色検知結果に応じて、夜景画像中の特定色領域の面積を算出する特定色領域面積算出部１４１と、特定色領域の面積が所定の閾値以上であるか否かを判断し、該特定色領域の面積が所定の閾値未満であると、該夜景画像の処理を停止し、逆に、該特定色領域の面積が所定の閾値以上である場合は、以降の判断処理を行う、特定色領域面積判断部１４２と、特定色検知装置１３に接続され、特定色検知装置１３の特定色検知結果及び該夜景画像の各画素の補正後の輝度値に応じて、夜景画像中の特定色領域と高「補正後輝度」領域の位置とが隣り合っているか否かを判断し、特定色領域と高「補正後輝度」領域の位置とが隣り合っていない場合は、該画像の処理を停止し、逆に、特定色領域と高「補正後輝度」領域の位置とが隣り合っている場合は、該夜景画像が夜景中のある特定の光源の照射のもとで撮像されたものと判断する特定色領域位置判断部１４３と、を有している。
【００４７】
ここで、前述の本発明の実施例において、夜景画像中の特定色領域の面積と位置により、夜景画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かの判断が行われているが、夜景画像中の特定色領域の面積のみにより、夜景画像が夜景中のある特定の光源の照射のもとで撮像されたか否かの判断を行ってもよい。例えば、夜景画像中の特定色領域の面積が所定の閾値以上であると、該夜景画像を夜景中のある特定の光源の照射のもとで撮像されたものと判断してもよい。本発明は、これらの実施例に制限されるものではない。
【００４８】
図６は、本発明の実施例における夜景光源検知装置１の特定色検知装置１３による、夜景水銀灯検知のために行った緑色検知の結果を示している。×格子が緑色領域で、その他が非緑色領域である。
【００４９】
図７は、本発明の実施例における夜景光源検知装置１の特定色検知装置１３による、夜景ナトリウム灯検知のために行ったオレンジ色検知の結果を示している。×格子がオレンジ色領域で、その他が非オレンジ色領域である。
【００５０】
本発明の他の実施例においては、画像が夜景中のある特定の光源の照射のもので撮像されたものか否かを判断する夜景光源検知方法を提供している。図８は、本発明の他の実施例による夜景光源検知方法のフローチャートであり、夜景光源検知装置１の画素値取得装置１０により行われ、入力画像中の各画素の画素値を取得する画素値取得ステップＳ１０１と、夜景特徴抽出装置１１により行われ、画素値取得ステップＳ１０１から得られた入力画像中の各画素の画素値に基づき、入力画像の平均「補正後輝度値」と高「補正後輝度値」の領域面積を抽出し、抽出された２つの夜景特徴とする夜景特徴抽出ステップＳ１０２と、夜景画像検知装置１２により行われ、夜景特徴抽出ステップＳ１０２により抽出された２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知ステップＳ１０３と、特定色検知装置１３により行われ、夜景画像検知ステップＳ１０３により検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知ステップＳ１０４と、夜景光源判断装置１４により行われ、特定色検知ステップＳ１０４からの特定色の検知結果に基づき、夜景画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かを判断する夜景光源判断ステップＳ１０５、が含まれる。
【００５１】
上記各ステップＳ１０１〜Ｓ１０５の処理は、前の夜景光源検知装置１の各部による処理と同様であるため、ここでは詳細は省略する。
【００５２】
明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアにより該一連の動作を実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
【００５３】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージソフトウェアとして提供してもよい。
【００５４】
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内で、実施例への修正や代替が可能なことは言うまでもない。換言すると、本発明は説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。
【産業上の利用可能性】
【００５５】
本発明は、画像が夜景中のある特定の光源の照射のもとで撮像されたものか否かを判断する夜景光源検知装置及び夜景光源検知方法に関する分野に利用可能である。
【先行技術文献】
【特許文献】
【００５６】
【特許文献１】米国特許公開公報ＵＳ２００９０１５３６９５Ａ１
【特許文献２】米国特許公開公報ＵＳ２００９０１８５０５５Ａ１
【特許請求の範囲】
【請求項１】
夜景中のある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知装置であって、
入力画像中の各画素の画素値を取得する画素値取得手段と、
前記画素値取得手段に接続され、前記画素値取得手段により取得された入力画像中の各画素の画素値に基づき、入力画像の平均の補正後輝度値と高い補正後輝度値の領域面積を２つの夜景特徴として抽出する夜景特徴抽出手段と、
前記夜景特徴抽出手段に接続され、前記夜景特徴抽出手段により抽出された２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知手段と、
前記夜景画像検知手段に接続され、前記夜景画像検知手段により検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知手段と、
前記特定色検知手段に接続され、前記特定色検知手段の特定の色の検知結果に基づき、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断手段と、を備えることを特徴とする夜景光源検知装置。
【請求項２】
前記入力画像は、マルチレベルのカラー画像であり、前記画素値は、画素の輝度チャネル値と、Ｒチャネル値と、Ｇチャネル値と、Ｂチャネル値が含まれる請求項１に記載の夜景光源検知装置。
【請求項３】
前記入力画像が、結像装置により最終的に形成される画像よりも、解像度の低い画像である請求項１に記載の夜景光源検知装置。
【請求項４】
前記夜景特徴抽出手段は、
前記入力画像の各画素の輝度値に対して補正を行い、補正後輝度値を取得する輝度補正部と、
補正後の入力画像の前記平均補正後輝度値と前記高い補正後輝度値の領域面積を前記２つの夜景特徴として算出する夜景特徴算出部と、を有する請求項１に記載の夜景光源検知装置。
【請求項５】
前記夜景画像検知手段は、前記抽出された２つの夜景特徴に基づいて前記入力画像が夜景画像か非夜景画像かを判断し、前記入力画像が夜景画像であると判断された場合は、前記入力画像を前記特定色検知手段へ出力し、前記入力画像が非夜景画像であると判断された場合は、前記入力画像に対する処理を終了させる請求項１に記載の夜景光源検知装置。
【請求項６】
前記夜景画像検知手段は、複数の既知の夜景サンプル画像及び複数の既知の非夜景サンプル画像を用いて訓練を行うことで、分類関数を取得する請求項５に記載の夜景光源検知装置。
【請求項７】
前記特定色検知手段は、夜景画像の各画素の色特徴に基づいて、前記夜景画像の各画素が特定色画素か非特定色画素かを判断する請求項１に記載の夜景光源検知装置。
【請求項８】
前記特定色検知手段は、複数の既知の特定色サンプル画像及び複数の既知の非特定色サンプル画像を用いて訓練を行うことで、分類関数を取得する請求項７に記載の夜景光源検知装置。
【請求項９】
前記夜景光源判断手段は、特定色検知結果に基づいて、前記夜景画像が夜景中のある特定光源の照射下で撮像されたものであるか否かを判断し、
前記夜景光源判断手段は、
夜景画像中の特定色領域の面積を算出する特定色領域面積算出部と、
前記特定色領域の面積が所定の閾値以上であるか否かを判断し、前記特定色領域の面積が所定の閾値未満であると判断された場合は、前記夜景光源判断手段の処理を終了させる特定色領域面積判断部と、
前記特定色領域の面積が所定の閾値以上と判断された場合は、夜景画像中の特定色の領域と高い補正後輝度の領域との位置が隣り合っているか否かを判断する特定色領域位置判断部と、を有し、
前記特定色の領域と高い補正後輝度の領域との位置が隣り合っている場合は、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであると判断する請求項１に記載の夜景光源検知装置。
【請求項１０】
夜景中のある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知方法であって、
入力画像中の各画素の画素値を取得する画素値取得ステップと、
前記画素値取得ステップにおいて取得された入力画像中の各画素の画素値に基づき、入力画像の平均の補正後輝度値と高い補正後輝度値の領域面積を２つの夜景特徴として抽出する夜景特徴抽出ステップと、
前記夜景特徴抽出ステップにおいて抽出された２つの夜景特徴に基づき、前記入力画像が夜景画像か非夜景画像かを判断する夜景画像検知ステップと、
前記夜景画像検知ステップにおいて検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知ステップと、
前記特定色検知ステップにおける特定の色の検知結果に基づき、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断ステップと、を含むことを特徴とする夜景光源検知方法。
【請求項１】
夜景中のある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知装置であって、
入力画像中の各画素の画素値を取得する画素値取得手段と、
前記画素値取得手段に接続され、前記画素値取得手段により取得された入力画像中の各画素の画素値に基づき、入力画像の平均の補正後輝度値と高い補正後輝度値の領域面積を２つの夜景特徴として抽出する夜景特徴抽出手段と、
前記夜景特徴抽出手段に接続され、前記夜景特徴抽出手段により抽出された２つの夜景特徴に基づき、入力画像が夜景画像か非夜景画像かを判断する夜景画像検知手段と、
前記夜景画像検知手段に接続され、前記夜景画像検知手段により検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知手段と、
前記特定色検知手段に接続され、前記特定色検知手段の特定の色の検知結果に基づき、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断手段と、を備えることを特徴とする夜景光源検知装置。
【請求項２】
前記入力画像は、マルチレベルのカラー画像であり、前記画素値は、画素の輝度チャネル値と、Ｒチャネル値と、Ｇチャネル値と、Ｂチャネル値が含まれる請求項１に記載の夜景光源検知装置。
【請求項３】
前記入力画像が、結像装置により最終的に形成される画像よりも、解像度の低い画像である請求項１に記載の夜景光源検知装置。
【請求項４】
前記夜景特徴抽出手段は、
前記入力画像の各画素の輝度値に対して補正を行い、補正後輝度値を取得する輝度補正部と、
補正後の入力画像の前記平均補正後輝度値と前記高い補正後輝度値の領域面積を前記２つの夜景特徴として算出する夜景特徴算出部と、を有する請求項１に記載の夜景光源検知装置。
【請求項５】
前記夜景画像検知手段は、前記抽出された２つの夜景特徴に基づいて前記入力画像が夜景画像か非夜景画像かを判断し、前記入力画像が夜景画像であると判断された場合は、前記入力画像を前記特定色検知手段へ出力し、前記入力画像が非夜景画像であると判断された場合は、前記入力画像に対する処理を終了させる請求項１に記載の夜景光源検知装置。
【請求項６】
前記夜景画像検知手段は、複数の既知の夜景サンプル画像及び複数の既知の非夜景サンプル画像を用いて訓練を行うことで、分類関数を取得する請求項５に記載の夜景光源検知装置。
【請求項７】
前記特定色検知手段は、夜景画像の各画素の色特徴に基づいて、前記夜景画像の各画素が特定色画素か非特定色画素かを判断する請求項１に記載の夜景光源検知装置。
【請求項８】
前記特定色検知手段は、複数の既知の特定色サンプル画像及び複数の既知の非特定色サンプル画像を用いて訓練を行うことで、分類関数を取得する請求項７に記載の夜景光源検知装置。
【請求項９】
前記夜景光源判断手段は、特定色検知結果に基づいて、前記夜景画像が夜景中のある特定光源の照射下で撮像されたものであるか否かを判断し、
前記夜景光源判断手段は、
夜景画像中の特定色領域の面積を算出する特定色領域面積算出部と、
前記特定色領域の面積が所定の閾値以上であるか否かを判断し、前記特定色領域の面積が所定の閾値未満であると判断された場合は、前記夜景光源判断手段の処理を終了させる特定色領域面積判断部と、
前記特定色領域の面積が所定の閾値以上と判断された場合は、夜景画像中の特定色の領域と高い補正後輝度の領域との位置が隣り合っているか否かを判断する特定色領域位置判断部と、を有し、
前記特定色の領域と高い補正後輝度の領域との位置が隣り合っている場合は、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであると判断する請求項１に記載の夜景光源検知装置。
【請求項１０】
夜景中のある特定の光源の照射下で撮像された画像であるか否かを判断する夜景光源検知方法であって、
入力画像中の各画素の画素値を取得する画素値取得ステップと、
前記画素値取得ステップにおいて取得された入力画像中の各画素の画素値に基づき、入力画像の平均の補正後輝度値と高い補正後輝度値の領域面積を２つの夜景特徴として抽出する夜景特徴抽出ステップと、
前記夜景特徴抽出ステップにおいて抽出された２つの夜景特徴に基づき、前記入力画像が夜景画像か非夜景画像かを判断する夜景画像検知ステップと、
前記夜景画像検知ステップにおいて検知された夜景画像中の各画素が特定の色に属するか否かを検知する特定色検知ステップと、
前記特定色検知ステップにおける特定の色の検知結果に基づき、前記夜景画像が夜景中のある特定の光源の照射下で撮像されたものであるか否かを判断する夜景光源判断ステップと、を含むことを特徴とする夜景光源検知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図８】
【図６】
【図７】
【公開番号】特開２０１２−１４２９３５（Ｐ２０１２−１４２９３５Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−２８３９６７（Ｐ２０１１−２８３９６７）
【出願日】平成２３年１２月２６日（２０１１．１２．２６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１２月２６日（２０１１．１２．２６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]