監視装置
【課題】暗部等を撮影した低輝度の画像を見やすく表示する監視技術を提供する。
【解決手段】反転条件判定部１１は、撮像部１０により撮影された撮影画像の視認性に基づく反転条件の充足を判定する。表示画像生成部１２は、反転条件判定部１１により反転条件を充足していると判定された際に、撮影画像からネガポジ反転画像を生成する。
【解決手段】反転条件判定部１１は、撮像部１０により撮影された撮影画像の視認性に基づく反転条件の充足を判定する。表示画像生成部１２は、反転条件判定部１１により反転条件を充足していると判定された際に、撮影画像からネガポジ反転画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視技術に関し、特に暗部を撮影した画像を表示する監視技術に関する。
【背景技術】
【０００２】
従来、暗部を撮影した画像を表示する監視技術のために様々な検討が行われている。例えば、撮像レンズと、近赤外光から可視光までの感度を有する撮像素子と、近赤外領域の波長成分を除去する赤外カットフィルタと、該撮像素子からの映像信号に応じて白黒信号およびカラー信号を生成する映像信号処理手段とを有し、被写体が所定の明るさより暗いときには前記赤外カットフィルタをダミーガラス（素ガラス）に入れ替え、白黒映像信号を出力し、明るいときには前記ダミーガラスを前記赤外カットフィルタに入れ替え、カラー映像信号を出力するフィルタ交換手段を持つテレビジョンカメラにおいて、該フィルタの切り替えの判断をしている間は、切り替え前の静止画像をモニター等に出力するテレビジョンカメラがある（特許文献１参照）。
【０００３】
この特許文献１の技術では、被写体が暗い場合には赤外線カットフィルタを用いずに撮影し、白黒映像を出力する。一方、被写体が明るい場合には赤外線カットフィルタを用いて撮影し、カラー映像を出力する。これにより、被写体が暗い場合でも、可能な限り高い輝度の映像を得ることができる。
【０００４】
また、他の技術として、自車両のハンドルの操舵方向に自車両の前照灯の光の照射方向を追従させることによって、自車両の進行方向に前記前照灯の光が照射される状態を維持する配光可変型前照灯システムを備えた自車両に搭載され、前記自車両の周辺における所定の領域を撮像する車載カメラと、この車載カメラの自動露出に用いる測光領域として、前記車載カメラの撮像画像における使用される範囲の画像が適正露出の下で撮像された画像となるような測光領域を設定する測光領域設定手段と、前記ハンドルの操舵角に関する情報および前記ハンドルの操舵角に対応する前記前照灯の光の照射方向に関する情報の少なくとも一方を取得する操舵角／照射方向情報取得手段と、この操舵角／照射方向情報取得手段の取得情報に基づいて、前記車載カメラの撮像範囲における前記前照灯の光が照射される領域の撮像に用いる範囲である照射領域撮像範囲についての、前記車載カメラの撮像範囲内における占有範囲を、前記車載カメラの撮像範囲内における前記照射領域撮像範囲の存否も含めて推定する照射領域撮像範囲推定手段とを備え、前記測光領域設定手段が、前記ハンドルの操舵角の変化にともなう前記照射領域撮像範囲推定手段の推定結果の変動に応じて、前記測光領域を変更可能に形成されている車載カメラ用自動露出装置がある（特許文献２参照）。
【０００５】
この特許文献２の技術では、露光調整するための測光領域を前照灯の照射領域に応じて変更することにより、適切な露光調整を実現している。
【０００６】
他の技術として、少なくとも車両前部の側方を撮像する撮像手段と、前記車両に取り付けられて、少なくとも前記車両前部の側方を照射可能な灯火と、前記撮像手段の撮像状態に応じて前記灯火の点灯状態を制御する制御手段とを備える車両用側方監視カメラシステムがある（特許文献３参照）。この特許文献３の技術では、灯火により撮像範囲を照射することにより、明るい画像を撮影することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−３２４７４８号公報
【特許文献２】特開２００８−２３０４６４号公報（段落番号００２３，００２４）
【特許文献３】特開２００８−２０１２０２号公報（段落番号０００５，０００６）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した技術は、暗部を撮影する際の撮影環境を変更することにより、撮影された画像の輝度等を高めることができる。しかしながら、特許文献１および３の技術では、赤外線カットフィルタを移動させるための機構や追加的な灯火が必要であるため、装置が複雑となるとともに、コストの増加につながり、好ましくない。
【０００９】
また、特許文献２の技術では、測光範囲を適切に設定することができるが、撮影された画像全体が暗い場合には、露光調整のみでは十分な効果を得ることができない。
【００１０】
本発明の目的は、このような課題に鑑み、暗部等を撮影した低輝度の画像を見やすく表示する監視技術を提供することである。
【課題を解決するための手段】
【００１１】
前記課題を解決するために、本発明の監視装置は、監視対象を撮影する撮像部と、前記撮像部により撮影された撮影画像の視認性に基づく反転条件の充足を判定する反転条件判定部と、前記反転条件判定部により前記反転条件を充足していると判定された際に、前記撮影画像からネガポジ反転画像を生成する表示画像生成部と、を備えている。
【００１２】
この構成では、反転条件判定部により撮影画像の視認性に基づく反転条件が判定され、反転条件を充足している際には表示画像生成部により撮影画像からネガポジ反転画像が生成される。この反転条件は、暗部等を撮影した撮影画像のように撮影画像全体が暗い等の視認性の悪さを判定するためのものである。したがって、全体が低輝度であり視認性が悪い撮影画像であっても、撮影画像からネガポジ反転画像が生成されるため、全体が高輝度な画像が得られる。人間の眼の感度調整は、暗順応よりも明順応の方が急速であり、水晶体のピント調整も指標が明るい方がより良い応答が得られるため、低輝度の画像をネガポジ反転させることは人間工学の観点からも好ましい。また、カラー画像をネガポジ反転すると、現実と大きく乖離した色となるため、撮影画像がカラー画像の場合には、違和感を低減させるためにもネガポジ反転画像は濃淡画像とすることが望ましい。
【００１３】
多くのカメラではＡＧＣ（Auto Gain Control）機能を備えている。このＡＧＣ機能は、撮影対象が暗い場合にゲインを上げることにより、適切な輝度の画像を取得するものである。したがって、ＡＧＣ機能により算出されるゲイン値は撮影される画像の輝度値を適切に表している。そのため、本発明の監視装置の好適な実施形態の一つでは、ゲイン値を制御することにより前記撮像部の露光制御を行う露光制御部を備え、前記反転条件判定部は、前記ゲイン値に基づき前記反転条件を判定する。この構成では、ゲイン値を撮影画像の視認性の尺度として用いることにより、撮影画像をネガポジ反転するか否かを適切に判定することができる。
【００１４】
暗い撮影対象を撮影する際には、ゲインを上げるに伴い、撮影された画像に対するノイズの影響は大きくなる。そのようなノイズの影響を大きく受けた撮影画像をネガポジ反転すると、ノイズが目立ち、見難くなる。そのため、本発明の監視装置の好適な実施形態の一つでは、前記判定条件判定部は、前記ゲイン値がゲイン値の最大値よりも小さい所定ゲイン値を超えた場合に、前記反転条件を充足すると判定する。この構成では、ネガポジ反転の判定条件となる閾値を最大ゲイン値よりも小さな値に設定している。この閾値は、ノイズの影響があまり大きくならないゲイン値に設定することが望ましい。この場合には、撮影画像はノイズの影響が小さいため、ネガポジ反転した画像も見易いものとなる。
【００１５】
また、多くのカメラではシャッター速度を変更することにより露光状態を制御する機能を有している。撮影対象が暗い場合にはシャッター速度を遅くし、光を多く取り込むことにより、撮影画像の輝度を上げることができる。したがって、シャッター速度は撮影された画像の輝度値を表していると言える。そのため、本発明の監視装置の好適な実施形態の一つでは、前記撮像部のシャッター速度を制御することにより前記撮像部の露光制御を行う露光制御部を備え、前記反転条件判定部は、前記シャッター速度に基づき前記反転条件を判定する。この構成では、シャッター速度を撮影画像の視認性の尺度として用いることにより、撮影画像をネガポジ反転するか否かを適切に判定することができる。
【００１６】
本発明の監視装置の好適な実施形態の一つでは、前記反転条件判定部は、前記撮影画像の画素値に基づき前記反転条件を判定する。この構成では、撮影画像の画素値を視認性の尺度として用いているため、より的確に反転条件を判定することができる。
【００１７】
本発明の監視装置は、ディスプレイに表示された表示画像を目視することにより監視を行うものである。表示画像を表示するディスプレイは各々の表示特性を持っている。そのため、ネガポジ反転させた画像を表示した際に、黒つぶれや白とびを生じる場合がある。そのため、本発明の監視装置の好適な実施形態の一つでは、前記表示画像生成部は、ネガポジ反転する際に、画素値をオフセットさせる。この構成では、ネガポジ反転する際に、ディスプレイの表示特性等に応じて画素値をオフセットさせることにより、見易いネガポジ反転画像を生成することができる。
【００１８】
夜間等に撮影した際に撮影範囲に照明等による照射がある場合等には、撮影された画像には輝度値の高い領域と低い領域とが混在している場合がある。反転条件の判定結果に基づいてこのような撮影画像に対して一様にネガポジ反転させると、元々高輝度の領域の輝度値が低くなり、見難い画像となってしまう。そのため、本発明の監視装置の好適な実施形態の一つでは、前記表示画像生成部は、前記撮影画像の一部分をネガポジ反転させる。この構成では、反転条件を充足した際に、撮影画像中からネガポジ反転させるべき領域とネガポジ反転させない領域とを判別し、ネガポジ反転させるべき領域のみをネガポジ反転させる。これにより、適切な輝度値を持つ表示画像を得ることができる。
【００１９】
本発明の監視装置の好適な実施形態の一つでは、車両に搭載される監視装置であって、前記撮像部は、当該車両の側方周辺を撮影するよう配置されている。通常車両には、その側方周辺を照射するライトは備えられていない。そのため、夜間等に車両の側方周辺を撮影した画像の輝度値は低くなっており、上述したネガポジ反転させた画像を表示することは好ましい。
【図面の簡単な説明】
【００２０】
【図１】本発明の監視装置が搭載された車両の図である。
【図２】本発明の監視装置の実施例１の形態における機能ブロック図である。
【図３】本発明の監視装置の実施例１の形態における処理の流れを表すフローチャートである。
【図４】本発明の監視装置の実施例１の形態における反転条件判定の処理の流れを表すフローチャートである。
【図５】本発明の監視装置の実施形態における反転条件充足時の表示画像生成の処理の流れを表すフローチャートである。
【図６】本発明の監視装置の実施形態における撮影画像と表示画像の例である。
【図７】本発明の監視装置の実施例２および３の形態における機能ブロック図である。
【図８】本発明の監視装置の実施例２の形態における処理の流れを表すフローチャートである。
【図９】本発明の監視装置の実施例２の形態におけるゲイン値と反転条件の充足状態との関係を表す図である。
【図１０】本発明の監視装置の実施例３の形態における処理の流れを表すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を用いて本発明の監視装置の実施形態を説明する。本実施形態では、図１に示すように、監視装置Ａ（車両周辺監視装置）は車両Ｖに搭載されており、カメラＣおよびＥＣＵ（electronic control unit）により構成されている。図１に示すように、カメラＣは車両Ｖの前方、後方、および左右側方を撮影可能な位置に設置されているが、カメラＣの設置位置はこれに限定されるものではなく、他の位置に設置しても構わない。また、カメラＣの台数も１台に限定されるものではなく、適宜変更可能である。なお、本実施形態では、カメラＣはカラーデジタルビデオカメラとして説明するが、デジタルスチルカメラを用いることも可能である。また、車両Ｖには、監視装置Ａにより生成された表示画像等を表示するためのディスプレイＤが備えられている。車両Ｖにナビゲーションシステムが搭載される場合、ディスプレイＤはナビゲーションシステムの表示装置として用いるものを兼用すると好適である。
【実施例１】
【００２２】
図２は、本実施形態における監視装置Ａの機能ブロック図である。本実施形態における監視装置Ａは、車両Ｖの周辺を撮影し撮影画像を生成する撮像部１０、撮像部１０により撮影された撮影画像をネガポジ反転させるか否かの条件（以下、「反転条件」と称する）を判定する反転条件判定部１１、反転条件判定部１１により反転条件を充足していると判定された際に、撮影画像からネガポジ反転画像を生成する表示画像生成部１２、表示画像生成部１２により生成された表示画像をディスプレイＤに表示する表示部１３を備えている。
【００２３】
撮像部１０は、カメラＣのＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサおよびイメージセンサドライバやＡ／Ｄコンバータを中核として構成されている。カメラＣのレンズから入射した光はイメージセンサにより光電変換された後、Ａ／Ｄコンバータ等によりＡ／Ｄ変換され撮影画像が生成される。このようにして生成された撮影画像はＤＳＰ（Digital Signal Processor）内のＲＡＭに記憶され、撮影画像が生成された旨が反転条件判定部１１および表示画像生成部１２に送られる。
【００２４】
反転条件判定部１１は、カメラＣのＤＳＰにより構成されており、所定の反転条件に基づき、撮影画像をネガポジ反転するか否かを判定する。本実施形態では、反転条件判定部１１は撮影画像の輝度値に基づいて判定する（詳細は後述する）。
【００２５】
表示画像生成部１２は、カメラＣのＤＳＰにより構成されており、反転条件判定部１１の判定結果に基づき、撮影画像から表示画像を生成する。表示画像生成部１２は、反転条件判定部１１により反転条件を充足していると判定された際には、撮影画像からネガポジ反転画像を表示画像として生成する。なお、ネガポジ反転画像とは、少なくとも撮影画像に対してネガポジ反転処理を施した画像であるが、本実施形態では、見易さを考慮してモノクロ変換処理をも施している。このモノクロ変換処理は、ネガポジ反転処理の前後いずれでも構わない。一方、反転条件を充足していないと判定された際には、撮影画像を表示画像とする。なお、表示画像生成部１２は、解像度変換等の機能を備えることもできる。表示画像生成部１２により生成された表示画像は、表示部１３に送られる。
【００２６】
表示部１３は、車両Ｖに搭載されたＥＣＵおよびソフトウェアにより構成されており、表示画像生成部１２により生成された表示画像をディスプレイＤに表示する機能を有している。
【００２７】
図３は、監視装置の本実施形態における処理の流れを表すフローチャートである。まず、所定フレームレート（例えば、３０ｆｐｓ）で撮像部１０が駆動され、撮影画像が生成される（＃０１）。生成された撮影画像は、カメラＣのＲＡＭに記憶され、その旨が反転条件判定部１１に通知される。また、撮影画像は表示画像生成部１２に送られる。
【００２８】
撮像部１０から撮影画像を生成した旨を取得した反転条件判定部１１は、所定の反転条件を充足するか否かを判定する（＃０２）。具体的には、本実施形態では図４のフローチャートに示す処理を行う。
【００２９】
まず、初期化処理として、輝度ヒストグラムＨの全要素の０クリア、および、参照アドレスｑにＲＡＭにおける撮影画像の先頭アドレスを設定する（＃１１）。輝度ヒストグラムＨは、輝度値の階調数（以下の例では、０〜２５５とする）と同数の要素を持つ配列として実現されており、以下の説明では輝度値ｋの頻度をＨ[ｋ]として表記する。
【００３０】
次に、参照アドレスｑが示す撮影画像のｉ番目の画素ｐiの画素値に基づき画素ｐiの輝度値Ｉiを算出する（＃１２）。上述したように、本実施形態では、カメラＣとしてカラーデジタルビデオカメラを用いているため、撮影画像はカラー画像である。一般的に、カラー画像の画素は赤（Ｒ）要素、緑（Ｇ）要素、青（Ｂ）要素の３つの値からなる画素値を持っている。したがって、画素ｐiの画素値は｛Ｒi，Ｇi，Ｂi｝となる。このとき、画素ｐiの輝度値ＩiはＩi＝０．２９９×Ｒi＋０．５８７×Ｇi＋０．１１４×Ｂiにより求めることができる。当然ながら、他の算出式を用いて輝度値Ｉiを算出しても構わない。
【００３１】
次に、上述の処理により求められた輝度値Ｉiに基づき輝度ヒストグラムＨを更新する（＃１３）。具体的には、Ｈ[Ｉi]＝Ｈ[Ｉi]＋１の演算を行う。
【００３２】
その後、未処理画素の有無がチェックされる（＃１４）。具体的には、参照アドレスｑがＲＡＭにおける撮影画像の最終アドレスに達したか否かが判定される。未処理画素が存在する場合には（＃１４のYes分岐）、処理を次の未処理画素に移行させるために、参照アドレスｑをインクリメント（＃１５）した後、＃１２の処理に移行し、上述の処理を繰り返す。なお、本例では撮影画像の全画素を用いて輝度ヒストグラムＨを作成したが、撮影画像の一部の画素のみを用いる構成としても構わない。すなわち、撮影画像の特定範囲の画素を用いる構成である。
【００３３】
一方、未処理画素が存在しない場合には（＃１４のNo分岐）、上述の処理により生成された輝度ヒストグラムＨを用いて、撮影画像の特徴量を算出する（＃１６）。輝度ヒストグラムＨから算出可能な撮影画像の特徴量としては、平均輝度、輝度分散、輝度ヒストグラムの形状（単峰性、双峰性等）等がある。本実施形態では、平均輝度を用いて説明する。したがって、反転条件判定部１１は、撮影画像の特徴量として平均輝度Ｅ[Ｉ]を以下の式（１）により算出する。なお、本実施形態では撮影画像は各色（ＲＧＢ）８ビットで表現されているものとする。
【数１】
【００３４】
反転条件判定部１１は、このようにして算出された平均輝度Ｅ[Ｉ]と所定の閾値ＴＨとを比較し（＃１７）、平均輝度Ｅ[Ｉ]が閾値ＴＨよりも小さければ（＃１７のYes分岐）、反転条件を充足すると判定する（＃１８）。一方、平均輝度Ｅ[Ｉ]が閾値ＴＨ以上であれば（＃１７のNo分岐）、反転条件を充足しないと判定する（＃１９）。この反転条件判定部１１の判定結果は、表示画像生成部１２に通知される。
【００３５】
反転条件判定部１１の判定結果を取得した表示画像生成部１２は、判定結果に基づき撮影画像から表示画像を生成する。このとき、撮像部１０から取得した撮影画像は、ＤＳＰ内のＲＡＭに記憶されている。具体的には、反転条件を充足しない旨の判定結果であれば（＃０３のNo分岐）、撮像部１０から取得した撮影画像をそのまま表示画像として表示部１３に送る。一方、反転条件を充足する旨の判定結果であれば（＃０３のYes分岐）、撮像部１０から取得した撮影画像に対してネガポジ反転およびモノクロ変換を行う（＃０４）。なお、カメラＣとしてモノクロカメラを用いた場合には、モノクロ変換は不要である。
【００３６】
図５は、撮影画像をネガポジ反転およびモノクロ変換し、表示画像を生成する処理の流れを表すフローチャートである。まず、初期化処理として、参照アドレスｑにＲＡＭにおける撮影画像の先頭アドレスを設定する（＃２１）。上述したように、撮影画像はＲＧＢの３プレーンから構成されるカラー画像であり、画素ｐiの画素値は｛Ｒi，Ｇi，Ｂi｝である。また、各色は[０，２５５]の範囲の値を持っている。したがって、この画素ｐiのネガポジ反転後の画素値は｛２５５−Ｒi，２５５−Ｇi，２５５−Ｂi｝となる（＃２２）。
【００３７】
次に、表示画像生成部１２は、ネガポジ反転した画素値に対してモノクロ変換を行い、輝度値Ｉiを求める（＃２３）。具体的には、Ｉi＝０．２９９×（２５５−Ｒi）＋０．５８７×（２５５−Ｇi）＋０．１１４×（２５５−Ｂi）の計算を行う。
【００３８】
このようにして求められた輝度値Ｉiを用いて、参照アドレスｑが参照する画素ｐiの画素値を更新する（＃２４）。すなわち、画素ｐiの画素値は｛Ｉi，Ｉi，Ｉi｝となる。
【００３９】
その後、未処理画素の有無がチェックされる（＃２５）。具体的には、参照アドレスｑがＲＡＭにおける表示画像の最終アドレスに達したか否かが判定される。未処理画素が存在する場合には（＃２５のYes分岐）、参照アドレスｑをインクリメント（＃２６）した後、＃２２の処理に移行し、上述の処理を繰り返す。一方、未処理画素が存在しない場合には（＃２５のNo分岐）、表示画像の生成処理を終了し、生成した表示画像を表示部１３に送る。
【００４０】
表示画像生成部１２から表示画像を取得した表示部１３は、ディスプレイＤに表示画像を表示させる（＃０５）。
【００４１】
図６（ａ）は、撮像部１０により暗部を撮影した際の撮影画像の例である。この撮影画像に対して上述の処理を行うと、反転条件判定部１１により反転条件を充足すると判定され、図６（ｂ）の表示画像が生成される。図から明らかなように、図６（ａ）では不明りょうな暗部が、図６（ｂ）では明瞭となっている。
【実施例２】
【００４２】
次に、本発明の監視装置の第２実施形態を説明する。図７は、本実施形態の機能ブロック図である。なお、第１実施形態と同様の機能部に対しては同一の符号を付しており、詳細な説明は省略する。本実施形態は、露光制御部１４を備えている点において第１実施形態と異なっている。
【００４３】
露光制御部１４は、カメラＣのＤＳＰにより構成され、撮像部１０により撮影された撮影画像に基づき適切なゲイン値を算出し、算出したゲイン値を撮像部１０に設定することにより、撮像部１０の露光制御を行う機能を有している。また、算出したゲイン値は反転条件判定部１１にも通知される。
【００４４】
以下、図８のフローチャートを用いて本実施形態における処理の流れを説明する。まず、所定のフレームレートで撮像部１０が駆動され、撮影画像が生成される（＃３１）。このとき、撮影画像がＲＡＭに記憶され、その旨が露光制御部１４および反転条件判定部１１に通知される。
【００４５】
撮影画像が生成された旨の通知を受けた露光制御部１４は、公知の方法により適切なゲイン値を算出する（＃３２）。算出したゲイン値は、反転条件判定部１１に通知される。
【００４６】
反転条件判定部１１は、取得したゲイン値と所定の閾値ＴＨとを比較し（＃３３）、撮影画像をネガポジ反転するか否かを判定する。一般的に、暗部を撮影する際には、ゲイン値の上昇に伴いノイズが目立つようになる。そのため、この閾値ＴＨは、ノイズが目立ち過ぎるゲイン値よりも若干小さい値に設定しておくことが望ましい。そのような閾値ＴＨを設定することにより、ノイズが目立つ手前のゲイン値まではゲイン値の調整による撮影画像が生成され、ノイズが目立つゲイン値すなわち閾値ＴＨ以上のゲイン値を設定しなければならない状態では、撮影画像をネガポジ反転およびモノクロ変換した表示画像が生成される。
【００４７】
したがって、反転条件判定部１１は、ゲイン値が閾値ＴＨ以下の場合（＃３３のNo分岐）には反転条件を充足しないため、露光制御により撮影画像の画質の向上を行うべく、露光制御部１４に対して撮像部１０にゲイン値をフィードバックするよう指示を出す。これを受けて、露光制御部１４は、算出したゲイン値を撮像部１０にフィードバックし、以降の撮像部１０における撮影時のゲイン値を変更する（＃３５）。同時に、反転条件判定部１１は表示画像生成部１２に対して反転条件を充足しない旨を通知する。これを受けて表示画像生成部１２は、撮影画像をそのまま表示画像として表示部１３に送る。
【００４８】
一方、ゲイン値が閾値ＴＨよりも大きい場合（＃３３のYes分岐）には反転条件を充足するため、その旨を表示画像生成部１２に通知する。これを受けて、表示画像生成部１２は、撮影画像をネガポジ反転およびモノクロ変換することにより表示画像を生成する（＃３４）。生成された表示画像は表示部１３に送られる。この場合には、露光制御部１４から撮像部１０に対するゲインコントロールが実行されないため、撮像部１０のゲイン値は一定値（露光制御部１４により設定された直前のゲイン値またはそれ以下の値）に固定される。
【００４９】
表示画像を取得した表示部１３は、表示画像をディスプレイＤに表示する（＃３６）。
【００５０】
図９は、露光制御部１４により算出されたゲイン値と反転条件判定部１１の判定結果の関係を表す図である。図の横軸は時刻、縦軸は露光制御部１４により算出されたゲイン値を表している。また、図中の太線は反転条件の充足状態、すなわちネガポジ反転されるか否かを表している。図から明らかなように、時刻Ｔ0においてゲイン値がＴＨとなっており、この時点で反転条件を充足する。その後、露光制御部１４により算出されるゲイン値は時刻Ｔ1まで閾値ＴＨを超えた状態を維持している。そのため、表示画像は時刻Ｔ0からＴ1までネガポジ反転されることとなる。
【００５１】
図から明らかなように、時刻Ｔ2以降では短い間隔でゲイン値が閾値ＴＨの上下に変化している。このような場合には、ネガポジ反転された画像とネガポジ反転されない画像とが短い間隔で交互に表示される（以下、交互表示と称する）ため、運転者にとっては非常に見づらい状態となる。この不都合を解消するためには、反転条件判定部１１は、交互表示が生じると判断した際に閾値ＴＨを変化させることが望ましい。例えば、閾値をＴＨLに設定すると時刻Ｔ2以降のゲイン値はＴＨLより大きくなり、継続して反転条件を充足する。したがって、時刻Ｔ2以降はネガポジ反転された画像が表示され、交互表示は生じない。
【００５２】
また、閾値をＴＨよりも大きいＴＨUに設定することもできる。この場合には、時刻Ｔ２以降は反転条件を充足せず、ネガポジ反転されない画像の表示が継続する。
【実施例３】
【００５３】
次に、本発明の監視装置の第３実施形態を説明する。本実施形態の機能部は第２実施形態と同様であるため、詳細な説明は省略し、異なる点のみを説明する。
【００５４】
本実施形態における露光制御部１４は、カメラＣのＤＳＰにより構成され、撮像部１０により撮影された撮影画像に基づき適切なシャッター速度（イメージセンサの光蓄積時間）を算出し、算出したシャッター速度を撮像部１０に設定することにより、撮像部１０の露光制御を行う機能を有している。また、算出したシャッター速度は反転条件判定部１１にも通知される。
【００５５】
以下、図１０のフローチャートを用いて本実施形態における処理の流れを説明する。まず、所定のフレームレートで撮像部１０が駆動され、撮影画像が生成される（＃４１）。このとき、撮影画像がＲＡＭに記憶され、その旨が露光制御部１４および反転条件判定部１１に通知される。
【００５６】
撮影画像が生成された旨の通知を受けた露光制御部１４は、公知の方法により適切なシャッター速度を算出する（＃４２）。算出したシャッター速度は、反転条件判定部１１に通知される。同時に、露光制御部１４は撮像部１０の露光制御を行うために、撮像部１０に対して算出したシャッター速度をフィードバックする（＃４３）。これを受けて撮像部１０は以降のシャッター速度を変更する。
【００５７】
反転条件判定部１１は、取得したシャッター速度と所定の閾値ＴＨとを比較し（＃４４）、撮影画像をネガポジ反転するか否かを判定する。反転条件判定部１１は、シャッター速度が閾値ＴＨ以上の場合（＃４３のYes分岐）には反転条件を充足するため、その旨を表示画像生成部１２に通知する。これを受けて、表示画像生成部１２は、撮影画像をネガポジ反転およびモノクロ変換することにより表示画像を生成する（＃４５）。生成された表示画像は表示部１３に送られる。
【００５８】
一方、シャッター速度が閾値ＴＨよりも小さい場合（＃４３のNo分岐）には、その旨が表示画像生成部１２に通知される。これを受けて表示画像生成部１２は、撮影画像をそのまま表示画像として表示部１３に送る。
【００５９】
表示画像を取得した表示部１３は、表示画像をディスプレイＤに表示する（＃４６）。
【００６０】
〔別実施形態〕
（１）上述の実施形態では、表示画像を生成する際に、ネガポジ反転後にモノクロ変換を行ったが、モノクロ変換後にネガポジ反転を行っても構わない。
【００６１】
（２）上述の実施形態では、ネガポジ反転する際に画素値の定義域の全域を使用するように反転を行ったが、画素値の定義域の一部を用いるように反転を行っても構わない。すなわち、反転後の画素値にオフセットを持たせても構わない。例えば、定義域が[０，２５５]の画素値ｐは、２５５−ｐ＋ｏｆｆｓｅｔによりネガポジ反転される。このとき、ｏｆｆｓｅｔが正であればネガポジ反転された画素値は高輝度側にシフトするため、低輝度側の輝度値は使用されない。一方、ｏｆｆｓｅｔが負であればネガポジ反転された画素値は低輝度側にシフトするため、高輝度側は使用されない。なお、いずれの場合にも定義域を超えた画素値は、最大輝度値または最小輝度値に丸められる。
【００６２】
このｏｆｆｓｅｔの値は、使用する環境に応じて適宜設定することができる。例えば、撮影画像が非常に暗い場合には、ネガポジ反転すると非常に明るくなる。そのため、白とびを防止するために負のｏｆｆｓｅｔを設定する。また、ディスプレイＤとしてＬＣＤ（Liquid Crystal Display）を用いる場合には、ＬＣＤの特性により低輝度が十分に表現できない場合がある。その場合には、正のｏｆｆｓｅｔを設定し、ネガポジ反転された画素値をＬＣＤが表現できる輝度範囲に収めることが望ましい。
【００６３】
また、ディスプレイＤのダイナミックレンジ特性に応じて、ネガポジ反転された画素値のダイナミックレンジの圧縮もしくは拡張を行っても構わない。
【００６４】
（３）上述の実施形態では、撮影画像全体をネガポジ反転させたが、撮影画像の一部のみをネガポジ反転されても構わない。例えば、カメラＣが車両Ｖの前方を撮影可能に備えられ、画角が広い場合には、撮影画像は車両ＶのライトＬの照射の影響を受ける部分（以下、高輝度領域と称する）とあまり受けない部分（以下、低輝度領域と称する）が混在することとなる。その場合に、撮影画像全体をネガポジ反転させると、高輝度領域の画素値が低輝度となり、運転者にとって見づらい表示画像となってしまう。このような場合には、高輝度領域の画素はネガポジ反転せず、低輝度領域の画素のみネガポジ反転させる。なお、高輝度領域と低輝度領域の判定は画像処理により行うこともできるが、これらはライトＬとカメラＣとの位置関係により規定されるものであるため、予め各々の領域を設定しておいても構わない。また、この場合には、撮影画像そのままのカラーの領域とネガポジ反転されたモノクロの領域が混在するため、運転者の見易さのために、これらの境界を明示することが望ましい。
【００６５】
（４）上述の実施形態では、監視装置Ａの各機能部をカメラＣのＤＳＰおよび車両Ｖに搭載されているＥＣＵにより構成したが、この構成に限定されるものではない。例えば、ＥＣＵのみにより構成しても構わないし、別途ＣＰＵ（Central Processing Unit）を備えてＣＰＵとプログラムにより構成しても構わない。
【産業上の利用可能性】
【００６６】
本発明は、暗部等を撮影した低輝度の画像を表示することにより監視する監視装置に利用することができる。
【符号の説明】
【００６７】
Ａ：監視装置
Ｖ：車両
１０：撮像部
１１：反転条件判定部
１２：表示画像生成部
１３：表示部
１４：露光制御部
【技術分野】
【０００１】
本発明は、監視技術に関し、特に暗部を撮影した画像を表示する監視技術に関する。
【背景技術】
【０００２】
従来、暗部を撮影した画像を表示する監視技術のために様々な検討が行われている。例えば、撮像レンズと、近赤外光から可視光までの感度を有する撮像素子と、近赤外領域の波長成分を除去する赤外カットフィルタと、該撮像素子からの映像信号に応じて白黒信号およびカラー信号を生成する映像信号処理手段とを有し、被写体が所定の明るさより暗いときには前記赤外カットフィルタをダミーガラス（素ガラス）に入れ替え、白黒映像信号を出力し、明るいときには前記ダミーガラスを前記赤外カットフィルタに入れ替え、カラー映像信号を出力するフィルタ交換手段を持つテレビジョンカメラにおいて、該フィルタの切り替えの判断をしている間は、切り替え前の静止画像をモニター等に出力するテレビジョンカメラがある（特許文献１参照）。
【０００３】
この特許文献１の技術では、被写体が暗い場合には赤外線カットフィルタを用いずに撮影し、白黒映像を出力する。一方、被写体が明るい場合には赤外線カットフィルタを用いて撮影し、カラー映像を出力する。これにより、被写体が暗い場合でも、可能な限り高い輝度の映像を得ることができる。
【０００４】
また、他の技術として、自車両のハンドルの操舵方向に自車両の前照灯の光の照射方向を追従させることによって、自車両の進行方向に前記前照灯の光が照射される状態を維持する配光可変型前照灯システムを備えた自車両に搭載され、前記自車両の周辺における所定の領域を撮像する車載カメラと、この車載カメラの自動露出に用いる測光領域として、前記車載カメラの撮像画像における使用される範囲の画像が適正露出の下で撮像された画像となるような測光領域を設定する測光領域設定手段と、前記ハンドルの操舵角に関する情報および前記ハンドルの操舵角に対応する前記前照灯の光の照射方向に関する情報の少なくとも一方を取得する操舵角／照射方向情報取得手段と、この操舵角／照射方向情報取得手段の取得情報に基づいて、前記車載カメラの撮像範囲における前記前照灯の光が照射される領域の撮像に用いる範囲である照射領域撮像範囲についての、前記車載カメラの撮像範囲内における占有範囲を、前記車載カメラの撮像範囲内における前記照射領域撮像範囲の存否も含めて推定する照射領域撮像範囲推定手段とを備え、前記測光領域設定手段が、前記ハンドルの操舵角の変化にともなう前記照射領域撮像範囲推定手段の推定結果の変動に応じて、前記測光領域を変更可能に形成されている車載カメラ用自動露出装置がある（特許文献２参照）。
【０００５】
この特許文献２の技術では、露光調整するための測光領域を前照灯の照射領域に応じて変更することにより、適切な露光調整を実現している。
【０００６】
他の技術として、少なくとも車両前部の側方を撮像する撮像手段と、前記車両に取り付けられて、少なくとも前記車両前部の側方を照射可能な灯火と、前記撮像手段の撮像状態に応じて前記灯火の点灯状態を制御する制御手段とを備える車両用側方監視カメラシステムがある（特許文献３参照）。この特許文献３の技術では、灯火により撮像範囲を照射することにより、明るい画像を撮影することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−３２４７４８号公報
【特許文献２】特開２００８−２３０４６４号公報（段落番号００２３，００２４）
【特許文献３】特開２００８−２０１２０２号公報（段落番号０００５，０００６）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した技術は、暗部を撮影する際の撮影環境を変更することにより、撮影された画像の輝度等を高めることができる。しかしながら、特許文献１および３の技術では、赤外線カットフィルタを移動させるための機構や追加的な灯火が必要であるため、装置が複雑となるとともに、コストの増加につながり、好ましくない。
【０００９】
また、特許文献２の技術では、測光範囲を適切に設定することができるが、撮影された画像全体が暗い場合には、露光調整のみでは十分な効果を得ることができない。
【００１０】
本発明の目的は、このような課題に鑑み、暗部等を撮影した低輝度の画像を見やすく表示する監視技術を提供することである。
【課題を解決するための手段】
【００１１】
前記課題を解決するために、本発明の監視装置は、監視対象を撮影する撮像部と、前記撮像部により撮影された撮影画像の視認性に基づく反転条件の充足を判定する反転条件判定部と、前記反転条件判定部により前記反転条件を充足していると判定された際に、前記撮影画像からネガポジ反転画像を生成する表示画像生成部と、を備えている。
【００１２】
この構成では、反転条件判定部により撮影画像の視認性に基づく反転条件が判定され、反転条件を充足している際には表示画像生成部により撮影画像からネガポジ反転画像が生成される。この反転条件は、暗部等を撮影した撮影画像のように撮影画像全体が暗い等の視認性の悪さを判定するためのものである。したがって、全体が低輝度であり視認性が悪い撮影画像であっても、撮影画像からネガポジ反転画像が生成されるため、全体が高輝度な画像が得られる。人間の眼の感度調整は、暗順応よりも明順応の方が急速であり、水晶体のピント調整も指標が明るい方がより良い応答が得られるため、低輝度の画像をネガポジ反転させることは人間工学の観点からも好ましい。また、カラー画像をネガポジ反転すると、現実と大きく乖離した色となるため、撮影画像がカラー画像の場合には、違和感を低減させるためにもネガポジ反転画像は濃淡画像とすることが望ましい。
【００１３】
多くのカメラではＡＧＣ（Auto Gain Control）機能を備えている。このＡＧＣ機能は、撮影対象が暗い場合にゲインを上げることにより、適切な輝度の画像を取得するものである。したがって、ＡＧＣ機能により算出されるゲイン値は撮影される画像の輝度値を適切に表している。そのため、本発明の監視装置の好適な実施形態の一つでは、ゲイン値を制御することにより前記撮像部の露光制御を行う露光制御部を備え、前記反転条件判定部は、前記ゲイン値に基づき前記反転条件を判定する。この構成では、ゲイン値を撮影画像の視認性の尺度として用いることにより、撮影画像をネガポジ反転するか否かを適切に判定することができる。
【００１４】
暗い撮影対象を撮影する際には、ゲインを上げるに伴い、撮影された画像に対するノイズの影響は大きくなる。そのようなノイズの影響を大きく受けた撮影画像をネガポジ反転すると、ノイズが目立ち、見難くなる。そのため、本発明の監視装置の好適な実施形態の一つでは、前記判定条件判定部は、前記ゲイン値がゲイン値の最大値よりも小さい所定ゲイン値を超えた場合に、前記反転条件を充足すると判定する。この構成では、ネガポジ反転の判定条件となる閾値を最大ゲイン値よりも小さな値に設定している。この閾値は、ノイズの影響があまり大きくならないゲイン値に設定することが望ましい。この場合には、撮影画像はノイズの影響が小さいため、ネガポジ反転した画像も見易いものとなる。
【００１５】
また、多くのカメラではシャッター速度を変更することにより露光状態を制御する機能を有している。撮影対象が暗い場合にはシャッター速度を遅くし、光を多く取り込むことにより、撮影画像の輝度を上げることができる。したがって、シャッター速度は撮影された画像の輝度値を表していると言える。そのため、本発明の監視装置の好適な実施形態の一つでは、前記撮像部のシャッター速度を制御することにより前記撮像部の露光制御を行う露光制御部を備え、前記反転条件判定部は、前記シャッター速度に基づき前記反転条件を判定する。この構成では、シャッター速度を撮影画像の視認性の尺度として用いることにより、撮影画像をネガポジ反転するか否かを適切に判定することができる。
【００１６】
本発明の監視装置の好適な実施形態の一つでは、前記反転条件判定部は、前記撮影画像の画素値に基づき前記反転条件を判定する。この構成では、撮影画像の画素値を視認性の尺度として用いているため、より的確に反転条件を判定することができる。
【００１７】
本発明の監視装置は、ディスプレイに表示された表示画像を目視することにより監視を行うものである。表示画像を表示するディスプレイは各々の表示特性を持っている。そのため、ネガポジ反転させた画像を表示した際に、黒つぶれや白とびを生じる場合がある。そのため、本発明の監視装置の好適な実施形態の一つでは、前記表示画像生成部は、ネガポジ反転する際に、画素値をオフセットさせる。この構成では、ネガポジ反転する際に、ディスプレイの表示特性等に応じて画素値をオフセットさせることにより、見易いネガポジ反転画像を生成することができる。
【００１８】
夜間等に撮影した際に撮影範囲に照明等による照射がある場合等には、撮影された画像には輝度値の高い領域と低い領域とが混在している場合がある。反転条件の判定結果に基づいてこのような撮影画像に対して一様にネガポジ反転させると、元々高輝度の領域の輝度値が低くなり、見難い画像となってしまう。そのため、本発明の監視装置の好適な実施形態の一つでは、前記表示画像生成部は、前記撮影画像の一部分をネガポジ反転させる。この構成では、反転条件を充足した際に、撮影画像中からネガポジ反転させるべき領域とネガポジ反転させない領域とを判別し、ネガポジ反転させるべき領域のみをネガポジ反転させる。これにより、適切な輝度値を持つ表示画像を得ることができる。
【００１９】
本発明の監視装置の好適な実施形態の一つでは、車両に搭載される監視装置であって、前記撮像部は、当該車両の側方周辺を撮影するよう配置されている。通常車両には、その側方周辺を照射するライトは備えられていない。そのため、夜間等に車両の側方周辺を撮影した画像の輝度値は低くなっており、上述したネガポジ反転させた画像を表示することは好ましい。
【図面の簡単な説明】
【００２０】
【図１】本発明の監視装置が搭載された車両の図である。
【図２】本発明の監視装置の実施例１の形態における機能ブロック図である。
【図３】本発明の監視装置の実施例１の形態における処理の流れを表すフローチャートである。
【図４】本発明の監視装置の実施例１の形態における反転条件判定の処理の流れを表すフローチャートである。
【図５】本発明の監視装置の実施形態における反転条件充足時の表示画像生成の処理の流れを表すフローチャートである。
【図６】本発明の監視装置の実施形態における撮影画像と表示画像の例である。
【図７】本発明の監視装置の実施例２および３の形態における機能ブロック図である。
【図８】本発明の監視装置の実施例２の形態における処理の流れを表すフローチャートである。
【図９】本発明の監視装置の実施例２の形態におけるゲイン値と反転条件の充足状態との関係を表す図である。
【図１０】本発明の監視装置の実施例３の形態における処理の流れを表すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を用いて本発明の監視装置の実施形態を説明する。本実施形態では、図１に示すように、監視装置Ａ（車両周辺監視装置）は車両Ｖに搭載されており、カメラＣおよびＥＣＵ（electronic control unit）により構成されている。図１に示すように、カメラＣは車両Ｖの前方、後方、および左右側方を撮影可能な位置に設置されているが、カメラＣの設置位置はこれに限定されるものではなく、他の位置に設置しても構わない。また、カメラＣの台数も１台に限定されるものではなく、適宜変更可能である。なお、本実施形態では、カメラＣはカラーデジタルビデオカメラとして説明するが、デジタルスチルカメラを用いることも可能である。また、車両Ｖには、監視装置Ａにより生成された表示画像等を表示するためのディスプレイＤが備えられている。車両Ｖにナビゲーションシステムが搭載される場合、ディスプレイＤはナビゲーションシステムの表示装置として用いるものを兼用すると好適である。
【実施例１】
【００２２】
図２は、本実施形態における監視装置Ａの機能ブロック図である。本実施形態における監視装置Ａは、車両Ｖの周辺を撮影し撮影画像を生成する撮像部１０、撮像部１０により撮影された撮影画像をネガポジ反転させるか否かの条件（以下、「反転条件」と称する）を判定する反転条件判定部１１、反転条件判定部１１により反転条件を充足していると判定された際に、撮影画像からネガポジ反転画像を生成する表示画像生成部１２、表示画像生成部１２により生成された表示画像をディスプレイＤに表示する表示部１３を備えている。
【００２３】
撮像部１０は、カメラＣのＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサおよびイメージセンサドライバやＡ／Ｄコンバータを中核として構成されている。カメラＣのレンズから入射した光はイメージセンサにより光電変換された後、Ａ／Ｄコンバータ等によりＡ／Ｄ変換され撮影画像が生成される。このようにして生成された撮影画像はＤＳＰ（Digital Signal Processor）内のＲＡＭに記憶され、撮影画像が生成された旨が反転条件判定部１１および表示画像生成部１２に送られる。
【００２４】
反転条件判定部１１は、カメラＣのＤＳＰにより構成されており、所定の反転条件に基づき、撮影画像をネガポジ反転するか否かを判定する。本実施形態では、反転条件判定部１１は撮影画像の輝度値に基づいて判定する（詳細は後述する）。
【００２５】
表示画像生成部１２は、カメラＣのＤＳＰにより構成されており、反転条件判定部１１の判定結果に基づき、撮影画像から表示画像を生成する。表示画像生成部１２は、反転条件判定部１１により反転条件を充足していると判定された際には、撮影画像からネガポジ反転画像を表示画像として生成する。なお、ネガポジ反転画像とは、少なくとも撮影画像に対してネガポジ反転処理を施した画像であるが、本実施形態では、見易さを考慮してモノクロ変換処理をも施している。このモノクロ変換処理は、ネガポジ反転処理の前後いずれでも構わない。一方、反転条件を充足していないと判定された際には、撮影画像を表示画像とする。なお、表示画像生成部１２は、解像度変換等の機能を備えることもできる。表示画像生成部１２により生成された表示画像は、表示部１３に送られる。
【００２６】
表示部１３は、車両Ｖに搭載されたＥＣＵおよびソフトウェアにより構成されており、表示画像生成部１２により生成された表示画像をディスプレイＤに表示する機能を有している。
【００２７】
図３は、監視装置の本実施形態における処理の流れを表すフローチャートである。まず、所定フレームレート（例えば、３０ｆｐｓ）で撮像部１０が駆動され、撮影画像が生成される（＃０１）。生成された撮影画像は、カメラＣのＲＡＭに記憶され、その旨が反転条件判定部１１に通知される。また、撮影画像は表示画像生成部１２に送られる。
【００２８】
撮像部１０から撮影画像を生成した旨を取得した反転条件判定部１１は、所定の反転条件を充足するか否かを判定する（＃０２）。具体的には、本実施形態では図４のフローチャートに示す処理を行う。
【００２９】
まず、初期化処理として、輝度ヒストグラムＨの全要素の０クリア、および、参照アドレスｑにＲＡＭにおける撮影画像の先頭アドレスを設定する（＃１１）。輝度ヒストグラムＨは、輝度値の階調数（以下の例では、０〜２５５とする）と同数の要素を持つ配列として実現されており、以下の説明では輝度値ｋの頻度をＨ[ｋ]として表記する。
【００３０】
次に、参照アドレスｑが示す撮影画像のｉ番目の画素ｐiの画素値に基づき画素ｐiの輝度値Ｉiを算出する（＃１２）。上述したように、本実施形態では、カメラＣとしてカラーデジタルビデオカメラを用いているため、撮影画像はカラー画像である。一般的に、カラー画像の画素は赤（Ｒ）要素、緑（Ｇ）要素、青（Ｂ）要素の３つの値からなる画素値を持っている。したがって、画素ｐiの画素値は｛Ｒi，Ｇi，Ｂi｝となる。このとき、画素ｐiの輝度値ＩiはＩi＝０．２９９×Ｒi＋０．５８７×Ｇi＋０．１１４×Ｂiにより求めることができる。当然ながら、他の算出式を用いて輝度値Ｉiを算出しても構わない。
【００３１】
次に、上述の処理により求められた輝度値Ｉiに基づき輝度ヒストグラムＨを更新する（＃１３）。具体的には、Ｈ[Ｉi]＝Ｈ[Ｉi]＋１の演算を行う。
【００３２】
その後、未処理画素の有無がチェックされる（＃１４）。具体的には、参照アドレスｑがＲＡＭにおける撮影画像の最終アドレスに達したか否かが判定される。未処理画素が存在する場合には（＃１４のYes分岐）、処理を次の未処理画素に移行させるために、参照アドレスｑをインクリメント（＃１５）した後、＃１２の処理に移行し、上述の処理を繰り返す。なお、本例では撮影画像の全画素を用いて輝度ヒストグラムＨを作成したが、撮影画像の一部の画素のみを用いる構成としても構わない。すなわち、撮影画像の特定範囲の画素を用いる構成である。
【００３３】
一方、未処理画素が存在しない場合には（＃１４のNo分岐）、上述の処理により生成された輝度ヒストグラムＨを用いて、撮影画像の特徴量を算出する（＃１６）。輝度ヒストグラムＨから算出可能な撮影画像の特徴量としては、平均輝度、輝度分散、輝度ヒストグラムの形状（単峰性、双峰性等）等がある。本実施形態では、平均輝度を用いて説明する。したがって、反転条件判定部１１は、撮影画像の特徴量として平均輝度Ｅ[Ｉ]を以下の式（１）により算出する。なお、本実施形態では撮影画像は各色（ＲＧＢ）８ビットで表現されているものとする。
【数１】
【００３４】
反転条件判定部１１は、このようにして算出された平均輝度Ｅ[Ｉ]と所定の閾値ＴＨとを比較し（＃１７）、平均輝度Ｅ[Ｉ]が閾値ＴＨよりも小さければ（＃１７のYes分岐）、反転条件を充足すると判定する（＃１８）。一方、平均輝度Ｅ[Ｉ]が閾値ＴＨ以上であれば（＃１７のNo分岐）、反転条件を充足しないと判定する（＃１９）。この反転条件判定部１１の判定結果は、表示画像生成部１２に通知される。
【００３５】
反転条件判定部１１の判定結果を取得した表示画像生成部１２は、判定結果に基づき撮影画像から表示画像を生成する。このとき、撮像部１０から取得した撮影画像は、ＤＳＰ内のＲＡＭに記憶されている。具体的には、反転条件を充足しない旨の判定結果であれば（＃０３のNo分岐）、撮像部１０から取得した撮影画像をそのまま表示画像として表示部１３に送る。一方、反転条件を充足する旨の判定結果であれば（＃０３のYes分岐）、撮像部１０から取得した撮影画像に対してネガポジ反転およびモノクロ変換を行う（＃０４）。なお、カメラＣとしてモノクロカメラを用いた場合には、モノクロ変換は不要である。
【００３６】
図５は、撮影画像をネガポジ反転およびモノクロ変換し、表示画像を生成する処理の流れを表すフローチャートである。まず、初期化処理として、参照アドレスｑにＲＡＭにおける撮影画像の先頭アドレスを設定する（＃２１）。上述したように、撮影画像はＲＧＢの３プレーンから構成されるカラー画像であり、画素ｐiの画素値は｛Ｒi，Ｇi，Ｂi｝である。また、各色は[０，２５５]の範囲の値を持っている。したがって、この画素ｐiのネガポジ反転後の画素値は｛２５５−Ｒi，２５５−Ｇi，２５５−Ｂi｝となる（＃２２）。
【００３７】
次に、表示画像生成部１２は、ネガポジ反転した画素値に対してモノクロ変換を行い、輝度値Ｉiを求める（＃２３）。具体的には、Ｉi＝０．２９９×（２５５−Ｒi）＋０．５８７×（２５５−Ｇi）＋０．１１４×（２５５−Ｂi）の計算を行う。
【００３８】
このようにして求められた輝度値Ｉiを用いて、参照アドレスｑが参照する画素ｐiの画素値を更新する（＃２４）。すなわち、画素ｐiの画素値は｛Ｉi，Ｉi，Ｉi｝となる。
【００３９】
その後、未処理画素の有無がチェックされる（＃２５）。具体的には、参照アドレスｑがＲＡＭにおける表示画像の最終アドレスに達したか否かが判定される。未処理画素が存在する場合には（＃２５のYes分岐）、参照アドレスｑをインクリメント（＃２６）した後、＃２２の処理に移行し、上述の処理を繰り返す。一方、未処理画素が存在しない場合には（＃２５のNo分岐）、表示画像の生成処理を終了し、生成した表示画像を表示部１３に送る。
【００４０】
表示画像生成部１２から表示画像を取得した表示部１３は、ディスプレイＤに表示画像を表示させる（＃０５）。
【００４１】
図６（ａ）は、撮像部１０により暗部を撮影した際の撮影画像の例である。この撮影画像に対して上述の処理を行うと、反転条件判定部１１により反転条件を充足すると判定され、図６（ｂ）の表示画像が生成される。図から明らかなように、図６（ａ）では不明りょうな暗部が、図６（ｂ）では明瞭となっている。
【実施例２】
【００４２】
次に、本発明の監視装置の第２実施形態を説明する。図７は、本実施形態の機能ブロック図である。なお、第１実施形態と同様の機能部に対しては同一の符号を付しており、詳細な説明は省略する。本実施形態は、露光制御部１４を備えている点において第１実施形態と異なっている。
【００４３】
露光制御部１４は、カメラＣのＤＳＰにより構成され、撮像部１０により撮影された撮影画像に基づき適切なゲイン値を算出し、算出したゲイン値を撮像部１０に設定することにより、撮像部１０の露光制御を行う機能を有している。また、算出したゲイン値は反転条件判定部１１にも通知される。
【００４４】
以下、図８のフローチャートを用いて本実施形態における処理の流れを説明する。まず、所定のフレームレートで撮像部１０が駆動され、撮影画像が生成される（＃３１）。このとき、撮影画像がＲＡＭに記憶され、その旨が露光制御部１４および反転条件判定部１１に通知される。
【００４５】
撮影画像が生成された旨の通知を受けた露光制御部１４は、公知の方法により適切なゲイン値を算出する（＃３２）。算出したゲイン値は、反転条件判定部１１に通知される。
【００４６】
反転条件判定部１１は、取得したゲイン値と所定の閾値ＴＨとを比較し（＃３３）、撮影画像をネガポジ反転するか否かを判定する。一般的に、暗部を撮影する際には、ゲイン値の上昇に伴いノイズが目立つようになる。そのため、この閾値ＴＨは、ノイズが目立ち過ぎるゲイン値よりも若干小さい値に設定しておくことが望ましい。そのような閾値ＴＨを設定することにより、ノイズが目立つ手前のゲイン値まではゲイン値の調整による撮影画像が生成され、ノイズが目立つゲイン値すなわち閾値ＴＨ以上のゲイン値を設定しなければならない状態では、撮影画像をネガポジ反転およびモノクロ変換した表示画像が生成される。
【００４７】
したがって、反転条件判定部１１は、ゲイン値が閾値ＴＨ以下の場合（＃３３のNo分岐）には反転条件を充足しないため、露光制御により撮影画像の画質の向上を行うべく、露光制御部１４に対して撮像部１０にゲイン値をフィードバックするよう指示を出す。これを受けて、露光制御部１４は、算出したゲイン値を撮像部１０にフィードバックし、以降の撮像部１０における撮影時のゲイン値を変更する（＃３５）。同時に、反転条件判定部１１は表示画像生成部１２に対して反転条件を充足しない旨を通知する。これを受けて表示画像生成部１２は、撮影画像をそのまま表示画像として表示部１３に送る。
【００４８】
一方、ゲイン値が閾値ＴＨよりも大きい場合（＃３３のYes分岐）には反転条件を充足するため、その旨を表示画像生成部１２に通知する。これを受けて、表示画像生成部１２は、撮影画像をネガポジ反転およびモノクロ変換することにより表示画像を生成する（＃３４）。生成された表示画像は表示部１３に送られる。この場合には、露光制御部１４から撮像部１０に対するゲインコントロールが実行されないため、撮像部１０のゲイン値は一定値（露光制御部１４により設定された直前のゲイン値またはそれ以下の値）に固定される。
【００４９】
表示画像を取得した表示部１３は、表示画像をディスプレイＤに表示する（＃３６）。
【００５０】
図９は、露光制御部１４により算出されたゲイン値と反転条件判定部１１の判定結果の関係を表す図である。図の横軸は時刻、縦軸は露光制御部１４により算出されたゲイン値を表している。また、図中の太線は反転条件の充足状態、すなわちネガポジ反転されるか否かを表している。図から明らかなように、時刻Ｔ0においてゲイン値がＴＨとなっており、この時点で反転条件を充足する。その後、露光制御部１４により算出されるゲイン値は時刻Ｔ1まで閾値ＴＨを超えた状態を維持している。そのため、表示画像は時刻Ｔ0からＴ1までネガポジ反転されることとなる。
【００５１】
図から明らかなように、時刻Ｔ2以降では短い間隔でゲイン値が閾値ＴＨの上下に変化している。このような場合には、ネガポジ反転された画像とネガポジ反転されない画像とが短い間隔で交互に表示される（以下、交互表示と称する）ため、運転者にとっては非常に見づらい状態となる。この不都合を解消するためには、反転条件判定部１１は、交互表示が生じると判断した際に閾値ＴＨを変化させることが望ましい。例えば、閾値をＴＨLに設定すると時刻Ｔ2以降のゲイン値はＴＨLより大きくなり、継続して反転条件を充足する。したがって、時刻Ｔ2以降はネガポジ反転された画像が表示され、交互表示は生じない。
【００５２】
また、閾値をＴＨよりも大きいＴＨUに設定することもできる。この場合には、時刻Ｔ２以降は反転条件を充足せず、ネガポジ反転されない画像の表示が継続する。
【実施例３】
【００５３】
次に、本発明の監視装置の第３実施形態を説明する。本実施形態の機能部は第２実施形態と同様であるため、詳細な説明は省略し、異なる点のみを説明する。
【００５４】
本実施形態における露光制御部１４は、カメラＣのＤＳＰにより構成され、撮像部１０により撮影された撮影画像に基づき適切なシャッター速度（イメージセンサの光蓄積時間）を算出し、算出したシャッター速度を撮像部１０に設定することにより、撮像部１０の露光制御を行う機能を有している。また、算出したシャッター速度は反転条件判定部１１にも通知される。
【００５５】
以下、図１０のフローチャートを用いて本実施形態における処理の流れを説明する。まず、所定のフレームレートで撮像部１０が駆動され、撮影画像が生成される（＃４１）。このとき、撮影画像がＲＡＭに記憶され、その旨が露光制御部１４および反転条件判定部１１に通知される。
【００５６】
撮影画像が生成された旨の通知を受けた露光制御部１４は、公知の方法により適切なシャッター速度を算出する（＃４２）。算出したシャッター速度は、反転条件判定部１１に通知される。同時に、露光制御部１４は撮像部１０の露光制御を行うために、撮像部１０に対して算出したシャッター速度をフィードバックする（＃４３）。これを受けて撮像部１０は以降のシャッター速度を変更する。
【００５７】
反転条件判定部１１は、取得したシャッター速度と所定の閾値ＴＨとを比較し（＃４４）、撮影画像をネガポジ反転するか否かを判定する。反転条件判定部１１は、シャッター速度が閾値ＴＨ以上の場合（＃４３のYes分岐）には反転条件を充足するため、その旨を表示画像生成部１２に通知する。これを受けて、表示画像生成部１２は、撮影画像をネガポジ反転およびモノクロ変換することにより表示画像を生成する（＃４５）。生成された表示画像は表示部１３に送られる。
【００５８】
一方、シャッター速度が閾値ＴＨよりも小さい場合（＃４３のNo分岐）には、その旨が表示画像生成部１２に通知される。これを受けて表示画像生成部１２は、撮影画像をそのまま表示画像として表示部１３に送る。
【００５９】
表示画像を取得した表示部１３は、表示画像をディスプレイＤに表示する（＃４６）。
【００６０】
〔別実施形態〕
（１）上述の実施形態では、表示画像を生成する際に、ネガポジ反転後にモノクロ変換を行ったが、モノクロ変換後にネガポジ反転を行っても構わない。
【００６１】
（２）上述の実施形態では、ネガポジ反転する際に画素値の定義域の全域を使用するように反転を行ったが、画素値の定義域の一部を用いるように反転を行っても構わない。すなわち、反転後の画素値にオフセットを持たせても構わない。例えば、定義域が[０，２５５]の画素値ｐは、２５５−ｐ＋ｏｆｆｓｅｔによりネガポジ反転される。このとき、ｏｆｆｓｅｔが正であればネガポジ反転された画素値は高輝度側にシフトするため、低輝度側の輝度値は使用されない。一方、ｏｆｆｓｅｔが負であればネガポジ反転された画素値は低輝度側にシフトするため、高輝度側は使用されない。なお、いずれの場合にも定義域を超えた画素値は、最大輝度値または最小輝度値に丸められる。
【００６２】
このｏｆｆｓｅｔの値は、使用する環境に応じて適宜設定することができる。例えば、撮影画像が非常に暗い場合には、ネガポジ反転すると非常に明るくなる。そのため、白とびを防止するために負のｏｆｆｓｅｔを設定する。また、ディスプレイＤとしてＬＣＤ（Liquid Crystal Display）を用いる場合には、ＬＣＤの特性により低輝度が十分に表現できない場合がある。その場合には、正のｏｆｆｓｅｔを設定し、ネガポジ反転された画素値をＬＣＤが表現できる輝度範囲に収めることが望ましい。
【００６３】
また、ディスプレイＤのダイナミックレンジ特性に応じて、ネガポジ反転された画素値のダイナミックレンジの圧縮もしくは拡張を行っても構わない。
【００６４】
（３）上述の実施形態では、撮影画像全体をネガポジ反転させたが、撮影画像の一部のみをネガポジ反転されても構わない。例えば、カメラＣが車両Ｖの前方を撮影可能に備えられ、画角が広い場合には、撮影画像は車両ＶのライトＬの照射の影響を受ける部分（以下、高輝度領域と称する）とあまり受けない部分（以下、低輝度領域と称する）が混在することとなる。その場合に、撮影画像全体をネガポジ反転させると、高輝度領域の画素値が低輝度となり、運転者にとって見づらい表示画像となってしまう。このような場合には、高輝度領域の画素はネガポジ反転せず、低輝度領域の画素のみネガポジ反転させる。なお、高輝度領域と低輝度領域の判定は画像処理により行うこともできるが、これらはライトＬとカメラＣとの位置関係により規定されるものであるため、予め各々の領域を設定しておいても構わない。また、この場合には、撮影画像そのままのカラーの領域とネガポジ反転されたモノクロの領域が混在するため、運転者の見易さのために、これらの境界を明示することが望ましい。
【００６５】
（４）上述の実施形態では、監視装置Ａの各機能部をカメラＣのＤＳＰおよび車両Ｖに搭載されているＥＣＵにより構成したが、この構成に限定されるものではない。例えば、ＥＣＵのみにより構成しても構わないし、別途ＣＰＵ（Central Processing Unit）を備えてＣＰＵとプログラムにより構成しても構わない。
【産業上の利用可能性】
【００６６】
本発明は、暗部等を撮影した低輝度の画像を表示することにより監視する監視装置に利用することができる。
【符号の説明】
【００６７】
Ａ：監視装置
Ｖ：車両
１０：撮像部
１１：反転条件判定部
１２：表示画像生成部
１３：表示部
１４：露光制御部
【特許請求の範囲】
【請求項１】
監視対象を撮影する撮像部と、
前記撮像部により撮影された撮影画像の視認性に基づく反転条件の充足を判定する反転条件判定部と、
前記反転条件判定部により前記反転条件を充足していると判定された際に、前記撮影画像からネガポジ反転画像を生成する表示画像生成部と、を備えた監視装置。
【請求項２】
ゲイン値を制御することにより前記撮像部の露光制御を行う露光制御部を備え、
前記反転条件判定部は、前記ゲイン値に基づき前記反転条件を判定する請求項１記載の監視装置。
【請求項３】
前記判定条件判定部は、前記ゲイン値がゲイン値の最大値よりも小さい所定ゲイン値を超えた場合に、前記反転条件を充足すると判定する請求項２記載の監視装置。
【請求項４】
前記撮像部のシャッター速度を制御することにより前記撮像部の露光制御を行う露光制御部を備え、
前記反転条件判定部は、前記シャッター速度に基づき前記反転条件を判定する請求項１記載の監視装置。
【請求項５】
前記反転条件判定部は、前記撮影画像の画素値に基づき前記反転条件を判定する請求項１記載の監視装置。
【請求項６】
前記表示画像生成部は、ネガポジ反転する際に、画素値をオフセットさせる請求項１から５のいずれか一項に記載の監視装置。
【請求項７】
前記表示画像生成部は、前記撮影画像の一部分をネガポジ反転させる請求項１から６のいずれか一項に記載の監視装置。
【請求項８】
車両に搭載される請求項１から７のいずれか一項に記載の監視装置であって、
前記撮像部は、当該車両の側方周辺を撮影するよう配置されている監視装置。
【請求項１】
監視対象を撮影する撮像部と、
前記撮像部により撮影された撮影画像の視認性に基づく反転条件の充足を判定する反転条件判定部と、
前記反転条件判定部により前記反転条件を充足していると判定された際に、前記撮影画像からネガポジ反転画像を生成する表示画像生成部と、を備えた監視装置。
【請求項２】
ゲイン値を制御することにより前記撮像部の露光制御を行う露光制御部を備え、
前記反転条件判定部は、前記ゲイン値に基づき前記反転条件を判定する請求項１記載の監視装置。
【請求項３】
前記判定条件判定部は、前記ゲイン値がゲイン値の最大値よりも小さい所定ゲイン値を超えた場合に、前記反転条件を充足すると判定する請求項２記載の監視装置。
【請求項４】
前記撮像部のシャッター速度を制御することにより前記撮像部の露光制御を行う露光制御部を備え、
前記反転条件判定部は、前記シャッター速度に基づき前記反転条件を判定する請求項１記載の監視装置。
【請求項５】
前記反転条件判定部は、前記撮影画像の画素値に基づき前記反転条件を判定する請求項１記載の監視装置。
【請求項６】
前記表示画像生成部は、ネガポジ反転する際に、画素値をオフセットさせる請求項１から５のいずれか一項に記載の監視装置。
【請求項７】
前記表示画像生成部は、前記撮影画像の一部分をネガポジ反転させる請求項１から６のいずれか一項に記載の監視装置。
【請求項８】
車両に搭載される請求項１から７のいずれか一項に記載の監視装置であって、
前記撮像部は、当該車両の側方周辺を撮影するよう配置されている監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図６】
【公開番号】特開２０１０−２７３０２６（Ｐ２０１０−２７３０２６Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２２１３１（Ｐ２００９−１２２１３１）
【出願日】平成２１年５月２０日（２００９．５．２０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月２０日（２００９．５．２０）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]