撮像システム、撮像装置および画像処理方法
【課題】 フレームレートを落とさずにワイドダイナミックレンジの画像を得るこのできる撮像システムを提供する。
【解決手段】 撮像装置１では、通常露光モードで撮像素子３の露光時間を制御し、撮像素子３の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより、全撮像エリアの間引き画像を得る。そして、全撮像エリアの間引き画像から、所定の指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得する。また、短露光モードで撮像素子３の露光時間を制御し、撮像素子３の全撮像エリアのうち指定エリアの読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得する。そして、通常露光間引き部分画像と短露光指定読出し部分画像とを合成する。
【解決手段】 撮像装置１では、通常露光モードで撮像素子３の露光時間を制御し、撮像素子３の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより、全撮像エリアの間引き画像を得る。そして、全撮像エリアの間引き画像から、所定の指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得する。また、短露光モードで撮像素子３の露光時間を制御し、撮像素子３の全撮像エリアのうち指定エリアの読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得する。そして、通常露光間引き部分画像と短露光指定読出し部分画像とを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得る機能を備えた撮像システムに関するものである。
【背景技術】
【０００２】
従来、複数枚の画像を合成してワイドダイナミックレンジの画像を生成するときに、フレームレートを向上させるシステムが提案されている（例えば特許文献１参照）。従来のシステムでは、撮像素子の受光面の全体にわたる画像（全領域画像）を通常露光で撮像するとともに、撮像素子の受光面の一部の領域のみについての画像（部分領域画像）を短露光で撮像し、全領域画像と部分領域画像を合成することにより、ダイナミックレンジを拡大した全領域画像（ＷＤＬ画像）が得られる。
【０００３】
それまで短露光の撮像も受光面の全面にわたって行われていたところ、この従来のシステムでは、短露光での撮像を受光面の全体ではなく一部の領域に限定することで、短露光での撮像に要する時間を短縮し、その分だけフレームレートの向上が図られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２７２０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のシステムにおいては、短露光での撮像を受光面の一部の領域に限定することにより、ある程度フレームレートの向上を図ることができるものの、通常露光での撮像は依然として全面にわたって行われるので、フレームレートの向上に限界があるという問題があった。
【０００６】
例えば、それまで、通常露光と短露光の画像がそれぞれ３３．３ｍｓｅｃで読み出されていたところ、短露光での撮像を受光面の一部の領域に限定することにより、短露光の画像を１６．６ｍｓｅｃで読み出すことができたとする。その場合、ＷＤＬ画像の生成フレームレートは、１５ｆｐｓ（＝１フレームあたり、３３．３ｍｓｅｃ＋３３．３ｍｓｅｃ）から２０ｆｐｓ（＝１フレームあたり、３３．３ｍｓｅｃ＋１６．６ｍｓｅｃ）に向上させることができるものの、撮像素子の本来のフレームレートである３０ｆｐｓ（＝１フレームあたり、３３．３ｍｓｅｃ）まで向上させることはできない。このように、フレームレートの向上に限界があり、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得ることはできないという問題があった。
【０００７】
本発明は、上記従来の問題を解決するためになされたもので、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得ることのできる撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像システムは、撮像手段と、所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像手段の露光時間を制御する露光時間制御手段と、前記撮像手段の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像手段からの画像の読出しを制御する読出し制御手段と、前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し手段と、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成手段と、を備えた構成を有している。
【０００９】
この構成により、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像から指定エリアの部分の画像を切り出した通常露光間引き部分画像と、短露光モードで露光時間を制御しかつ指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とが合成され、ワイドダイナミックレンジの画像を得ることができる。この場合、通常露光間引き部分画像は、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる。したがって、本発明によれば、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
【００１０】
また、本発明の撮像システムでは、前記読出し制御手段は、前記間引きモードにおいて、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行う構成を有している。
【００１１】
この構成により、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うので、画素を間引いて読出しを行うことにより画質が劣化するのを抑えることができる。
【００１２】
また、本発明の撮像システムでは、前記撮像手段は、魚眼レンズまたは広角レンズを用いて歪み画像を撮影し、前記指定エリアの形状は、主に、前記歪み画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる構成を有している。
【００１３】
この構成により、魚眼レンズまたは広角レンズを用いて撮影された広域画像から、指定エリアの切出し（または読出し）を行うときに、その指定エリアの形状が、広域画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる。したがって、歪み補正後に必要とされる最小限のエリアの画像の切出し（または読出し）を行えばよく、画像処理の高速化が可能である。
【００１４】
また、本発明の撮像システムは、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像に超解像処理を施すことにより、前記画像の解像度を高める超解像処理手段を備えた構成を有している。
【００１５】
この構成により、間引いて読み出された画像に超解像処理が施され、画像の解像度が高められる。この場合、複数の画像（複数フレームの画像）を使った再構成型の超解像処理を施すことにより、画像の解像度を高めることができる。
【００１６】
また、本発明の撮像システムは、前記通常露光間引き部分画像と前記短露光指定読出し部分画像を合成した画像とともに、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像を表示するための表示処理手段を備えた構成を有している。
【００１７】
この構成により、通常露光間引き部分画像と短露光指定読出し部分画像を合成したワイドダイナミックレンジの画像（部分画像）とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像（全体画像）が表示される。これにより、全体画像（エリア全体）を参照しながら、部分画像（各エリア）の監視をすることができる。この場合、全体画像も、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる（フレームレートを落とすことがない）。
【００１８】
また、本発明の撮像システムは、前記撮像手段で得られた画像に動き検出処理を施す動き検出手段を備え、前記指定エリアの位置は、前記動き検出手段で検出された動き物体のエリアの位置に基づいて定められる構成を有している。
【００１９】
この構成により、撮像手段で得られた画像に動き検出処理が施され、指定エリアの切出し（または読出し）を行うときには、その動き検出処理で検出された動き物体のエリアの位置に基づいて指定エリアの位置が定められる。これにより、動き物体が検出された部分画像（エリア）の監視をすることができる。
【００２０】
本発明の撮像装置は、撮像部と、所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像部の露光時間を制御する露光時間制御部と、前記撮像部の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像部の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像部からの画像の読出しを制御する読出し制御部と、前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し部と、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成部と、を備えた構成を有している。
【００２１】
この装置によっても、上記と同様に、通常露光間引き部分画像でも、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができ、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
【００２２】
本発明の画像処理方法は、所定の露光時間で撮影した画像を出力する通常露光モードで撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより得られる全撮像エリアの画像から、指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得し、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで前記撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアのうち前記指定エリアについて全画素の読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得し、前記通常露光間引き部分画像と短露光指定読出し部分画像とを合成する。
【００２３】
この方法によっても、上記と同様に、通常露光間引き部分画像でも、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができ、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
【発明の効果】
【００２４】
本発明は、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができるという効果を有する撮像システムを提供することができるものである。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態における撮像装置（撮像システム）のブロック図
【図２】撮像素子の読出しモードの説明図
【図３】間引きを行う画素を周期的に変える制御の説明図
【図４】間引き画像への超解像処理の説明図
【図５】魚眼画像からの切出し処理、歪み補正および回転補正処理の説明図
【図６】全体画像と部分画像の合成処理（表示処理）の説明図
【図７】ワイドダイナミックレンジ画像（ＷＤＲ画像）の生成フレームレートの説明図
【図８】本発明の実施の形態における撮像装置（撮像システム）の動作説明のためのフロー図
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態の撮像システムについて、図面を用いて説明する。本実施の形態では、監視システム等に用いられる撮像システムの場合を例示する。なお、以下では、撮像システムのすべての機能が一つの装置（撮像装置）に備えられる場合について説明するが、本発明の範囲はこれに限定されるものではなく、撮像システムは、二つ以上の装置（例えば、撮像装置と画像処理装置など）で構成されてよい。
【００２７】
本発明の実施の形態の撮像装置（撮像システム）の構成を、図面を参照して説明する。図１は、本実施の形態の撮像装置を示すブロック図である。図１に示すように、撮像装置１には、魚眼レンズ２と撮像素子３が備えられている。魚眼レンズ２は画角が極めて広く、実質的にその光軸から略垂直方向にわたる全周囲の画像を撮影することができるレンズである（図５および図６参照）。なお、ここでは、魚眼レンズ２を用いた場合について説明するが、魚眼レンズ２の代わりに、広角レンズや一般的なレンズを用いることも可能である。撮像素子３としては、例えばＣＣＤやＣＭＯＳなどが使用される。
【００２８】
撮像素子３は、図２に示すような種々の読出しを行う機能を備えている。まず、図２（ａ）に示すように、撮像素子３は、全撮像エリアの画素から通常の読出しを行う機能を備えている。この場合、通常の露光時間での撮影であれば、例えば画像の読出しに要する時間は３３．３ｍｓｅｃであり、露光（電荷蓄積）と読み出しを並列に行なうことでフレームレートは３０ｆｐｓが確保される。
【００２９】
なお、ここにいう「通常の読出し」とは、撮像領域のうち予め定められ或いは指定された領域の全ての画像データを読み出すことをいい、例えば撮像エリア全体の１フレーム分の画像データを読み出すことをいう。また「通常の露光時間での撮影」とは所定の基準露光時間で撮影することを意味する。つまり「通常の露光時間」というときの露光時間は一意に定まるものではなく、撮像装置が備える光学系の特性や撮像素子の感度等によって、あるいはユーザの指定によって任意に変わりうる。
【００３０】
また、この撮像素子３は、図２（ｂ）に示すように、所定の指定エリアから通常の読出しを行う機能を備えている。ここで、画像の読出しに要する時間は、指定エリアの面積（即ち画像データを読み出すべき画素数）に略比例し、例えば、指定エリアの面積が全撮像エリアの半分であれば、通常の露光時間での撮影の場合、画像の読出しに要する時間は全撮像エリアから読み出す際のおよそ半分である１６．６ｍｓｅｃであり、フレームレートは６０ｆｐｓとなる。つまり、指定エリアの面積が小さいほど読出しに要する時間は短縮される。
【００３１】
さらに、この撮像素子３は、図２（ｃ）に示すように、全撮像エリアの画素の一部を間引いて読出しを行う機能を備えている。画素を間引くことにより読み出すべき画素数は減少するから、例えば、全画素の１／２の画素を間引く場合、通常の露光時間での撮影であっても、画像の読出しに要する時間は１６．６ｍｓｅｃであり、フレームレートは６０ｆｐｓである。なお、ここでは、全画素の１／２の画素を間引く場合について説明したが、画素を間引く割合は１／２に限定されず、例えば、全画素の１／４の画素を間引いてもよい（図３（ｂ）参照）。そして、間引き率に略比例して読出しに要する時間は短縮される。
【００３２】
また、撮像装置１は、撮像素子３の動作やメモリへのデータ書き込みなどを制御する制御部４と、撮像素子３から出力される画像データが記録される２つのメモリ（第１メモリ５と第２メモリ６）を備えている。この制御部４は、露光時間制御部７と、読出し制御部８と、超解像処理部９と、画像情報抽出部１０と、動き検出部１１と、指定エリア決定部１２を含んでいる。
【００３３】
露光時間制御部７は、通常の露光時間で撮影した画像を出力する通常露光モードと、通常の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、撮像素子３の露光時間を制御する機能を備えている。
【００３４】
読出し制御部８は、撮像素子３の全撮像エリアのうち所定の指定エリアについて全画素の読出しを行う指定読出しモード（図２（ｂ）参照）と、撮像素子３の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモード（図２（ｃ）参照）で、撮像素子３からの画像の読出しを制御する機能を備えている。画素を読み出す範囲を全撮像エリアとするか所定の指定エリアとするかの選択、及び全画素を読み出すか一部を間引いて読み出すかの選択は、それぞれ機能的に独立して設定可能であり、読み出し制御部８は例えば上述した組み合わせ以外に、指定エリアについて間引きモードで読み出すことも可能である。
【００３５】
更に、この読出し制御部８は、間引きモードにおいて、間引きを行う画素をフレーム単位で周期的に変える機能を備えている。例えば、図３（ａ）のように、全画素の１／２の画素を間引く場合には、２フレームで全画素の読出しが行われるように、間引きを行う画素が周期的に変えられる。また、図３（ｂ）のように、全画素の１／４の画素を間引く場合には、４フレームで全画素の読出しが行われるように、間引きを行う画素が周期的に変えられる。
【００３６】
超解像処理部９は、間引きモードで間引いて読み出された画像に対して超解像処理を施すことにより、画像の解像度を高めた１枚のフレーム画像を生成する機能を備えている。この場合、図４に示すようにｔ７における間引きフレームを基準画像とし、これに時間軸上で直近する（例えばｔ１，ｔ３，ｔ５の時点の）複数の画像（複数フレームの画像）を使った再構成型の超解像処理を用いることにより、高解像度の画像を再現できる。なお、ここにいう超解像処理はいわゆる複数枚超解像処理を指し、各フレーム間において変位（画像の位置ずれ）が存在することを前提としており、動きのある画像（被写体のみが動いてもよいし、例えば手振れ等により画面全体が動いてもよい）に対して１枚の高解像度画像が得られる。更に、フレーム画像を１枚ずつずらしながら超解像処理を行なえば、動画を生成することも可能である。
【００３７】
図３（ａ），（ｂ）に示すように、フレーム間で間引く画素の位置を周期的に変えることで、撮像装置が有する物理的な解像度を有する画像を得ることができ、更にこれを超解像処理することで、画像を間引くことによる実質的な画像圧縮効果を併せ持つ、高速伝送かつ高画質の撮像システムが構築できる。
【００３８】
なお、図４に示す間引きフレームのみを用いて超解像処理を行なうのみならず、ｔ２，ｔ４，ｔ６で得た指定エリアの画像と、間引きフレームの画像のうち当該指定画像に対応する領域の画像を用いて超解像処理を実行してもよい。これを実時間で実行することで、部分画像（図６参照）についても高画質化（高解像度化）することができる。
【００３９】
画像情報抽出部１０は、撮像素子３で得られた画像（全撮像エリアの画像）に含まれる指定エリアの部分の明るさ（平均輝度値）や輝度ヒストグラムや明暗差などの情報（画像情報）を抽出する機能を備えている。露光時間制御部７は、この画像情報抽出部１０で得られた画像情報に基づいて、適切な露光時間を設定することができる。具体的には、露光時間制御部７は、あるタイミングにおいて、ある値に設定された通常の露光時間で撮像された画像に基づく画像情報を参照して、次回の通常露光モードの露光時間を設定し、更に短露光モードにおける露光時間を設定する。
【００４０】
動き検出部１１は、撮像素子３で得られた画像（全撮像エリアの画像）から動きベクトルを検出する機能を備えている。動きベクトルの検出には、例えば、ブロックマッチング法、勾配法など、公知の技術を用いることが可能である。
【００４１】
指定エリア決定部１２は、指定エリアの切出し（または読出し）を行うときに、その指定エリアの位置や形状を決定する機能を備えている。指定エリアの決定は、ユーザ入力により行われてもよく、あるいは、動き検出部１１で検出された動きベクトルの情報に基づいて行われてもよい。例えば、指定エリアの位置は、動き検出部１１で検出された動き物体のエリアの位置に基づいて決定されてよい。また、指定エリアの形状は、検出された動き物体の動き（移動速度）に応じて、動き物体のエリアを含む大きい形状のエリアに決定されてよい。
【００４２】
指定エリア決定部１２は、例えばユーザ入力に基づいて切出し範囲が指定された場合に、撮像素子３の各ラスタに対して画像の切出しの開始点と終了点を指定するポインタ情報を管理しており、制御部４に備えられた図示しないタイミング生成部が発生する同期信号に基づいて、例えば切出し範囲に応じた各ラスタの各画素位置に対するアドレス信号を生成するように構成されている。このアドレス信号に基づき、切出し範囲に含まれる画素にアクセスすることができ、又は各ラスタ走査において切出し領域に含まれない画素範囲をマスクすることができる。
【００４３】
なお、図２（図４、図６）では、説明の便宜上、指定エリアの形状を「四角形」の形状で図示しているが、指定エリア決定部１２を上述のように構成したことから、指定エリアの形状は「扇台形」の形状であってよい（図５参照）。すなわち、本実施の形態では、魚眼レンズ２を用いて撮影した広域画像に歪み補正（後述する）が施されるが、この歪み補正処理により、指定エリアの形状は「扇台形」から「四角形」に変化する。したがって、指定エリアの形状は、この歪み補正処理によるエリア形状の変化を考慮して「扇台形」に設定することができる。なお、指定エリアの形状は、指定領域が閉空間となることを条件として（ただし、ポインタ管理の制約から１つのラスタ内に複数の転送領域が指定されてはならない）任意形状としてもよい。
【００４４】
第１メモリ５には、通常露光で撮影された全撮像エリアの間引き画像の画像データが記録され、また、第２メモリ６には、短露光で撮影された全撮像エリアのうち指定エリアの部分を読出した部分画像の画像データが記録される。
【００４５】
また、撮像装置１は、図５に示すように、魚眼レンズ２で撮影した画像（全撮像エリアの画像）から指定エリアの部分の切出し画像（部分画像）を切り出す画像切出し部１３と、切り出した部分画像に歪み補正処理および回転補正処理を施す歪み補正・回転補正部１４を備えている。なお、部分画像の切出し、歪み補正および回転補正には、公知の技術を利用することができる。
【００４６】
さらに、撮像装置１は、画像合成部１５と表示処理部１６を備えている。図６に示すように、画像合成部１５は、通常露光で撮影された全撮像エリアの間引き画像から指定エリアの部分を切り出した部分画像（通常露光間引き部分画像）と、短露光で撮影された全撮像エリアのうち指定エリアの部分を読出した部分画像（短露光指定読出し部分画像）を合成して、ワイドダイナミックレンジの部分画像（ＷＤＲ画像）を生成する。ここで、短露光で撮影された指定エリアの面積の合計（画素数の合計）が全撮像エリアの１／２を越えないようにすれば、図７に示すように、通常露光の間引き全体画像は１６．６ｍｓで読み出され、短露光の部分画像も１６．６ｍｓｅｃを越えない読出し時間が維持されるので、ＷＤＲ画像の生成フレームレートは、少なくとも３０ｆｐｓを確保することが可能となる。
【００４７】
このことは逆に言えば、指定エリアの面積の合計が全撮像エリアの１／２を越えて設定されると、３０ｆｐｓを維持することができなくなるため、本実施形態ではユーザがそのような指定を行った場合、制御部４は当該指定を実行することで撮像システムのレスポンスが低下することを警告するようにしている。なお、このように指定エリアの面積が大きくなった場合であっても、通常露光間引き部分画像を１／４に間引いて転送するように設定することで、全体のレスポンスが維持できる場合もあるため、制御部４は警告の他にこのような回避策を提案し、ユーザが回避策を選択できるシステムとしてもよい。
【００４８】
また、表示処理部１６は、図６に示すように、複数のＷＤＲ画像（部分画像。図示は３枚）とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像（全体画像。図示は１枚）を表示するための処理を行う。
【００４９】
以上のように構成された撮像装置１について、図８のフロー図を参照してその動作を説明する。
【００５０】
図８に示すように、本実施の形態の撮像装置１では、まず、通常露光で全撮像エリアの間引き画像が撮影され（Ｓ１）、その画像データが第１メモリ５に記録される（Ｓ２）。そして、第１メモリ５に記録されている直近の複数枚の画像（通常露光の全撮像エリアの間引き画像）を用いて超解像処理が行われる（Ｓ３）。超解像処理は図６に示すように、全撮像エリアの画像を左上に縮小表示し、部分画像のおよその存在位置を示す程度の利用態様であれば、超解像処理を行なう必要はない。
【００５１】
自動で指定エリアを設定するモード（動き検出を行うモード）である場合には（Ｓ４）、全撮像エリアの画像（間引き画像）から動き検出処理を行い（Ｓ５）、その動き検出処理の結果に基づいて、例えば動きを検出した領域を包含するように指定エリアが設定される。なお、動きベクトルの群が複数検出されたときは、各動きベクトル群に応じて複数の指定エリアが設定されてもよい（Ｓ６）。一方、手動で指定エリアを設定するモードである場合には（Ｓ４）、ユーザ入力を受け付けて（Ｓ７）、指定エリアの設定が行われる。手動の場合も同様に複数の指定エリアが設定されてもよい（Ｓ６）。
【００５２】
つぎに、全撮像エリアの間引き画像のうち指定エリアに対応する部分の明るさや明暗差などの情報（画像情報）に基づいて、露出時間制御部７は短露光モードにおける露光時間を決定する（Ｓ８）。具体的には、露出時間制御部７は複数の閾値を保有しており、これら閾値と指定エリアの平均輝度を比較した結果に基づいて、露光時間が決定される。そして、短露光で画像の撮影が行われ（Ｓ９）、そのうち指定エリアの画像データが切出されて第２メモリ６に記録される（Ｓ１０）。なお、指定エリアが複数設定されている場合、短露光モードにおける露光時間は、各指定エリアの平均輝度値を更に平均して決定すればよいが、例えば１つの指定エリアの平均輝度値が、他の指定エリアの平均輝度値と極端に異なるような場合は、これまで説明した通常露光モードと短露光モードに加え、第３の露光モード（例えば、極短露光モード）を設けて、特定の指定エリアについては、第３の露光モードによって撮影した画像データを切出して合成してもよい。この場合、露光モードが増加することからフレームレートは低下するものの、新たに追加された露光モードに対応する指定エリアの数は少ないため、極端な劣化にはつながらない。
【００５３】
その後、第１メモリ５に記録された通常露光の間引き画像を読出して、指定エリアの部分を切り出す処理が行われるとともに（Ｓ１１）、第２メモリ６に記録された短露光の部分画像を読み出す処理が行われ（Ｓ１２）、これらの二つの画像を合成する（ＷＤＲ画像を生成する）処理が行われる（Ｓ１３）。そして、このようにして生成されたＷＤＲ画像（部分画像）と全体画像が合成して表示される（Ｓ１４）。なお、第１メモリ５に記録された画像は間引き画像であるから、補間処理によって水増しをして短露光画像と合成すればよいが、周期的に間引きされた画像（図３参照）を重ねて非間引き画像とし、これに第２メモリ６に記録された短露光画像を合成すれば、解像度の劣化が起こらない。
【００５４】
このような本実施の形態の撮像装置１によれば、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる（図７参照）。
【００５５】
すなわち、本実施の形態では、図６に示すように、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像から指定エリアの部分の画像を切り出した通常露光間引き部分画像と、短露光モードで露光時間を制御しかつ指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とが合成され、ワイドダイナミックレンジの画像を得ることができる。この場合、通常露光間引き部分画像は、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる。表現を変えれば、本実施の形態は、通常露光モードで得られた全撮像エリアの画素を間引いて転送すると共に、短露光モードでは指定エリアの画素を間引かずとも、その転送すべき画素数が事実上制限されることを利用して転送時間を短縮し、フレームレートの改善を図るものである。
【００５６】
また、以上の説明では、通常露光モードで撮像した全撮像エリアの画像を撮像素子３から間引いて読み出し、短露光モードで撮像した（全撮像エリアより小さい）指定エリアの画像を撮像素子３から読み出し、その後、画像合成部１５によって、全撮像エリアの画像のうち指定エリアに対応する画像に、指定エリアの画像を合成してワイドダイナミックレンジ画像を得ているが、全撮像エリアを短露光モードで撮像し、指定エリアを通常露光モードで撮像するようにしてもよい。
【００５７】
また、本実施の形態では、図３に示すように、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うので、画素を間引いて読出しを行うことにより画質が劣化するのを抑えることができる。
【００５８】
また、本実施の形態では、図５に示すように、魚眼レンズ２または広角レンズを用いて撮影された広域画像から、指定エリアの切出し（または読出し）を行うときに、その指定エリアの形状が、広域画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる。したがって、歪み補正後に必要とされる最小限のエリアの画像の切出し（または読出し）を行えばよく、画像処理の高速化が可能である。
【００５９】
また、本実施の形態では、図４に示すように、間引いて読み出された画像に超解像処理が施され、画像の解像度が高められる。この場合、複数の画像（複数フレームの画像）を使った再構成型の超解像処理を施すことにより、画像の解像度を高めることができる。
【００６０】
また、本実施の形態では、図６に示すように、通常露光間引き部分画像と短露光指定読出し部分画像を合成したワイドダイナミックレンジの画像（部分画像）とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像（全体画像）が表示される。これにより、全体画像（エリア全体）を参照しながら、部分画像（各エリア）の監視をすることができる。この場合、全体画像も、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる（フレームレートを落とすことがない）。
【００６１】
また、本実施の形態では、撮像素子３で得られた画像に動き検出処理が施され、指定エリアの切出し（または読出し）を行うときには、その動き検出処理で検出された動き物体のエリアの位置に基づいて指定エリアの位置が定められる。これにより、動き物体が検出された部分画像（エリア）の監視をすることができる。
【００６２】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００６３】
以上のように、本発明にかかる撮像システムは、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができるという効果を有し、監視システム等に適用され有用である。
【符号の説明】
【００６４】
１ 撮像装置
２ 魚眼レンズ
３ 撮像素子
４ 制御部
５ 第１メモリ
６ 第２メモリ
７ 露光時間制御部
８ 読出し制御部
９ 超解像処理部
１０ 画像情報抽出部
１１ 動き検出部
１２ 指定エリア決定部
１３ 画像切出し部
１４ 歪み補正・回転補正部
１５ 画像合成部
１６ 表示処理部
【技術分野】
【０００１】
本発明は、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得る機能を備えた撮像システムに関するものである。
【背景技術】
【０００２】
従来、複数枚の画像を合成してワイドダイナミックレンジの画像を生成するときに、フレームレートを向上させるシステムが提案されている（例えば特許文献１参照）。従来のシステムでは、撮像素子の受光面の全体にわたる画像（全領域画像）を通常露光で撮像するとともに、撮像素子の受光面の一部の領域のみについての画像（部分領域画像）を短露光で撮像し、全領域画像と部分領域画像を合成することにより、ダイナミックレンジを拡大した全領域画像（ＷＤＬ画像）が得られる。
【０００３】
それまで短露光の撮像も受光面の全面にわたって行われていたところ、この従来のシステムでは、短露光での撮像を受光面の全体ではなく一部の領域に限定することで、短露光での撮像に要する時間を短縮し、その分だけフレームレートの向上が図られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２７２０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のシステムにおいては、短露光での撮像を受光面の一部の領域に限定することにより、ある程度フレームレートの向上を図ることができるものの、通常露光での撮像は依然として全面にわたって行われるので、フレームレートの向上に限界があるという問題があった。
【０００６】
例えば、それまで、通常露光と短露光の画像がそれぞれ３３．３ｍｓｅｃで読み出されていたところ、短露光での撮像を受光面の一部の領域に限定することにより、短露光の画像を１６．６ｍｓｅｃで読み出すことができたとする。その場合、ＷＤＬ画像の生成フレームレートは、１５ｆｐｓ（＝１フレームあたり、３３．３ｍｓｅｃ＋３３．３ｍｓｅｃ）から２０ｆｐｓ（＝１フレームあたり、３３．３ｍｓｅｃ＋１６．６ｍｓｅｃ）に向上させることができるものの、撮像素子の本来のフレームレートである３０ｆｐｓ（＝１フレームあたり、３３．３ｍｓｅｃ）まで向上させることはできない。このように、フレームレートの向上に限界があり、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得ることはできないという問題があった。
【０００７】
本発明は、上記従来の問題を解決するためになされたもので、フレームレートを低下させることなく、ワイドダイナミックレンジの画像を得ることのできる撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像システムは、撮像手段と、所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像手段の露光時間を制御する露光時間制御手段と、前記撮像手段の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像手段からの画像の読出しを制御する読出し制御手段と、前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し手段と、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成手段と、を備えた構成を有している。
【０００９】
この構成により、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像から指定エリアの部分の画像を切り出した通常露光間引き部分画像と、短露光モードで露光時間を制御しかつ指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とが合成され、ワイドダイナミックレンジの画像を得ることができる。この場合、通常露光間引き部分画像は、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる。したがって、本発明によれば、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
【００１０】
また、本発明の撮像システムでは、前記読出し制御手段は、前記間引きモードにおいて、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行う構成を有している。
【００１１】
この構成により、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うので、画素を間引いて読出しを行うことにより画質が劣化するのを抑えることができる。
【００１２】
また、本発明の撮像システムでは、前記撮像手段は、魚眼レンズまたは広角レンズを用いて歪み画像を撮影し、前記指定エリアの形状は、主に、前記歪み画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる構成を有している。
【００１３】
この構成により、魚眼レンズまたは広角レンズを用いて撮影された広域画像から、指定エリアの切出し（または読出し）を行うときに、その指定エリアの形状が、広域画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる。したがって、歪み補正後に必要とされる最小限のエリアの画像の切出し（または読出し）を行えばよく、画像処理の高速化が可能である。
【００１４】
また、本発明の撮像システムは、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像に超解像処理を施すことにより、前記画像の解像度を高める超解像処理手段を備えた構成を有している。
【００１５】
この構成により、間引いて読み出された画像に超解像処理が施され、画像の解像度が高められる。この場合、複数の画像（複数フレームの画像）を使った再構成型の超解像処理を施すことにより、画像の解像度を高めることができる。
【００１６】
また、本発明の撮像システムは、前記通常露光間引き部分画像と前記短露光指定読出し部分画像を合成した画像とともに、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像を表示するための表示処理手段を備えた構成を有している。
【００１７】
この構成により、通常露光間引き部分画像と短露光指定読出し部分画像を合成したワイドダイナミックレンジの画像（部分画像）とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像（全体画像）が表示される。これにより、全体画像（エリア全体）を参照しながら、部分画像（各エリア）の監視をすることができる。この場合、全体画像も、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる（フレームレートを落とすことがない）。
【００１８】
また、本発明の撮像システムは、前記撮像手段で得られた画像に動き検出処理を施す動き検出手段を備え、前記指定エリアの位置は、前記動き検出手段で検出された動き物体のエリアの位置に基づいて定められる構成を有している。
【００１９】
この構成により、撮像手段で得られた画像に動き検出処理が施され、指定エリアの切出し（または読出し）を行うときには、その動き検出処理で検出された動き物体のエリアの位置に基づいて指定エリアの位置が定められる。これにより、動き物体が検出された部分画像（エリア）の監視をすることができる。
【００２０】
本発明の撮像装置は、撮像部と、所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像部の露光時間を制御する露光時間制御部と、前記撮像部の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像部の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像部からの画像の読出しを制御する読出し制御部と、前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し部と、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成部と、を備えた構成を有している。
【００２１】
この装置によっても、上記と同様に、通常露光間引き部分画像でも、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができ、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
【００２２】
本発明の画像処理方法は、所定の露光時間で撮影した画像を出力する通常露光モードで撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより得られる全撮像エリアの画像から、指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得し、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで前記撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアのうち前記指定エリアについて全画素の読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得し、前記通常露光間引き部分画像と短露光指定読出し部分画像とを合成する。
【００２３】
この方法によっても、上記と同様に、通常露光間引き部分画像でも、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができ、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる。
【発明の効果】
【００２４】
本発明は、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができるという効果を有する撮像システムを提供することができるものである。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態における撮像装置（撮像システム）のブロック図
【図２】撮像素子の読出しモードの説明図
【図３】間引きを行う画素を周期的に変える制御の説明図
【図４】間引き画像への超解像処理の説明図
【図５】魚眼画像からの切出し処理、歪み補正および回転補正処理の説明図
【図６】全体画像と部分画像の合成処理（表示処理）の説明図
【図７】ワイドダイナミックレンジ画像（ＷＤＲ画像）の生成フレームレートの説明図
【図８】本発明の実施の形態における撮像装置（撮像システム）の動作説明のためのフロー図
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態の撮像システムについて、図面を用いて説明する。本実施の形態では、監視システム等に用いられる撮像システムの場合を例示する。なお、以下では、撮像システムのすべての機能が一つの装置（撮像装置）に備えられる場合について説明するが、本発明の範囲はこれに限定されるものではなく、撮像システムは、二つ以上の装置（例えば、撮像装置と画像処理装置など）で構成されてよい。
【００２７】
本発明の実施の形態の撮像装置（撮像システム）の構成を、図面を参照して説明する。図１は、本実施の形態の撮像装置を示すブロック図である。図１に示すように、撮像装置１には、魚眼レンズ２と撮像素子３が備えられている。魚眼レンズ２は画角が極めて広く、実質的にその光軸から略垂直方向にわたる全周囲の画像を撮影することができるレンズである（図５および図６参照）。なお、ここでは、魚眼レンズ２を用いた場合について説明するが、魚眼レンズ２の代わりに、広角レンズや一般的なレンズを用いることも可能である。撮像素子３としては、例えばＣＣＤやＣＭＯＳなどが使用される。
【００２８】
撮像素子３は、図２に示すような種々の読出しを行う機能を備えている。まず、図２（ａ）に示すように、撮像素子３は、全撮像エリアの画素から通常の読出しを行う機能を備えている。この場合、通常の露光時間での撮影であれば、例えば画像の読出しに要する時間は３３．３ｍｓｅｃであり、露光（電荷蓄積）と読み出しを並列に行なうことでフレームレートは３０ｆｐｓが確保される。
【００２９】
なお、ここにいう「通常の読出し」とは、撮像領域のうち予め定められ或いは指定された領域の全ての画像データを読み出すことをいい、例えば撮像エリア全体の１フレーム分の画像データを読み出すことをいう。また「通常の露光時間での撮影」とは所定の基準露光時間で撮影することを意味する。つまり「通常の露光時間」というときの露光時間は一意に定まるものではなく、撮像装置が備える光学系の特性や撮像素子の感度等によって、あるいはユーザの指定によって任意に変わりうる。
【００３０】
また、この撮像素子３は、図２（ｂ）に示すように、所定の指定エリアから通常の読出しを行う機能を備えている。ここで、画像の読出しに要する時間は、指定エリアの面積（即ち画像データを読み出すべき画素数）に略比例し、例えば、指定エリアの面積が全撮像エリアの半分であれば、通常の露光時間での撮影の場合、画像の読出しに要する時間は全撮像エリアから読み出す際のおよそ半分である１６．６ｍｓｅｃであり、フレームレートは６０ｆｐｓとなる。つまり、指定エリアの面積が小さいほど読出しに要する時間は短縮される。
【００３１】
さらに、この撮像素子３は、図２（ｃ）に示すように、全撮像エリアの画素の一部を間引いて読出しを行う機能を備えている。画素を間引くことにより読み出すべき画素数は減少するから、例えば、全画素の１／２の画素を間引く場合、通常の露光時間での撮影であっても、画像の読出しに要する時間は１６．６ｍｓｅｃであり、フレームレートは６０ｆｐｓである。なお、ここでは、全画素の１／２の画素を間引く場合について説明したが、画素を間引く割合は１／２に限定されず、例えば、全画素の１／４の画素を間引いてもよい（図３（ｂ）参照）。そして、間引き率に略比例して読出しに要する時間は短縮される。
【００３２】
また、撮像装置１は、撮像素子３の動作やメモリへのデータ書き込みなどを制御する制御部４と、撮像素子３から出力される画像データが記録される２つのメモリ（第１メモリ５と第２メモリ６）を備えている。この制御部４は、露光時間制御部７と、読出し制御部８と、超解像処理部９と、画像情報抽出部１０と、動き検出部１１と、指定エリア決定部１２を含んでいる。
【００３３】
露光時間制御部７は、通常の露光時間で撮影した画像を出力する通常露光モードと、通常の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、撮像素子３の露光時間を制御する機能を備えている。
【００３４】
読出し制御部８は、撮像素子３の全撮像エリアのうち所定の指定エリアについて全画素の読出しを行う指定読出しモード（図２（ｂ）参照）と、撮像素子３の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモード（図２（ｃ）参照）で、撮像素子３からの画像の読出しを制御する機能を備えている。画素を読み出す範囲を全撮像エリアとするか所定の指定エリアとするかの選択、及び全画素を読み出すか一部を間引いて読み出すかの選択は、それぞれ機能的に独立して設定可能であり、読み出し制御部８は例えば上述した組み合わせ以外に、指定エリアについて間引きモードで読み出すことも可能である。
【００３５】
更に、この読出し制御部８は、間引きモードにおいて、間引きを行う画素をフレーム単位で周期的に変える機能を備えている。例えば、図３（ａ）のように、全画素の１／２の画素を間引く場合には、２フレームで全画素の読出しが行われるように、間引きを行う画素が周期的に変えられる。また、図３（ｂ）のように、全画素の１／４の画素を間引く場合には、４フレームで全画素の読出しが行われるように、間引きを行う画素が周期的に変えられる。
【００３６】
超解像処理部９は、間引きモードで間引いて読み出された画像に対して超解像処理を施すことにより、画像の解像度を高めた１枚のフレーム画像を生成する機能を備えている。この場合、図４に示すようにｔ７における間引きフレームを基準画像とし、これに時間軸上で直近する（例えばｔ１，ｔ３，ｔ５の時点の）複数の画像（複数フレームの画像）を使った再構成型の超解像処理を用いることにより、高解像度の画像を再現できる。なお、ここにいう超解像処理はいわゆる複数枚超解像処理を指し、各フレーム間において変位（画像の位置ずれ）が存在することを前提としており、動きのある画像（被写体のみが動いてもよいし、例えば手振れ等により画面全体が動いてもよい）に対して１枚の高解像度画像が得られる。更に、フレーム画像を１枚ずつずらしながら超解像処理を行なえば、動画を生成することも可能である。
【００３７】
図３（ａ），（ｂ）に示すように、フレーム間で間引く画素の位置を周期的に変えることで、撮像装置が有する物理的な解像度を有する画像を得ることができ、更にこれを超解像処理することで、画像を間引くことによる実質的な画像圧縮効果を併せ持つ、高速伝送かつ高画質の撮像システムが構築できる。
【００３８】
なお、図４に示す間引きフレームのみを用いて超解像処理を行なうのみならず、ｔ２，ｔ４，ｔ６で得た指定エリアの画像と、間引きフレームの画像のうち当該指定画像に対応する領域の画像を用いて超解像処理を実行してもよい。これを実時間で実行することで、部分画像（図６参照）についても高画質化（高解像度化）することができる。
【００３９】
画像情報抽出部１０は、撮像素子３で得られた画像（全撮像エリアの画像）に含まれる指定エリアの部分の明るさ（平均輝度値）や輝度ヒストグラムや明暗差などの情報（画像情報）を抽出する機能を備えている。露光時間制御部７は、この画像情報抽出部１０で得られた画像情報に基づいて、適切な露光時間を設定することができる。具体的には、露光時間制御部７は、あるタイミングにおいて、ある値に設定された通常の露光時間で撮像された画像に基づく画像情報を参照して、次回の通常露光モードの露光時間を設定し、更に短露光モードにおける露光時間を設定する。
【００４０】
動き検出部１１は、撮像素子３で得られた画像（全撮像エリアの画像）から動きベクトルを検出する機能を備えている。動きベクトルの検出には、例えば、ブロックマッチング法、勾配法など、公知の技術を用いることが可能である。
【００４１】
指定エリア決定部１２は、指定エリアの切出し（または読出し）を行うときに、その指定エリアの位置や形状を決定する機能を備えている。指定エリアの決定は、ユーザ入力により行われてもよく、あるいは、動き検出部１１で検出された動きベクトルの情報に基づいて行われてもよい。例えば、指定エリアの位置は、動き検出部１１で検出された動き物体のエリアの位置に基づいて決定されてよい。また、指定エリアの形状は、検出された動き物体の動き（移動速度）に応じて、動き物体のエリアを含む大きい形状のエリアに決定されてよい。
【００４２】
指定エリア決定部１２は、例えばユーザ入力に基づいて切出し範囲が指定された場合に、撮像素子３の各ラスタに対して画像の切出しの開始点と終了点を指定するポインタ情報を管理しており、制御部４に備えられた図示しないタイミング生成部が発生する同期信号に基づいて、例えば切出し範囲に応じた各ラスタの各画素位置に対するアドレス信号を生成するように構成されている。このアドレス信号に基づき、切出し範囲に含まれる画素にアクセスすることができ、又は各ラスタ走査において切出し領域に含まれない画素範囲をマスクすることができる。
【００４３】
なお、図２（図４、図６）では、説明の便宜上、指定エリアの形状を「四角形」の形状で図示しているが、指定エリア決定部１２を上述のように構成したことから、指定エリアの形状は「扇台形」の形状であってよい（図５参照）。すなわち、本実施の形態では、魚眼レンズ２を用いて撮影した広域画像に歪み補正（後述する）が施されるが、この歪み補正処理により、指定エリアの形状は「扇台形」から「四角形」に変化する。したがって、指定エリアの形状は、この歪み補正処理によるエリア形状の変化を考慮して「扇台形」に設定することができる。なお、指定エリアの形状は、指定領域が閉空間となることを条件として（ただし、ポインタ管理の制約から１つのラスタ内に複数の転送領域が指定されてはならない）任意形状としてもよい。
【００４４】
第１メモリ５には、通常露光で撮影された全撮像エリアの間引き画像の画像データが記録され、また、第２メモリ６には、短露光で撮影された全撮像エリアのうち指定エリアの部分を読出した部分画像の画像データが記録される。
【００４５】
また、撮像装置１は、図５に示すように、魚眼レンズ２で撮影した画像（全撮像エリアの画像）から指定エリアの部分の切出し画像（部分画像）を切り出す画像切出し部１３と、切り出した部分画像に歪み補正処理および回転補正処理を施す歪み補正・回転補正部１４を備えている。なお、部分画像の切出し、歪み補正および回転補正には、公知の技術を利用することができる。
【００４６】
さらに、撮像装置１は、画像合成部１５と表示処理部１６を備えている。図６に示すように、画像合成部１５は、通常露光で撮影された全撮像エリアの間引き画像から指定エリアの部分を切り出した部分画像（通常露光間引き部分画像）と、短露光で撮影された全撮像エリアのうち指定エリアの部分を読出した部分画像（短露光指定読出し部分画像）を合成して、ワイドダイナミックレンジの部分画像（ＷＤＲ画像）を生成する。ここで、短露光で撮影された指定エリアの面積の合計（画素数の合計）が全撮像エリアの１／２を越えないようにすれば、図７に示すように、通常露光の間引き全体画像は１６．６ｍｓで読み出され、短露光の部分画像も１６．６ｍｓｅｃを越えない読出し時間が維持されるので、ＷＤＲ画像の生成フレームレートは、少なくとも３０ｆｐｓを確保することが可能となる。
【００４７】
このことは逆に言えば、指定エリアの面積の合計が全撮像エリアの１／２を越えて設定されると、３０ｆｐｓを維持することができなくなるため、本実施形態ではユーザがそのような指定を行った場合、制御部４は当該指定を実行することで撮像システムのレスポンスが低下することを警告するようにしている。なお、このように指定エリアの面積が大きくなった場合であっても、通常露光間引き部分画像を１／４に間引いて転送するように設定することで、全体のレスポンスが維持できる場合もあるため、制御部４は警告の他にこのような回避策を提案し、ユーザが回避策を選択できるシステムとしてもよい。
【００４８】
また、表示処理部１６は、図６に示すように、複数のＷＤＲ画像（部分画像。図示は３枚）とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像（全体画像。図示は１枚）を表示するための処理を行う。
【００４９】
以上のように構成された撮像装置１について、図８のフロー図を参照してその動作を説明する。
【００５０】
図８に示すように、本実施の形態の撮像装置１では、まず、通常露光で全撮像エリアの間引き画像が撮影され（Ｓ１）、その画像データが第１メモリ５に記録される（Ｓ２）。そして、第１メモリ５に記録されている直近の複数枚の画像（通常露光の全撮像エリアの間引き画像）を用いて超解像処理が行われる（Ｓ３）。超解像処理は図６に示すように、全撮像エリアの画像を左上に縮小表示し、部分画像のおよその存在位置を示す程度の利用態様であれば、超解像処理を行なう必要はない。
【００５１】
自動で指定エリアを設定するモード（動き検出を行うモード）である場合には（Ｓ４）、全撮像エリアの画像（間引き画像）から動き検出処理を行い（Ｓ５）、その動き検出処理の結果に基づいて、例えば動きを検出した領域を包含するように指定エリアが設定される。なお、動きベクトルの群が複数検出されたときは、各動きベクトル群に応じて複数の指定エリアが設定されてもよい（Ｓ６）。一方、手動で指定エリアを設定するモードである場合には（Ｓ４）、ユーザ入力を受け付けて（Ｓ７）、指定エリアの設定が行われる。手動の場合も同様に複数の指定エリアが設定されてもよい（Ｓ６）。
【００５２】
つぎに、全撮像エリアの間引き画像のうち指定エリアに対応する部分の明るさや明暗差などの情報（画像情報）に基づいて、露出時間制御部７は短露光モードにおける露光時間を決定する（Ｓ８）。具体的には、露出時間制御部７は複数の閾値を保有しており、これら閾値と指定エリアの平均輝度を比較した結果に基づいて、露光時間が決定される。そして、短露光で画像の撮影が行われ（Ｓ９）、そのうち指定エリアの画像データが切出されて第２メモリ６に記録される（Ｓ１０）。なお、指定エリアが複数設定されている場合、短露光モードにおける露光時間は、各指定エリアの平均輝度値を更に平均して決定すればよいが、例えば１つの指定エリアの平均輝度値が、他の指定エリアの平均輝度値と極端に異なるような場合は、これまで説明した通常露光モードと短露光モードに加え、第３の露光モード（例えば、極短露光モード）を設けて、特定の指定エリアについては、第３の露光モードによって撮影した画像データを切出して合成してもよい。この場合、露光モードが増加することからフレームレートは低下するものの、新たに追加された露光モードに対応する指定エリアの数は少ないため、極端な劣化にはつながらない。
【００５３】
その後、第１メモリ５に記録された通常露光の間引き画像を読出して、指定エリアの部分を切り出す処理が行われるとともに（Ｓ１１）、第２メモリ６に記録された短露光の部分画像を読み出す処理が行われ（Ｓ１２）、これらの二つの画像を合成する（ＷＤＲ画像を生成する）処理が行われる（Ｓ１３）。そして、このようにして生成されたＷＤＲ画像（部分画像）と全体画像が合成して表示される（Ｓ１４）。なお、第１メモリ５に記録された画像は間引き画像であるから、補間処理によって水増しをして短露光画像と合成すればよいが、周期的に間引きされた画像（図３参照）を重ねて非間引き画像とし、これに第２メモリ６に記録された短露光画像を合成すれば、解像度の劣化が起こらない。
【００５４】
このような本実施の形態の撮像装置１によれば、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができる（図７参照）。
【００５５】
すなわち、本実施の形態では、図６に示すように、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像から指定エリアの部分の画像を切り出した通常露光間引き部分画像と、短露光モードで露光時間を制御しかつ指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とが合成され、ワイドダイナミックレンジの画像を得ることができる。この場合、通常露光間引き部分画像は、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる。表現を変えれば、本実施の形態は、通常露光モードで得られた全撮像エリアの画素を間引いて転送すると共に、短露光モードでは指定エリアの画素を間引かずとも、その転送すべき画素数が事実上制限されることを利用して転送時間を短縮し、フレームレートの改善を図るものである。
【００５６】
また、以上の説明では、通常露光モードで撮像した全撮像エリアの画像を撮像素子３から間引いて読み出し、短露光モードで撮像した（全撮像エリアより小さい）指定エリアの画像を撮像素子３から読み出し、その後、画像合成部１５によって、全撮像エリアの画像のうち指定エリアに対応する画像に、指定エリアの画像を合成してワイドダイナミックレンジ画像を得ているが、全撮像エリアを短露光モードで撮像し、指定エリアを通常露光モードで撮像するようにしてもよい。
【００５７】
また、本実施の形態では、図３に示すように、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うので、画素を間引いて読出しを行うことにより画質が劣化するのを抑えることができる。
【００５８】
また、本実施の形態では、図５に示すように、魚眼レンズ２または広角レンズを用いて撮影された広域画像から、指定エリアの切出し（または読出し）を行うときに、その指定エリアの形状が、広域画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められる。したがって、歪み補正後に必要とされる最小限のエリアの画像の切出し（または読出し）を行えばよく、画像処理の高速化が可能である。
【００５９】
また、本実施の形態では、図４に示すように、間引いて読み出された画像に超解像処理が施され、画像の解像度が高められる。この場合、複数の画像（複数フレームの画像）を使った再構成型の超解像処理を施すことにより、画像の解像度を高めることができる。
【００６０】
また、本実施の形態では、図６に示すように、通常露光間引き部分画像と短露光指定読出し部分画像を合成したワイドダイナミックレンジの画像（部分画像）とともに、通常露光モードで露光時間を制御しかつ間引きモードで画像の読出しを制御した全撮像エリアの画像（全体画像）が表示される。これにより、全体画像（エリア全体）を参照しながら、部分画像（各エリア）の監視をすることができる。この場合、全体画像も、通常の露光時間で撮影した画像であるが、全画素の一部を間引いて読出しを行う分だけ、フレームレートが低くなるのを抑えることができる（フレームレートを落とすことがない）。
【００６１】
また、本実施の形態では、撮像素子３で得られた画像に動き検出処理が施され、指定エリアの切出し（または読出し）を行うときには、その動き検出処理で検出された動き物体のエリアの位置に基づいて指定エリアの位置が定められる。これにより、動き物体が検出された部分画像（エリア）の監視をすることができる。
【００６２】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００６３】
以上のように、本発明にかかる撮像システムは、フレームレートを落とさずにワイドダイナミックレンジの画像を得ることができるという効果を有し、監視システム等に適用され有用である。
【符号の説明】
【００６４】
１ 撮像装置
２ 魚眼レンズ
３ 撮像素子
４ 制御部
５ 第１メモリ
６ 第２メモリ
７ 露光時間制御部
８ 読出し制御部
９ 超解像処理部
１０ 画像情報抽出部
１１ 動き検出部
１２ 指定エリア決定部
１３ 画像切出し部
１４ 歪み補正・回転補正部
１５ 画像合成部
１６ 表示処理部
【特許請求の範囲】
【請求項１】
撮像手段と、
所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像手段の露光時間を制御する露光時間制御手段と、
前記撮像手段の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像手段からの画像の読出しを制御する読出し制御手段と、
前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し手段と、
前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成手段と、
を備えたことを特徴とする撮像システム。
【請求項２】
前記読出し制御手段は、前記間引きモードにおいて、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記撮像手段は、魚眼レンズまたは広角レンズを用いて歪み画像を撮影し、
前記指定エリアの形状は、前記歪み画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められることを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項４】
前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像に超解像処理を施すことにより、前記画像の解像度を高める超解像処理手段を備えたことを特徴とする請求項１ないし請求項３のいずれかに記載の撮像システム。
【請求項５】
前記通常露光間引き部分画像と前記短露光指定読出し部分画像を合成した画像とともに、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像を表示するための表示処理手段を備えたことを特徴とする請求項１ないし請求項４のいずれかに記載の撮像システム。
【請求項６】
前記撮像手段で得られた画像に動き検出処理を施す動き検出手段を備え、
前記指定エリアの位置は、前記動き検出手段で検出された動き物体のエリアの位置に基づいて定められることを特徴とする請求項１ないし請求項５のいずれかに記載の撮像システム。
【請求項７】
撮像部と、
所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像部の露光時間を制御する露光時間制御部と、
前記撮像部の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像部の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像部からの画像の読出しを制御する読出し制御部と、
前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し部と、
前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成部と、
を備えたことを特徴とする撮像装置。
【請求項８】
所定の露光時間で撮影した画像を出力する通常露光モードで撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより得られる全撮像エリアの画像から、指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得し、
前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで前記撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアのうち前記指定エリアについて全画素の読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得し、
前記通常露光間引き部分画像と前記短露光指定読出し部分画像とを合成することを特徴とする画像処理方法。
【請求項１】
撮像手段と、
所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像手段の露光時間を制御する露光時間制御手段と、
前記撮像手段の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像手段からの画像の読出しを制御する読出し制御手段と、
前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し手段と、
前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成手段と、
を備えたことを特徴とする撮像システム。
【請求項２】
前記読出し制御手段は、前記間引きモードにおいて、間引いて読出しを行う画素をフレーム単位で周期的に変えて、複数のフレームで全画素の読出しを行うことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記撮像手段は、魚眼レンズまたは広角レンズを用いて歪み画像を撮影し、
前記指定エリアの形状は、前記歪み画像に施される歪み補正によるエリア形状変化を考慮した扇台形形状に定められることを特徴とする請求項１または請求項２に記載の撮像システム。
【請求項４】
前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像に超解像処理を施すことにより、前記画像の解像度を高める超解像処理手段を備えたことを特徴とする請求項１ないし請求項３のいずれかに記載の撮像システム。
【請求項５】
前記通常露光間引き部分画像と前記短露光指定読出し部分画像を合成した画像とともに、前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像を表示するための表示処理手段を備えたことを特徴とする請求項１ないし請求項４のいずれかに記載の撮像システム。
【請求項６】
前記撮像手段で得られた画像に動き検出処理を施す動き検出手段を備え、
前記指定エリアの位置は、前記動き検出手段で検出された動き物体のエリアの位置に基づいて定められることを特徴とする請求項１ないし請求項５のいずれかに記載の撮像システム。
【請求項７】
撮像部と、
所定の露光時間で撮影した画像を出力する通常露光モードと、前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで、前記撮像部の露光時間を制御する露光時間制御部と、
前記撮像部の全撮像エリアのうち指定エリアについて全画素の読出しを行う指定読出しモードと、前記撮像部の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで、前記撮像部からの画像の読出しを制御する読出し制御部と、
前記全撮像エリアの画像から前記指定エリアの部分の画像を切り出す画像切出し部と、
前記通常露光モードで露光時間を制御しかつ前記間引きモードで画像の読出しを制御した全撮像エリアの画像から前記指定エリアの部分の画像を切り出した通常露光間引き部分画像と、前記短露光モードで露光時間を制御しかつ前記指定読出しモードで画像の読出しを制御した短露光指定読出し部分画像とを合成する画像合成部と、
を備えたことを特徴とする撮像装置。
【請求項８】
所定の露光時間で撮影した画像を出力する通常露光モードで撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアについて全画素の一部を間引いて読出しを行う間引きモードで画像の読出しを制御することにより得られる全撮像エリアの画像から、指定エリアの部分の画像を切り出した通常露光間引き部分画像を取得し、
前記所定の露光時間より短い露光時間で撮影した画像を出力する短露光モードで前記撮像手段の露光時間を制御し、かつ、前記撮像手段の全撮像エリアのうち前記指定エリアについて全画素の読出しを行う指定読出しモードで画像の読出しを制御することにより、短露光指定読出し部分画像を取得し、
前記通常露光間引き部分画像と前記短露光指定読出し部分画像とを合成することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−８４１２４（Ｐ２０１３−８４１２４Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２３６８７（Ｐ２０１１−２２３６８７）
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]