撮像装置、および撮像装置制御方法、並びにプログラム
【課題】画像の画素領域ごとに露光時間を制御する構成において、より遅延の少ない露光時間制御処理を実現する装置、方法を提供する。
【解決手段】撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有する。制御部は、先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して撮像素子に出力する。撮像素子は、制御部から、領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する。この領域単位の露光時間制御情報を順次適用した処理を行うことでより遅延の少ない露光時間制御処理が実現される。
【解決手段】撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有する。制御部は、先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して撮像素子に出力する。撮像素子は、制御部から、領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する。この領域単位の露光時間制御情報を順次適用した処理を行うことでより遅延の少ない露光時間制御処理が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、および撮像装置制御方法、並びにプログラムに関する。さらに詳細には、領域単位の露光制御を行う撮像装置、および撮像装置制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
図１を参照して、撮像素子の一例であるＣＭＯＳイメージセンサの構成と撮影処理例について説明する。
図１は、撮像素子（ＣＭＯＳイメージセンサ）１０１の一部構成を示す図である。撮像素子（ＣＭＯＳイメージセンサ）１０１は、垂直走査回路１０２、水平走査回路１０３、および、アレイ状に配置された複数の画素１０４から構成される。
【０００３】
画素１０４の内部では、被写体撮影に伴う露光処理によってフォトダイオードに電荷が蓄積される。
各画素のフォトダイオードに蓄積された電荷は、アンプトランジスタおよび転送トランジスタを介して垂直信号線１１３に出力される。垂直信号線１１３に出力された信号電流は、さらに水平走査回路１０３に供給されて、所定の信号処理が実行された後、信号出力線１１４を介して外部へ出力される。
【０００４】
垂直信号線１１３には、縦に並んだ各画素が共通に接続されているので、それぞれの画素の信号を独立に読み出すためには、垂直信号線１１３に対して、１度に１個の画素分の信号のみを出力するようにしなければならない。
【０００５】
すなわち、撮像素子（ＣＭＯＳイメージセンサ）１０１においては、図２（Ａ）に示されるように、例えば、一番下の行に並んだ画素１０４ｄのそれぞれから、最初に信号を読出し、次に、図２（Ｂ）に示されるように画素１０４ｃの行からの読み出しを行い、その後、順次、読み出しの行を変更して信号の読み出しを行うことで、各画素の信号を独立して読み出すことができるようになされている。これらの画素読み出しの制御信号は、例えば図１に示される垂直走査回路１０２に接続された水平リセット線１１１、水平選択線１１２から出力される。
【０００６】
撮像素子（ＣＭＯＳイメージセンサ）の構成画素１０４の各々は、蓄積された電荷の読み出し処理直後から、再び露光を開始する。すなわち、次の画像フレーム用の露光処理が開始される。
【０００７】
このように読み出し処理を行単位で順次、実行し、その直後から露光処理を開始すると、先頭行のフォトダイオード１０４ａと最終行のフォトダイオード１０４ｄとでは、露光の開始時刻および終了時刻が異なる、すなわち露光時間（または露光期間）にずれが発生する。
これが、いわゆるフォーカルプレーンシャッタ動作、あるいはローリングシャッタ動作と呼ばれるシャッタ動作の特徴である。
なお、図には１０４ａ〜１０４ｄの４行のみ示しているが、これは撮像素子の一部を示しているのみであり、実際の撮像素子には数１００〜数１０００行等、多数の行が設定され、各行単位で順次読み出しが実行される。
【０００８】
従来の撮像素子は、露光時間、すなわち、露光の開始から終了までの時間は、すべての画素について同じ長さとする構成が一般的であった。
しかし、最近では、被写体の明るさに応じて撮像素子の各画素に対する露光時間を制御する構成が提案されている。このような露光制御により、撮影画像のダイナミックレンジを拡大することができる。
【０００９】
以下、露光時間制御（シャッタ制御）によるダイナミックレンジ拡大処理について説明する。
明るい被写体領域では露光時間を長くすると画素の蓄積電荷が飽和してしまい、正確な画素値が得られない。
一方、暗い被写体領域では、露光時間を長くした方が被写体輝度に対応する正確な画素値を得やすい。
【００１０】
そこで、被写体が明るい領域では露光時間を短く設定した画素の画素値を有効画素値として取得する。一方、被写体が暗い領域では、露光時間を長くした画素の画素値を有効画素値として取得する。ダイナミックレンジを拡大する一つの方法は、これらを組み合わせて出力画像を生成するものである。なお、最終的な画素値の出力に際しては、各露光時間に基づく画素値調整処理が実行される。
【００１１】
特許文献１および非特許文献１には、撮像素子の画素行ごとに異なる露光時間を設定して、撮影画像のダイナミックレンジを拡大する技術を開示している。例えば撮像素子の画素行の１行おきに短時間露光行と長時間露光行を設定する構成である。
【００１２】
例えば、特許文献１、非特許文献１は、行単位で露光時間制御を実行して、画面の部位の明るさに応じて行単位で設定する方法について開示している。
これらの特許文献１、および非特許文献１の構成は、電子シャッタを用いた構成によって領域単位の露光時間制御を実行するものである。
【００１３】
また、被写体の輝度に応じた適応的な露光時間設定を実行するアルゴリズムについては、例えば非特許文献２に開示がある。
このように、被写体の明るさに応じて各行など、領域単位で露光時間を制御する構成については、すでに開示されている。
しかし、この被写体輝度に応じた露光制御を行うためには、撮影開始前に画素単位の露光時間を決定する処理が必要となる。ここで、問題となるのは、
（処理１）画素単位の露光時間を決定する処理を行うための先行画像の取得処理、
（処理２）上記処理１を実行後、その情報を反映した露光制御を行った撮影処理
これらの処理１〜処理２の間で遅延が生じることである。
【００１４】
この遅延が大きいほど明るさの変化への追従が遅くなり、その結果、明るさの変化の後、しばらくの間、明るすぎる画像、暗すぎる画像を取得してしまうということが発生する。
特に行単位や画素単位など領域ごとの露光制御を行う場合、従来の画面全体での露光制御に比べ、よりシビアな露光制御が必要となってくる。従来の画面で一つの露光時間を決定する場合、局所的な物体の動きでは明るさの変化はほとんど生じなかった。しかし、領域ごとの露光制御を行う場合、そのような局所的な物体の動きに対する追従も必要になり、従来よりも追従の遅延による影響は大きいといえる。
【００１５】
露光制御に反映するまでに生じる遅延について図３、図４を用いて説明する。
図３、図４とも時間軸を横軸、行を縦軸として示している。
例えば図３において、電荷読み出しのタイミングは、図に示す点線ライン１５１ａ，ａ、１５１ｂで示すように、行単位で時間ずれが発生する。
【００１６】
図３に示す複数の矩形ブロックは、ある１つの撮影画像フレームの露光時間を示しており、行または複数行からなる行ブロック単位の露光時間である。
先行撮影された画像フレームの読み出しライン１５１ａに示すタイミングの直後から露光処理が開始される。読み出しライン１５１ａに示すように、露光開始時間は、行単位で少しずつずれた時間となる。図に示すグラフにおいて、上側の行が先行して露光開始され、下側の行ほど遅れて露光が開始される。
最上行は時間（ｔ１）が露光開始時間であり、最下行は時間（ｔ２）が露光開始時間である。
【００１７】
図３に示す複数の矩形ブロックの右端が、露光画像の読み出し処理が実行されるタイミングであり、読み出しライン１５１ｂに示すタイミングで各行の画素の蓄積電荷が読み取られる。
この例では、露光終了時間≒読み出し処理時間であり、図３の読み出しライン１５１ｂに示すように、先頭行から順次、行ごとに各画素の読み出し処理が行われる。
【００１８】
最上行は時間（ｔ２）が露光終了時間であり、最下行は時間（ｔ３）が露光終了時間である。
なお、この例では、各行の露光開始と露光終了は、行単位で同じタイミングのずれが発生しているため、各行の露光時間は全て同じとなる。
【００１９】
図４には、動画撮影時の３つの連続撮影フレーム（Ｎ〜Ｎ＋２）の画像に対応する露光処理と読み出しタイミングを示している。
フレームＮの最終行の読み出しが終了した後、フレームＮ＋１の先頭行の読み出しが開始される。
フレームＮの画像をすべて取得できるのは最終行の読み出しタイミングである。しかしこの時点では、すでにフレームＮ＋１の露光が開始しているため、フレームＮで取得した画像に基づく露光制御をフレームＮ＋１に反映させることは不可能であり、フレームＮ＋２から可能となる。（遅延は２フレーム）
【００２０】
ただし、フレームＮの最終行の読み出しから、フレームＮ＋２の先頭行の露光開始までの間隔は短いため、露光時間の算出や制御データの通信に時間がかかる場合、フレームＮ＋２への反映も不可能になってしまい、遅延がさらに増えることもある。
【００２１】
このように、被写体の明るさに応じた露光制御を実行する場合には、
（処理１）画素単位の露光時間を決定する処理を行うための先行画像の取得処理、
（処理２）上記処理１を実行後、その情報を反映した露光制御を行った撮影処理
これらの処理１〜処理２の処理間での遅延が生じ、この遅延の結果、最適な露光制御ができなくなる場合があるという問題がある。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２０１０−１３６２０５
【非特許文献】
【００２３】
【非特許文献１】Ｊｅｎｗｅｉ Ｇｕ ｅｔ ａｌ， Ｃｏｄｅｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｐｈｏｔｏｇｒａｐｈｙ： Ｆｌｅｘｉｂｌｅ Ｓｐａｃｅ−Ｔｉｍｅ Ｓａｍｐｌｉｎｇ， Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ（ＩＣＣＰ）， ２０１０．
【非特許文献２】Ｓｕｊｉ Ｓｈｉｍｉｚｕ， ｅｔ ａｌ．， Ａ Ｎｅｗ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｅｘｐｏｓｕｒｅ Ｃｏｎｔｒｏｌ Ｂａｓｅｄ ｏｎ Ｆｕｚｚｙ Ｌｏｇｉｃ ｆｏｒ Ｖｉｄｅｏ Ｃａｍｅｒａｓ， Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， ＩＥＥＥ ｔｒａｎ ｏｎ， Ｖｏｌ３８−２， （１９９２）．
【発明の概要】
【発明が解決しようとする課題】
【００２４】
本開示は、例えば上記の問題点に鑑みてなされたものであり、遅延の少ない露光時間制御を可能とする撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
本開示の第１の側面は、
撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、
前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有し、
前記制御部は、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する撮像装置にある。
【００２６】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、先行撮影画像の行単位または複数行単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、前記撮像素子は、前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して行単位または複数行単位の露光時間制御に基づく画像取得を実行する。
【００２７】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した露光時間制御データを生成して前記撮像素子に出力し、前記撮像素子は、前記露光時間制御データを適用した露光時間制御に基づく画像取得を実行する。
【００２８】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した第１の露光時間制御データと、複数ブロックを参照して算出した第２の露光時間制御データを生成して前記撮像素子に出力し、前記撮像素子は、前記第１の露光時間制御データ、または前記第２の露光時間制御データのいずれかを選択的に適用した露光時間制御に基づく画像取得を実行する。
【００２９】
さらに、本開示の撮像装置の一実施態様において、前記撮像素子は、前記第１の露光時間制御データと第２の露光時間制御データの選択適用による画像取得を行う際に、選択適用する露光時間の設定のための画素蓄積電荷のリセット処理を実行する。
【００３０】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、先行撮影画像である画像フレームＮの一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、前記撮像素子は、前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して、前記画像フレームＮの次の連続撮影画像である画像フレームＮ＋１に対して画素領域単位の露光時間制御を実行する。
【００３１】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、さらに、長時間露光画素と短時間露光画素の各画素情報に基づく高ダイナミックレンジ画像を生成する高ダイナミックレンジ処理部を有する。
【００３２】
さらに、本開示の第２の側面は、
撮像装置において実行する撮像装置制御方法であり、
制御部が、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御ステップと、
撮像素子が、前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像ステップを実行し、
前記制御ステップは、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力するステップであり、
前記撮像ステップは、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行するステップである撮像装置制御方法にある。
【００３３】
さらに、本開示の第３の側面は、
撮像装置において撮像制御処理を実行させるプログラムであり、
制御部に、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成させる制御ステップと、
撮像素子に、前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行わせる撮像ステップを実行させ、
前記制御ステップにおいて、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力させ、
前記撮像ステップにおいて、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行させるプログラムにある。
【００３４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３５】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３６】
本開示の一実施例によれば、画像の画素領域ごとに露光時間を制御する構成において、より遅延の少ない露光時間制御処理が実現される。
具体的には、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有する。制御部は、先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して撮像素子に出力する。撮像素子は、制御部から、領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する。
この領域単位の露光時間制御情報を順次適用した処理を行うことでより遅延の少ない露光時間制御処理が実現される。
【図面の簡単な説明】
【００３７】
【図１】撮像素子の構成と撮像処理について説明する図である。
【図２】撮像素子の構成と撮像処理について説明する図である。
【図３】撮像処理シーケンスについて説明する図である。
【図４】撮像処理シーケンスについて説明する図である。
【図５】撮像装置の構成と処理について説明する図である。
【図６】撮像素子の構成と撮像処理について説明する図である。
【図７】撮像処理シーケンスについて説明する図である。
【図８】制御部の露光時間演算処理構成について説明する図である。
【図９】制御部の露光時間演算処理構成について説明する図である。
【図１０】輝度解析による露光時間設定処理例について説明する図である。
【図１１】露光時間制御部の構成と処理について説明する図である。
【図１２】露光時間ラッチ部の構成と処理例について説明する図である。
【図１３】図１２に示す露光時間ラッチ部の動作シーケンスの一例を説明するタイミング図である。
【図１４】垂直走査回路の構成例について説明する図である。
【図１５】読み出しタイミング生成部の処理について説明する図である。
【図１６】ある行の、読み出しタイミングと、リセットタイミング、および、露光時間の関係について説明する図である。
【図１７】従来型の露光時間制御シーケンスについて説明する図である。
【図１８】本開示の撮像装置における露光時間制御シーケンスの一例について説明する図である。
【図１９】露光制御単位となるブロックの設定例について説明する図である。
【図２０】露光制御単位となるブロックの設定例について説明する図である。
【図２１】露光制御処理例について説明する図である。
【図２２】撮像装置における露光時間制御シーケンスの問題点について説明する図である。
【図２３】露光時間ラッチ部の構成と処理例について説明する図である。
【図２４】本開示の撮像装置における露光時間制御シーケンスの一例について説明する図である。
【図２５】本開示の撮像装置における露光時間制御シーケンスの一例について説明する図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像装置の構成と処理について
２．領域単位の露光時間制御処理について
３．領域単位の露光制御による撮像素子の動作例について
４．本開示の露光制御処理と従来の露光制御処理との比較
５．実施例の変形例について
６．複数ブロックの参照処理に基づく露光制御構成
７．本開示の構成のまとめ
【００３９】
［１．撮像装置の構成と処理について］
まず、撮像装置の一構成例について、図５を参照して説明する。
図５に示すように、撮像装置は、光学レンズ２０１、ＣＭＯＳイメージセンサ等によって構成される撮像素子２０２、高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）処理部２０４、信号処理部２０６、制御部２０８を有する。
図５に示す撮像装置は、領域ごとに露光時間を変えて撮像することにより、高ダイナミックレンジ（ＨＤＲ）撮像を行う構成を有する。
【００４０】
撮像装置は、動画や静止画を撮影可能な撮像装置であり、被写体輝度に応じた領域単位の露光時間制御を実現する。
例えば動画撮影時に、先行画像フレームにおいて領域単位の輝度情報を取得し、次の撮影フレームにおいて、この領域単位の計測輝度情報に基づいて領域単位の露光時間制御を行う。
静止画撮影時には、撮影画像の直前の撮影画像を利用して領域単位の輝度情報を取得し、撮影しようとする静止画の撮影時に、領域単位の計測輝度情報に基づく領域単位の露光時間制御を行う。
【００４１】
光学レンズ２０１を介した入射光は、撮像素子２０２で光電変換され、撮像画像２０３を得る。高ダイナミックレンジ（ＨＤＲ）処理部２０４において、各画素領域単位の露光時間の違いによる感度差を補正し、高ダイナミックレンジ（ＨＤＲ）画像２０５を得る。
【００４２】
なお、露光時間制御は、具体的には、明るい被写体領域に対して短時間露光を行い、暗い被写体に対しては長時間露光を行うことになる。その結果、撮像画像２０３の各画素の画素値は、各露光時間に応じた画素値となる。高ダイナミックレンジ（ＨＤＲ）処理部２０４では、各画素の露光時間を考慮して、すべての画素を同一の露光時間とした場合の画素値を算出し、この算出画素値を設定した高ダイナミックレンジ（ＨＤＲ）画像２０５を生成する。
信号処理部２０６は高画質化処理などを施し、出力画像２０７を得る。
【００４３】
制御部２０８は、撮像装置の各処理の制御を実行する。例えば、先行取得画像の輝度情報に基づいて、各画素領域単位の最適な露光時間を算出し、制御データ２０９として撮像素子２０２に出力する。撮像素子２０２は、制御データ２０９に基づいて、電子シャッタによる各領域単位の露光時間制御による撮影処理（電荷蓄積）を行う。なお、制御部２０８は、例えば図示しないメモリに格納されたプログラムに従って各構成部の全般的な制御を実行する。
【００４４】
撮像素子２０２は、例えばＣＭＯＳイメージセンサによって構成され、所定の画素領域単位ごとに露光制御可能なイメージセンサである。
具体的には、図６に示す構成を持つ。
図６は、撮像素子（ＣＭＯＳイメージセンサ）２０２の一部構成を示す図である。撮像素子（ＣＭＯＳイメージセンサ）２０２は、図６に示すように制御部２０８から出力される制御データ２０９を入力する露光時間制御部２０２ａ、垂直走査回路２０２ｂ、水平走査回路２０２ｃ、および、アレイ状に配置された複数の画素２０２ｄから構成される。
【００４５】
画素２０２ｄは、被写体撮影に伴う露光処理によってフォトダイオードに電荷を蓄積する。各画素のフォトダイオードに蓄積された電荷は、アンプトランジスタおよび転送トランジスタを介して垂直信号線２０２ｇに出力される。垂直信号線２０２ｇに出力された信号電流は、さらに水平走査回路２０２ｃに供給されて、所定の信号処理が実行された後、信号出力線２０２ｈを介して外部へ出力される。
【００４６】
この撮像素子２０２は、例えば図７に示すように、行単位で任意の露光時間を制御可能なＣＭＯＳイメージセンサである。なお、この構成については、例えば前述の非特許文献１を参照されたい。
【００４７】
高ダイナミックレンジ（ＨＤＲ）処理部２０４は、先に説明したように、各画素領域単位の露光時間の違いによる感度差を補正し、高ダイナミックレンジ（ＨＤＲ）画像２０５を得る。具体的には、撮像画像２０３の各画素値に対して領域ごとの露光時間の逆数を乗算することにより、輝度に対して線形特性を有する画像を生成し、これを高ダイナミックレンジ（ＨＤＲ）画像２０５とする。
【００４８】
図５に示す撮像装置において、制御部２０８は、先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データ（制御データ２０９）を、シーケンシャルに順次生成して撮像素子２０２に出力する。
撮像素子２０２は、制御部２０８から、領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する。
【００４９】
［２．領域単位の露光時間制御処理について］
次に、制御部２０８において実行する被写体輝度に応じた領域単位の露光時間制御処理について図８、図９、図１０を参照して説明する。
図８は、制御部２０８の実行する露光時間制御処理を実行するための構成例を示す図である。
輝度算出部２１１は、高ダイナミックレンジ（ＨＤＲ）処理部２０４が先行撮影画像に基づいて生成した高ダイナミックレンジ（ＨＤＲ）画像２０５を入力し、入力画像から、各画素領域単位の輝度を算出する。
【００５０】
一例として図９のように、高ダイナミックレンジ（ＨＤＲ）画像２０５を構成する２ｘ２画素領域を輝度算出の画素領域単位２１５として、
Ｒ画素の画素値＝Ｒ、
Ｇ画素の画素値＝（Ｇｒ＋Ｇｂ）／２、
Ｂ画素の画素値＝Ｂ、
これらＲ，Ｇ，Ｂの最大値（ＭＡＸ）を求め、この最大値を、輝度算出の画素領域単位２１５の輝度Ｌとする。
【００５１】
ブロック輝度統計量算出部２１２は、図１０（Ａ）のように複数の行からなるブロックごとに、図１０（Ｂ）に示すような輝度統計量を算出する。図１０（Ｂ）の縦軸が行、横軸の輝度統計量は各行ブロックの明るさを表す統計量である。
【００５２】
ブロック露光時間算出部２１３は、ブロックの輝度統計量に基づいて図１０（Ｃ）の各行ブロックごとに設定すべき露光時間を算出する（Ｔｅｘ１〜ＴｅｘＭ）。
明るい領域については短い露光期間を設定することで、画素値が飽和してしまうことを抑制する。暗い領域については長い露光時間を設定することでＳ／Ｎを改善するように制御する。この処理によって、ダイナミックレンジの広くＳ／Ｎの良い画像を撮影することが可能になる。
【００５３】
本構成では、所定領域ごとに露光制御を行う場合、その領域周辺を参照するだけで、露光時間を決定できるという特徴を有する。
すなわち、例えば、ブロック１の露光時間Ｔｅｘ１を算出するためには、ブロック１の画像情報のみを適用する。
１フレームの画像のすべてを参照する処理や、大部分の画像領域を参照することなく、各ブロック単位の情報のみで、各ブロックの露光時間を設定することができる。
この特徴を利用し、露光時間演算部２０８は、露光時間の算出が完了したブロックから順次、ただちに、制御データ２０９を例えばＣＭＯＳイメージセンサからなる撮像素子２０２に対して出力する。
【００５４】
すなわち、前述したように、制御部２０８は、先行撮影画像の一部の画素領域、すなわちブロック単位（例えば行単位や複数行単位など）の輝度情報に基づくブロック単位の露光時間制御データを、シーケンシャルに順次生成して撮像素子２０２に出力する。撮像素子２０２は、制御部２０８から、ブロック単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用してブロック単位の露光時間制御に基づく画像取得を実行する。
【００５５】
［３．領域単位の露光制御による撮像素子の動作例について］
次に、上述した制御部２０８の出力する制御データ２０２を入力して領域単位の露光制御を行って画像撮影処理を行う撮像素子２０２の動作例について説明する。
図１１は、撮像素子２０２の露光時間制御部２０２ａの構成例を説明する図である。
撮像素子２０２の露光時間制御部２０２ａは、制御部２０６から各領域単位の露光時間設定情報からなる制御データ２０９を入力し、垂直走査回路２０２ｂを制御して画像領域単位（＝ブロック単位（例えば行単位））の露光時間の設定を行う。
【００５６】
・デコーダ２２１は、制御部２０６から各領域単位の露光時間設定情報からなる制御データ２０９を入力し、ブロックごとの露光制御データ２２２を生成する。
・行カウンタ２２６は、タイミング生成部２２３の生成する垂直同期信号２２４、水平同期信号２２５を利用して現在の処理対象となる行番号を生成する。
【００５７】
・露光時間ラッチ部２２７は、行カウンタ２２６の生成する行番号を入力して、ブロック（画素領域）ごとの露光時間ラッチタイミングを生成し、ブロック（画素領域）ごとに異なるタイミングで露光時間データ２２２を垂直走査回路２０２ｂに出力する。
【００５８】
垂直走査回路２０２ｂは、露光時間ラッチ部２２７の出力するブロック（画素領域）単位の露光時間データに従って、ブロック（画素領域）単位で電子シャッタ制御を行う。
具体的には、例えば行単位で、行リセット、および行選択信号を生成し、行単位の露光時間制御を実現する電子シャッタ制御を行う。
【００５９】
図１２は、１つのブロックの露光時間ラッチ部２２７の詳細構成例を示す図である。
１つのブロック対応の露光時間ラッチ部２２７は、１つのブロックについての露光時間制御信号を垂直走査回路２０２ｂに出力する。
例えばブロック＝行の場合、行単位の露光時間制御処理を行う。
【００６０】
図１２に示すように、露光時間ラッチ部２２７は、デコーダ２２１の生成するブロック単位の露光時間データ（ｉｎ）２２２ｉｎを記憶部２３４に取り込むとともに、行カウンタ２２６の生成する現在の行番号２３１を入力する。
【００６１】
露光時間ラッチ部２２７は、自己の制御対象となるラッチ行番号２３２を保持し、一致検出部２３３において、行カウンタ２２６から入力する行番号２３１と、自己の制御対象となるラッチ行番号２３２が一致するか否かを判定する。一致を検出した場合に、露光時間データ（ｏｕｔ）２２２ｏｕｔを記憶部２３４から垂直走査回路２０２ｂに出力し、露光時間データ２２２に応じたブロック単位の露光時間制御を実行させる。なお、記憶部２３４は、論理回路で実装する際には、例えばイネーブル（Ｅｎａｂｌｅ）ポート付きのＤ−フリップフロップ回路で実現可能である。
【００６２】
図１３は、図１２に示す露光時間ラッチ部２２７の動作シーケンスを説明するタイミング図である。
横軸が時間（ｔ）であり、時間軸に沿って以下の各データの遷移を示している。
（ａ）露光時間ラッチ部２２７に入力する［露光時間データ（ｉｎ）２２２ｉｎ］
（ｂ）露光時間ラッチ部２２７に入力する［現在の行番号２３１］
（ｃ）露光時間ラッチ部２２７が保持する［ラッチ行番号２３２］
（ｄ）一致検出部２３３の［一致検出信号出力］
（ｅ）記憶部２３４からの出力（＝露光時間データ（ｏｕｔ）２２２ｏｕｔ）
これらを示している。
【００６３】
なお、説明の簡素化のため、各フレームの行数＝１０の設定としている。
図１３では、
フレームＮの０〜９の各行、
フレームＮ＋１の０〜９の各行、
これらの各行についての露光時間設定処理が実行されている期間において、第５行を処理対象とする１つの露光時間ラッチ部２２７の処理シーケンスを示している。
【００６４】
（ａ）露光時間ラッチ部２２７に入力する［露光時間データ（ｉｎ）２２２ｉｎ］は、（ｄ）一致検出部２３３の［一致検出信号出力］が、（ｂ）露光時間ラッチ部２２７に入力する［現在の行番号２３１］と、（ｃ）露光時間ラッチ部２２７が保持する［ラッチ行番号２３２］との一致を検出したタイミングで取り込まれ、記憶部２３４から垂直走査回路２０２ｂに出力されるとともに記憶部２３４に次のフレームの同じタイミングまで保持される。
【００６５】
図１４は、垂直走査回路２０２ｂの構成例である。
外部から与えられる制御データ２０９から、デコーダ２５１を使用して、必要なタイミングデータ２５２を取り出す。例えば、画像の出力行数などのタイミングに必要な情報をタイミングデータ２５２としてとりだす。
【００６６】
読み出しタイミング生成部２５３は、タイミングデータ２５２に基づいて、各行の水平（行）選択線２０２ｆに読み出しタイミングを順次、出力する。
具体的には、例えば、図１５に示すように、読み出しタイミング生成部２５３内部で各行対応の読み出しタイミングを生成し、各行の水平（行）選択線２０２ｆに読み出しタイミングを順次、出力する。
【００６７】
リセットタイミング生成部２５４は、読み出しタイミング生成部２５３の生成する各行対応の読み出しタイミングを入力し、さらに、露光時間ラッチ部２２７から入力する露光時間データ（ｏｕｔ）２２２ｏｕｔに基づいて、この露光時間データの露光時間が設定されるように、露光開始時間を制御すめため、露光開始時間としてのリセット時間を各行単位で計算し、行単位のリセット信号を生成して、水平（行）リセット線２０２ｅに出力する。
【００６８】
図１６は、ある行の、読み出しタイミングと、リセットタイミング、および、露光時間の関係を示している。
図に示すリセットタイミング（Ｔｒｅｓｅｔ）が露光開始時間であり、ここから画素に対する電荷蓄積が始まり、読み出しタイミング（Ｔｒｅａｄ）が露光終了時間であり、蓄積信号を読み出す。すなわち、
露光時間（Ｔｅｘｐ）＝（Ｔｒｅａｄ）−（Ｔｒｅｓｅｔ）
の関係にある。
【００６９】
リセットタイミング生成部２５４は、露光時間データ２４１と、読み出しタイミングを得ているので、
リセットタイミング（Ｔｒｅｓｅｔ）＝Ｔｒｅａｄ−Ｔｅｘｐ
の関係を利用して、リセットタイミングを生成し、行ごとに水平（行）リセット線２０２ｅにリセットタイミングに応じたリセット信号を出力する。
【００７０】
［４．本開示の露光制御処理と従来の露光制御処理との比較］
次に、図１７と図１８を参照して、本開示の露光制御処理と従来の露光制御処理とを比較して説明する。
図１７は、従来の露光制御による撮像素子（ＣＭＯＳイメージセンサ）の動作例を説明する図である。
図１８は、本開示の撮像装置における撮像素子（ＣＭＯＳイメージセンサ）の動作例を説明する図である。
【００７１】
まず、図１７を参照して、従来の露光制御による撮像素子（ＣＭＯＳイメージセンサ）の動作例について説明する。
図１７には、連続撮影される３つのフレームであるフレームＮ〜Ｎ＋２の撮影処理に際して実行される露光制御シーケンスを示している。
（ａ）露光タイミングとして示すグラフは、縦軸＝行、横軸＝時間であり、各行についての行単位の露光時間を矩形領域として示したグラフである。
先に、図３、図４を参照して説明したように、露光時間は、上位行から下位行に向けて所定の時間、遅延して設定される。
【００７２】
図１７に示す（ｂ）フレームＮの画像を利用した露光制御には、
フレームＮの画像を利用した露光制御処理について、時間軸に沿った露光制御処理シーケンスを示している。
３０１〜３０５に示す各処理が時間の経過に従って実行される処理である。
各処理の内容は以下の通りである。
測定取得３０１：フレームＮの画像が出力されるタイミングである。
露光時間計算３０２：測定取得３０１において取得した画像に基づいて露光時間を算出するタイミングである。
【００７３】
露光時間送信３０３：露光時間計算３０２において算出した露光時間を、撮像素子（イメージセンサ）に出力するタイミングである。
露光時間ラッチタイミング３０４：撮像素子（センサ）内で、露光時間送信３０３によって入力した露光時間データをラッチするタイミングである。ラッチタイミングは、最初の行の露光が始まる前に発生する。
リセット制御による露光時間制御３０５：露光時間ラッチタイミング３０４においてラッチされたのデータに基づいて、リセットタイミングを生成して露光制御を実行中の期間である。
【００７４】
処理３０１〜３０５の処理は、フレームＮの撮影画像に基づいて実行される露光時間制御であるが、
リセット制御による露光時間制御３０５の開始時間には、すでに、フレームＮ＋１の撮影が開始している。
従って、リセット制御による露光時間制御３０５は、フレームＮ＋１の撮影処理に適用されることになる。
この結果として、この露光制御による撮影による画像取得３０６は、フレームＮ＋２の画像となる。
【００７５】
このように、図１７に示す露光時間制御では、
フレームＮの撮影画像に基づいて生成した露光時間制御データを適用した露光時間制御による撮影処理は、直後の撮影フレーム（フレームＮ＋１）に対して実行するこはできず、２フレーム後のフレームＮ＋２に実行する構成となっている。
このように、従来法では最短でも２フレームの遅延が生じていた。
【００７６】
図１８は、本開示の撮像装置における撮像素子（ＣＭＯＳイメージセンサ）の動作例を説明する図である。
図１８も、図１７と同様、連続撮影される３つのフレームであるフレームＮ〜Ｎ＋２の撮影処理に際して実行される露光制御シーケンスを示している。
【００７７】
（ａ）露光タイミングとして示すグラフは、縦軸＝行、横軸＝時間であり、各行についての行単位の露光時間を矩形領域として示したグラフである。
【００７８】
図１８に示す（ｂ）フレームＮの画像を利用した露光制御には、
フレームＮの画像を利用した露光制御処理について、領域（ブロック）単位の時間軸に沿った露光制御処理シーケンスを示している。
本開示の処理では、画像の所定の単位領域（本例では行）ごとに、露光時間制御の算出、送信、ラッチを行うことによって遅延時間を短縮している。
【００７９】
図１８には、先行撮影画像フレームであるフレームＮの画像を利用して、次の撮影フレームであるフレームＮ＋１の露光制御を実現している。
この露光制御は、画素領域（ブロック）単位で実行している。本例では行単位の露光制御を行っている。
図１８には、代表例として、
フレームＮのブロック１（行１）の画像情報に基づいて、フレームＮ＋１のブロック１（行１）の露光制御（露光時間設定）、
フレームＮのブロックＭ（行Ｍ）の画像情報に基づいて、フレームＮ＋１のブロックＭ（行Ｍ）の露光制御（露光時間設定）、
これらの処理例を示している。
【００８０】
図１８においても、図１７と同様、フレームＮの画像を利用した露光制御処理について、時間軸に沿った露光制御処理シーケンスを示している。
３１１〜３１６に示す各処理が時間の経過に従って実行される処理である。
なお、ブロック１、ブロックＭとも同じシーケンス（処理３１１〜３１６）で処理が進行する。
各処理の内容は以下の通りである。
【００８１】
画像取得３１１：フレームＮのブロックの画像が出力されるタイミングである。
露光時間計算３１２：画像取得３１１において取得した画像（フレームＮの１つのブロック（本例では行単位の画像）に基づいて、そのブロック（行）の露光時間を算出するタイミングである。
【００８２】
露光時間送信３１３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３１４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【００８３】
露光時間制御３１５：露光時間ラッチタイミング３１４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである
画像取得３１６：前記の露光制御３１５によって実行されたブロック（行）単位の露光制御による制御対象ブロック（行）の画像が得られる時刻である。
【００８４】
図１８に示すブロック１、ブロックＭ、その他のすべてのブロック（行）において、上記と同様のシーケンスで処理が行われる。
【００８５】
この図１８に示す本開示の構成では、図１７に示す構成と異なり、所定の単位ごと、すなわち画素領域（ブロック、本例では行）単位ごとに、露光時間制御データを算出し、画素領域単位で、順次露光制御を開始する。この処理によって、先行撮影画像に基づく露光制御データを次の撮影フレームに適用して露光制御を実行する構成としている。
【００８６】
図１８に示す露光時間制御では、
フレームＮの撮影画像に基づいて生成した露光時間制御データを適用した露光時間制御による撮影処理を、直後の撮影フレーム（フレームＮ＋１）に対して実行するこはでき、露光制御を遅延なく実行することができる。
【００８７】
図１８に示す制御を実現するために、撮像素子２０２は、画像領域（＝ブロック（例えば行））ごとに露光制御可能であると同時に、ある特定の単位ごとに異なるタイミングで制御データを取り込み、制御を行う構成を有する。
【００８８】
［５．実施例の変形例について］
上述した実施例の変形例について説明する。
上述した実施例では、図５を参照して説明した撮像装置の構成を一例として説明した。
図５に示す構成は位置実施例であり、この他の構成も可能である。例えば、図５に示すすべての処理を撮像素子内で行う構成としてもよい。
【００８９】
また、本開示の撮像装置では、領域ごとに異なる露光時間を設定した露光制御を行う構成としており、その一例として、例えば図７を参照して説明したような行単位の露光制御構成例を説明した。
しかし、露光制御単位としての領域（ブロック）は、行単位や複数行単位のみならず、その他の設定としてもよい。
【００９０】
例えば、図１９に示すような、矩形領域のブロックを単位として露光制御を行う構成としてもよい。
また、図２０に示すように、先行撮影画像に基づく露光制御に併せて、短時間露光ブロックと長時間露光ブロックを設定して、周期的に複数の感度の制御を行い、この画像に基づく高ダイナミックレンジ画像を生成する構成としてもよい。
また、先行撮影画像に基づく露光制御に併せて、図２１に示すように領域ごとに短時間露光撮影処理と、長時間露光撮影処理を実行してこれらの画像に基づく高ダイナミックレンジ画像を生成する構成としてもよい。
【００９１】
また、先の実施例では、撮像素子の露光制御構成例として、図１２を参照して露光時間ラッチ部２２７の構成例を説明した。上述の説明において、各露光時間ラッチ部２２７は、自己の制御対象ブロックを示すラッチ行番号２３２を保持する例として説明した。
しかし、このラッチ行番号２３２は、固定とせず、画像の輝度統計量に応じて変更する設定としてもよい。この変更処理によって、制御対象とするブロックを動的に変化させることが可能となる。
【００９２】
［６．複数ブロックの参照処理に基づく露光制御構成］
上述した実施例では、先に図１８を参照して説明したようにブロック（例えば行）単位で、先行撮影画像の輝度情報に基づく露光時間の設定を行い、次の撮影画像の対応ブロックの露光時間制御を行う構成としていた。
【００９３】
すなわち、制御部２０８は、先行撮影画像の１つのブロック単位の輝度情報に基づくブロック単位の露光時間制御データを、順次撮像素子２０２に出力し、撮像素子２０２は、１つのブロック単位の露光時間制御データを、順次、シーケンシャルに適用してブロック単位の露光時間制御に基づく画像取得を実行する構成として説明した。
【００９４】
すなわち図１８に示す例では、
画像に設定したブロック１〜Ｍについて、
フレームＮのブロック１の画像領域に基づく露光制御データに基づいて、フレームＮ＋１のブロック１の画像領域の露光制御を実行、
フレームＮのブロック２の画像領域に基づく露光制御データに基づいて、フレームＮ＋１のブロック２の画像領域の露光制御を実行、
：
フレームＮのブロックＭの画像領域に基づく露光制御データに基づいて、フレームＮ＋１のブロックＭの画像領域の露光制御を実行、
このようにブロック対応の露光制御を行う構成としていた。
【００９５】
しかし、このように、局所的な情報しか参照せずに露光制御を行う場合、例えば、明るい物体が大きく動いている場合などには、フレームＮとフレームＮ＋１における同じブロック領域に、同じ被写体が存在しないといったことが発生する。このような場合には、先行撮影画像に基づいて設定された露光時間が適切でなくなり、例えば、画素値の飽和が生じてしまうなどの問題点が生じる場合がある。
【００９６】
このような問題を解決するため、局所情報だけでなく広い範囲、例えば複数ブロックを参照して露光時間の設定を行うことが有効となる場合がある。すなわち、複数ブロックを参照して露光時間の設定を行う構成とすることで、輝度変化を精度よく予測可能とする。しかし、広い範囲を参照した場合、画像を取得に時間がかかるという問題点がある。
【００９７】
以下、まず、図２２を参照して、上記の問題点について説明し、この問題点を解決する構成と処理シーケンスについて図２３、図２４、図２５を参照して説明する。
【００９８】
まず、図２２を参照して、上記の問題点、すなわち広い範囲を参照した場合、画像を取得に時間がかかるという問題点について説明する。
図２２は、図１８において、ブロック１の露光制御データを算出する際に、複数のブロック、すなわち、ブロック１〜３を参照する設定とした場合のタイミング図である。
図２２には、連続撮影される２つのフレームであるフレームＮ〜Ｎ＋１の撮影処理に際して実行される露光制御シーケンスを示している。
【００９９】
（ａ）露光タイミングとして示すグラフは、縦軸＝行、横軸＝時間であり、各行についての行単位の露光時間を矩形領域として示したグラフである。
図２２に示す（ｂ）フレームＮの画像を利用した露光制御には、
フレームＮの画像を利用した露光制御処理について、領域（ブロック）単位の時間軸に沿った露光制御処理シーケンスを示している。
なお、番号１〜Ｍは、撮影画像の画素領域（＝ブロック、本例では行）の識別子を示している。
【０１００】
図２２に示す設定も、図１８を参照して説明した例と同様、所定の単位ごと、すなわち画素領域（ブロック、本例では行）単位ごとに、順次露光制御を開始する。この処理によって、先行撮影画像に基づく露光制御データを次の撮影フレームに適用して露光制御を実行する構成としている。
【０１０１】
ただし、各ブロックに対応する露光時間制御データの算出処理に際しては、複数ブロックを参照する。
すなわち、複数ブロックの画像情報に基づいて１つのブロックの露光時間を決定する。
図２２に示す例は、先行撮影画像フレームの３つのブロックを参照して、次の撮影フレームの１つのブロックの露光時間を決定する処理を行う例である。
【０１０２】
図２２には、図１８と同様、１つのブロック（行）であるブロック１（行１）に対する露光制御処理例を示している。
図２２に示す処理３１１〜３１６は、先に説明した図１８の処理３１１〜３１６と同様の処理である。
ただし、図２２に示す例では先行撮影画像フレームの３つのブロックを参照して、次の撮影フレームの１つのブロックの露光時間を決定する。
各処理の内容は以下の通りである。
【０１０３】
画像取得３１１：フレームＮのブロックの画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域である連続する３ブロック、すなわち画素領域１（ブロック１）〜画素領域３（ブロック３）の画像を出力するタイミングである。
露光時間計算３１２：画像取得３１１において取得した画像（フレームＮの３つのブロック（本例では行単位の画像）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
【０１０４】
露光時間送信３１３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３１４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【０１０５】
露光時間制御３１５：露光時間ラッチタイミング３１４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである。
画像取得３１６：前記の露光制御３１５によって実行されたブロック（行）単位の露光制御による制御対象ブロック（行）の画像が得られる時刻である。
【０１０６】
本例においては、画像取得３１１は、フレームＮのブロック３の出力後にずれ込むことになる。
結果として露光時間計算３１２、露光時間送信３１３も図１８の設定に比較して遅延することになる。
その結果、露光時間ラッチタイミング３１４、露光時間制御３１５を図１８と同様の設定とすると、露光時間送信３１３より前の時間に露光時間ラッチタイミング３１４、露光時間制御３１５が設定される。
このような処理は現実的には実行不可能となる。すなわち、図２２に示すシーケンスでは、フレームＮの画像におけるに基づく露光制御が次のフレームＮ＋１では実行できないことになり、フレームＮの複数ブロックの画像に基づいて算出される露光時間は、フレームＮ＋１の撮影時には利用できずフレームＮ＋２移行でのみ利用可能な状態となってしまう。
【０１０７】
この問題点を解決する露光時間ラッチ部２２７の構成について図２３を参照して説明する。
図２３に示す露光時間ラッチ部２２７は、先に説明した図１１に示す露光時間制御部２０２ａの１つの露光時間ラッチ部２２７の構成を示す図である。
図１２を参照して説明した露光時間ラッチ部２２７のかわりに、図２３のような露光時間ラッチ部２２７を利用することで、図２２を参照して説明した問題点を解決する。
【０１０８】
図２３に示す露光時間ラッチ部２２７は、各ブロックに対応する露光制御時間データを複数回の異なるタイミングで受け取り、これらを記憶部２４５，２４６に格納してセレクタ２４９を介して垂直走査回路２０２ｂに出力する。
【０１０９】
具体的には、
（１）先行撮影画像フレームの単一ブロックの画像データのみから算出した第１の露光制御時間データを図２３に示す第一記憶部２４５から出力する。
（２）先行撮影画像フレームの複数ブロックの画像データから算出した第２の露光制御時間データを図２３に示す第二記憶部２４６から出力する。
これらの露光時間制御データを生成して、選択的に適用する。
（１）のデータは、先の実施例で説明したデータと同じである。
【０１１０】
例えば、被写体の明るさが変化しない場合、第一記憶部２４５だけを利用した処理、すなわち先に図１２を参照して説明したと同様の処理とする。
一方、被写体の明るさが変化し、次回の露光で飽和の発生が予想される場合、複数ブロックの画像データから算出した第２の露光制御時間データ（露光時間データ２２２）が送られ、第二記憶部２４６は第二ラッチ行番号２４２のタイミングでこのデータをラッチし、複数ブロックに基づいて算出した露光時間による露光制御が行われる。
【０１１１】
図２３に示すブロックＸの第一ラッチ行番号２４１は、例えば、この露光時間ラッチ部２２７の処理対象ブロックが第一行である場合、行番号＝１として設定される。
また、図２３に示すブロックＸの第二ラッチ行番号２４２は、例えば、第二記憶部２４６に記憶される露光時間データが複数ブロック（例えば３ブロック（３行））単位の画像に基づいて算出される露光時間データである場合、行番号＝３として設定される。
【０１１２】
なお、第一記憶部２４５と第二記憶部２４６の露光時間データに違いがある場合、垂直走査回路１０２は、再度リセット制御を行う必要があるため、一致検出部２４７にて一致の検出を行い、その情報も出力する。
【０１１３】
図２４、図２５は、図２２と同様のタイミング図であり、図２３の構成を持つ露光時間ラッチ部２２７を利用した処理とした場合のタイミング図である。
図２４、図２５には、図２２と同様、連続撮影される２つのフレームであるフレームＮ〜Ｎ＋１の撮影処理に際して実行される露光制御シーケンスを示している。
【０１１４】
（ａ）露光タイミングとして示すグラフは、縦軸＝行、横軸＝時間であり、各行についての行単位の露光時間を矩形領域として示したグラフである。
図２４、図２５に示す（ｂ）フレームＮの画像を利用した露光制御には、
フレームＮの画像を利用した露光制御処理について、領域（ブロック）単位の時間軸に沿った露光制御処理シーケンスを示している。
なお、番号１〜Ｍは、撮影画像の画素領域（＝ブロック、本例では行）の識別子を示している。
【０１１５】
図２４、図２５に示す設定も、図１８を参照して説明した例と同様、所定の単位ごと、すなわち画素領域（ブロック、本例では行）単位ごとに、順次露光制御を開始する。この処理によって、先行撮影画像に基づく露光制御データを次の撮影フレームに適用して露光制御を実行する構成としている。
【０１１６】
図２４、図２５に示す処理シーケンスの概要は以下の通りである。初めに、１つのブロックのみを参照して露光時間を決定し、これを第一のデータとして第一記憶部２４５からセレクタ２４９を介して垂直走査回路２０２ｂに出力する。
その後、より広範なブロック、図２４、図２５に示す例では３ブロックを参照して露光時間を決定し、例えば飽和が発生しそうな場合には、これを第二のデータとして第二記憶部２４６からセレクタ２４９を介して垂直走査回路２０２ｂに出力する。
【０１１７】
図２４は、１つのブロックのみを参照して決定した露光時間を破棄し、３つのブロックを参照して決定した露光時間を、次のフレームの撮影において利用する露光制御処理例を示すタイミング図である。
図２５は、１つのブロックのみを参照して決定した露光時間を利用し、３つのブロックを参照して決定した露光時間を利用しない設定とした露光制御処理例を示すタイミング図である。
【０１１８】
図２４に示す処理について説明する。
図２４は、１つのブロックのみを参照して決定した露光時間を破棄し、３つのブロックを参照して決定した露光時間を、次のフレームの撮影において利用する露光制御処理例を示すタイミング図である。
【０１１９】
図２４に示す（ｂ）フレームＮの画像を利用した露光制御には、
［１回目の露光制御］として実行されるフレームＮの１つのブロック（行１）のみを参照して決定した露光時間を破棄し、
［２回目の露光制御］として実行される３つのブロック（行１〜３）を参照した露光時間算出結果を次のフレームの露光制御に利用する処理例を示している。
【０１２０】
［１回目の露光制御］として実行される処理３１１〜３２５について説明する。
画像取得３１１：フレームＮのブロック１（行１）の画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域であるブロック１（行１）の画像を出力するタイミングである。
露光時間計算３１２：画像取得３１１において取得した画像（フレームＮの１つのブロック（本例では行１）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
【０１２１】
露光時間送信３１３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３１４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【０１２２】
１回目の露光時間制御３２５：露光時間ラッチタイミング３１４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである。
ここまでが１回目の露光制御である。
【０１２３】
この処理と並列して、図２４の下段に示す［２回目の露光制御］が実行される。この処理は、複数ブロック（本例ではブロック１〜３（行１〜３））を参照して決定した露光時間を、次のフレームＮ＋１のブロック１（行１）に対する露光制御時間として利用する処理である。
【０１２４】
画像取得３２１：フレームＮのブロックの画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域である連続する３ブロック、すなわち画素領域１（ブロック１）〜画素領域３（ブロック３）の画像を出力するタイミングである。
露光時間計算３２２：画像取得３１１において取得した画像（フレームＮの３つのブロック（本例では行単位の画像）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
【０１２５】
露光時間送信３２３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３２４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【０１２６】
２回目の露光時間制御３２７：露光時間ラッチタイミング３２４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである。
画像取得３２８：前記の露光制御３２７によって実行されたブロック（行）単位の露光制御による制御対象ブロック（行）の画像が得られる時刻である。
この処理では、２回目の露光制御、すなわち複数ブロックを参照して決定した露光時間に基づく制御を次の撮影フレームの露光制御として実行している。
【０１２７】
次に、図２５を参照して１つのブロックのみを参照して決定した露光時間を利用し、３つのブロックを参照して決定した露光時間を利用しない設定とした露光制御処理例について説明する。
【０１２８】
図２５に示す（ｂ）フレームＮの画像を利用した露光制御には、
［１回目の露光制御］として実行されるフレームＮの１つのブロック（行１）のみを参照して決定した露光時間を次の露光時間制御に利用し、
［２回目の露光制御］として実行される３つのブロック（行１〜３）を参照した露光時間算出処理を停止した例を示している。
【０１２９】
［１回目の露光制御］として実行される処理３１１〜３２８について説明する。
画像取得３１１：フレームＮのブロック１（行１）の画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域であるブロック１（行１）の画像を出力するタイミングである。
露光時間計算３１２：画像取得３１１において取得した画像（フレームＮの１つのブロック（本例では行１）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
【０１３０】
露光時間送信３１３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３１４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【０１３１】
１回目の露光時間制御３２５：露光時間ラッチタイミング３１４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである。
画像取得３２８：ぬ回目の露光制御によって決定した露光時間によって撮影されたフレームＮ＋１のブロック１（行１）の画像取得処理である。
ここまでが１回目の露光制御である。
【０１３２】
この処理と並列して、図２５の下段に示す［２回目の露光制御］が実行される。この処理は、複数ブロック（本例ではブロック１〜３（行１〜３））を参照して決定した露光時間を、次のフレームＮ＋１のブロック１（行１）に対する露光制御時間として利用する処理である。
【０１３３】
画像取得３２１：フレームＮのブロックの画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域である連続する３ブロック、すなわち画素領域１（ブロック１）〜画素領域３（ブロック３）の画像を出力するタイミングである。
露光時間計算３２２：画像取得３１１において取得した画像（フレームＮの３つのブロック（本例では行単位の画像）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
この時点で、［１回目の露光制御］に基づくフレームＮ＋１の撮影が開始されているため、この［２回目の露光制御］の処理は中止する。
【０１３４】
図２４、図２５を参照して説明した処理において、露光制御信号出力タイミングは、２つの異なるタイミングに設定される。
一方は、単一ブロックの参照に基づく露光制御データの出力であり、
他方は、複数ブロックの参照に基づく露光制御データの出力である。
単一ブロックの参照によって生成される露光時間に対応する第一の制御信号の出力タイミングに対し、複数一ブロックの参照によって生成される露光時間に対応する第二の制御信号の出力タイミングは遅い。
【０１３５】
例えば、被写体の明るさが変化しない場合、単一ブロックの参照に基づく露光制御データの出力、すなわち、図２３に示す第一記憶部２４５だけを利用した処理、すなわち先に図１２を参照して説明したと同様の処理とする。
一方、被写体の明るさが変化し、次回の露光で飽和の発生が予想される場合複数ブロックの参照に基づく露光制御データ、すなわち、図２３に示す第二記憶部２４６から第二ラッチ行番号２４２のタイミングでデータをラッチし、この複数ブロックに基づいて算出した露光時間によって露光制御を行う。
【０１３６】
これらの制御により、例えば動被写体の存在等により連続撮影画像フレームの同一画素領域の輝度が変化するような場合でも、複数ブロックの参照情報に基づく輝度算出および露光時間設定が可能となり、適切な露光制御が実現される。
【０１３７】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、
前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有し、
前記制御部は、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する撮像装置。
【０１３９】
（２）前記制御部は、先行撮影画像の行単位または複数行単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、前記撮像素子は、前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して行単位または複数行単位の露光時間制御に基づく画像取得を実行する前記（１）に記載の撮像装置。
（３）前記制御部は、先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した露光時間制御データを生成して前記撮像素子に出力し、前記撮像素子は、前記露光時間制御データを適用した露光時間制御に基づく画像取得を実行する前記（１）または（２）に記載の撮像装置。
【０１４０】
（４）前記制御部は、先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した第１の露光時間制御データと、複数ブロックを参照して算出した第２の露光時間制御データを生成して前記撮像素子に出力し、前記撮像素子は、前記第１の露光時間制御データ、または前記第２の露光時間制御データのいずれかを選択的に適用した露光時間制御に基づく画像取得を実行する前記（１）〜（３）いずれかに記載の撮像装置。
【０１４１】
（５）前記撮像素子は、前記第１の露光時間制御データと第２の露光時間制御データの選択適用による画像取得を行う際に、選択適用する露光時間の設定のための画素蓄積電荷のリセット処理を実行する前記（４）に記載の撮像装置。
（６）前記制御部は、先行撮影画像である画像フレームＮの一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、前記撮像素子は、前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して、前記画像フレームＮの次の連続撮影画像である画像フレームＮ＋１に対して画素領域単位の露光時間制御を実行する前記（１）〜（５）いずれかに記載の撮像装置。
（７）前記撮像装置は、さらに、長時間露光画素と短時間露光画素の各画素情報に基づく高ダイナミックレンジ画像を生成する高ダイナミックレンジ処理部を有する前記（１）〜（６）いずれかに記載の撮像装置。
【０１４２】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１４３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４５】
以上、説明したように、本開示の一実施例の構成によれば、画像の画素領域ごとに露光時間を制御する構成において、より遅延の少ない露光時間制御処理が実現される。
具体的には、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有する。制御部は、先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して撮像素子に出力する。撮像素子は、制御部から、領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する。
この領域単位の露光時間制御情報を順次適用した処理を行うことでより遅延の少ない露光時間制御処理が実現される。
【符号の説明】
【０１４６】
１０１ 撮像素子
１０２ 垂直走査回路
１０３ 水平走査回路
１０４ 画素
１１１ 水平リセット線
１１２ 水平選択線
１１３ 垂直信号線
１１４ 信号出力線
２０１ 光学レンズ
２０２ 撮像素子
２０２ａ 露光時間制御部
２０２ｂ 垂直走査回路
２０２ｃ 水平走査回路
２０２ｄ 画素
２０２ｅ 水平リセット線
２０２ｆ 水平選択線
２０２ｇ 垂直信号線
２０２ｈ 信号出力線
２０３ 撮像画像
２０４ 高ダイナミックレンジ処理部
２０５ 高ダイナミックレンジ画像
２０６ 信号処理部
２０７ 出力画像
２０８ 制御部
２０９ 制御データ
２１１ 輝度算出部
２１２ ブロック輝度統計量算出部
２１３ ブロック露光時間算出部
２２１ デコーダ
２２２ 露光時間データ
２２３ タイミング生成部
２２４ 垂直同期信号
２２５ 水平同期信号
２２６ 行カウンタ
２２７ 露光時間ラッチ部
２３２ ラッチ行番号
２３３ 一致検出部
２３４ 記憶部
２４３ 一致検出部
２４４ 一致検出部
２４５ 第一記憶部
２４６ 第二記憶部
２４７ 一致検出部
２４９ セレクタ
【技術分野】
【０００１】
本開示は、撮像装置、および撮像装置制御方法、並びにプログラムに関する。さらに詳細には、領域単位の露光制御を行う撮像装置、および撮像装置制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
図１を参照して、撮像素子の一例であるＣＭＯＳイメージセンサの構成と撮影処理例について説明する。
図１は、撮像素子（ＣＭＯＳイメージセンサ）１０１の一部構成を示す図である。撮像素子（ＣＭＯＳイメージセンサ）１０１は、垂直走査回路１０２、水平走査回路１０３、および、アレイ状に配置された複数の画素１０４から構成される。
【０００３】
画素１０４の内部では、被写体撮影に伴う露光処理によってフォトダイオードに電荷が蓄積される。
各画素のフォトダイオードに蓄積された電荷は、アンプトランジスタおよび転送トランジスタを介して垂直信号線１１３に出力される。垂直信号線１１３に出力された信号電流は、さらに水平走査回路１０３に供給されて、所定の信号処理が実行された後、信号出力線１１４を介して外部へ出力される。
【０００４】
垂直信号線１１３には、縦に並んだ各画素が共通に接続されているので、それぞれの画素の信号を独立に読み出すためには、垂直信号線１１３に対して、１度に１個の画素分の信号のみを出力するようにしなければならない。
【０００５】
すなわち、撮像素子（ＣＭＯＳイメージセンサ）１０１においては、図２（Ａ）に示されるように、例えば、一番下の行に並んだ画素１０４ｄのそれぞれから、最初に信号を読出し、次に、図２（Ｂ）に示されるように画素１０４ｃの行からの読み出しを行い、その後、順次、読み出しの行を変更して信号の読み出しを行うことで、各画素の信号を独立して読み出すことができるようになされている。これらの画素読み出しの制御信号は、例えば図１に示される垂直走査回路１０２に接続された水平リセット線１１１、水平選択線１１２から出力される。
【０００６】
撮像素子（ＣＭＯＳイメージセンサ）の構成画素１０４の各々は、蓄積された電荷の読み出し処理直後から、再び露光を開始する。すなわち、次の画像フレーム用の露光処理が開始される。
【０００７】
このように読み出し処理を行単位で順次、実行し、その直後から露光処理を開始すると、先頭行のフォトダイオード１０４ａと最終行のフォトダイオード１０４ｄとでは、露光の開始時刻および終了時刻が異なる、すなわち露光時間（または露光期間）にずれが発生する。
これが、いわゆるフォーカルプレーンシャッタ動作、あるいはローリングシャッタ動作と呼ばれるシャッタ動作の特徴である。
なお、図には１０４ａ〜１０４ｄの４行のみ示しているが、これは撮像素子の一部を示しているのみであり、実際の撮像素子には数１００〜数１０００行等、多数の行が設定され、各行単位で順次読み出しが実行される。
【０００８】
従来の撮像素子は、露光時間、すなわち、露光の開始から終了までの時間は、すべての画素について同じ長さとする構成が一般的であった。
しかし、最近では、被写体の明るさに応じて撮像素子の各画素に対する露光時間を制御する構成が提案されている。このような露光制御により、撮影画像のダイナミックレンジを拡大することができる。
【０００９】
以下、露光時間制御（シャッタ制御）によるダイナミックレンジ拡大処理について説明する。
明るい被写体領域では露光時間を長くすると画素の蓄積電荷が飽和してしまい、正確な画素値が得られない。
一方、暗い被写体領域では、露光時間を長くした方が被写体輝度に対応する正確な画素値を得やすい。
【００１０】
そこで、被写体が明るい領域では露光時間を短く設定した画素の画素値を有効画素値として取得する。一方、被写体が暗い領域では、露光時間を長くした画素の画素値を有効画素値として取得する。ダイナミックレンジを拡大する一つの方法は、これらを組み合わせて出力画像を生成するものである。なお、最終的な画素値の出力に際しては、各露光時間に基づく画素値調整処理が実行される。
【００１１】
特許文献１および非特許文献１には、撮像素子の画素行ごとに異なる露光時間を設定して、撮影画像のダイナミックレンジを拡大する技術を開示している。例えば撮像素子の画素行の１行おきに短時間露光行と長時間露光行を設定する構成である。
【００１２】
例えば、特許文献１、非特許文献１は、行単位で露光時間制御を実行して、画面の部位の明るさに応じて行単位で設定する方法について開示している。
これらの特許文献１、および非特許文献１の構成は、電子シャッタを用いた構成によって領域単位の露光時間制御を実行するものである。
【００１３】
また、被写体の輝度に応じた適応的な露光時間設定を実行するアルゴリズムについては、例えば非特許文献２に開示がある。
このように、被写体の明るさに応じて各行など、領域単位で露光時間を制御する構成については、すでに開示されている。
しかし、この被写体輝度に応じた露光制御を行うためには、撮影開始前に画素単位の露光時間を決定する処理が必要となる。ここで、問題となるのは、
（処理１）画素単位の露光時間を決定する処理を行うための先行画像の取得処理、
（処理２）上記処理１を実行後、その情報を反映した露光制御を行った撮影処理
これらの処理１〜処理２の間で遅延が生じることである。
【００１４】
この遅延が大きいほど明るさの変化への追従が遅くなり、その結果、明るさの変化の後、しばらくの間、明るすぎる画像、暗すぎる画像を取得してしまうということが発生する。
特に行単位や画素単位など領域ごとの露光制御を行う場合、従来の画面全体での露光制御に比べ、よりシビアな露光制御が必要となってくる。従来の画面で一つの露光時間を決定する場合、局所的な物体の動きでは明るさの変化はほとんど生じなかった。しかし、領域ごとの露光制御を行う場合、そのような局所的な物体の動きに対する追従も必要になり、従来よりも追従の遅延による影響は大きいといえる。
【００１５】
露光制御に反映するまでに生じる遅延について図３、図４を用いて説明する。
図３、図４とも時間軸を横軸、行を縦軸として示している。
例えば図３において、電荷読み出しのタイミングは、図に示す点線ライン１５１ａ，ａ、１５１ｂで示すように、行単位で時間ずれが発生する。
【００１６】
図３に示す複数の矩形ブロックは、ある１つの撮影画像フレームの露光時間を示しており、行または複数行からなる行ブロック単位の露光時間である。
先行撮影された画像フレームの読み出しライン１５１ａに示すタイミングの直後から露光処理が開始される。読み出しライン１５１ａに示すように、露光開始時間は、行単位で少しずつずれた時間となる。図に示すグラフにおいて、上側の行が先行して露光開始され、下側の行ほど遅れて露光が開始される。
最上行は時間（ｔ１）が露光開始時間であり、最下行は時間（ｔ２）が露光開始時間である。
【００１７】
図３に示す複数の矩形ブロックの右端が、露光画像の読み出し処理が実行されるタイミングであり、読み出しライン１５１ｂに示すタイミングで各行の画素の蓄積電荷が読み取られる。
この例では、露光終了時間≒読み出し処理時間であり、図３の読み出しライン１５１ｂに示すように、先頭行から順次、行ごとに各画素の読み出し処理が行われる。
【００１８】
最上行は時間（ｔ２）が露光終了時間であり、最下行は時間（ｔ３）が露光終了時間である。
なお、この例では、各行の露光開始と露光終了は、行単位で同じタイミングのずれが発生しているため、各行の露光時間は全て同じとなる。
【００１９】
図４には、動画撮影時の３つの連続撮影フレーム（Ｎ〜Ｎ＋２）の画像に対応する露光処理と読み出しタイミングを示している。
フレームＮの最終行の読み出しが終了した後、フレームＮ＋１の先頭行の読み出しが開始される。
フレームＮの画像をすべて取得できるのは最終行の読み出しタイミングである。しかしこの時点では、すでにフレームＮ＋１の露光が開始しているため、フレームＮで取得した画像に基づく露光制御をフレームＮ＋１に反映させることは不可能であり、フレームＮ＋２から可能となる。（遅延は２フレーム）
【００２０】
ただし、フレームＮの最終行の読み出しから、フレームＮ＋２の先頭行の露光開始までの間隔は短いため、露光時間の算出や制御データの通信に時間がかかる場合、フレームＮ＋２への反映も不可能になってしまい、遅延がさらに増えることもある。
【００２１】
このように、被写体の明るさに応じた露光制御を実行する場合には、
（処理１）画素単位の露光時間を決定する処理を行うための先行画像の取得処理、
（処理２）上記処理１を実行後、その情報を反映した露光制御を行った撮影処理
これらの処理１〜処理２の処理間での遅延が生じ、この遅延の結果、最適な露光制御ができなくなる場合があるという問題がある。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２０１０−１３６２０５
【非特許文献】
【００２３】
【非特許文献１】Ｊｅｎｗｅｉ Ｇｕ ｅｔ ａｌ， Ｃｏｄｅｄ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｐｈｏｔｏｇｒａｐｈｙ： Ｆｌｅｘｉｂｌｅ Ｓｐａｃｅ−Ｔｉｍｅ Ｓａｍｐｌｉｎｇ， Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ（ＩＣＣＰ）， ２０１０．
【非特許文献２】Ｓｕｊｉ Ｓｈｉｍｉｚｕ， ｅｔ ａｌ．， Ａ Ｎｅｗ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｅｘｐｏｓｕｒｅ Ｃｏｎｔｒｏｌ Ｂａｓｅｄ ｏｎ Ｆｕｚｚｙ Ｌｏｇｉｃ ｆｏｒ Ｖｉｄｅｏ Ｃａｍｅｒａｓ， Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， ＩＥＥＥ ｔｒａｎ ｏｎ， Ｖｏｌ３８−２， （１９９２）．
【発明の概要】
【発明が解決しようとする課題】
【００２４】
本開示は、例えば上記の問題点に鑑みてなされたものであり、遅延の少ない露光時間制御を可能とする撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
本開示の第１の側面は、
撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、
前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有し、
前記制御部は、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する撮像装置にある。
【００２６】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、先行撮影画像の行単位または複数行単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、前記撮像素子は、前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して行単位または複数行単位の露光時間制御に基づく画像取得を実行する。
【００２７】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した露光時間制御データを生成して前記撮像素子に出力し、前記撮像素子は、前記露光時間制御データを適用した露光時間制御に基づく画像取得を実行する。
【００２８】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した第１の露光時間制御データと、複数ブロックを参照して算出した第２の露光時間制御データを生成して前記撮像素子に出力し、前記撮像素子は、前記第１の露光時間制御データ、または前記第２の露光時間制御データのいずれかを選択的に適用した露光時間制御に基づく画像取得を実行する。
【００２９】
さらに、本開示の撮像装置の一実施態様において、前記撮像素子は、前記第１の露光時間制御データと第２の露光時間制御データの選択適用による画像取得を行う際に、選択適用する露光時間の設定のための画素蓄積電荷のリセット処理を実行する。
【００３０】
さらに、本開示の撮像装置の一実施態様において、前記制御部は、先行撮影画像である画像フレームＮの一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、前記撮像素子は、前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して、前記画像フレームＮの次の連続撮影画像である画像フレームＮ＋１に対して画素領域単位の露光時間制御を実行する。
【００３１】
さらに、本開示の撮像装置の一実施態様において、前記撮像装置は、さらに、長時間露光画素と短時間露光画素の各画素情報に基づく高ダイナミックレンジ画像を生成する高ダイナミックレンジ処理部を有する。
【００３２】
さらに、本開示の第２の側面は、
撮像装置において実行する撮像装置制御方法であり、
制御部が、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御ステップと、
撮像素子が、前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像ステップを実行し、
前記制御ステップは、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力するステップであり、
前記撮像ステップは、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行するステップである撮像装置制御方法にある。
【００３３】
さらに、本開示の第３の側面は、
撮像装置において撮像制御処理を実行させるプログラムであり、
制御部に、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成させる制御ステップと、
撮像素子に、前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行わせる撮像ステップを実行させ、
前記制御ステップにおいて、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力させ、
前記撮像ステップにおいて、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行させるプログラムにある。
【００３４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３５】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３６】
本開示の一実施例によれば、画像の画素領域ごとに露光時間を制御する構成において、より遅延の少ない露光時間制御処理が実現される。
具体的には、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有する。制御部は、先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して撮像素子に出力する。撮像素子は、制御部から、領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する。
この領域単位の露光時間制御情報を順次適用した処理を行うことでより遅延の少ない露光時間制御処理が実現される。
【図面の簡単な説明】
【００３７】
【図１】撮像素子の構成と撮像処理について説明する図である。
【図２】撮像素子の構成と撮像処理について説明する図である。
【図３】撮像処理シーケンスについて説明する図である。
【図４】撮像処理シーケンスについて説明する図である。
【図５】撮像装置の構成と処理について説明する図である。
【図６】撮像素子の構成と撮像処理について説明する図である。
【図７】撮像処理シーケンスについて説明する図である。
【図８】制御部の露光時間演算処理構成について説明する図である。
【図９】制御部の露光時間演算処理構成について説明する図である。
【図１０】輝度解析による露光時間設定処理例について説明する図である。
【図１１】露光時間制御部の構成と処理について説明する図である。
【図１２】露光時間ラッチ部の構成と処理例について説明する図である。
【図１３】図１２に示す露光時間ラッチ部の動作シーケンスの一例を説明するタイミング図である。
【図１４】垂直走査回路の構成例について説明する図である。
【図１５】読み出しタイミング生成部の処理について説明する図である。
【図１６】ある行の、読み出しタイミングと、リセットタイミング、および、露光時間の関係について説明する図である。
【図１７】従来型の露光時間制御シーケンスについて説明する図である。
【図１８】本開示の撮像装置における露光時間制御シーケンスの一例について説明する図である。
【図１９】露光制御単位となるブロックの設定例について説明する図である。
【図２０】露光制御単位となるブロックの設定例について説明する図である。
【図２１】露光制御処理例について説明する図である。
【図２２】撮像装置における露光時間制御シーケンスの問題点について説明する図である。
【図２３】露光時間ラッチ部の構成と処理例について説明する図である。
【図２４】本開示の撮像装置における露光時間制御シーケンスの一例について説明する図である。
【図２５】本開示の撮像装置における露光時間制御シーケンスの一例について説明する図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像装置の構成と処理について
２．領域単位の露光時間制御処理について
３．領域単位の露光制御による撮像素子の動作例について
４．本開示の露光制御処理と従来の露光制御処理との比較
５．実施例の変形例について
６．複数ブロックの参照処理に基づく露光制御構成
７．本開示の構成のまとめ
【００３９】
［１．撮像装置の構成と処理について］
まず、撮像装置の一構成例について、図５を参照して説明する。
図５に示すように、撮像装置は、光学レンズ２０１、ＣＭＯＳイメージセンサ等によって構成される撮像素子２０２、高ダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）処理部２０４、信号処理部２０６、制御部２０８を有する。
図５に示す撮像装置は、領域ごとに露光時間を変えて撮像することにより、高ダイナミックレンジ（ＨＤＲ）撮像を行う構成を有する。
【００４０】
撮像装置は、動画や静止画を撮影可能な撮像装置であり、被写体輝度に応じた領域単位の露光時間制御を実現する。
例えば動画撮影時に、先行画像フレームにおいて領域単位の輝度情報を取得し、次の撮影フレームにおいて、この領域単位の計測輝度情報に基づいて領域単位の露光時間制御を行う。
静止画撮影時には、撮影画像の直前の撮影画像を利用して領域単位の輝度情報を取得し、撮影しようとする静止画の撮影時に、領域単位の計測輝度情報に基づく領域単位の露光時間制御を行う。
【００４１】
光学レンズ２０１を介した入射光は、撮像素子２０２で光電変換され、撮像画像２０３を得る。高ダイナミックレンジ（ＨＤＲ）処理部２０４において、各画素領域単位の露光時間の違いによる感度差を補正し、高ダイナミックレンジ（ＨＤＲ）画像２０５を得る。
【００４２】
なお、露光時間制御は、具体的には、明るい被写体領域に対して短時間露光を行い、暗い被写体に対しては長時間露光を行うことになる。その結果、撮像画像２０３の各画素の画素値は、各露光時間に応じた画素値となる。高ダイナミックレンジ（ＨＤＲ）処理部２０４では、各画素の露光時間を考慮して、すべての画素を同一の露光時間とした場合の画素値を算出し、この算出画素値を設定した高ダイナミックレンジ（ＨＤＲ）画像２０５を生成する。
信号処理部２０６は高画質化処理などを施し、出力画像２０７を得る。
【００４３】
制御部２０８は、撮像装置の各処理の制御を実行する。例えば、先行取得画像の輝度情報に基づいて、各画素領域単位の最適な露光時間を算出し、制御データ２０９として撮像素子２０２に出力する。撮像素子２０２は、制御データ２０９に基づいて、電子シャッタによる各領域単位の露光時間制御による撮影処理（電荷蓄積）を行う。なお、制御部２０８は、例えば図示しないメモリに格納されたプログラムに従って各構成部の全般的な制御を実行する。
【００４４】
撮像素子２０２は、例えばＣＭＯＳイメージセンサによって構成され、所定の画素領域単位ごとに露光制御可能なイメージセンサである。
具体的には、図６に示す構成を持つ。
図６は、撮像素子（ＣＭＯＳイメージセンサ）２０２の一部構成を示す図である。撮像素子（ＣＭＯＳイメージセンサ）２０２は、図６に示すように制御部２０８から出力される制御データ２０９を入力する露光時間制御部２０２ａ、垂直走査回路２０２ｂ、水平走査回路２０２ｃ、および、アレイ状に配置された複数の画素２０２ｄから構成される。
【００４５】
画素２０２ｄは、被写体撮影に伴う露光処理によってフォトダイオードに電荷を蓄積する。各画素のフォトダイオードに蓄積された電荷は、アンプトランジスタおよび転送トランジスタを介して垂直信号線２０２ｇに出力される。垂直信号線２０２ｇに出力された信号電流は、さらに水平走査回路２０２ｃに供給されて、所定の信号処理が実行された後、信号出力線２０２ｈを介して外部へ出力される。
【００４６】
この撮像素子２０２は、例えば図７に示すように、行単位で任意の露光時間を制御可能なＣＭＯＳイメージセンサである。なお、この構成については、例えば前述の非特許文献１を参照されたい。
【００４７】
高ダイナミックレンジ（ＨＤＲ）処理部２０４は、先に説明したように、各画素領域単位の露光時間の違いによる感度差を補正し、高ダイナミックレンジ（ＨＤＲ）画像２０５を得る。具体的には、撮像画像２０３の各画素値に対して領域ごとの露光時間の逆数を乗算することにより、輝度に対して線形特性を有する画像を生成し、これを高ダイナミックレンジ（ＨＤＲ）画像２０５とする。
【００４８】
図５に示す撮像装置において、制御部２０８は、先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データ（制御データ２０９）を、シーケンシャルに順次生成して撮像素子２０２に出力する。
撮像素子２０２は、制御部２０８から、領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する。
【００４９】
［２．領域単位の露光時間制御処理について］
次に、制御部２０８において実行する被写体輝度に応じた領域単位の露光時間制御処理について図８、図９、図１０を参照して説明する。
図８は、制御部２０８の実行する露光時間制御処理を実行するための構成例を示す図である。
輝度算出部２１１は、高ダイナミックレンジ（ＨＤＲ）処理部２０４が先行撮影画像に基づいて生成した高ダイナミックレンジ（ＨＤＲ）画像２０５を入力し、入力画像から、各画素領域単位の輝度を算出する。
【００５０】
一例として図９のように、高ダイナミックレンジ（ＨＤＲ）画像２０５を構成する２ｘ２画素領域を輝度算出の画素領域単位２１５として、
Ｒ画素の画素値＝Ｒ、
Ｇ画素の画素値＝（Ｇｒ＋Ｇｂ）／２、
Ｂ画素の画素値＝Ｂ、
これらＲ，Ｇ，Ｂの最大値（ＭＡＸ）を求め、この最大値を、輝度算出の画素領域単位２１５の輝度Ｌとする。
【００５１】
ブロック輝度統計量算出部２１２は、図１０（Ａ）のように複数の行からなるブロックごとに、図１０（Ｂ）に示すような輝度統計量を算出する。図１０（Ｂ）の縦軸が行、横軸の輝度統計量は各行ブロックの明るさを表す統計量である。
【００５２】
ブロック露光時間算出部２１３は、ブロックの輝度統計量に基づいて図１０（Ｃ）の各行ブロックごとに設定すべき露光時間を算出する（Ｔｅｘ１〜ＴｅｘＭ）。
明るい領域については短い露光期間を設定することで、画素値が飽和してしまうことを抑制する。暗い領域については長い露光時間を設定することでＳ／Ｎを改善するように制御する。この処理によって、ダイナミックレンジの広くＳ／Ｎの良い画像を撮影することが可能になる。
【００５３】
本構成では、所定領域ごとに露光制御を行う場合、その領域周辺を参照するだけで、露光時間を決定できるという特徴を有する。
すなわち、例えば、ブロック１の露光時間Ｔｅｘ１を算出するためには、ブロック１の画像情報のみを適用する。
１フレームの画像のすべてを参照する処理や、大部分の画像領域を参照することなく、各ブロック単位の情報のみで、各ブロックの露光時間を設定することができる。
この特徴を利用し、露光時間演算部２０８は、露光時間の算出が完了したブロックから順次、ただちに、制御データ２０９を例えばＣＭＯＳイメージセンサからなる撮像素子２０２に対して出力する。
【００５４】
すなわち、前述したように、制御部２０８は、先行撮影画像の一部の画素領域、すなわちブロック単位（例えば行単位や複数行単位など）の輝度情報に基づくブロック単位の露光時間制御データを、シーケンシャルに順次生成して撮像素子２０２に出力する。撮像素子２０２は、制御部２０８から、ブロック単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用してブロック単位の露光時間制御に基づく画像取得を実行する。
【００５５】
［３．領域単位の露光制御による撮像素子の動作例について］
次に、上述した制御部２０８の出力する制御データ２０２を入力して領域単位の露光制御を行って画像撮影処理を行う撮像素子２０２の動作例について説明する。
図１１は、撮像素子２０２の露光時間制御部２０２ａの構成例を説明する図である。
撮像素子２０２の露光時間制御部２０２ａは、制御部２０６から各領域単位の露光時間設定情報からなる制御データ２０９を入力し、垂直走査回路２０２ｂを制御して画像領域単位（＝ブロック単位（例えば行単位））の露光時間の設定を行う。
【００５６】
・デコーダ２２１は、制御部２０６から各領域単位の露光時間設定情報からなる制御データ２０９を入力し、ブロックごとの露光制御データ２２２を生成する。
・行カウンタ２２６は、タイミング生成部２２３の生成する垂直同期信号２２４、水平同期信号２２５を利用して現在の処理対象となる行番号を生成する。
【００５７】
・露光時間ラッチ部２２７は、行カウンタ２２６の生成する行番号を入力して、ブロック（画素領域）ごとの露光時間ラッチタイミングを生成し、ブロック（画素領域）ごとに異なるタイミングで露光時間データ２２２を垂直走査回路２０２ｂに出力する。
【００５８】
垂直走査回路２０２ｂは、露光時間ラッチ部２２７の出力するブロック（画素領域）単位の露光時間データに従って、ブロック（画素領域）単位で電子シャッタ制御を行う。
具体的には、例えば行単位で、行リセット、および行選択信号を生成し、行単位の露光時間制御を実現する電子シャッタ制御を行う。
【００５９】
図１２は、１つのブロックの露光時間ラッチ部２２７の詳細構成例を示す図である。
１つのブロック対応の露光時間ラッチ部２２７は、１つのブロックについての露光時間制御信号を垂直走査回路２０２ｂに出力する。
例えばブロック＝行の場合、行単位の露光時間制御処理を行う。
【００６０】
図１２に示すように、露光時間ラッチ部２２７は、デコーダ２２１の生成するブロック単位の露光時間データ（ｉｎ）２２２ｉｎを記憶部２３４に取り込むとともに、行カウンタ２２６の生成する現在の行番号２３１を入力する。
【００６１】
露光時間ラッチ部２２７は、自己の制御対象となるラッチ行番号２３２を保持し、一致検出部２３３において、行カウンタ２２６から入力する行番号２３１と、自己の制御対象となるラッチ行番号２３２が一致するか否かを判定する。一致を検出した場合に、露光時間データ（ｏｕｔ）２２２ｏｕｔを記憶部２３４から垂直走査回路２０２ｂに出力し、露光時間データ２２２に応じたブロック単位の露光時間制御を実行させる。なお、記憶部２３４は、論理回路で実装する際には、例えばイネーブル（Ｅｎａｂｌｅ）ポート付きのＤ−フリップフロップ回路で実現可能である。
【００６２】
図１３は、図１２に示す露光時間ラッチ部２２７の動作シーケンスを説明するタイミング図である。
横軸が時間（ｔ）であり、時間軸に沿って以下の各データの遷移を示している。
（ａ）露光時間ラッチ部２２７に入力する［露光時間データ（ｉｎ）２２２ｉｎ］
（ｂ）露光時間ラッチ部２２７に入力する［現在の行番号２３１］
（ｃ）露光時間ラッチ部２２７が保持する［ラッチ行番号２３２］
（ｄ）一致検出部２３３の［一致検出信号出力］
（ｅ）記憶部２３４からの出力（＝露光時間データ（ｏｕｔ）２２２ｏｕｔ）
これらを示している。
【００６３】
なお、説明の簡素化のため、各フレームの行数＝１０の設定としている。
図１３では、
フレームＮの０〜９の各行、
フレームＮ＋１の０〜９の各行、
これらの各行についての露光時間設定処理が実行されている期間において、第５行を処理対象とする１つの露光時間ラッチ部２２７の処理シーケンスを示している。
【００６４】
（ａ）露光時間ラッチ部２２７に入力する［露光時間データ（ｉｎ）２２２ｉｎ］は、（ｄ）一致検出部２３３の［一致検出信号出力］が、（ｂ）露光時間ラッチ部２２７に入力する［現在の行番号２３１］と、（ｃ）露光時間ラッチ部２２７が保持する［ラッチ行番号２３２］との一致を検出したタイミングで取り込まれ、記憶部２３４から垂直走査回路２０２ｂに出力されるとともに記憶部２３４に次のフレームの同じタイミングまで保持される。
【００６５】
図１４は、垂直走査回路２０２ｂの構成例である。
外部から与えられる制御データ２０９から、デコーダ２５１を使用して、必要なタイミングデータ２５２を取り出す。例えば、画像の出力行数などのタイミングに必要な情報をタイミングデータ２５２としてとりだす。
【００６６】
読み出しタイミング生成部２５３は、タイミングデータ２５２に基づいて、各行の水平（行）選択線２０２ｆに読み出しタイミングを順次、出力する。
具体的には、例えば、図１５に示すように、読み出しタイミング生成部２５３内部で各行対応の読み出しタイミングを生成し、各行の水平（行）選択線２０２ｆに読み出しタイミングを順次、出力する。
【００６７】
リセットタイミング生成部２５４は、読み出しタイミング生成部２５３の生成する各行対応の読み出しタイミングを入力し、さらに、露光時間ラッチ部２２７から入力する露光時間データ（ｏｕｔ）２２２ｏｕｔに基づいて、この露光時間データの露光時間が設定されるように、露光開始時間を制御すめため、露光開始時間としてのリセット時間を各行単位で計算し、行単位のリセット信号を生成して、水平（行）リセット線２０２ｅに出力する。
【００６８】
図１６は、ある行の、読み出しタイミングと、リセットタイミング、および、露光時間の関係を示している。
図に示すリセットタイミング（Ｔｒｅｓｅｔ）が露光開始時間であり、ここから画素に対する電荷蓄積が始まり、読み出しタイミング（Ｔｒｅａｄ）が露光終了時間であり、蓄積信号を読み出す。すなわち、
露光時間（Ｔｅｘｐ）＝（Ｔｒｅａｄ）−（Ｔｒｅｓｅｔ）
の関係にある。
【００６９】
リセットタイミング生成部２５４は、露光時間データ２４１と、読み出しタイミングを得ているので、
リセットタイミング（Ｔｒｅｓｅｔ）＝Ｔｒｅａｄ−Ｔｅｘｐ
の関係を利用して、リセットタイミングを生成し、行ごとに水平（行）リセット線２０２ｅにリセットタイミングに応じたリセット信号を出力する。
【００７０】
［４．本開示の露光制御処理と従来の露光制御処理との比較］
次に、図１７と図１８を参照して、本開示の露光制御処理と従来の露光制御処理とを比較して説明する。
図１７は、従来の露光制御による撮像素子（ＣＭＯＳイメージセンサ）の動作例を説明する図である。
図１８は、本開示の撮像装置における撮像素子（ＣＭＯＳイメージセンサ）の動作例を説明する図である。
【００７１】
まず、図１７を参照して、従来の露光制御による撮像素子（ＣＭＯＳイメージセンサ）の動作例について説明する。
図１７には、連続撮影される３つのフレームであるフレームＮ〜Ｎ＋２の撮影処理に際して実行される露光制御シーケンスを示している。
（ａ）露光タイミングとして示すグラフは、縦軸＝行、横軸＝時間であり、各行についての行単位の露光時間を矩形領域として示したグラフである。
先に、図３、図４を参照して説明したように、露光時間は、上位行から下位行に向けて所定の時間、遅延して設定される。
【００７２】
図１７に示す（ｂ）フレームＮの画像を利用した露光制御には、
フレームＮの画像を利用した露光制御処理について、時間軸に沿った露光制御処理シーケンスを示している。
３０１〜３０５に示す各処理が時間の経過に従って実行される処理である。
各処理の内容は以下の通りである。
測定取得３０１：フレームＮの画像が出力されるタイミングである。
露光時間計算３０２：測定取得３０１において取得した画像に基づいて露光時間を算出するタイミングである。
【００７３】
露光時間送信３０３：露光時間計算３０２において算出した露光時間を、撮像素子（イメージセンサ）に出力するタイミングである。
露光時間ラッチタイミング３０４：撮像素子（センサ）内で、露光時間送信３０３によって入力した露光時間データをラッチするタイミングである。ラッチタイミングは、最初の行の露光が始まる前に発生する。
リセット制御による露光時間制御３０５：露光時間ラッチタイミング３０４においてラッチされたのデータに基づいて、リセットタイミングを生成して露光制御を実行中の期間である。
【００７４】
処理３０１〜３０５の処理は、フレームＮの撮影画像に基づいて実行される露光時間制御であるが、
リセット制御による露光時間制御３０５の開始時間には、すでに、フレームＮ＋１の撮影が開始している。
従って、リセット制御による露光時間制御３０５は、フレームＮ＋１の撮影処理に適用されることになる。
この結果として、この露光制御による撮影による画像取得３０６は、フレームＮ＋２の画像となる。
【００７５】
このように、図１７に示す露光時間制御では、
フレームＮの撮影画像に基づいて生成した露光時間制御データを適用した露光時間制御による撮影処理は、直後の撮影フレーム（フレームＮ＋１）に対して実行するこはできず、２フレーム後のフレームＮ＋２に実行する構成となっている。
このように、従来法では最短でも２フレームの遅延が生じていた。
【００７６】
図１８は、本開示の撮像装置における撮像素子（ＣＭＯＳイメージセンサ）の動作例を説明する図である。
図１８も、図１７と同様、連続撮影される３つのフレームであるフレームＮ〜Ｎ＋２の撮影処理に際して実行される露光制御シーケンスを示している。
【００７７】
（ａ）露光タイミングとして示すグラフは、縦軸＝行、横軸＝時間であり、各行についての行単位の露光時間を矩形領域として示したグラフである。
【００７８】
図１８に示す（ｂ）フレームＮの画像を利用した露光制御には、
フレームＮの画像を利用した露光制御処理について、領域（ブロック）単位の時間軸に沿った露光制御処理シーケンスを示している。
本開示の処理では、画像の所定の単位領域（本例では行）ごとに、露光時間制御の算出、送信、ラッチを行うことによって遅延時間を短縮している。
【００７９】
図１８には、先行撮影画像フレームであるフレームＮの画像を利用して、次の撮影フレームであるフレームＮ＋１の露光制御を実現している。
この露光制御は、画素領域（ブロック）単位で実行している。本例では行単位の露光制御を行っている。
図１８には、代表例として、
フレームＮのブロック１（行１）の画像情報に基づいて、フレームＮ＋１のブロック１（行１）の露光制御（露光時間設定）、
フレームＮのブロックＭ（行Ｍ）の画像情報に基づいて、フレームＮ＋１のブロックＭ（行Ｍ）の露光制御（露光時間設定）、
これらの処理例を示している。
【００８０】
図１８においても、図１７と同様、フレームＮの画像を利用した露光制御処理について、時間軸に沿った露光制御処理シーケンスを示している。
３１１〜３１６に示す各処理が時間の経過に従って実行される処理である。
なお、ブロック１、ブロックＭとも同じシーケンス（処理３１１〜３１６）で処理が進行する。
各処理の内容は以下の通りである。
【００８１】
画像取得３１１：フレームＮのブロックの画像が出力されるタイミングである。
露光時間計算３１２：画像取得３１１において取得した画像（フレームＮの１つのブロック（本例では行単位の画像）に基づいて、そのブロック（行）の露光時間を算出するタイミングである。
【００８２】
露光時間送信３１３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３１４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【００８３】
露光時間制御３１５：露光時間ラッチタイミング３１４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである
画像取得３１６：前記の露光制御３１５によって実行されたブロック（行）単位の露光制御による制御対象ブロック（行）の画像が得られる時刻である。
【００８４】
図１８に示すブロック１、ブロックＭ、その他のすべてのブロック（行）において、上記と同様のシーケンスで処理が行われる。
【００８５】
この図１８に示す本開示の構成では、図１７に示す構成と異なり、所定の単位ごと、すなわち画素領域（ブロック、本例では行）単位ごとに、露光時間制御データを算出し、画素領域単位で、順次露光制御を開始する。この処理によって、先行撮影画像に基づく露光制御データを次の撮影フレームに適用して露光制御を実行する構成としている。
【００８６】
図１８に示す露光時間制御では、
フレームＮの撮影画像に基づいて生成した露光時間制御データを適用した露光時間制御による撮影処理を、直後の撮影フレーム（フレームＮ＋１）に対して実行するこはでき、露光制御を遅延なく実行することができる。
【００８７】
図１８に示す制御を実現するために、撮像素子２０２は、画像領域（＝ブロック（例えば行））ごとに露光制御可能であると同時に、ある特定の単位ごとに異なるタイミングで制御データを取り込み、制御を行う構成を有する。
【００８８】
［５．実施例の変形例について］
上述した実施例の変形例について説明する。
上述した実施例では、図５を参照して説明した撮像装置の構成を一例として説明した。
図５に示す構成は位置実施例であり、この他の構成も可能である。例えば、図５に示すすべての処理を撮像素子内で行う構成としてもよい。
【００８９】
また、本開示の撮像装置では、領域ごとに異なる露光時間を設定した露光制御を行う構成としており、その一例として、例えば図７を参照して説明したような行単位の露光制御構成例を説明した。
しかし、露光制御単位としての領域（ブロック）は、行単位や複数行単位のみならず、その他の設定としてもよい。
【００９０】
例えば、図１９に示すような、矩形領域のブロックを単位として露光制御を行う構成としてもよい。
また、図２０に示すように、先行撮影画像に基づく露光制御に併せて、短時間露光ブロックと長時間露光ブロックを設定して、周期的に複数の感度の制御を行い、この画像に基づく高ダイナミックレンジ画像を生成する構成としてもよい。
また、先行撮影画像に基づく露光制御に併せて、図２１に示すように領域ごとに短時間露光撮影処理と、長時間露光撮影処理を実行してこれらの画像に基づく高ダイナミックレンジ画像を生成する構成としてもよい。
【００９１】
また、先の実施例では、撮像素子の露光制御構成例として、図１２を参照して露光時間ラッチ部２２７の構成例を説明した。上述の説明において、各露光時間ラッチ部２２７は、自己の制御対象ブロックを示すラッチ行番号２３２を保持する例として説明した。
しかし、このラッチ行番号２３２は、固定とせず、画像の輝度統計量に応じて変更する設定としてもよい。この変更処理によって、制御対象とするブロックを動的に変化させることが可能となる。
【００９２】
［６．複数ブロックの参照処理に基づく露光制御構成］
上述した実施例では、先に図１８を参照して説明したようにブロック（例えば行）単位で、先行撮影画像の輝度情報に基づく露光時間の設定を行い、次の撮影画像の対応ブロックの露光時間制御を行う構成としていた。
【００９３】
すなわち、制御部２０８は、先行撮影画像の１つのブロック単位の輝度情報に基づくブロック単位の露光時間制御データを、順次撮像素子２０２に出力し、撮像素子２０２は、１つのブロック単位の露光時間制御データを、順次、シーケンシャルに適用してブロック単位の露光時間制御に基づく画像取得を実行する構成として説明した。
【００９４】
すなわち図１８に示す例では、
画像に設定したブロック１〜Ｍについて、
フレームＮのブロック１の画像領域に基づく露光制御データに基づいて、フレームＮ＋１のブロック１の画像領域の露光制御を実行、
フレームＮのブロック２の画像領域に基づく露光制御データに基づいて、フレームＮ＋１のブロック２の画像領域の露光制御を実行、
：
フレームＮのブロックＭの画像領域に基づく露光制御データに基づいて、フレームＮ＋１のブロックＭの画像領域の露光制御を実行、
このようにブロック対応の露光制御を行う構成としていた。
【００９５】
しかし、このように、局所的な情報しか参照せずに露光制御を行う場合、例えば、明るい物体が大きく動いている場合などには、フレームＮとフレームＮ＋１における同じブロック領域に、同じ被写体が存在しないといったことが発生する。このような場合には、先行撮影画像に基づいて設定された露光時間が適切でなくなり、例えば、画素値の飽和が生じてしまうなどの問題点が生じる場合がある。
【００９６】
このような問題を解決するため、局所情報だけでなく広い範囲、例えば複数ブロックを参照して露光時間の設定を行うことが有効となる場合がある。すなわち、複数ブロックを参照して露光時間の設定を行う構成とすることで、輝度変化を精度よく予測可能とする。しかし、広い範囲を参照した場合、画像を取得に時間がかかるという問題点がある。
【００９７】
以下、まず、図２２を参照して、上記の問題点について説明し、この問題点を解決する構成と処理シーケンスについて図２３、図２４、図２５を参照して説明する。
【００９８】
まず、図２２を参照して、上記の問題点、すなわち広い範囲を参照した場合、画像を取得に時間がかかるという問題点について説明する。
図２２は、図１８において、ブロック１の露光制御データを算出する際に、複数のブロック、すなわち、ブロック１〜３を参照する設定とした場合のタイミング図である。
図２２には、連続撮影される２つのフレームであるフレームＮ〜Ｎ＋１の撮影処理に際して実行される露光制御シーケンスを示している。
【００９９】
（ａ）露光タイミングとして示すグラフは、縦軸＝行、横軸＝時間であり、各行についての行単位の露光時間を矩形領域として示したグラフである。
図２２に示す（ｂ）フレームＮの画像を利用した露光制御には、
フレームＮの画像を利用した露光制御処理について、領域（ブロック）単位の時間軸に沿った露光制御処理シーケンスを示している。
なお、番号１〜Ｍは、撮影画像の画素領域（＝ブロック、本例では行）の識別子を示している。
【０１００】
図２２に示す設定も、図１８を参照して説明した例と同様、所定の単位ごと、すなわち画素領域（ブロック、本例では行）単位ごとに、順次露光制御を開始する。この処理によって、先行撮影画像に基づく露光制御データを次の撮影フレームに適用して露光制御を実行する構成としている。
【０１０１】
ただし、各ブロックに対応する露光時間制御データの算出処理に際しては、複数ブロックを参照する。
すなわち、複数ブロックの画像情報に基づいて１つのブロックの露光時間を決定する。
図２２に示す例は、先行撮影画像フレームの３つのブロックを参照して、次の撮影フレームの１つのブロックの露光時間を決定する処理を行う例である。
【０１０２】
図２２には、図１８と同様、１つのブロック（行）であるブロック１（行１）に対する露光制御処理例を示している。
図２２に示す処理３１１〜３１６は、先に説明した図１８の処理３１１〜３１６と同様の処理である。
ただし、図２２に示す例では先行撮影画像フレームの３つのブロックを参照して、次の撮影フレームの１つのブロックの露光時間を決定する。
各処理の内容は以下の通りである。
【０１０３】
画像取得３１１：フレームＮのブロックの画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域である連続する３ブロック、すなわち画素領域１（ブロック１）〜画素領域３（ブロック３）の画像を出力するタイミングである。
露光時間計算３１２：画像取得３１１において取得した画像（フレームＮの３つのブロック（本例では行単位の画像）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
【０１０４】
露光時間送信３１３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３１４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【０１０５】
露光時間制御３１５：露光時間ラッチタイミング３１４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである。
画像取得３１６：前記の露光制御３１５によって実行されたブロック（行）単位の露光制御による制御対象ブロック（行）の画像が得られる時刻である。
【０１０６】
本例においては、画像取得３１１は、フレームＮのブロック３の出力後にずれ込むことになる。
結果として露光時間計算３１２、露光時間送信３１３も図１８の設定に比較して遅延することになる。
その結果、露光時間ラッチタイミング３１４、露光時間制御３１５を図１８と同様の設定とすると、露光時間送信３１３より前の時間に露光時間ラッチタイミング３１４、露光時間制御３１５が設定される。
このような処理は現実的には実行不可能となる。すなわち、図２２に示すシーケンスでは、フレームＮの画像におけるに基づく露光制御が次のフレームＮ＋１では実行できないことになり、フレームＮの複数ブロックの画像に基づいて算出される露光時間は、フレームＮ＋１の撮影時には利用できずフレームＮ＋２移行でのみ利用可能な状態となってしまう。
【０１０７】
この問題点を解決する露光時間ラッチ部２２７の構成について図２３を参照して説明する。
図２３に示す露光時間ラッチ部２２７は、先に説明した図１１に示す露光時間制御部２０２ａの１つの露光時間ラッチ部２２７の構成を示す図である。
図１２を参照して説明した露光時間ラッチ部２２７のかわりに、図２３のような露光時間ラッチ部２２７を利用することで、図２２を参照して説明した問題点を解決する。
【０１０８】
図２３に示す露光時間ラッチ部２２７は、各ブロックに対応する露光制御時間データを複数回の異なるタイミングで受け取り、これらを記憶部２４５，２４６に格納してセレクタ２４９を介して垂直走査回路２０２ｂに出力する。
【０１０９】
具体的には、
（１）先行撮影画像フレームの単一ブロックの画像データのみから算出した第１の露光制御時間データを図２３に示す第一記憶部２４５から出力する。
（２）先行撮影画像フレームの複数ブロックの画像データから算出した第２の露光制御時間データを図２３に示す第二記憶部２４６から出力する。
これらの露光時間制御データを生成して、選択的に適用する。
（１）のデータは、先の実施例で説明したデータと同じである。
【０１１０】
例えば、被写体の明るさが変化しない場合、第一記憶部２４５だけを利用した処理、すなわち先に図１２を参照して説明したと同様の処理とする。
一方、被写体の明るさが変化し、次回の露光で飽和の発生が予想される場合、複数ブロックの画像データから算出した第２の露光制御時間データ（露光時間データ２２２）が送られ、第二記憶部２４６は第二ラッチ行番号２４２のタイミングでこのデータをラッチし、複数ブロックに基づいて算出した露光時間による露光制御が行われる。
【０１１１】
図２３に示すブロックＸの第一ラッチ行番号２４１は、例えば、この露光時間ラッチ部２２７の処理対象ブロックが第一行である場合、行番号＝１として設定される。
また、図２３に示すブロックＸの第二ラッチ行番号２４２は、例えば、第二記憶部２４６に記憶される露光時間データが複数ブロック（例えば３ブロック（３行））単位の画像に基づいて算出される露光時間データである場合、行番号＝３として設定される。
【０１１２】
なお、第一記憶部２４５と第二記憶部２４６の露光時間データに違いがある場合、垂直走査回路１０２は、再度リセット制御を行う必要があるため、一致検出部２４７にて一致の検出を行い、その情報も出力する。
【０１１３】
図２４、図２５は、図２２と同様のタイミング図であり、図２３の構成を持つ露光時間ラッチ部２２７を利用した処理とした場合のタイミング図である。
図２４、図２５には、図２２と同様、連続撮影される２つのフレームであるフレームＮ〜Ｎ＋１の撮影処理に際して実行される露光制御シーケンスを示している。
【０１１４】
（ａ）露光タイミングとして示すグラフは、縦軸＝行、横軸＝時間であり、各行についての行単位の露光時間を矩形領域として示したグラフである。
図２４、図２５に示す（ｂ）フレームＮの画像を利用した露光制御には、
フレームＮの画像を利用した露光制御処理について、領域（ブロック）単位の時間軸に沿った露光制御処理シーケンスを示している。
なお、番号１〜Ｍは、撮影画像の画素領域（＝ブロック、本例では行）の識別子を示している。
【０１１５】
図２４、図２５に示す設定も、図１８を参照して説明した例と同様、所定の単位ごと、すなわち画素領域（ブロック、本例では行）単位ごとに、順次露光制御を開始する。この処理によって、先行撮影画像に基づく露光制御データを次の撮影フレームに適用して露光制御を実行する構成としている。
【０１１６】
図２４、図２５に示す処理シーケンスの概要は以下の通りである。初めに、１つのブロックのみを参照して露光時間を決定し、これを第一のデータとして第一記憶部２４５からセレクタ２４９を介して垂直走査回路２０２ｂに出力する。
その後、より広範なブロック、図２４、図２５に示す例では３ブロックを参照して露光時間を決定し、例えば飽和が発生しそうな場合には、これを第二のデータとして第二記憶部２４６からセレクタ２４９を介して垂直走査回路２０２ｂに出力する。
【０１１７】
図２４は、１つのブロックのみを参照して決定した露光時間を破棄し、３つのブロックを参照して決定した露光時間を、次のフレームの撮影において利用する露光制御処理例を示すタイミング図である。
図２５は、１つのブロックのみを参照して決定した露光時間を利用し、３つのブロックを参照して決定した露光時間を利用しない設定とした露光制御処理例を示すタイミング図である。
【０１１８】
図２４に示す処理について説明する。
図２４は、１つのブロックのみを参照して決定した露光時間を破棄し、３つのブロックを参照して決定した露光時間を、次のフレームの撮影において利用する露光制御処理例を示すタイミング図である。
【０１１９】
図２４に示す（ｂ）フレームＮの画像を利用した露光制御には、
［１回目の露光制御］として実行されるフレームＮの１つのブロック（行１）のみを参照して決定した露光時間を破棄し、
［２回目の露光制御］として実行される３つのブロック（行１〜３）を参照した露光時間算出結果を次のフレームの露光制御に利用する処理例を示している。
【０１２０】
［１回目の露光制御］として実行される処理３１１〜３２５について説明する。
画像取得３１１：フレームＮのブロック１（行１）の画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域であるブロック１（行１）の画像を出力するタイミングである。
露光時間計算３１２：画像取得３１１において取得した画像（フレームＮの１つのブロック（本例では行１）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
【０１２１】
露光時間送信３１３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３１４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【０１２２】
１回目の露光時間制御３２５：露光時間ラッチタイミング３１４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである。
ここまでが１回目の露光制御である。
【０１２３】
この処理と並列して、図２４の下段に示す［２回目の露光制御］が実行される。この処理は、複数ブロック（本例ではブロック１〜３（行１〜３））を参照して決定した露光時間を、次のフレームＮ＋１のブロック１（行１）に対する露光制御時間として利用する処理である。
【０１２４】
画像取得３２１：フレームＮのブロックの画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域である連続する３ブロック、すなわち画素領域１（ブロック１）〜画素領域３（ブロック３）の画像を出力するタイミングである。
露光時間計算３２２：画像取得３１１において取得した画像（フレームＮの３つのブロック（本例では行単位の画像）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
【０１２５】
露光時間送信３２３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３２４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【０１２６】
２回目の露光時間制御３２７：露光時間ラッチタイミング３２４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである。
画像取得３２８：前記の露光制御３２７によって実行されたブロック（行）単位の露光制御による制御対象ブロック（行）の画像が得られる時刻である。
この処理では、２回目の露光制御、すなわち複数ブロックを参照して決定した露光時間に基づく制御を次の撮影フレームの露光制御として実行している。
【０１２７】
次に、図２５を参照して１つのブロックのみを参照して決定した露光時間を利用し、３つのブロックを参照して決定した露光時間を利用しない設定とした露光制御処理例について説明する。
【０１２８】
図２５に示す（ｂ）フレームＮの画像を利用した露光制御には、
［１回目の露光制御］として実行されるフレームＮの１つのブロック（行１）のみを参照して決定した露光時間を次の露光時間制御に利用し、
［２回目の露光制御］として実行される３つのブロック（行１〜３）を参照した露光時間算出処理を停止した例を示している。
【０１２９】
［１回目の露光制御］として実行される処理３１１〜３２８について説明する。
画像取得３１１：フレームＮのブロック１（行１）の画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域であるブロック１（行１）の画像を出力するタイミングである。
露光時間計算３１２：画像取得３１１において取得した画像（フレームＮの１つのブロック（本例では行１）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
【０１３０】
露光時間送信３１３：露光時間計算３１２で算出したブロックの露光時間を送信するタイミングである。
露光時間ラッチタイミング３１４：撮像素子（センサ）内で、露光時間送信３１３処理によって送信された１つの処理ブロックの露光時間データをラッチするタイミングである。ラッチタイミングはそのブロックの露光が開始する前に発生する。
【０１３１】
１回目の露光時間制御３２５：露光時間ラッチタイミング３１４に基づいて、ブロック（行）単位でリセットタイミングを生成して露光制御（露光開始の制御）を実行するタイミングである。
画像取得３２８：ぬ回目の露光制御によって決定した露光時間によって撮影されたフレームＮ＋１のブロック１（行１）の画像取得処理である。
ここまでが１回目の露光制御である。
【０１３２】
この処理と並列して、図２５の下段に示す［２回目の露光制御］が実行される。この処理は、複数ブロック（本例ではブロック１〜３（行１〜３））を参照して決定した露光時間を、次のフレームＮ＋１のブロック１（行１）に対する露光制御時間として利用する処理である。
【０１３３】
画像取得３２１：フレームＮのブロックの画像が出力されるタイミングである。撮像素子から撮像画像Ｎの一部の画素領域である連続する３ブロック、すなわち画素領域１（ブロック１）〜画素領域３（ブロック３）の画像を出力するタイミングである。
露光時間計算３２２：画像取得３１１において取得した画像（フレームＮの３つのブロック（本例では行単位の画像）に基づいて、露光制御対象とする後続フレームの１つのブロック（行）の露光時間を算出するタイミングである。後続撮影画像のブロック１の露光時間を算出する。
この時点で、［１回目の露光制御］に基づくフレームＮ＋１の撮影が開始されているため、この［２回目の露光制御］の処理は中止する。
【０１３４】
図２４、図２５を参照して説明した処理において、露光制御信号出力タイミングは、２つの異なるタイミングに設定される。
一方は、単一ブロックの参照に基づく露光制御データの出力であり、
他方は、複数ブロックの参照に基づく露光制御データの出力である。
単一ブロックの参照によって生成される露光時間に対応する第一の制御信号の出力タイミングに対し、複数一ブロックの参照によって生成される露光時間に対応する第二の制御信号の出力タイミングは遅い。
【０１３５】
例えば、被写体の明るさが変化しない場合、単一ブロックの参照に基づく露光制御データの出力、すなわち、図２３に示す第一記憶部２４５だけを利用した処理、すなわち先に図１２を参照して説明したと同様の処理とする。
一方、被写体の明るさが変化し、次回の露光で飽和の発生が予想される場合複数ブロックの参照に基づく露光制御データ、すなわち、図２３に示す第二記憶部２４６から第二ラッチ行番号２４２のタイミングでデータをラッチし、この複数ブロックに基づいて算出した露光時間によって露光制御を行う。
【０１３６】
これらの制御により、例えば動被写体の存在等により連続撮影画像フレームの同一画素領域の輝度が変化するような場合でも、複数ブロックの参照情報に基づく輝度算出および露光時間設定が可能となり、適切な露光制御が実現される。
【０１３７】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、
前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有し、
前記制御部は、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する撮像装置。
【０１３９】
（２）前記制御部は、先行撮影画像の行単位または複数行単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、前記撮像素子は、前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して行単位または複数行単位の露光時間制御に基づく画像取得を実行する前記（１）に記載の撮像装置。
（３）前記制御部は、先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した露光時間制御データを生成して前記撮像素子に出力し、前記撮像素子は、前記露光時間制御データを適用した露光時間制御に基づく画像取得を実行する前記（１）または（２）に記載の撮像装置。
【０１４０】
（４）前記制御部は、先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した第１の露光時間制御データと、複数ブロックを参照して算出した第２の露光時間制御データを生成して前記撮像素子に出力し、前記撮像素子は、前記第１の露光時間制御データ、または前記第２の露光時間制御データのいずれかを選択的に適用した露光時間制御に基づく画像取得を実行する前記（１）〜（３）いずれかに記載の撮像装置。
【０１４１】
（５）前記撮像素子は、前記第１の露光時間制御データと第２の露光時間制御データの選択適用による画像取得を行う際に、選択適用する露光時間の設定のための画素蓄積電荷のリセット処理を実行する前記（４）に記載の撮像装置。
（６）前記制御部は、先行撮影画像である画像フレームＮの一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、前記撮像素子は、前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して、前記画像フレームＮの次の連続撮影画像である画像フレームＮ＋１に対して画素領域単位の露光時間制御を実行する前記（１）〜（５）いずれかに記載の撮像装置。
（７）前記撮像装置は、さらに、長時間露光画素と短時間露光画素の各画素情報に基づく高ダイナミックレンジ画像を生成する高ダイナミックレンジ処理部を有する前記（１）〜（６）いずれかに記載の撮像装置。
【０１４２】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１４３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４５】
以上、説明したように、本開示の一実施例の構成によれば、画像の画素領域ごとに露光時間を制御する構成において、より遅延の少ない露光時間制御処理が実現される。
具体的には、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有する。制御部は、先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して撮像素子に出力する。撮像素子は、制御部から、領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する。
この領域単位の露光時間制御情報を順次適用した処理を行うことでより遅延の少ない露光時間制御処理が実現される。
【符号の説明】
【０１４６】
１０１ 撮像素子
１０２ 垂直走査回路
１０３ 水平走査回路
１０４ 画素
１１１ 水平リセット線
１１２ 水平選択線
１１３ 垂直信号線
１１４ 信号出力線
２０１ 光学レンズ
２０２ 撮像素子
２０２ａ 露光時間制御部
２０２ｂ 垂直走査回路
２０２ｃ 水平走査回路
２０２ｄ 画素
２０２ｅ 水平リセット線
２０２ｆ 水平選択線
２０２ｇ 垂直信号線
２０２ｈ 信号出力線
２０３ 撮像画像
２０４ 高ダイナミックレンジ処理部
２０５ 高ダイナミックレンジ画像
２０６ 信号処理部
２０７ 出力画像
２０８ 制御部
２０９ 制御データ
２１１ 輝度算出部
２１２ ブロック輝度統計量算出部
２１３ ブロック露光時間算出部
２２１ デコーダ
２２２ 露光時間データ
２２３ タイミング生成部
２２４ 垂直同期信号
２２５ 水平同期信号
２２６ 行カウンタ
２２７ 露光時間ラッチ部
２３２ ラッチ行番号
２３３ 一致検出部
２３４ 記憶部
２４３ 一致検出部
２４４ 一致検出部
２４５ 第一記憶部
２４６ 第二記憶部
２４７ 一致検出部
２４９ セレクタ
【特許請求の範囲】
【請求項１】
撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、
前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有し、
前記制御部は、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する撮像装置。
【請求項２】
前記制御部は、
先行撮影画像の行単位または複数行単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して行単位または複数行単位の露光時間制御に基づく画像取得を実行する請求項１に記載の撮像装置。
【請求項３】
前記制御部は、
先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した露光時間制御データを生成して前記撮像素子に出力し、
前記撮像素子は、
前記露光時間制御データを適用した露光時間制御に基づく画像取得を実行する請求項１に記載の撮像装置。
【請求項４】
前記制御部は、
先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した第１の露光時間制御データと、
複数ブロックを参照して算出した第２の露光時間制御データを生成して前記撮像素子に出力し、
前記撮像素子は、
前記第１の露光時間制御データ、または前記第２の露光時間制御データのいずれかを選択的に適用した露光時間制御に基づく画像取得を実行する請求項１に記載の撮像装置。
【請求項５】
前記撮像素子は、
前記第１の露光時間制御データと第２の露光時間制御データの選択適用による画像取得を行う際に、選択適用する露光時間の設定のための画素蓄積電荷のリセット処理を実行する請求項４に記載の撮像装置。
【請求項６】
前記制御部は、
先行撮影画像である画像フレームＮの一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して、前記画像フレームＮの次の連続撮影画像である画像フレームＮ＋１に対して画素領域単位の露光時間制御を実行する請求項１に記載の撮像装置。
【請求項７】
前記撮像装置は、さらに、
長時間露光画素と短時間露光画素の各画素情報に基づく高ダイナミックレンジ画像を生成する高ダイナミックレンジ処理部を有する請求項１に記載の撮像装置。
【請求項８】
撮像装置において実行する撮像装置制御方法であり、
制御部が、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御ステップと、
撮像素子が、前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像ステップを実行し、
前記制御ステップは、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力するステップであり、
前記撮像ステップは、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行するステップである撮像装置制御方法。
【請求項９】
撮像装置において撮像制御処理を実行させるプログラムであり、
制御部に、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成させる制御ステップと、
撮像素子に、前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行わせる撮像ステップを実行させ、
前記制御ステップにおいて、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力させ、
前記撮像ステップにおいて、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行させるプログラム。
【請求項１】
撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御部と、
前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像素子を有し、
前記制御部は、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行する撮像装置。
【請求項２】
前記制御部は、
先行撮影画像の行単位または複数行単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して行単位または複数行単位の露光時間制御に基づく画像取得を実行する請求項１に記載の撮像装置。
【請求項３】
前記制御部は、
先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した露光時間制御データを生成して前記撮像素子に出力し、
前記撮像素子は、
前記露光時間制御データを適用した露光時間制御に基づく画像取得を実行する請求項１に記載の撮像装置。
【請求項４】
前記制御部は、
先行撮影画像の輝度情報取得単位である画素領域としてのブロックを１つのみ参照して算出した第１の露光時間制御データと、
複数ブロックを参照して算出した第２の露光時間制御データを生成して前記撮像素子に出力し、
前記撮像素子は、
前記第１の露光時間制御データ、または前記第２の露光時間制御データのいずれかを選択的に適用した露光時間制御に基づく画像取得を実行する請求項１に記載の撮像装置。
【請求項５】
前記撮像素子は、
前記第１の露光時間制御データと第２の露光時間制御データの選択適用による画像取得を行う際に、選択適用する露光時間の設定のための画素蓄積電荷のリセット処理を実行する請求項４に記載の撮像装置。
【請求項６】
前記制御部は、
先行撮影画像である画像フレームＮの一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力し、
前記撮像素子は、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して、前記画像フレームＮの次の連続撮影画像である画像フレームＮ＋１に対して画素領域単位の露光時間制御を実行する請求項１に記載の撮像装置。
【請求項７】
前記撮像装置は、さらに、
長時間露光画素と短時間露光画素の各画素情報に基づく高ダイナミックレンジ画像を生成する高ダイナミックレンジ処理部を有する請求項１に記載の撮像装置。
【請求項８】
撮像装置において実行する撮像装置制御方法であり、
制御部が、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成する制御ステップと、
撮像素子が、前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行う撮像ステップを実行し、
前記制御ステップは、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力するステップであり、
前記撮像ステップは、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行するステップである撮像装置制御方法。
【請求項９】
撮像装置において撮像制御処理を実行させるプログラムであり、
制御部に、撮像素子の画素領域単位の露光時間を設定した露光時間制御データを生成させる制御ステップと、
撮像素子に、前記露光時間制御データを入力して画素領域単位の露光時間制御に基づく画像取得を行わせる撮像ステップを実行させ、
前記制御ステップにおいて、
先行撮影画像の一部の画素領域単位の輝度情報に基づく領域単位の露光時間制御データを、シーケンシャルに順次生成して前記撮像素子に出力させ、
前記撮像ステップにおいて、
前記制御部から、前記領域単位の露光時間制御データを入力し、入力する露光時間制御データを、順次、シーケンシャルに適用して画素領域単位の露光時間制御に基づく画像取得を実行させるプログラム。
【図１】
【図２】
【図５】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２３】
【図３】
【図４】
【図７】
【図１０】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２】
【図５】
【図６】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２３】
【図３】
【図４】
【図７】
【図１０】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【公開番号】特開２０１３−５０１７（Ｐ２０１３−５０１７Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３１１１６（Ｐ２０１１−１３１１１６）
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]