撮影装置及び撮影パラメータ決定方法
【課題】被写界の物体を識別し、各物体に応じた複数の初期撮影パラメータを合成して撮影パラメータを得ることで、被写界に応じた最適な撮影パラメータを動的に算出して決定し、最適な撮影を簡単に実現する。
【解決手段】被写界を撮影する撮影手段と、前記撮影手段が撮影した画像から前記被写界に含まれる物体を識別する物体識別手段と、前記物体識別手段によって識別された各物体の中心を含む最小領域における各初期撮影パラメータを合成して前記撮影手段の撮影に用いる撮影パラメータを動的に算出して決定するパラメータ決定手段とを具備したことを特徴とする。
【解決手段】被写界を撮影する撮影手段と、前記撮影手段が撮影した画像から前記被写界に含まれる物体を識別する物体識別手段と、前記物体識別手段によって識別された各物体の中心を含む最小領域における各初期撮影パラメータを合成して前記撮影手段の撮影に用いる撮影パラメータを動的に算出して決定するパラメータ決定手段とを具備したことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露出を自動的に決定するデジタルカメラ等に好適な撮影装置及び撮影パラメータ決定方法に関する。
【背景技術】
【０００２】
従来、撮影装置においては、撮影時の種々の設定が自動化されたものがある。例えば、デジタルカメラ等には、ピント合わせを自動化したＡＦ機能や、露出を自動化した自動露出（ＡＥ）機能を搭載したものや、ホワイトバランス（ＷＢ）調整機能を搭載したものがある。
【０００３】
露出調整はレンズの絞りとシャッタ速度とを変化させることで行われる。最適な露出を得るための絞りとシャッタ速度とは様々な値を取り得る。デジタルカメラ等では、絞りとシャッタ速度の関係を規定したプログラム線図を用いて、最適露出を与える絞り及びシャッタ速度を決定している。
【０００４】
しかし、絞りは被写界深度に影響を与え、シャッタ速度は手ブレ等に影響を与えることから、近年、デジタルカメラ等においては、被写界（被写体及びその背景）に応じた複数のプログラム線図を用意し、最適なプログラム線図を選択して撮影を行うようになっている。
【０００５】
例えば、風景モード、スポーツモード、ポートレートモード、接写モード、標準モード等の各撮影モード用のプログラム線図を用意し、被写界に応じた撮影モードを選択することで、よりよい撮影を可能にしている。
【０００６】
更に、撮影モードの選択を自動化したデジタルカメラも提案されている。例えば、特許文献１においては、被写界を長方形の領域に分け、各領域における輝度の積分値を積算し、フレーム間での動き量が一定の閾値を越えた場合に、撮影モードをスポーツモードに設定するデジタルカメラが開示されている。
【０００７】
また、特許文献２においては、撮影可能な画角内の各注目被写体までの距離を計測し、計測した全ての注目被写体のぼけ量が所定の値以内になるように、焦点位置及び絞りの口径を調整する撮影装置が提案されている。
【特許文献１】特開２００３−３１９２４１号公報
【特許文献２】特開２００７−１９９１７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の提案では、スポーツシーンか否かのみの判定であり、また、被写界に複数の被写体があった場合の考慮はされておらず、必ずしも最適な撮影が行われていないことがあるといった問題があった。
【０００９】
また、特許文献２の提案では、ボケ量を決定するためにユーザが測距操作を少なくとも１回行う必要があり、操作が煩雑であるという問題があった。
【００１０】
本発明は、被写界の内容を自動的に特定すると共に、既存の撮影パラメータを利用し、被写界に応じて撮影パラメータを動的に変更することで、最適な撮影を簡単に行うことができる撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る撮影装置は、被写界を撮影する撮影手段と、前記撮影手段が撮影した画像から前記被写界に含まれる物体を識別する物体識別手段と、前記物体識別手段によって識別された各物体の中心を含む最初の領域毎における各初期撮影パラメータを合成して前記撮影手段の撮影に用いる撮影パラメータを動的に算出し決定するパラメータ決定手段とを具備したことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被写界の内容を自動的に特定すると共に、既存の撮影パラメータを利用し、被写界に応じて撮影パラメータを動的に変更することで、最適な撮影を簡単に行うことができるという効果を有する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る撮影装置を示すブロック図である。図１では、全てのブロックは図示されていない。例えば、タイミング発生器(SG; Synchronize Generator)も図示されていないが含まれており、そのタイミング発生器のタイミング信号に基づく水平、垂直信号等を基準に、全てのブロックは動作する。さらに、画像切り出しのためのバッファメモリも含まれている。さらにまた、3次元ノイズ低減回路等も図示されていないが含まれている。
【００１４】
図１において、ＣＰＵ等の制御部１０は、装置内の各部の動作制御を行う。記憶部９は、制御部１０の制御処理に必要な各種データを一時記憶するもので、たとえばＤＤＲメモリやそのコントローラで実現される。制御部１０はバス２０を介して各部を制御すると共に、各部のバス２０を介したデータ転送を制御する。
【００１５】
撮影部１１は、図示しないセンサ、レンズ、レンズ及びピント制御のためのモータ等を備えており、被写界の光学像を電気信号に変換してデータ入力処理部１２に出力する。撮影時のパラメータは、後述する撮影モード設定部３７からデータ入力処理部１２を介して伝達される。データ入力処理部１２は、撮影部１１からの電気信号を処理して画像信号を出力すると共に、撮影部１１の各種モータの駆動制御によって絞り及びシャッタ速度を調整することができるようになっている。絞り及びシャッタ速度のパラメータの一部は後述する撮影モード設定部３７からバス２０を介して伝達される。
【００１６】
データ入力処理部１２からの画像信号はデータ前処理部１３に与えられる。データ前処理部１３は、データ入力処理部１２からの画像信号に対して、センサの欠陥画素補正、ノイズ低減フィルタ処理、画素補完（デモザイキング）、ＲＧＢ空間からＹＵＶ空間への座標変換、ＡＥ、ＡＦ，ＷＢ調整用のデータ積算などを行う。データ前処理部１３からの画像信号は表示のために表示／音声制御部１４に供給されると共に（音声データの処理ブロックも図示されていない）、記録のために記録制御部１７にも供給される。
【００１７】
表示／音声制御部１４は、データ前処理部１３からの画像信号に対して、表示のための画像処理を行って表示部１５に出力する。表示部１５は例えば、ＬＣＤによって構成されており、表示/音声制御部１４からの画像信号に基づく静止画像又は動画像を表示する。後述する記録制御部からのデータを外部に出力する外部出力回路も含まれる（表示部１５やスピーカ１６のアナログ化する前のデジタルデータは外部出力するデータとは異なる）。更に、表示/音声制御部１４は、図示しないＯＳＤ（オンスクリーンディスプレイ）回路を有しており、表示部１５にオンスクリーン表示を行うことができるようになっている。
【００１８】
なお、表示/音声制御部１４には、図示しないマイクからの音声信号も与えられており、表示/音声制御部１４は、入力された音声信号に所定の音声処理を施してスピーカ１６に出力する。スピーカ１６は、マイクからの音声信号に基づく音響を出力する。
【００１９】
記録制御部１７は、データ前処理部１３からの画像信号に対して、記録のための画像処理、例えば画像圧縮処理を行って画像記憶部１８及び外部記録媒体１９に出力する。ここには図示していないが、画像処理圧縮を行うためには、専用の回路も存在する。画像記憶部１８は例えば内蔵ハードディスク（ＨＤＤ）によって構成されており、記録制御部１７からの画像信号を記憶する。また、外部記録媒体１９は、例えば、ＳＤメモリ等の記録媒体によって構成されており、記録制御部１７からの画像信号を記憶する。
【００２０】
本実施の形態においては、被写界に応じた撮影パラメータを設定するために、被写界の内容を特定するための回路を有する。被写界の画像認識の前処理のために、エッジ強調回路３１が採用される。データ前処理部１３からのデータはエッジ強調回路３１に供給され、エッジ強調回路３１は、撮影によって得られた画像に対するエッジ強調処理を行う。処理はフレーム毎に行われ、本例では記憶部９にアクセスがされるが、ＤＤＲメモリを用いて専用の記憶部としてもよい。エッジ強調回路３１の出力は物体識別回路３２に与えられる。
【００２１】
エッジ強調回路３１によって、被写界の物体の輪郭が強調されて、物体の輪郭による物体の識別が容易となる。物体情報/パラメータ・データベース３３は、物体の輪郭に関する特徴情報を記憶する。物体情報/パラメータ・データベース３３に特徴情報が記憶される物体としては、人物だけでなく、他種類の動物、植物、建造物、風景等が含まれる。物体識別回路３２は、エッジ強調回路３１からの画像情報と物体情報/パラメータ・データベース３３に記憶されている特徴情報との比較によって、被写界内の各物体を特定する。なお、物体情報/パラメータ・データベース３３は、画像記憶部１８又は外部記録媒体１９と兼用されていてもよい。
【００２２】
物体識別回路３２は、被写界の画像認識によって識別した各物体の情報及び被写界内での物体のサイズの情報を物体占有率計算回路３４に出力する。物体占有率計算回路３４は、被写界内の各物体について被写界全体に占める面積の割合（物体占有率）を求めて、物体に関する情報と共にパラメータ決定回路３５に出力する。
【００２３】
パラメータ決定回路３５は、既存の撮影パラメータ（以下、初期撮影パラメータという）を利用して、被写界全体の内容に応じて動的に撮影パラメータを算出して決定することによって取得する。初期撮影パラメータは物体情報/パラメータ・データベース３３に記憶されている。物体情報/パラメータ・データベース３３は、初期撮影パラメータとして、各種撮影モードに対応したパラメータを記憶している。例えば、撮影モードとして、人物モード、風景モード、スポーツモード、接写モード、標準モード等がある。物体情報／パラメータ・データベース３３は、物体の種類と撮影モードとの対応関係の情報を保持すると共に、各撮影モードについて物体の色や大きさ等の状況を統計的に考慮した撮影パラメータをデータベース化して保持する。
【００２４】
パラメータ決定回路３５は、物体占有率計算回路３４から被写界内の各物体の情報及びその物体占有率の情報が与えられる。これらの情報に基づいて、パラメータ決定回路３５は、各撮影モードの初期撮影パラメータに適宜の重み付けを付して合成することで、被写界に対応した撮影パラメータを動的に算出して決定することによって得る。
【００２５】
即ち、パラメータ決定回路３５は、先ず、被写界内の物体の種類に基づいて、撮影パラメータの合成に用いる撮影モードの初期撮影パラメータを決定する。例えば、被写界内の物体として人及び山が認識された場合には、パラメータ決定回路３５は、人物モードの初期撮影パラメータ及び風景モードの初期撮影パラメータの２つを用いる。そして、パラメータ決定回路３５は、被写界内の各物体の物体占有率に応じて、既存の撮影モードの初期撮影パラメータに重み付けを付す。例えば、被写界内の人及び山の物体占有率が、夫々５０％，２０％であった場合には、人物モードの初期撮影パラメータの重みを比較的大きくし風景モードの初期撮影パラメータの重みを比較的小さくして合成する。
【００２６】
更に、パラメータ決定回路３５は、被写界内の各物体の被写界内での位置に応じて合成の重みを変化させてもよい。例えば、物体が被写界の中央付近に位置する場合には、その物体に適した初期撮影パラメータの重みを十分に大きくするようにしてもよい。更に、パラメータ決定回路３５は、被写界の中央の物体のみによって、撮影パラメータを決定してもよい。
【００２７】
また、パラメータ決定回路３５は、決定した撮影パラメータを物体情報/パラメータ・データベース３３に与えて、既存の初期撮影パラメータを更新する学習機能を有していてもよい。
【００２８】
また、パラメータ決定回路３５は、物体占有率が十分に小さい雨粒、チリ、埃等（撮影部１１のレンズについたもの）については、物体として扱わないようにすることもできる。
【００２９】
パラメータ決定回路３５は、決定した撮影パラメータを入力変換回路３６を介して撮影モード設定部３７に供給する。撮影モード設定部３７は、撮影パラメータに応じて絞り及びシャッタ速度を制御するための信号を発生する。撮影モード設定部３７の設定によって、データ入力処理部１２において、絞り及びシャッタ速度が調整される。入力変換回路３６は、撮影パラメータを撮影モード設定部３７において処理可能なデータに変換する。
【００３０】
ユーザインターフェース回路（以下、ユーザＩＦ回路と略す）３８は、ユーザが操作するボタン等を含むインターフェースの回路であり、後述する通常のカメラ処理におけるマニュアル設定の設定値を処理する回路を含む。ユーザは、ボタン等を操作することによって、設定値の切り換えを行うことができる。
【００３１】
制御部１０は、パラメータ決定回路３５によって決定された撮影パラメータを用いて撮影された動画像又は静止画像を表示部１５に表示させることができる。また、制御部１０は、撮影パラメータに関する情報をオンスクリーン表示によって表示部１５に表示させることも可能である。この場合において、ユーザによって撮影パラメータを再設定するための指示操作が図示しない操作部に対して行われた場合には、制御部１０は、撮影パラメータを再設定する再設定モードの実行を各部に指示することができるようになっている。
【００３２】
次に、このように構成された本実施の形態の動作について図２乃至図７を参照して説明する。図２は本実施の形態の動作を説明するためのフローチャートである。図３は物体の認識の概念を示す説明図である。図４は被写界中で認識される物体と物体占有率とを説明するための説明図である。図５及び図６は撮影パラメータの求め方を説明するための図表である。図７は横軸にシャッタ速度をとり縦軸に絞り値をとって、撮影パラメータを示すプログラム線図であり、図７（ａ）は初期撮影パラメータを示し、図７（ｂ）は図７（ａ）の初期撮影パラメータと被写界の内容とに基づいて新たに設定された撮影パラメータを示している。
【００３３】
制御部１０は、図２のステップＳ１において、自動的に露出を決定するオートモードであるかユーザがマニュアル操作で露出を決定するユーザモードであるかを判定する。ユーザモードが設定されている場合には、制御部１０は処理をステップＳ２０に移行して、通常のカメラ処理を実施する。即ち、この場合には、絞り及びシャッタ速度は、図示しない操作部に対するユーザ操作に基づいて決定される。
【００３４】
いま、オートモードが設定されているものとする。この場合には、制御部１０は次のステップＳ２において、再設定モードであるか否かを判定する。再設定モードでない場合には、制御部１０は、処理をステップＳ６に移行して物体の認識処理を実行させる。
【００３５】
エッジ強調回路３１は、撮影された画像のエッジを強調する。物体識別回路３２は、被写界中の物体のうちの１つを選択する（ステップＳ６）。図３に示すように、物体識別回路３２は、輪郭が強調された絵柄４１から、物体が占める領域（破線）を特定する。この物体の占有領域は、物体の中心点Ｃを含む最小の長方形となるように構成する。さらに、この長方形内における物体について、物体情報/パラメータ・データベース３３に記憶された特徴情報との比較を行い、物体識別回路３２は、識別対象の物体が何であるかを識別する（ステップＳ７）。この操作は、各領域４２に行われる（ステップＳ１０）。物体識別回路３は、識別した物体に関する情報、とその長方形の面積（あるいは、縦、横の長さや対角線長などの面積を特定できる情報でも良い）を物体占有率計算回路３４に出力する。
【００３６】
なお、撮影パラメータの算出に、識別対象の物体の被写界中における位置の情報を用いる場合には、物体識別回路３２は、識別した物体の座標情報も求めて物体占有率計算回路３４に出力する。これは、一般に、撮りたい物体ほど被写界の中心に存在するよう撮影装置のアングルを設定するからである。被写界の中心領域は、たとえば、被写界の全面積の1/4を構成する長方形を、被写界の中心に配置したものである（図４の領域４８）。物体がこの領域に入っている割合も位置座標から容易に算出でき、これに応じて重み自身の割合を変えても良い。物体占有率計算回路３４は、識別された物体が被写界全体に占める面積の割合を求める（ステップＳ８）。物体識別回路３２は、求めた物体の情報、物体占有率及び座標情報をパラメータ決定回路３５に出力する。
【００３７】
ステップＳ９において、パラメータ決定回路３５は、撮影パラメータの算出のための重みを決定する。例えば、図４に示すように、被写界４５中に２つの物体４６，４７が存在するものとする。物体４６は「花」であり、物体４７は「犬」であるものとする。図４の例では、物体４６は物体４７に比べて十分に大きな物体占有率を有する。従って、この場合には、パラメータ決定回路３５は、物体４６の花の撮影に適した撮影モードの初期撮影パラメータに対して比較的大きな重みを付す。逆に、パラメータ決定回路３５は、物体４７の犬の撮影に適した撮影モードの初期撮影パラメータに対しては比較的小さな重みを付す。同例において、識別対象の物体の被写界中における位置の情報を用いる場合のパラメータの寄与は、犬については（占有面積は小さいが、）被写界の中心にいる割合が大きい分だけ大きくなり、花はその割合は小さい。この場合、パラメータは、たとえば、占有率（領域４７、４６の面積）と被写界の中心に位置する割合の積を用いて算出するようにしてもよい。
【００３８】
図５は被写界中の各物体に対して夫々採用される撮影モードを示している。なお、図５の括弧内は選択する撮影モードの判定に用いる情報を示している。図５に示すように、パラメータ決定回路３５は、被写界中の物体が人又は動物である場合には、人物モードの初期撮影パラメータを採用する。なお、この場合には、パラメータ決定回路３５は、物体の面積及び被写界の中央に位置するか否かに基づいて、人物モードを採用するか否かの判定を行ってもよい。
【００３９】
また、同様に、パラメータ決定回路３５は、物体が車、ラケット、ボール等の動きが速いものである場合には、スポーツモードの初期撮影パラメータを採用する。なお、この場合には、パラメータ決定回路３５は、物体の動き量に基づいて、スポーツモードを採用するか否かの判定を行ってもよい。
【００４０】
また、パラメータ決定回路３５は、物体が山、川、ビル等の風景である場合には、風景モードの初期撮影パラメータを採用する。また、パラメータ決定回路３５は、物体が夜景である場合には、夜景モードの初期撮影パラメータを採用する。この場合には、パラメータ決定回路３５は、物体のコントラストに基づいて、夜景モードを採用するか否かの判定を行ってもよい。
【００４１】
また、パラメータ決定回路３５は、物体が花、虫等である場合には、接写モードの初期撮影パラメータを採用する。この場合には、パラメータ決定回路３５は、物体の面積及び被写界の中央に位置するか否かに基づいて、接写モードを採用するか否かの判定を行ってもよい。
【００４２】
制御部１０は、次のステップＳ１０において、被写界中の全ての物体について、物体認識、合成に使用する初期撮影パラメータの選択及びその重み付け処理が終了したか否かを判定する。終了していない場合には、ステップＳ６〜Ｓ９の処理が繰返される。
【００４３】
全ての物体についての処理が終了すると、次のステップＳ１１において、パラメータ決定回路３５は撮影パラメータを決定する。いま、例えば、被写界中の各物体に対して、図６に示す識別結果が得られたものとする。即ち、図６に示す被写界は、「人物１，２」、「山」及び「ビル」が含まれている。「人物１」は、被写界の中央に位置し、物体占有率は５０％である。パラメータ決定回路３５は、この「人物１」に対して、人物モードの初期撮影パラメータを適用して重みを２倍に設定する。また、「山」は、被写界の全体に位置し、物体占有率は２０％である。パラメータ決定回路３５は、この「山」に対して、風景モードの初期撮影パラメータを適用して重みを１倍に設定する。また、「ビル」は、被写界の端に位置し、物体占有率は１０％であり、「人物２」は、被写界の端に位置し、物体占有率は２０％である。パラメータ決定回路３５は、これらの「ビル」、「人物２」に対して、夫々風景モード、人物モードの初期撮影パラメータを適用して重みを１倍に設定する。このように、図６の例では、中央に位置する人物をよりきれいに撮影するために、人物モードのパラメータの寄与が大きく設定されている。この例では、被写界の中心にいる場合は単純に2倍しているだけで、先ほどの図４（犬と花の例）のような中心にいる割合は考慮していないため、処理量は少なくてすむ。
【００４４】
パラメータ決定回路３５は、例えば、物体占有率に重みを付し、物体占有率に応じた割合で各モードの初期撮影パラメータを合成することで、撮影パラメータを得る。図６の例では、「人物１」については重みが２倍であるので、物体占有率が１００％であるものとして計算する。従って、「人物１，２」による人物モードの占有率は、合わせて１２０％である。即ち、図６の例の撮影パラメータは
撮影パラメータ＝｛（人物モードの撮影パラメータ*×１．２）＋（風景モードの撮影パラメータ*×０．３）｝／１．５ で与えられる。
なお、*印のパラメータは各プログラム線図から得られるものである。
【００４５】
いま、物体情報/パラメータ・データベース３３に図７（ａ）に示すプログラム線図によって示される撮影パラメータが記憶されているものとする。図７（ａ），（ｂ）は、横軸に沿って被写体の明るさが変化する例を示している。例えば、図７（ａ）の標準モードでは、比較的低輝度の被写体に対しては、絞りを開放に（絞り値を小さく）設定して、明るさが明るくなる程シャッタ速度を高速にする。図７（ａ）の標準モードでは、明るさが明るくなってシャッタ速度が手ぶれ限界になると、シャッタ速度の増加を抑えて絞り値を大きくするように変化させる。また、風景モードの場合には、風景にピントを合わせるために、絞りを絞り気味に（絞り値を大きく）設定する。
【００４６】
ここで、パラメータ決定回路３５が、被写界の物体の解析結果に基づいて、夜景モードの初期撮影パラメータの０％（背景）、風景モードの初期撮影パラメータの３５％（背景）、スポーツモードの初期撮影パラメータの５％及び人物モードの初期撮影パラメータの６０％（中心）を合成して撮影パラメータを新たに設定するものとする。この場合には、図７（ｂ）の実線太線に示すプログラム線図で与えられる撮影パラメータが得られる。
【００４７】
即ち、固定された既存のパラメータの１つを選択した場合には、人物モードの撮影パラメータが適用されて撮影が行われるのに対し、本実施の形態においては、人物モードの撮影パラメータと風景モードの撮影パラメータの両方を考慮したパラメータ設定が行われることになる。
【００４８】
こうして、より被写界の内容に応じた最適な撮影パラメータが得られる。
【００４９】
パラメータ決定回路３５が決定した撮影パラメータは、入力変換回路３６を介して撮影モード設定部３７に供給される。撮影モード設定部３７は新たに設定された撮影パラメータに基づいてデータ入力処理部１２を制御する。これにより、パラメータ決定回路３５が決定した撮影パラメータに基づいた撮影が行われる。制御部１０は、ステップＳ１２において、新たに設定された撮影パラメータに基づいて撮影された動画像又は静止画像を表示部１５に表示させる。
【００５０】
ユーザは表示部１５の表示を見ることで、新たに設定した撮影パラメータが適しているか否かを判断する。ユーザが、図示しない操作部によって、新たに設定した撮影パラメータが適していることを示す操作を行った場合には、処理をステップＳ１４に移行して、パラメータ決定回路３５は、決定した撮影パラメータを物体情報/パラメータ・データベース３３に与えて記録内容を更新させる。
【００５１】
ユーザが、図示しない操作部によって、新たに設定した撮影パラメータが適していないことを示す操作を行った場合には、再設定モードに移行して処理をステップＳ１に戻す。
【００５２】
この場合には、ステップＳ２から処理をステップＳ３に移行して、ユーザの調整操作があるか否かが判定される。再設定モードでは、ユーザが設定操作の一部をマニュアルで行う一部自動再設定モードと設定の全てを自動的に行う全自動再設定モードとがある。
【００５３】
ユーザの調整操作がない場合には、全自動再設定モードが設定される。全自動再設定モードでは、パラメータ決定回路３５は、予め定められたルールに従って、撮影パラメータの再設定を行う。例えば、パラメータ決定回路３５は、物体占有率、物体の位置に基づく重み付けの値を変化させる。以後、ステップＳ６〜Ｓ１１の処理を繰返すことで、新たな撮影パラメータが再設定される。
【００５４】
ユーザの調整操作があった場合には、一部自動再設定モードが設定される。一部自動再設定モードでは、ユーザは例えば絞り又はシャッタ速度の一方の値をマニュアル操作で設定することができる。一部自動再設定モードでは、ユーザによる設定値を変更することなく、他の撮影パラメータをパラメータ決定回路３５によって決定する。以後、ステップＳ６〜Ｓ１１の処理を繰返すことで、新たな撮影パラメータが再設定される。
【００５５】
このように本実施の形態においては、物体の特徴情報を記憶するデータベースを用いて被写界中の物体を特定すると共に、被写界中の物体の種類、位置及びサイズに基づいて、各物体に対応するモード及びその重みを設定して、各モードの合成によって新たな撮影パラメータを求める。これにより、被写界の内容に応じた最適な撮影パラメータを動的に得ることができ、ユーザの煩雑な操作を必要とすることなく、最適な撮影が可能である。また、全自動再設定モード及び半自動再設定モードを備えており、ユーザの設定操作を撮影パラメータのデータベースに反映することで、よりユーザの嗜好性を反映することができる。
【００５６】
このようにデータベースを書き直すことにより、ユーザの嗜好を反映させることができる。例えば、同様の被写界については、以前の再設定時と同様の撮影パラメータが採用されることになり、ユーザの希望する撮影パラメータを用いた撮影が可能となる。
【００５７】
なお、上記実施の形態においては、物体占有率によって重みを決定したが、物体占有率以外の情報によって重みを決定してもよい。例えば、輝度値、ヒストグラム、累積ヒストグラム等によって重みを決定するようにしてもよい。
【００５８】
また、上記実施の形態においては特徴情報及び初期撮影パラメータの記憶に内蔵した物体情報/パラメータ・データベース３３を用いる例について説明したが、外部の記録媒体を利用するようにしてもよい。
【００５９】
図８は本発明の第２の実施の形態を示すブロック図である。図８において図１と同一の構成要素には同一符号を付して説明を省略する。
【００６０】
本実施の形態は動画撮影時において連続するフレーム間で撮影画像に違和感が生じないように、各フレームの被写界から求めた撮影パラメータを平均化するものである。
【００６１】
本実施の形態は記憶部５１を付加した点が第１の実施の形態と異なる。パラメータ決定回路３５は各フレームの被写界の内容に基づいて決定した撮影パラメータを記憶部５１に与えて記憶させると共に、記憶部５１に記憶されている撮影パラメータを読み出して平均化する。パラメータ決定回路３５は、平均化した撮影パラメータを撮影時に用いるパラメータとして出力する。
【００６２】
他の構成及び作用は第１の実施の形態と同様である。
【００６３】
本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、動画撮影時においてフレーム間で違和感が生じることを防止することができる。
【００６４】
なお、第１の実施の形態において、時間軸フィルタ（３次元ノイズフィルタ）を採用し、撮影された画像データに対して、撮影画像について時間軸に対するフィルタ処理を施すことによって、第２の実施の形態におけるフレーム間の違和感をなくす処理を行うことができる。一般には第２の実施の別形態ではなく、併用できる。
【００６５】
なお、上記各実施の形態で説明した各機能は、ハードウェアを用いて構成してもよく、また、各機能を記載したプログラムをコンピュータに読み込ませてソフトウェアによって実現してもよい。また、各機能は、適宜ソフトウェア、ハードウェアのいずれかを選択して構成するものであってもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施の形態に係る撮影装置を示すブロック図。
【図２】実施の形態の動作を説明するためのフローチャート。
【図３】物体の認識の概念を示す説明図。
【図４】被写界中で認識される物体と物体占有率とを説明するための説明図。
【図５】撮影パラメータの求め方を説明するための図表。
【図６】撮影パラメータの求め方を説明するための図表。
【図７】横軸にシャッタ速度をとり縦軸に絞り値をとって、撮影パラメータを示すプログラム線図。
【図８】本発明の第２の実施の形態を示すブロック図。
【符号の説明】
【００６７】
１０…制御部、１１…撮影部、１２…データ入力処理部、１４…表示／音声制御部、１７…記録制御部、３１…エッジ強調回路、３２…物体識別回路、３３…物体情報／パラメータ・データベース、３４…物体占有率計算回路、３５…パラメータ決定回路。
【技術分野】
【０００１】
本発明は、露出を自動的に決定するデジタルカメラ等に好適な撮影装置及び撮影パラメータ決定方法に関する。
【背景技術】
【０００２】
従来、撮影装置においては、撮影時の種々の設定が自動化されたものがある。例えば、デジタルカメラ等には、ピント合わせを自動化したＡＦ機能や、露出を自動化した自動露出（ＡＥ）機能を搭載したものや、ホワイトバランス（ＷＢ）調整機能を搭載したものがある。
【０００３】
露出調整はレンズの絞りとシャッタ速度とを変化させることで行われる。最適な露出を得るための絞りとシャッタ速度とは様々な値を取り得る。デジタルカメラ等では、絞りとシャッタ速度の関係を規定したプログラム線図を用いて、最適露出を与える絞り及びシャッタ速度を決定している。
【０００４】
しかし、絞りは被写界深度に影響を与え、シャッタ速度は手ブレ等に影響を与えることから、近年、デジタルカメラ等においては、被写界（被写体及びその背景）に応じた複数のプログラム線図を用意し、最適なプログラム線図を選択して撮影を行うようになっている。
【０００５】
例えば、風景モード、スポーツモード、ポートレートモード、接写モード、標準モード等の各撮影モード用のプログラム線図を用意し、被写界に応じた撮影モードを選択することで、よりよい撮影を可能にしている。
【０００６】
更に、撮影モードの選択を自動化したデジタルカメラも提案されている。例えば、特許文献１においては、被写界を長方形の領域に分け、各領域における輝度の積分値を積算し、フレーム間での動き量が一定の閾値を越えた場合に、撮影モードをスポーツモードに設定するデジタルカメラが開示されている。
【０００７】
また、特許文献２においては、撮影可能な画角内の各注目被写体までの距離を計測し、計測した全ての注目被写体のぼけ量が所定の値以内になるように、焦点位置及び絞りの口径を調整する撮影装置が提案されている。
【特許文献１】特開２００３−３１９２４１号公報
【特許文献２】特開２００７−１９９１７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の提案では、スポーツシーンか否かのみの判定であり、また、被写界に複数の被写体があった場合の考慮はされておらず、必ずしも最適な撮影が行われていないことがあるといった問題があった。
【０００９】
また、特許文献２の提案では、ボケ量を決定するためにユーザが測距操作を少なくとも１回行う必要があり、操作が煩雑であるという問題があった。
【００１０】
本発明は、被写界の内容を自動的に特定すると共に、既存の撮影パラメータを利用し、被写界に応じて撮影パラメータを動的に変更することで、最適な撮影を簡単に行うことができる撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る撮影装置は、被写界を撮影する撮影手段と、前記撮影手段が撮影した画像から前記被写界に含まれる物体を識別する物体識別手段と、前記物体識別手段によって識別された各物体の中心を含む最初の領域毎における各初期撮影パラメータを合成して前記撮影手段の撮影に用いる撮影パラメータを動的に算出し決定するパラメータ決定手段とを具備したことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被写界の内容を自動的に特定すると共に、既存の撮影パラメータを利用し、被写界に応じて撮影パラメータを動的に変更することで、最適な撮影を簡単に行うことができるという効果を有する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る撮影装置を示すブロック図である。図１では、全てのブロックは図示されていない。例えば、タイミング発生器(SG; Synchronize Generator)も図示されていないが含まれており、そのタイミング発生器のタイミング信号に基づく水平、垂直信号等を基準に、全てのブロックは動作する。さらに、画像切り出しのためのバッファメモリも含まれている。さらにまた、3次元ノイズ低減回路等も図示されていないが含まれている。
【００１４】
図１において、ＣＰＵ等の制御部１０は、装置内の各部の動作制御を行う。記憶部９は、制御部１０の制御処理に必要な各種データを一時記憶するもので、たとえばＤＤＲメモリやそのコントローラで実現される。制御部１０はバス２０を介して各部を制御すると共に、各部のバス２０を介したデータ転送を制御する。
【００１５】
撮影部１１は、図示しないセンサ、レンズ、レンズ及びピント制御のためのモータ等を備えており、被写界の光学像を電気信号に変換してデータ入力処理部１２に出力する。撮影時のパラメータは、後述する撮影モード設定部３７からデータ入力処理部１２を介して伝達される。データ入力処理部１２は、撮影部１１からの電気信号を処理して画像信号を出力すると共に、撮影部１１の各種モータの駆動制御によって絞り及びシャッタ速度を調整することができるようになっている。絞り及びシャッタ速度のパラメータの一部は後述する撮影モード設定部３７からバス２０を介して伝達される。
【００１６】
データ入力処理部１２からの画像信号はデータ前処理部１３に与えられる。データ前処理部１３は、データ入力処理部１２からの画像信号に対して、センサの欠陥画素補正、ノイズ低減フィルタ処理、画素補完（デモザイキング）、ＲＧＢ空間からＹＵＶ空間への座標変換、ＡＥ、ＡＦ，ＷＢ調整用のデータ積算などを行う。データ前処理部１３からの画像信号は表示のために表示／音声制御部１４に供給されると共に（音声データの処理ブロックも図示されていない）、記録のために記録制御部１７にも供給される。
【００１７】
表示／音声制御部１４は、データ前処理部１３からの画像信号に対して、表示のための画像処理を行って表示部１５に出力する。表示部１５は例えば、ＬＣＤによって構成されており、表示/音声制御部１４からの画像信号に基づく静止画像又は動画像を表示する。後述する記録制御部からのデータを外部に出力する外部出力回路も含まれる（表示部１５やスピーカ１６のアナログ化する前のデジタルデータは外部出力するデータとは異なる）。更に、表示/音声制御部１４は、図示しないＯＳＤ（オンスクリーンディスプレイ）回路を有しており、表示部１５にオンスクリーン表示を行うことができるようになっている。
【００１８】
なお、表示/音声制御部１４には、図示しないマイクからの音声信号も与えられており、表示/音声制御部１４は、入力された音声信号に所定の音声処理を施してスピーカ１６に出力する。スピーカ１６は、マイクからの音声信号に基づく音響を出力する。
【００１９】
記録制御部１７は、データ前処理部１３からの画像信号に対して、記録のための画像処理、例えば画像圧縮処理を行って画像記憶部１８及び外部記録媒体１９に出力する。ここには図示していないが、画像処理圧縮を行うためには、専用の回路も存在する。画像記憶部１８は例えば内蔵ハードディスク（ＨＤＤ）によって構成されており、記録制御部１７からの画像信号を記憶する。また、外部記録媒体１９は、例えば、ＳＤメモリ等の記録媒体によって構成されており、記録制御部１７からの画像信号を記憶する。
【００２０】
本実施の形態においては、被写界に応じた撮影パラメータを設定するために、被写界の内容を特定するための回路を有する。被写界の画像認識の前処理のために、エッジ強調回路３１が採用される。データ前処理部１３からのデータはエッジ強調回路３１に供給され、エッジ強調回路３１は、撮影によって得られた画像に対するエッジ強調処理を行う。処理はフレーム毎に行われ、本例では記憶部９にアクセスがされるが、ＤＤＲメモリを用いて専用の記憶部としてもよい。エッジ強調回路３１の出力は物体識別回路３２に与えられる。
【００２１】
エッジ強調回路３１によって、被写界の物体の輪郭が強調されて、物体の輪郭による物体の識別が容易となる。物体情報/パラメータ・データベース３３は、物体の輪郭に関する特徴情報を記憶する。物体情報/パラメータ・データベース３３に特徴情報が記憶される物体としては、人物だけでなく、他種類の動物、植物、建造物、風景等が含まれる。物体識別回路３２は、エッジ強調回路３１からの画像情報と物体情報/パラメータ・データベース３３に記憶されている特徴情報との比較によって、被写界内の各物体を特定する。なお、物体情報/パラメータ・データベース３３は、画像記憶部１８又は外部記録媒体１９と兼用されていてもよい。
【００２２】
物体識別回路３２は、被写界の画像認識によって識別した各物体の情報及び被写界内での物体のサイズの情報を物体占有率計算回路３４に出力する。物体占有率計算回路３４は、被写界内の各物体について被写界全体に占める面積の割合（物体占有率）を求めて、物体に関する情報と共にパラメータ決定回路３５に出力する。
【００２３】
パラメータ決定回路３５は、既存の撮影パラメータ（以下、初期撮影パラメータという）を利用して、被写界全体の内容に応じて動的に撮影パラメータを算出して決定することによって取得する。初期撮影パラメータは物体情報/パラメータ・データベース３３に記憶されている。物体情報/パラメータ・データベース３３は、初期撮影パラメータとして、各種撮影モードに対応したパラメータを記憶している。例えば、撮影モードとして、人物モード、風景モード、スポーツモード、接写モード、標準モード等がある。物体情報／パラメータ・データベース３３は、物体の種類と撮影モードとの対応関係の情報を保持すると共に、各撮影モードについて物体の色や大きさ等の状況を統計的に考慮した撮影パラメータをデータベース化して保持する。
【００２４】
パラメータ決定回路３５は、物体占有率計算回路３４から被写界内の各物体の情報及びその物体占有率の情報が与えられる。これらの情報に基づいて、パラメータ決定回路３５は、各撮影モードの初期撮影パラメータに適宜の重み付けを付して合成することで、被写界に対応した撮影パラメータを動的に算出して決定することによって得る。
【００２５】
即ち、パラメータ決定回路３５は、先ず、被写界内の物体の種類に基づいて、撮影パラメータの合成に用いる撮影モードの初期撮影パラメータを決定する。例えば、被写界内の物体として人及び山が認識された場合には、パラメータ決定回路３５は、人物モードの初期撮影パラメータ及び風景モードの初期撮影パラメータの２つを用いる。そして、パラメータ決定回路３５は、被写界内の各物体の物体占有率に応じて、既存の撮影モードの初期撮影パラメータに重み付けを付す。例えば、被写界内の人及び山の物体占有率が、夫々５０％，２０％であった場合には、人物モードの初期撮影パラメータの重みを比較的大きくし風景モードの初期撮影パラメータの重みを比較的小さくして合成する。
【００２６】
更に、パラメータ決定回路３５は、被写界内の各物体の被写界内での位置に応じて合成の重みを変化させてもよい。例えば、物体が被写界の中央付近に位置する場合には、その物体に適した初期撮影パラメータの重みを十分に大きくするようにしてもよい。更に、パラメータ決定回路３５は、被写界の中央の物体のみによって、撮影パラメータを決定してもよい。
【００２７】
また、パラメータ決定回路３５は、決定した撮影パラメータを物体情報/パラメータ・データベース３３に与えて、既存の初期撮影パラメータを更新する学習機能を有していてもよい。
【００２８】
また、パラメータ決定回路３５は、物体占有率が十分に小さい雨粒、チリ、埃等（撮影部１１のレンズについたもの）については、物体として扱わないようにすることもできる。
【００２９】
パラメータ決定回路３５は、決定した撮影パラメータを入力変換回路３６を介して撮影モード設定部３７に供給する。撮影モード設定部３７は、撮影パラメータに応じて絞り及びシャッタ速度を制御するための信号を発生する。撮影モード設定部３７の設定によって、データ入力処理部１２において、絞り及びシャッタ速度が調整される。入力変換回路３６は、撮影パラメータを撮影モード設定部３７において処理可能なデータに変換する。
【００３０】
ユーザインターフェース回路（以下、ユーザＩＦ回路と略す）３８は、ユーザが操作するボタン等を含むインターフェースの回路であり、後述する通常のカメラ処理におけるマニュアル設定の設定値を処理する回路を含む。ユーザは、ボタン等を操作することによって、設定値の切り換えを行うことができる。
【００３１】
制御部１０は、パラメータ決定回路３５によって決定された撮影パラメータを用いて撮影された動画像又は静止画像を表示部１５に表示させることができる。また、制御部１０は、撮影パラメータに関する情報をオンスクリーン表示によって表示部１５に表示させることも可能である。この場合において、ユーザによって撮影パラメータを再設定するための指示操作が図示しない操作部に対して行われた場合には、制御部１０は、撮影パラメータを再設定する再設定モードの実行を各部に指示することができるようになっている。
【００３２】
次に、このように構成された本実施の形態の動作について図２乃至図７を参照して説明する。図２は本実施の形態の動作を説明するためのフローチャートである。図３は物体の認識の概念を示す説明図である。図４は被写界中で認識される物体と物体占有率とを説明するための説明図である。図５及び図６は撮影パラメータの求め方を説明するための図表である。図７は横軸にシャッタ速度をとり縦軸に絞り値をとって、撮影パラメータを示すプログラム線図であり、図７（ａ）は初期撮影パラメータを示し、図７（ｂ）は図７（ａ）の初期撮影パラメータと被写界の内容とに基づいて新たに設定された撮影パラメータを示している。
【００３３】
制御部１０は、図２のステップＳ１において、自動的に露出を決定するオートモードであるかユーザがマニュアル操作で露出を決定するユーザモードであるかを判定する。ユーザモードが設定されている場合には、制御部１０は処理をステップＳ２０に移行して、通常のカメラ処理を実施する。即ち、この場合には、絞り及びシャッタ速度は、図示しない操作部に対するユーザ操作に基づいて決定される。
【００３４】
いま、オートモードが設定されているものとする。この場合には、制御部１０は次のステップＳ２において、再設定モードであるか否かを判定する。再設定モードでない場合には、制御部１０は、処理をステップＳ６に移行して物体の認識処理を実行させる。
【００３５】
エッジ強調回路３１は、撮影された画像のエッジを強調する。物体識別回路３２は、被写界中の物体のうちの１つを選択する（ステップＳ６）。図３に示すように、物体識別回路３２は、輪郭が強調された絵柄４１から、物体が占める領域（破線）を特定する。この物体の占有領域は、物体の中心点Ｃを含む最小の長方形となるように構成する。さらに、この長方形内における物体について、物体情報/パラメータ・データベース３３に記憶された特徴情報との比較を行い、物体識別回路３２は、識別対象の物体が何であるかを識別する（ステップＳ７）。この操作は、各領域４２に行われる（ステップＳ１０）。物体識別回路３は、識別した物体に関する情報、とその長方形の面積（あるいは、縦、横の長さや対角線長などの面積を特定できる情報でも良い）を物体占有率計算回路３４に出力する。
【００３６】
なお、撮影パラメータの算出に、識別対象の物体の被写界中における位置の情報を用いる場合には、物体識別回路３２は、識別した物体の座標情報も求めて物体占有率計算回路３４に出力する。これは、一般に、撮りたい物体ほど被写界の中心に存在するよう撮影装置のアングルを設定するからである。被写界の中心領域は、たとえば、被写界の全面積の1/4を構成する長方形を、被写界の中心に配置したものである（図４の領域４８）。物体がこの領域に入っている割合も位置座標から容易に算出でき、これに応じて重み自身の割合を変えても良い。物体占有率計算回路３４は、識別された物体が被写界全体に占める面積の割合を求める（ステップＳ８）。物体識別回路３２は、求めた物体の情報、物体占有率及び座標情報をパラメータ決定回路３５に出力する。
【００３７】
ステップＳ９において、パラメータ決定回路３５は、撮影パラメータの算出のための重みを決定する。例えば、図４に示すように、被写界４５中に２つの物体４６，４７が存在するものとする。物体４６は「花」であり、物体４７は「犬」であるものとする。図４の例では、物体４６は物体４７に比べて十分に大きな物体占有率を有する。従って、この場合には、パラメータ決定回路３５は、物体４６の花の撮影に適した撮影モードの初期撮影パラメータに対して比較的大きな重みを付す。逆に、パラメータ決定回路３５は、物体４７の犬の撮影に適した撮影モードの初期撮影パラメータに対しては比較的小さな重みを付す。同例において、識別対象の物体の被写界中における位置の情報を用いる場合のパラメータの寄与は、犬については（占有面積は小さいが、）被写界の中心にいる割合が大きい分だけ大きくなり、花はその割合は小さい。この場合、パラメータは、たとえば、占有率（領域４７、４６の面積）と被写界の中心に位置する割合の積を用いて算出するようにしてもよい。
【００３８】
図５は被写界中の各物体に対して夫々採用される撮影モードを示している。なお、図５の括弧内は選択する撮影モードの判定に用いる情報を示している。図５に示すように、パラメータ決定回路３５は、被写界中の物体が人又は動物である場合には、人物モードの初期撮影パラメータを採用する。なお、この場合には、パラメータ決定回路３５は、物体の面積及び被写界の中央に位置するか否かに基づいて、人物モードを採用するか否かの判定を行ってもよい。
【００３９】
また、同様に、パラメータ決定回路３５は、物体が車、ラケット、ボール等の動きが速いものである場合には、スポーツモードの初期撮影パラメータを採用する。なお、この場合には、パラメータ決定回路３５は、物体の動き量に基づいて、スポーツモードを採用するか否かの判定を行ってもよい。
【００４０】
また、パラメータ決定回路３５は、物体が山、川、ビル等の風景である場合には、風景モードの初期撮影パラメータを採用する。また、パラメータ決定回路３５は、物体が夜景である場合には、夜景モードの初期撮影パラメータを採用する。この場合には、パラメータ決定回路３５は、物体のコントラストに基づいて、夜景モードを採用するか否かの判定を行ってもよい。
【００４１】
また、パラメータ決定回路３５は、物体が花、虫等である場合には、接写モードの初期撮影パラメータを採用する。この場合には、パラメータ決定回路３５は、物体の面積及び被写界の中央に位置するか否かに基づいて、接写モードを採用するか否かの判定を行ってもよい。
【００４２】
制御部１０は、次のステップＳ１０において、被写界中の全ての物体について、物体認識、合成に使用する初期撮影パラメータの選択及びその重み付け処理が終了したか否かを判定する。終了していない場合には、ステップＳ６〜Ｓ９の処理が繰返される。
【００４３】
全ての物体についての処理が終了すると、次のステップＳ１１において、パラメータ決定回路３５は撮影パラメータを決定する。いま、例えば、被写界中の各物体に対して、図６に示す識別結果が得られたものとする。即ち、図６に示す被写界は、「人物１，２」、「山」及び「ビル」が含まれている。「人物１」は、被写界の中央に位置し、物体占有率は５０％である。パラメータ決定回路３５は、この「人物１」に対して、人物モードの初期撮影パラメータを適用して重みを２倍に設定する。また、「山」は、被写界の全体に位置し、物体占有率は２０％である。パラメータ決定回路３５は、この「山」に対して、風景モードの初期撮影パラメータを適用して重みを１倍に設定する。また、「ビル」は、被写界の端に位置し、物体占有率は１０％であり、「人物２」は、被写界の端に位置し、物体占有率は２０％である。パラメータ決定回路３５は、これらの「ビル」、「人物２」に対して、夫々風景モード、人物モードの初期撮影パラメータを適用して重みを１倍に設定する。このように、図６の例では、中央に位置する人物をよりきれいに撮影するために、人物モードのパラメータの寄与が大きく設定されている。この例では、被写界の中心にいる場合は単純に2倍しているだけで、先ほどの図４（犬と花の例）のような中心にいる割合は考慮していないため、処理量は少なくてすむ。
【００４４】
パラメータ決定回路３５は、例えば、物体占有率に重みを付し、物体占有率に応じた割合で各モードの初期撮影パラメータを合成することで、撮影パラメータを得る。図６の例では、「人物１」については重みが２倍であるので、物体占有率が１００％であるものとして計算する。従って、「人物１，２」による人物モードの占有率は、合わせて１２０％である。即ち、図６の例の撮影パラメータは
撮影パラメータ＝｛（人物モードの撮影パラメータ*×１．２）＋（風景モードの撮影パラメータ*×０．３）｝／１．５ で与えられる。
なお、*印のパラメータは各プログラム線図から得られるものである。
【００４５】
いま、物体情報/パラメータ・データベース３３に図７（ａ）に示すプログラム線図によって示される撮影パラメータが記憶されているものとする。図７（ａ），（ｂ）は、横軸に沿って被写体の明るさが変化する例を示している。例えば、図７（ａ）の標準モードでは、比較的低輝度の被写体に対しては、絞りを開放に（絞り値を小さく）設定して、明るさが明るくなる程シャッタ速度を高速にする。図７（ａ）の標準モードでは、明るさが明るくなってシャッタ速度が手ぶれ限界になると、シャッタ速度の増加を抑えて絞り値を大きくするように変化させる。また、風景モードの場合には、風景にピントを合わせるために、絞りを絞り気味に（絞り値を大きく）設定する。
【００４６】
ここで、パラメータ決定回路３５が、被写界の物体の解析結果に基づいて、夜景モードの初期撮影パラメータの０％（背景）、風景モードの初期撮影パラメータの３５％（背景）、スポーツモードの初期撮影パラメータの５％及び人物モードの初期撮影パラメータの６０％（中心）を合成して撮影パラメータを新たに設定するものとする。この場合には、図７（ｂ）の実線太線に示すプログラム線図で与えられる撮影パラメータが得られる。
【００４７】
即ち、固定された既存のパラメータの１つを選択した場合には、人物モードの撮影パラメータが適用されて撮影が行われるのに対し、本実施の形態においては、人物モードの撮影パラメータと風景モードの撮影パラメータの両方を考慮したパラメータ設定が行われることになる。
【００４８】
こうして、より被写界の内容に応じた最適な撮影パラメータが得られる。
【００４９】
パラメータ決定回路３５が決定した撮影パラメータは、入力変換回路３６を介して撮影モード設定部３７に供給される。撮影モード設定部３７は新たに設定された撮影パラメータに基づいてデータ入力処理部１２を制御する。これにより、パラメータ決定回路３５が決定した撮影パラメータに基づいた撮影が行われる。制御部１０は、ステップＳ１２において、新たに設定された撮影パラメータに基づいて撮影された動画像又は静止画像を表示部１５に表示させる。
【００５０】
ユーザは表示部１５の表示を見ることで、新たに設定した撮影パラメータが適しているか否かを判断する。ユーザが、図示しない操作部によって、新たに設定した撮影パラメータが適していることを示す操作を行った場合には、処理をステップＳ１４に移行して、パラメータ決定回路３５は、決定した撮影パラメータを物体情報/パラメータ・データベース３３に与えて記録内容を更新させる。
【００５１】
ユーザが、図示しない操作部によって、新たに設定した撮影パラメータが適していないことを示す操作を行った場合には、再設定モードに移行して処理をステップＳ１に戻す。
【００５２】
この場合には、ステップＳ２から処理をステップＳ３に移行して、ユーザの調整操作があるか否かが判定される。再設定モードでは、ユーザが設定操作の一部をマニュアルで行う一部自動再設定モードと設定の全てを自動的に行う全自動再設定モードとがある。
【００５３】
ユーザの調整操作がない場合には、全自動再設定モードが設定される。全自動再設定モードでは、パラメータ決定回路３５は、予め定められたルールに従って、撮影パラメータの再設定を行う。例えば、パラメータ決定回路３５は、物体占有率、物体の位置に基づく重み付けの値を変化させる。以後、ステップＳ６〜Ｓ１１の処理を繰返すことで、新たな撮影パラメータが再設定される。
【００５４】
ユーザの調整操作があった場合には、一部自動再設定モードが設定される。一部自動再設定モードでは、ユーザは例えば絞り又はシャッタ速度の一方の値をマニュアル操作で設定することができる。一部自動再設定モードでは、ユーザによる設定値を変更することなく、他の撮影パラメータをパラメータ決定回路３５によって決定する。以後、ステップＳ６〜Ｓ１１の処理を繰返すことで、新たな撮影パラメータが再設定される。
【００５５】
このように本実施の形態においては、物体の特徴情報を記憶するデータベースを用いて被写界中の物体を特定すると共に、被写界中の物体の種類、位置及びサイズに基づいて、各物体に対応するモード及びその重みを設定して、各モードの合成によって新たな撮影パラメータを求める。これにより、被写界の内容に応じた最適な撮影パラメータを動的に得ることができ、ユーザの煩雑な操作を必要とすることなく、最適な撮影が可能である。また、全自動再設定モード及び半自動再設定モードを備えており、ユーザの設定操作を撮影パラメータのデータベースに反映することで、よりユーザの嗜好性を反映することができる。
【００５６】
このようにデータベースを書き直すことにより、ユーザの嗜好を反映させることができる。例えば、同様の被写界については、以前の再設定時と同様の撮影パラメータが採用されることになり、ユーザの希望する撮影パラメータを用いた撮影が可能となる。
【００５７】
なお、上記実施の形態においては、物体占有率によって重みを決定したが、物体占有率以外の情報によって重みを決定してもよい。例えば、輝度値、ヒストグラム、累積ヒストグラム等によって重みを決定するようにしてもよい。
【００５８】
また、上記実施の形態においては特徴情報及び初期撮影パラメータの記憶に内蔵した物体情報/パラメータ・データベース３３を用いる例について説明したが、外部の記録媒体を利用するようにしてもよい。
【００５９】
図８は本発明の第２の実施の形態を示すブロック図である。図８において図１と同一の構成要素には同一符号を付して説明を省略する。
【００６０】
本実施の形態は動画撮影時において連続するフレーム間で撮影画像に違和感が生じないように、各フレームの被写界から求めた撮影パラメータを平均化するものである。
【００６１】
本実施の形態は記憶部５１を付加した点が第１の実施の形態と異なる。パラメータ決定回路３５は各フレームの被写界の内容に基づいて決定した撮影パラメータを記憶部５１に与えて記憶させると共に、記憶部５１に記憶されている撮影パラメータを読み出して平均化する。パラメータ決定回路３５は、平均化した撮影パラメータを撮影時に用いるパラメータとして出力する。
【００６２】
他の構成及び作用は第１の実施の形態と同様である。
【００６３】
本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、動画撮影時においてフレーム間で違和感が生じることを防止することができる。
【００６４】
なお、第１の実施の形態において、時間軸フィルタ（３次元ノイズフィルタ）を採用し、撮影された画像データに対して、撮影画像について時間軸に対するフィルタ処理を施すことによって、第２の実施の形態におけるフレーム間の違和感をなくす処理を行うことができる。一般には第２の実施の別形態ではなく、併用できる。
【００６５】
なお、上記各実施の形態で説明した各機能は、ハードウェアを用いて構成してもよく、また、各機能を記載したプログラムをコンピュータに読み込ませてソフトウェアによって実現してもよい。また、各機能は、適宜ソフトウェア、ハードウェアのいずれかを選択して構成するものであってもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施の形態に係る撮影装置を示すブロック図。
【図２】実施の形態の動作を説明するためのフローチャート。
【図３】物体の認識の概念を示す説明図。
【図４】被写界中で認識される物体と物体占有率とを説明するための説明図。
【図５】撮影パラメータの求め方を説明するための図表。
【図６】撮影パラメータの求め方を説明するための図表。
【図７】横軸にシャッタ速度をとり縦軸に絞り値をとって、撮影パラメータを示すプログラム線図。
【図８】本発明の第２の実施の形態を示すブロック図。
【符号の説明】
【００６７】
１０…制御部、１１…撮影部、１２…データ入力処理部、１４…表示／音声制御部、１７…記録制御部、３１…エッジ強調回路、３２…物体識別回路、３３…物体情報／パラメータ・データベース、３４…物体占有率計算回路、３５…パラメータ決定回路。
【特許請求の範囲】
【請求項１】
被写界を撮影する撮影手段と、
前記撮影手段が撮影した画像から前記被写界に含まれる物体を識別する物体識別手段と、
前記物体識別手段によって識別された各物体の中心を含む最小の領域毎における各初期撮影パラメータを合成して前記撮影手段の撮影に用いる撮影パラメータを動的に算出し決定するパラメータ決定手段と
を具備したことを特徴とする撮影装置。
【請求項２】
前記パラメータ決定手段は、前記被写界中に各物体が占める面積に応じて、前記各初期撮影パラメータに重みを付して合成することで前記撮影パラメータを得ることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記パラメータ決定手段は、前記被写界中における各物体の位置に応じて、前記各初期撮影パラメータに重みを付して合成することで前記撮影パラメータを得ることを特徴とする請求項１又は２に記載の撮影装置。
【請求項４】
前記パラメータ決定手段は、前記各物体が前記被写界中の中央付近に位置する場合には、他の位置に位置する場合に比べて前記各初期撮影パラメータに付する重みを重くすることを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記パラメータ決定手段が求めた前記撮影パラメータによって前記初期撮影パラメータを更新する手段を具備したことを特徴とする請求項１に記載の撮影装置。
【請求項６】
前記初期撮影パラメータを記憶する記憶部を備えたことを特徴とする請求項１に記載の撮影装置。
【請求項７】
前記パラメータ決定手段が求めた前記撮影パラメータに基づいて前記撮影手段が撮影した被写界を表示する表示手段を具備したことを特徴とする請求項１に記載の撮影装置。
【請求項８】
撮影装置によって撮影された被写界の画像から物体識別回路が前記被写界に含まれる物体を画像認識処理によって識別する物体識別手順と、
パラメータ決定回路が、前記物体識別手順によって識別された各物体の中心を含む領域内における各初期撮影パラメータを合成演算して前記撮影装置の撮影に用いる撮影パラメータを動的に算出し決定するパラメータ決定手順と
を具備したことを特徴とする撮影パラメータ決定方法。
【請求項９】
前記パラメータ決定手順において求めた前記撮影パラメータに基づいて撮影された被写界を表示する表示手順と、
ユーザ操作に基づいて、前記各初期撮影パラメータに対する合成演算を再度行って前記撮影パラメータを得るパラメータ再決定手順と
を具備したことを特徴とする請求項８に記載の撮影パラメータ決定方法。
【請求項１０】
前記パラメータ再決定手順は、前記ユーザ操作に基づく一部の撮影パラメータ以外の撮影パラメータのみを求めることを特徴とする請求項９に記載の撮影パラメータ決定方法。
【請求項１】
被写界を撮影する撮影手段と、
前記撮影手段が撮影した画像から前記被写界に含まれる物体を識別する物体識別手段と、
前記物体識別手段によって識別された各物体の中心を含む最小の領域毎における各初期撮影パラメータを合成して前記撮影手段の撮影に用いる撮影パラメータを動的に算出し決定するパラメータ決定手段と
を具備したことを特徴とする撮影装置。
【請求項２】
前記パラメータ決定手段は、前記被写界中に各物体が占める面積に応じて、前記各初期撮影パラメータに重みを付して合成することで前記撮影パラメータを得ることを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記パラメータ決定手段は、前記被写界中における各物体の位置に応じて、前記各初期撮影パラメータに重みを付して合成することで前記撮影パラメータを得ることを特徴とする請求項１又は２に記載の撮影装置。
【請求項４】
前記パラメータ決定手段は、前記各物体が前記被写界中の中央付近に位置する場合には、他の位置に位置する場合に比べて前記各初期撮影パラメータに付する重みを重くすることを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記パラメータ決定手段が求めた前記撮影パラメータによって前記初期撮影パラメータを更新する手段を具備したことを特徴とする請求項１に記載の撮影装置。
【請求項６】
前記初期撮影パラメータを記憶する記憶部を備えたことを特徴とする請求項１に記載の撮影装置。
【請求項７】
前記パラメータ決定手段が求めた前記撮影パラメータに基づいて前記撮影手段が撮影した被写界を表示する表示手段を具備したことを特徴とする請求項１に記載の撮影装置。
【請求項８】
撮影装置によって撮影された被写界の画像から物体識別回路が前記被写界に含まれる物体を画像認識処理によって識別する物体識別手順と、
パラメータ決定回路が、前記物体識別手順によって識別された各物体の中心を含む領域内における各初期撮影パラメータを合成演算して前記撮影装置の撮影に用いる撮影パラメータを動的に算出し決定するパラメータ決定手順と
を具備したことを特徴とする撮影パラメータ決定方法。
【請求項９】
前記パラメータ決定手順において求めた前記撮影パラメータに基づいて撮影された被写界を表示する表示手順と、
ユーザ操作に基づいて、前記各初期撮影パラメータに対する合成演算を再度行って前記撮影パラメータを得るパラメータ再決定手順と
を具備したことを特徴とする請求項８に記載の撮影パラメータ決定方法。
【請求項１０】
前記パラメータ再決定手順は、前記ユーザ操作に基づく一部の撮影パラメータ以外の撮影パラメータのみを求めることを特徴とする請求項９に記載の撮影パラメータ決定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２８２３７（Ｐ２０１０−２８２３７Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００８−１８４１９２（Ｐ２００８−１８４１９２）
【出願日】平成２０年７月１５日（２００８．７．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２０年７月１５日（２００８．７．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]