画像処理装置及び画像処理装置の制御方法
【課題】 シーン検出による演算負荷を軽減しつつ効果的にシーンの検出を行うことを可能にした画像処理装置を提供すること。
【解決手段】 動画撮影中に複数シーンの中から２つ以上のシーンを自動で検出する手段と検出したシーンに応じて少なくとも色、ホワイトバランス、明るさのいずれかを含む１つ以上の画像処理機能をシーンに応じて適応的に制御するモードと固定するモードを選択する手段（１１５）と、検出シーンは少なくとも色とホワイトバランス、又は色と明るさを適応的に制御する第１のシーンと少なくとも色を適応的に制御するのに使用する第２のシーンを含み、
色を固定にするモードが選択されている場合は、第１のシーンの検出処理を所定のサイクルで実行し、
色を適応的に制御するモードが選択されている場合は、第１と第２のシーンの検出処理を色を固定するモードが選択されている場合よりも長いサイクルで実行することを特徴とする構成とした。
【解決手段】 動画撮影中に複数シーンの中から２つ以上のシーンを自動で検出する手段と検出したシーンに応じて少なくとも色、ホワイトバランス、明るさのいずれかを含む１つ以上の画像処理機能をシーンに応じて適応的に制御するモードと固定するモードを選択する手段（１１５）と、検出シーンは少なくとも色とホワイトバランス、又は色と明るさを適応的に制御する第１のシーンと少なくとも色を適応的に制御するのに使用する第２のシーンを含み、
色を固定にするモードが選択されている場合は、第１のシーンの検出処理を所定のサイクルで実行し、
色を適応的に制御するモードが選択されている場合は、第１と第２のシーンの検出処理を色を固定するモードが選択されている場合よりも長いサイクルで実行することを特徴とする構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影シーンを判定する画像処理装置及び画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
例えばビデオカメラのような撮像装置において撮影されるシーンには、ポートレート、風景、夜景など様々なシーンがある。従来、これらの撮影シーンで最適な映像を得る為に、撮影時の被写体情報をカメラが解析することで、どのようなシーンで撮影されたかを自動的に判別し、その判別したシーンに応じて最適な画像処理を施すものがある。
このようなシステムでは、例えば撮影時の情報から「青空シーン」、「自然の緑が多いシーン」、「夕景シーン」等を判定し、判定結果に応じて青空の青、自然の緑、夕景のオレンジの彩度を強調するといった処理が行われる。
【０００３】
しかしながらこれらのシーン判定処理を精度良く行うためには高度な演算処理が必要となり、複数のシーン判定処理を同時に行うと演算負荷が非常に重くなってしまう。
【０００４】
例えば、特許文献１では、夕焼け判定、色被り判定、コントラスト判定等の補正の要否判定を行い、補正が必要と判定されたときにのみ対応する項目の補正を行うという技術が開示されている。この技術によれば、所定の補正の要否判定を行い必要なときのみ補正を行うため、補正処理の負荷が削減される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２９８７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１では、補正の要否判定（即ちシーン検出処理）を行い必要な補正のみを行うようにしても、複数のシーン検出処理は同時に毎回行う必要があり、前述したような動画撮影中の演算負荷がかかるという問題は残ってしまう。
そこで、本発明の目的は、シーン検出による演算負荷を軽減しつつ効果的にシーンの検出を行うことを可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記課題に鑑み、本発明の画像処理装置は、請求項１に記載のとおり、複数フレームの画像データを取得する画像取得手段と、予め設定された複数のシーンの中から、前記画像データに該当するシーンを検出するシーン検出手段と、前記シーン検出手段による検出結果に応じて複数の画像取得条件または複数の画像処理条件の設定を自動で行う条件設定手段と、前記条件設定手段によって設定を自動で行う画像取得条件または画像処理条件を指定する指定手段と、を有し、前記条件設定手段によって設定される条件は、前記予め設定された複数のシーンの中の第１のシーン、第２のシーン、第３のシーンそれぞれで固有の設定がなされる第１の条件と、前記第１のシーンでは他のシーンとは異なる固有の設定がなされ、前記第２のシーン及び第３のシーンでは同じ設定がなされる第２の条件と、を含み、前記シーン検出手段は、前記指定手段によって前記第１の条件が指定される場合、前記第１のシーンを所定の周期で検出し、前記指定手段によって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第１のシーンを検出する周期を前記所定の周期よりも短くすることを特徴とする。
【０００８】
また、本発明の画像処理装置の制御方法は、請求項１１に記載のとおり、複数フレームの画像データを取得する画像取得ステップと、予め設定された複数のシーンの中から、前記画像データに該当するシーンを検出するシーン検出ステップと、前記シーン検出ステップによる検出結果に応じて複数の画像取得条件または複数の画像処理条件の設定を自動で行う条件設定ステップと、前記条件設定ステップにて設定が自動で行われる画像取得条件または画像処理条件を指定する指定ステップと、を有し、前記条件設定ステップにて設定される条件は、前記予め設定された複数のシーンの中の第１のシーン、第２のシーン、第３のシーンそれぞれで固有の設定がなされる第１の条件と、前記第１のシーンでは他のシーンとは異なる固有の設定がなされ、前記第２のシーン及び第３のシーンでは同じ設定がなされる第２の条件と、を含み、前記シーン検出ステップでは、前記指定ステップにて前記第１の条件が指定される場合、前記第１のシーンを所定の周期で検出し、前記指定ステップによって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第１のシーンを検出する周期を前記所定の周期よりも短くすることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影条件に応じてシーン検出の検出速度を優先した処理と検出シーン数を優先した処理を行うことで、シーン検出による演算負荷を軽減しつつ、シーン検出に対応した効果的な補正処理及び撮影制御を可能にする。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態におけるデジタルカメラ１１４の全体構成を示したブロック図である。第１の実施形態における検出シーンサイクルを示した図である。
【図２】背景技術による各シーンの検出サイクルの概念図を示した図である。
【図３】第１の実施形態における各シーンの検出サイクルの表を示した図である。
【図４】第１の実施形態における各機能における自動／固定のモードの選択肢をまとめた表を示した図である。
【図５】第１の実施形態における各検出シーンと各シーンに対応した処理が行われる機能の対応関係を示した図である。
【図６】第１の実施形態における明るさ補正処理に用いるヒストグラムの例を示した図である。
【図７】第１の実施形態における明るさ補正処理に用いるコントラスト補正カーブを示した図である。
【図８】第１の実施形態における青空シーン検出処理のフローを示した図である。
【図９】第１の実施形態における自然の緑シーン検出処理のフローを示した図である。
【図１０】第１の実施形態における夕景シーン検出処理のフローを示した図である。
【図１１】第１の実施形態における人物シーン検出処理のフローを示した図である。
【図１２】第１の実施形態におけるシーン検出処理全体の動作フローを示した図である。
【図１３】第１の実施形態におけるＵＶ色空間上の青空判定領域を示した図である。
【図１４】第１の実施形態におけるＵＶ色空間上の自然の緑判定領域を示した図である。
【図１５】第１の実施形態におけるＵＶ色空間上の夕景判定領域を示した図である。
【図１６】他の実施形態における人物シーンの検出を行わないときの、検出シーンサイクルを示した図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
図１は、本発明の実施形態にかかわる画像処理装置の１例としてのデジタルカメラ１１４の全体構成を示すブロック図である。
図１において、１００は撮影レンズ、１０１は絞り、１０２はシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をデジタル信号に変換するアナログ／デジタル（以下Ａ／Ｄ）変換器である。１００〜１０４をもって画像取得手段とする。タイミング発生部１０５は、撮像素子１０３、Ａ／Ｄ変換器１０４にクロック信号や制御信号を供給して、それらの動作を制御している。このタイミング発生部１０５はメモリ制御部１０６及びシステム制御部１１３により制御されている。
【００１３】
画像処理部１０８ではＡ／Ｄ変換器１０４或いはメモリ制御部１０６からの１２ビットＲＧＢベイヤー配列画像データ（一般的に知られているＲＡＷデータ）に対して、現像処理を施す。この現像処理はホワイトバランス（以下ＷＢ）補正処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、色変換マトリックス処理、明るさ補正処理、色補正処理などで構成されている。この現像処理の詳細については後に詳述する。
【００１４】
尚、この画像処理部１０８（シーン検出手段）では、画像データを解析することで、青空シーン、自然の緑シーン、夕景シーン、人物シーン等のシーンの検出も行っている。そしてこのシーン検出結果は、システム制御部１１３（条件設定手段）によりＷＢ補正、明るさ補正、色補正のそれぞれの処理に用いられる補正値に反映され、画像処理部１０８での上記補正処理に用いられる。このシーン検出処理の詳細については後に詳述する。
また、ＷＢ補正、色補正、明るさ補正処理機能はそれぞれ、検出された撮影シーンに最適な補正を行う自動制御のモードと、撮影シーンによらず固定の補正を行うモードの２種類のモードが設けられている。この自動と固定の２つのモードは操作部１１５（指定手段）をユーザが操作することでそれぞれの補正機能毎に切り替えることが出来る。この自動／固定モードの詳細については後に詳述する。
【００１５】
メモリ制御部１０６は、Ａ／Ｄ変換器１０４、タイミング発生部１０５、画像処理部１０８、メモリ１０７を制御する。これにより、Ａ／Ｄ変換器１０４でＡ／Ｄ変換されたデジタルデータは画像処理部１０８、メモリ制御部１０６を介して、或いは直接メモリ制御部１０６を介して、メモリ１０７に書き込まれる。
メモリ１０７は撮影した動画を格納する為のメモリである。また、このメモリ１０７はシステム制御部１１３や画像処理部１０８の作業領域としても使用される。
外部記憶装置１０９はＣＦカードやＳＤカードといった着脱可能な外付けの記録媒体である。メモリ１０７に一時的に記録された動画データは最終的にこの外部記憶装置１０９に記録される。
【００１６】
露光制御部１１０は絞り１０１やシャッター１０２を制御する。露光制御部１１０の露光制御は、デジタルカメラ１１４が自動的に最適な補正を行う自動制御のモードとユーザが任意に露出を決定する固定モードの２種類のモードが設けられている。この自動と固定の２つのモードは操作部１１５をユーザが操作することで切り替えることが出来る。この自動／固定モードの詳細については後に詳述する。
測距制御部１１１はレンズ１００のフォーカシングを制御する。
測距制御部１１１のフォーカス制御は、フォーカシングをデジタルカメラ１１４が自動制御するモードと、ユーザが任意のフォーカス位置を設定する固定モードの２種類のモードが設けられている。この自動と固定の２つのモードは操作部１１５をユーザが操作することで切り替えることが出来る。この自動／固定モードの詳細については後に詳述する。
【００１７】
また、システム制御部１１３はこのデジタルカメラ１１４全体の動作の制御している。
撮影開始／終了釦１１２は撮影動作を開始／終了するスイッチとなる。
以上が本発明の実施形態にかかわるデジタルカメラ１１４の全体構成の概要である。
【００１８】
以下、本実施形態におけるデジタルカメラ１１４の動作について説明する。
まず前述した、現像処理、シーン検出処理、各機能の自動／固定モード、のそれぞれの詳細について順に説明する。
【００１９】
（現像処理の詳細説明）
最初に画像処理部１０８で行われる現像処理の詳細について説明する。
現像処理ではＷＢ補正処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、色変換マトリックス処理、明るさ補正処理、色補正処理が順に行われる。
まず、ＷＢ処理では１２ビットＲＧＢベイヤー配列画像のＲ，Ｇ，Ｂの画素毎に下記式１に従って補正が行われる。
【００２０】
【数１】
ここでＷＢｇａｉｎＲ， ＷＢｇａｉｎＧ， ＷｂｇａｉｎＢはＷＢ補正値である。このＷＢ補正値の算出方法については別途後述する。
【００２１】
次に既知の手法による色補間処理により、ＷＢ補正後のＲＧＢベイヤー配列信号がＲＧＢ３プレーン信号に変換される。
そして色補間後の信号に対してガンマ補正処理が行われる。ここで使用されるガンマ補正カーブは事前に求めておき、メモリ１０７に格納されている。
【００２２】
次にガンマ補正処理後のＲＧＢ信号は下記式２の色変換マトリックス処理により８ビットＹ（輝度）、Ｕ、Ｖ（色差）信号に変換される。
【００２３】
【数２】
ここで、γＲ， γＧ， γＢはそれぞれガンマ補正後のＲ，Ｇ，Ｂ、 ａ〜ｉは任意の浮動小数点。
【００２４】
次にこのＹＵＶ信号のＹ値に対して明るさ補正処理が施される。この明るさ補正処理の詳細については別途後述する。
最後に色補正処理により色補正が行われ全ての現像処理が完了する。尚この色補正処理は一般的に知られている３次元ルックアップテーブル（３ＤＬＵＴ）処理により行われる。この色補正処理の詳細については別途後述する。
【００２５】
（シーン検出処理の詳細説明）
次に画像処理部１０８で行われるシーン検出処理の詳細について説明する。本実施形態では、青空シーン、自然の緑シーン、夕景シーン、人物シーンの検出が行われる。
尚以下に説明するシーン検出処理はいずれも動画撮影された複数フレームのうち任意の１フレームの画像を解析することで行われる。
【００２６】
＜青空シーン検出方法＞
以下、図８のフローチャートを参照して、青空シーン検出処理の動作について説明する。
ステップＳ８０１では、動画撮影された１フレームの１２ビットＲＡＷデータを画像処理部１０８でｎ×ｍ（ｎ、ｍは整数）の領域（ブロック）にブロック分割し、分割された各領域内のＲ，Ｇ，Ｂ各色の画素の平均値を算出する。本実施形態ではｎ、ｍは８とする。
【００２７】
次にステップＳ８０２で、各ブロックのＲ，Ｇ，Ｂ平均値に対して、前述したホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。ここで仮現像処理された結果として８×８各ブロックのＹＵＶ値が算出される。
【００２８】
次にステップＳ８０３で、画面内全ブロックに占める青空ブロックの割合を算出する。青空ブロックかどうかの判定はＵＶ色空間上で青空判定領域（第３の領域）を定義し、その領域内に入ったブロックの数をカウントすることで行われる。
図１３の１３０１にＵＶ色空間上の青空判定領域の例を示した。本実施形態ではＹ値によらず、ＵＶ色空間上の青空判定領域は同じとしているが、Ｙ値毎にＵＶ色空間上の青空判定領域を異ならせるような構成としても良い。
尚、ＵＶ色空間上の青空判定領域は、ステップＳ８０２の仮現像処理を施した様々な場所、季節、時刻に撮影した青空画像の青空部のＵＶ値が含まれるような領域を事前に算出しておき、メモリ１０７に記録しておく。
【００２９】
次に総ブロック個数（本実施形態では８×８＝６４個）に占めるＵＶ色空間上の青空判定領域に入ったブロック個数の割合（以下青空ブロック割合）に応じて、青空シーンの検出を行う。本実施形態では青空ブロック割合が５０％以上で青空シーンと判定する。
【００３０】
＜自然の緑シーン検出方法＞
以下、図９のフローチャートを参照して、草木といった自然の緑シーン検出処理の動作について説明する。
ステップＳ９０１では、動画撮影された１フレームの１２ビットＲＡＷデータを画像処理部１０８でｎ×ｍ（ｎ、ｍは整数）の領域（ブロック）に分割し、分割された各領域内のＲ，Ｇ，Ｂ各色の画素の平均値を算出する。ステップＳ８０１と同じく本実施形態ではｎ、ｍは８とする。
【００３１】
次にステップＳ９０２で、各ブロックのＲ，Ｇ，Ｂ平均値に対して、前述したホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。ここで仮現像処理された結果として８×８各ブロックのＹＵＶ値が算出される。
【００３２】
次にステップＳ９０３で、画面内全ブロックに占める自然の緑ブロックの割合を算出する。自然の緑ブロックかどうかの判定はＵＶ色空間上で自然の緑判定領域（第２の領域）を定義し、その領域内に入ったブロックの数をカウントすることで行われる。
図１４の１４０１にＵＶ色空間上の自然の緑判定領域の例を示した。本実施形態ではＹ値によらず、ＵＶ色空間上の自然の緑判定領域は同じとしているが、Ｙ値毎にＵＶ色空間上の自然の緑判定領域を異ならせるような構成としても良い。
尚、ＵＶ色空間上の自然の緑判定領域は、ステップＳ９０２の仮現像処理を施した様々な草木の画像の緑部のＵＶ値が含まれるような領域を事前に算出しておき、メモリ１０７に記録しておく。
【００３３】
次に総ブロック個数（本実施形態では８×８＝６４個）に占めるＵＶ色空間上の自然の緑判定領域に入ったブロック個数の割合（以下自然の緑ブロック割合）に応じて、自然の緑シーンの検出を行う。本実施形態では自然の緑ブロック割合が５０％以上で自然の緑シーンと判定する。
【００３４】
＜夕景シーン検出方法＞
以下、図１０のフローチャートを参照して、夕焼け空が写った夕景シーン検出処理の動作について説明する。
ステップＳ１００１では、動画撮影された１フレームの１２ビットＲＡＷデータを画像処理部１０８でｎ×ｍ（ｎ、ｍは整数）の領域（ブロック）に分割し、分割された各領域内のＲ，Ｇ，Ｂ各色の画素の平均値を算出する。ステップＳ８０１と同じく本実施形態ではｎ、ｍは８とする。
【００３５】
次にステップＳ１００２で、各ブロックのＲ，Ｇ，Ｂ平均値に対して、前述したホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。ここで仮現像処理された結果として８×８各ブロックのＹＵＶ値が算出される。
【００３６】
次にステップＳ１００３で、画面内に占める夕景ブロックの割合を算出する。夕景ブロックかどうかの判定はＵＶ色空間上で夕景判定領域（第１の領域）を定義し、その領域内に入ったブロックの数をカウントすることで行われる。
図１５の１５０１にＵＶ色空間上の夕景判定領域の例を示した。本実施形態ではＹ値によらず、ＵＶ色空間上の夕景判定領域は同じとしているが、Ｙ値毎にＵＶ色空間上の夕景判定領域を異ならせるような構成としても良い。
尚、ＵＶ色空間上の夕景判定領域は、ステップＳ１００２の仮現像処理を施した様々な夕景（夕焼け空）のオレンジ部のＵＶ値が含まれるような領域を事前に算出しておき、メモリ１０７に記録しておく。
【００３７】
次に全ブロック個数（本実施形態では８×８＝６４個）に占めるＵＶ色空間上の夕景判定領域に入ったブロック個数の割合（以下自然の緑ブロック割合）を算出する。
また、夕景検出の確度を高めるために、ステップＳ１００４で、夕焼けのオレンジや空の青色以外の夕景に存在しない色が含まれていないかどうかを判定し、夕景に存在しない色が含まれていた場合には夕景シーンと判定されにくくする。
具体的には、図１５のＵＶ色空間上の１５０２と１５０３の緑や赤色の領域を夕景に存在しない色領域と定義する。そして、８×８ブロックＹＵＶデータに対して夕景に存在しない色領域内に入ったブロック個数をカウントする。
【００３８】
次に８×８ブロックＹＵＶデータ総ブロック個数（本実施形態では８×８＝６４個）に占めるＵＶ色空間上の夕景に存在しない色領域に入ったブロック個数の割合（以下夕景以外ブロック割合）を算出する。
そして最後にステップＳ１００５で、夕景ブロック割合が５０％以上、且つ夕景以外ブロック割合１０％以下の場合に夕景シーンと判定する。
【００３９】
＜人物シーン検出方法＞
以下、図１１のフローチャートを参照して、人物の顔が写った人物シーン検出処理の動作について説明する。
ステップＳ１１０１では、動画撮影された１フレームの１２ビットＲＡＷデータに対して
一般的に知られているパターンマッチング処理により、画像内に顔があるかどうかを検出する。尚顔パターンデータは事前にメモリ１０７に記録されているものとする。
また本実施形態では人物の顔のパターンを検出するようにしているが、人物以外にも動物、建造物、乗り物、などを検出するような構成としても良い。いずれの場合も検出する被写体のパターンデータをメモリ１０７に記録しておき、パターンマッチング処理により実施される。
【００４０】
次にステップＳ１１０２で、人物検出されたかどうかの判定を行う。ステップＳ１１０１で人物検出されていなければ、人物シーンではないと判断し処理は終了となる。
ステップＳ１１０１で人物検出されていた場合、以下に説明するステップＳ１１０３〜Ｓ１１０６にて詳細な情報を取得する。
ステップＳ１１０３ではまず、検出された顔の大きさと画面内の顔位置座標を算出する。
【００４１】
次にステップＳ１１０４で１２ビットＲＡＷの顔領域に対応した領域内の平均ＲＧＢ値を算出する。そして、青空検出のステップＳ８０２などで行った仮現像処理と同様の手法で、仮現像を実施し顔領域内のＹＵＶ値を算出する。
そしてステップＳ１１０５で、ステップＳ１１０４で算出したＹＵＶ値のＹ値で顔領域の明るさを取得する。
最後にステップＳ１１０６で、ステップＳ１１０４で算出したＹＵＶ値のＵＶ値で顔領域の色を取得する。
以上が画像処理部１０８で行われる各シーンの検出処理方法である。
尚、例えば青空シーン且つ人物シーンというように、それぞれのシーンは重複して検出される場合もある。
【００４２】
（各機能の自動／固定モードの詳細説明）
次に前述した各機能における自動／固定の２つのモードに関する詳細について説明する。
図４に前述した各機能における自動／固定の２つのモードの選択肢をまとめた表を示した。また、図５に各検出シーンと、各機能が「自動」であった場合に各シーンに特化した処理が行われる機能との対応関係を示した。
図４において明るさ補正（画像処理条件、第２の条件）のユーザ選択肢として「自動」、「しない」がある。
ここで明るさ補正「自動」に設定された場合、撮影された画像に適した明るさやコントラストの補正が画像処理部１０８で行われる。
明るさやコントラストの補正値は下記の方法で算出される。
【００４３】
まず撮影された画像に対して画像処理部１０８で輝度ヒストグラムを算出する。このヒストグラムは画像処理部１０８で現像処理された８ビットＹＵＶ画像の各画素に対して、Ｙ値を０〜２５５の各値毎にカウントして算出する。図６の６０１に暗めに撮影された画像のヒストグラムの例を示した。このようにヒストグラムが暗い側に偏っていた場合には図７の７０１に示すコントラスト補正曲線を用いて明るく補正する。尚図７は水平軸に入力Ｙ値、垂直軸に出力Ｙ値を示している。
このようなコントラスト補正曲線を画像に適用することで、画像が明るく補正される。参考までに図６の６０２に明るさ補正後のヒストグラム形状を示した。
尚本実施形態ではコントラスト補正により明るさを補正する方法を示したが、ＲＧＢ信号に一律のゲインをかけることで明るさを補正する構成としてもよい。
【００４４】
また、このようにして算出された明るさやコントラストの補正値に対して、画像処理部１０８のシーン検出結果に応じて下記の処理を実施する。
例えば夕景シーン（第１のシーン）が検出された場合、夕景の雰囲気を残す為に、明るさ補正量を弱める又は補正しないようにする。また人物が検出された場合、ヒストグラムから算出した補正に対して、人物の顔領域に対応した明るさが適切になるように更に明るさ補正量を調整する。具体的には、事前に適切な顔のＹ値の目標値を決定しておき、顔領域に対応したＹ値がその目標値になるように明るさ補正量を調整する。
青空、自然の緑シーン（第２のシーン、第３のシーン）が検出された場合については、特にシーンに対応した処理は行わず、ヒストグラムを用いて算出された明るさ、コントラスト補正量をそのまま使用する。
【００４５】
これらの関係は図５の明るさ補正の欄に示している。図５において「○」の項目、即ち「夕景シーン」、「人物シーン」は、明るさ補正が「自動」であった場合、明るさ補正値の算出が、全シーン共通で行われるヒストグラムを用いた方法以外にシーンに特化した処理で行われることを示している。
一方図５の明るさ補正「しない」に設定された場合は画像の明るさやコントラストの補正は行わない。
【００４６】
次に図４においてＷＢ（画像処理条件、第２の条件）のユーザ選択肢として「自動」、「マニュアル」がある。
ここでＷＢ「自動」に設定された場合、例えば撮影画像の画面全体の平均ＲＧＢデータから式３で補正値が算出される。
【００４７】
【数３】
【００４８】
また、このようにして算出されたＷＢ補正値に対して、画像処理部１０８のシーン検出結果に応じて下記の処理を実施する。
例えば夕景シーン（第１のシーン）が検出された場合には、夕陽の赤味がより強調されるように、式３の結果に対してさらに式４の補正が行われる。
【００４９】
【数４】
ここで、Ｋｒ＝１．０以上の浮動小数点、Ｋｂ＝１．０以下の浮動小数点である。
式４によればＲ画素がより大きく、Ｂ画素がより小さくなることで、式３で算出したＷＢ補正値を適用するよりも赤味の強い画像が得られる。
【００５０】
また、人物が検出された場合には、人物の顔領域に対応した色を検出し、人物の顔色が適切な肌色になるように式１で算出したＷＢ補正値をさらに補正する。
青空、自然の緑シーン（第２のシーン、第３のシーン）が検出された場合については、特にシーンに対応した処理は行わず、式１で算出されたＷＢ補正量をそのまま使用する。
これらの関係は図５のＷＢの欄に示している。図５において「○」の項目、即ち「夕景シーン」、「人物シーン」が、全シーン共通で行われる式３を用いた方法以外にシーンに特化した方法で行われることを示している。
【００５１】
一方、図５のＷＢ「マニュアル」に設定された場合には、ユーザが設定した（例えば「太陽光」ならば色温度約５２００Ｋ）光源下で適切なホワイトバランスが得られるような固定の補正値が適用される。尚、ユーザが設定する固定のＷＢ補正値は事前に算出されてメモリ１０７に記録されている。
次に図４において色補正（画像処理条件、第１の条件）のユーザ選択肢として「自動」、「標準」がある。
ここで色補正「標準」が設定された場合にはシーンによらず固定の色再現となる。具体的には、画像処理部１０８の色補正処理部で適用される３ＤＬＵＴ処理に固定の３ＤＬＵＴが適用される。この固定の３ＤＬＵＴは例えば、入出力が同じ（即ち色変換処理がされない）ＬＵＴであってもよい。
ここで色補正「自動」に設定された場合、３ＤＬＵＴを用いて画像処理部１０８で検出されたシーンに適した色に補正する。
【００５２】
例えば青空シーン（第２のシーン）が検出された場合、「標準」設定時よりも青の彩度が高くなるような３ＤＬＵＴを適用し、青空をより鮮やかに強調する。
自然の緑シーン（第２のシーン）が検出された場合、「標準」設定時よりも緑の彩度が高くなるような３ＤＬＵＴを適用し、自然の緑をより鮮やかに強調する。
夕景シーン（第１のシーン）が検出された場合、「標準」設定時よりもオレンジの彩度が高くなるような３ＤＬＵＴを適用し、夕陽のオレンジをより鮮やかに強調する。
人物シーンが検出された場合、「標準」設定時よりも肌色の色相を赤寄りに、明度を高めに、彩度低めになるような３ＤＬＵＴを適用することで透明感のある肌色に補正する。
これらの関係は図５の色補正の欄に示している。色補正では全項目で「○」が付いているように、色補正「自動」に設定された場合、それぞれのシーンで標準とは異なる固有の処理が行われる。尚、各シーンに適した３ＤＬＵＴは事前に作成しておきメモリ１０７に記録しておく。もちろん、シーンが検出された際にその都度生成してもよいが、その分演算負荷が増えてしまうことになる。
【００５３】
次に図４において露出制御（画像取得条件）のユーザ選択肢として「自動」、「マニュアル」がある。
ここで露出制御「マニュアル」が設定された場合には、ユーザが任意に設定した絞り１０１、シャッター１０２の速度で撮影が行われる。
露出制御「自動」が設定された場合には、システム制御部１１３は画像処理部１０８で処理された画像の明るさに応じて、画像中央部の明るさが適切になるような露光制御量を決定する。露光制御部１１０はこの露光制御量に従って絞り１０１やシャッター１０２の速度を制御し、撮像素子１０３に入射する光の露光量を制御する。
尚、シーン検出処理により人物の顔等の検出情報が得られた場合、画像中央部の明るさではなく、検出された顔領域の明るさが適切になるように露光制御量の算出が行われる。
青空、自然の緑、夕景シーンが検出された場合については、特にシーンに対応した処理は行わず、前述したように画像中央部の明るさが適切になるような露出を設定する。
これらの関係は図５の露出の欄に示している。図５において「○」の項目、即ち「人物シーン」では、露出制御「自動」が設定された場合、前述した画像中央部の明るさが適切になるような露出制御ではなくシーンに特化した露出制御となることを示している。
【００５４】
次に図４においてフォーカス制御（画像取得条件）のユーザ選択肢として「自動」、「マニュアル」がある。
ここでフォーカス制御「マニュアル」が設定された場合には、ユーザが任意に設定したフォーカス位置で撮影が行われる。
フォーカス制御「自動」が設定された場合には、例えば画面中央部の被写体に自動的にピントがあうように、コントラストオートフォーカス（以下コントラストＡＦ）処理によりフォーカスが制御される。
このコントラストＡＦ処理では、画像の着目部分のコントラストが最も高くなるように、測距制御部１１１によるフォーカス制御が行われる。具体的には、システム制御部１１３の指示に従い測距制御部１１１がフォーカスを徐々に変更しながら、画像処理部１０８で処理された画像のコントラストを解析することで行われる。
尚、シーン検出処理により人物の顔等の検出情報が得られた場合、その顔位置にピントを合わせるようにコントラストＡＦ処理が行われる。
青空、自然の緑、夕景シーンが検出された場合については、特にシーンに対応した処理は行わず、前述したように画像中央部の被写体にピントが合うように制御される。
これらの関係は図５の「フォーカス」の欄に示している。図５において「○」の項目、即ち「人物シーン」では、フォーカス制御「自動」が設定された場合、前述した画像中央部の被写体にピントを合わせる制御ではなくシーンに特化したフォーカス制御となることを示している。
以上が、各機能の自動／固定モードの詳細説明である。
【００５５】
ここで、本実施形態の特徴である、動画撮影時のシーン検出処理全体について説明する。
前述したように、例えばフレームレート３０フレーム／秒の動画において、図２に示すように、２フレームに１回「青空シーン」、「自然の緑シーン」、「夕景シーン」の３つのシーンの検出処理を全て行うようにした場合、非常に演算負荷が重くなる。その結果、１２フレームの期間内に全ての検出処理が完了できず、最悪の場合動画撮影が強制終了されてしまう。仮に、１２フレームにて検出処理が終わるとしても、シーン検出に演算負荷を大きくとられ、他の処理が並行して行えないなどの弊害が出てしまうことが考えられる。
そこで、本実施形態では、明るさ補正、ＷＢ、色補正、露出制御、フォーカス制御のそれぞれの機能が自動モード、固定モードのいずれで設定されるかに応じて、シーン検出のシーン検出数を優先するかシーン検出速度を優先するかを選択する。すなわち、検出されるシーン特有の補正処理や制御などが発生する機能が自動設定の場合は、シーン検出数を優先し、そうでない場合は、シーン検出速度を優先する。
図１２のフローチャートを参照して、本実施形態における動画撮影時のデジタルカメラ１１４のシーン検出処理全体の動作フローについて説明する。
尚、各機能の自動／固定処理の設定において、自動設定されている機能については、所定時間の周期（サイクル）で図１２のフローチャートの動作とは別タスクとして並列処理されているものとする。具体的には明るさ補正、ＷＢ、色補正、露出、フォーカス各機能が自動モードで設定されている時は、各機能が別のタスクで並列処理される。例えばフレームレート３０フレーム／秒で動画撮影されている場合、本実施形態では下記のサイクルで補正値の演算が行われるものとする。
【００５６】
明るさ補正 ・・・１２フレームに１回
ホワイトバランス ・・・１２フレームに１回
色補正 ・・・１２フレームに１回
露出 ・・・４フレームに１回
フォーカス ・・・２フレームに１回
尚、これらの機能の補正値演算は上記サイクルにて実施されるが、撮影時に各フレームに適用される補正量は１フレーム刻みで段階的に変化するように制御される。
例えば明るさ補正を例にあげると、補正する量の目標値は１２フレームに１回演算されるが、１回の演算で次の演算までの１２フレーム分の補正量が算出されるため、補正量は１フレーム刻みで段階的に変化する。その他の機能についても同様である。ただし、実施の形態としてはこの限りではなく、１フレーム当たりの補正量は適宜調整可能である。
【００５７】
以上のような前提において、図１２のシーン検出全体の動作フローを説明する。
まず撮影開始釦１１２が押下され撮影が開始されると、画像処理部１０８のシーン検出処理が開始される。
ステップＳ１２０１〜Ｓ１２０５は、まず各機能が自動／固定モードのいずれに設定されているかを判定し、その結果に応じてシーン検出処理を異ならせるステップである。ステップＳ１２０１で色補正の設定が自動であると判定された場合は、人物検出、青空検出、自然の緑検出、夕景検出全てのシーン検出を行うフローＡへ進み、自動でない、すなわち固定であると判定された場合にはステップＳ１２０２へ進む。ステップＳ１２０２で明るさ補正の設定が自動であると判定された場合は、人物検出、夕景検出に絞ってシーン検出を行うフローＢへ進み、自動でないと判定された場合はステップＳ１２０３へ進む。ステップＳ１２０３でＷＢの補正の設定が自動であると判定された場合はフローＢへ進み、自動でないと判定された場合はステップＳ１２０４へ進む。ステップＳ１２０４で露出の制御の設定が自動であると判定された場合は、人物検出に絞ってシーン検出を行うフローＣへ進み、自動でないと判定された場合は、ステップＳ１２０５へ進む。ステップＳ１２０５では、フォーカスの制御の設定が自動であると判定された場合はフローＣへ進み、自動でないと判定された場合、すなわち５つの機能全てが固定モードであったときには、シーン検出の必要なしとしてシーン検出処理を終了する。
【００５８】
人物検出、青空検出、自然の緑検出、夕景検出全てのシーン検出を行うフローＡのフローについて説明する。ステップＳ１２０６でシーンフラグＳに１がセットされる。次にステップＳ１２０７でフレーム数が１２の倍数かどうかの判定が行われ、１２の倍数の場合に次のステップに進む。この処理は１２フレームに１回のサイクルで１つのシーンの検出処理を行うことを意味する。
【００５９】
次にステップＳ１２０８でシーンフラグＳの判定が行われる。ここでＳ＝１であった場合、ステップＳ１２０９に進み人物検出処理を実行する。この人物検出処理方法については既に説明済みであるため、ここでの説明は割愛する。
【００６０】
次にステップＳ１２１３に進み、シーンフラグＳが６かどうかの判定を行う。今回は６ではないのでステップＳ１２１４に進み、シーンフラグＳに１を加算する。次にステップＳ１２１５で撮影終了かどうかの判定が行われる。撮影が終了していなかった場合、再びステップＳ１２０７に戻り、フレーム数が１２の倍数となるまで待機する。次にステップＳ１２０８でシーンフラグＳを判定する。今回はシーンフラグＳは２となっているので、ステップＳ１２１０に進み青空シーンの検出を行う。この青空シーン検出処理方法については既に説明済みであるため、ここでの説明は割愛する。
【００６１】
次に再度ステップＳ１２１３でシーンフラグＳが６かどうかの判定が行われる。ここでシーンフラグＳが６となると再びステップＳ１２０６に戻りシーンフラグが１にセットされる。このようにステップＳ１２０６〜Ｓ１２１５の処理はステップＳ１２１５で撮影終了と判定されるまで繰り返される。
尚ステップＳ１２０８のシーンフラグ判定処理のみ繰り返される毎に処理が異なるのでステップＳ１２０８について詳細に説明する。
ステップＳ１２０８ではシーンフラグＳが１２フレームおきに１加算された数値が判定されることになる。下記にシーンフラグ毎の検出シーンを示した。
【００６２】
シーンフラグＳ＝１ ・・・人物検出（ステップＳ１２０９）
シーンフラグＳ＝２ ・・・青空検出（ステップＳ１２１０）
シーンフラグＳ＝３ ・・・人物検出（ステップＳ１２０９）
シーンフラグＳ＝４ ・・・自然の緑検出（ステップＳ１２１１）
シーンフラグＳ＝５ ・・・人物検出（ステップＳ１２０９）
シーンフラグＳ＝６ ・・・夕景検出（ステップＳ１２１２）
尚、ステップＳ１２０９〜ステップＳ１２１２の各シーン検出方法の詳細については既に説明済みであるため、ここでは説明を割愛する。
本フローに従うと、人物シーンについては２４フレームに１回、その他のシーンについては７２フレームに１回の周期で検出されるようになっている。
【００６３】
次に人物検出、夕景検出に絞ってシーン検出を行うフローＢのフローを説明する。ステップＳ１２１６でシーンフラグＳに１がセットされる。次にステップＳ１２１７でフレーム数が１２の倍数かどうかの判定が行われ、１２の倍数の場合に次のステップに進む。
【００６４】
次にステップＳ１２１８でシーンフラグＳの判定が行われる。ここでＳ＝１であった場合、ステップＳ１２０９に進み人物検出処理を実行する。この人物検出処理方法については既に説明済みであるため、ここでの説明は割愛する。
【００６５】
次にステップＳ１２１９でシーンフラグが２かどうかの判定を行う。この時点では１であるので、ステップＳ１２２０に進む。ステップＳ１２２０ではシーンフラグＳに１を加算する。即ちシーンフラグＳは２となる。次にステップＳ１２２１で撮影終了釦１１２が押下され撮影が終了したかどうかの判定が行われる。撮影が終了していなかった場合、再びステップＳ１２１７に戻り、フレーム数が１２の倍数となるまで待機する。そして再度ステップＳ１２１８でシーンフラグＳの判定が行われる。今回はシーンフラグが２となっているのでステップＳ１２１２の夕景検出処理が実施される。この夕景検出処理方法については既に説明済みであるため、ここでの説明は割愛する。次にステップＳ１２１９でシーンフラグが２かどうかの判定が行われる。今回はシーンフラグ２となっているため、ステップＳ１２１６に戻る。そして再度ステップＳ１２１６でシーンフラグＳは１になる。このステップＳ１２１６から進んだＳ１２２１までの処理がステップＳ１２２１で撮影終了と判定されるまで繰り返し実施される。
即ちステップＳ１２１６から進んだＳ１２２１までの処理によれば、前期色補正の設定が固定であった場合には、人物検出処理と夕景検出処理をそれぞれ２４フレームに１回のサイクルで実施する。
【００６６】
次に人物検出に絞ってシーン検出を行うフローＣのフローを説明する。フローＣでは、ステップＳ１２２２でフレーム数が１２の倍数かどうかの判定が行われ、１２の倍数の場合に次のステップＳ１２０９に進む。ステップＳ１２０９では人物シーンの検出が行われ、次にステップＳ１２２３で撮影終了釦１１２が押下され撮影が終了したかどうかの判定が行われる。撮影が終了していなかった場合、再びステップＳ１２２２に戻り、フレーム数が１２の倍数となるまで待機する。ステップＳ１２２３で撮影終了と判定された場合、シーン検出処理を終了する。
尚、前述したように、ここで説明した図１２のフローと並行して、明るさ補正、ホワイトバランス、色補正、露出、フォーカス、の各機能の制御が別タスクとして行われており、図１２のフローのシーン検出結果は随時最新の結果が各機能に反映される。
図３に第１の実施形態における図１２に示したフローによる検出シーンサイクルをまとめた表を示した。
図３（ａ）の検出シーンサイクルの表がフローＡの処理に対応している。
また、図３（ｂ）の検出シーンサイクルの表がフローＢの処理に対応している。
また、図３（ｃ）の検出シーンサイクルの表がフローＣの処理に対応している。
図３から分かるように、フローＡの場合は、検出速度よりも検出シーン数を優先し、人物、青空、自然の緑、夕景の４つのシーンをそれぞれ７２フレームに１回のサイクルで検出している。但し、人物シーンについては、図５に示すように特に応答速度が要求される露出やフォーカスの制御に用いられる為、他のシーンよりも短い２４フレームに１回のサイクルで検出するようにしている。
フローＢの場合は、検出速度を優先し、人物シーンと夕景シーンのみをそれぞれ２４フレームに１回のサイクルで検出している。これは図５に示したように青空と自然の緑シーン検出結果は色補正処理のみで使用されるのでこのような処理が可能となっている。フローＢの夕景シーンの検出サイクルは、２４フレームに１回と、フローＡよりも短くなっている（検出速度が速くなっている）ことがわかる。
フローＣの場合も、フローＢと同様に検出速度を優先し、人物シーンのみを１２フレームに１回のサイクルで検出している。これは図５に示したように人物シーン以外のシーン検出結果は露出制御及びフォーカス制御に使用されないのでこのような処理が可能となっている。フローＣの人物シーンの検出サイクルは、１２フレームに１回と、フローＡ、Ｂよりも短くなっている（検出速度が速くなっている）ことがわかる。
【００６７】
以上のように、本実施形態では、撮影条件に応じてシーン検出の検出速度を優先した処理と検出シーン数を優先した処理を効果的に行うことで、シーン検出による演算負荷を軽減しつつ、より正確なシーン検出に対応した補正処理及び撮影制御を可能にする。
本実施形態では、人物、青空、自然の緑、夕景の４つのシーンを検出候補としているが、本発明はこれに限らず、検出候補とするシーンは本実施形態より多くても少なくても良い。例えば、本実施形態に比べて人物シーンの検出を行わないときの、各シーンの検出シーンサイクルの表を示した。図１６に示すように色補正処理が自動設定の場合、検出シーン数を優先し、各シーンが３６フレームに１回のサイクルで検出処理される。一方、色補正処理が固定設定の場合、検出速度を優先し、夕景シーンのみが１２フレームに１回のサイクルで検出処理される。
【００６８】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００６９】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００７０】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００７１】
１００ レンズ
１０１ 絞り
１０２ シャッター
１０３ 撮像素子
１０４ Ａ／Ｄ変換器
１０５ タイミング発生部
１０６ メモリ制御部
１０７ メモリ
１０８ 画像処理部
１０９ 外部記憶装置
１１０ 露光制御部
１１１ 測距制御部
１１２ 撮影開始釦
１１３ システム制御部
１１４ 画像処理装置
１１４ 操作部
【技術分野】
【０００１】
本発明は、撮影シーンを判定する画像処理装置及び画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
例えばビデオカメラのような撮像装置において撮影されるシーンには、ポートレート、風景、夜景など様々なシーンがある。従来、これらの撮影シーンで最適な映像を得る為に、撮影時の被写体情報をカメラが解析することで、どのようなシーンで撮影されたかを自動的に判別し、その判別したシーンに応じて最適な画像処理を施すものがある。
このようなシステムでは、例えば撮影時の情報から「青空シーン」、「自然の緑が多いシーン」、「夕景シーン」等を判定し、判定結果に応じて青空の青、自然の緑、夕景のオレンジの彩度を強調するといった処理が行われる。
【０００３】
しかしながらこれらのシーン判定処理を精度良く行うためには高度な演算処理が必要となり、複数のシーン判定処理を同時に行うと演算負荷が非常に重くなってしまう。
【０００４】
例えば、特許文献１では、夕焼け判定、色被り判定、コントラスト判定等の補正の要否判定を行い、補正が必要と判定されたときにのみ対応する項目の補正を行うという技術が開示されている。この技術によれば、所定の補正の要否判定を行い必要なときのみ補正を行うため、補正処理の負荷が削減される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２９８７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１では、補正の要否判定（即ちシーン検出処理）を行い必要な補正のみを行うようにしても、複数のシーン検出処理は同時に毎回行う必要があり、前述したような動画撮影中の演算負荷がかかるという問題は残ってしまう。
そこで、本発明の目的は、シーン検出による演算負荷を軽減しつつ効果的にシーンの検出を行うことを可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記課題に鑑み、本発明の画像処理装置は、請求項１に記載のとおり、複数フレームの画像データを取得する画像取得手段と、予め設定された複数のシーンの中から、前記画像データに該当するシーンを検出するシーン検出手段と、前記シーン検出手段による検出結果に応じて複数の画像取得条件または複数の画像処理条件の設定を自動で行う条件設定手段と、前記条件設定手段によって設定を自動で行う画像取得条件または画像処理条件を指定する指定手段と、を有し、前記条件設定手段によって設定される条件は、前記予め設定された複数のシーンの中の第１のシーン、第２のシーン、第３のシーンそれぞれで固有の設定がなされる第１の条件と、前記第１のシーンでは他のシーンとは異なる固有の設定がなされ、前記第２のシーン及び第３のシーンでは同じ設定がなされる第２の条件と、を含み、前記シーン検出手段は、前記指定手段によって前記第１の条件が指定される場合、前記第１のシーンを所定の周期で検出し、前記指定手段によって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第１のシーンを検出する周期を前記所定の周期よりも短くすることを特徴とする。
【０００８】
また、本発明の画像処理装置の制御方法は、請求項１１に記載のとおり、複数フレームの画像データを取得する画像取得ステップと、予め設定された複数のシーンの中から、前記画像データに該当するシーンを検出するシーン検出ステップと、前記シーン検出ステップによる検出結果に応じて複数の画像取得条件または複数の画像処理条件の設定を自動で行う条件設定ステップと、前記条件設定ステップにて設定が自動で行われる画像取得条件または画像処理条件を指定する指定ステップと、を有し、前記条件設定ステップにて設定される条件は、前記予め設定された複数のシーンの中の第１のシーン、第２のシーン、第３のシーンそれぞれで固有の設定がなされる第１の条件と、前記第１のシーンでは他のシーンとは異なる固有の設定がなされ、前記第２のシーン及び第３のシーンでは同じ設定がなされる第２の条件と、を含み、前記シーン検出ステップでは、前記指定ステップにて前記第１の条件が指定される場合、前記第１のシーンを所定の周期で検出し、前記指定ステップによって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第１のシーンを検出する周期を前記所定の周期よりも短くすることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影条件に応じてシーン検出の検出速度を優先した処理と検出シーン数を優先した処理を行うことで、シーン検出による演算負荷を軽減しつつ、シーン検出に対応した効果的な補正処理及び撮影制御を可能にする。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態におけるデジタルカメラ１１４の全体構成を示したブロック図である。第１の実施形態における検出シーンサイクルを示した図である。
【図２】背景技術による各シーンの検出サイクルの概念図を示した図である。
【図３】第１の実施形態における各シーンの検出サイクルの表を示した図である。
【図４】第１の実施形態における各機能における自動／固定のモードの選択肢をまとめた表を示した図である。
【図５】第１の実施形態における各検出シーンと各シーンに対応した処理が行われる機能の対応関係を示した図である。
【図６】第１の実施形態における明るさ補正処理に用いるヒストグラムの例を示した図である。
【図７】第１の実施形態における明るさ補正処理に用いるコントラスト補正カーブを示した図である。
【図８】第１の実施形態における青空シーン検出処理のフローを示した図である。
【図９】第１の実施形態における自然の緑シーン検出処理のフローを示した図である。
【図１０】第１の実施形態における夕景シーン検出処理のフローを示した図である。
【図１１】第１の実施形態における人物シーン検出処理のフローを示した図である。
【図１２】第１の実施形態におけるシーン検出処理全体の動作フローを示した図である。
【図１３】第１の実施形態におけるＵＶ色空間上の青空判定領域を示した図である。
【図１４】第１の実施形態におけるＵＶ色空間上の自然の緑判定領域を示した図である。
【図１５】第１の実施形態におけるＵＶ色空間上の夕景判定領域を示した図である。
【図１６】他の実施形態における人物シーンの検出を行わないときの、検出シーンサイクルを示した図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
図１は、本発明の実施形態にかかわる画像処理装置の１例としてのデジタルカメラ１１４の全体構成を示すブロック図である。
図１において、１００は撮影レンズ、１０１は絞り、１０２はシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をデジタル信号に変換するアナログ／デジタル（以下Ａ／Ｄ）変換器である。１００〜１０４をもって画像取得手段とする。タイミング発生部１０５は、撮像素子１０３、Ａ／Ｄ変換器１０４にクロック信号や制御信号を供給して、それらの動作を制御している。このタイミング発生部１０５はメモリ制御部１０６及びシステム制御部１１３により制御されている。
【００１３】
画像処理部１０８ではＡ／Ｄ変換器１０４或いはメモリ制御部１０６からの１２ビットＲＧＢベイヤー配列画像データ（一般的に知られているＲＡＷデータ）に対して、現像処理を施す。この現像処理はホワイトバランス（以下ＷＢ）補正処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、色変換マトリックス処理、明るさ補正処理、色補正処理などで構成されている。この現像処理の詳細については後に詳述する。
【００１４】
尚、この画像処理部１０８（シーン検出手段）では、画像データを解析することで、青空シーン、自然の緑シーン、夕景シーン、人物シーン等のシーンの検出も行っている。そしてこのシーン検出結果は、システム制御部１１３（条件設定手段）によりＷＢ補正、明るさ補正、色補正のそれぞれの処理に用いられる補正値に反映され、画像処理部１０８での上記補正処理に用いられる。このシーン検出処理の詳細については後に詳述する。
また、ＷＢ補正、色補正、明るさ補正処理機能はそれぞれ、検出された撮影シーンに最適な補正を行う自動制御のモードと、撮影シーンによらず固定の補正を行うモードの２種類のモードが設けられている。この自動と固定の２つのモードは操作部１１５（指定手段）をユーザが操作することでそれぞれの補正機能毎に切り替えることが出来る。この自動／固定モードの詳細については後に詳述する。
【００１５】
メモリ制御部１０６は、Ａ／Ｄ変換器１０４、タイミング発生部１０５、画像処理部１０８、メモリ１０７を制御する。これにより、Ａ／Ｄ変換器１０４でＡ／Ｄ変換されたデジタルデータは画像処理部１０８、メモリ制御部１０６を介して、或いは直接メモリ制御部１０６を介して、メモリ１０７に書き込まれる。
メモリ１０７は撮影した動画を格納する為のメモリである。また、このメモリ１０７はシステム制御部１１３や画像処理部１０８の作業領域としても使用される。
外部記憶装置１０９はＣＦカードやＳＤカードといった着脱可能な外付けの記録媒体である。メモリ１０７に一時的に記録された動画データは最終的にこの外部記憶装置１０９に記録される。
【００１６】
露光制御部１１０は絞り１０１やシャッター１０２を制御する。露光制御部１１０の露光制御は、デジタルカメラ１１４が自動的に最適な補正を行う自動制御のモードとユーザが任意に露出を決定する固定モードの２種類のモードが設けられている。この自動と固定の２つのモードは操作部１１５をユーザが操作することで切り替えることが出来る。この自動／固定モードの詳細については後に詳述する。
測距制御部１１１はレンズ１００のフォーカシングを制御する。
測距制御部１１１のフォーカス制御は、フォーカシングをデジタルカメラ１１４が自動制御するモードと、ユーザが任意のフォーカス位置を設定する固定モードの２種類のモードが設けられている。この自動と固定の２つのモードは操作部１１５をユーザが操作することで切り替えることが出来る。この自動／固定モードの詳細については後に詳述する。
【００１７】
また、システム制御部１１３はこのデジタルカメラ１１４全体の動作の制御している。
撮影開始／終了釦１１２は撮影動作を開始／終了するスイッチとなる。
以上が本発明の実施形態にかかわるデジタルカメラ１１４の全体構成の概要である。
【００１８】
以下、本実施形態におけるデジタルカメラ１１４の動作について説明する。
まず前述した、現像処理、シーン検出処理、各機能の自動／固定モード、のそれぞれの詳細について順に説明する。
【００１９】
（現像処理の詳細説明）
最初に画像処理部１０８で行われる現像処理の詳細について説明する。
現像処理ではＷＢ補正処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、色変換マトリックス処理、明るさ補正処理、色補正処理が順に行われる。
まず、ＷＢ処理では１２ビットＲＧＢベイヤー配列画像のＲ，Ｇ，Ｂの画素毎に下記式１に従って補正が行われる。
【００２０】
【数１】
ここでＷＢｇａｉｎＲ， ＷＢｇａｉｎＧ， ＷｂｇａｉｎＢはＷＢ補正値である。このＷＢ補正値の算出方法については別途後述する。
【００２１】
次に既知の手法による色補間処理により、ＷＢ補正後のＲＧＢベイヤー配列信号がＲＧＢ３プレーン信号に変換される。
そして色補間後の信号に対してガンマ補正処理が行われる。ここで使用されるガンマ補正カーブは事前に求めておき、メモリ１０７に格納されている。
【００２２】
次にガンマ補正処理後のＲＧＢ信号は下記式２の色変換マトリックス処理により８ビットＹ（輝度）、Ｕ、Ｖ（色差）信号に変換される。
【００２３】
【数２】
ここで、γＲ， γＧ， γＢはそれぞれガンマ補正後のＲ，Ｇ，Ｂ、 ａ〜ｉは任意の浮動小数点。
【００２４】
次にこのＹＵＶ信号のＹ値に対して明るさ補正処理が施される。この明るさ補正処理の詳細については別途後述する。
最後に色補正処理により色補正が行われ全ての現像処理が完了する。尚この色補正処理は一般的に知られている３次元ルックアップテーブル（３ＤＬＵＴ）処理により行われる。この色補正処理の詳細については別途後述する。
【００２５】
（シーン検出処理の詳細説明）
次に画像処理部１０８で行われるシーン検出処理の詳細について説明する。本実施形態では、青空シーン、自然の緑シーン、夕景シーン、人物シーンの検出が行われる。
尚以下に説明するシーン検出処理はいずれも動画撮影された複数フレームのうち任意の１フレームの画像を解析することで行われる。
【００２６】
＜青空シーン検出方法＞
以下、図８のフローチャートを参照して、青空シーン検出処理の動作について説明する。
ステップＳ８０１では、動画撮影された１フレームの１２ビットＲＡＷデータを画像処理部１０８でｎ×ｍ（ｎ、ｍは整数）の領域（ブロック）にブロック分割し、分割された各領域内のＲ，Ｇ，Ｂ各色の画素の平均値を算出する。本実施形態ではｎ、ｍは８とする。
【００２７】
次にステップＳ８０２で、各ブロックのＲ，Ｇ，Ｂ平均値に対して、前述したホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。ここで仮現像処理された結果として８×８各ブロックのＹＵＶ値が算出される。
【００２８】
次にステップＳ８０３で、画面内全ブロックに占める青空ブロックの割合を算出する。青空ブロックかどうかの判定はＵＶ色空間上で青空判定領域（第３の領域）を定義し、その領域内に入ったブロックの数をカウントすることで行われる。
図１３の１３０１にＵＶ色空間上の青空判定領域の例を示した。本実施形態ではＹ値によらず、ＵＶ色空間上の青空判定領域は同じとしているが、Ｙ値毎にＵＶ色空間上の青空判定領域を異ならせるような構成としても良い。
尚、ＵＶ色空間上の青空判定領域は、ステップＳ８０２の仮現像処理を施した様々な場所、季節、時刻に撮影した青空画像の青空部のＵＶ値が含まれるような領域を事前に算出しておき、メモリ１０７に記録しておく。
【００２９】
次に総ブロック個数（本実施形態では８×８＝６４個）に占めるＵＶ色空間上の青空判定領域に入ったブロック個数の割合（以下青空ブロック割合）に応じて、青空シーンの検出を行う。本実施形態では青空ブロック割合が５０％以上で青空シーンと判定する。
【００３０】
＜自然の緑シーン検出方法＞
以下、図９のフローチャートを参照して、草木といった自然の緑シーン検出処理の動作について説明する。
ステップＳ９０１では、動画撮影された１フレームの１２ビットＲＡＷデータを画像処理部１０８でｎ×ｍ（ｎ、ｍは整数）の領域（ブロック）に分割し、分割された各領域内のＲ，Ｇ，Ｂ各色の画素の平均値を算出する。ステップＳ８０１と同じく本実施形態ではｎ、ｍは８とする。
【００３１】
次にステップＳ９０２で、各ブロックのＲ，Ｇ，Ｂ平均値に対して、前述したホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。ここで仮現像処理された結果として８×８各ブロックのＹＵＶ値が算出される。
【００３２】
次にステップＳ９０３で、画面内全ブロックに占める自然の緑ブロックの割合を算出する。自然の緑ブロックかどうかの判定はＵＶ色空間上で自然の緑判定領域（第２の領域）を定義し、その領域内に入ったブロックの数をカウントすることで行われる。
図１４の１４０１にＵＶ色空間上の自然の緑判定領域の例を示した。本実施形態ではＹ値によらず、ＵＶ色空間上の自然の緑判定領域は同じとしているが、Ｙ値毎にＵＶ色空間上の自然の緑判定領域を異ならせるような構成としても良い。
尚、ＵＶ色空間上の自然の緑判定領域は、ステップＳ９０２の仮現像処理を施した様々な草木の画像の緑部のＵＶ値が含まれるような領域を事前に算出しておき、メモリ１０７に記録しておく。
【００３３】
次に総ブロック個数（本実施形態では８×８＝６４個）に占めるＵＶ色空間上の自然の緑判定領域に入ったブロック個数の割合（以下自然の緑ブロック割合）に応じて、自然の緑シーンの検出を行う。本実施形態では自然の緑ブロック割合が５０％以上で自然の緑シーンと判定する。
【００３４】
＜夕景シーン検出方法＞
以下、図１０のフローチャートを参照して、夕焼け空が写った夕景シーン検出処理の動作について説明する。
ステップＳ１００１では、動画撮影された１フレームの１２ビットＲＡＷデータを画像処理部１０８でｎ×ｍ（ｎ、ｍは整数）の領域（ブロック）に分割し、分割された各領域内のＲ，Ｇ，Ｂ各色の画素の平均値を算出する。ステップＳ８０１と同じく本実施形態ではｎ、ｍは８とする。
【００３５】
次にステップＳ１００２で、各ブロックのＲ，Ｇ，Ｂ平均値に対して、前述したホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。ここで仮現像処理された結果として８×８各ブロックのＹＵＶ値が算出される。
【００３６】
次にステップＳ１００３で、画面内に占める夕景ブロックの割合を算出する。夕景ブロックかどうかの判定はＵＶ色空間上で夕景判定領域（第１の領域）を定義し、その領域内に入ったブロックの数をカウントすることで行われる。
図１５の１５０１にＵＶ色空間上の夕景判定領域の例を示した。本実施形態ではＹ値によらず、ＵＶ色空間上の夕景判定領域は同じとしているが、Ｙ値毎にＵＶ色空間上の夕景判定領域を異ならせるような構成としても良い。
尚、ＵＶ色空間上の夕景判定領域は、ステップＳ１００２の仮現像処理を施した様々な夕景（夕焼け空）のオレンジ部のＵＶ値が含まれるような領域を事前に算出しておき、メモリ１０７に記録しておく。
【００３７】
次に全ブロック個数（本実施形態では８×８＝６４個）に占めるＵＶ色空間上の夕景判定領域に入ったブロック個数の割合（以下自然の緑ブロック割合）を算出する。
また、夕景検出の確度を高めるために、ステップＳ１００４で、夕焼けのオレンジや空の青色以外の夕景に存在しない色が含まれていないかどうかを判定し、夕景に存在しない色が含まれていた場合には夕景シーンと判定されにくくする。
具体的には、図１５のＵＶ色空間上の１５０２と１５０３の緑や赤色の領域を夕景に存在しない色領域と定義する。そして、８×８ブロックＹＵＶデータに対して夕景に存在しない色領域内に入ったブロック個数をカウントする。
【００３８】
次に８×８ブロックＹＵＶデータ総ブロック個数（本実施形態では８×８＝６４個）に占めるＵＶ色空間上の夕景に存在しない色領域に入ったブロック個数の割合（以下夕景以外ブロック割合）を算出する。
そして最後にステップＳ１００５で、夕景ブロック割合が５０％以上、且つ夕景以外ブロック割合１０％以下の場合に夕景シーンと判定する。
【００３９】
＜人物シーン検出方法＞
以下、図１１のフローチャートを参照して、人物の顔が写った人物シーン検出処理の動作について説明する。
ステップＳ１１０１では、動画撮影された１フレームの１２ビットＲＡＷデータに対して
一般的に知られているパターンマッチング処理により、画像内に顔があるかどうかを検出する。尚顔パターンデータは事前にメモリ１０７に記録されているものとする。
また本実施形態では人物の顔のパターンを検出するようにしているが、人物以外にも動物、建造物、乗り物、などを検出するような構成としても良い。いずれの場合も検出する被写体のパターンデータをメモリ１０７に記録しておき、パターンマッチング処理により実施される。
【００４０】
次にステップＳ１１０２で、人物検出されたかどうかの判定を行う。ステップＳ１１０１で人物検出されていなければ、人物シーンではないと判断し処理は終了となる。
ステップＳ１１０１で人物検出されていた場合、以下に説明するステップＳ１１０３〜Ｓ１１０６にて詳細な情報を取得する。
ステップＳ１１０３ではまず、検出された顔の大きさと画面内の顔位置座標を算出する。
【００４１】
次にステップＳ１１０４で１２ビットＲＡＷの顔領域に対応した領域内の平均ＲＧＢ値を算出する。そして、青空検出のステップＳ８０２などで行った仮現像処理と同様の手法で、仮現像を実施し顔領域内のＹＵＶ値を算出する。
そしてステップＳ１１０５で、ステップＳ１１０４で算出したＹＵＶ値のＹ値で顔領域の明るさを取得する。
最後にステップＳ１１０６で、ステップＳ１１０４で算出したＹＵＶ値のＵＶ値で顔領域の色を取得する。
以上が画像処理部１０８で行われる各シーンの検出処理方法である。
尚、例えば青空シーン且つ人物シーンというように、それぞれのシーンは重複して検出される場合もある。
【００４２】
（各機能の自動／固定モードの詳細説明）
次に前述した各機能における自動／固定の２つのモードに関する詳細について説明する。
図４に前述した各機能における自動／固定の２つのモードの選択肢をまとめた表を示した。また、図５に各検出シーンと、各機能が「自動」であった場合に各シーンに特化した処理が行われる機能との対応関係を示した。
図４において明るさ補正（画像処理条件、第２の条件）のユーザ選択肢として「自動」、「しない」がある。
ここで明るさ補正「自動」に設定された場合、撮影された画像に適した明るさやコントラストの補正が画像処理部１０８で行われる。
明るさやコントラストの補正値は下記の方法で算出される。
【００４３】
まず撮影された画像に対して画像処理部１０８で輝度ヒストグラムを算出する。このヒストグラムは画像処理部１０８で現像処理された８ビットＹＵＶ画像の各画素に対して、Ｙ値を０〜２５５の各値毎にカウントして算出する。図６の６０１に暗めに撮影された画像のヒストグラムの例を示した。このようにヒストグラムが暗い側に偏っていた場合には図７の７０１に示すコントラスト補正曲線を用いて明るく補正する。尚図７は水平軸に入力Ｙ値、垂直軸に出力Ｙ値を示している。
このようなコントラスト補正曲線を画像に適用することで、画像が明るく補正される。参考までに図６の６０２に明るさ補正後のヒストグラム形状を示した。
尚本実施形態ではコントラスト補正により明るさを補正する方法を示したが、ＲＧＢ信号に一律のゲインをかけることで明るさを補正する構成としてもよい。
【００４４】
また、このようにして算出された明るさやコントラストの補正値に対して、画像処理部１０８のシーン検出結果に応じて下記の処理を実施する。
例えば夕景シーン（第１のシーン）が検出された場合、夕景の雰囲気を残す為に、明るさ補正量を弱める又は補正しないようにする。また人物が検出された場合、ヒストグラムから算出した補正に対して、人物の顔領域に対応した明るさが適切になるように更に明るさ補正量を調整する。具体的には、事前に適切な顔のＹ値の目標値を決定しておき、顔領域に対応したＹ値がその目標値になるように明るさ補正量を調整する。
青空、自然の緑シーン（第２のシーン、第３のシーン）が検出された場合については、特にシーンに対応した処理は行わず、ヒストグラムを用いて算出された明るさ、コントラスト補正量をそのまま使用する。
【００４５】
これらの関係は図５の明るさ補正の欄に示している。図５において「○」の項目、即ち「夕景シーン」、「人物シーン」は、明るさ補正が「自動」であった場合、明るさ補正値の算出が、全シーン共通で行われるヒストグラムを用いた方法以外にシーンに特化した処理で行われることを示している。
一方図５の明るさ補正「しない」に設定された場合は画像の明るさやコントラストの補正は行わない。
【００４６】
次に図４においてＷＢ（画像処理条件、第２の条件）のユーザ選択肢として「自動」、「マニュアル」がある。
ここでＷＢ「自動」に設定された場合、例えば撮影画像の画面全体の平均ＲＧＢデータから式３で補正値が算出される。
【００４７】
【数３】
【００４８】
また、このようにして算出されたＷＢ補正値に対して、画像処理部１０８のシーン検出結果に応じて下記の処理を実施する。
例えば夕景シーン（第１のシーン）が検出された場合には、夕陽の赤味がより強調されるように、式３の結果に対してさらに式４の補正が行われる。
【００４９】
【数４】
ここで、Ｋｒ＝１．０以上の浮動小数点、Ｋｂ＝１．０以下の浮動小数点である。
式４によればＲ画素がより大きく、Ｂ画素がより小さくなることで、式３で算出したＷＢ補正値を適用するよりも赤味の強い画像が得られる。
【００５０】
また、人物が検出された場合には、人物の顔領域に対応した色を検出し、人物の顔色が適切な肌色になるように式１で算出したＷＢ補正値をさらに補正する。
青空、自然の緑シーン（第２のシーン、第３のシーン）が検出された場合については、特にシーンに対応した処理は行わず、式１で算出されたＷＢ補正量をそのまま使用する。
これらの関係は図５のＷＢの欄に示している。図５において「○」の項目、即ち「夕景シーン」、「人物シーン」が、全シーン共通で行われる式３を用いた方法以外にシーンに特化した方法で行われることを示している。
【００５１】
一方、図５のＷＢ「マニュアル」に設定された場合には、ユーザが設定した（例えば「太陽光」ならば色温度約５２００Ｋ）光源下で適切なホワイトバランスが得られるような固定の補正値が適用される。尚、ユーザが設定する固定のＷＢ補正値は事前に算出されてメモリ１０７に記録されている。
次に図４において色補正（画像処理条件、第１の条件）のユーザ選択肢として「自動」、「標準」がある。
ここで色補正「標準」が設定された場合にはシーンによらず固定の色再現となる。具体的には、画像処理部１０８の色補正処理部で適用される３ＤＬＵＴ処理に固定の３ＤＬＵＴが適用される。この固定の３ＤＬＵＴは例えば、入出力が同じ（即ち色変換処理がされない）ＬＵＴであってもよい。
ここで色補正「自動」に設定された場合、３ＤＬＵＴを用いて画像処理部１０８で検出されたシーンに適した色に補正する。
【００５２】
例えば青空シーン（第２のシーン）が検出された場合、「標準」設定時よりも青の彩度が高くなるような３ＤＬＵＴを適用し、青空をより鮮やかに強調する。
自然の緑シーン（第２のシーン）が検出された場合、「標準」設定時よりも緑の彩度が高くなるような３ＤＬＵＴを適用し、自然の緑をより鮮やかに強調する。
夕景シーン（第１のシーン）が検出された場合、「標準」設定時よりもオレンジの彩度が高くなるような３ＤＬＵＴを適用し、夕陽のオレンジをより鮮やかに強調する。
人物シーンが検出された場合、「標準」設定時よりも肌色の色相を赤寄りに、明度を高めに、彩度低めになるような３ＤＬＵＴを適用することで透明感のある肌色に補正する。
これらの関係は図５の色補正の欄に示している。色補正では全項目で「○」が付いているように、色補正「自動」に設定された場合、それぞれのシーンで標準とは異なる固有の処理が行われる。尚、各シーンに適した３ＤＬＵＴは事前に作成しておきメモリ１０７に記録しておく。もちろん、シーンが検出された際にその都度生成してもよいが、その分演算負荷が増えてしまうことになる。
【００５３】
次に図４において露出制御（画像取得条件）のユーザ選択肢として「自動」、「マニュアル」がある。
ここで露出制御「マニュアル」が設定された場合には、ユーザが任意に設定した絞り１０１、シャッター１０２の速度で撮影が行われる。
露出制御「自動」が設定された場合には、システム制御部１１３は画像処理部１０８で処理された画像の明るさに応じて、画像中央部の明るさが適切になるような露光制御量を決定する。露光制御部１１０はこの露光制御量に従って絞り１０１やシャッター１０２の速度を制御し、撮像素子１０３に入射する光の露光量を制御する。
尚、シーン検出処理により人物の顔等の検出情報が得られた場合、画像中央部の明るさではなく、検出された顔領域の明るさが適切になるように露光制御量の算出が行われる。
青空、自然の緑、夕景シーンが検出された場合については、特にシーンに対応した処理は行わず、前述したように画像中央部の明るさが適切になるような露出を設定する。
これらの関係は図５の露出の欄に示している。図５において「○」の項目、即ち「人物シーン」では、露出制御「自動」が設定された場合、前述した画像中央部の明るさが適切になるような露出制御ではなくシーンに特化した露出制御となることを示している。
【００５４】
次に図４においてフォーカス制御（画像取得条件）のユーザ選択肢として「自動」、「マニュアル」がある。
ここでフォーカス制御「マニュアル」が設定された場合には、ユーザが任意に設定したフォーカス位置で撮影が行われる。
フォーカス制御「自動」が設定された場合には、例えば画面中央部の被写体に自動的にピントがあうように、コントラストオートフォーカス（以下コントラストＡＦ）処理によりフォーカスが制御される。
このコントラストＡＦ処理では、画像の着目部分のコントラストが最も高くなるように、測距制御部１１１によるフォーカス制御が行われる。具体的には、システム制御部１１３の指示に従い測距制御部１１１がフォーカスを徐々に変更しながら、画像処理部１０８で処理された画像のコントラストを解析することで行われる。
尚、シーン検出処理により人物の顔等の検出情報が得られた場合、その顔位置にピントを合わせるようにコントラストＡＦ処理が行われる。
青空、自然の緑、夕景シーンが検出された場合については、特にシーンに対応した処理は行わず、前述したように画像中央部の被写体にピントが合うように制御される。
これらの関係は図５の「フォーカス」の欄に示している。図５において「○」の項目、即ち「人物シーン」では、フォーカス制御「自動」が設定された場合、前述した画像中央部の被写体にピントを合わせる制御ではなくシーンに特化したフォーカス制御となることを示している。
以上が、各機能の自動／固定モードの詳細説明である。
【００５５】
ここで、本実施形態の特徴である、動画撮影時のシーン検出処理全体について説明する。
前述したように、例えばフレームレート３０フレーム／秒の動画において、図２に示すように、２フレームに１回「青空シーン」、「自然の緑シーン」、「夕景シーン」の３つのシーンの検出処理を全て行うようにした場合、非常に演算負荷が重くなる。その結果、１２フレームの期間内に全ての検出処理が完了できず、最悪の場合動画撮影が強制終了されてしまう。仮に、１２フレームにて検出処理が終わるとしても、シーン検出に演算負荷を大きくとられ、他の処理が並行して行えないなどの弊害が出てしまうことが考えられる。
そこで、本実施形態では、明るさ補正、ＷＢ、色補正、露出制御、フォーカス制御のそれぞれの機能が自動モード、固定モードのいずれで設定されるかに応じて、シーン検出のシーン検出数を優先するかシーン検出速度を優先するかを選択する。すなわち、検出されるシーン特有の補正処理や制御などが発生する機能が自動設定の場合は、シーン検出数を優先し、そうでない場合は、シーン検出速度を優先する。
図１２のフローチャートを参照して、本実施形態における動画撮影時のデジタルカメラ１１４のシーン検出処理全体の動作フローについて説明する。
尚、各機能の自動／固定処理の設定において、自動設定されている機能については、所定時間の周期（サイクル）で図１２のフローチャートの動作とは別タスクとして並列処理されているものとする。具体的には明るさ補正、ＷＢ、色補正、露出、フォーカス各機能が自動モードで設定されている時は、各機能が別のタスクで並列処理される。例えばフレームレート３０フレーム／秒で動画撮影されている場合、本実施形態では下記のサイクルで補正値の演算が行われるものとする。
【００５６】
明るさ補正 ・・・１２フレームに１回
ホワイトバランス ・・・１２フレームに１回
色補正 ・・・１２フレームに１回
露出 ・・・４フレームに１回
フォーカス ・・・２フレームに１回
尚、これらの機能の補正値演算は上記サイクルにて実施されるが、撮影時に各フレームに適用される補正量は１フレーム刻みで段階的に変化するように制御される。
例えば明るさ補正を例にあげると、補正する量の目標値は１２フレームに１回演算されるが、１回の演算で次の演算までの１２フレーム分の補正量が算出されるため、補正量は１フレーム刻みで段階的に変化する。その他の機能についても同様である。ただし、実施の形態としてはこの限りではなく、１フレーム当たりの補正量は適宜調整可能である。
【００５７】
以上のような前提において、図１２のシーン検出全体の動作フローを説明する。
まず撮影開始釦１１２が押下され撮影が開始されると、画像処理部１０８のシーン検出処理が開始される。
ステップＳ１２０１〜Ｓ１２０５は、まず各機能が自動／固定モードのいずれに設定されているかを判定し、その結果に応じてシーン検出処理を異ならせるステップである。ステップＳ１２０１で色補正の設定が自動であると判定された場合は、人物検出、青空検出、自然の緑検出、夕景検出全てのシーン検出を行うフローＡへ進み、自動でない、すなわち固定であると判定された場合にはステップＳ１２０２へ進む。ステップＳ１２０２で明るさ補正の設定が自動であると判定された場合は、人物検出、夕景検出に絞ってシーン検出を行うフローＢへ進み、自動でないと判定された場合はステップＳ１２０３へ進む。ステップＳ１２０３でＷＢの補正の設定が自動であると判定された場合はフローＢへ進み、自動でないと判定された場合はステップＳ１２０４へ進む。ステップＳ１２０４で露出の制御の設定が自動であると判定された場合は、人物検出に絞ってシーン検出を行うフローＣへ進み、自動でないと判定された場合は、ステップＳ１２０５へ進む。ステップＳ１２０５では、フォーカスの制御の設定が自動であると判定された場合はフローＣへ進み、自動でないと判定された場合、すなわち５つの機能全てが固定モードであったときには、シーン検出の必要なしとしてシーン検出処理を終了する。
【００５８】
人物検出、青空検出、自然の緑検出、夕景検出全てのシーン検出を行うフローＡのフローについて説明する。ステップＳ１２０６でシーンフラグＳに１がセットされる。次にステップＳ１２０７でフレーム数が１２の倍数かどうかの判定が行われ、１２の倍数の場合に次のステップに進む。この処理は１２フレームに１回のサイクルで１つのシーンの検出処理を行うことを意味する。
【００５９】
次にステップＳ１２０８でシーンフラグＳの判定が行われる。ここでＳ＝１であった場合、ステップＳ１２０９に進み人物検出処理を実行する。この人物検出処理方法については既に説明済みであるため、ここでの説明は割愛する。
【００６０】
次にステップＳ１２１３に進み、シーンフラグＳが６かどうかの判定を行う。今回は６ではないのでステップＳ１２１４に進み、シーンフラグＳに１を加算する。次にステップＳ１２１５で撮影終了かどうかの判定が行われる。撮影が終了していなかった場合、再びステップＳ１２０７に戻り、フレーム数が１２の倍数となるまで待機する。次にステップＳ１２０８でシーンフラグＳを判定する。今回はシーンフラグＳは２となっているので、ステップＳ１２１０に進み青空シーンの検出を行う。この青空シーン検出処理方法については既に説明済みであるため、ここでの説明は割愛する。
【００６１】
次に再度ステップＳ１２１３でシーンフラグＳが６かどうかの判定が行われる。ここでシーンフラグＳが６となると再びステップＳ１２０６に戻りシーンフラグが１にセットされる。このようにステップＳ１２０６〜Ｓ１２１５の処理はステップＳ１２１５で撮影終了と判定されるまで繰り返される。
尚ステップＳ１２０８のシーンフラグ判定処理のみ繰り返される毎に処理が異なるのでステップＳ１２０８について詳細に説明する。
ステップＳ１２０８ではシーンフラグＳが１２フレームおきに１加算された数値が判定されることになる。下記にシーンフラグ毎の検出シーンを示した。
【００６２】
シーンフラグＳ＝１ ・・・人物検出（ステップＳ１２０９）
シーンフラグＳ＝２ ・・・青空検出（ステップＳ１２１０）
シーンフラグＳ＝３ ・・・人物検出（ステップＳ１２０９）
シーンフラグＳ＝４ ・・・自然の緑検出（ステップＳ１２１１）
シーンフラグＳ＝５ ・・・人物検出（ステップＳ１２０９）
シーンフラグＳ＝６ ・・・夕景検出（ステップＳ１２１２）
尚、ステップＳ１２０９〜ステップＳ１２１２の各シーン検出方法の詳細については既に説明済みであるため、ここでは説明を割愛する。
本フローに従うと、人物シーンについては２４フレームに１回、その他のシーンについては７２フレームに１回の周期で検出されるようになっている。
【００６３】
次に人物検出、夕景検出に絞ってシーン検出を行うフローＢのフローを説明する。ステップＳ１２１６でシーンフラグＳに１がセットされる。次にステップＳ１２１７でフレーム数が１２の倍数かどうかの判定が行われ、１２の倍数の場合に次のステップに進む。
【００６４】
次にステップＳ１２１８でシーンフラグＳの判定が行われる。ここでＳ＝１であった場合、ステップＳ１２０９に進み人物検出処理を実行する。この人物検出処理方法については既に説明済みであるため、ここでの説明は割愛する。
【００６５】
次にステップＳ１２１９でシーンフラグが２かどうかの判定を行う。この時点では１であるので、ステップＳ１２２０に進む。ステップＳ１２２０ではシーンフラグＳに１を加算する。即ちシーンフラグＳは２となる。次にステップＳ１２２１で撮影終了釦１１２が押下され撮影が終了したかどうかの判定が行われる。撮影が終了していなかった場合、再びステップＳ１２１７に戻り、フレーム数が１２の倍数となるまで待機する。そして再度ステップＳ１２１８でシーンフラグＳの判定が行われる。今回はシーンフラグが２となっているのでステップＳ１２１２の夕景検出処理が実施される。この夕景検出処理方法については既に説明済みであるため、ここでの説明は割愛する。次にステップＳ１２１９でシーンフラグが２かどうかの判定が行われる。今回はシーンフラグ２となっているため、ステップＳ１２１６に戻る。そして再度ステップＳ１２１６でシーンフラグＳは１になる。このステップＳ１２１６から進んだＳ１２２１までの処理がステップＳ１２２１で撮影終了と判定されるまで繰り返し実施される。
即ちステップＳ１２１６から進んだＳ１２２１までの処理によれば、前期色補正の設定が固定であった場合には、人物検出処理と夕景検出処理をそれぞれ２４フレームに１回のサイクルで実施する。
【００６６】
次に人物検出に絞ってシーン検出を行うフローＣのフローを説明する。フローＣでは、ステップＳ１２２２でフレーム数が１２の倍数かどうかの判定が行われ、１２の倍数の場合に次のステップＳ１２０９に進む。ステップＳ１２０９では人物シーンの検出が行われ、次にステップＳ１２２３で撮影終了釦１１２が押下され撮影が終了したかどうかの判定が行われる。撮影が終了していなかった場合、再びステップＳ１２２２に戻り、フレーム数が１２の倍数となるまで待機する。ステップＳ１２２３で撮影終了と判定された場合、シーン検出処理を終了する。
尚、前述したように、ここで説明した図１２のフローと並行して、明るさ補正、ホワイトバランス、色補正、露出、フォーカス、の各機能の制御が別タスクとして行われており、図１２のフローのシーン検出結果は随時最新の結果が各機能に反映される。
図３に第１の実施形態における図１２に示したフローによる検出シーンサイクルをまとめた表を示した。
図３（ａ）の検出シーンサイクルの表がフローＡの処理に対応している。
また、図３（ｂ）の検出シーンサイクルの表がフローＢの処理に対応している。
また、図３（ｃ）の検出シーンサイクルの表がフローＣの処理に対応している。
図３から分かるように、フローＡの場合は、検出速度よりも検出シーン数を優先し、人物、青空、自然の緑、夕景の４つのシーンをそれぞれ７２フレームに１回のサイクルで検出している。但し、人物シーンについては、図５に示すように特に応答速度が要求される露出やフォーカスの制御に用いられる為、他のシーンよりも短い２４フレームに１回のサイクルで検出するようにしている。
フローＢの場合は、検出速度を優先し、人物シーンと夕景シーンのみをそれぞれ２４フレームに１回のサイクルで検出している。これは図５に示したように青空と自然の緑シーン検出結果は色補正処理のみで使用されるのでこのような処理が可能となっている。フローＢの夕景シーンの検出サイクルは、２４フレームに１回と、フローＡよりも短くなっている（検出速度が速くなっている）ことがわかる。
フローＣの場合も、フローＢと同様に検出速度を優先し、人物シーンのみを１２フレームに１回のサイクルで検出している。これは図５に示したように人物シーン以外のシーン検出結果は露出制御及びフォーカス制御に使用されないのでこのような処理が可能となっている。フローＣの人物シーンの検出サイクルは、１２フレームに１回と、フローＡ、Ｂよりも短くなっている（検出速度が速くなっている）ことがわかる。
【００６７】
以上のように、本実施形態では、撮影条件に応じてシーン検出の検出速度を優先した処理と検出シーン数を優先した処理を効果的に行うことで、シーン検出による演算負荷を軽減しつつ、より正確なシーン検出に対応した補正処理及び撮影制御を可能にする。
本実施形態では、人物、青空、自然の緑、夕景の４つのシーンを検出候補としているが、本発明はこれに限らず、検出候補とするシーンは本実施形態より多くても少なくても良い。例えば、本実施形態に比べて人物シーンの検出を行わないときの、各シーンの検出シーンサイクルの表を示した。図１６に示すように色補正処理が自動設定の場合、検出シーン数を優先し、各シーンが３６フレームに１回のサイクルで検出処理される。一方、色補正処理が固定設定の場合、検出速度を優先し、夕景シーンのみが１２フレームに１回のサイクルで検出処理される。
【００６８】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００６９】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００７０】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００７１】
１００ レンズ
１０１ 絞り
１０２ シャッター
１０３ 撮像素子
１０４ Ａ／Ｄ変換器
１０５ タイミング発生部
１０６ メモリ制御部
１０７ メモリ
１０８ 画像処理部
１０９ 外部記憶装置
１１０ 露光制御部
１１１ 測距制御部
１１２ 撮影開始釦
１１３ システム制御部
１１４ 画像処理装置
１１４ 操作部
【特許請求の範囲】
【請求項１】
複数フレームの画像データを取得する画像取得手段と、
予め設定された複数のシーンの中から、前記画像データに該当するシーンを検出するシーン検出手段と、
前記シーン検出手段による検出結果に応じて複数の画像取得条件または複数の画像処理条件の設定を自動で行う条件設定手段と、
前記条件設定手段によって設定を自動で行う画像取得条件または画像処理条件を指定する指定手段と、を有し、
前記条件設定手段によって設定される条件は、前記予め設定された複数のシーンの中の第１のシーン、第２のシーン、第３のシーンそれぞれで固有の設定がなされる第１の条件と、
前記第１のシーンでは他のシーンとは異なる固有の設定がなされ、前記第２のシーン及び第３のシーンでは同じ設定がなされる第２の条件と、を含み、
前記シーン検出手段は、前記指定手段によって前記第１の条件が指定される場合、前記第１のシーンを所定の周期で検出し、
前記指定手段によって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第１のシーンを検出する周期を前記所定の周期よりも短くすることを特徴とする画像処理装置。
【請求項２】
前記シーン検出手段は、
前記指定手段によって前記第１の条件が指定される場合、前記第２のシーン及び第３のシーンを検出し、
前記指定手段によって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第２のシーン及び第３のシーンを検出しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像取得条件は、露出制御の条件、フォーカス制御の条件のうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の画像処理条件は、ゲインまたはコントラスト補正曲線による明るさ補正の条件、ホワイトバランス処理の条件、色補正の条件の少なくとも１つを含むことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記第１の条件は色補正の条件であり、
前記第１のシーンは夕景シーン、前記第２のシーンは自然の緑のシーンあるいは青空シーンであることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項６】
前記色補正の条件は、前記画像データに対して３次元ルックアップテーブルにより色補正が行われる色補正処理において用いられる前記３次元ルックアップテーブルを設定することであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記シーン検出手段は、前記夕景シーンを、前記画像データをブロック分割し、色空間上で第１の領域の中にあるブロックの、前記画像データの全ブロックに占める割合に基づいて判定することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記シーン検出手段は、前記自然の緑のシーンを、前記画像データをブロック分割し、色空間上で第２の領域の中にあるブロックの、前記画像データの全ブロックに占める割合に基づいて判定することを特徴とする請求項５乃至７のいずれか１つに記載の画像処理装置。
【請求項９】
前記シーン検出手段は、前記青空シーンを、前記画像データをブロック分割し、色空間上で第３の領域の中にあるブロックの、前記画像データの全ブロックに占める割合に基づいて判定することを特徴とする請求項５乃至８のいずれか１つに記載の画像処理装置。
【請求項１０】
前記第２の条件はゲインまたはコントラスト補正曲線による明るさ補正、あるいはホワイトバランスの処理の設定であることを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
複数フレームの画像データを取得する画像取得ステップと、
予め設定された複数のシーンの中から、前記画像データに該当するシーンを検出するシーン検出ステップと、
前記シーン検出ステップによる検出結果に応じて複数の画像取得条件または複数の画像処理条件の設定を自動で行う条件設定ステップと、
前記条件設定ステップにて設定が自動で行われる画像取得条件または画像処理条件を指定する指定ステップと、を有し、
前記条件設定ステップにて設定される条件は、前記予め設定された複数のシーンの中の第１のシーン、第２のシーン、第３のシーンそれぞれで固有の設定がなされる第１の条件と、
前記第１のシーンでは他のシーンとは異なる固有の設定がなされ、前記第２のシーン及び第３のシーンでは同じ設定がなされる第２の条件と、を含み、
前記シーン検出ステップでは、前記指定ステップにて前記第１の条件が指定される場合、前記第１のシーンを所定の周期で検出し、
前記指定ステップによって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第１のシーンを検出する周期を前記所定の周期よりも短くすることを特徴とする画像処理装置の制御方法。
【請求項１２】
請求項１１に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１３】
請求項１１に記載の画像処理装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
複数フレームの画像データを取得する画像取得手段と、
予め設定された複数のシーンの中から、前記画像データに該当するシーンを検出するシーン検出手段と、
前記シーン検出手段による検出結果に応じて複数の画像取得条件または複数の画像処理条件の設定を自動で行う条件設定手段と、
前記条件設定手段によって設定を自動で行う画像取得条件または画像処理条件を指定する指定手段と、を有し、
前記条件設定手段によって設定される条件は、前記予め設定された複数のシーンの中の第１のシーン、第２のシーン、第３のシーンそれぞれで固有の設定がなされる第１の条件と、
前記第１のシーンでは他のシーンとは異なる固有の設定がなされ、前記第２のシーン及び第３のシーンでは同じ設定がなされる第２の条件と、を含み、
前記シーン検出手段は、前記指定手段によって前記第１の条件が指定される場合、前記第１のシーンを所定の周期で検出し、
前記指定手段によって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第１のシーンを検出する周期を前記所定の周期よりも短くすることを特徴とする画像処理装置。
【請求項２】
前記シーン検出手段は、
前記指定手段によって前記第１の条件が指定される場合、前記第２のシーン及び第３のシーンを検出し、
前記指定手段によって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第２のシーン及び第３のシーンを検出しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像取得条件は、露出制御の条件、フォーカス制御の条件のうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数の画像処理条件は、ゲインまたはコントラスト補正曲線による明るさ補正の条件、ホワイトバランス処理の条件、色補正の条件の少なくとも１つを含むことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
前記第１の条件は色補正の条件であり、
前記第１のシーンは夕景シーン、前記第２のシーンは自然の緑のシーンあるいは青空シーンであることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項６】
前記色補正の条件は、前記画像データに対して３次元ルックアップテーブルにより色補正が行われる色補正処理において用いられる前記３次元ルックアップテーブルを設定することであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記シーン検出手段は、前記夕景シーンを、前記画像データをブロック分割し、色空間上で第１の領域の中にあるブロックの、前記画像データの全ブロックに占める割合に基づいて判定することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記シーン検出手段は、前記自然の緑のシーンを、前記画像データをブロック分割し、色空間上で第２の領域の中にあるブロックの、前記画像データの全ブロックに占める割合に基づいて判定することを特徴とする請求項５乃至７のいずれか１つに記載の画像処理装置。
【請求項９】
前記シーン検出手段は、前記青空シーンを、前記画像データをブロック分割し、色空間上で第３の領域の中にあるブロックの、前記画像データの全ブロックに占める割合に基づいて判定することを特徴とする請求項５乃至８のいずれか１つに記載の画像処理装置。
【請求項１０】
前記第２の条件はゲインまたはコントラスト補正曲線による明るさ補正、あるいはホワイトバランスの処理の設定であることを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
複数フレームの画像データを取得する画像取得ステップと、
予め設定された複数のシーンの中から、前記画像データに該当するシーンを検出するシーン検出ステップと、
前記シーン検出ステップによる検出結果に応じて複数の画像取得条件または複数の画像処理条件の設定を自動で行う条件設定ステップと、
前記条件設定ステップにて設定が自動で行われる画像取得条件または画像処理条件を指定する指定ステップと、を有し、
前記条件設定ステップにて設定される条件は、前記予め設定された複数のシーンの中の第１のシーン、第２のシーン、第３のシーンそれぞれで固有の設定がなされる第１の条件と、
前記第１のシーンでは他のシーンとは異なる固有の設定がなされ、前記第２のシーン及び第３のシーンでは同じ設定がなされる第２の条件と、を含み、
前記シーン検出ステップでは、前記指定ステップにて前記第１の条件が指定される場合、前記第１のシーンを所定の周期で検出し、
前記指定ステップによって前記第１の条件が指定されず、かつ前記第２の条件が指定される場合、前記第１のシーンを検出する周期を前記所定の周期よりも短くすることを特徴とする画像処理装置の制御方法。
【請求項１２】
請求項１１に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１３】
請求項１１に記載の画像処理装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１６５０４９（Ｐ２０１２−１６５０４９Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２１６９７（Ｐ２０１１−２１６９７）
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月３日（２０１１．２．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]