画像処理装置
【課題】 動きベクトルを利用した電子手ぶれ補正の機能を備えたデジタルカメラにおいて、像ぶれに起因する動きベクトルを除外し、手ぶれに起因する動きベクトルを使用して適切な電子手ぶれ補正機能を実現することを目的とする。
【解決手段】 顔検出回路による顔検出結果に基づき、動きベクトル検出回路は、顔が含まれるブロック周辺の動きベクトルを検出しない構成に制御され、システム制御回路は、動きベクトル検出回路から取得される動きベクトルに基づいて、電子手ぶれ補正の処理を行う。検出される動きベクトルには、顔が含まれるブロック周辺の動きベクトルが除外されている為、像ぶれに起因する動きベクトルの影響をなくした電子手ぶれ補正処理を実現することが可能になる。
【解決手段】 顔検出回路による顔検出結果に基づき、動きベクトル検出回路は、顔が含まれるブロック周辺の動きベクトルを検出しない構成に制御され、システム制御回路は、動きベクトル検出回路から取得される動きベクトルに基づいて、電子手ぶれ補正の処理を行う。検出される動きベクトルには、顔が含まれるブロック周辺の動きベクトルが除外されている為、像ぶれに起因する動きベクトルの影響をなくした電子手ぶれ補正処理を実現することが可能になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像を記録、再生、表示するための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ撮影における画質劣化の要因の一つに手ぶれがある。特に室内撮影など、十分な光量が確保できない条件下での撮影では、手ぶれによる画質劣化を避けることが難しくなる。
【０００３】
また、電子ビューファインダーあるいは動画撮影時において、撮影領域を一定に保ったまま撮影するには、三脚で固定するなどして、手ぶれ等の影響をなくする必要がある。
【０００４】
このような撮影時の手ぶれ軽減の方法として、電子式手ぶれ補正方式と光学式手ぶれ補正方式の２つの方式が知られている。
【０００５】
電子式手ぶれ補正方式は、連続するフレーム間の画像を比較し、画像全体が動く方向と大きさを動きベクトル検出回路により検出し、検出結果から算出される撮影時の手ぶれ量に応じて、画像の読み出し位置を変更することによって、手ぶれ補正を実現している。
【０００６】
一方、光学式手ぶれ補正は、ジャイロによりレンズユニットの動きを検出し、動きの方向と大きさに応じて、レンズの光軸を調整することによって、手ぶれ補正を実現している。
【０００７】
また、カメラのモニターを鏡として使用する場合の例として、選択した特定の領域のみを動きベクトル検出領域とすることで、選択された表示領域が常に一定となるよう手ぶれ補正される提案がなされている（例えば、特許文献１を参照）。
【特許文献１】特開２００５−００５７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、このようなぶれによる画質劣化の要因は、手ぶれだけではなく、被写体そのものが動いてしまう為に発生する、像ぶれの場合もある。
【０００９】
室内での子供の撮影など、特に像ぶれが発生しやすい撮影条件においては、像ぶれの影響とカメラの手ぶれによる影響を正しく分離しないと、不適切な手ぶれ補正を行ってしまう可能性がある。
【００１０】
本発明は、上述の事情に鑑みてなされたものであり、手ぶれ及び像ぶれが発生しやすい撮影条件下において、適切な手ぶれ補正処理を実現することを目的とする。
【課題を解決するための手段】
【００１１】
上述の課題を解決するため、本発明は、入力画像データから被写体の顔領域を検出する顔検出手段と、入力画像データを一時的に保存するメモリ手段と、前記メモリ手段に保存された画像データと、前記入力画像データとの間で、動きベクトルの検出を行う動きベクトル検出手段とを備えた画像処理装置であって、前記顔検出手段により取得される顔領域の情報に基づいて、前記動きベクトル検出手段を制御することを特徴とするものである。
【発明の効果】
【００１２】
本発明に寄れば、被写体の顔が動いている場合であっても、カメラの手ぶれによる動きベクトルの検出領域からは除外されている為、像ぶれの影響を無視して、手ぶれを原因とする動きベクトルの抽出のみを行うことで、適切な手ぶれ補正を行うことが可能になる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００１４】
図１は、本発明の実施例における、画像処理装置１００の構成を示す図である。
【００１５】
１０はズーム機構や絞り機構等を有するレンズユニット、１２は光学像を電気信号に変換する撮像素子（例えばＣＣＤ素子）、１４は撮像素子１２のアナログ出力信号を電気信号に変換するＡ／Ｄ変換器である。１６は、撮像素子１２、Ａ／Ｄ変換機１４、Ｄ／Ａ変換器３０にクロック信号や制御信号を供給するタイミング発生回路であり、システム制御回路５０により制御される。
【００１６】
１８はメモリ制御回路であり、Ａ／Ｄ変換器１４、画像処理回路２０、メモリ２２、記録媒体２４、圧縮・伸長回路２６、Ｄ／Ａ変換器３０、変倍回路２９、顔検出回路８０、動きベクトル検出回路９０との間でデータ転送制御を行う。
【００１７】
Ａ／Ｄ変換器１４から出力されるデータは、画像処理回路２０およびメモリ制御回路１８を介して、或いは画像処理回路２０を介することなくメモリ制御回路１８のみを介して、メモリ２２もしく記録媒体２４に書き込まれる。
【００１８】
２０は、画像処理回路であり、Ａ／Ｄ変換器１４から出力されるデータ或いは、メモリ制御回路１８から出力されるデータに対して、例えば、画像補間処理や色変換処理等の画像処理を施し、ＲＡＷデータからＹＵＶデータに変換する。
【００１９】
２２は、撮影した静止画像や動画像の画像処理や圧縮伸長時の作業領域として使用したり、また表示画像用として使用するメモリであり、画像処理装置１００に内蔵されている。所定枚数の静止画像や所定時間の動画像を格納するに十分な記録容量を備えている。また、メモリ２２は、システム制御回路５０の作業領域としても使用されうる。
【００２０】
２４は、圧縮された画像データを記録するメモリカードやハードディスク等の記録媒体である。記録媒体２４は、半導体メモリや磁気ディスク等から構成され、画像処理装置１００に内蔵されているものもあれば、着脱可能なものもある。
【００２１】
２６は、例えば、ＪＰＥＧ圧縮等により画像データを圧縮或いは伸長する圧縮・伸長回路であり、記録媒体２４に格納された画像データを読み込んで、圧縮処理或いは伸長処理を行い、処理済みのデータをメモリ２２に書き込む。
【００２２】
２８は、変倍回路であり、画像処理回路２０から出力され、メモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、ＹＵＶデータの変倍処理を行う。
【００２３】
３０はＤ／Ａ変換器である。３２は例えば、ＴＦＴ−ＬＣＤ等で構成される画像表示部である。メモリ２２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器３０を介して画像表示部３２に供給され、これにより画像が表示される。
【００２４】
画像表示部３２を用いて、撮像にかかる画像を逐次表示することにより、電子ファインダー機能を実現することができる。また画像表示部３２には、撮影に必要な情報、例えば合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等を行うことができる。
【００２５】
３４は光学ファインダーであり、この光学ファインダー３４を利用することにより、画像表示部３２を利用した電子ファインダー機能を使用することなく、撮影を行うことができる。また、光学ファインダー３４内には、表示手段３２を介して表示する各種撮影用の情報表示および警告表示等を行うための素子が設置されている。
【００２６】
３６はフラッシュであり、ＡＦ補助光の投光機能やフラッシュ調光機能も有する。
【００２７】
３８はレンズユニット１０の制御部であり、システム制御回路５０の指示に従いレンズユニット１０の焦点制御、ズーム制御、絞り値、シャッタースピードの制御等を行う。
【００２８】
４０はモードダイヤルスイッチであり、これにより操作者は、電源オフ、自動撮影モード、マニュアル撮影モード、パノラマ撮影モード、再生モード、動画モード、等の各機能モードを切り替えることができる。
【００２９】
４２はシャッタースイッチであり、シャッターボタン４４の操作途中（半押し）で、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作の開始を指示する。
【００３０】
またシャッタースイッチ４２は、シャッターボタン４４の操作完了（全押し、即ち操作者指示）で、撮像素子１２から出力される信号をＡ／Ｄ変換器１４によりデジタル信号に変換し、これを、メモリ制御回路１８を介してメモリ２２に格納する露光処理、メモリ制御回路１８を介して変倍回路Ａで行うＲＡＷデータの変倍処理、メモリ制御回路１８を介して画像処理回路２０において行う現像処理、メモリ制御回路１８を介して変倍回路Ｂにおいて行うＹＵＶデータの変倍処理、メモリ制御回路１８を介して圧縮伸長回路２６において行う圧縮処理、メモリ制御回路１８を介してメモリ２２から記録媒体２４へと圧縮された画像データを書き込む記録処理の、一連の処理の開始を指示する。
【００３１】
４６は表示切替スイッチである。撮影時においては、表示切り替えスイッチ４６が押されると、画像表示部３２を利用した電子ファインダー機能の、ON／OFF制御をシステム制御回路５０に指示する。また再生時においては、表示切替スイッチ４６が押されると、情報表示付き再生機能のＯＮ／ＯＦＦ制御をシステム制御回路５０に指示する。
【００３２】
４８は、ズームレバーである。システム制御回路５０を介して、レンズユニット１０へのズーム動作の指示あるいは、電子ズーム倍率をシステム制御回路５０に指示する。
【００３３】
５０は、画像処理装置１００を制御するシステム制御回路である。システム制御回路５０は、画像処理回路２０の処理パラメータ、圧縮・伸長回路２６の圧縮パラメータを指示し、ズームレバー４８の指示に従い、変倍回路の変倍パラメータ等の指定を行う。
【００３４】
５２はシステム制御回路５０が動作する際に参照する定数、変数、プログラム等を記憶するメモリである。
【００３５】
６０は電源制御部であり、例えば電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池装着の有無、電池の種類及び電池残量を検出し、その検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間だけ各部に供給する。６２はコネクタ、６４は、例えばアルカリ電池やリチウム電池等の一次電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等で構成される電源部である。
【００３６】
８０は顔検出回路であり、画像処理回路２０の出力を直接、或いは画像処理回路２０から出力されメモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、入力された画像データの中に顔と判断できる画像が存在する場合には、顔の位置ならびに大きさに関する情報を取得する。
【００３７】
９０は動きベクトル検出回路であり、画像処理回路２０の出力を直接、或いは画像処理回路２０から出力されメモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、さらに連続する異なる時刻の画像データを、メモリ制御回路１８を介して読み込む。
【００３８】
動きベクトル検出回路９０は、入力された2枚の画像データから所定ブロック毎に動きベクトルの方向と大きさの検出を行う。
【００３９】
図２（ａ）および図２（ｂ）は、動きベクトル検出回路９０で取得される動きベクトルに関する説明を図示したものである。
【００４０】
動きベクトル検出回路９０は、連続する異なる時刻の画像データを入力とし、図示のとおり、各ブロックおける2画像間の動きベクトルの演算を行う。
【００４１】
演算された動きベクトル：Vm００〜Vm５７は、２画像の移動量として、矢印にて図示される。
【００４２】
ここで、図２（ａ）は手ぶれがほとんど無い場合において、中心付近の被写体が移動している場合の動きベクトルの様子を図示したものである。
【００４３】
一方、図２（ｂ）は被写体の移動がほとんど無い場合において、手ぶれにより、画面全体が同一方向に移動している場合の動きベクトルの様子を図示したものである。
【００４４】
システム制御回路５０は、動きベクトル検出回路９０にアクセスすることで、ブロック毎に演算された動きベクトル：Vm００〜Vm５７を取得することができる。
【００４５】
システム制御回路５０は、図２（ｂ）に図示されるように、画面上ほとんどのブロックの動きベクトルが、ほぼ同一方向を向いている場合には、手ぶれが発生したものと判断することができる。
【００４６】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【００４７】
図３は、顔検出回路８０から取得される顔の位置ならびに大きさに関する情報を図示した例である。
【００４８】
顔検出回路８０は、画像処理回路２０の出力される画像データ、或いはメモリ制御回路１８を介して読み込まれる画像データを読み込みながら、×印で図示される顔の中心座標及び、矢印にて図示される顔の顔の中心座標からの半径を検出する。
【００４９】
システム制御回路５０は、顔検出回路８０にアクセスすることで、検出された顔の個数ならびに各顔の中心座標及び半径を取得することができる。
【００５０】
なお本実施例では、検出領域の例を真円として図示しているが、顔検出回路８０のアルゴリズムによっては、楕円あるいは矩形領域を顔検出領域の結果としてもよい。
【００５１】
図４は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第一の実施例を図示したものである。
【００５２】
システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、動きベクトル検出回路９０が、顔が含まれるブロックの動きベクトルの検出を行わないよう制御する。
【００５３】
動きベクトル検出回路９０は、図示のとおり、顔領域を含む中心付近４つのブロックについて、動きベクトルの検出を実施しない為、該４つのブロックの動きベクトルはゼロとなる。
【００５４】
システム制御回路５０は、主被写体の体幹部分の動きベクトルが、主被写体の背景部分の動きベクトルと異なる方向に動いているものの、ほぼ画面全体の動きベクトルが同一方向に動いているので、手ぶれが発生しているものと判断することができる。
【００５５】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【００５６】
また、動きベクトル検出回路９０は、画面全体の動きベクトルを取得し、システム制御回路５０は、動きベクトル検出回路９０から取得される動きベクトルのうち、顔検出回路８０による顔検出結果に基づいて、顔が含まれるブロックから取得された動きベクトルを参照しない構成とすることもできる。
【００５７】
図５は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第二の実施例を図示したものである。
【００５８】
システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、動きベクトル検出回路９０が、顔が含まれるブロックと、さらに顔が含まれるブロックの左右及び下方向の１ブロックに対して、動きベクトルの検出を行わないよう制御する。
【００５９】
動きベクトル検出回路９０は、図示のとおり、顔が含まれるブロックを含む８つのブロックについて、動きベクトルの検出を実施しない為、該８つのブロックの動きベクトルはゼロとなる。
【００６０】
システム制御回路５０は、顔部分を含む主被写体を除いた背景部分の動きベクトルが、同一方向に動いていることから、手ぶれが発生しているものと正確に判断することができる。
【００６１】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【００６２】
また、動きベクトル検出回路９０は、画面全体の動きベクトルを取得し、システム制御回路５０は、動きベクトル検出回路９０から取得される動きベクトルのうち、顔検出回路８０による顔検出結果に基づいて、顔が含まれるブロックと、さらに顔が含まれるブロックの左右及び下方向の１ブロックが含まれるブロックから取得された動きベクトルを参照しない構成とすることもできる。
【００６３】
図６は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第三の実施例を図示したものである。
【００６４】
図示されているとおり、主被写体の動きベクトルと、背景の動きベクトルが異なる方向に向いている場合において、システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、顔領域を含む８つのブロックの動きベクトルが、他の背景部分の動きベクトルとは相関性が無いと判断する。
【００６５】
システム制御回路５０は、顔領域を含まない他の背景部分の動きベクトルのみ評価し、ほぼ同一方向に動いていることから、手ぶれが発生しているものと判断することができる。
【００６６】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【００６７】
図７は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第三の実施例を図示したものである。
【００６８】
図示されているとおり、主被写体の動きベクトルと、背景の動きベクトルが同じ方向に向いている場合において、システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、顔領域を含む８つのブロックの動きベクトルが、他の背景部分の動きベクトルと相関性が有ると判断する。
【００６９】
システム制御回路５０は、顔領域を含む全画像領域の動きベクトルを評価し、ほぼ同一方向に動いていることから、手ぶれが発生しているものと判断することができる。
【００７０】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施例のブロック構成図である。
【図２】本発明の実施例における動きベクトルに関して説明する図である。
【図３】本発明の実施例における顔検出情報に関して説明する図である。
【図４】本発明の第一の実施例における手ぶれ判定の説明に関する図である。
【図５】本発明の第二の実施例における手ぶれ判定の説明に関する図である。
【図６】本発明の第三の実施例における手ぶれ判定の説明に関する図である。
【図７】本発明の第四の実施例における手ぶれ判定の説明に関する図である。
【符号の説明】
【００７２】
１０ レンズユニット
１２ 撮像素子
１４ Ａ／Ｄ変換器
１６ タイミング発生回路
１８ メモリ制御回路
２０ 画像処理回路
２２ メモリ
２４ 記録媒体
２６ 圧縮・伸長回路
２８ ＲＡＷデータ用変倍回路Ａ
２９ ＹＵＶデータ用変倍回路Ｂ
３０ Ｄ／Ａ変換器
３２ 画像表示部
３４ 光学ファインダ
３６ フラッシュ
３８ レンズ制御
４０ モードダイヤル
４２ シャッタースイッチ
４４ シャッターボタン
４６ 表示切替スイッチ
４８ ズームレバー
５２ メモリ
６０ 電源制御
６２ コネクタ
６４ 電源部
８０ 顔検出回路
９０ 動きベクトル検出回路
１００ 画像処理装置
【技術分野】
【０００１】
本発明は、静止画像や動画像を記録、再生、表示するための画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ撮影における画質劣化の要因の一つに手ぶれがある。特に室内撮影など、十分な光量が確保できない条件下での撮影では、手ぶれによる画質劣化を避けることが難しくなる。
【０００３】
また、電子ビューファインダーあるいは動画撮影時において、撮影領域を一定に保ったまま撮影するには、三脚で固定するなどして、手ぶれ等の影響をなくする必要がある。
【０００４】
このような撮影時の手ぶれ軽減の方法として、電子式手ぶれ補正方式と光学式手ぶれ補正方式の２つの方式が知られている。
【０００５】
電子式手ぶれ補正方式は、連続するフレーム間の画像を比較し、画像全体が動く方向と大きさを動きベクトル検出回路により検出し、検出結果から算出される撮影時の手ぶれ量に応じて、画像の読み出し位置を変更することによって、手ぶれ補正を実現している。
【０００６】
一方、光学式手ぶれ補正は、ジャイロによりレンズユニットの動きを検出し、動きの方向と大きさに応じて、レンズの光軸を調整することによって、手ぶれ補正を実現している。
【０００７】
また、カメラのモニターを鏡として使用する場合の例として、選択した特定の領域のみを動きベクトル検出領域とすることで、選択された表示領域が常に一定となるよう手ぶれ補正される提案がなされている（例えば、特許文献１を参照）。
【特許文献１】特開２００５−００５７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、このようなぶれによる画質劣化の要因は、手ぶれだけではなく、被写体そのものが動いてしまう為に発生する、像ぶれの場合もある。
【０００９】
室内での子供の撮影など、特に像ぶれが発生しやすい撮影条件においては、像ぶれの影響とカメラの手ぶれによる影響を正しく分離しないと、不適切な手ぶれ補正を行ってしまう可能性がある。
【００１０】
本発明は、上述の事情に鑑みてなされたものであり、手ぶれ及び像ぶれが発生しやすい撮影条件下において、適切な手ぶれ補正処理を実現することを目的とする。
【課題を解決するための手段】
【００１１】
上述の課題を解決するため、本発明は、入力画像データから被写体の顔領域を検出する顔検出手段と、入力画像データを一時的に保存するメモリ手段と、前記メモリ手段に保存された画像データと、前記入力画像データとの間で、動きベクトルの検出を行う動きベクトル検出手段とを備えた画像処理装置であって、前記顔検出手段により取得される顔領域の情報に基づいて、前記動きベクトル検出手段を制御することを特徴とするものである。
【発明の効果】
【００１２】
本発明に寄れば、被写体の顔が動いている場合であっても、カメラの手ぶれによる動きベクトルの検出領域からは除外されている為、像ぶれの影響を無視して、手ぶれを原因とする動きベクトルの抽出のみを行うことで、適切な手ぶれ補正を行うことが可能になる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００１４】
図１は、本発明の実施例における、画像処理装置１００の構成を示す図である。
【００１５】
１０はズーム機構や絞り機構等を有するレンズユニット、１２は光学像を電気信号に変換する撮像素子（例えばＣＣＤ素子）、１４は撮像素子１２のアナログ出力信号を電気信号に変換するＡ／Ｄ変換器である。１６は、撮像素子１２、Ａ／Ｄ変換機１４、Ｄ／Ａ変換器３０にクロック信号や制御信号を供給するタイミング発生回路であり、システム制御回路５０により制御される。
【００１６】
１８はメモリ制御回路であり、Ａ／Ｄ変換器１４、画像処理回路２０、メモリ２２、記録媒体２４、圧縮・伸長回路２６、Ｄ／Ａ変換器３０、変倍回路２９、顔検出回路８０、動きベクトル検出回路９０との間でデータ転送制御を行う。
【００１７】
Ａ／Ｄ変換器１４から出力されるデータは、画像処理回路２０およびメモリ制御回路１８を介して、或いは画像処理回路２０を介することなくメモリ制御回路１８のみを介して、メモリ２２もしく記録媒体２４に書き込まれる。
【００１８】
２０は、画像処理回路であり、Ａ／Ｄ変換器１４から出力されるデータ或いは、メモリ制御回路１８から出力されるデータに対して、例えば、画像補間処理や色変換処理等の画像処理を施し、ＲＡＷデータからＹＵＶデータに変換する。
【００１９】
２２は、撮影した静止画像や動画像の画像処理や圧縮伸長時の作業領域として使用したり、また表示画像用として使用するメモリであり、画像処理装置１００に内蔵されている。所定枚数の静止画像や所定時間の動画像を格納するに十分な記録容量を備えている。また、メモリ２２は、システム制御回路５０の作業領域としても使用されうる。
【００２０】
２４は、圧縮された画像データを記録するメモリカードやハードディスク等の記録媒体である。記録媒体２４は、半導体メモリや磁気ディスク等から構成され、画像処理装置１００に内蔵されているものもあれば、着脱可能なものもある。
【００２１】
２６は、例えば、ＪＰＥＧ圧縮等により画像データを圧縮或いは伸長する圧縮・伸長回路であり、記録媒体２４に格納された画像データを読み込んで、圧縮処理或いは伸長処理を行い、処理済みのデータをメモリ２２に書き込む。
【００２２】
２８は、変倍回路であり、画像処理回路２０から出力され、メモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、ＹＵＶデータの変倍処理を行う。
【００２３】
３０はＤ／Ａ変換器である。３２は例えば、ＴＦＴ−ＬＣＤ等で構成される画像表示部である。メモリ２２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器３０を介して画像表示部３２に供給され、これにより画像が表示される。
【００２４】
画像表示部３２を用いて、撮像にかかる画像を逐次表示することにより、電子ファインダー機能を実現することができる。また画像表示部３２には、撮影に必要な情報、例えば合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等を行うことができる。
【００２５】
３４は光学ファインダーであり、この光学ファインダー３４を利用することにより、画像表示部３２を利用した電子ファインダー機能を使用することなく、撮影を行うことができる。また、光学ファインダー３４内には、表示手段３２を介して表示する各種撮影用の情報表示および警告表示等を行うための素子が設置されている。
【００２６】
３６はフラッシュであり、ＡＦ補助光の投光機能やフラッシュ調光機能も有する。
【００２７】
３８はレンズユニット１０の制御部であり、システム制御回路５０の指示に従いレンズユニット１０の焦点制御、ズーム制御、絞り値、シャッタースピードの制御等を行う。
【００２８】
４０はモードダイヤルスイッチであり、これにより操作者は、電源オフ、自動撮影モード、マニュアル撮影モード、パノラマ撮影モード、再生モード、動画モード、等の各機能モードを切り替えることができる。
【００２９】
４２はシャッタースイッチであり、シャッターボタン４４の操作途中（半押し）で、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作の開始を指示する。
【００３０】
またシャッタースイッチ４２は、シャッターボタン４４の操作完了（全押し、即ち操作者指示）で、撮像素子１２から出力される信号をＡ／Ｄ変換器１４によりデジタル信号に変換し、これを、メモリ制御回路１８を介してメモリ２２に格納する露光処理、メモリ制御回路１８を介して変倍回路Ａで行うＲＡＷデータの変倍処理、メモリ制御回路１８を介して画像処理回路２０において行う現像処理、メモリ制御回路１８を介して変倍回路Ｂにおいて行うＹＵＶデータの変倍処理、メモリ制御回路１８を介して圧縮伸長回路２６において行う圧縮処理、メモリ制御回路１８を介してメモリ２２から記録媒体２４へと圧縮された画像データを書き込む記録処理の、一連の処理の開始を指示する。
【００３１】
４６は表示切替スイッチである。撮影時においては、表示切り替えスイッチ４６が押されると、画像表示部３２を利用した電子ファインダー機能の、ON／OFF制御をシステム制御回路５０に指示する。また再生時においては、表示切替スイッチ４６が押されると、情報表示付き再生機能のＯＮ／ＯＦＦ制御をシステム制御回路５０に指示する。
【００３２】
４８は、ズームレバーである。システム制御回路５０を介して、レンズユニット１０へのズーム動作の指示あるいは、電子ズーム倍率をシステム制御回路５０に指示する。
【００３３】
５０は、画像処理装置１００を制御するシステム制御回路である。システム制御回路５０は、画像処理回路２０の処理パラメータ、圧縮・伸長回路２６の圧縮パラメータを指示し、ズームレバー４８の指示に従い、変倍回路の変倍パラメータ等の指定を行う。
【００３４】
５２はシステム制御回路５０が動作する際に参照する定数、変数、プログラム等を記憶するメモリである。
【００３５】
６０は電源制御部であり、例えば電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池装着の有無、電池の種類及び電池残量を検出し、その検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間だけ各部に供給する。６２はコネクタ、６４は、例えばアルカリ電池やリチウム電池等の一次電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等で構成される電源部である。
【００３６】
８０は顔検出回路であり、画像処理回路２０の出力を直接、或いは画像処理回路２０から出力されメモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、入力された画像データの中に顔と判断できる画像が存在する場合には、顔の位置ならびに大きさに関する情報を取得する。
【００３７】
９０は動きベクトル検出回路であり、画像処理回路２０の出力を直接、或いは画像処理回路２０から出力されメモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、さらに連続する異なる時刻の画像データを、メモリ制御回路１８を介して読み込む。
【００３８】
動きベクトル検出回路９０は、入力された2枚の画像データから所定ブロック毎に動きベクトルの方向と大きさの検出を行う。
【００３９】
図２（ａ）および図２（ｂ）は、動きベクトル検出回路９０で取得される動きベクトルに関する説明を図示したものである。
【００４０】
動きベクトル検出回路９０は、連続する異なる時刻の画像データを入力とし、図示のとおり、各ブロックおける2画像間の動きベクトルの演算を行う。
【００４１】
演算された動きベクトル：Vm００〜Vm５７は、２画像の移動量として、矢印にて図示される。
【００４２】
ここで、図２（ａ）は手ぶれがほとんど無い場合において、中心付近の被写体が移動している場合の動きベクトルの様子を図示したものである。
【００４３】
一方、図２（ｂ）は被写体の移動がほとんど無い場合において、手ぶれにより、画面全体が同一方向に移動している場合の動きベクトルの様子を図示したものである。
【００４４】
システム制御回路５０は、動きベクトル検出回路９０にアクセスすることで、ブロック毎に演算された動きベクトル：Vm００〜Vm５７を取得することができる。
【００４５】
システム制御回路５０は、図２（ｂ）に図示されるように、画面上ほとんどのブロックの動きベクトルが、ほぼ同一方向を向いている場合には、手ぶれが発生したものと判断することができる。
【００４６】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【００４７】
図３は、顔検出回路８０から取得される顔の位置ならびに大きさに関する情報を図示した例である。
【００４８】
顔検出回路８０は、画像処理回路２０の出力される画像データ、或いはメモリ制御回路１８を介して読み込まれる画像データを読み込みながら、×印で図示される顔の中心座標及び、矢印にて図示される顔の顔の中心座標からの半径を検出する。
【００４９】
システム制御回路５０は、顔検出回路８０にアクセスすることで、検出された顔の個数ならびに各顔の中心座標及び半径を取得することができる。
【００５０】
なお本実施例では、検出領域の例を真円として図示しているが、顔検出回路８０のアルゴリズムによっては、楕円あるいは矩形領域を顔検出領域の結果としてもよい。
【００５１】
図４は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第一の実施例を図示したものである。
【００５２】
システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、動きベクトル検出回路９０が、顔が含まれるブロックの動きベクトルの検出を行わないよう制御する。
【００５３】
動きベクトル検出回路９０は、図示のとおり、顔領域を含む中心付近４つのブロックについて、動きベクトルの検出を実施しない為、該４つのブロックの動きベクトルはゼロとなる。
【００５４】
システム制御回路５０は、主被写体の体幹部分の動きベクトルが、主被写体の背景部分の動きベクトルと異なる方向に動いているものの、ほぼ画面全体の動きベクトルが同一方向に動いているので、手ぶれが発生しているものと判断することができる。
【００５５】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【００５６】
また、動きベクトル検出回路９０は、画面全体の動きベクトルを取得し、システム制御回路５０は、動きベクトル検出回路９０から取得される動きベクトルのうち、顔検出回路８０による顔検出結果に基づいて、顔が含まれるブロックから取得された動きベクトルを参照しない構成とすることもできる。
【００５７】
図５は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第二の実施例を図示したものである。
【００５８】
システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、動きベクトル検出回路９０が、顔が含まれるブロックと、さらに顔が含まれるブロックの左右及び下方向の１ブロックに対して、動きベクトルの検出を行わないよう制御する。
【００５９】
動きベクトル検出回路９０は、図示のとおり、顔が含まれるブロックを含む８つのブロックについて、動きベクトルの検出を実施しない為、該８つのブロックの動きベクトルはゼロとなる。
【００６０】
システム制御回路５０は、顔部分を含む主被写体を除いた背景部分の動きベクトルが、同一方向に動いていることから、手ぶれが発生しているものと正確に判断することができる。
【００６１】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【００６２】
また、動きベクトル検出回路９０は、画面全体の動きベクトルを取得し、システム制御回路５０は、動きベクトル検出回路９０から取得される動きベクトルのうち、顔検出回路８０による顔検出結果に基づいて、顔が含まれるブロックと、さらに顔が含まれるブロックの左右及び下方向の１ブロックが含まれるブロックから取得された動きベクトルを参照しない構成とすることもできる。
【００６３】
図６は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第三の実施例を図示したものである。
【００６４】
図示されているとおり、主被写体の動きベクトルと、背景の動きベクトルが異なる方向に向いている場合において、システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、顔領域を含む８つのブロックの動きベクトルが、他の背景部分の動きベクトルとは相関性が無いと判断する。
【００６５】
システム制御回路５０は、顔領域を含まない他の背景部分の動きベクトルのみ評価し、ほぼ同一方向に動いていることから、手ぶれが発生しているものと判断することができる。
【００６６】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【００６７】
図７は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第三の実施例を図示したものである。
【００６８】
図示されているとおり、主被写体の動きベクトルと、背景の動きベクトルが同じ方向に向いている場合において、システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、顔領域を含む８つのブロックの動きベクトルが、他の背景部分の動きベクトルと相関性が有ると判断する。
【００６９】
システム制御回路５０は、顔領域を含む全画像領域の動きベクトルを評価し、ほぼ同一方向に動いていることから、手ぶれが発生しているものと判断することができる。
【００７０】
システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施例のブロック構成図である。
【図２】本発明の実施例における動きベクトルに関して説明する図である。
【図３】本発明の実施例における顔検出情報に関して説明する図である。
【図４】本発明の第一の実施例における手ぶれ判定の説明に関する図である。
【図５】本発明の第二の実施例における手ぶれ判定の説明に関する図である。
【図６】本発明の第三の実施例における手ぶれ判定の説明に関する図である。
【図７】本発明の第四の実施例における手ぶれ判定の説明に関する図である。
【符号の説明】
【００７２】
１０ レンズユニット
１２ 撮像素子
１４ Ａ／Ｄ変換器
１６ タイミング発生回路
１８ メモリ制御回路
２０ 画像処理回路
２２ メモリ
２４ 記録媒体
２６ 圧縮・伸長回路
２８ ＲＡＷデータ用変倍回路Ａ
２９ ＹＵＶデータ用変倍回路Ｂ
３０ Ｄ／Ａ変換器
３２ 画像表示部
３４ 光学ファインダ
３６ フラッシュ
３８ レンズ制御
４０ モードダイヤル
４２ シャッタースイッチ
４４ シャッターボタン
４６ 表示切替スイッチ
４８ ズームレバー
５２ メモリ
６０ 電源制御
６２ コネクタ
６４ 電源部
８０ 顔検出回路
９０ 動きベクトル検出回路
１００ 画像処理装置
【特許請求の範囲】
【請求項１】
入力画像データから被写体の顔領域を検出する顔検出手段と、入力画像データを一時的に保存するメモリ手段と、前記メモリ手段に保存された画像データと、前記入力画像データとの間で、動きベクトルの検出を行う動きベクトル検出手段とを備え、
前記顔検出手段により取得される顔領域の情報に基づいて、前記動きベクトル検出手段を制御することを特徴とする画像処理装置。
【請求項２】
前記動きベクトル検出手段は、前記顔検出手段により取得される顔領域を、動きベクトル検出領域から除外することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出手段は、前記顔検出手段により取得される顔領域を含む周辺画素領域を、動きベクトル検出領域から除外することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルに基づいて、電子手ぶれ補正処理を行うことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルのうち、前記顔検出手段により取得される顔領域から取得された動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルのうち、前記顔検出手段により取得される顔領域を含む周辺画素領域から取得された動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記顔検出手段により取得される顔領域を含む領域の動きベクトルが、顔領域を含まない領域の動きベクトルと相関性が無い場合には、前記顔領域を含む領域の動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記顔検出手段により取得される顔領域を含む領域の動きベクトルが、顔領域を含まない領域の動きベクトルと相関性がある場合には、前記顔領域を含む領域の動きベクトルを除外しないで、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記顔検出手段に入力される画像データは、撮像素子により撮像された画像データから抽出された画像データであることを特徴とする請求項１〜請求項８のいずれかに記載の画像処理装置。
【請求項１】
入力画像データから被写体の顔領域を検出する顔検出手段と、入力画像データを一時的に保存するメモリ手段と、前記メモリ手段に保存された画像データと、前記入力画像データとの間で、動きベクトルの検出を行う動きベクトル検出手段とを備え、
前記顔検出手段により取得される顔領域の情報に基づいて、前記動きベクトル検出手段を制御することを特徴とする画像処理装置。
【請求項２】
前記動きベクトル検出手段は、前記顔検出手段により取得される顔領域を、動きベクトル検出領域から除外することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出手段は、前記顔検出手段により取得される顔領域を含む周辺画素領域を、動きベクトル検出領域から除外することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルに基づいて、電子手ぶれ補正処理を行うことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルのうち、前記顔検出手段により取得される顔領域から取得された動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルのうち、前記顔検出手段により取得される顔領域を含む周辺画素領域から取得された動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記顔検出手段により取得される顔領域を含む領域の動きベクトルが、顔領域を含まない領域の動きベクトルと相関性が無い場合には、前記顔領域を含む領域の動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記顔検出手段により取得される顔領域を含む領域の動きベクトルが、顔領域を含まない領域の動きベクトルと相関性がある場合には、前記顔領域を含む領域の動きベクトルを除外しないで、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記顔検出手段に入力される画像データは、撮像素子により撮像された画像データから抽出された画像データであることを特徴とする請求項１〜請求項８のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−８８６２８（Ｐ２００９−８８６２８Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５１８５９（Ｐ２００７−２５１８５９）
【出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年９月２７日（２００７．９．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]