画像処理装置及び撮像装置
【課題】簡略化された構成で、かつ高精度の撮像装置の姿勢検出が可能な画像処理装置を実現すること。
【解決手段】撮像装置１００により得られた画像データに含まれる特定画像部分を検出する画像検出手段１０７と、該特定画像部分の検出結果に基づいて撮像装置１００の姿勢を判別する判別手段１０７ｃとを有する。
【解決手段】撮像装置１００により得られた画像データに含まれる特定画像部分を検出する画像検出手段１０７と、該特定画像部分の検出結果に基づいて撮像装置１００の姿勢を判別する判別手段１０７ｃとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ、デジタルビデオカメラ等の撮像装置により取得された画像の処理技術に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置において、被写体（人物）の特定部分を検出してフォーカス制御や露出制御を行う技術が提案されている。
【０００３】
図８は、人物の特定エリア（顔エリア等）を検出する検出ユニットを備えたデジタルカメラの撮影動作フローチャートである。まず、レリーズボタンのレリーズスイッチＳＷ１がオンされたか否かを検出し、オンされた場合は撮影準備動作処理に移行する（Ｓ１０１）。そして、予めユーザにより又は自動的に設定された露光条件と、フォーカス設定とに基づいて、第１の画像データが取得する（Ｓ１０２）。この第１の画像データは、ＣＣＤセンサやＣＭＯＳ等の撮像素子の像面に結像された被写体像を光電変換して得られる画像信号である。
【０００４】
次に、該第１の画像データに基づいて画面中央エリアの輝度及びフォーカス制御が最適になるように撮影条件が設定される（Ｓ１０３）。その後、この撮影条件下において第２の画像データを取得する（Ｓ１０４）。
【０００５】
そして、第２の画像データを検出ユニット（回路）に入力し、顔座標値を取得する（Ｓ１０５）。ここで、人物の顔が検出された場合は、顔座標情報に基づくＡＦ用の測距枠とＡＥ用の測光枠とが設定される（Ｓ１０６）。人物の顔が検出されない場合は中央エリアに測距枠、測光枠を固定する。設定された測距枠、測光枠でフォーカシング及び露出補正を行い（Ｓ１０３）、レリーズスイッチＳＷ２がオンされたか否かを検出し（Ｓ１０７）、オンされた場合は、上記で設定された最適なフォーカス設定、露出設定（絞り値、シャッタースピード）において撮影が行われる（Ｓ１０８）。（例えば、特許文献１、２参照）。
【０００６】
撮影後の画像データは、ＯＢ回路にて黒バランス、ＷＢ回路にてホワイトバランスの各処理が行われる（例えば、特許文献３参照）。
【０００７】
ここで、ＷＢ回路におけるホワイトバランスアルゴリズムについて説明する。撮影後の画像データを図９（ａ）のようなブロックに分割する。ただし各ブロックは色信号Ｒ、Ｇ１、Ｇ２、Ｂを一つずつ含む単位で構成される。これらのブロックそれぞれに対して、色評価値を以下の式（１）に基づいて算出する。
【０００８】
【数１】
【０００９】
ここで、Ｃｘは色温度を表し、Ｃｙは緑方向補正量に対応している。また、図１０に示すように、あらかじめ白色を高色温度下から低色温度下まで撮影し、色評価値Ｃｘ、Ｃｙをプロットすることで、白軸を定めることができる。実際の光源において白色には若干のばらつきが存在するため幅を持たせてある。
【００１０】
この範囲を白検出範囲といい、このとき各ブロックについてＣｘ、Ｃｙ軸に色評価値をプロットしていき、該色評価値が該白検出範囲にある場合、そのブロックが白色であるとして処理を行う（仮定する）。さらに、白検出範囲にある場合において、色画素の積分値ＳｕｍＲ、ＳｕｍＧ１、ＳｕｍＧ２、ＳｕｍＢを算出し、以下の式を用いることでホワイトバランスゲインを算出する。ただし、ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂは、それぞれ色信号Ｒ、Ｇ１、Ｇ２、Ｂのホワイトバランスゲインである。
【００１１】
【数２】
【００１２】
このホワイトバランスゲインに基づいてホワイトバランス処理が行われた後に、輝度信号、色信号が作成され、ＪＰＥＧ信号など汎用の画像信号に変換される。
【特許文献１】特開２００３−１０７３３５号公報（段落００６６〜００８６、図４〜図６等）
【特許文献２】特開２００３−１０７５５５号公報（段落００６０〜００８２、図６〜図８等）
【特許文献３】特開２００３−１８９３２５号公報（段落０００９〜００１０、図２〜図５等）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかし、従来のホワイトバランス補正処理の係数算出において、以下の問題があった。すなわち、高色温度における色評価値は、図１１に示す領域Ａ付近に分布するため、高色温度光源での撮影シーンであると判定することは容易であるが、晴天下等の空を実際に色温度に基づいてＣｘ、Ｃｙ軸にプロットすると、有彩色であるにも関わらず、領域Ａに分布してしまう。
【００１４】
したがって、撮影画面に空が大部分を占める撮影シーンでは、有彩色か無彩色かの区別がつき難く、光源の色温度を実際以上に高いものと誤判別し、この結果、撮影画像が黄色味を帯びてしまうという問題があった。
【００１５】
さらに、従来の撮影方向（撮像装置の姿勢）を判別する方法は、重力センサを用いて行っているため、撮影方向が斜め方向の場合の検出ができず、被写体を斜めに撮影した場合、空を正しく検出することができないため、ホワイトバランスの精度が低下してしまう問題があった。
【００１６】
本発明の例示的な目的の１つは、簡略化された構成で、かつ高精度の撮像装置の姿勢検出が可能な画像処理装置を実現することにある。
【課題を解決するための手段】
【００１７】
１つの観点としての本発明は、撮像装置により得られた画像データに含まれる特定画像部分を検出する画像検出手段と、該特定画像部分の検出結果に基づいて撮像装置の姿勢を判別する判別手段とを有する。
【発明の効果】
【００１８】
本発明によれば、画像データから撮像装置の姿勢を判別しているため、撮影方向を正確に検出できる画像処理装置が実現される。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２０】
本発明の実施例１に係る画像処理装置の形態について図１を用いて説明する。図１は、本発明の実施例１に係る画像処理装置の一例である撮像装置１００の構成を示す図である。撮像装置１００はデジタルカメラ、デジタルビデオカメラ等として動作可能な装置により構成することができるが、実施例１では撮像装置１００がデジタルカメラである場合を説明する。
【００２１】
図１において、１０１は撮影レンズ部、１０２は撮影レンズ部１０１により形成された被写体像を光電変換するＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子である。
【００２２】
１０３は撮像素子１０２からの出力信号をＡ／Ｄ変換するＡ／Ｄ変換器、１０４は該Ａ／Ｄ変換器１０３からのデジタル信号に各種処理を施して画像信号（画像データ）を生成する画像生成処理部である。生成された画像データは後述する画像処理部１０７に出力される。１０８は画像生成処理部１０４で生成された画像や他の情報（後述する特徴点情報、人物情報、カメラ姿勢情報等）を記憶保存するメモリである。
【００２３】
図１の撮像装置１００は、撮像素子１０２を用いて画像を生成（取得）する画像生成装置２００と、取得された画像データに各種画像処理及びホワイトバランス処理を行う画像処理装置３００とが一体となったものである。なお、１０５は画像生成処理部１０４から出力された画像データ又は画像処理部１０７から出力された該画像データに含まれる特定画像部分等を表示する液晶ディスプレイ等からなる表示部である。
【００２４】
１０６は画像生成処理部１０４から出力された画像データ又は画像処理部１０７から出力された特定画像を記録媒体（半導体メモリ、光ディスク、磁気ディスク等）に書き込んだり、該記録媒体から画像を読み出したりする記録部である。
【００２５】
さらに、１０９は画像生成装置２００、画像処理装置３００を含む撮像装置１００の全体の制御を司る制御部である。
【００２６】
図２には、画像処理部１０７のさらに詳細な構成を示している。１０７ａは入力された画像データ（画像信号）から該画像に含まれる人物の顔（第１の画像領域）を検出する画像検出部（顔検出部）である。人物の顔の検出は、既に提案されている方法で行えばよい。例えば、エッジ検出や形状パターン検出による顔検出方法、色相抽出や肌色抽出による顔検出方法を用いることができる。
【００２７】
また、候補領域を小領域に分割し、該分割領域毎の特徴点を予め設定した顔パターンと照合して、その確度から顔領域を抽出する方法（特開２０００−１３７７８８号公報参照）、顔の候補領域を抽出し、各候補領域の重複度から確度を評価して顔領域を抽出する方法（特開２０００−１４９０１８号公報参照）、顔の候補領域を抽出して、各候補領域の濃度が所定の閾値に対応する値である場合に、胴体候補領域を抽出し、顔および胴体候補領域の濃度や彩度コントラストを用いて角度を評価して、顔領域を抽出する方法（特開２０００−１４８９８０号公報参照）等も用いることができる。
【００２８】
１０７ｂは画像検出部１０７ａで検出された顔領域（第１の画像領域）の画像から顔の特徴点（特定画像部分）を生成する特徴点算出部である。特徴点とは、眉や眼の距離、顔の輪郭、鼻や口の形状、肌の色等を含む。また、例えば、ウェーブレット手法を用いて顔画像を処理して得られる、顔の濃淡やシャープさなども含んでいてもよい。さらに、特徴点情報として、画像上の形状認識やパターンマッチング法等を実行する際に用いる顔の特徴的な部位を含む画像パターンも生成する。
【００２９】
なお、画像検出部１０７ａで採り得る検出方法は、上述したものに限らず、最終的に顔（眼）の特徴点を許容できる精度で検出できる手法であれば、公知のものおよび将来開発されるもののいずれでもよい。
【００３０】
１０７ｃは、撮像装置１００の姿勢及び撮影方向を検出する姿勢検出部である。本実施例では、特徴点算出部１０７ｂにより検出された顔の特徴点（特定画像部分）として人物の眼を用い、人物の両眼の配置方向と撮影画面の長辺又は短辺方向（水平又は垂直）との関係に基づいて撮像装置１００の姿勢を判別している。
【００３１】
具体的には、図４に示すように、姿勢検出部１０７ｃにおいて、検出された人物の対となる眼と眼を結ぶ直線Ｌと画像水平方向Ｇとの角度（姿勢角度）θを算出する。例えば、撮像装置１００の姿勢が水平姿勢（横位置）である場合（図４（ａ））、眼を結ぶ直線Ｌと画像水平方向Ｇとでなす角は０°であり、垂直姿勢（縦位置）である場合（図４（ｃ））、姿勢角度θは９０°となる。
【００３２】
図５は、この算出された姿勢角度θと撮像装置１００の姿勢の対応関係を示す図である。同図に示すように検出された姿勢角度θが０°＜θ＜３０°の範囲であれば、撮像装置１００の姿勢が水平姿勢（横位置）、３０°＜θ＜６０°の範囲では、撮像装置１００の姿勢が斜め姿勢、６０°＜θ＜９０°であれば該撮像装置１００の姿勢が垂直姿勢（縦位置）と判別する。
【００３３】
１０７ｄは、撮像装置１００の姿勢角度θに基づいて、撮影領域内の第２の画像領域を算出する特定領域算出部であり、本実施例では画像データに含まれる空領域を特定する。この特定領域算出部１０７ｄは、撮像装置１００の姿勢角度（撮影方向）に対応した空領域の色表価値Ｃｘ，Ｃｙを算出し、画面上部に空があるか否かを判別する。ただし、Ｃｘ，Ｃｙ色空間における空に関する分布領域は図１１における領域Ａのように予め設定している。
【００３４】
図４に示すように、撮像装置１００が水平姿勢では、空領域は画面上部、斜め姿勢では画面上部の側部、垂直姿勢では画面側部となるため、予めメモリ１０８に各々の姿勢角度に対応する空領域を設定している。このように撮像装置１００の姿勢に基づいて空領域を特定することで、色評価値が領域Ａに含まれる場合には、予め設定した該空領域を除外して白点検出することで、色温度を誤判別によるホワイトバランス処理を適正に行うことができる。
【００３５】
１０７ｅは、ホワイトバランス処理部であり、色温度に基づいて光源を特定し、該光源に対応したホワイトバランス処理を行う。なお、ホワイトバランス処理部以外にも、例えば、ノイズ除去処理部や赤目補正処理部等を設けて、該画像データに画像処理を施すように構成することも可能である。
【００３６】
また、メモリ１０８には、１又は複数の人物情報が記憶されている。人物情報とは、その人物（個人）の眉や眼の距離、顔の輪郭、鼻や口の形状等を示す情報であり、さらにその人物の瞳の色も含む。また、人種に関する情報として、一般的な肌の色や瞳の色の情報も含む。また、人物の顔でないとする非顔情報も記憶している。さらに、図５に示す撮像装置１００の姿勢角度θと該撮像装置１００の姿勢との対応情報や、姿勢角度θと空領域との対応情報も記憶されている。
【００３７】
次に、本実施例における画像データの特定画像部分を検出する方法について、図６に基づいて説明する。まず、画像処理部１０７に、画像生成処理部１０４から出力された画像データが入力される（Ｓ６０１）。該画像データは画像検出部１０７ａに入力され、上述の方法により人物の顔（第１の画像領域）が検出される。そして、特徴点算出部１０７ｂでは、特徴点の検出（算出）のために入力された第１の画像領域（顔データ）に対して水平および垂直方向のバンドパスフィルタをかけ、エッジ成分を検出する（Ｓ６０２、Ｓ６０３）。そして、検出されたエッジ成分のパターンマッチングを行い（Ｓ６０４）、眼及び鼻、口、耳の候補群を抽出する。
【００３８】
さらに、特徴点算出部１０７ｂでは人物の眼を判別するために、ステップ６０４において抽出された眼の候補群の中から、予め設定された上記情報をメモリ１０８から取得し、該情報（例えば２つの眼の距離、傾き等）を満たすものを眼として判別し、眼の対があるもののみを眼の候補群として絞り込む処理を行う（Ｓ６０５）。
【００３９】
ステップ６０６では、ステップ６０５にて絞り込まれた眼の候補群と、それに対応する顔を形成する他のパーツ(鼻、口、耳)を対応づけ、さらに、予めメモリ１０８に記憶されている非顔条件フィルタを通すことで顔を検出し、姿勢検出部１０７ｃに人物の顔情報（特定画像部分）を出力する。なお、多人数の人間が検出された場合、各人の角度情報を元に分布図を作成したり、標準偏差を算出したりして、この値以内の角度を平均させて撮像装置１００の姿勢に対する対応関係を算出するように構成するとよい。
【００４０】
次に、本実施例おける撮像装置１００の姿勢検出及び画像処理について、図３〜図５を用いて詳細に説明する。
【００４１】
まず、特定画像部分（人物の眼）の情報が画像処理部１０７の姿勢検出部１０７ｃに入力される（Ｓ５０１）。そして、姿勢検出部１０７ｃでは、検出された人物の対となる眼と眼を結ぶ直線Ｌと画像水平方向Ｇとの角度を算出する（Ｓ５０２、図４参照）。
【００４２】
その後、ステップ５０３に進み、ステップ５０２で算出した角度に基づいて、図５に示す対応関係を用い、撮像装置１００の姿勢を判別し、該撮像装置１００の姿勢情報を特定領域算出部１０７ｄに出力する。
【００４３】
特定領域算出部１０７ｄでは、ステップ５０３で判別した撮像装置１００の姿勢に対応した空領域（第２の画像領域）の色表価値Ｃｘ，Ｃｙを算出し、画面上部に空があるか否かを判定する（Ｓ５０４）。色評価値が領域Ａに含まれる場合、ステップ５０５進んで、空領域を除外した白点検出を行い、色評価値が領域Ａに含まれない場合は、空領域を除外せずに白点検出を行い（Ｓ５０６）、ホワイトバランス処理部１０７ｅにおいてホワイトバランス処理を実行する。
【００４４】
このように本実施例では、撮影された画像データの特定画像部分（人物の眼）に基づいて、別途姿勢検出センサを設けずとも、撮像装置１００の姿勢を正確、かつ容易に判別している。さらに、この判別により画面上部における空領域（第２の画像領域）を特定し、該空領域をホワイトバランス処理における白点検出から除外することができるため、精度の高く良好な画像処理を行うことができる。
【実施例２】
【００４５】
図７は本発明の実施例２における画像処理装置の動作フローを示す図である。本実施例では、撮像装置１００の姿勢検出、すなわち撮影方向の特定において、上記実施例１の姿勢検出方法に加え、重力センサを採用している。この重力センサは、斜め方向を検出することができないので、撮影方向が斜め方向の場合に、上記実施例１における撮像装置１００の姿勢検出により撮影方向を検出する。
【００４６】
まず、特定画像部分（人物の眼）の情報が画像処理部１０７の姿勢検出部１０７ｃに入力される（Ｓ６０１）。そして、姿勢検出部１０７ｃでは、検出された人物の対となる眼と眼を結ぶ直線Ｌと画像水平方向Ｇとの角度を算出する（Ｓ６０２）。その後、ステップ６０３に進み、ステップ６０２で算出した角度に基づいて、図５に示す対応関係を用い、撮像装置１００の姿勢を判別する。
【００４７】
そして、ステップ６０４では、ステップ６０３で判別した撮像装置１００の姿勢が斜め方向か否かを判別し、該姿勢が斜め方向である場合には、人物の顔（眼）基づいてステップ６０３で検出した撮像装置１００の姿勢を撮影方向として、画像処理を行う。
【００４８】
一方、撮像装置１００の姿勢が斜めでない場合（撮影方向が斜め方向でない場合）には、重力センサの検出結果を撮影方向として用い、上記実施例１と同様に画像処理を行う。
【００４９】
このように本実施例では、重力センサでは検出し難い斜め方向での撮影シーンの場合は、特定画像部分に基づく撮像装置１００の姿勢検出を採用して、撮影方向を決定している。
【００５０】
よって、確実な撮影方向の判別が行えるとともに、該撮影方向に適した画像処理を行うことが可能となる。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施例１における画像処理装置を搭載した撮像装置の構成ブロック図である。
【図２】本発明の実施例１における画像処理装置の構成ブロック図である。
【図３】本発明の実施例１における画像処理装置及び撮像装置の動作フローチャートである。
【図４】本発明の実施例１における撮像装置の姿勢検出を説明する図である。
【図５】本発明の実施例１における撮像装置の姿勢角度対応図である。
【図６】本発明の実施例１における特定画像部分の検出処理動作フローである。
【図７】本発明の実施例２における画像処理装置及び撮像装置の動作フローチャートである。
【図８】従来の撮像装置の動作フローチャートである。
【図９】従来のホワイトバランス処理を説明する図である。
【図１０】従来の色評価値と色温度との関係図である。
【図１１】従来の色評価値と色温度との関係図である。
【符号の説明】
【００５２】
１００ 撮像装置
１０７ａ、１０７ｂ 画像検出手段
１０７ｃ 判別手段
【技術分野】
【０００１】
本発明は、デジタルカメラ、デジタルビデオカメラ等の撮像装置により取得された画像の処理技術に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置において、被写体（人物）の特定部分を検出してフォーカス制御や露出制御を行う技術が提案されている。
【０００３】
図８は、人物の特定エリア（顔エリア等）を検出する検出ユニットを備えたデジタルカメラの撮影動作フローチャートである。まず、レリーズボタンのレリーズスイッチＳＷ１がオンされたか否かを検出し、オンされた場合は撮影準備動作処理に移行する（Ｓ１０１）。そして、予めユーザにより又は自動的に設定された露光条件と、フォーカス設定とに基づいて、第１の画像データが取得する（Ｓ１０２）。この第１の画像データは、ＣＣＤセンサやＣＭＯＳ等の撮像素子の像面に結像された被写体像を光電変換して得られる画像信号である。
【０００４】
次に、該第１の画像データに基づいて画面中央エリアの輝度及びフォーカス制御が最適になるように撮影条件が設定される（Ｓ１０３）。その後、この撮影条件下において第２の画像データを取得する（Ｓ１０４）。
【０００５】
そして、第２の画像データを検出ユニット（回路）に入力し、顔座標値を取得する（Ｓ１０５）。ここで、人物の顔が検出された場合は、顔座標情報に基づくＡＦ用の測距枠とＡＥ用の測光枠とが設定される（Ｓ１０６）。人物の顔が検出されない場合は中央エリアに測距枠、測光枠を固定する。設定された測距枠、測光枠でフォーカシング及び露出補正を行い（Ｓ１０３）、レリーズスイッチＳＷ２がオンされたか否かを検出し（Ｓ１０７）、オンされた場合は、上記で設定された最適なフォーカス設定、露出設定（絞り値、シャッタースピード）において撮影が行われる（Ｓ１０８）。（例えば、特許文献１、２参照）。
【０００６】
撮影後の画像データは、ＯＢ回路にて黒バランス、ＷＢ回路にてホワイトバランスの各処理が行われる（例えば、特許文献３参照）。
【０００７】
ここで、ＷＢ回路におけるホワイトバランスアルゴリズムについて説明する。撮影後の画像データを図９（ａ）のようなブロックに分割する。ただし各ブロックは色信号Ｒ、Ｇ１、Ｇ２、Ｂを一つずつ含む単位で構成される。これらのブロックそれぞれに対して、色評価値を以下の式（１）に基づいて算出する。
【０００８】
【数１】
【０００９】
ここで、Ｃｘは色温度を表し、Ｃｙは緑方向補正量に対応している。また、図１０に示すように、あらかじめ白色を高色温度下から低色温度下まで撮影し、色評価値Ｃｘ、Ｃｙをプロットすることで、白軸を定めることができる。実際の光源において白色には若干のばらつきが存在するため幅を持たせてある。
【００１０】
この範囲を白検出範囲といい、このとき各ブロックについてＣｘ、Ｃｙ軸に色評価値をプロットしていき、該色評価値が該白検出範囲にある場合、そのブロックが白色であるとして処理を行う（仮定する）。さらに、白検出範囲にある場合において、色画素の積分値ＳｕｍＲ、ＳｕｍＧ１、ＳｕｍＧ２、ＳｕｍＢを算出し、以下の式を用いることでホワイトバランスゲインを算出する。ただし、ｋＷＢ＿Ｒ、ｋＷＢ＿Ｇ１、ｋＷＢ＿Ｇ２、ｋＷＢ＿Ｂは、それぞれ色信号Ｒ、Ｇ１、Ｇ２、Ｂのホワイトバランスゲインである。
【００１１】
【数２】
【００１２】
このホワイトバランスゲインに基づいてホワイトバランス処理が行われた後に、輝度信号、色信号が作成され、ＪＰＥＧ信号など汎用の画像信号に変換される。
【特許文献１】特開２００３−１０７３３５号公報（段落００６６〜００８６、図４〜図６等）
【特許文献２】特開２００３−１０７５５５号公報（段落００６０〜００８２、図６〜図８等）
【特許文献３】特開２００３−１８９３２５号公報（段落０００９〜００１０、図２〜図５等）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかし、従来のホワイトバランス補正処理の係数算出において、以下の問題があった。すなわち、高色温度における色評価値は、図１１に示す領域Ａ付近に分布するため、高色温度光源での撮影シーンであると判定することは容易であるが、晴天下等の空を実際に色温度に基づいてＣｘ、Ｃｙ軸にプロットすると、有彩色であるにも関わらず、領域Ａに分布してしまう。
【００１４】
したがって、撮影画面に空が大部分を占める撮影シーンでは、有彩色か無彩色かの区別がつき難く、光源の色温度を実際以上に高いものと誤判別し、この結果、撮影画像が黄色味を帯びてしまうという問題があった。
【００１５】
さらに、従来の撮影方向（撮像装置の姿勢）を判別する方法は、重力センサを用いて行っているため、撮影方向が斜め方向の場合の検出ができず、被写体を斜めに撮影した場合、空を正しく検出することができないため、ホワイトバランスの精度が低下してしまう問題があった。
【００１６】
本発明の例示的な目的の１つは、簡略化された構成で、かつ高精度の撮像装置の姿勢検出が可能な画像処理装置を実現することにある。
【課題を解決するための手段】
【００１７】
１つの観点としての本発明は、撮像装置により得られた画像データに含まれる特定画像部分を検出する画像検出手段と、該特定画像部分の検出結果に基づいて撮像装置の姿勢を判別する判別手段とを有する。
【発明の効果】
【００１８】
本発明によれば、画像データから撮像装置の姿勢を判別しているため、撮影方向を正確に検出できる画像処理装置が実現される。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２０】
本発明の実施例１に係る画像処理装置の形態について図１を用いて説明する。図１は、本発明の実施例１に係る画像処理装置の一例である撮像装置１００の構成を示す図である。撮像装置１００はデジタルカメラ、デジタルビデオカメラ等として動作可能な装置により構成することができるが、実施例１では撮像装置１００がデジタルカメラである場合を説明する。
【００２１】
図１において、１０１は撮影レンズ部、１０２は撮影レンズ部１０１により形成された被写体像を光電変換するＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子である。
【００２２】
１０３は撮像素子１０２からの出力信号をＡ／Ｄ変換するＡ／Ｄ変換器、１０４は該Ａ／Ｄ変換器１０３からのデジタル信号に各種処理を施して画像信号（画像データ）を生成する画像生成処理部である。生成された画像データは後述する画像処理部１０７に出力される。１０８は画像生成処理部１０４で生成された画像や他の情報（後述する特徴点情報、人物情報、カメラ姿勢情報等）を記憶保存するメモリである。
【００２３】
図１の撮像装置１００は、撮像素子１０２を用いて画像を生成（取得）する画像生成装置２００と、取得された画像データに各種画像処理及びホワイトバランス処理を行う画像処理装置３００とが一体となったものである。なお、１０５は画像生成処理部１０４から出力された画像データ又は画像処理部１０７から出力された該画像データに含まれる特定画像部分等を表示する液晶ディスプレイ等からなる表示部である。
【００２４】
１０６は画像生成処理部１０４から出力された画像データ又は画像処理部１０７から出力された特定画像を記録媒体（半導体メモリ、光ディスク、磁気ディスク等）に書き込んだり、該記録媒体から画像を読み出したりする記録部である。
【００２５】
さらに、１０９は画像生成装置２００、画像処理装置３００を含む撮像装置１００の全体の制御を司る制御部である。
【００２６】
図２には、画像処理部１０７のさらに詳細な構成を示している。１０７ａは入力された画像データ（画像信号）から該画像に含まれる人物の顔（第１の画像領域）を検出する画像検出部（顔検出部）である。人物の顔の検出は、既に提案されている方法で行えばよい。例えば、エッジ検出や形状パターン検出による顔検出方法、色相抽出や肌色抽出による顔検出方法を用いることができる。
【００２７】
また、候補領域を小領域に分割し、該分割領域毎の特徴点を予め設定した顔パターンと照合して、その確度から顔領域を抽出する方法（特開２０００−１３７７８８号公報参照）、顔の候補領域を抽出し、各候補領域の重複度から確度を評価して顔領域を抽出する方法（特開２０００−１４９０１８号公報参照）、顔の候補領域を抽出して、各候補領域の濃度が所定の閾値に対応する値である場合に、胴体候補領域を抽出し、顔および胴体候補領域の濃度や彩度コントラストを用いて角度を評価して、顔領域を抽出する方法（特開２０００−１４８９８０号公報参照）等も用いることができる。
【００２８】
１０７ｂは画像検出部１０７ａで検出された顔領域（第１の画像領域）の画像から顔の特徴点（特定画像部分）を生成する特徴点算出部である。特徴点とは、眉や眼の距離、顔の輪郭、鼻や口の形状、肌の色等を含む。また、例えば、ウェーブレット手法を用いて顔画像を処理して得られる、顔の濃淡やシャープさなども含んでいてもよい。さらに、特徴点情報として、画像上の形状認識やパターンマッチング法等を実行する際に用いる顔の特徴的な部位を含む画像パターンも生成する。
【００２９】
なお、画像検出部１０７ａで採り得る検出方法は、上述したものに限らず、最終的に顔（眼）の特徴点を許容できる精度で検出できる手法であれば、公知のものおよび将来開発されるもののいずれでもよい。
【００３０】
１０７ｃは、撮像装置１００の姿勢及び撮影方向を検出する姿勢検出部である。本実施例では、特徴点算出部１０７ｂにより検出された顔の特徴点（特定画像部分）として人物の眼を用い、人物の両眼の配置方向と撮影画面の長辺又は短辺方向（水平又は垂直）との関係に基づいて撮像装置１００の姿勢を判別している。
【００３１】
具体的には、図４に示すように、姿勢検出部１０７ｃにおいて、検出された人物の対となる眼と眼を結ぶ直線Ｌと画像水平方向Ｇとの角度（姿勢角度）θを算出する。例えば、撮像装置１００の姿勢が水平姿勢（横位置）である場合（図４（ａ））、眼を結ぶ直線Ｌと画像水平方向Ｇとでなす角は０°であり、垂直姿勢（縦位置）である場合（図４（ｃ））、姿勢角度θは９０°となる。
【００３２】
図５は、この算出された姿勢角度θと撮像装置１００の姿勢の対応関係を示す図である。同図に示すように検出された姿勢角度θが０°＜θ＜３０°の範囲であれば、撮像装置１００の姿勢が水平姿勢（横位置）、３０°＜θ＜６０°の範囲では、撮像装置１００の姿勢が斜め姿勢、６０°＜θ＜９０°であれば該撮像装置１００の姿勢が垂直姿勢（縦位置）と判別する。
【００３３】
１０７ｄは、撮像装置１００の姿勢角度θに基づいて、撮影領域内の第２の画像領域を算出する特定領域算出部であり、本実施例では画像データに含まれる空領域を特定する。この特定領域算出部１０７ｄは、撮像装置１００の姿勢角度（撮影方向）に対応した空領域の色表価値Ｃｘ，Ｃｙを算出し、画面上部に空があるか否かを判別する。ただし、Ｃｘ，Ｃｙ色空間における空に関する分布領域は図１１における領域Ａのように予め設定している。
【００３４】
図４に示すように、撮像装置１００が水平姿勢では、空領域は画面上部、斜め姿勢では画面上部の側部、垂直姿勢では画面側部となるため、予めメモリ１０８に各々の姿勢角度に対応する空領域を設定している。このように撮像装置１００の姿勢に基づいて空領域を特定することで、色評価値が領域Ａに含まれる場合には、予め設定した該空領域を除外して白点検出することで、色温度を誤判別によるホワイトバランス処理を適正に行うことができる。
【００３５】
１０７ｅは、ホワイトバランス処理部であり、色温度に基づいて光源を特定し、該光源に対応したホワイトバランス処理を行う。なお、ホワイトバランス処理部以外にも、例えば、ノイズ除去処理部や赤目補正処理部等を設けて、該画像データに画像処理を施すように構成することも可能である。
【００３６】
また、メモリ１０８には、１又は複数の人物情報が記憶されている。人物情報とは、その人物（個人）の眉や眼の距離、顔の輪郭、鼻や口の形状等を示す情報であり、さらにその人物の瞳の色も含む。また、人種に関する情報として、一般的な肌の色や瞳の色の情報も含む。また、人物の顔でないとする非顔情報も記憶している。さらに、図５に示す撮像装置１００の姿勢角度θと該撮像装置１００の姿勢との対応情報や、姿勢角度θと空領域との対応情報も記憶されている。
【００３７】
次に、本実施例における画像データの特定画像部分を検出する方法について、図６に基づいて説明する。まず、画像処理部１０７に、画像生成処理部１０４から出力された画像データが入力される（Ｓ６０１）。該画像データは画像検出部１０７ａに入力され、上述の方法により人物の顔（第１の画像領域）が検出される。そして、特徴点算出部１０７ｂでは、特徴点の検出（算出）のために入力された第１の画像領域（顔データ）に対して水平および垂直方向のバンドパスフィルタをかけ、エッジ成分を検出する（Ｓ６０２、Ｓ６０３）。そして、検出されたエッジ成分のパターンマッチングを行い（Ｓ６０４）、眼及び鼻、口、耳の候補群を抽出する。
【００３８】
さらに、特徴点算出部１０７ｂでは人物の眼を判別するために、ステップ６０４において抽出された眼の候補群の中から、予め設定された上記情報をメモリ１０８から取得し、該情報（例えば２つの眼の距離、傾き等）を満たすものを眼として判別し、眼の対があるもののみを眼の候補群として絞り込む処理を行う（Ｓ６０５）。
【００３９】
ステップ６０６では、ステップ６０５にて絞り込まれた眼の候補群と、それに対応する顔を形成する他のパーツ(鼻、口、耳)を対応づけ、さらに、予めメモリ１０８に記憶されている非顔条件フィルタを通すことで顔を検出し、姿勢検出部１０７ｃに人物の顔情報（特定画像部分）を出力する。なお、多人数の人間が検出された場合、各人の角度情報を元に分布図を作成したり、標準偏差を算出したりして、この値以内の角度を平均させて撮像装置１００の姿勢に対する対応関係を算出するように構成するとよい。
【００４０】
次に、本実施例おける撮像装置１００の姿勢検出及び画像処理について、図３〜図５を用いて詳細に説明する。
【００４１】
まず、特定画像部分（人物の眼）の情報が画像処理部１０７の姿勢検出部１０７ｃに入力される（Ｓ５０１）。そして、姿勢検出部１０７ｃでは、検出された人物の対となる眼と眼を結ぶ直線Ｌと画像水平方向Ｇとの角度を算出する（Ｓ５０２、図４参照）。
【００４２】
その後、ステップ５０３に進み、ステップ５０２で算出した角度に基づいて、図５に示す対応関係を用い、撮像装置１００の姿勢を判別し、該撮像装置１００の姿勢情報を特定領域算出部１０７ｄに出力する。
【００４３】
特定領域算出部１０７ｄでは、ステップ５０３で判別した撮像装置１００の姿勢に対応した空領域（第２の画像領域）の色表価値Ｃｘ，Ｃｙを算出し、画面上部に空があるか否かを判定する（Ｓ５０４）。色評価値が領域Ａに含まれる場合、ステップ５０５進んで、空領域を除外した白点検出を行い、色評価値が領域Ａに含まれない場合は、空領域を除外せずに白点検出を行い（Ｓ５０６）、ホワイトバランス処理部１０７ｅにおいてホワイトバランス処理を実行する。
【００４４】
このように本実施例では、撮影された画像データの特定画像部分（人物の眼）に基づいて、別途姿勢検出センサを設けずとも、撮像装置１００の姿勢を正確、かつ容易に判別している。さらに、この判別により画面上部における空領域（第２の画像領域）を特定し、該空領域をホワイトバランス処理における白点検出から除外することができるため、精度の高く良好な画像処理を行うことができる。
【実施例２】
【００４５】
図７は本発明の実施例２における画像処理装置の動作フローを示す図である。本実施例では、撮像装置１００の姿勢検出、すなわち撮影方向の特定において、上記実施例１の姿勢検出方法に加え、重力センサを採用している。この重力センサは、斜め方向を検出することができないので、撮影方向が斜め方向の場合に、上記実施例１における撮像装置１００の姿勢検出により撮影方向を検出する。
【００４６】
まず、特定画像部分（人物の眼）の情報が画像処理部１０７の姿勢検出部１０７ｃに入力される（Ｓ６０１）。そして、姿勢検出部１０７ｃでは、検出された人物の対となる眼と眼を結ぶ直線Ｌと画像水平方向Ｇとの角度を算出する（Ｓ６０２）。その後、ステップ６０３に進み、ステップ６０２で算出した角度に基づいて、図５に示す対応関係を用い、撮像装置１００の姿勢を判別する。
【００４７】
そして、ステップ６０４では、ステップ６０３で判別した撮像装置１００の姿勢が斜め方向か否かを判別し、該姿勢が斜め方向である場合には、人物の顔（眼）基づいてステップ６０３で検出した撮像装置１００の姿勢を撮影方向として、画像処理を行う。
【００４８】
一方、撮像装置１００の姿勢が斜めでない場合（撮影方向が斜め方向でない場合）には、重力センサの検出結果を撮影方向として用い、上記実施例１と同様に画像処理を行う。
【００４９】
このように本実施例では、重力センサでは検出し難い斜め方向での撮影シーンの場合は、特定画像部分に基づく撮像装置１００の姿勢検出を採用して、撮影方向を決定している。
【００５０】
よって、確実な撮影方向の判別が行えるとともに、該撮影方向に適した画像処理を行うことが可能となる。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施例１における画像処理装置を搭載した撮像装置の構成ブロック図である。
【図２】本発明の実施例１における画像処理装置の構成ブロック図である。
【図３】本発明の実施例１における画像処理装置及び撮像装置の動作フローチャートである。
【図４】本発明の実施例１における撮像装置の姿勢検出を説明する図である。
【図５】本発明の実施例１における撮像装置の姿勢角度対応図である。
【図６】本発明の実施例１における特定画像部分の検出処理動作フローである。
【図７】本発明の実施例２における画像処理装置及び撮像装置の動作フローチャートである。
【図８】従来の撮像装置の動作フローチャートである。
【図９】従来のホワイトバランス処理を説明する図である。
【図１０】従来の色評価値と色温度との関係図である。
【図１１】従来の色評価値と色温度との関係図である。
【符号の説明】
【００５２】
１００ 撮像装置
１０７ａ、１０７ｂ 画像検出手段
１０７ｃ 判別手段
【特許請求の範囲】
【請求項１】
撮像装置により得られた画像データに含まれる特定画像部分を検出する画像検出手段と、
該特定画像部分の検出結果に基づいて前記撮像装置の姿勢を判別する判別手段とを有することを特徴とする画像処理装置。
【請求項２】
前記特定画像部分は、人物の眼を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判別手段は、人物の両眼の配置方向と撮影画面の長辺又は短辺方向との関係に基づいて前記姿勢を判別することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判別手段は、水平姿勢、垂直姿勢および斜め姿勢の判別を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
前記画像データに対し、前記判別手段に応じた処理を行う処理手段を有することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記処理手段は、前記画像データに対してホワイトバランス処理を行うホワイトバランス処理手段であり、
該ホワイトバランス処理手段は、前記判別手段の判別結果に基づいて前記画像データのうち白点を検出する領域を変更することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１から６のいずれか１つに記載の画像処理装置と、
被写体像を光電変換して前記画像処理手段により撮影姿勢が判別される画像データを取得する画像取得手段とを有することを特徴とする撮像装置。
【請求項８】
重力を用いて該撮像装置の姿勢を検出する姿勢検出手段と、
前記判別手段により特定姿勢が判別されたときは該判別された姿勢に応じた処理を行い、前記特定姿勢以外の姿勢が判別されたときは前記姿勢検出手段により検出された姿勢に応じた処理を行う処理手段を有することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記処理は、前記画像データに対するホワイトバランス処理であることを特徴とする請求項８に記載の撮像装置。
【請求項１】
撮像装置により得られた画像データに含まれる特定画像部分を検出する画像検出手段と、
該特定画像部分の検出結果に基づいて前記撮像装置の姿勢を判別する判別手段とを有することを特徴とする画像処理装置。
【請求項２】
前記特定画像部分は、人物の眼を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判別手段は、人物の両眼の配置方向と撮影画面の長辺又は短辺方向との関係に基づいて前記姿勢を判別することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判別手段は、水平姿勢、垂直姿勢および斜め姿勢の判別を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
前記画像データに対し、前記判別手段に応じた処理を行う処理手段を有することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記処理手段は、前記画像データに対してホワイトバランス処理を行うホワイトバランス処理手段であり、
該ホワイトバランス処理手段は、前記判別手段の判別結果に基づいて前記画像データのうち白点を検出する領域を変更することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１から６のいずれか１つに記載の画像処理装置と、
被写体像を光電変換して前記画像処理手段により撮影姿勢が判別される画像データを取得する画像取得手段とを有することを特徴とする撮像装置。
【請求項８】
重力を用いて該撮像装置の姿勢を検出する姿勢検出手段と、
前記判別手段により特定姿勢が判別されたときは該判別された姿勢に応じた処理を行い、前記特定姿勢以外の姿勢が判別されたときは前記姿勢検出手段により検出された姿勢に応じた処理を行う処理手段を有することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記処理は、前記画像データに対するホワイトバランス処理であることを特徴とする請求項８に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−７４４９８（Ｐ２００６−７４４９８Ａ）
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願番号】特願２００４−２５６０７５（Ｐ２００４−２５６０７５）
【出願日】平成１６年９月２日（２００４．９．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年３月１６日（２００６．３．１６）
【国際特許分類】
【出願日】平成１６年９月２日（２００４．９．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]