撮像装置、及び顔検出方法、顔検出制御プログラム
【課題】ユーザーに煩雑な設定作業を行わせることなく、被写体に応じた効率的な顔検出を可能とする。
【解決手段】
顔検出モードとして、顔領域の検出条件が異なるスピード優先モードと人数優先モードとを予め用意しておき、使用者に所望とする顔検出モードを選択させ、顔検出時に検出可能とする顔サイズの下限値(顔領域の横方向の画素サイズXmin及び縦方向の画素サイズYmin)と、顔領域の検出数の上限値(顔Max)を、使用者によって選択された顔検出モードに応じた値に設定する(SA5、SA6)。また、シャッターキーの半押しによる撮影予告が行われたとき、顔検出モードがスピード優先モードであった場合には、それを強制的に人数優先モードに変更する(ステップSA7〜SA9)。
【解決手段】
顔検出モードとして、顔領域の検出条件が異なるスピード優先モードと人数優先モードとを予め用意しておき、使用者に所望とする顔検出モードを選択させ、顔検出時に検出可能とする顔サイズの下限値(顔領域の横方向の画素サイズXmin及び縦方向の画素サイズYmin)と、顔領域の検出数の上限値(顔Max)を、使用者によって選択された顔検出モードに応じた値に設定する(SA5、SA6)。また、シャッターキーの半押しによる撮影予告が行われたとき、顔検出モードがスピード優先モードであった場合には、それを強制的に人数優先モードに変更する(ステップSA7〜SA9)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像内における人物の顔を検出する顔検出機能を備えたデジタルカメラ等の撮像装置、及び顔検出方法、顔検出制御プログラムに関するものである。
【背景技術】
【0002】
近年、被写体をCCDやMOS型の固体撮像素子を用いて撮像するデジタルカメラやデジタルビデオカメラ等においては、静止画像や動画像の撮影時に、被写体である人物の顔を自動的に検出する顔検出機能を有するものが増えている。係る機能を有するデジタルカメラ等においては、検出した顔部分の領域(顔領域)における画像情報に基づきフォーカス制御や露出制御が一般に行われている。
【0003】
また、例えば下記特許文献1には、任意の画像を処理対象とした顔検出(顔領域の検出)の処理の高速化や、無駄な検出処理をなくすことを目的として、顔検出時における処理時間や検出人数、顔面積率(処理対象の画像の面積と検出済みの顔領域の合計面積との比率)の各々の最大値をユーザーに予め設定させ、いずれかの値が最大値に達した時点で検出処理を完了する技術が記載されている。
【特許文献1】特開2000−48184号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術を顔検出機能を有するデジタルカメラ等に用いた場合、カメラに効率的な顔検出を行わせるためには、ユーザー(撮影者)が撮影時において前述した処理時間や検出人数、顔面積率といった顔検出動作の内容を規定する複数のパラメータを個別に設定するといった煩雑な設定作業を強いられるという問題があった。
【0005】
本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザーに煩雑な設定作業を行わせることなく、被写体に応じた効率的な顔検出が可能となる撮像装置、及び顔検出方法、顔検出制御プログラムプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため請求項1記載の発明に係る撮像装置にあっては、被写体を撮像する撮像手段を備えた撮像装置において、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する選択制御手段と、前記選択制御手段により選択されたいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する顔検出手段とを備えたことを特徴とする。
【0007】
また、請求項2記載の発明に係る撮像装置にあっては、選択制御手段は、使用者の選択操作に応じて、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択することを特徴とする。
【0008】
また、請求項3記載の発明に係る撮像装置にあっては、前記選択制御手段により選択させたいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値を設定するパラメータ設定手段を備え、前記顔検出手段は、前記パラメータ設定手段に設定されている第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出することを特徴とする。
【0009】
また、請求項4記載の発明に係る撮像装置にあっては、各顔検出モードに対応して、前記第1のパラメータ及び第2のパラメータの値を記憶するパラメータ記憶手段と、記選択制御手段が使用者に選択させたいずれかの顔検出モードに対応する、前記第1のパラメータ及び第2のパラメータの値を、前記パラメータ記憶手段から読み出すパラメータ読出手段とを備え、前記顔検出手段は、前記パラメータ読出手段により読み出された第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出することを特徴とする。
【0010】
また、請求項5記載の発明に係る撮像装置にあっては、前記第1のパラメータは前記被写体画像からの顔領域の検出数であり、前記第2のパラメータは前記被写体画像から検出可能とする顔領域の最小サイズであることを特徴とする。
【0011】
また、請求項6記載の発明に係る撮像装置にあっては、前記撮像手段により撮像された被写体画像を記録する記録媒体と、使用者が、操作によって前記被写体画像の記録媒体への記録を指示する撮影指示及び、当該撮影指示に先立つ撮影準備を行う操作手段と、この操作手段の操作によって使用者による撮影準備が行われたことに応答し、前記顔検出手段の顔検出モードを、前記撮影予告が行われた時点の顔検出モードに関係なく、常に複数の顔検出モードの中で顔領域の検出精度が相対的に最も高い顔検出モードに制御するモード制御手段とをさらに備えたことを特徴とする。
【0012】
また、請求項7記載の発明に係る顔検出方法にあっては、被写体を撮像する撮像手段により撮像された被写体画像から顔領域を検出する顔検出方法において、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する工程と、選択したいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する工程とを含むことを特徴とする。
【0013】
また、請求項8記載の発明に係る顔検出制御プログラムにあっては、画像から顔領域を検出する顔検出機能を備えた画像処理装置が有するコンピュータに、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する処理と、選択したいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する処理とを実行させることを特徴とする。
【0014】
また、請求項9記載の発明に係る撮像装置にあっては、被写体を撮像する撮像手段を備えた撮像装置において、前記撮像手段により撮像された被写体画像から顔領域を検出するとともに、動作モードとして顔領域の検出条件が異なる第1の顔検出モード及び第2の顔検出モードを有する顔検出手段と、この顔検出手段が第1の顔検出モードにより顔領域の検出動作を繰り返す間に、前記第2の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、前記顔検出手段の動作モードを第2の顔検出モードに変更するモード制御手段とを備えたことを特徴とする。
【0015】
また、請求項10記載の発明に係る撮像装置にあっては、前記モード制御手段は、顔検出手段が第2の顔検出モードにより顔領域の検出動作を繰り返す間に、前記第1の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第1の顔検出モードの検出条件を満足する内容である場合に、顔検出手段の動作モードを第1の顔検出モードに設定することを特徴とする。
【0016】
また、請求項11記載の発明に係る撮像装置にあっては、前記モード制御手段は、前記顔検出手段が第2の顔検出モードで顔領域の検出動作を繰り返す間、一定期間毎に、前記顔検出手段に第1の顔検出モードによる顔領域の検出動作を行わせ、第1の顔検出モードによる前記顔検出手段の顔領域の検出動作に際して、前記第2の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容でない場合に、顔検出手段の動作モードを第1の顔検出モードに設定することを特徴とする。
【0017】
また、請求項12記載の発明に係る撮像装置にあっては、前記顔検出手段は、第1の顔検出モード及び第2の顔検出モードによる顔領域の検出動作に際し複数サイズの顔領域を検出対象とした検出動作を行い、前記モード制御手段により取得される前記第2の顔検出モードの検出条件に関する所定の検出情報には、前記顔検出手段により検出された顔領域のサイズが含まれることを特徴とする。
【0018】
また、請求項13記載の発明に係る顔検出方法にあっては、被写体を撮像する撮像手段により撮像された被写体画像から顔領域を検出する顔検出方法において、被写体画像からの顔領域の検出動作を第1の顔検出モードにより繰り返すとともに、その間に、第1の顔検出モードとは顔領域の検出条件が異なる第2の顔検出モードの検出条件に関する所定の検出情報を取得する工程と、この工程で取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、被写体画像からの顔領域の検出動作モードを前記第2の顔検出モードに変更する工程とを含むことを特徴とする。
【0019】
また、請求項14記載の発明に係る顔検出制御プログラムにあっては、画像から顔領域を検出する顔検出機能を備えた画像処理装置が有するコンピュータに、被写体画像からの顔領域の検出動作を第1の顔検出モードにより繰り返すとともに、その間に、第1の顔検出モードとは顔領域の検出条件が異なる第2の顔検出モードの検出条件に関する所定の検出情報を取得する処理と、この工程で取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、被写体画像からの顔領域の検出動作モードを前記第2の顔検出モードに変更する処理とを実行させることを特徴とする。
【発明の効果】
【0020】
本発明によれば、ユーザーに煩雑な設定作業を行わせることなく、被写体に応じた効率的な顔検出が可能となる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の一実施の形態を図にしたがって説明する。
【0022】
(実施形態1)
まず、第1の実施形態について説明する。図1は、本実施形態に係るデジタルカメラの概略構成を示すブロック図である。このデジタルカメラはAE(自動露出)、AF(オートフォーカス)、顔検出の各機能を備えたものであって、主として以下の各部から構成されている。
【0023】
すなわちデジタルカメラは、光学系1により結像された被写体の光学像を光電変換し撮像信号として出力する撮像手段としてCCD2を有している。CCD2は、タイミングジェネレータ(TG)3により生成されるタイミング信号に基づきCCD駆動回路4によって生成される駆動信号により駆動される。CCD2の出力信号はA/D変換器5でデジタル信号に変換された後、画像処理部6へ送られる。
【0024】
前記光学系1には、フォーカスレンズ及びそれを光軸上で移動させるためのレンズモータが含まれ、レンズモータが制御部7の指令に従いレンズ駆動回路8により生成される駆動信号によって駆動されることによりフォーカスレンズが光軸上での位置を制御される。
【0025】
前記画像処理部6は、A/D変換後の撮像信号に対して、画素毎のR,G,Bの色成分データ(RGBデータ)を生成するRGB補間処理、RGBデータから輝度信号(Y)と色差信号(U、V)からなるYUVデータを画素毎に生成するYUV変換処理、さらにオートホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。画像処理部6で変換されたYUVデータは順次SDRAM9に格納される。
【0026】
また、デジタルカメラは、液晶モニタ及びその駆動回路から構成される表示部10を有している。撮影用の記録モードが設定されているときSDRAM9に格納されたYUVデータは、SDRAM9において1フレーム分が蓄積される毎に画像処理部6においてビデオ信号に変換された後、表示部10(液晶モニタ)においてスルー画像として画面表示される。そして、記録モードにおける撮影時には、SDRAM9に一時記憶された画像データがJPEG変換部11においてJPEG方式により圧縮符号化された後、外部メモリI/F12を介して、例えば各種のメモリカードにより構成される外部メモリ13(記録媒体)に静止画ファイルとして記録される。
【0027】
上記外部メモリ13に記録された静止画ファイルは、再生モードにおいてユーザーの選択操作に応じて適宜読み出されるとともに、JPEG変換部11において伸張されYUVデータとしてSDRAM9に展開された後、表示部10において静止画像として表示される。
【0028】
キー入力ブロック14は、電源キーや、デジタルカメラの基本の動作モードである前記記録モードと再生モードとの切り替えを行うモード切替キー、MENUキー、シャッターキー等の複数キーを含み、各キーの操作状態を制御部7により随時スキャンされる。なお、シャッターキーは本発明の操作手段であり、ユーザーが撮影予告を行うための半押し位置と、実際の撮影動作を指示するための全押し位置との2段階の操作が可能な所謂ハーフシャッター機能を有するものである。
【0029】
顔認識処理部15は、画像処理部6によって生成された1フレーム分の画像データ(以下、フレーム画像という。)において、予め用意(記憶)されている人物の顔に関する輪郭や色等のモデルパターンと特徴が近い顔部分を検出する顔検出を行い、検出した顔部分に対応する領域(以下、顔領域という。)の座標情報を取得し、それを制御部7へ送る。すなわち顔認識処理部15は本発明の顔検出手段であって、より具体的には、上記フレーム画像を一時記憶するフレームメモリと、顔検出動作に必要な各種の画像処理を行うための画像処理回路、顔検出動作に際して使用するパラメータを記憶する複数のレジスタ等から構成されている。
【0030】
また、本実施形態においては、顔認識処理部15における顔領域の検出時の動作モード(顔検出モード)として、顔領域の検出条件が異なるスピード優先モードと人数優先モードとが設けられており、顔認識処理部15は顔検出モードの種類に応じた動作により前述した顔検出を行う。なお、顔検出モードの種類はユーザーが適宜切り替え可能となっている。
【0031】
制御部7は、CPU及びその周辺回路等とから構成され、デジタルカメラの各部の制御、及び撮像信号に含まれる輝度情報に基づいたAE制御や、コントラスト検出方式によるAF制御、顔検出制御等を行う。それらの制御を制御部7に行わせるための各種のプログラムや、各々の制御に必要な各種データは、記憶データの書き換えが可能な不揮発性メモリであるフラッシュメモリ16に記憶されている。なお、フラッシュメモリ16には、ユーザーにより設定されたデジタルカメラの各種の機能に関する設定情報等も記憶されている。
【0032】
また、本実施形態においてフラッシュメモリ16には、制御部7を本発明の選択制御手段、モード設定手段、パラメータ設定手段、パラメータ読出手段、モード制御手段として機能させるための顔検出制御プログラム、及び顔検出制御に伴い制御部7が顔認識処理部15のレジスタに初期値として設定する所定の設定パラメータを示す図2に示した優先設定テーブルTが記憶されている。優先設定テーブルTは、前述した顔検出モード(スピード優先モードと人数優先モード)に対応する設定パラメータを示すものであり、顔検出時に検出可能なもっとも小さい顔サイズ、つまり顔サイズの下限値となる横方向の画素サイズXmin及び縦方向の画素サイズYminと、検出すべき最大の顔の数、つまり顔検出人数の上限値である顔Maxである。
【0033】
顔検出モードのうちスピード優先モードは顔検出時の処理速度を優先(重視)したモードであり、人数優先モードは顔検出人数、すなわち詳細な顔検出を優先(重視)したモードであって、双方のモードに対応する設定パラメータの値は、各々モードの優先内容(顔領域の検出条件)に応じた値となっている。すなわち、顔Maxは、スピード優先モード側では「5人」、人数優先モード側では「10人」となっている。また、顔サイズ(Xmin,Ymin)は、フレーム画像の縦方向のサイズを100%としたときのパーセンテージ(N%)であって(図6(a)参照)、スピード優先モード側は「16%」、同様に人数優先モード側は「10%」のサイズとなっている。なお、図2に示した画素サイズ(36pix、10pix)は、後述する顔検出に関する具体的な動作内容の説明に対応する便宜的な値である。
【0034】
なお、本実施形態において、前述した設定パラメータの値は以下の点に鑑み決められたものである。すなわち、通常、顔検出においては、検出対象となる画像(以下、フレーム画像という)に存在する人物の数や、人物の顔の大きさは決まっていないため、検出すべき顔のサイズを小さなサイズから徐々に大きなサイズへ変化させながらフレーム画像内に存在する顔(顔領域)を検出する。そのとき、1回の顔検出サイクルに要する処理速度は、これから検出しようとする顔の数(顔検出人数)と顔の大きさ(顔サイズ)と密接な関係がある。
【0035】
図8(a)は、フレーム画像に人物が5人存在し、かつフレーム画像なの顔サイズが同じ場合を想定したときの、顔サイズの違いによる処理速度(時間)の変化(顔サイズ対処理速度特性)を示す図である。つまり1回の顔検出サイクルに要する処理速度は、より小さな顔を検出しようとするほど遅くなり、また、ある程度以上の大きな顔を検出しようとする場合には、顔の大きさの違いは処理速度にほとんど影響を及ぼさなくなる。また、同図(b)は、フレーム画像に存在する全ての顔のサイズが10%である場合を想定したときの、顔検出人数の変化に対する処理速度の変化(人数対処理速度特性)を示す図であり、1回の顔検出サイクルに要する処理速度は、これから検出しようとする顔の数が少ないほど速くなる。なお、図に示した処理速度は便宜的なものである。
【0036】
これは、フレーム画像内における顔部分のスキャン密度、つまりパターン照合の対象とする領域の大きさと、その領域数とに関係しており、検出可能な顔のサイズが大きいほどスキャン密度は粗くなり、逆に検出可能な顔のサイズが小さくなると、スキャン密度が非常にきめ細かくなるとともに、対象領域の画像が顔であるか検出するための照合回数が増え、その分だけ爆発的に処理速度が低下するためである。
【0037】
一方、上述したように1回の顔検出サイクルに要する処理速度は、これから検出しようとする顔の数(顔検出人数)と顔の大きさ(顔サイズ)とに関係するが、それとは別に、フレーム画像内における人数と顔のサイズとは密接に関係している。すなわち、フレーム画像内に存在する顔が大きな場合は、いかに多数の顔が「おしくらまんじゅう」状態に密集していたとしても、おのずとフレーム画像内に存在し得る顔の数には限界がある。
【0038】
したがって、より小さな顔を検出するのであれば、検出可能とする顔の数もそれなりに検出できなければいけないが、大きな顔だけを検出するのであれば、検出可能とする顔の数は絞ってしまっても良いということになる。以上の点に鑑み、本実施形態においては、前述したように、スピード優先モードに対応する設定パラメータの値として顔Max(顔検出人数の上限値)に「5人」が、顔サイズ(検出サイズの下限値)に「16%」が設定されている。また、人数優先モードに対応する設定パラメータの値として顔Maxに「10人」が、顔サイズに「10%」が設定されている。
【0039】
次に、以上の構成からなるデジタルカメラの顔検出に関する動作について説明する。まず、基本的な動作について説明すると、前記デジタルカメラにおいては、記録モードにおける撮影待機状態において顔検出機能がオンに設定されているとき、制御部7が所定のフレームレートによる撮像動作で取得した被写体の画像データ(フレーム画像)を対象として顔認識処理部15に顔検出を行わせる。顔認識処理部15による顔検出動作はフレームレートとは非同期であり、1回の顔検出動作が完了する毎に、その直後に取得した新たなフレーム画像を制御部7が顔認識処理部15へ送ることによって随時行われる。また、顔認識処理部15における顔検出は、上記フレーム画像の外周部を除くほぼ全域を顔探索領域として行われる。なお、以下の説明では、便宜上、その顔探索領域のサイズが290ピクセル×220ピクセルであるものとする(図5参照)。
【0040】
以下、具体的な動作内容を図3及び図4のフローチャートに従い説明する。図3に示したように、デジタルカメラにおいては、記録モードにおいて顔検出機能がオンに設定されるか、または顔検出機能がオンに設定されている状態で記録モードが設定されると、制御部7が、フラッシュメモリ16から、その時点で設定されている(例えば前回の顔検出機能の使用時に設定されていた)顔検出モードの種類についての設定情報を取得する(ステップSA1)。
【0041】
そして、顔検出モードとしてスピード優先モードと人数優先モードとのいずれが設定されているのかを確認するとともに(ステップSA2)、設定されているモードに応じた設定パラメータを前記優先設定テーブルT(図2)から読み出し、それを顔検出動作に使用する初期値として顔認識処理部15に設定する。すなわち、「スピード優先モード」が設定されていたときには、顔サイズ(Xmin,Ymin)として「36,36」を設定し、かつ顔検出人数の上限値(顔Max)に「5」を設定し(ステップSA3)、また「人数優先モード」が設定されていたときには、顔サイズ(Xmin,Ymin)として「22,22」を設定し、かつ顔検出人数の上限値(顔Max)に「10」を設定する(ステップSA4)。
【0042】
以後、デジタルカメラにおいては、ユーザーによる顔検出モードの切り替え操作や、シャッターキーの半押し操作がなければ(ステップSA5,SA7が共にNO)、顔認識処理部15が、制御部7によってフレーム画像が送られる毎に、図4のステップSA10〜SA23の処理による顔検出動作を繰り返し行う。図5は、フレーム画像100における顔探索領域101と、顔検出動作で使用されるパラメータを示した説明図である。
【0043】
図4に示したように、顔検出に際して顔認識処理部15は、まずパターン照合を行うべき顔サーチ領域102のサイズXf,Yfを、制御部7によって設定された初期値(Xmin,Ymin)とするとともに、顔サーチ領域102の始点Xs,Ys及び検出カウンタの値を各々「0」とし、さらに顔サーチ領域102の終点Xe,Yeを、始点Xs,Ys及びサイズXf,Yfに応じた値とするパラメータの初期化処理を行う(ステップSA10〜SA12)。なお、上記始点Xs,Ys、及び終点Xe,Yeは、フレーム画像における顔探索領域101内での座標位置である。しかる後、上記サイズXf,Yfの顔サーチ領域102を対象としてパターン照合による顔検出処理を実行する(ステップSA13)。そして、同様の顔検出処理を、以下の手順で顔サーチ領域102の位置、及び大きさを更新しながら繰り返し行う。
【0044】
まず、顔サーチ領域102のX方向及びY方向のシフト単位ΔX,ΔYとして、その時点の顔サーチ領域サイズXf,Yfの20%を設定した後(ステップSA17)、顔サーチ領域102をX方向へ上記シフト単位ΔX分だけ移動すべく始点Xs及び終点Xeを更新する(ステップSA18)。そして、X方向の終点Xeが顔探索領域101の右端の座標位置(ここでは290)を超えるまで(ステップSA19でNO)、同様の処理によって顔サーチ領域102をX方向へ移動する毎に顔検出処理を行う。
【0045】
また、顔サーチ領域102のX方向の終点Xeが顔探索領域101の右端の座標位置(290)を超える毎に(ステップSA19でYES)、顔サーチ領域102をY方向へ上記シフト単位ΔY分だけ移動し、かつX方向の位置を左端に移動すべく始点Xs,Ys、及び終点Xe,Yeを更新し(ステップSA20)、Y方向の新たな位置でX方向への移動を繰り返しながら、移動する毎に顔検出処理を行う。これを新たなY方向の終点Yeが顔探索領域101の下端の座標位置(この例では220)を超えるまで繰り返す(ステップSA21でNO)。つまり顔サーチ領域102を少しずつ(シフト単位ΔX,ΔYずつ)顔探索領域101の左から右へ、かつ上から下へ移動しながら顔検出処理を繰り返す。
【0046】
また、その間には、顔サーチ領域102のY方向の終点Yeが顔探索領域101の下端の座標位置を超える毎に(ステップSA21でYES)、その時点で、顔サーチ領域102のX方向及びY方向のサイズXf,Yfを、それぞれ1.2倍のサイズに拡大する(ステップSA22)。以後、新たなサイズ(Xf,Yf)の顔サーチ領域102を前述したように顔探索領域101の左から右へ、かつ上から下へ移動しながら顔検出処理を繰り返す。
【0047】
一方、上述したように顔検出処理を繰り返す間には、顔が検出できる毎に(ステップSA14でYES)、検出カウンタの値をカウントアップする(ステップSA15)。そして、前記検出カウンタの値、つまり顔検出人数が上限値(顔Max)に達するか(ステップSA16でYES)、または、ステップSA22で設定した顔サーチ領域102のサイズ(Xf,Yf)が予め決められている最大サイズ(Xmax,Ymax)を超えた時点でフレーム画像に対する顔検出動作を完了する。
【0048】
しかる後、図3のステップSA5へ戻り、顔検出モードの切り替え操作や、シャッターキーの半押し操作がなければ(ステップSA5,SA7が共にNO)、そのまま、新たなフレーム画像に対して上述した図4のステップSA10〜SA23の顔検出動作を繰り返し行う。
【0049】
また、フローチャートには示さないが、上記顔検出動作には、ステップSA15で検出カウンタの値をカウントアップするとき、顔認識処理部15が、その時点の顔サーチ領域102の座標情報(始点Xs,Ys、及び終点Xe,Ye)を制御部7に送り、それに基づいて、制御部7が顔領域を示す顔検出枠をスルー画像上に逐次重畳して表示する。図6(a)、同図(b)は、フレーム画像に対する顔検出動作、すなわち1サイクルの顔検出処理が完了した時点における顔検出枠Aが表示された状態のスルー画像110の例を示した図である。
【0050】
なお、上記顔検出枠Aの表示は、制御部7がSDRAM9に格納されたスルー画像用のYUVデータに顔検出枠AのOSD(On Screen Display)データを合成することによって行われる。また、顔認識処理部15により検出された顔領域は、例えば制御部7によってAE制御が行われるときの測光領域として使用されたり、AF制御が行われるときのコントラスト値の取得領域(AF評価領域)として使用されたりする。
【0051】
また、図3に示したようにデジタルカメラにおいては、ユーザーによって顔検出モードの切り替えが行われた場合には(ステップSA5でYES)、その時点で顔認識処理部15に設定してある設定値、つまり顔サイズ(Xmin,Ymin)と顔検出人数の上限値(顔Max)の値を新たなモード(スピード優先モード、又は人数優先モード)に対応する値に変更する(ステップSA6)。その後は、顔認識処理部15が変更後の設定値に基づき前述した顔検出動作を行う。
【0052】
なお、ユーザーによる顔検出モードの切り替えは、モード設定(変更)用の所定のキー操作が行われたとき、それに応答して制御部7が図7に示したようなモード選択画面200を表示部10に表示し、モード選択画面200においてカーソル移動の操作等により選択されたモード(スピード優先モード、又は人数優先モード)を新たな顔検出モードとして設定することにより行われる。
【0053】
さらに、デジタルカメラにおいては、シャッターキーが半押しされたときには(ステップSA7でYES)、制御部7が、その時点で設定されている顔検出モードがスピード優先モードであるか否かを判別する(ステップSA8)。そして、スピード優先モードであった場合においては(ステップSA8でYES)、顔認識処理部15にその時点における顔検出動作を中止させ、その時点で設定してある顔サイズ(Xmin,Ymin)と顔検出人数の上限値(顔Max)の値を人数優先モードに対応する値に一時的に変更するとともに(ステップSA9)、その後におけるシャッターキーが半押しされている間のフレーム画像に対する顔検出動作を人数優先モードによって行わせる。なお、フローチャートには示さないが、ステップSA9で上記設定値を人数優先モードに対応する値に一時的に変更された場合、制御部7はシャッターキーの半押し状態が解除された時点で上記設定値を、スピード優先モードの設定値に戻す。以後、撮影待機状態においては、顔検出機能がオンに設定されている間、ステップSA5〜SA23による動作を繰り返す。
【0054】
ここで、以上説明した本実施形態においては、顔検出モードとしてスピード優先モードが設定されているときには、顔検出人数の上限値(顔Max)が「5」、かつ顔サーチ領域102のサイズの初期値が「36,36」(顔サイズで16%)に設定され、また、人数優先モードが設定されているときには、顔検出人数の上限値(顔Max)が「10」、かつ顔サーチ領域102のサイズの初期値が「22,22」(顔サイズで10%)に設定される。
【0055】
そのため、スピード優先モードが設定されているときには、人数優先モードに比べると検出できる顔の数(顔検出人数)や顔サイズといった顔検出性能は劣るものの、1回の顔検出サイクルに要する処理速度が高速となるため、顔検出動作に高い応答性が確保される。つまり画角が変化したり、画角内の人物が動いたりしたときには、前述した顔検出枠A(図6)を直ちにそれに追従して移動させることができる。逆に、人数優先モードが設定されているときには、スピード優先モードに比べると応答性能は劣るものの、遠くの小さな顔までもが検出でき、また多人数の顔も検出できる。つまり詳細な顔検出を行うことができる。
【0056】
以上のように、本実施形態のデジタルカメラにおいては、ユーザー(撮影者)は顔検出モードの種類のみを選択するだけで、煩雑な設定作業を行わなくとも、画角内における人数や、顔の大きさといった被写体の具体的な内容に対応する効率的な顔検出をデジタルカメラに行わせることができる。
【0057】
また、検出可能な顔サイズや、検出可能な顔検出人数といったパラメータをユーザーに個別に設定させる場合には、ユーザーがそれらの設定(パラメータ間の値の組合せ)に習熟している必要があるが、その必要がない。例えばユーザーが大きな顔だけを迅速に検出させたいときには、検出可能とする顔検出人数(上限人数)は絞った方が良いが、ユーザーが上記パラメータの設定に習熟していないと、上限人数を多く設定してしまい、結果的に意図した応答性能が得られないといった事態が起こり得る。それに対し、本実施形態のデジタルカメラでは、顔検出モードの種類のみを選択するだけで良いため、誰もが、被写体の具体的な内容に応じた効率的な顔検出をデジタルカメラに確実に行わせることができる。
【0058】
さらに、シャッターキーが半押しされてから、その状態が解除されるまでは、顔検出モードを、それまでの顔検出モードとは関係なく(強制的に)人数優先モードに設定するため、撮影時には常に詳細な顔検出動作に基づいた、より適切なAF制御やAE制御を行うことができる。
【0059】
なお、上述したシャッターキーの半押しに伴う人数優先モードへの変更については、本実施形態とは異なり、シャッターキーが半押しされた時だけ、一時的に行うようにしてもよい。その場合においても上記効果を得ることができる。
【0060】
なお、本実施形態においては、顔検出モードが、顔検出時の処理速度を優先したスピード優先モードと、検出可能な顔検出人数(詳細な顔検出)を優先した人数優先モードとの2種類のみである場合について説明したが、予め設けておく複数の顔検出モード3種類以上であってもよい。また、各々の顔検出モードは、2以上のパラメータの値の組合せによって顔領域の検出条件が異なるものであればよい。すなわち顔検出時の処理速度や検出可能な顔の数以外の動作内容を優先(重視)するようなモードであっても構わない。
【0061】
また、顔検出モードとして、例えばスピード優先モードと人数優先モードに加えて、それ以外のモードをさらに設ける場合や、スピード優先モードや人数優先モードとは異なるモードを複数設ける場合においても、シャッターキーが半押しされてから、その状態が解除されるまでの間だけ、本実施形態のように複数の顔検出モードの中で、相対的な顔領域の検出精度が最も高いモードを設定することにより、本実施形態と同様、撮影時には、より適切なAF制御やAE制御を行うことができる。
【0062】
(実施形態2)
次に、本発明の第2の実施形態について説明する。本実施形態は前述した顔検出モードの設定(切替)を自動的に行うデジタルカメラに関するものである。基本構成については第1の実施形態と同様であるが、前記フラッシュメモリ16には、制御部7に以下の処理行わせるための顔検出制御プログラムが格納されている。
【0063】
以下、制御部7における顔検出に関する処理内容を図9及び図10のフローチャートに従い説明する。図9に示したように、制御部7は、記録モードにおいて顔検出機能がオンに設定されるか、または顔検出機能がオンに設定されている状態で記録モードが設定されると、まず人数優先フラグをOFF状態にセットする初期化処理を行う(ステップSB1)。引き続き、顔検出モードとして人数優先モードを設定した後、つまり人数優先モードに応じた設定パラメータを前記優先設定テーブルT(図2)から読み出し、それを顔検出動作に使用する初期値として顔認識処理部15に設定した後(ステップSB2)、顔認識処理部15に第1の実施形態と同様の顔検出動作を行わせる(ステップSB3)。
【0064】
その後、顔認識処理部15においてフレーム画像に対する1サイクルの顔検出処理が完了するまでの間は(ステップSB8でNO)、顔認識処理部15において顔が検出される毎に(ステップSB5でYES)、顔認識処理部15から送られた時点の前記顔サーチ領域102(図5参照)の座標情報(始点Xs,Ys、及び終点Xe,Ye)から、検出された顔のサイズが16%未満であるか否か、及びその時点までに顔検出できた顔の数(顔検出人数)が上限、つまり人数優先モードの上限値(顔Max)である10人に達したか否かについてそれぞれ確認する(ステップSB5、SB7)。
【0065】
その際、顔のサイズについては上記座標情報から判断するとともに、いずれかの時点で検出された顔のサイズが16%未満であって、フレーム画像内に比較的小さな顔が検出できた場合には(ステップSB5でYES)、人数優先フラグをON状態にセットする(ステップSB6)。
【0066】
やがて、顔検出人数が上限に達した時点(ステップSB7でYES)、又は顔検出人数が上限に達していなくとも、1サイクルの顔検出処理が完了した時点で(ステップSB8でYES)、それまでの間に顔認識処理部15から送られてきた、全ての座標情報に基づいて1又は複数の顔検出枠をスルー画像に表示する。
【0067】
引き続き、人数優先フラグがON状態であれば(ステップSB10でYES)、それをいったんOFF状態にセットし直した後(ステップSB11)、ステップSB3へ戻り、人数優先モードのままで次のフレーム画像に対する顔検出処理を顔認識処理部15に行わせる。つまり直近のフレーム画像において検出できた1又は複数の顔の中に、そのサイズが16%未満の顔が1つでも含まれていた場合であって、検出できた顔のサイズが、スピード優先モードによる顔領域の検出条件を満足しない内容である場合には、人数優先モードによる顔検出処理を継続することにより、被写体の具体的な内容に応じた効率的な顔検出を行うことができる。
【0068】
これに対し、人数優先フラグがOFF状態であって、顔検出処理においてフレーム画像内に比較的小さな顔が検出できなかった場合(ステップSB10でNO)、つまり直近のフレーム画像において検出できた顔のサイズが全て16%以上であった場合であって、スピード優先モードによる顔領域の検出条件を満足する内容である場合には、図10に示したように、その時点で顔検出モードを人数優先モードからスピード優先モードに切り替える(ステップSB12)。すなわちスピード優先モードに応じた設定パラメータを前記優先設定テーブルT(図2)から読み出し、それを顔検出動作に使用する初期値として顔認識処理部15に設定する。同時にそれ以降における所定時間(3秒)に1回の動作タイミングを得るためのタイミングカウンタ動作を開始するとともに(ステップSB13)、顔認識処理部15にスピード優先モードによる顔検出動作を行わせる(ステップSB14)。
【0069】
その後、顔認識処理部15においてフレーム画像に対する1サイクルの顔検出処理が完了するまでの間は(ステップSB17でNO)、顔認識処理部15において顔が検出される毎に(ステップSB15でYES)、その時点までに顔検出できた顔の数(顔検出人数)が上限、つまりスピード優先モードの上限値(顔Max)である5人に達したか否かを随時確認する(ステップSB16)。
【0070】
やがて、顔検出人数が上限値に達するか(ステップSB16でYES)、又は顔検出人数が上限に達していなくとも、1サイクルの顔検出処理が完了した時点で(ステップSB17でYES)、それまでの間に顔認識処理部15から送られてきた、全ての座標情報に基づいて1又は複数の顔検出枠をスルー画像に表示する(ステップSB18)。
【0071】
引き続き、その時点が前述した3秒に1回の動作タイミングでなければ(ステップSB19でNO)、ステップSB14へ戻る。つまりスピード優先モードのまま次のフレーム画像に対する顔検出処理を顔認識処理部15に行わせる。これにより、その時点における被写体の具体的な内容に適した効率的な顔検出を行うことができる。
【0072】
一方、上記処理を繰り返す間には、3秒に1回の動作タイミングが到来したら(ステップSB19でYES)、前述した図9のステップS2へ戻り、顔検出モードをスピード優先モードから人数優先モードに切りえた後、前述したステップSB10までの処理を行う。そして、そのとき、前回人物優先モードで顔検出が行われた後において、例えば画角内のいずれかの人物がカメラから遠ざかったり、新たに人物が画角内に入ったりといったような被写体の状態変化があったことにより、16%未満の比較的小さなサイズの顔が検出された場合には(ステップSB5でYES)、人数優先フラグをON状態に設定することにより(ステップSB6)、それ以降も人数優先モードのまま顔認識処理部15に詳細な顔検出処理を繰り返し行わせる。
【0073】
また、上記の3秒に1回の人数優先モードによる、1サイクルの顔検出処理が完了するまでの詳細な顔検出処理中に、16%未満の比較的小さなサイズの顔が全く検出されなかった場合には(ステップSB5〜SB10)、顔検出モードをスピード優先モードに戻した後(ステップSB12)、再び、顔認識処理部15に高速の顔検出処理を繰り返し行わせる。
【0074】
以上のように、本実施形態においては、顔検出モードの種類を自動的に設定することにより、ユーザー(撮影者)に全く負担を掛けることなく、画角内における人数や、顔の大きさといった被写体の具体的な内容に対応する効率的な顔検出を行うことができる。
【0075】
しかも、顔検出モードが人数優先モードからスピード優先モードに変更された後には、顔検出モードが一時的に人数優先モードに変更されることにより、人数優先モードへの変更が必要か否かが随時確認されるとともに、それが必要な場合には、自動的に人数優先モードへの変更が行われるため、任意の時点で被写体の具体的な内容が変化したとしても、直ちにその変化に対応することができる。
【0076】
なお、本実施形態では、本発明における所定の検出情報の内容が、人数優先モードによる顔検出動作で検出できた顔のサイズであって、それがスピード優先モードによる顔領域の検出条件を満足する場合に、それを変更条件として顔検出モードをスピード優先モードに変更するようにしたが、以下のようにしてもよい。
【0077】
例えば、人数優先モードによる顔検出動作で検出できた人数のみがスピード優先モードによる顔領域の検出条件を満足する場合に、それを変更条件として顔検出モードをスピード優先モードに変更するようにしてもよい。また、人数優先モードによる顔検出動作で検出できた顔のサイズ又は顔検出人数のうちの何れか一方が、スピード優先モードによる顔領域の検出条件を満足する場合や、上記顔のサイズと顔検出人数との双方がスピード優先モードによる顔領域の検出条件を満足する場合に、それを変更条件として顔検出モードをスピード優先モードに変更するようにしてもよい。特に、後者の場合には、顔検出モードをより一層確実に被写体の具体的な内容に適したモードに制御することができる。
【0078】
さらに、本実施形態では、顔検出モードがスピード優先モードと人数優先モードであって、各モードにおける顔領域の検出条件が、検出可能なもっとも小さい顔サイズ(顔サイズの下限値)と、検出可能とする最大の顔の数(顔検出人数の上限値)といった複数のパラメータの値に基づくものである場合について説明したが、顔検出モードとして、各々のモードにおける顔領域の検出条件が単一のパラメータの値に基づくものであっても構わない。
【0079】
例えば、各々のモードにおける顔領域の検出条件が異なるものであれば、顔検出モードとして、その検出条件が、検出可能なもっとも小さい顔サイズのみに基づくモードや、その検出条件が、検出すべき最大の顔の数のみに基づくモードであっても構わない。
【0080】
また、顔検出モードとして、各々のモードにおける顔領域の検出条件が複数のパラメータの値に基づくものや、単一のパラメータの値に基づくものに限らず、3種類以上設けられていても構わない。但し、その場合、顔検出モードの変更の要否を自動的に確認し、必要な場合にのみ顔検出モードを変更させるための具体的な動作は、顔検出モードの種類が多いほど複雑となる。
【0081】
また、顔検出モードとして、前述したスピード優先モード及び人数優先モードとは異なるモードを有するものでは、各モードにおける顔領域の検出条件を決めるパラメータによっても異なるが、以下のようにしてもよい。すなわち、顔検出モードを一方のモードから他方のモードに変更した後には、顔検出モードを一時的に一方のモードに変更することなく、他方のモードによる顔検出を繰り返す間に、顔検出処理に際して取得した所定の検出情報に基づいて、一方のモードへの変更が必要か否かを随時確認するとともに、それが必要な場合には、自動的に顔検出モードを他方のモードから一方のモードに変更するようにしてもよい。
【0082】
一方、第1及び第2の実施形態では、フレーム画像に対して顔検出を行い顔領域の座標情報を取得する顔認識処理部15を備えたデジタルカメラについて説明したが、これに限らず本発明は、例えば顔認識処理部15を有することなく、制御部7がフレーム画像に対して顔検出を行い顔領域の座標情報を取得する処理を行うような構成のデジタルカメラにも適用可能である。また、本発明を一般的な構成を有するデジタルカメラに適用する場合について説明したが、これに限らず、本発明は顔検出機能を有するものであれば、携帯電話端末等の他の情報機器に内蔵されたデジタルカメラや、デジタルビデオカメラ等の他の撮像装置、さらには顔検出機能を備えた画像処理装置等の他の装置にも適用可能である。
【図面の簡単な説明】
【0083】
【図1】本発明の各実施形態に共通するデジタルカメラのブロック図である。
【図2】優先設定テーブルの概念図である。
【図3】第1の実施形態における顔検出に関する動作内容を示すフローチャートである。
【図4】図3に続くフローチャートである。
【図5】フレーム画像における顔探索領域と、顔検出動作で使用されるパラメータを示す説明図である。
【図6】顔検出枠が表示された状態のスルー画像の例を示す図である。
【図7】モード選択画面を示す図である。
【図8】1回の顔検出サイクルに要する処理速度と、検出しようとする顔の数(人数)、及び検出する顔サイズとの関係を示す処理速度の特性図である。
【図9】第2の実施形態における顔検出に関する制御部の処理内容を示すフローチャートである。
【図10】図9に続くフローチャートである。
【符号の説明】
【0084】
2 CCD
6 画像処理部
7 制御部
9 SDRAM
10 表示部
13 外部メモリ
14 キー入力ブロック
15 顔認識処理部
16 フラッシュメモリ
100 フレーム画像
101 顔探索領域
102 顔サーチ領域
110 スルー画像
200 モード選択画面
T 優先設定テーブル
【技術分野】
【0001】
本発明は、画像内における人物の顔を検出する顔検出機能を備えたデジタルカメラ等の撮像装置、及び顔検出方法、顔検出制御プログラムに関するものである。
【背景技術】
【0002】
近年、被写体をCCDやMOS型の固体撮像素子を用いて撮像するデジタルカメラやデジタルビデオカメラ等においては、静止画像や動画像の撮影時に、被写体である人物の顔を自動的に検出する顔検出機能を有するものが増えている。係る機能を有するデジタルカメラ等においては、検出した顔部分の領域(顔領域)における画像情報に基づきフォーカス制御や露出制御が一般に行われている。
【0003】
また、例えば下記特許文献1には、任意の画像を処理対象とした顔検出(顔領域の検出)の処理の高速化や、無駄な検出処理をなくすことを目的として、顔検出時における処理時間や検出人数、顔面積率(処理対象の画像の面積と検出済みの顔領域の合計面積との比率)の各々の最大値をユーザーに予め設定させ、いずれかの値が最大値に達した時点で検出処理を完了する技術が記載されている。
【特許文献1】特開2000−48184号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術を顔検出機能を有するデジタルカメラ等に用いた場合、カメラに効率的な顔検出を行わせるためには、ユーザー(撮影者)が撮影時において前述した処理時間や検出人数、顔面積率といった顔検出動作の内容を規定する複数のパラメータを個別に設定するといった煩雑な設定作業を強いられるという問題があった。
【0005】
本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザーに煩雑な設定作業を行わせることなく、被写体に応じた効率的な顔検出が可能となる撮像装置、及び顔検出方法、顔検出制御プログラムプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
前記課題を解決するため請求項1記載の発明に係る撮像装置にあっては、被写体を撮像する撮像手段を備えた撮像装置において、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する選択制御手段と、前記選択制御手段により選択されたいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する顔検出手段とを備えたことを特徴とする。
【0007】
また、請求項2記載の発明に係る撮像装置にあっては、選択制御手段は、使用者の選択操作に応じて、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択することを特徴とする。
【0008】
また、請求項3記載の発明に係る撮像装置にあっては、前記選択制御手段により選択させたいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値を設定するパラメータ設定手段を備え、前記顔検出手段は、前記パラメータ設定手段に設定されている第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出することを特徴とする。
【0009】
また、請求項4記載の発明に係る撮像装置にあっては、各顔検出モードに対応して、前記第1のパラメータ及び第2のパラメータの値を記憶するパラメータ記憶手段と、記選択制御手段が使用者に選択させたいずれかの顔検出モードに対応する、前記第1のパラメータ及び第2のパラメータの値を、前記パラメータ記憶手段から読み出すパラメータ読出手段とを備え、前記顔検出手段は、前記パラメータ読出手段により読み出された第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出することを特徴とする。
【0010】
また、請求項5記載の発明に係る撮像装置にあっては、前記第1のパラメータは前記被写体画像からの顔領域の検出数であり、前記第2のパラメータは前記被写体画像から検出可能とする顔領域の最小サイズであることを特徴とする。
【0011】
また、請求項6記載の発明に係る撮像装置にあっては、前記撮像手段により撮像された被写体画像を記録する記録媒体と、使用者が、操作によって前記被写体画像の記録媒体への記録を指示する撮影指示及び、当該撮影指示に先立つ撮影準備を行う操作手段と、この操作手段の操作によって使用者による撮影準備が行われたことに応答し、前記顔検出手段の顔検出モードを、前記撮影予告が行われた時点の顔検出モードに関係なく、常に複数の顔検出モードの中で顔領域の検出精度が相対的に最も高い顔検出モードに制御するモード制御手段とをさらに備えたことを特徴とする。
【0012】
また、請求項7記載の発明に係る顔検出方法にあっては、被写体を撮像する撮像手段により撮像された被写体画像から顔領域を検出する顔検出方法において、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する工程と、選択したいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する工程とを含むことを特徴とする。
【0013】
また、請求項8記載の発明に係る顔検出制御プログラムにあっては、画像から顔領域を検出する顔検出機能を備えた画像処理装置が有するコンピュータに、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する処理と、選択したいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する処理とを実行させることを特徴とする。
【0014】
また、請求項9記載の発明に係る撮像装置にあっては、被写体を撮像する撮像手段を備えた撮像装置において、前記撮像手段により撮像された被写体画像から顔領域を検出するとともに、動作モードとして顔領域の検出条件が異なる第1の顔検出モード及び第2の顔検出モードを有する顔検出手段と、この顔検出手段が第1の顔検出モードにより顔領域の検出動作を繰り返す間に、前記第2の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、前記顔検出手段の動作モードを第2の顔検出モードに変更するモード制御手段とを備えたことを特徴とする。
【0015】
また、請求項10記載の発明に係る撮像装置にあっては、前記モード制御手段は、顔検出手段が第2の顔検出モードにより顔領域の検出動作を繰り返す間に、前記第1の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第1の顔検出モードの検出条件を満足する内容である場合に、顔検出手段の動作モードを第1の顔検出モードに設定することを特徴とする。
【0016】
また、請求項11記載の発明に係る撮像装置にあっては、前記モード制御手段は、前記顔検出手段が第2の顔検出モードで顔領域の検出動作を繰り返す間、一定期間毎に、前記顔検出手段に第1の顔検出モードによる顔領域の検出動作を行わせ、第1の顔検出モードによる前記顔検出手段の顔領域の検出動作に際して、前記第2の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容でない場合に、顔検出手段の動作モードを第1の顔検出モードに設定することを特徴とする。
【0017】
また、請求項12記載の発明に係る撮像装置にあっては、前記顔検出手段は、第1の顔検出モード及び第2の顔検出モードによる顔領域の検出動作に際し複数サイズの顔領域を検出対象とした検出動作を行い、前記モード制御手段により取得される前記第2の顔検出モードの検出条件に関する所定の検出情報には、前記顔検出手段により検出された顔領域のサイズが含まれることを特徴とする。
【0018】
また、請求項13記載の発明に係る顔検出方法にあっては、被写体を撮像する撮像手段により撮像された被写体画像から顔領域を検出する顔検出方法において、被写体画像からの顔領域の検出動作を第1の顔検出モードにより繰り返すとともに、その間に、第1の顔検出モードとは顔領域の検出条件が異なる第2の顔検出モードの検出条件に関する所定の検出情報を取得する工程と、この工程で取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、被写体画像からの顔領域の検出動作モードを前記第2の顔検出モードに変更する工程とを含むことを特徴とする。
【0019】
また、請求項14記載の発明に係る顔検出制御プログラムにあっては、画像から顔領域を検出する顔検出機能を備えた画像処理装置が有するコンピュータに、被写体画像からの顔領域の検出動作を第1の顔検出モードにより繰り返すとともに、その間に、第1の顔検出モードとは顔領域の検出条件が異なる第2の顔検出モードの検出条件に関する所定の検出情報を取得する処理と、この工程で取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、被写体画像からの顔領域の検出動作モードを前記第2の顔検出モードに変更する処理とを実行させることを特徴とする。
【発明の効果】
【0020】
本発明によれば、ユーザーに煩雑な設定作業を行わせることなく、被写体に応じた効率的な顔検出が可能となる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の一実施の形態を図にしたがって説明する。
【0022】
(実施形態1)
まず、第1の実施形態について説明する。図1は、本実施形態に係るデジタルカメラの概略構成を示すブロック図である。このデジタルカメラはAE(自動露出)、AF(オートフォーカス)、顔検出の各機能を備えたものであって、主として以下の各部から構成されている。
【0023】
すなわちデジタルカメラは、光学系1により結像された被写体の光学像を光電変換し撮像信号として出力する撮像手段としてCCD2を有している。CCD2は、タイミングジェネレータ(TG)3により生成されるタイミング信号に基づきCCD駆動回路4によって生成される駆動信号により駆動される。CCD2の出力信号はA/D変換器5でデジタル信号に変換された後、画像処理部6へ送られる。
【0024】
前記光学系1には、フォーカスレンズ及びそれを光軸上で移動させるためのレンズモータが含まれ、レンズモータが制御部7の指令に従いレンズ駆動回路8により生成される駆動信号によって駆動されることによりフォーカスレンズが光軸上での位置を制御される。
【0025】
前記画像処理部6は、A/D変換後の撮像信号に対して、画素毎のR,G,Bの色成分データ(RGBデータ)を生成するRGB補間処理、RGBデータから輝度信号(Y)と色差信号(U、V)からなるYUVデータを画素毎に生成するYUV変換処理、さらにオートホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。画像処理部6で変換されたYUVデータは順次SDRAM9に格納される。
【0026】
また、デジタルカメラは、液晶モニタ及びその駆動回路から構成される表示部10を有している。撮影用の記録モードが設定されているときSDRAM9に格納されたYUVデータは、SDRAM9において1フレーム分が蓄積される毎に画像処理部6においてビデオ信号に変換された後、表示部10(液晶モニタ)においてスルー画像として画面表示される。そして、記録モードにおける撮影時には、SDRAM9に一時記憶された画像データがJPEG変換部11においてJPEG方式により圧縮符号化された後、外部メモリI/F12を介して、例えば各種のメモリカードにより構成される外部メモリ13(記録媒体)に静止画ファイルとして記録される。
【0027】
上記外部メモリ13に記録された静止画ファイルは、再生モードにおいてユーザーの選択操作に応じて適宜読み出されるとともに、JPEG変換部11において伸張されYUVデータとしてSDRAM9に展開された後、表示部10において静止画像として表示される。
【0028】
キー入力ブロック14は、電源キーや、デジタルカメラの基本の動作モードである前記記録モードと再生モードとの切り替えを行うモード切替キー、MENUキー、シャッターキー等の複数キーを含み、各キーの操作状態を制御部7により随時スキャンされる。なお、シャッターキーは本発明の操作手段であり、ユーザーが撮影予告を行うための半押し位置と、実際の撮影動作を指示するための全押し位置との2段階の操作が可能な所謂ハーフシャッター機能を有するものである。
【0029】
顔認識処理部15は、画像処理部6によって生成された1フレーム分の画像データ(以下、フレーム画像という。)において、予め用意(記憶)されている人物の顔に関する輪郭や色等のモデルパターンと特徴が近い顔部分を検出する顔検出を行い、検出した顔部分に対応する領域(以下、顔領域という。)の座標情報を取得し、それを制御部7へ送る。すなわち顔認識処理部15は本発明の顔検出手段であって、より具体的には、上記フレーム画像を一時記憶するフレームメモリと、顔検出動作に必要な各種の画像処理を行うための画像処理回路、顔検出動作に際して使用するパラメータを記憶する複数のレジスタ等から構成されている。
【0030】
また、本実施形態においては、顔認識処理部15における顔領域の検出時の動作モード(顔検出モード)として、顔領域の検出条件が異なるスピード優先モードと人数優先モードとが設けられており、顔認識処理部15は顔検出モードの種類に応じた動作により前述した顔検出を行う。なお、顔検出モードの種類はユーザーが適宜切り替え可能となっている。
【0031】
制御部7は、CPU及びその周辺回路等とから構成され、デジタルカメラの各部の制御、及び撮像信号に含まれる輝度情報に基づいたAE制御や、コントラスト検出方式によるAF制御、顔検出制御等を行う。それらの制御を制御部7に行わせるための各種のプログラムや、各々の制御に必要な各種データは、記憶データの書き換えが可能な不揮発性メモリであるフラッシュメモリ16に記憶されている。なお、フラッシュメモリ16には、ユーザーにより設定されたデジタルカメラの各種の機能に関する設定情報等も記憶されている。
【0032】
また、本実施形態においてフラッシュメモリ16には、制御部7を本発明の選択制御手段、モード設定手段、パラメータ設定手段、パラメータ読出手段、モード制御手段として機能させるための顔検出制御プログラム、及び顔検出制御に伴い制御部7が顔認識処理部15のレジスタに初期値として設定する所定の設定パラメータを示す図2に示した優先設定テーブルTが記憶されている。優先設定テーブルTは、前述した顔検出モード(スピード優先モードと人数優先モード)に対応する設定パラメータを示すものであり、顔検出時に検出可能なもっとも小さい顔サイズ、つまり顔サイズの下限値となる横方向の画素サイズXmin及び縦方向の画素サイズYminと、検出すべき最大の顔の数、つまり顔検出人数の上限値である顔Maxである。
【0033】
顔検出モードのうちスピード優先モードは顔検出時の処理速度を優先(重視)したモードであり、人数優先モードは顔検出人数、すなわち詳細な顔検出を優先(重視)したモードであって、双方のモードに対応する設定パラメータの値は、各々モードの優先内容(顔領域の検出条件)に応じた値となっている。すなわち、顔Maxは、スピード優先モード側では「5人」、人数優先モード側では「10人」となっている。また、顔サイズ(Xmin,Ymin)は、フレーム画像の縦方向のサイズを100%としたときのパーセンテージ(N%)であって(図6(a)参照)、スピード優先モード側は「16%」、同様に人数優先モード側は「10%」のサイズとなっている。なお、図2に示した画素サイズ(36pix、10pix)は、後述する顔検出に関する具体的な動作内容の説明に対応する便宜的な値である。
【0034】
なお、本実施形態において、前述した設定パラメータの値は以下の点に鑑み決められたものである。すなわち、通常、顔検出においては、検出対象となる画像(以下、フレーム画像という)に存在する人物の数や、人物の顔の大きさは決まっていないため、検出すべき顔のサイズを小さなサイズから徐々に大きなサイズへ変化させながらフレーム画像内に存在する顔(顔領域)を検出する。そのとき、1回の顔検出サイクルに要する処理速度は、これから検出しようとする顔の数(顔検出人数)と顔の大きさ(顔サイズ)と密接な関係がある。
【0035】
図8(a)は、フレーム画像に人物が5人存在し、かつフレーム画像なの顔サイズが同じ場合を想定したときの、顔サイズの違いによる処理速度(時間)の変化(顔サイズ対処理速度特性)を示す図である。つまり1回の顔検出サイクルに要する処理速度は、より小さな顔を検出しようとするほど遅くなり、また、ある程度以上の大きな顔を検出しようとする場合には、顔の大きさの違いは処理速度にほとんど影響を及ぼさなくなる。また、同図(b)は、フレーム画像に存在する全ての顔のサイズが10%である場合を想定したときの、顔検出人数の変化に対する処理速度の変化(人数対処理速度特性)を示す図であり、1回の顔検出サイクルに要する処理速度は、これから検出しようとする顔の数が少ないほど速くなる。なお、図に示した処理速度は便宜的なものである。
【0036】
これは、フレーム画像内における顔部分のスキャン密度、つまりパターン照合の対象とする領域の大きさと、その領域数とに関係しており、検出可能な顔のサイズが大きいほどスキャン密度は粗くなり、逆に検出可能な顔のサイズが小さくなると、スキャン密度が非常にきめ細かくなるとともに、対象領域の画像が顔であるか検出するための照合回数が増え、その分だけ爆発的に処理速度が低下するためである。
【0037】
一方、上述したように1回の顔検出サイクルに要する処理速度は、これから検出しようとする顔の数(顔検出人数)と顔の大きさ(顔サイズ)とに関係するが、それとは別に、フレーム画像内における人数と顔のサイズとは密接に関係している。すなわち、フレーム画像内に存在する顔が大きな場合は、いかに多数の顔が「おしくらまんじゅう」状態に密集していたとしても、おのずとフレーム画像内に存在し得る顔の数には限界がある。
【0038】
したがって、より小さな顔を検出するのであれば、検出可能とする顔の数もそれなりに検出できなければいけないが、大きな顔だけを検出するのであれば、検出可能とする顔の数は絞ってしまっても良いということになる。以上の点に鑑み、本実施形態においては、前述したように、スピード優先モードに対応する設定パラメータの値として顔Max(顔検出人数の上限値)に「5人」が、顔サイズ(検出サイズの下限値)に「16%」が設定されている。また、人数優先モードに対応する設定パラメータの値として顔Maxに「10人」が、顔サイズに「10%」が設定されている。
【0039】
次に、以上の構成からなるデジタルカメラの顔検出に関する動作について説明する。まず、基本的な動作について説明すると、前記デジタルカメラにおいては、記録モードにおける撮影待機状態において顔検出機能がオンに設定されているとき、制御部7が所定のフレームレートによる撮像動作で取得した被写体の画像データ(フレーム画像)を対象として顔認識処理部15に顔検出を行わせる。顔認識処理部15による顔検出動作はフレームレートとは非同期であり、1回の顔検出動作が完了する毎に、その直後に取得した新たなフレーム画像を制御部7が顔認識処理部15へ送ることによって随時行われる。また、顔認識処理部15における顔検出は、上記フレーム画像の外周部を除くほぼ全域を顔探索領域として行われる。なお、以下の説明では、便宜上、その顔探索領域のサイズが290ピクセル×220ピクセルであるものとする(図5参照)。
【0040】
以下、具体的な動作内容を図3及び図4のフローチャートに従い説明する。図3に示したように、デジタルカメラにおいては、記録モードにおいて顔検出機能がオンに設定されるか、または顔検出機能がオンに設定されている状態で記録モードが設定されると、制御部7が、フラッシュメモリ16から、その時点で設定されている(例えば前回の顔検出機能の使用時に設定されていた)顔検出モードの種類についての設定情報を取得する(ステップSA1)。
【0041】
そして、顔検出モードとしてスピード優先モードと人数優先モードとのいずれが設定されているのかを確認するとともに(ステップSA2)、設定されているモードに応じた設定パラメータを前記優先設定テーブルT(図2)から読み出し、それを顔検出動作に使用する初期値として顔認識処理部15に設定する。すなわち、「スピード優先モード」が設定されていたときには、顔サイズ(Xmin,Ymin)として「36,36」を設定し、かつ顔検出人数の上限値(顔Max)に「5」を設定し(ステップSA3)、また「人数優先モード」が設定されていたときには、顔サイズ(Xmin,Ymin)として「22,22」を設定し、かつ顔検出人数の上限値(顔Max)に「10」を設定する(ステップSA4)。
【0042】
以後、デジタルカメラにおいては、ユーザーによる顔検出モードの切り替え操作や、シャッターキーの半押し操作がなければ(ステップSA5,SA7が共にNO)、顔認識処理部15が、制御部7によってフレーム画像が送られる毎に、図4のステップSA10〜SA23の処理による顔検出動作を繰り返し行う。図5は、フレーム画像100における顔探索領域101と、顔検出動作で使用されるパラメータを示した説明図である。
【0043】
図4に示したように、顔検出に際して顔認識処理部15は、まずパターン照合を行うべき顔サーチ領域102のサイズXf,Yfを、制御部7によって設定された初期値(Xmin,Ymin)とするとともに、顔サーチ領域102の始点Xs,Ys及び検出カウンタの値を各々「0」とし、さらに顔サーチ領域102の終点Xe,Yeを、始点Xs,Ys及びサイズXf,Yfに応じた値とするパラメータの初期化処理を行う(ステップSA10〜SA12)。なお、上記始点Xs,Ys、及び終点Xe,Yeは、フレーム画像における顔探索領域101内での座標位置である。しかる後、上記サイズXf,Yfの顔サーチ領域102を対象としてパターン照合による顔検出処理を実行する(ステップSA13)。そして、同様の顔検出処理を、以下の手順で顔サーチ領域102の位置、及び大きさを更新しながら繰り返し行う。
【0044】
まず、顔サーチ領域102のX方向及びY方向のシフト単位ΔX,ΔYとして、その時点の顔サーチ領域サイズXf,Yfの20%を設定した後(ステップSA17)、顔サーチ領域102をX方向へ上記シフト単位ΔX分だけ移動すべく始点Xs及び終点Xeを更新する(ステップSA18)。そして、X方向の終点Xeが顔探索領域101の右端の座標位置(ここでは290)を超えるまで(ステップSA19でNO)、同様の処理によって顔サーチ領域102をX方向へ移動する毎に顔検出処理を行う。
【0045】
また、顔サーチ領域102のX方向の終点Xeが顔探索領域101の右端の座標位置(290)を超える毎に(ステップSA19でYES)、顔サーチ領域102をY方向へ上記シフト単位ΔY分だけ移動し、かつX方向の位置を左端に移動すべく始点Xs,Ys、及び終点Xe,Yeを更新し(ステップSA20)、Y方向の新たな位置でX方向への移動を繰り返しながら、移動する毎に顔検出処理を行う。これを新たなY方向の終点Yeが顔探索領域101の下端の座標位置(この例では220)を超えるまで繰り返す(ステップSA21でNO)。つまり顔サーチ領域102を少しずつ(シフト単位ΔX,ΔYずつ)顔探索領域101の左から右へ、かつ上から下へ移動しながら顔検出処理を繰り返す。
【0046】
また、その間には、顔サーチ領域102のY方向の終点Yeが顔探索領域101の下端の座標位置を超える毎に(ステップSA21でYES)、その時点で、顔サーチ領域102のX方向及びY方向のサイズXf,Yfを、それぞれ1.2倍のサイズに拡大する(ステップSA22)。以後、新たなサイズ(Xf,Yf)の顔サーチ領域102を前述したように顔探索領域101の左から右へ、かつ上から下へ移動しながら顔検出処理を繰り返す。
【0047】
一方、上述したように顔検出処理を繰り返す間には、顔が検出できる毎に(ステップSA14でYES)、検出カウンタの値をカウントアップする(ステップSA15)。そして、前記検出カウンタの値、つまり顔検出人数が上限値(顔Max)に達するか(ステップSA16でYES)、または、ステップSA22で設定した顔サーチ領域102のサイズ(Xf,Yf)が予め決められている最大サイズ(Xmax,Ymax)を超えた時点でフレーム画像に対する顔検出動作を完了する。
【0048】
しかる後、図3のステップSA5へ戻り、顔検出モードの切り替え操作や、シャッターキーの半押し操作がなければ(ステップSA5,SA7が共にNO)、そのまま、新たなフレーム画像に対して上述した図4のステップSA10〜SA23の顔検出動作を繰り返し行う。
【0049】
また、フローチャートには示さないが、上記顔検出動作には、ステップSA15で検出カウンタの値をカウントアップするとき、顔認識処理部15が、その時点の顔サーチ領域102の座標情報(始点Xs,Ys、及び終点Xe,Ye)を制御部7に送り、それに基づいて、制御部7が顔領域を示す顔検出枠をスルー画像上に逐次重畳して表示する。図6(a)、同図(b)は、フレーム画像に対する顔検出動作、すなわち1サイクルの顔検出処理が完了した時点における顔検出枠Aが表示された状態のスルー画像110の例を示した図である。
【0050】
なお、上記顔検出枠Aの表示は、制御部7がSDRAM9に格納されたスルー画像用のYUVデータに顔検出枠AのOSD(On Screen Display)データを合成することによって行われる。また、顔認識処理部15により検出された顔領域は、例えば制御部7によってAE制御が行われるときの測光領域として使用されたり、AF制御が行われるときのコントラスト値の取得領域(AF評価領域)として使用されたりする。
【0051】
また、図3に示したようにデジタルカメラにおいては、ユーザーによって顔検出モードの切り替えが行われた場合には(ステップSA5でYES)、その時点で顔認識処理部15に設定してある設定値、つまり顔サイズ(Xmin,Ymin)と顔検出人数の上限値(顔Max)の値を新たなモード(スピード優先モード、又は人数優先モード)に対応する値に変更する(ステップSA6)。その後は、顔認識処理部15が変更後の設定値に基づき前述した顔検出動作を行う。
【0052】
なお、ユーザーによる顔検出モードの切り替えは、モード設定(変更)用の所定のキー操作が行われたとき、それに応答して制御部7が図7に示したようなモード選択画面200を表示部10に表示し、モード選択画面200においてカーソル移動の操作等により選択されたモード(スピード優先モード、又は人数優先モード)を新たな顔検出モードとして設定することにより行われる。
【0053】
さらに、デジタルカメラにおいては、シャッターキーが半押しされたときには(ステップSA7でYES)、制御部7が、その時点で設定されている顔検出モードがスピード優先モードであるか否かを判別する(ステップSA8)。そして、スピード優先モードであった場合においては(ステップSA8でYES)、顔認識処理部15にその時点における顔検出動作を中止させ、その時点で設定してある顔サイズ(Xmin,Ymin)と顔検出人数の上限値(顔Max)の値を人数優先モードに対応する値に一時的に変更するとともに(ステップSA9)、その後におけるシャッターキーが半押しされている間のフレーム画像に対する顔検出動作を人数優先モードによって行わせる。なお、フローチャートには示さないが、ステップSA9で上記設定値を人数優先モードに対応する値に一時的に変更された場合、制御部7はシャッターキーの半押し状態が解除された時点で上記設定値を、スピード優先モードの設定値に戻す。以後、撮影待機状態においては、顔検出機能がオンに設定されている間、ステップSA5〜SA23による動作を繰り返す。
【0054】
ここで、以上説明した本実施形態においては、顔検出モードとしてスピード優先モードが設定されているときには、顔検出人数の上限値(顔Max)が「5」、かつ顔サーチ領域102のサイズの初期値が「36,36」(顔サイズで16%)に設定され、また、人数優先モードが設定されているときには、顔検出人数の上限値(顔Max)が「10」、かつ顔サーチ領域102のサイズの初期値が「22,22」(顔サイズで10%)に設定される。
【0055】
そのため、スピード優先モードが設定されているときには、人数優先モードに比べると検出できる顔の数(顔検出人数)や顔サイズといった顔検出性能は劣るものの、1回の顔検出サイクルに要する処理速度が高速となるため、顔検出動作に高い応答性が確保される。つまり画角が変化したり、画角内の人物が動いたりしたときには、前述した顔検出枠A(図6)を直ちにそれに追従して移動させることができる。逆に、人数優先モードが設定されているときには、スピード優先モードに比べると応答性能は劣るものの、遠くの小さな顔までもが検出でき、また多人数の顔も検出できる。つまり詳細な顔検出を行うことができる。
【0056】
以上のように、本実施形態のデジタルカメラにおいては、ユーザー(撮影者)は顔検出モードの種類のみを選択するだけで、煩雑な設定作業を行わなくとも、画角内における人数や、顔の大きさといった被写体の具体的な内容に対応する効率的な顔検出をデジタルカメラに行わせることができる。
【0057】
また、検出可能な顔サイズや、検出可能な顔検出人数といったパラメータをユーザーに個別に設定させる場合には、ユーザーがそれらの設定(パラメータ間の値の組合せ)に習熟している必要があるが、その必要がない。例えばユーザーが大きな顔だけを迅速に検出させたいときには、検出可能とする顔検出人数(上限人数)は絞った方が良いが、ユーザーが上記パラメータの設定に習熟していないと、上限人数を多く設定してしまい、結果的に意図した応答性能が得られないといった事態が起こり得る。それに対し、本実施形態のデジタルカメラでは、顔検出モードの種類のみを選択するだけで良いため、誰もが、被写体の具体的な内容に応じた効率的な顔検出をデジタルカメラに確実に行わせることができる。
【0058】
さらに、シャッターキーが半押しされてから、その状態が解除されるまでは、顔検出モードを、それまでの顔検出モードとは関係なく(強制的に)人数優先モードに設定するため、撮影時には常に詳細な顔検出動作に基づいた、より適切なAF制御やAE制御を行うことができる。
【0059】
なお、上述したシャッターキーの半押しに伴う人数優先モードへの変更については、本実施形態とは異なり、シャッターキーが半押しされた時だけ、一時的に行うようにしてもよい。その場合においても上記効果を得ることができる。
【0060】
なお、本実施形態においては、顔検出モードが、顔検出時の処理速度を優先したスピード優先モードと、検出可能な顔検出人数(詳細な顔検出)を優先した人数優先モードとの2種類のみである場合について説明したが、予め設けておく複数の顔検出モード3種類以上であってもよい。また、各々の顔検出モードは、2以上のパラメータの値の組合せによって顔領域の検出条件が異なるものであればよい。すなわち顔検出時の処理速度や検出可能な顔の数以外の動作内容を優先(重視)するようなモードであっても構わない。
【0061】
また、顔検出モードとして、例えばスピード優先モードと人数優先モードに加えて、それ以外のモードをさらに設ける場合や、スピード優先モードや人数優先モードとは異なるモードを複数設ける場合においても、シャッターキーが半押しされてから、その状態が解除されるまでの間だけ、本実施形態のように複数の顔検出モードの中で、相対的な顔領域の検出精度が最も高いモードを設定することにより、本実施形態と同様、撮影時には、より適切なAF制御やAE制御を行うことができる。
【0062】
(実施形態2)
次に、本発明の第2の実施形態について説明する。本実施形態は前述した顔検出モードの設定(切替)を自動的に行うデジタルカメラに関するものである。基本構成については第1の実施形態と同様であるが、前記フラッシュメモリ16には、制御部7に以下の処理行わせるための顔検出制御プログラムが格納されている。
【0063】
以下、制御部7における顔検出に関する処理内容を図9及び図10のフローチャートに従い説明する。図9に示したように、制御部7は、記録モードにおいて顔検出機能がオンに設定されるか、または顔検出機能がオンに設定されている状態で記録モードが設定されると、まず人数優先フラグをOFF状態にセットする初期化処理を行う(ステップSB1)。引き続き、顔検出モードとして人数優先モードを設定した後、つまり人数優先モードに応じた設定パラメータを前記優先設定テーブルT(図2)から読み出し、それを顔検出動作に使用する初期値として顔認識処理部15に設定した後(ステップSB2)、顔認識処理部15に第1の実施形態と同様の顔検出動作を行わせる(ステップSB3)。
【0064】
その後、顔認識処理部15においてフレーム画像に対する1サイクルの顔検出処理が完了するまでの間は(ステップSB8でNO)、顔認識処理部15において顔が検出される毎に(ステップSB5でYES)、顔認識処理部15から送られた時点の前記顔サーチ領域102(図5参照)の座標情報(始点Xs,Ys、及び終点Xe,Ye)から、検出された顔のサイズが16%未満であるか否か、及びその時点までに顔検出できた顔の数(顔検出人数)が上限、つまり人数優先モードの上限値(顔Max)である10人に達したか否かについてそれぞれ確認する(ステップSB5、SB7)。
【0065】
その際、顔のサイズについては上記座標情報から判断するとともに、いずれかの時点で検出された顔のサイズが16%未満であって、フレーム画像内に比較的小さな顔が検出できた場合には(ステップSB5でYES)、人数優先フラグをON状態にセットする(ステップSB6)。
【0066】
やがて、顔検出人数が上限に達した時点(ステップSB7でYES)、又は顔検出人数が上限に達していなくとも、1サイクルの顔検出処理が完了した時点で(ステップSB8でYES)、それまでの間に顔認識処理部15から送られてきた、全ての座標情報に基づいて1又は複数の顔検出枠をスルー画像に表示する。
【0067】
引き続き、人数優先フラグがON状態であれば(ステップSB10でYES)、それをいったんOFF状態にセットし直した後(ステップSB11)、ステップSB3へ戻り、人数優先モードのままで次のフレーム画像に対する顔検出処理を顔認識処理部15に行わせる。つまり直近のフレーム画像において検出できた1又は複数の顔の中に、そのサイズが16%未満の顔が1つでも含まれていた場合であって、検出できた顔のサイズが、スピード優先モードによる顔領域の検出条件を満足しない内容である場合には、人数優先モードによる顔検出処理を継続することにより、被写体の具体的な内容に応じた効率的な顔検出を行うことができる。
【0068】
これに対し、人数優先フラグがOFF状態であって、顔検出処理においてフレーム画像内に比較的小さな顔が検出できなかった場合(ステップSB10でNO)、つまり直近のフレーム画像において検出できた顔のサイズが全て16%以上であった場合であって、スピード優先モードによる顔領域の検出条件を満足する内容である場合には、図10に示したように、その時点で顔検出モードを人数優先モードからスピード優先モードに切り替える(ステップSB12)。すなわちスピード優先モードに応じた設定パラメータを前記優先設定テーブルT(図2)から読み出し、それを顔検出動作に使用する初期値として顔認識処理部15に設定する。同時にそれ以降における所定時間(3秒)に1回の動作タイミングを得るためのタイミングカウンタ動作を開始するとともに(ステップSB13)、顔認識処理部15にスピード優先モードによる顔検出動作を行わせる(ステップSB14)。
【0069】
その後、顔認識処理部15においてフレーム画像に対する1サイクルの顔検出処理が完了するまでの間は(ステップSB17でNO)、顔認識処理部15において顔が検出される毎に(ステップSB15でYES)、その時点までに顔検出できた顔の数(顔検出人数)が上限、つまりスピード優先モードの上限値(顔Max)である5人に達したか否かを随時確認する(ステップSB16)。
【0070】
やがて、顔検出人数が上限値に達するか(ステップSB16でYES)、又は顔検出人数が上限に達していなくとも、1サイクルの顔検出処理が完了した時点で(ステップSB17でYES)、それまでの間に顔認識処理部15から送られてきた、全ての座標情報に基づいて1又は複数の顔検出枠をスルー画像に表示する(ステップSB18)。
【0071】
引き続き、その時点が前述した3秒に1回の動作タイミングでなければ(ステップSB19でNO)、ステップSB14へ戻る。つまりスピード優先モードのまま次のフレーム画像に対する顔検出処理を顔認識処理部15に行わせる。これにより、その時点における被写体の具体的な内容に適した効率的な顔検出を行うことができる。
【0072】
一方、上記処理を繰り返す間には、3秒に1回の動作タイミングが到来したら(ステップSB19でYES)、前述した図9のステップS2へ戻り、顔検出モードをスピード優先モードから人数優先モードに切りえた後、前述したステップSB10までの処理を行う。そして、そのとき、前回人物優先モードで顔検出が行われた後において、例えば画角内のいずれかの人物がカメラから遠ざかったり、新たに人物が画角内に入ったりといったような被写体の状態変化があったことにより、16%未満の比較的小さなサイズの顔が検出された場合には(ステップSB5でYES)、人数優先フラグをON状態に設定することにより(ステップSB6)、それ以降も人数優先モードのまま顔認識処理部15に詳細な顔検出処理を繰り返し行わせる。
【0073】
また、上記の3秒に1回の人数優先モードによる、1サイクルの顔検出処理が完了するまでの詳細な顔検出処理中に、16%未満の比較的小さなサイズの顔が全く検出されなかった場合には(ステップSB5〜SB10)、顔検出モードをスピード優先モードに戻した後(ステップSB12)、再び、顔認識処理部15に高速の顔検出処理を繰り返し行わせる。
【0074】
以上のように、本実施形態においては、顔検出モードの種類を自動的に設定することにより、ユーザー(撮影者)に全く負担を掛けることなく、画角内における人数や、顔の大きさといった被写体の具体的な内容に対応する効率的な顔検出を行うことができる。
【0075】
しかも、顔検出モードが人数優先モードからスピード優先モードに変更された後には、顔検出モードが一時的に人数優先モードに変更されることにより、人数優先モードへの変更が必要か否かが随時確認されるとともに、それが必要な場合には、自動的に人数優先モードへの変更が行われるため、任意の時点で被写体の具体的な内容が変化したとしても、直ちにその変化に対応することができる。
【0076】
なお、本実施形態では、本発明における所定の検出情報の内容が、人数優先モードによる顔検出動作で検出できた顔のサイズであって、それがスピード優先モードによる顔領域の検出条件を満足する場合に、それを変更条件として顔検出モードをスピード優先モードに変更するようにしたが、以下のようにしてもよい。
【0077】
例えば、人数優先モードによる顔検出動作で検出できた人数のみがスピード優先モードによる顔領域の検出条件を満足する場合に、それを変更条件として顔検出モードをスピード優先モードに変更するようにしてもよい。また、人数優先モードによる顔検出動作で検出できた顔のサイズ又は顔検出人数のうちの何れか一方が、スピード優先モードによる顔領域の検出条件を満足する場合や、上記顔のサイズと顔検出人数との双方がスピード優先モードによる顔領域の検出条件を満足する場合に、それを変更条件として顔検出モードをスピード優先モードに変更するようにしてもよい。特に、後者の場合には、顔検出モードをより一層確実に被写体の具体的な内容に適したモードに制御することができる。
【0078】
さらに、本実施形態では、顔検出モードがスピード優先モードと人数優先モードであって、各モードにおける顔領域の検出条件が、検出可能なもっとも小さい顔サイズ(顔サイズの下限値)と、検出可能とする最大の顔の数(顔検出人数の上限値)といった複数のパラメータの値に基づくものである場合について説明したが、顔検出モードとして、各々のモードにおける顔領域の検出条件が単一のパラメータの値に基づくものであっても構わない。
【0079】
例えば、各々のモードにおける顔領域の検出条件が異なるものであれば、顔検出モードとして、その検出条件が、検出可能なもっとも小さい顔サイズのみに基づくモードや、その検出条件が、検出すべき最大の顔の数のみに基づくモードであっても構わない。
【0080】
また、顔検出モードとして、各々のモードにおける顔領域の検出条件が複数のパラメータの値に基づくものや、単一のパラメータの値に基づくものに限らず、3種類以上設けられていても構わない。但し、その場合、顔検出モードの変更の要否を自動的に確認し、必要な場合にのみ顔検出モードを変更させるための具体的な動作は、顔検出モードの種類が多いほど複雑となる。
【0081】
また、顔検出モードとして、前述したスピード優先モード及び人数優先モードとは異なるモードを有するものでは、各モードにおける顔領域の検出条件を決めるパラメータによっても異なるが、以下のようにしてもよい。すなわち、顔検出モードを一方のモードから他方のモードに変更した後には、顔検出モードを一時的に一方のモードに変更することなく、他方のモードによる顔検出を繰り返す間に、顔検出処理に際して取得した所定の検出情報に基づいて、一方のモードへの変更が必要か否かを随時確認するとともに、それが必要な場合には、自動的に顔検出モードを他方のモードから一方のモードに変更するようにしてもよい。
【0082】
一方、第1及び第2の実施形態では、フレーム画像に対して顔検出を行い顔領域の座標情報を取得する顔認識処理部15を備えたデジタルカメラについて説明したが、これに限らず本発明は、例えば顔認識処理部15を有することなく、制御部7がフレーム画像に対して顔検出を行い顔領域の座標情報を取得する処理を行うような構成のデジタルカメラにも適用可能である。また、本発明を一般的な構成を有するデジタルカメラに適用する場合について説明したが、これに限らず、本発明は顔検出機能を有するものであれば、携帯電話端末等の他の情報機器に内蔵されたデジタルカメラや、デジタルビデオカメラ等の他の撮像装置、さらには顔検出機能を備えた画像処理装置等の他の装置にも適用可能である。
【図面の簡単な説明】
【0083】
【図1】本発明の各実施形態に共通するデジタルカメラのブロック図である。
【図2】優先設定テーブルの概念図である。
【図3】第1の実施形態における顔検出に関する動作内容を示すフローチャートである。
【図4】図3に続くフローチャートである。
【図5】フレーム画像における顔探索領域と、顔検出動作で使用されるパラメータを示す説明図である。
【図6】顔検出枠が表示された状態のスルー画像の例を示す図である。
【図7】モード選択画面を示す図である。
【図8】1回の顔検出サイクルに要する処理速度と、検出しようとする顔の数(人数)、及び検出する顔サイズとの関係を示す処理速度の特性図である。
【図9】第2の実施形態における顔検出に関する制御部の処理内容を示すフローチャートである。
【図10】図9に続くフローチャートである。
【符号の説明】
【0084】
2 CCD
6 画像処理部
7 制御部
9 SDRAM
10 表示部
13 外部メモリ
14 キー入力ブロック
15 顔認識処理部
16 フラッシュメモリ
100 フレーム画像
101 顔探索領域
102 顔サーチ領域
110 スルー画像
200 モード選択画面
T 優先設定テーブル
【特許請求の範囲】
【請求項1】
被写体を撮像する撮像手段を備えた撮像装置において、
顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する選択制御手段と、
前記選択制御手段により選択されたいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する顔検出手段と
を備えたことを特徴とする撮像装置。
【請求項2】
選択制御手段は、使用者の選択操作に応じて、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択することを特徴とする請求項1記載の撮像装置。
【請求項3】
前記選択制御手段により選択させたいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値を設定するパラメータ設定手段を備え、
前記顔検出手段は、前記パラメータ設定手段に設定されている第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出することを特徴とする請求項1又は2記載の撮像装置。
【請求項4】
各顔検出モードに対応して、前記第1のパラメータ及び第2のパラメータの値を記憶するパラメータ記憶手段と、
記選択制御手段が使用者に選択させたいずれかの顔検出モードに対応する、前記第1のパラメータ及び第2のパラメータの値を、前記パラメータ記憶手段から読み出すパラメータ読出手段とを備え、
前記顔検出手段は、前記パラメータ読出手段により読み出された第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出することを特徴とする請求項1又は2,3記載の撮像装置。
【請求項5】
前記第1のパラメータは前記被写体画像からの顔領域の検出数であり、
前記第2のパラメータは前記被写体画像から検出可能とする顔領域の最小サイズである
ことを特徴とする請求項1乃至4いずれか記載の撮像装置。
【請求項6】
前記撮像手段により撮像された被写体画像を記録する記録媒体と、
使用者が、操作によって前記被写体画像の記録媒体への記録を指示する撮影指示及び、当該撮影指示に先立つ撮影準備を行う操作手段と、
この操作手段の操作によって使用者による撮影準備が行われたことに応答し、前記顔検出手段の顔検出モードを、前記撮影予告が行われた時点の顔検出モードに関係なく、常に複数の顔検出モードの中で顔領域の検出精度が相対的に最も高い顔検出モードに制御するモード制御手段と
をさらに備えたことを特徴とする請求項1又は2記載の撮像装置。
【請求項7】
被写体を撮像する撮像手段により撮像された被写体画像から顔領域を検出する顔検出方法において、
顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する工程と、
選択したいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する工程と
を含むことを特徴とする顔検出方法。
【請求項8】
画像から顔領域を検出する顔検出機能を備えた画像処理装置が有するコンピュータに、
顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する処理と、
選択したいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する処理と
を実行させることを特徴とする顔検出制御プログラム。
【請求項9】
被写体を撮像する撮像手段を備えた撮像装置において、
前記撮像手段により撮像された被写体画像から顔領域を検出するとともに、動作モードとして顔領域の検出条件が異なる第1の顔検出モード及び第2の顔検出モードを有する顔検出手段と、
この顔検出手段が第1の顔検出モードにより顔領域の検出動作を繰り返す間に、前記第2の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、前記顔検出手段の動作モードを第2の顔検出モードに変更するモード制御手段と
を備えたことを特徴とする撮像装置。
【請求項10】
前記モード制御手段は、顔検出手段が第2の顔検出モードにより顔領域の検出動作を繰り返す間に、前記第1の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第1の顔検出モードの検出条件を満足する内容である場合に、顔検出手段の動作モードを第1の顔検出モードに設定することを特徴とする請求項9記載の撮像装置。
【請求項11】
前記モード制御手段は、前記顔検出手段が第2の顔検出モードで顔領域の検出動作を繰り返す間、一定期間毎に、前記顔検出手段に第1の顔検出モードによる顔領域の検出動作を行わせ、第1の顔検出モードによる前記顔検出手段の顔領域の検出動作に際して、前記第2の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容でない場合に、顔検出手段の動作モードを第1の顔検出モードに設定することを特徴とする請求項9記載の撮像装置。
【請求項12】
前記顔検出手段は、第1の顔検出モード及び第2の顔検出モードによる顔領域の検出動作に際し複数サイズの顔領域を検出対象とした検出動作を行い、
前記モード制御手段により取得される前記第2の顔検出モードの検出条件に関する所定の検出情報には、前記顔検出手段により検出された顔領域のサイズが含まれる
ことを特徴とする請求項9乃至11いずれか記載の撮像装置。
【請求項13】
被写体を撮像する撮像手段により撮像された被写体画像から顔領域を検出する顔検出方法において、
被写体画像からの顔領域の検出動作を第1の顔検出モードにより繰り返すとともに、その間に、第1の顔検出モードとは顔領域の検出条件が異なる第2の顔検出モードの検出条件に関する所定の検出情報を取得する工程と、
この工程で取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、被写体画像からの顔領域の検出動作モードを前記第2の顔検出モードに変更する工程と
を含むことを特徴とする顔検出方法。
【請求項14】
画像から顔領域を検出する顔検出機能を備えた画像処理装置が有するコンピュータに、
被写体画像からの顔領域の検出動作を第1の顔検出モードにより繰り返すとともに、その間に、第1の顔検出モードとは顔領域の検出条件が異なる第2の顔検出モードの検出条件に関する所定の検出情報を取得する処理と、
この工程で取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、被写体画像からの顔領域の検出動作モードを前記第2の顔検出モードに変更する処理と
を実行させることを特徴とする顔検出制御プログラム。
【請求項1】
被写体を撮像する撮像手段を備えた撮像装置において、
顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する選択制御手段と、
前記選択制御手段により選択されたいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する顔検出手段と
を備えたことを特徴とする撮像装置。
【請求項2】
選択制御手段は、使用者の選択操作に応じて、顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択することを特徴とする請求項1記載の撮像装置。
【請求項3】
前記選択制御手段により選択させたいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値を設定するパラメータ設定手段を備え、
前記顔検出手段は、前記パラメータ設定手段に設定されている第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出することを特徴とする請求項1又は2記載の撮像装置。
【請求項4】
各顔検出モードに対応して、前記第1のパラメータ及び第2のパラメータの値を記憶するパラメータ記憶手段と、
記選択制御手段が使用者に選択させたいずれかの顔検出モードに対応する、前記第1のパラメータ及び第2のパラメータの値を、前記パラメータ記憶手段から読み出すパラメータ読出手段とを備え、
前記顔検出手段は、前記パラメータ読出手段により読み出された第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出することを特徴とする請求項1又は2,3記載の撮像装置。
【請求項5】
前記第1のパラメータは前記被写体画像からの顔領域の検出数であり、
前記第2のパラメータは前記被写体画像から検出可能とする顔領域の最小サイズである
ことを特徴とする請求項1乃至4いずれか記載の撮像装置。
【請求項6】
前記撮像手段により撮像された被写体画像を記録する記録媒体と、
使用者が、操作によって前記被写体画像の記録媒体への記録を指示する撮影指示及び、当該撮影指示に先立つ撮影準備を行う操作手段と、
この操作手段の操作によって使用者による撮影準備が行われたことに応答し、前記顔検出手段の顔検出モードを、前記撮影予告が行われた時点の顔検出モードに関係なく、常に複数の顔検出モードの中で顔領域の検出精度が相対的に最も高い顔検出モードに制御するモード制御手段と
をさらに備えたことを特徴とする請求項1又は2記載の撮像装置。
【請求項7】
被写体を撮像する撮像手段により撮像された被写体画像から顔領域を検出する顔検出方法において、
顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する工程と、
選択したいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する工程と
を含むことを特徴とする顔検出方法。
【請求項8】
画像から顔領域を検出する顔検出機能を備えた画像処理装置が有するコンピュータに、
顔領域の検出時の動作モードとして、予め設けられている複数の顔検出モードのいずれかを選択する処理と、
選択したいずれかの顔検出モードに対応する、顔領域の検出条件を決める第1のパラメータ及び第2のパラメータの値に従って、前記撮像手段により撮像された被写体画像から顔領域を検出する処理と
を実行させることを特徴とする顔検出制御プログラム。
【請求項9】
被写体を撮像する撮像手段を備えた撮像装置において、
前記撮像手段により撮像された被写体画像から顔領域を検出するとともに、動作モードとして顔領域の検出条件が異なる第1の顔検出モード及び第2の顔検出モードを有する顔検出手段と、
この顔検出手段が第1の顔検出モードにより顔領域の検出動作を繰り返す間に、前記第2の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、前記顔検出手段の動作モードを第2の顔検出モードに変更するモード制御手段と
を備えたことを特徴とする撮像装置。
【請求項10】
前記モード制御手段は、顔検出手段が第2の顔検出モードにより顔領域の検出動作を繰り返す間に、前記第1の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第1の顔検出モードの検出条件を満足する内容である場合に、顔検出手段の動作モードを第1の顔検出モードに設定することを特徴とする請求項9記載の撮像装置。
【請求項11】
前記モード制御手段は、前記顔検出手段が第2の顔検出モードで顔領域の検出動作を繰り返す間、一定期間毎に、前記顔検出手段に第1の顔検出モードによる顔領域の検出動作を行わせ、第1の顔検出モードによる前記顔検出手段の顔領域の検出動作に際して、前記第2の顔検出モードの検出条件に関する所定の検出情報を取得するとともに、取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容でない場合に、顔検出手段の動作モードを第1の顔検出モードに設定することを特徴とする請求項9記載の撮像装置。
【請求項12】
前記顔検出手段は、第1の顔検出モード及び第2の顔検出モードによる顔領域の検出動作に際し複数サイズの顔領域を検出対象とした検出動作を行い、
前記モード制御手段により取得される前記第2の顔検出モードの検出条件に関する所定の検出情報には、前記顔検出手段により検出された顔領域のサイズが含まれる
ことを特徴とする請求項9乃至11いずれか記載の撮像装置。
【請求項13】
被写体を撮像する撮像手段により撮像された被写体画像から顔領域を検出する顔検出方法において、
被写体画像からの顔領域の検出動作を第1の顔検出モードにより繰り返すとともに、その間に、第1の顔検出モードとは顔領域の検出条件が異なる第2の顔検出モードの検出条件に関する所定の検出情報を取得する工程と、
この工程で取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、被写体画像からの顔領域の検出動作モードを前記第2の顔検出モードに変更する工程と
を含むことを特徴とする顔検出方法。
【請求項14】
画像から顔領域を検出する顔検出機能を備えた画像処理装置が有するコンピュータに、
被写体画像からの顔領域の検出動作を第1の顔検出モードにより繰り返すとともに、その間に、第1の顔検出モードとは顔領域の検出条件が異なる第2の顔検出モードの検出条件に関する所定の検出情報を取得する処理と、
この工程で取得した所定の検出情報の内容が前記第2の顔検出モードの検出条件を満足する内容である場合に、被写体画像からの顔領域の検出動作モードを前記第2の顔検出モードに変更する処理と
を実行させることを特徴とする顔検出制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2008−289006(P2008−289006A)
【公開日】平成20年11月27日(2008.11.27)
【国際特許分類】
【出願番号】特願2007−133353(P2007−133353)
【出願日】平成19年5月18日(2007.5.18)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成20年11月27日(2008.11.27)
【国際特許分類】
【出願日】平成19年5月18日(2007.5.18)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]