撮像装置および笑顔記録プログラム
【構成】 ディジタルカメラ10はCPU24を含む。CPU24は、撮像面14f上の被写界像をイメージセンサ14を制御して繰り返し捉え、これにより作成された各被写界画像から顔画像を検出し、検出された各顔画像の顔が笑顔であるか否かを判定し、検出された少なくとも1つの顔画像についての判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に作成された被写界画像をI/F36を制御して記録媒体38に記録する。また、あるモードでキー入力装置26を介したエリア指定操作に応答して各被写界画像にエリアを割り当て、笑顔であると判定された顔画像と割り当てられたエリアとの位置関係に少なくとも基づいて記録処理の実行を制限する。別のモードでは、このような制限を行わない。
【効果】 あるモードでは目標の笑顔を高い確率で、別のモードでは任意の笑顔を広範囲で記録できる。
【効果】 あるモードでは目標の笑顔を高い確率で、別のモードでは任意の笑顔を広範囲で記録できる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、撮像装置および笑顔記録プログラムに関し、特にたとえば、被写界を繰り返し撮像して、笑顔が検知された後に作成された被写界画像を記録する、撮像装置および笑顔記録プログラムに関する。
【背景技術】
【0002】
この種の撮像装置の一例が、特許文献1に開示されている。この背景技術では、各被写界画像から顔画像を抽出して、顔画像の時系列変化を分析し、顔画像が所定のパターンと一致するタイミングを予測して本画像撮影を行うことで、笑顔検知から本画像撮影までのタイムラグの短縮を図っている。
【特許文献1】特開2007−215064号公報[H04N 5/232, G03B 15/00, G03B 17/38, H04N 101/00]
【発明の開示】
【発明が解決しようとする課題】
【0003】
この種の撮像装置では、被写界内に複数の顔が存在する状況では、ユーザが目標とする笑顔とは異なる笑顔に応答して記録処理が実行されてしまい、目標の笑顔を記録できないことがあった。しかし、背景技術は、この課題を何ら解決するものではない。
【0004】
それゆえに、この発明の主たる目的は、新規な、撮像装置および笑顔記録プログラムを提供することである。
【0005】
この発明の他の目的は、目標の笑顔を高い確率で記録できる、撮像装置および笑顔記録プログラムを提供することである。
【課題を解決するための手段】
【0006】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【0007】
第1の発明は、撮像面上の撮像エリア内に結ばれた被写界像を繰り返し捉える撮像手段、操作手段を介したエリア指定操作に応答して撮像エリア内にスマイルエリアを割り当てる割り当て手段、撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う、笑顔記録手段を備える、撮像装置である。
【0008】
第1の発明である撮像装置(10)では、撮像面(14f)上の撮像エリア(Ep)内に結ばれた被写界像が撮像手段(14,S231,S249)によって繰り返し捉えられる。操作手段(26)を介したエリア指定操作が行われると、割り当て手段(S235)は撮像エリア内にスマイルエリア(Es0〜Es4)を割り当てる。笑顔記録手段(S241〜S247,S251)は、撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う。
【0009】
第1の発明によれば、エリア指定操作によって笑顔記録の実行範囲をスマイルエリア内に制限することで、目標の笑顔が検知される前に目標以外の笑顔によって記録処理が実行される事態を回避できる。この結果、目標の笑顔を記録できる可能性が高まる。エリア指定操作を行わなければ、またはエリア指定操作後に解除操作を行えば、任意の笑顔を広範囲で記録できる。
【0010】
第2の発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、撮像手段によって作成された各被写界画像から顔画像を検出する検出手段、検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する判定手段、検出手段によって検出された少なくとも1つの顔画像についての判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像手段によって作成された被写界画像を記録媒体に記録する記録手段、特定モードで操作手段を介したエリア指定操作に応答して各被写界画像にエリアを割り当てる割り当て手段、および判定手段によって笑顔であると判定された顔画像と割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて記録手段による記録処理の実行を制限する制限手段を備える、撮像装置である。
【0011】
第2の発明である撮像装置(10)では、撮像面(14f)上に結ばれた被写界像が撮像手段(14,S25,S39,S105,S113)によって繰り返し捉えられる。検出手段(S161〜S177)は撮像手段によって作成された各被写界画像から顔画像を検出し、判定手段(S71〜S97,S121〜S135)は検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する。記録手段(36,S31,S41,S111,S115)は、検出手段によって検出された少なくとも1つの顔画像についての判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像手段によって作成された被写界画像を記録媒体(38)に記録する。
【0012】
特定モードで操作手段(26)を介したエリア指定操作が行われると、割り当て手段(S63)が各被写界画像にエリアを割り当て、制限手段(S33〜S37)は、判定手段によって笑顔であると判定された顔画像と割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて、記録手段による記録処理の実行を制限する。
【0013】
第2の発明によれば、特定モードでは、ユーザによって指定されたエリアと検出手段および判定手段によって検知された笑顔との位置関係に基づいて、制限手段が記録手段の記録動作を制限することで、目標の笑顔が検知される前に目標以外の笑顔によって記録処理が実行される事態を回避できる。この結果、目標の笑顔を記録できる可能性が高まる。他のモードでは、このような制限がないので、任意の笑顔を広範囲で記録できる。
【0014】
なお、ある実施例では、撮像手段は、当初スルー撮影を行っており、非笑顔状態から笑顔状態への変化に応じてスルー撮影を中断して本撮影を行い、記録手段は本撮影による被写界画像を記録する。他の実施例では、撮像手段は、当初動画撮影を行ってこれによる複数の被写界画像をメモリ(30c)に記憶しており、非笑顔状態から笑顔状態への変化に応じてメモリ(30c)からいずれかの被写界画像を読み出し、記録手段は読み出された被写界像を記録する。いずれの実施例でも、制限手段が記録手段による記録処理の実行を制限することで、目標の笑顔を高い確率で記録できる。
【0015】
第3の発明は、第2の発明に従属する撮像装置であって、制限手段は、判定手段によって笑顔であると判定された顔画像が割り当て手段によって割り当てられたエリアの内部に位置するとき記録手段による記録処理の実行を許容する一方、判定手段によって笑顔であると判定された顔画像が割り当て手段によって割り当てられたエリアの外部に位置するとき記録手段による記録処理の実行を禁止する(S33)。
【0016】
第3の発明では、記録処理は、エリア外で笑顔が検知されても実行されず、エリア内で笑顔が検知されてはじめて実行される。
【0017】
なお、制限手段は、記録手段による記録処理の実行を、ある実施例では当該記録手段自体を休止させることによって制限するが、他の実施例では判定手段を休止させることによって制限してもよく、これにより処理量が軽減される。または、判定手段の判定結果を無効化することによっても、制限は可能である。
【0018】
第4の発明は、第3の発明に従属する撮像装置であって、検出手段によって検出された顔画像の1つにピントが合うようにフォーカス調整を行うフォーカス調整手段(12,16,S155)をさらに備え、制限手段は、割り当て手段によって割り当てられたエリアの内部にピントの合った顔画像とピントの合っていない顔画像とが存在する場合にはピントの合った顔画像に注目する(S35,S37)。
【0019】
第4の発明では、エリア内にピントの合った顔画像とピントの合っていない顔画像とが混在する場合には、制限手段は、ピントの合った顔画像に注目する、すなわちピントの合っていない顔画像についての判定結果ではなくピントの合った顔画像についての判定結果に基づいて制限を行う。
【0020】
第4の発明によれば、ピントの合った顔画像に注目することで、適正な笑顔判定が行えるので、目標の笑顔を記録できる可能性がいっそう高まる。
【0021】
第5の発明は、第4の発明に従属する撮像装置であって、検出手段によって検出された顔画像のうち割り当て手段によって割り当てられたエリアの内部に位置する顔画像の1つにピントが合うようにフォーカス調整手段が参照するフォーカス評価エリア(Efcs)の位置を制御する制御手段(S221,S223)をさらに備える。
【0022】
ある実施例では、制限手段は、フォーカス調整手段によって参照されるフォーカス評価エリア(Efcs)が割り当て手段によって割り当てられたエリア(指定スマイルエリア)の外部に位置するとき、フォーカス評価エリアを指定スマイルエリアの内部へと強制移動させる。
【0023】
第5の発明によれば、目標の顔にピントが合う可能性が高まり、ひいては目標の笑顔を記録できる可能性がよりいっそう高まる。
【0024】
第6の発明は、第1ないし第6のいずれかの発明に従属する撮像装置であって、エリア指定操作は複数の固定エリア(Es0〜Es4)から1つを指定する操作である。
【0025】
第7の発明は、第6の発明に従属する撮像装置であって、複数の固定エリアは一部が互いに重複している。
【0026】
第7の発明によれば、目標の顔がエリアの境界付近に位置するときのエリア指定操作が容易になる。
【0027】
なお、エリア指定操作は、可変エリアに関して位置,大きさおよび形状の少なくとも1つを指定する操作でもよい。
【0028】
第8の発明は、第1ないし第7のいずれかの発明に従属する撮像装置であって、撮像手段によって作成された各被写界画像に基づくスルー画像をディスプレイ(34)に表示するスルー表示手段(32)、およびエリア指定操作によって指定されたエリアを示す枠画像をディスプレイのスルー画像上に描画する描画手段(42,S57)をさらに備える。
【0029】
第8の発明によれば、エリアを示す枠画像をスルー画像上にオンスクリーン表示することで、画角を調整する操作やエリアを指定する操作が容易になる。
【0030】
なお、ある実施例では、描画手段は、エリア指定操作の開始に応答して枠画像の描画を開始し、エリア指定操作の完了に応答して枠画像の描画を終了する。他の実施例では、描画手段は、枠画像を常時描画し、エリア指定操作の開始および/または完了に応答して枠画像の態様(色,明るさ、線の太さなど)を変化させてもよい。
【0031】
第9の発明は、撮像面(14f)を有するイメージセンサ(14)とイメージセンサの出力に基づく画像を記録媒体(38)に記録する記録手段(36)とユーザによって操作される操作手段(26)とを備える撮像装置(10)のプロセッサ(24)に、撮像面上の撮像エリア(Ep)内に結ばれた被写界像をイメージセンサを制御して繰り返し捉える撮像ステップ(S231、S249)、操作手段を介したエリア指定操作に応答して撮像エリア内にスマイルエリア(Es0〜Es4)を割り当てる割り当てステップ(S235)、および撮像ステップによって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う、笑顔記録ステップ(S241〜S247,251)を実行させるための、笑顔記録プログラムである。
【0032】
第9の発明でも、第1の発明と同様に、エリア指定操作によって目標の笑顔を記録できる可能性が高まる。エリア指定操作を行わなければ、またはエリア指定操作後に解除操作を行えば、任意の笑顔を広範囲で記録できる。
【0033】
第10の発明は、撮像面(14f)を有するイメージセンサ(14)とイメージセンサの出力に基づく画像を記録媒体(38)に記録する記録手段(36)とユーザによって操作される操作手段(26)とを備える撮像装置(10)のプロセッサ(24)に、撮像面上に結ばれた被写界像をイメージセンサを制御して繰り返し捉える撮像ステップ(S25,S39)、撮像ステップによって作成された各被写界画像から顔画像を検出する検出ステップ(S161〜S177)、検出ステップによって検出された各顔画像の顔が笑顔であるか否かを判定する判定ステップ(S87〜S97,S125〜S135)、検出ステップによって検出された少なくとも1つの顔画像についての判定ステップの判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像ステップによって作成された被写界画像を記録手段を制御して記録媒体(38)に記録する笑顔記録ステップ(S31およびS41)、操作手段を介したエリア指定操作に応答して各被写界画像にエリアを割り当てる割り当てステップ(S63)、および判定ステップによって笑顔であると判定された顔画像と割り当てステップによって割り当てられたエリアとの位置関係に少なくとも基づいて笑顔記録ステップによる記録処理の実行を制限する制限ステップ(S33〜S37)を実行させるための、笑顔記録プログラムである。
【0034】
第10の発明でも、第2の発明と同様に、特定モードでは目標の笑顔を記録できる可能性が高まり、他のモードでは任意の笑顔を広範囲で記録できる。
【発明の効果】
【0035】
この発明によれば、目標の笑顔を高い確率で記録できる、撮像装置および笑顔記録プログラムが実現される。
【0036】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【0037】
図1を参照して、この実施例のディジタルカメラ10は、フォーカスレンズ12を含む。被写界の光学像は、フォーカスレンズ12を経てイメージセンサ14の撮像面14fに結像し、ここで光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。
【0038】
電源が投入されると、スルー撮影処理が開始される。このとき、CPU24は、スルー撮影用の露光および電荷読み出しの繰り返しをTG18に命令する。TG18は、撮像面14fの露光動作と、これによって得られた電荷の間引き読み出し動作とを実行するべく、複数のタイミング信号をイメージセンサ14に与える。撮像面14fで生成された電荷の一部は、1/30秒に1回の割合で発生する垂直同期信号Vsyncに応答して、ラスタ走査に従う順序で読み出される。こうして、低解像度(たとえば320*240)の生画像信号が、30fpsのフレームレートでイメージセンサ14から出力される。
【0039】
イメージセンサ14から出力された生画像信号は、カメラ処理回路20によってA/Dなどの処理を施され、ディジタル信号である生画像データに変換される。生画像データは、メモリ制御回路28を通してSDRAM30の生画像エリアに30a(図10(A)参照)に書き込まれる。カメラ処理回路20はその後、生画像エリアに30aに格納された生画像データをメモリ制御回路28を通して読み出し、色分離,YUV変換などの処理を施す。こうして得られたYUV形式の画像データは、メモリ制御回路28を通してSDRAM30のYUV画像エリア30b(図10(A)参照)に書き込まれる。
【0040】
LCD駆動回路32は、YUV画像エリア30bに格納された画像データをメモリ制御回路28通して1/30秒毎に読み出し、読み出された画像データでLCDモニタ34を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がLCDモニタ34に表示される。
【0041】
なお、図示は省略しているが、このようなスルー撮影中、カメラ処理回路20によって生成されたYデータに基づいて被写界の明るさ(輝度)を1/30秒毎に評価する処理が輝度評価回路によって実行されている。CPU24は、輝度評価回路によって求められた輝度評価値に基づいてイメージセンサ14の露光量を調整し、これによってLCDモニタ34に表示されるスルー画像の明るさが適度に調整される。
【0042】
フォーカス評価回路22は、カメラ処理回路20によって生成されたYデータのうち図5(A)等に示すフォーカス評価エリアEfcsに属するYデータを取り込み、取り込まれたYデータの高域周波数成分を積分し、そして積分結果つまりフォーカス評価値を出力する。この一連の処理は、Vsyncに応答して1/30秒毎に実行される。CPU24は、こうして求められたフォーカス評価値に基づいて、いわゆるコンティニュアスAF処理(以下単に「AF処理」と呼ぶ:図21参照)を実行する。フォーカスレンズ12の光軸方向の位置は、CPU24の制御の下でドライバ16によって継続的に変更される。
【0043】
CPU24はまた、SDRAM30に格納されたYUVデータに注目した顔認識処理を実行する。顔認識処理は、人物の目,鼻,口などに相当する顔辞書データ72(図10(B)参照)を注目するYUVデータと照合する一種のパターン認識処理であり、これによって被写界像から人物の顔画像が検出される。
【0044】
詳しくは、図2に示すように、所定サイズ(たとえば80*80)の顔検出枠FDを画像フレーム内の開始位置(左上)に配置して、これをラスタ走査の態様で既定量ずつ移動させつつ、顔検出枠FD内の画像に対して照合処理を施していく。顔検出枠FDが終了位置(画面の右下)に到達すると、これを開始位置に戻して同様の動作を繰り返す。
【0045】
なお、他の実施例では、サイズの異なる複数の顔検出枠を準備して、各画像に対してこれらの顔検出枠による複数の検出処理を順次的または並列的に実行することで、検出精度を向上させてもよい。
【0046】
顔画像が検出されると、CPU24はさらに、その顔画像についてサイズおよび位置を算出し、算出結果を“顔サイズ”および“顔位置”として識別子(ID)と共に顔情報テーブル70に登録する(図10(B),図11参照)。具体的には、顔画像のサイズとして、顔画像を取り囲む矩形の顔枠Fr(図5(A)等参照)の縦横の長さ(画素数)を、顔画像の位置としては顔枠Frの重心座標を、それぞれ用いることができる。IDとしては、たとえば連続番号1,2,…が用いられる。なお、図11には、スルー画像のサイズを320*240とした場合の数値が示されている。
【0047】
検出された顔画像がフォーカス評価エリアEfcsの外部に移動した場合には、CPU24は、フォーカス評価エリアEfcsを顔画像の位置を基準に移動させる(図5(B)参照)。したがって、前述したフォーカス調整処理では、被写界に顔が含まれている場合、主として顔画像が参照される結果となる。
【0048】
CPU24はまた、キャラクタジェネレータ(CG)42を通してLCD駆動回路32を制御することにより、顔枠FrをLCDモニタ34のスルー画像上に描画(オンスクリーン表示)する。現在検出中の顔の数つまり顔情報テーブル70に登録されている顔の数(以下単に「顔数」と呼ぶ)が複数の場合、前述したAF処理によってピントの合った顔画像つまりフォーカス評価エリアEfcs内の顔画像(以下「主役」の顔画像と呼ぶ)については二重の顔枠Frdが、主役以外の顔画像(ピントが合っているとは限らない)については一重の顔枠Frsが、それぞれ描画される(図5(C)参照)。
【0049】
以上のようなスルー撮影中に静止画記録操作(シャッタボタン26shの押下)が行われると、CPU24は、本撮影用の露光および電荷読み出しをTG18に命令する。TG18は、撮像面14fの露光動作と、これによって得られた電荷の全画素読み出し動作とをそれぞれ1回実行するべく、1つのタイミング信号をイメージセンサ14に与える。撮像面14fで生成された全電荷が、ラスタ走査に従う順序で読み出される。こうして、高解像度の生画像信号がイメージセンサ14から出力される。
【0050】
イメージセンサ14から出力された生画像信号は、カメラ処理回路20によって生画像データに変換され、生画像データは、メモリ制御回路28を通してSDRAM30の生画像エリアに30aに書き込まれる。カメラ処理回路20はその後、生画像エリアに30aに格納された生画像データをメモリ制御回路28を通して読み出し、YUV形式の画像データに変換する。YUV形式の画像データは、メモリ制御回路28を通してSDRAM30の記録画像エリア30c(図10(A)参照)に書き込まれる。I/F36は、こうして記録画像エリア30cに書き込まれた画像データをメモリ制御回路28を通して読み出し、ファイル形式で記録媒体38に記録する。
【0051】
キー入力装置26によってモード選択開始操作(セットボタン26stの押下)が行われると、CPU24は、CG42を通してLCD駆動回路32を制御することにより、たとえば図2のようなモード選択画面をLCDモニタ34に表示する。モード選択画面は、通常記録,笑顔記録Iおよび笑顔記録IIといった選択可能なモードを示す文字(他の実施例ではシンボルマークでもよい)を含む。このうち現在選択されているモードを示す文字には、カーソル(下線)が当てられている。キー入力装置26によってモード選択操作(カーソルキー26cの押下)が行われると、画面上のカーソル(下線)が別のモードを示す文字の位置に移動する。所望のモードが選択された状態で決定操作(セットボタン26stの再押下)が行われると、現在選択されているモードが有効化される。
【0052】
笑顔記録モードIが有効化されると、前述と同様のスルー撮影処理が開始される。これに先立って、CPU24は、各画像に対応するフレームに、ユーザが任意に指定したスマイルエリア(以下「指定スマイルエリア」)を割り当てる。この実施例では、図4に示す5つのスマイルエリアEs0〜Es4から指定された1つが割り当てられる。指定スマイルエリアのデフォルトは、中央のスマイルエリアEs0である。なお、他の実施例では、現時点でフォーカス評価エリアEfcsを含むようなスマイルエリアをデフォルトとしてもよい。
【0053】
図4のスマイルエリアEs0〜Es4は、イメージセンサ14(撮像面14f)の撮像エリアEp内に、次の要領で配置される。すなわち、CPU24は、フレームを16*16=256分割して、(4,4)〜(11,11)で示される中央の矩形領域にスマイルエリアEs0を、(7,1)〜(8,14)で示される右上の矩形領域にスマイルエリアEs1を、(1,1)〜(8,8)で示される左上の矩形領域にスマイルエリアEs2を、(1,7)〜(8,14)で示される左下の矩形領域にスマイルエリアEs3を、そして(7,7)〜(14,14)で示される右下の矩形領域にスマイルエリアEs4を、それぞれ配置する。
【0054】
したがって、この実施例のスマイルエリアEs0〜Es4は、互いに一部が重複している。他の実施例では、5つのスマイルエリアEs0〜Es4をフレーム内に隙間なく配置しも、間隔を置いて配置してもよい。
【0055】
また、エリア数も5とは限らない。エリア数が多いほど目標の笑顔を記録できる可能性は高まるが、たとえば、エリア毎に表示色を変える場合、利用可能な色数の制限などのために、エリア数は4以下となることもある。他の実施例では、図4のスマイルエリアEs0〜Es4から中央のものを除いた4つのスマイルエリアEs1〜Es4だけを用いてもよい。その他の実施例では、ただ1つのスマイルエリアEs0を用いてもよい。
【0056】
また、各エリアの形状も矩形とは限らず、円形や正多角形といった他の形状でもよい。異なる形状および/または異なるサイズのエリアがフレーム内に混在してもよい。
【0057】
指定スマイルエリアは、笑顔記録モードIでスルー撮影中に次の要領で変更される。キー入力装置26によってエリア指定開始操作(セットボタン26stの押下)が行われると、CPU24は、CG42を通してLCD駆動回路32を制御することにより、現時点の指定スマイルエリアをオンスクリーン表示する。現時点の指定スマイルエリアが画面中央のスマイルエリアEs0であれば、スマイルエリアEs0が表示される(図6(A)等参照)。続いて、キー入力装置26によってエリア指定操作(カーソルキー26cの押下)が行われると、オンスクリーン表示は新たな指定スマイルエリアに更新される。
【0058】
なお、図6(A)等の画面では、指定スマイルエリアの輪郭線を表示しているが、有色半透明のエリア画像を表示しても、エリア内の被写界画像に対して色調や輝度を変化させる処理を施しても、ユーザに指定スマイルエリアを視認させることができる。また、スマイルエリアEs0〜Es4は、便宜上互いに異なる線種で描画されているが、互いに異なる色で描画してもよい。さらには、線種および色の組み合わせで各エリアを識別してもよい。
【0059】
また、この実施例では、指定スマイルエリアだけを表示しているが、他の実施例では、セットボタン26stの押下に応答して、5つのスマイルエリアEs0〜Es4をそれぞれ示す5つの輪郭線を互いに異なる色で同時に表示し、そのうち指定スマイルエリアに該当する輪郭線だけを強調してもよい。
【0060】
CPU24はまた、CG42を通してLCD駆動回路32を制御することにより、図6(A)等に示されるようなスマイルマークSmを画面の一隅にオンスクリーン表示する。図6(A)の画面では、スマイルマークSmの横に一時停止マークWmがさらに表示されているが、これは笑顔記録処理が一時停止されていることを示すもので、同処理が再開されると画面から消去される(図24参照)。
【0061】
なお、スマイルマークSmは、後述する笑顔記録モードIIでも表示される。他の実施例では、笑顔記録モードIおよびIIでスマイルマークSmの態様(色や形状など)を互いに異ならせてもよい。
【0062】
CPU24はまた、ただ1つの顔画像が検出されている状態では、この顔画像の特定部分たとえば口角に注目して、そこに笑顔の特徴があるか否かを繰り返し判別する。そして、笑顔の特徴ありと判別すると、その顔位置が指定スマイルエリアの内部であるか否かをさらに判別し、顔位置がエリア内であれば本撮影命令を発行して記録処理を実行する一方、顔位置がエリア外であれば本撮影命令の発行を見合わせる。したがって、指定スマイルエリア内で笑顔が検知されなければ、記録処理は実行されない。
【0063】
CPU24はまた、複数の顔画像が検出されている状態では、各顔画像について笑顔の特徴があるか否かを繰り返し判別する。いずれかの顔画像で笑顔の特徴ありと判別すると、その顔位置が指定スマイルエリアの内部であるか否かをさらに判別し、笑顔がエリア内にあれば、それが主役であるか否かをさらに判別して、主役であれば本撮影処理および記録処理を実行する。笑顔が主役でなければ、指定スマイルエリアの内部に主役が存在するか否かをさらに判別し、エリア内に主役が存在しなければ本撮影処理および記録処理を実行する。一方、笑顔の顔位置がエリア外であれば、本撮影命令の発行を見合わせる。また、笑顔の顔位置がエリア内にあっても、それが主役以外でかつエリア内に主役が存在していれば、本撮影命令の発行を見合わせる。
【0064】
したがって、指定スマイルエリア内で誰かの笑顔が検知されなければ、記録処理は実行されない。そして、指定スマイルエリア内に主役と主役以外とが混在する場合には、主役の笑顔が優先される。言い換えると、記録処理は、指定スマイルエリア内で主役が笑ったときか、指定スマイルエリア内に主役以外しかいない状態でその中の誰かが笑ったときに限って実行される。以下、顔数が2の場合について、図6〜図8により説明する。
【0065】
図6には、顔数が2であり、指定スマイルエリアが中央のスマイルエリアEs0であり、そしてこのスマイルエリアEs0の内部に主役の顔Fc1しかない場合の、画面変化の一例が示される。顔Fc1は画面の中ほどに、顔Fc2は画面左下にそれぞれ位置しており、画面の中心に近い方の顔Fc1が主役に選ばれる。主役の顔Fc1の周りには二重の顔枠Frdが、主役以外の顔Fc2の周りには一重の顔枠frsが、それぞれ描画される。
【0066】
図6(A)の時点では、2つの顔Fc1およびFc2のどちらも笑っていない。この後、図6(B)のように顔Fc2が笑ったとすると、この笑顔はスマイルエリアEs0の外部に位置するので、このタイミングで記録処理が実行されることはない。一方、図6(C)のように顔Fc1が笑ったとすると、この笑顔はスマイルエリアEs0の内部に位置するので、このタイミングで記録処理が実行される。
【0067】
図7には、顔数が2であり、指定スマイルエリアが左下のスマイルエリアEs3であり、そしてこのスマイルエリアEs3の内部に主役以外の顔Fc2しかない場合の、画面変化の一例が示される。2つの笑顔Fs1およびFs2の位置関係ならびに二重の顔枠Frdおよび一重の顔枠Frsの配置は、図6と同様である。
【0068】
図7(A)の時点では、2つの顔Fc1およびFc2のどちらも笑っていない。この後、図7(B)のように顔Fc1が笑ったとすると、この笑顔はスマイルエリアEs3の外部に位置するので、このタイミングで記録処理が実行されることはない。一方、図7(C)のように顔Fc2が笑ったとすると、この笑顔はスマイルエリアEs3の内部に位置するので、このタイミングで記録処理が実行される。
【0069】
図8には、顔数が2であり、指定スマイルエリアが中央のスマイルエリアEs0であり、そしてこのスマイルエリアEs0の内部に主役の顔Fc1および主役以外の顔Fc2がどちらもある場合の、画面変化の一例が示される。この画面では、顔Fc1および顔Fc2のどちらも画面中央付近に位置するが、前者の方が画面中央により近いので、二重の顔枠Frdは顔Fc1側に、一重の顔枠Frsは顔Fc2側にそれぞれ配される。
【0070】
図8(A)の時点では、2つの顔Fc1およびFc2のどちらも笑っていない。この後、図8(B)のように顔Fc2が笑ったとすると、この笑顔は主役以外なので、このタイミングで記録処理が実行されることはない。一方、図8(C)のように顔Fc2が笑ったとすると、この笑顔は主役なので、このタイミングで記録処理が実行される。
【0071】
このような笑顔記録モードIの特徴的な利用方法として「セルフタイマ的な撮影」がある。撮影者は、自分の立ち位置を想定して、その内部に自分の顔しか存在しないようなスマイルエリアを指定した後、想定位置へと移動して笑うことにより、自分の笑顔を確実に記録できる。具体例を図9に示す。
【0072】
図9(A)では、画面中央の右寄りに自分以外の顔Fc1があり、撮影者は自分の立ち位置を想定して左上のスマイルエリアEs2を指定する。顔Fc1は、このスマイルエリアEs2の外部にあり、笑顔ではない。この後、撮影者が想定位置へと移動すると、スマイルエリアEs2内に撮影者自身の顔Fc2が登場する。顔Fc2もまた、笑顔ではない。2つの顔Fc1およびFc2では、前者の方が画面中央により近いので、顔Fc1の方が主役となる。
【0073】
この後、図9(B)に示すように、顔Fc1が笑ったとする。しかし、顔Fc1はスマイルエリアEs2の外部にあるので、記録処理は実行されない。一方、図9(C)のように顔Fc2が笑えば、これはスマイルエリアEs2の内部にあるので、記録処理が実行される。こうして、撮影者は、自分自身が被写界内に入って、記録処理の実行タイミングを任意に決定できる。
【0074】
なお、上記と同様の撮影を次に説明する笑顔記録モードIIで行えば、自分以外(図9では顔Fc1)の笑顔で記録処理が実行される場合がある。
【0075】
笑顔記録モードIIが有効化されると、前述と同様のスルー撮影処理が開始される。CPU24は、1つまたは複数の顔画像が検出されている状態では、各顔画像の特定部分たとえば口角に注目して、そこに笑顔の特徴があるか否かを繰り返し判別する。そして、いずれかの顔画像で笑顔の特徴ありと判別すると、本撮影命令を発行して記録処理を実行する。
【0076】
このように、笑顔記録モードIIが笑顔記録モードIと異なるのは、笑顔記録を指定スマイルエリア内に制限せずに全画面で実行する点であり、顔検出および笑顔判定の各処理は笑顔記録モードIの場合と同様でよい。
【0077】
以上のような笑顔記録動作は、CPU24が図1に示される各ハードウェア要素を制御して、図13に示すモード選択タスクと、図14に示す笑顔記録Iモード専用のメインタスク(以下「メインタスク(I)」のように略記することがある:他のタスクでも同様)と、図15に示す笑顔記録Iモード専用のスマイルエリア制御タスクと、図16および図17に示す笑顔記録Iモード専用のフラグ制御タスクと、図18に示す笑顔記録IIモード専用のメインタスクと、図19に示す笑顔記録IIモード専用のフラグ制御タスクと、図20に示すI・IIモード共用の一時停止タスクと、図21に示すI・IIモード共用のAFタスクと、図22に示すI・IIモード共用の顔検出タスクと、図23に示すI・IIモード共用の顔枠制御タスクと、図24に示すI・IIモード共用のマーク制御タスクとを実行することによって実現される。なお、CPU24は、マルチタスクOSの制御下で、これら10個のタスクのうち2つまたは3つ以上を並列的に処理することができる。
【0078】
これら10個のタスクに対応する10個のプログラム50〜68は、フラッシュメモリ40のプログラムエリア40a(図10(B)参照)に格納される。フラッシュメモリ40のデータエリア40bには、前述の顔情報テーブル70および顔辞書データ72に加え、現時点の指定スマイルエリア(Es0〜Es4のいずれか)を示す指定スマイルエリア識別子74と、スマイルエリア制御タスク(図15参照)および一時停止タスク(図20参照)によってオン/オフされる待機フラグ(W)76と、フラグ制御タスク(図16および図19参照)によってオン/オフされる顔状態フラグ(A1,A2,…,P1,P2,…,S1,S2,…)78とがさらに記憶される。
【0079】
ここで、顔状態フラグの一種である“A”は、その顔画像の位置が指定スマイルエリアの内部にあるか外部にあるかを示すフラグであり、オンが内部に、オフが外部に対応する。顔状態フラグの他の一種である“P”は、その顔画像が主役であるか主役以外であるかを示すフラグであり、オンが主役に、オフが主役以外に対応する。顔状態フラグのその他の一種である“S”は、その顔画像が笑顔であるか笑顔以外であるか(後者の状態を適宜「非笑顔」と呼ぶ)を示すフラグであり、オンが笑顔に、オフが非笑顔に対応する。各種フラグの添え字1,2,…は、顔画像を識別するIDである。
【0080】
たとえば、図6(A)の2つの顔画像Fc1およびFc2の状態は、これらの顔状態フラグによって図12(A)のように記述される。同様に、図6(B)の2つの顔画像Fc1およびFc2の状態は図12(B)のように記述され、図6(C)の2つの顔画像Fc1およびFc2の状態は図12(C)のように記述される。
【0081】
まず図13を参照して、キー入力装置26のメニューキー(図示せず)が押下されると、CPU24は、ステップS1でCG42およびLCD駆動回路32を制御して、図2のようなメニュー画面をLCDモニタ34に表示する。次に、ステップS3でカーソルキー26cおよびSETキー26stの操作によって“笑顔記録I”が選択されたか否かを判別し、YESであれば笑顔記録Iモードを有効化する。ステップS3でNOであれば、ステップS5で“笑顔記録II”が選択されたか否かを判別し、YESであれば笑顔記録IIモードを有効化する。ステップS5でNOであれば、ステップS7で他の記録モードたとえば“通常記録モード”が選択されたか否かを判別し、YESであれば当該記録モードを有効化する。ステップS7でNOであれば、ステップS9でキャンセル操作が行われたか否かを判別し、YESであればメニューキー押下直前のモードに戻る。ステップS9でNOであれば、ステップS3に戻って同様の処理を繰り返す。
【0082】
まず、笑顔記録Iモードについて説明する。笑顔記録Iモードが有効化されると、まずメインタスク(I)が起動され、CPU24はこれに対応するフロー(図14参照)の実行を開始する。図14を参照して、ステップS21では、フラグWに“0”がセットされる。ステップS23では、スマイルエリア制御タスク(I),フラグ制御タスク(I),一時停止タスク,AFタスク,顔検出タスク,顔枠制御タスクおよびマーク制御タスクが起動され、CPU24はさらに、これらに対応するフロー(図15〜図17,図20〜図24参照)の実行を開始する。
【0083】
ステップS25では、スルー撮影命令を発行し、これに応じて前述のスルー撮影処理が開始される。ステップS27では図示しないシグナルジェネレータによってVsyncが発生されたか否かを判別し、NOであれば待機する。ステップS27でYESであれば、ステップS29でフラグWが“0”であるか否かを判別し、NOであればステップS27に戻る。ステップS29でYESであれば、ステップS31に移って、誰かが笑ったか否かを顔状態フラグ78のうちフラグS1,S2,…の状態変化に基づいて判別し、ここでNOであればステップS27に戻る。
【0084】
フラグS1,S2,…のいずれかがオフ状態からオン状態に変化すると、ステップS31でYESと判別し、ステップS33に進む。ステップS33では、この新たな笑顔(顔IDを“m”とする)は指定スマイルエリアの内部に位置するか否かを、顔状態テーブル70(図11参照)に登録された顔mの位置および指定スマイルエリア識別子74に基づいて判別し、NOであればステップS27に戻る。なお、CPU24は、図4に示された各スマイルエリアEs0〜Es4の画面上での位置を認識している。
【0085】
ステップS33でYESであれば、ステップS35に移って、当該笑顔は主役のものであるか否かを顔状態フラグ78のうちフラグPmに基づいて判別する。ステップS35でYESであれば、ステップS39で本撮影命令を発行した後、ステップS41でI/F36を制御して記録処理を実行する。したがって、当該笑顔が指定スマイルエリア内にあってかつ主役のものであれば、当該笑顔を含む静止画像が記録媒体38に記録される。
【0086】
ステップS35でNOであれば、ステップS37で指定スマイルエリア内に主役の顔があるか否かを顔状態フラグ78に基づいて判別し、NOであれば上述のステップS39およびS41が実行される。顔状態フラグ78を参照してフラグAがオンかつフラグPがオンかつフラグSがオフの顔があれば、ステップS37でYESと判別し、ステップS27に戻る。したがって、当該笑顔が指定スマイルエリア内にあってかつ主役以外のものであれば、そのとき指定スマイルエリア内に主役の顔がない場合に限って記録処理が実行される。そのとき指定スマイルエリア内に主役の顔がある場合には、記録処理は、後に主役の顔が笑顔となった時点で実行される。
【0087】
図15を参照して、スマイルエリア制御タスク(I)が起動されると、ステップS51で指定スマイルエリア識別子74にデフォルト(この実施例ではスマイルエリア“Es0”)をセットする。なお、他の実施例では、AFタスク(図21参照)によっていずれかの顔画像にピントが合うのを待って、当該顔画像を含むスマイルエリアをデフォルトとしてもよい。
【0088】
ステップS53では、セットボタン26stが押されたか否かを判別し、NOであれば待機する。ステップS53でYESであれば、ステップS55に進んでフラグWに“1”をセットした後、ステップS57でCG42等を制御して指定スマイルエリアをLCDモニタ34に表示する。たとえば、指定スマイルエリア識別子74が“Es0”であればスマイルエリアEs0が表示され(図6(A)参照)、“Es3”であればスマイルエリアEs3が表示される(図7(A)参照)。
【0089】
ステップS59では、カーソルキー26cが操作されたか否かを判別し、ここでNOであればステップS61でセットボタン26stが押下されたか否かをさらに判別し、ここでもNOであればステップS57に戻って同様の処理を繰り返す。ステップS59でYESであれば、ステップS63に進んで指定スマイルエリア識別子74の値を更新し、その後ステップS57に戻って同様の処理を繰り返す。ステップS61でYESであれば、ステップS65に進んで指定スマイルエリアをモニタ画面から消去し、さらにステップS67でフラグWに“0”をセットした後、ステップS53に戻って同様の処理を繰り返す。
【0090】
図16および図17を参照して、フラグ制御タスク(I)が起動されると、ステップS71で変数iに“1”をセットした後、ステップS73でVsyncの発生を待つ。Vsyncが発生すると、ステップS75に進んで、顔iが指定スマイルエリア内であるか否かを顔情報テーブル70および指定スマイルエリア識別子74に基づいて判別する。この判別結果がYESであればステップS77でフラグAiをオンし、NOであればステップS79でフラグAiをオフする。そしてステップS81で、顔iが主役であるか否かをさらに判別する。
【0091】
AFタスクの結果として顔iにピントが合っていれば(すなわち顔iが二重顔枠で囲まれていれば)、ステップS81でYESと判別し、ステップS83でフラグPiをオンした後、ステップS87に進む。ステップS81でNOであれば、ステップS85でフラグPiをオフした後ステップS87に進む。ステップS87では、顔iの画像から特定部分(たとえば口角や目じりなど)の画像を切り出す。そして、切り出した画像に笑顔の特徴があるか否か(たとえば口角が上がったか否か,目じりにしわが現れたか否かなど)をステップS89で判別し、YESであればステップS91でフラグSiをオンする一方、NOであればステップS93でフラグSiをオフする。そして、ステップS95で変数iをリンクリメントした後、変数iが顔数を上回ったか否かをステップS97で判別し、YESであればステップS71に、NOであればステップS75にそれぞれ戻って同様の処理を繰り返す。なお、ステップS89の判別は、特にたとえば、顔上の口形が顔辞書データ72とマッチングするか否かに基づいて行うことができる。
【0092】
図20を参照して、一時停止タスクが起動されると、ステップS141でシャッタボタン26stが押下されたか否かを判別し、NOであれば待機する。ステップS141でYESであれば、ステップS143でフラグWに“1”をセットする。その後ステップS145に進み、シャッタボタン26stが押下されたか否かを判別して、NOであれば待機する。ステップS145でYESであれば、ステップS147でフラグWに“0”をセットした後、ステップS141に戻って同様の処理を繰り返す。
【0093】
図21を参照して、AFタスクが起動されると、ステップS151でVsyncの発生を待った後、現時点のフォーカス評価値がAF起動条件を満足したか否かをステップS153で判別する。ここでNOであればステップS151に戻って同様の処理を繰り返す。ステップS153でYESであれば、ステップS155に進んでAF処理を実行する。なお、AF処理では、顔数が複数の場合、顔枠制御タスクのステップS187(図23参照:後述)で決定された主役の顔に注目したフォーカス調整が行われ、主役の顔にピントが合う結果となる。調整が完了すると、ステップS151に戻って同様の処理を繰り返す。
【0094】
図22を参照して、顔検出タスクが起動されると、ステップS161で顔情報テーブル70(図11参照)を初期化する。次に、ステップS163で顔検出枠FDを開始位置(たとえば画面左上:図3参照)に配置した後、ステップS165でVsyncの発生を待ち、Vsyncが発生するとステップS167に進んで、被写界画像から顔検出枠内FDの画像を切り出す。そしてステップS169で、切り出した画像と顔辞書データ72との照合処理を実行し、照合結果が適合を示すか否かをステップS171で判別する。ステップS171でNOであればステップS167に戻って同様の処理を繰り返し、YESであればステップS173で当該顔に関する顔情報(ID,位置およびサイズ)を顔情報テーブル70に記述する。その後、未照合部分の有無をステップS175で判別し、YESであればステップS177で顔検出枠FDを図3の要領で1ステップ移動させた後、ステップS167に戻って同様の処理を繰り返す。顔検出枠FDが画面の右下に到達していれば、ステップS175でNOと判別し、ステップS163に戻って同様を繰り返す。
【0095】
図23を参照して、顔枠制御タスクが起動されると、ステップS181でVsyncの発生を待った後、顔が検出されたか否かをステップS183で顔情報テーブル70に基づいて判別し、NOであればステップS181に戻って同様の処理を繰り返す。顔情報テーブル70に少なくとも1つの顔が登録されていれば、ステップS183でYESと判別し、ステップS185に進んで顔数が複数であるか否かをさらに判別する。ステップS185でYESであればステップS187を経てステップS189に進む一方、NOであればステップS187をスキップしてステップS189に進む。
【0096】
ステップS187では、各顔の位置関係に基づいて主役を決定する。ここでは、画面内でその中心点から各顔画像までの距離を計算し、計算結果が最小の顔画像を主役とする。他の実施例では、さらにディジタルカメラ10から各顔までの距離を計測し、たとえば最も遠い顔および最も近い顔を主役候補から除外するなど、計測結果も考慮して主役を決定してよい。ステップS189では、CG42等を制御して各顔の輪郭に沿う顔枠Frを表示する(図5(A)等参照)。顔数が複数の場合には、主役の顔に二重の顔枠Frdが、主役以外の顔には一重の顔枠Frsが割り当てられる(図5(C)等参照)。顔枠表示後、ステップS181に戻って同様の処理を繰り返す。
【0097】
図24を参照して、マーク制御タスクが起動されると、ステップS201でVsyncの発生を待った後、CG42等を制御して笑顔マークSm(図6(A)等参照)を表示する。そしてステップS205に進み、フラグWが“1”であるか否かを判別する。ステップS205でYESであれば、ステップS207でさらに中断マークWmを表示し、ステップS205でNOであれば、ステップS209で中断マークWmをモニタ画面から消去する。ステップS205またはS207の実行後、ステップS201に戻って同様の処理を繰り返す。
【0098】
次に、笑顔記録IIモードについて説明する。笑顔記録IIモードが有効化されると、まずメインタスク(II)が起動され、CPU24はこれに対応するフロー(図18参照)の実行を開始する。図18を参照して、ステップS101では、フラグWに“0”がセットされる。ステップS103では、フラグ制御タスク(II),一時停止タスク,AFタスク,顔検出タスク,顔枠制御タスクおよびマーク制御タスクが起動され、CPU24はさらに、これらに対応するフロー(図19,図20〜図24参照)の実行を開始する。
【0099】
ステップS105では、スルー撮影命令を発行し、これに応じてスルー撮影処理が開始される。ステップS107ではVsyncが発生されたか否かを判別し、NOであれば待機する。ステップS107でYESであれば、ステップS109でフラグWが“0”であるか否かを判別し、NOであればステップS107に戻る。ステップS109でYESであれば、ステップS111に移って、誰かが笑ったか否かをフラグS1,S2,…の状態変化に基づいて判別し、ここでNOであればステップS107に戻る。
【0100】
フラグS1,S2,…のいずれかがオフ状態からオン状態に変化すると、ステップS111でYESと判別し、ステップS113に進んで本撮影命令を発行する。その後、ステップS41に進み、I/F36を制御して記録処理を実行する。したがって、画面内で誰かが笑えば、当該笑顔を含む静止画像が記録媒体38に記録される。記録後、ステップS105に戻って同様の処理を繰り返す。
【0101】
なお、他の実施例では、笑顔記録モードIの場合と同様に主役を優先してもよい。すなわち、主役以外が笑っても本撮影命令を発行せず、主役が笑ったタイミングでこれを発行する。
【0102】
図19を参照して、フラグ制御タスク(II)が起動されると、ステップS121で変数iに“1”をセットした後、ステップS123でVsyncの発生を待つ。Vsyncが発生すると、ステップS125に進んで、顔iの画像から特定部分の画像を切り出す。そして、切り出した画像に笑顔の特徴があるか否かをステップS127で判別し、YESであればステップS129でフラグSiをオンする一方、NOであればステップS131でフラグSiをオフする。そして、ステップS133で変数iをリンクリメントした後、変数iが顔数を上回ったか否かをステップS135で判別し、YESであればステップS121に、NOであればステップS125にそれぞれ戻って同様の処理を繰り返す。なお、ステップS127の判別は、特にたとえば、顔上の口形が顔辞書データ72とマッチングするか否かに基づいて行うことができる。
【0103】
図20〜図24の各処理は、笑顔記録Iモードの場合と同様であり、説明を省略する。
【0104】
なお、他の実施例では、静止画記録は、スルー撮影中に限らず、動画記録中に行ってもよい。ただしこの場合、静止画の記録サイズ(解像度)は、動画のそれと同一となる。たとえば、動画をスルー画と同じサイズで記録するモードでは、YUV画像エリア30bの画像データが記録画像エリア30cに複製される。記録画像エリア30cはたとえば60フレーム相当の容量を有しており、記録画像エリア30cが満杯になると、その中で最古のフレームの画像データがYUV画像エリア30bからの最新の画像データで上書きされていく。したがって動画像エリアには常時、直近60フレームの画像データが格納されている。
【0105】
キー入力装置26によって動画記録開始操作が行われると、CPU24は、I/F36に動画記録処理を命令し、I/F36はメモリ制御回路28を通して動画像エリアから周期的に読み出しを行い、読み出された画像データを含む動画ファイルを記録媒体38に作成する。このような動画記録処理は、キー入力装置26による終了操作に応答して終了される。
【0106】
動画記録処理の実行中に静止画記録操作(シャッタボタン26shの押下)が行われると、CPU24は、I/F36は、記録画像エリア30cに格納された画像データのうちシャッタ押下時点に最も近いフレームの画像データをメモリ制御回路28を通して読み出し、ファイル形式で記録媒体38に記録する。
【0107】
そして、このような動画記録中の静止画記録にも、前述の笑顔記録Iモードおよび笑顔記録IIモードを適用することが可能である。この場合、笑顔記録モードIでは、CPU24は、フレームの指定スマイルエリア内で誰かが笑ったとき、記録画像エリア30cに格納された画像データのうち当該笑顔を含むフレームの画像データをI/F36を通して記録媒体38に記録すればよい。笑顔記録モードIIでは、フレームのどこかで誰かが笑ったとき、記録画像エリア30cに格納された画像データのうち当該笑顔を含むフレームの画像データをI/F36を通して記録媒体38に記録すればよい。
【0108】
また、その他の実施例では、主役および主役以外が図7(A)のような配置になったとき、図25に示すようにフォーカス評価エリアEfcsを指定スマイルエリア内へと強制移動してもよい。この場合、CPU24は、前述した笑顔記録モードIにおいて、図26のようなAFエリア制限タスクをさらに実行する。ステップS221では、フォーカス評価エリアEfcsが指定スマイルエリアの外部に位置するか否かを判別し、NOであれば待機する一方、YESであればステップS223でフォーカス評価エリアEfcsを指定スマイルエリアの内部へと強制移動する。その後ステップS221に戻って同様の処理を繰り返す。これにより、笑顔記録の目標にピントが合う可能性を高めることができる。
【0109】
この点、前述した笑顔記録モードIでは、主役および主役以外が図7(A)のような配置であって、かつ主役および主役以外の遠近差が大きい場合、ピントは主役に合っているので、主役以外については適正な笑顔判定が行われないか、たとえ適正な笑顔判定が行われても記録画像において目標の笑顔がピンボケとなる可能性がある。しかし、フォーカス評価エリアEfcsが顔の動きに追従することを利用して、笑顔記録の目標である顔Fc2をいったん画面中央に配して二重顔枠Frdを顔Fc2上に表示させた後にアングルを変えて図7の構図にもって行くカメラ操作をユーザが行えば、このような可能性は低減される。
【0110】
以上から明らかなように、この実施例のディジタルカメラ10はCPU24を含む。CPU24は、撮像面14f上に結ばれた被写界像をイメージセンサ14を制御して繰り返し捉え(S25,S39,S105,S113)、これにより作成された各被写界画像から顔画像を検出し(S161〜S177)、検出された各顔画像の顔が笑顔であるか否かを判定し(S71〜S97,S121〜S135)、検出された少なくとも1つの顔画像についての判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に作成された被写界画像をI/F36を制御して記録媒体38に記録する(S31,S41,S111,S115)。
【0111】
そしてCPU24は、笑顔記録Iモードでは、キー入力装置26を介したエリア指定操作に応答して各被写界画像にエリアを割り当て(S63)、笑顔であると判定された顔画像と割り当てられたエリアとの位置関係に少なくとも基づいて記録処理の実行を制限する(S33〜S37)。これにより、目標の笑顔を高い確率で記録できる。一方、笑顔記録IIモードでは、このような制限がないので、任意の笑顔を広範囲で記録できる。
【0112】
なお、この実施例では、撮像エリアEpの全域で(すなわち指定スマイルエリアの外部でも)笑顔判定を行っているが、笑顔判定は指定スマイルエリア内だけで行うようにしてもよい。これにより、CPU24の処理負荷が軽減される。
【0113】
また、この実施例では、笑顔判定は、顔の特定部位の変化(口角の上昇など)に基づいて行ったが、これは一例過ぎず、様々な判定方法を用いることができる。たとえば、顔の全体(輪郭線やしわの分布など)および各部位(口角や目じりなど)に注目して笑顔の程度を数値化し、得られた数値に基づいて判定してもよい。
【0114】
なお、この実施例では、笑顔記録IおよびIIの2つの笑顔記録モードを準備したが、単一のモード内で、スマイルエリアを指定した笑顔記録と、スマイルエリアを指定しない(つまり撮像エリアEp全体での)笑顔記録とを使い分けてもよい。以下、このような実施例について説明する。この実施例のハード構成は図1と同様であり、CPU24は、笑顔記録モードが有効化されると図27のような処理を実行する。
【0115】
最初のステップS321でスルー撮影命令を発行した後、ステップS233に進んでキー入力装置26によるエリア指定操作の有無を判別する。ステップS233でYESであれば、ステップS235で指定スマイルエリアの割り当てを行い、その後ステップS233に戻って同様の処理を繰り返す。ステップS233でNOであれば、ステップS239で指定スマイルエリアの解除を行い、その後ステップS233に戻って同様の処理を繰り返す。なお、エリア指定ないし解除操作時にスルー表示を中断する場合には、ステップS235またはS239からステップS231に戻る必要がある。
【0116】
ステップS237でNOであればステップS241に移って、指定スマイルエリアが割り当てられているか否かを判別し、ここでYESであれば指定スマイルエリア内で笑顔検知を行い、NOであれば撮像エリアEpの全域で笑顔検知を行う。なお、ここでいう笑顔検知は、前述した顔検出および笑顔判定を組み合わせた処理に相当する。そして検知結果に基づいて、誰かが笑ったか否かをステップS247で判別し、YESでればステップS249で本撮影命令を発行した後テップS251で記録処理を実行する。ステップS247でNOであればステップS233に戻って同様の処理を繰り返す。
【0117】
以上では、一例として、ディジタルカメラ10について説明したが、この発明は、イメージセンサ(たとえばCCDやCMOSなど)と、イメージセンサの出力に基づく画像を記録媒体(たとえばメモリカード,ハードディスク,光ディスクなど)に記録する記録手段と、ユーザによって操作される操作手段(たとえばキー入力装置やタッチパネルなど)とプロセッサとを備える撮像装置(たとえばディジタルスチルカメラ,ディジタルムービーカメラなど)に適用できる。
【図面の簡単な説明】
【0118】
【図1】この発明の一実施例の構成を示すブロック図である。
【図2】図1実施例に適用されるモード選択画面の一例を示す図解図である。
【図3】図1実施例に適用される顔検出処理の一例を示す図解図である。
【図4】図1実施例に適用されるスマイルエリアの一例を示す図解図である。
【図5】図1実施例に適用されるモニタ画面の一例であって、顔枠およびフォーカス評価エリアの変化を示す図解図であり、(A)は初期状態であり、(B)は顔枠およびフォーカス評価エリアが顔の移動に追従する様子を示し、そして(C)は顔数が複数の場合に主役の顔枠が二重化される様子を示す。
【図6】図1実施例に適用されるモニタ画面の他の一例であって、スマイルエリア内に主役しかいない場合の図解図であり、(A)は初期状態を示し、(B)はスマイルエリア外で笑顔が検知された状態を示し、そして(C)はスマイルエリア内で笑顔が検知された状態を示す。
【図7】図1実施例に適用されるモニタ画面のその他の一例であって、スマイルエリア内に主役以外しかいない場合の図解図であり、(A)は初期状態を示し、(B)はスマイルエリア外で笑顔が検知された状態を示し、そして(C)はスマイルエリア内で笑顔が検知された状態を示す。
【図8】図1実施例に適用されるモニタ画面のさらにその他の一例であって、スマイルエリア内に主役および主役以外の両方がいる場合の図解図であり、(A)は初期状態を示し、(B)はスマイルエリア内で主役以外の笑顔が検知された状態を示し、そして(C)はスマイルエリア内で主役の笑顔が検知された状態を示す。
【図9】図1実施例に適用されるモニタ画面の他の一例であって、スマイルエリアを利用したセルフタイマ的な撮影方法を示す図解図であり、(A)は初期状態を示し、(B)はスマイルエリア外で笑顔が検知された状態を示し、そして(C)はスマイルエリア内で笑顔が検知された状態を示す。
【図10】図1実施例に適用されるメモリマップを示す図解図であり、(A)はSDRAMの構成を示し、(B)はフラッシュメモリの構成を示す。
【図11】図1実施例に適用される顔情報テーブルの一例を示す図解図である。
【図12】図1実施例に適用される顔状態フラグの一例を示す図解図であり、(A)〜(C)は図6(A)〜図6(C)にそれぞれ対応する。
【図13】図1実施例に適用されるCPU動作の一部を示すフロー図である。
【図14】図1実施例に適用されるCPU動作の他の一部を示すフロー図である。
【図15】図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。
【図16】図1実施例に適用されるCPU動作のさらにその他の一部を示すフロー図である。
【図17】図1実施例に適用されるCPU動作の他の一部を示すフロー図である。
【図18】図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。
【図19】図1実施例に適用されるCPU動作のさらにその他の一部を示すフロー図である。
【図20】図1実施例に適用されるCPU動作の他の一部を示すフロー図である。
【図21】図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。
【図22】図1実施例に適用されるCPU動作のさらにその他の一部を示すフロー図である。
【図23】図1実施例に適用されるCPU動作の他の一部を示すフロー図である。
【図24】図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。
【図25】他の実施例に適用されるモニタ画面の一例であって、フォーカス評価エリアをスマイルエリア内に強制移動する様を示す図解図である。
【図26】図25実施例に適用されるCPU動作の一部を示すフロー図である。
【図27】別の実施例に適用されるCPU動作の一部を示すフロー図である。
【符号の説明】
【0119】
10 …ディジタルカメラ
12 …フォーカスレンズ
14 …イメージセンサ
14f …撮像面
20 …カメラ処理回路
22 …フォーカス評価回路
24 …CPU
26 …キー入力装置
42 …キャラクタジェネレータ
【技術分野】
【0001】
この発明は、撮像装置および笑顔記録プログラムに関し、特にたとえば、被写界を繰り返し撮像して、笑顔が検知された後に作成された被写界画像を記録する、撮像装置および笑顔記録プログラムに関する。
【背景技術】
【0002】
この種の撮像装置の一例が、特許文献1に開示されている。この背景技術では、各被写界画像から顔画像を抽出して、顔画像の時系列変化を分析し、顔画像が所定のパターンと一致するタイミングを予測して本画像撮影を行うことで、笑顔検知から本画像撮影までのタイムラグの短縮を図っている。
【特許文献1】特開2007−215064号公報[H04N 5/232, G03B 15/00, G03B 17/38, H04N 101/00]
【発明の開示】
【発明が解決しようとする課題】
【0003】
この種の撮像装置では、被写界内に複数の顔が存在する状況では、ユーザが目標とする笑顔とは異なる笑顔に応答して記録処理が実行されてしまい、目標の笑顔を記録できないことがあった。しかし、背景技術は、この課題を何ら解決するものではない。
【0004】
それゆえに、この発明の主たる目的は、新規な、撮像装置および笑顔記録プログラムを提供することである。
【0005】
この発明の他の目的は、目標の笑顔を高い確率で記録できる、撮像装置および笑顔記録プログラムを提供することである。
【課題を解決するための手段】
【0006】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【0007】
第1の発明は、撮像面上の撮像エリア内に結ばれた被写界像を繰り返し捉える撮像手段、操作手段を介したエリア指定操作に応答して撮像エリア内にスマイルエリアを割り当てる割り当て手段、撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う、笑顔記録手段を備える、撮像装置である。
【0008】
第1の発明である撮像装置(10)では、撮像面(14f)上の撮像エリア(Ep)内に結ばれた被写界像が撮像手段(14,S231,S249)によって繰り返し捉えられる。操作手段(26)を介したエリア指定操作が行われると、割り当て手段(S235)は撮像エリア内にスマイルエリア(Es0〜Es4)を割り当てる。笑顔記録手段(S241〜S247,S251)は、撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う。
【0009】
第1の発明によれば、エリア指定操作によって笑顔記録の実行範囲をスマイルエリア内に制限することで、目標の笑顔が検知される前に目標以外の笑顔によって記録処理が実行される事態を回避できる。この結果、目標の笑顔を記録できる可能性が高まる。エリア指定操作を行わなければ、またはエリア指定操作後に解除操作を行えば、任意の笑顔を広範囲で記録できる。
【0010】
第2の発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、撮像手段によって作成された各被写界画像から顔画像を検出する検出手段、検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する判定手段、検出手段によって検出された少なくとも1つの顔画像についての判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像手段によって作成された被写界画像を記録媒体に記録する記録手段、特定モードで操作手段を介したエリア指定操作に応答して各被写界画像にエリアを割り当てる割り当て手段、および判定手段によって笑顔であると判定された顔画像と割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて記録手段による記録処理の実行を制限する制限手段を備える、撮像装置である。
【0011】
第2の発明である撮像装置(10)では、撮像面(14f)上に結ばれた被写界像が撮像手段(14,S25,S39,S105,S113)によって繰り返し捉えられる。検出手段(S161〜S177)は撮像手段によって作成された各被写界画像から顔画像を検出し、判定手段(S71〜S97,S121〜S135)は検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する。記録手段(36,S31,S41,S111,S115)は、検出手段によって検出された少なくとも1つの顔画像についての判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像手段によって作成された被写界画像を記録媒体(38)に記録する。
【0012】
特定モードで操作手段(26)を介したエリア指定操作が行われると、割り当て手段(S63)が各被写界画像にエリアを割り当て、制限手段(S33〜S37)は、判定手段によって笑顔であると判定された顔画像と割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて、記録手段による記録処理の実行を制限する。
【0013】
第2の発明によれば、特定モードでは、ユーザによって指定されたエリアと検出手段および判定手段によって検知された笑顔との位置関係に基づいて、制限手段が記録手段の記録動作を制限することで、目標の笑顔が検知される前に目標以外の笑顔によって記録処理が実行される事態を回避できる。この結果、目標の笑顔を記録できる可能性が高まる。他のモードでは、このような制限がないので、任意の笑顔を広範囲で記録できる。
【0014】
なお、ある実施例では、撮像手段は、当初スルー撮影を行っており、非笑顔状態から笑顔状態への変化に応じてスルー撮影を中断して本撮影を行い、記録手段は本撮影による被写界画像を記録する。他の実施例では、撮像手段は、当初動画撮影を行ってこれによる複数の被写界画像をメモリ(30c)に記憶しており、非笑顔状態から笑顔状態への変化に応じてメモリ(30c)からいずれかの被写界画像を読み出し、記録手段は読み出された被写界像を記録する。いずれの実施例でも、制限手段が記録手段による記録処理の実行を制限することで、目標の笑顔を高い確率で記録できる。
【0015】
第3の発明は、第2の発明に従属する撮像装置であって、制限手段は、判定手段によって笑顔であると判定された顔画像が割り当て手段によって割り当てられたエリアの内部に位置するとき記録手段による記録処理の実行を許容する一方、判定手段によって笑顔であると判定された顔画像が割り当て手段によって割り当てられたエリアの外部に位置するとき記録手段による記録処理の実行を禁止する(S33)。
【0016】
第3の発明では、記録処理は、エリア外で笑顔が検知されても実行されず、エリア内で笑顔が検知されてはじめて実行される。
【0017】
なお、制限手段は、記録手段による記録処理の実行を、ある実施例では当該記録手段自体を休止させることによって制限するが、他の実施例では判定手段を休止させることによって制限してもよく、これにより処理量が軽減される。または、判定手段の判定結果を無効化することによっても、制限は可能である。
【0018】
第4の発明は、第3の発明に従属する撮像装置であって、検出手段によって検出された顔画像の1つにピントが合うようにフォーカス調整を行うフォーカス調整手段(12,16,S155)をさらに備え、制限手段は、割り当て手段によって割り当てられたエリアの内部にピントの合った顔画像とピントの合っていない顔画像とが存在する場合にはピントの合った顔画像に注目する(S35,S37)。
【0019】
第4の発明では、エリア内にピントの合った顔画像とピントの合っていない顔画像とが混在する場合には、制限手段は、ピントの合った顔画像に注目する、すなわちピントの合っていない顔画像についての判定結果ではなくピントの合った顔画像についての判定結果に基づいて制限を行う。
【0020】
第4の発明によれば、ピントの合った顔画像に注目することで、適正な笑顔判定が行えるので、目標の笑顔を記録できる可能性がいっそう高まる。
【0021】
第5の発明は、第4の発明に従属する撮像装置であって、検出手段によって検出された顔画像のうち割り当て手段によって割り当てられたエリアの内部に位置する顔画像の1つにピントが合うようにフォーカス調整手段が参照するフォーカス評価エリア(Efcs)の位置を制御する制御手段(S221,S223)をさらに備える。
【0022】
ある実施例では、制限手段は、フォーカス調整手段によって参照されるフォーカス評価エリア(Efcs)が割り当て手段によって割り当てられたエリア(指定スマイルエリア)の外部に位置するとき、フォーカス評価エリアを指定スマイルエリアの内部へと強制移動させる。
【0023】
第5の発明によれば、目標の顔にピントが合う可能性が高まり、ひいては目標の笑顔を記録できる可能性がよりいっそう高まる。
【0024】
第6の発明は、第1ないし第6のいずれかの発明に従属する撮像装置であって、エリア指定操作は複数の固定エリア(Es0〜Es4)から1つを指定する操作である。
【0025】
第7の発明は、第6の発明に従属する撮像装置であって、複数の固定エリアは一部が互いに重複している。
【0026】
第7の発明によれば、目標の顔がエリアの境界付近に位置するときのエリア指定操作が容易になる。
【0027】
なお、エリア指定操作は、可変エリアに関して位置,大きさおよび形状の少なくとも1つを指定する操作でもよい。
【0028】
第8の発明は、第1ないし第7のいずれかの発明に従属する撮像装置であって、撮像手段によって作成された各被写界画像に基づくスルー画像をディスプレイ(34)に表示するスルー表示手段(32)、およびエリア指定操作によって指定されたエリアを示す枠画像をディスプレイのスルー画像上に描画する描画手段(42,S57)をさらに備える。
【0029】
第8の発明によれば、エリアを示す枠画像をスルー画像上にオンスクリーン表示することで、画角を調整する操作やエリアを指定する操作が容易になる。
【0030】
なお、ある実施例では、描画手段は、エリア指定操作の開始に応答して枠画像の描画を開始し、エリア指定操作の完了に応答して枠画像の描画を終了する。他の実施例では、描画手段は、枠画像を常時描画し、エリア指定操作の開始および/または完了に応答して枠画像の態様(色,明るさ、線の太さなど)を変化させてもよい。
【0031】
第9の発明は、撮像面(14f)を有するイメージセンサ(14)とイメージセンサの出力に基づく画像を記録媒体(38)に記録する記録手段(36)とユーザによって操作される操作手段(26)とを備える撮像装置(10)のプロセッサ(24)に、撮像面上の撮像エリア(Ep)内に結ばれた被写界像をイメージセンサを制御して繰り返し捉える撮像ステップ(S231、S249)、操作手段を介したエリア指定操作に応答して撮像エリア内にスマイルエリア(Es0〜Es4)を割り当てる割り当てステップ(S235)、および撮像ステップによって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う、笑顔記録ステップ(S241〜S247,251)を実行させるための、笑顔記録プログラムである。
【0032】
第9の発明でも、第1の発明と同様に、エリア指定操作によって目標の笑顔を記録できる可能性が高まる。エリア指定操作を行わなければ、またはエリア指定操作後に解除操作を行えば、任意の笑顔を広範囲で記録できる。
【0033】
第10の発明は、撮像面(14f)を有するイメージセンサ(14)とイメージセンサの出力に基づく画像を記録媒体(38)に記録する記録手段(36)とユーザによって操作される操作手段(26)とを備える撮像装置(10)のプロセッサ(24)に、撮像面上に結ばれた被写界像をイメージセンサを制御して繰り返し捉える撮像ステップ(S25,S39)、撮像ステップによって作成された各被写界画像から顔画像を検出する検出ステップ(S161〜S177)、検出ステップによって検出された各顔画像の顔が笑顔であるか否かを判定する判定ステップ(S87〜S97,S125〜S135)、検出ステップによって検出された少なくとも1つの顔画像についての判定ステップの判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像ステップによって作成された被写界画像を記録手段を制御して記録媒体(38)に記録する笑顔記録ステップ(S31およびS41)、操作手段を介したエリア指定操作に応答して各被写界画像にエリアを割り当てる割り当てステップ(S63)、および判定ステップによって笑顔であると判定された顔画像と割り当てステップによって割り当てられたエリアとの位置関係に少なくとも基づいて笑顔記録ステップによる記録処理の実行を制限する制限ステップ(S33〜S37)を実行させるための、笑顔記録プログラムである。
【0034】
第10の発明でも、第2の発明と同様に、特定モードでは目標の笑顔を記録できる可能性が高まり、他のモードでは任意の笑顔を広範囲で記録できる。
【発明の効果】
【0035】
この発明によれば、目標の笑顔を高い確率で記録できる、撮像装置および笑顔記録プログラムが実現される。
【0036】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【0037】
図1を参照して、この実施例のディジタルカメラ10は、フォーカスレンズ12を含む。被写界の光学像は、フォーカスレンズ12を経てイメージセンサ14の撮像面14fに結像し、ここで光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。
【0038】
電源が投入されると、スルー撮影処理が開始される。このとき、CPU24は、スルー撮影用の露光および電荷読み出しの繰り返しをTG18に命令する。TG18は、撮像面14fの露光動作と、これによって得られた電荷の間引き読み出し動作とを実行するべく、複数のタイミング信号をイメージセンサ14に与える。撮像面14fで生成された電荷の一部は、1/30秒に1回の割合で発生する垂直同期信号Vsyncに応答して、ラスタ走査に従う順序で読み出される。こうして、低解像度(たとえば320*240)の生画像信号が、30fpsのフレームレートでイメージセンサ14から出力される。
【0039】
イメージセンサ14から出力された生画像信号は、カメラ処理回路20によってA/Dなどの処理を施され、ディジタル信号である生画像データに変換される。生画像データは、メモリ制御回路28を通してSDRAM30の生画像エリアに30a(図10(A)参照)に書き込まれる。カメラ処理回路20はその後、生画像エリアに30aに格納された生画像データをメモリ制御回路28を通して読み出し、色分離,YUV変換などの処理を施す。こうして得られたYUV形式の画像データは、メモリ制御回路28を通してSDRAM30のYUV画像エリア30b(図10(A)参照)に書き込まれる。
【0040】
LCD駆動回路32は、YUV画像エリア30bに格納された画像データをメモリ制御回路28通して1/30秒毎に読み出し、読み出された画像データでLCDモニタ34を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がLCDモニタ34に表示される。
【0041】
なお、図示は省略しているが、このようなスルー撮影中、カメラ処理回路20によって生成されたYデータに基づいて被写界の明るさ(輝度)を1/30秒毎に評価する処理が輝度評価回路によって実行されている。CPU24は、輝度評価回路によって求められた輝度評価値に基づいてイメージセンサ14の露光量を調整し、これによってLCDモニタ34に表示されるスルー画像の明るさが適度に調整される。
【0042】
フォーカス評価回路22は、カメラ処理回路20によって生成されたYデータのうち図5(A)等に示すフォーカス評価エリアEfcsに属するYデータを取り込み、取り込まれたYデータの高域周波数成分を積分し、そして積分結果つまりフォーカス評価値を出力する。この一連の処理は、Vsyncに応答して1/30秒毎に実行される。CPU24は、こうして求められたフォーカス評価値に基づいて、いわゆるコンティニュアスAF処理(以下単に「AF処理」と呼ぶ:図21参照)を実行する。フォーカスレンズ12の光軸方向の位置は、CPU24の制御の下でドライバ16によって継続的に変更される。
【0043】
CPU24はまた、SDRAM30に格納されたYUVデータに注目した顔認識処理を実行する。顔認識処理は、人物の目,鼻,口などに相当する顔辞書データ72(図10(B)参照)を注目するYUVデータと照合する一種のパターン認識処理であり、これによって被写界像から人物の顔画像が検出される。
【0044】
詳しくは、図2に示すように、所定サイズ(たとえば80*80)の顔検出枠FDを画像フレーム内の開始位置(左上)に配置して、これをラスタ走査の態様で既定量ずつ移動させつつ、顔検出枠FD内の画像に対して照合処理を施していく。顔検出枠FDが終了位置(画面の右下)に到達すると、これを開始位置に戻して同様の動作を繰り返す。
【0045】
なお、他の実施例では、サイズの異なる複数の顔検出枠を準備して、各画像に対してこれらの顔検出枠による複数の検出処理を順次的または並列的に実行することで、検出精度を向上させてもよい。
【0046】
顔画像が検出されると、CPU24はさらに、その顔画像についてサイズおよび位置を算出し、算出結果を“顔サイズ”および“顔位置”として識別子(ID)と共に顔情報テーブル70に登録する(図10(B),図11参照)。具体的には、顔画像のサイズとして、顔画像を取り囲む矩形の顔枠Fr(図5(A)等参照)の縦横の長さ(画素数)を、顔画像の位置としては顔枠Frの重心座標を、それぞれ用いることができる。IDとしては、たとえば連続番号1,2,…が用いられる。なお、図11には、スルー画像のサイズを320*240とした場合の数値が示されている。
【0047】
検出された顔画像がフォーカス評価エリアEfcsの外部に移動した場合には、CPU24は、フォーカス評価エリアEfcsを顔画像の位置を基準に移動させる(図5(B)参照)。したがって、前述したフォーカス調整処理では、被写界に顔が含まれている場合、主として顔画像が参照される結果となる。
【0048】
CPU24はまた、キャラクタジェネレータ(CG)42を通してLCD駆動回路32を制御することにより、顔枠FrをLCDモニタ34のスルー画像上に描画(オンスクリーン表示)する。現在検出中の顔の数つまり顔情報テーブル70に登録されている顔の数(以下単に「顔数」と呼ぶ)が複数の場合、前述したAF処理によってピントの合った顔画像つまりフォーカス評価エリアEfcs内の顔画像(以下「主役」の顔画像と呼ぶ)については二重の顔枠Frdが、主役以外の顔画像(ピントが合っているとは限らない)については一重の顔枠Frsが、それぞれ描画される(図5(C)参照)。
【0049】
以上のようなスルー撮影中に静止画記録操作(シャッタボタン26shの押下)が行われると、CPU24は、本撮影用の露光および電荷読み出しをTG18に命令する。TG18は、撮像面14fの露光動作と、これによって得られた電荷の全画素読み出し動作とをそれぞれ1回実行するべく、1つのタイミング信号をイメージセンサ14に与える。撮像面14fで生成された全電荷が、ラスタ走査に従う順序で読み出される。こうして、高解像度の生画像信号がイメージセンサ14から出力される。
【0050】
イメージセンサ14から出力された生画像信号は、カメラ処理回路20によって生画像データに変換され、生画像データは、メモリ制御回路28を通してSDRAM30の生画像エリアに30aに書き込まれる。カメラ処理回路20はその後、生画像エリアに30aに格納された生画像データをメモリ制御回路28を通して読み出し、YUV形式の画像データに変換する。YUV形式の画像データは、メモリ制御回路28を通してSDRAM30の記録画像エリア30c(図10(A)参照)に書き込まれる。I/F36は、こうして記録画像エリア30cに書き込まれた画像データをメモリ制御回路28を通して読み出し、ファイル形式で記録媒体38に記録する。
【0051】
キー入力装置26によってモード選択開始操作(セットボタン26stの押下)が行われると、CPU24は、CG42を通してLCD駆動回路32を制御することにより、たとえば図2のようなモード選択画面をLCDモニタ34に表示する。モード選択画面は、通常記録,笑顔記録Iおよび笑顔記録IIといった選択可能なモードを示す文字(他の実施例ではシンボルマークでもよい)を含む。このうち現在選択されているモードを示す文字には、カーソル(下線)が当てられている。キー入力装置26によってモード選択操作(カーソルキー26cの押下)が行われると、画面上のカーソル(下線)が別のモードを示す文字の位置に移動する。所望のモードが選択された状態で決定操作(セットボタン26stの再押下)が行われると、現在選択されているモードが有効化される。
【0052】
笑顔記録モードIが有効化されると、前述と同様のスルー撮影処理が開始される。これに先立って、CPU24は、各画像に対応するフレームに、ユーザが任意に指定したスマイルエリア(以下「指定スマイルエリア」)を割り当てる。この実施例では、図4に示す5つのスマイルエリアEs0〜Es4から指定された1つが割り当てられる。指定スマイルエリアのデフォルトは、中央のスマイルエリアEs0である。なお、他の実施例では、現時点でフォーカス評価エリアEfcsを含むようなスマイルエリアをデフォルトとしてもよい。
【0053】
図4のスマイルエリアEs0〜Es4は、イメージセンサ14(撮像面14f)の撮像エリアEp内に、次の要領で配置される。すなわち、CPU24は、フレームを16*16=256分割して、(4,4)〜(11,11)で示される中央の矩形領域にスマイルエリアEs0を、(7,1)〜(8,14)で示される右上の矩形領域にスマイルエリアEs1を、(1,1)〜(8,8)で示される左上の矩形領域にスマイルエリアEs2を、(1,7)〜(8,14)で示される左下の矩形領域にスマイルエリアEs3を、そして(7,7)〜(14,14)で示される右下の矩形領域にスマイルエリアEs4を、それぞれ配置する。
【0054】
したがって、この実施例のスマイルエリアEs0〜Es4は、互いに一部が重複している。他の実施例では、5つのスマイルエリアEs0〜Es4をフレーム内に隙間なく配置しも、間隔を置いて配置してもよい。
【0055】
また、エリア数も5とは限らない。エリア数が多いほど目標の笑顔を記録できる可能性は高まるが、たとえば、エリア毎に表示色を変える場合、利用可能な色数の制限などのために、エリア数は4以下となることもある。他の実施例では、図4のスマイルエリアEs0〜Es4から中央のものを除いた4つのスマイルエリアEs1〜Es4だけを用いてもよい。その他の実施例では、ただ1つのスマイルエリアEs0を用いてもよい。
【0056】
また、各エリアの形状も矩形とは限らず、円形や正多角形といった他の形状でもよい。異なる形状および/または異なるサイズのエリアがフレーム内に混在してもよい。
【0057】
指定スマイルエリアは、笑顔記録モードIでスルー撮影中に次の要領で変更される。キー入力装置26によってエリア指定開始操作(セットボタン26stの押下)が行われると、CPU24は、CG42を通してLCD駆動回路32を制御することにより、現時点の指定スマイルエリアをオンスクリーン表示する。現時点の指定スマイルエリアが画面中央のスマイルエリアEs0であれば、スマイルエリアEs0が表示される(図6(A)等参照)。続いて、キー入力装置26によってエリア指定操作(カーソルキー26cの押下)が行われると、オンスクリーン表示は新たな指定スマイルエリアに更新される。
【0058】
なお、図6(A)等の画面では、指定スマイルエリアの輪郭線を表示しているが、有色半透明のエリア画像を表示しても、エリア内の被写界画像に対して色調や輝度を変化させる処理を施しても、ユーザに指定スマイルエリアを視認させることができる。また、スマイルエリアEs0〜Es4は、便宜上互いに異なる線種で描画されているが、互いに異なる色で描画してもよい。さらには、線種および色の組み合わせで各エリアを識別してもよい。
【0059】
また、この実施例では、指定スマイルエリアだけを表示しているが、他の実施例では、セットボタン26stの押下に応答して、5つのスマイルエリアEs0〜Es4をそれぞれ示す5つの輪郭線を互いに異なる色で同時に表示し、そのうち指定スマイルエリアに該当する輪郭線だけを強調してもよい。
【0060】
CPU24はまた、CG42を通してLCD駆動回路32を制御することにより、図6(A)等に示されるようなスマイルマークSmを画面の一隅にオンスクリーン表示する。図6(A)の画面では、スマイルマークSmの横に一時停止マークWmがさらに表示されているが、これは笑顔記録処理が一時停止されていることを示すもので、同処理が再開されると画面から消去される(図24参照)。
【0061】
なお、スマイルマークSmは、後述する笑顔記録モードIIでも表示される。他の実施例では、笑顔記録モードIおよびIIでスマイルマークSmの態様(色や形状など)を互いに異ならせてもよい。
【0062】
CPU24はまた、ただ1つの顔画像が検出されている状態では、この顔画像の特定部分たとえば口角に注目して、そこに笑顔の特徴があるか否かを繰り返し判別する。そして、笑顔の特徴ありと判別すると、その顔位置が指定スマイルエリアの内部であるか否かをさらに判別し、顔位置がエリア内であれば本撮影命令を発行して記録処理を実行する一方、顔位置がエリア外であれば本撮影命令の発行を見合わせる。したがって、指定スマイルエリア内で笑顔が検知されなければ、記録処理は実行されない。
【0063】
CPU24はまた、複数の顔画像が検出されている状態では、各顔画像について笑顔の特徴があるか否かを繰り返し判別する。いずれかの顔画像で笑顔の特徴ありと判別すると、その顔位置が指定スマイルエリアの内部であるか否かをさらに判別し、笑顔がエリア内にあれば、それが主役であるか否かをさらに判別して、主役であれば本撮影処理および記録処理を実行する。笑顔が主役でなければ、指定スマイルエリアの内部に主役が存在するか否かをさらに判別し、エリア内に主役が存在しなければ本撮影処理および記録処理を実行する。一方、笑顔の顔位置がエリア外であれば、本撮影命令の発行を見合わせる。また、笑顔の顔位置がエリア内にあっても、それが主役以外でかつエリア内に主役が存在していれば、本撮影命令の発行を見合わせる。
【0064】
したがって、指定スマイルエリア内で誰かの笑顔が検知されなければ、記録処理は実行されない。そして、指定スマイルエリア内に主役と主役以外とが混在する場合には、主役の笑顔が優先される。言い換えると、記録処理は、指定スマイルエリア内で主役が笑ったときか、指定スマイルエリア内に主役以外しかいない状態でその中の誰かが笑ったときに限って実行される。以下、顔数が2の場合について、図6〜図8により説明する。
【0065】
図6には、顔数が2であり、指定スマイルエリアが中央のスマイルエリアEs0であり、そしてこのスマイルエリアEs0の内部に主役の顔Fc1しかない場合の、画面変化の一例が示される。顔Fc1は画面の中ほどに、顔Fc2は画面左下にそれぞれ位置しており、画面の中心に近い方の顔Fc1が主役に選ばれる。主役の顔Fc1の周りには二重の顔枠Frdが、主役以外の顔Fc2の周りには一重の顔枠frsが、それぞれ描画される。
【0066】
図6(A)の時点では、2つの顔Fc1およびFc2のどちらも笑っていない。この後、図6(B)のように顔Fc2が笑ったとすると、この笑顔はスマイルエリアEs0の外部に位置するので、このタイミングで記録処理が実行されることはない。一方、図6(C)のように顔Fc1が笑ったとすると、この笑顔はスマイルエリアEs0の内部に位置するので、このタイミングで記録処理が実行される。
【0067】
図7には、顔数が2であり、指定スマイルエリアが左下のスマイルエリアEs3であり、そしてこのスマイルエリアEs3の内部に主役以外の顔Fc2しかない場合の、画面変化の一例が示される。2つの笑顔Fs1およびFs2の位置関係ならびに二重の顔枠Frdおよび一重の顔枠Frsの配置は、図6と同様である。
【0068】
図7(A)の時点では、2つの顔Fc1およびFc2のどちらも笑っていない。この後、図7(B)のように顔Fc1が笑ったとすると、この笑顔はスマイルエリアEs3の外部に位置するので、このタイミングで記録処理が実行されることはない。一方、図7(C)のように顔Fc2が笑ったとすると、この笑顔はスマイルエリアEs3の内部に位置するので、このタイミングで記録処理が実行される。
【0069】
図8には、顔数が2であり、指定スマイルエリアが中央のスマイルエリアEs0であり、そしてこのスマイルエリアEs0の内部に主役の顔Fc1および主役以外の顔Fc2がどちらもある場合の、画面変化の一例が示される。この画面では、顔Fc1および顔Fc2のどちらも画面中央付近に位置するが、前者の方が画面中央により近いので、二重の顔枠Frdは顔Fc1側に、一重の顔枠Frsは顔Fc2側にそれぞれ配される。
【0070】
図8(A)の時点では、2つの顔Fc1およびFc2のどちらも笑っていない。この後、図8(B)のように顔Fc2が笑ったとすると、この笑顔は主役以外なので、このタイミングで記録処理が実行されることはない。一方、図8(C)のように顔Fc2が笑ったとすると、この笑顔は主役なので、このタイミングで記録処理が実行される。
【0071】
このような笑顔記録モードIの特徴的な利用方法として「セルフタイマ的な撮影」がある。撮影者は、自分の立ち位置を想定して、その内部に自分の顔しか存在しないようなスマイルエリアを指定した後、想定位置へと移動して笑うことにより、自分の笑顔を確実に記録できる。具体例を図9に示す。
【0072】
図9(A)では、画面中央の右寄りに自分以外の顔Fc1があり、撮影者は自分の立ち位置を想定して左上のスマイルエリアEs2を指定する。顔Fc1は、このスマイルエリアEs2の外部にあり、笑顔ではない。この後、撮影者が想定位置へと移動すると、スマイルエリアEs2内に撮影者自身の顔Fc2が登場する。顔Fc2もまた、笑顔ではない。2つの顔Fc1およびFc2では、前者の方が画面中央により近いので、顔Fc1の方が主役となる。
【0073】
この後、図9(B)に示すように、顔Fc1が笑ったとする。しかし、顔Fc1はスマイルエリアEs2の外部にあるので、記録処理は実行されない。一方、図9(C)のように顔Fc2が笑えば、これはスマイルエリアEs2の内部にあるので、記録処理が実行される。こうして、撮影者は、自分自身が被写界内に入って、記録処理の実行タイミングを任意に決定できる。
【0074】
なお、上記と同様の撮影を次に説明する笑顔記録モードIIで行えば、自分以外(図9では顔Fc1)の笑顔で記録処理が実行される場合がある。
【0075】
笑顔記録モードIIが有効化されると、前述と同様のスルー撮影処理が開始される。CPU24は、1つまたは複数の顔画像が検出されている状態では、各顔画像の特定部分たとえば口角に注目して、そこに笑顔の特徴があるか否かを繰り返し判別する。そして、いずれかの顔画像で笑顔の特徴ありと判別すると、本撮影命令を発行して記録処理を実行する。
【0076】
このように、笑顔記録モードIIが笑顔記録モードIと異なるのは、笑顔記録を指定スマイルエリア内に制限せずに全画面で実行する点であり、顔検出および笑顔判定の各処理は笑顔記録モードIの場合と同様でよい。
【0077】
以上のような笑顔記録動作は、CPU24が図1に示される各ハードウェア要素を制御して、図13に示すモード選択タスクと、図14に示す笑顔記録Iモード専用のメインタスク(以下「メインタスク(I)」のように略記することがある:他のタスクでも同様)と、図15に示す笑顔記録Iモード専用のスマイルエリア制御タスクと、図16および図17に示す笑顔記録Iモード専用のフラグ制御タスクと、図18に示す笑顔記録IIモード専用のメインタスクと、図19に示す笑顔記録IIモード専用のフラグ制御タスクと、図20に示すI・IIモード共用の一時停止タスクと、図21に示すI・IIモード共用のAFタスクと、図22に示すI・IIモード共用の顔検出タスクと、図23に示すI・IIモード共用の顔枠制御タスクと、図24に示すI・IIモード共用のマーク制御タスクとを実行することによって実現される。なお、CPU24は、マルチタスクOSの制御下で、これら10個のタスクのうち2つまたは3つ以上を並列的に処理することができる。
【0078】
これら10個のタスクに対応する10個のプログラム50〜68は、フラッシュメモリ40のプログラムエリア40a(図10(B)参照)に格納される。フラッシュメモリ40のデータエリア40bには、前述の顔情報テーブル70および顔辞書データ72に加え、現時点の指定スマイルエリア(Es0〜Es4のいずれか)を示す指定スマイルエリア識別子74と、スマイルエリア制御タスク(図15参照)および一時停止タスク(図20参照)によってオン/オフされる待機フラグ(W)76と、フラグ制御タスク(図16および図19参照)によってオン/オフされる顔状態フラグ(A1,A2,…,P1,P2,…,S1,S2,…)78とがさらに記憶される。
【0079】
ここで、顔状態フラグの一種である“A”は、その顔画像の位置が指定スマイルエリアの内部にあるか外部にあるかを示すフラグであり、オンが内部に、オフが外部に対応する。顔状態フラグの他の一種である“P”は、その顔画像が主役であるか主役以外であるかを示すフラグであり、オンが主役に、オフが主役以外に対応する。顔状態フラグのその他の一種である“S”は、その顔画像が笑顔であるか笑顔以外であるか(後者の状態を適宜「非笑顔」と呼ぶ)を示すフラグであり、オンが笑顔に、オフが非笑顔に対応する。各種フラグの添え字1,2,…は、顔画像を識別するIDである。
【0080】
たとえば、図6(A)の2つの顔画像Fc1およびFc2の状態は、これらの顔状態フラグによって図12(A)のように記述される。同様に、図6(B)の2つの顔画像Fc1およびFc2の状態は図12(B)のように記述され、図6(C)の2つの顔画像Fc1およびFc2の状態は図12(C)のように記述される。
【0081】
まず図13を参照して、キー入力装置26のメニューキー(図示せず)が押下されると、CPU24は、ステップS1でCG42およびLCD駆動回路32を制御して、図2のようなメニュー画面をLCDモニタ34に表示する。次に、ステップS3でカーソルキー26cおよびSETキー26stの操作によって“笑顔記録I”が選択されたか否かを判別し、YESであれば笑顔記録Iモードを有効化する。ステップS3でNOであれば、ステップS5で“笑顔記録II”が選択されたか否かを判別し、YESであれば笑顔記録IIモードを有効化する。ステップS5でNOであれば、ステップS7で他の記録モードたとえば“通常記録モード”が選択されたか否かを判別し、YESであれば当該記録モードを有効化する。ステップS7でNOであれば、ステップS9でキャンセル操作が行われたか否かを判別し、YESであればメニューキー押下直前のモードに戻る。ステップS9でNOであれば、ステップS3に戻って同様の処理を繰り返す。
【0082】
まず、笑顔記録Iモードについて説明する。笑顔記録Iモードが有効化されると、まずメインタスク(I)が起動され、CPU24はこれに対応するフロー(図14参照)の実行を開始する。図14を参照して、ステップS21では、フラグWに“0”がセットされる。ステップS23では、スマイルエリア制御タスク(I),フラグ制御タスク(I),一時停止タスク,AFタスク,顔検出タスク,顔枠制御タスクおよびマーク制御タスクが起動され、CPU24はさらに、これらに対応するフロー(図15〜図17,図20〜図24参照)の実行を開始する。
【0083】
ステップS25では、スルー撮影命令を発行し、これに応じて前述のスルー撮影処理が開始される。ステップS27では図示しないシグナルジェネレータによってVsyncが発生されたか否かを判別し、NOであれば待機する。ステップS27でYESであれば、ステップS29でフラグWが“0”であるか否かを判別し、NOであればステップS27に戻る。ステップS29でYESであれば、ステップS31に移って、誰かが笑ったか否かを顔状態フラグ78のうちフラグS1,S2,…の状態変化に基づいて判別し、ここでNOであればステップS27に戻る。
【0084】
フラグS1,S2,…のいずれかがオフ状態からオン状態に変化すると、ステップS31でYESと判別し、ステップS33に進む。ステップS33では、この新たな笑顔(顔IDを“m”とする)は指定スマイルエリアの内部に位置するか否かを、顔状態テーブル70(図11参照)に登録された顔mの位置および指定スマイルエリア識別子74に基づいて判別し、NOであればステップS27に戻る。なお、CPU24は、図4に示された各スマイルエリアEs0〜Es4の画面上での位置を認識している。
【0085】
ステップS33でYESであれば、ステップS35に移って、当該笑顔は主役のものであるか否かを顔状態フラグ78のうちフラグPmに基づいて判別する。ステップS35でYESであれば、ステップS39で本撮影命令を発行した後、ステップS41でI/F36を制御して記録処理を実行する。したがって、当該笑顔が指定スマイルエリア内にあってかつ主役のものであれば、当該笑顔を含む静止画像が記録媒体38に記録される。
【0086】
ステップS35でNOであれば、ステップS37で指定スマイルエリア内に主役の顔があるか否かを顔状態フラグ78に基づいて判別し、NOであれば上述のステップS39およびS41が実行される。顔状態フラグ78を参照してフラグAがオンかつフラグPがオンかつフラグSがオフの顔があれば、ステップS37でYESと判別し、ステップS27に戻る。したがって、当該笑顔が指定スマイルエリア内にあってかつ主役以外のものであれば、そのとき指定スマイルエリア内に主役の顔がない場合に限って記録処理が実行される。そのとき指定スマイルエリア内に主役の顔がある場合には、記録処理は、後に主役の顔が笑顔となった時点で実行される。
【0087】
図15を参照して、スマイルエリア制御タスク(I)が起動されると、ステップS51で指定スマイルエリア識別子74にデフォルト(この実施例ではスマイルエリア“Es0”)をセットする。なお、他の実施例では、AFタスク(図21参照)によっていずれかの顔画像にピントが合うのを待って、当該顔画像を含むスマイルエリアをデフォルトとしてもよい。
【0088】
ステップS53では、セットボタン26stが押されたか否かを判別し、NOであれば待機する。ステップS53でYESであれば、ステップS55に進んでフラグWに“1”をセットした後、ステップS57でCG42等を制御して指定スマイルエリアをLCDモニタ34に表示する。たとえば、指定スマイルエリア識別子74が“Es0”であればスマイルエリアEs0が表示され(図6(A)参照)、“Es3”であればスマイルエリアEs3が表示される(図7(A)参照)。
【0089】
ステップS59では、カーソルキー26cが操作されたか否かを判別し、ここでNOであればステップS61でセットボタン26stが押下されたか否かをさらに判別し、ここでもNOであればステップS57に戻って同様の処理を繰り返す。ステップS59でYESであれば、ステップS63に進んで指定スマイルエリア識別子74の値を更新し、その後ステップS57に戻って同様の処理を繰り返す。ステップS61でYESであれば、ステップS65に進んで指定スマイルエリアをモニタ画面から消去し、さらにステップS67でフラグWに“0”をセットした後、ステップS53に戻って同様の処理を繰り返す。
【0090】
図16および図17を参照して、フラグ制御タスク(I)が起動されると、ステップS71で変数iに“1”をセットした後、ステップS73でVsyncの発生を待つ。Vsyncが発生すると、ステップS75に進んで、顔iが指定スマイルエリア内であるか否かを顔情報テーブル70および指定スマイルエリア識別子74に基づいて判別する。この判別結果がYESであればステップS77でフラグAiをオンし、NOであればステップS79でフラグAiをオフする。そしてステップS81で、顔iが主役であるか否かをさらに判別する。
【0091】
AFタスクの結果として顔iにピントが合っていれば(すなわち顔iが二重顔枠で囲まれていれば)、ステップS81でYESと判別し、ステップS83でフラグPiをオンした後、ステップS87に進む。ステップS81でNOであれば、ステップS85でフラグPiをオフした後ステップS87に進む。ステップS87では、顔iの画像から特定部分(たとえば口角や目じりなど)の画像を切り出す。そして、切り出した画像に笑顔の特徴があるか否か(たとえば口角が上がったか否か,目じりにしわが現れたか否かなど)をステップS89で判別し、YESであればステップS91でフラグSiをオンする一方、NOであればステップS93でフラグSiをオフする。そして、ステップS95で変数iをリンクリメントした後、変数iが顔数を上回ったか否かをステップS97で判別し、YESであればステップS71に、NOであればステップS75にそれぞれ戻って同様の処理を繰り返す。なお、ステップS89の判別は、特にたとえば、顔上の口形が顔辞書データ72とマッチングするか否かに基づいて行うことができる。
【0092】
図20を参照して、一時停止タスクが起動されると、ステップS141でシャッタボタン26stが押下されたか否かを判別し、NOであれば待機する。ステップS141でYESであれば、ステップS143でフラグWに“1”をセットする。その後ステップS145に進み、シャッタボタン26stが押下されたか否かを判別して、NOであれば待機する。ステップS145でYESであれば、ステップS147でフラグWに“0”をセットした後、ステップS141に戻って同様の処理を繰り返す。
【0093】
図21を参照して、AFタスクが起動されると、ステップS151でVsyncの発生を待った後、現時点のフォーカス評価値がAF起動条件を満足したか否かをステップS153で判別する。ここでNOであればステップS151に戻って同様の処理を繰り返す。ステップS153でYESであれば、ステップS155に進んでAF処理を実行する。なお、AF処理では、顔数が複数の場合、顔枠制御タスクのステップS187(図23参照:後述)で決定された主役の顔に注目したフォーカス調整が行われ、主役の顔にピントが合う結果となる。調整が完了すると、ステップS151に戻って同様の処理を繰り返す。
【0094】
図22を参照して、顔検出タスクが起動されると、ステップS161で顔情報テーブル70(図11参照)を初期化する。次に、ステップS163で顔検出枠FDを開始位置(たとえば画面左上:図3参照)に配置した後、ステップS165でVsyncの発生を待ち、Vsyncが発生するとステップS167に進んで、被写界画像から顔検出枠内FDの画像を切り出す。そしてステップS169で、切り出した画像と顔辞書データ72との照合処理を実行し、照合結果が適合を示すか否かをステップS171で判別する。ステップS171でNOであればステップS167に戻って同様の処理を繰り返し、YESであればステップS173で当該顔に関する顔情報(ID,位置およびサイズ)を顔情報テーブル70に記述する。その後、未照合部分の有無をステップS175で判別し、YESであればステップS177で顔検出枠FDを図3の要領で1ステップ移動させた後、ステップS167に戻って同様の処理を繰り返す。顔検出枠FDが画面の右下に到達していれば、ステップS175でNOと判別し、ステップS163に戻って同様を繰り返す。
【0095】
図23を参照して、顔枠制御タスクが起動されると、ステップS181でVsyncの発生を待った後、顔が検出されたか否かをステップS183で顔情報テーブル70に基づいて判別し、NOであればステップS181に戻って同様の処理を繰り返す。顔情報テーブル70に少なくとも1つの顔が登録されていれば、ステップS183でYESと判別し、ステップS185に進んで顔数が複数であるか否かをさらに判別する。ステップS185でYESであればステップS187を経てステップS189に進む一方、NOであればステップS187をスキップしてステップS189に進む。
【0096】
ステップS187では、各顔の位置関係に基づいて主役を決定する。ここでは、画面内でその中心点から各顔画像までの距離を計算し、計算結果が最小の顔画像を主役とする。他の実施例では、さらにディジタルカメラ10から各顔までの距離を計測し、たとえば最も遠い顔および最も近い顔を主役候補から除外するなど、計測結果も考慮して主役を決定してよい。ステップS189では、CG42等を制御して各顔の輪郭に沿う顔枠Frを表示する(図5(A)等参照)。顔数が複数の場合には、主役の顔に二重の顔枠Frdが、主役以外の顔には一重の顔枠Frsが割り当てられる(図5(C)等参照)。顔枠表示後、ステップS181に戻って同様の処理を繰り返す。
【0097】
図24を参照して、マーク制御タスクが起動されると、ステップS201でVsyncの発生を待った後、CG42等を制御して笑顔マークSm(図6(A)等参照)を表示する。そしてステップS205に進み、フラグWが“1”であるか否かを判別する。ステップS205でYESであれば、ステップS207でさらに中断マークWmを表示し、ステップS205でNOであれば、ステップS209で中断マークWmをモニタ画面から消去する。ステップS205またはS207の実行後、ステップS201に戻って同様の処理を繰り返す。
【0098】
次に、笑顔記録IIモードについて説明する。笑顔記録IIモードが有効化されると、まずメインタスク(II)が起動され、CPU24はこれに対応するフロー(図18参照)の実行を開始する。図18を参照して、ステップS101では、フラグWに“0”がセットされる。ステップS103では、フラグ制御タスク(II),一時停止タスク,AFタスク,顔検出タスク,顔枠制御タスクおよびマーク制御タスクが起動され、CPU24はさらに、これらに対応するフロー(図19,図20〜図24参照)の実行を開始する。
【0099】
ステップS105では、スルー撮影命令を発行し、これに応じてスルー撮影処理が開始される。ステップS107ではVsyncが発生されたか否かを判別し、NOであれば待機する。ステップS107でYESであれば、ステップS109でフラグWが“0”であるか否かを判別し、NOであればステップS107に戻る。ステップS109でYESであれば、ステップS111に移って、誰かが笑ったか否かをフラグS1,S2,…の状態変化に基づいて判別し、ここでNOであればステップS107に戻る。
【0100】
フラグS1,S2,…のいずれかがオフ状態からオン状態に変化すると、ステップS111でYESと判別し、ステップS113に進んで本撮影命令を発行する。その後、ステップS41に進み、I/F36を制御して記録処理を実行する。したがって、画面内で誰かが笑えば、当該笑顔を含む静止画像が記録媒体38に記録される。記録後、ステップS105に戻って同様の処理を繰り返す。
【0101】
なお、他の実施例では、笑顔記録モードIの場合と同様に主役を優先してもよい。すなわち、主役以外が笑っても本撮影命令を発行せず、主役が笑ったタイミングでこれを発行する。
【0102】
図19を参照して、フラグ制御タスク(II)が起動されると、ステップS121で変数iに“1”をセットした後、ステップS123でVsyncの発生を待つ。Vsyncが発生すると、ステップS125に進んで、顔iの画像から特定部分の画像を切り出す。そして、切り出した画像に笑顔の特徴があるか否かをステップS127で判別し、YESであればステップS129でフラグSiをオンする一方、NOであればステップS131でフラグSiをオフする。そして、ステップS133で変数iをリンクリメントした後、変数iが顔数を上回ったか否かをステップS135で判別し、YESであればステップS121に、NOであればステップS125にそれぞれ戻って同様の処理を繰り返す。なお、ステップS127の判別は、特にたとえば、顔上の口形が顔辞書データ72とマッチングするか否かに基づいて行うことができる。
【0103】
図20〜図24の各処理は、笑顔記録Iモードの場合と同様であり、説明を省略する。
【0104】
なお、他の実施例では、静止画記録は、スルー撮影中に限らず、動画記録中に行ってもよい。ただしこの場合、静止画の記録サイズ(解像度)は、動画のそれと同一となる。たとえば、動画をスルー画と同じサイズで記録するモードでは、YUV画像エリア30bの画像データが記録画像エリア30cに複製される。記録画像エリア30cはたとえば60フレーム相当の容量を有しており、記録画像エリア30cが満杯になると、その中で最古のフレームの画像データがYUV画像エリア30bからの最新の画像データで上書きされていく。したがって動画像エリアには常時、直近60フレームの画像データが格納されている。
【0105】
キー入力装置26によって動画記録開始操作が行われると、CPU24は、I/F36に動画記録処理を命令し、I/F36はメモリ制御回路28を通して動画像エリアから周期的に読み出しを行い、読み出された画像データを含む動画ファイルを記録媒体38に作成する。このような動画記録処理は、キー入力装置26による終了操作に応答して終了される。
【0106】
動画記録処理の実行中に静止画記録操作(シャッタボタン26shの押下)が行われると、CPU24は、I/F36は、記録画像エリア30cに格納された画像データのうちシャッタ押下時点に最も近いフレームの画像データをメモリ制御回路28を通して読み出し、ファイル形式で記録媒体38に記録する。
【0107】
そして、このような動画記録中の静止画記録にも、前述の笑顔記録Iモードおよび笑顔記録IIモードを適用することが可能である。この場合、笑顔記録モードIでは、CPU24は、フレームの指定スマイルエリア内で誰かが笑ったとき、記録画像エリア30cに格納された画像データのうち当該笑顔を含むフレームの画像データをI/F36を通して記録媒体38に記録すればよい。笑顔記録モードIIでは、フレームのどこかで誰かが笑ったとき、記録画像エリア30cに格納された画像データのうち当該笑顔を含むフレームの画像データをI/F36を通して記録媒体38に記録すればよい。
【0108】
また、その他の実施例では、主役および主役以外が図7(A)のような配置になったとき、図25に示すようにフォーカス評価エリアEfcsを指定スマイルエリア内へと強制移動してもよい。この場合、CPU24は、前述した笑顔記録モードIにおいて、図26のようなAFエリア制限タスクをさらに実行する。ステップS221では、フォーカス評価エリアEfcsが指定スマイルエリアの外部に位置するか否かを判別し、NOであれば待機する一方、YESであればステップS223でフォーカス評価エリアEfcsを指定スマイルエリアの内部へと強制移動する。その後ステップS221に戻って同様の処理を繰り返す。これにより、笑顔記録の目標にピントが合う可能性を高めることができる。
【0109】
この点、前述した笑顔記録モードIでは、主役および主役以外が図7(A)のような配置であって、かつ主役および主役以外の遠近差が大きい場合、ピントは主役に合っているので、主役以外については適正な笑顔判定が行われないか、たとえ適正な笑顔判定が行われても記録画像において目標の笑顔がピンボケとなる可能性がある。しかし、フォーカス評価エリアEfcsが顔の動きに追従することを利用して、笑顔記録の目標である顔Fc2をいったん画面中央に配して二重顔枠Frdを顔Fc2上に表示させた後にアングルを変えて図7の構図にもって行くカメラ操作をユーザが行えば、このような可能性は低減される。
【0110】
以上から明らかなように、この実施例のディジタルカメラ10はCPU24を含む。CPU24は、撮像面14f上に結ばれた被写界像をイメージセンサ14を制御して繰り返し捉え(S25,S39,S105,S113)、これにより作成された各被写界画像から顔画像を検出し(S161〜S177)、検出された各顔画像の顔が笑顔であるか否かを判定し(S71〜S97,S121〜S135)、検出された少なくとも1つの顔画像についての判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に作成された被写界画像をI/F36を制御して記録媒体38に記録する(S31,S41,S111,S115)。
【0111】
そしてCPU24は、笑顔記録Iモードでは、キー入力装置26を介したエリア指定操作に応答して各被写界画像にエリアを割り当て(S63)、笑顔であると判定された顔画像と割り当てられたエリアとの位置関係に少なくとも基づいて記録処理の実行を制限する(S33〜S37)。これにより、目標の笑顔を高い確率で記録できる。一方、笑顔記録IIモードでは、このような制限がないので、任意の笑顔を広範囲で記録できる。
【0112】
なお、この実施例では、撮像エリアEpの全域で(すなわち指定スマイルエリアの外部でも)笑顔判定を行っているが、笑顔判定は指定スマイルエリア内だけで行うようにしてもよい。これにより、CPU24の処理負荷が軽減される。
【0113】
また、この実施例では、笑顔判定は、顔の特定部位の変化(口角の上昇など)に基づいて行ったが、これは一例過ぎず、様々な判定方法を用いることができる。たとえば、顔の全体(輪郭線やしわの分布など)および各部位(口角や目じりなど)に注目して笑顔の程度を数値化し、得られた数値に基づいて判定してもよい。
【0114】
なお、この実施例では、笑顔記録IおよびIIの2つの笑顔記録モードを準備したが、単一のモード内で、スマイルエリアを指定した笑顔記録と、スマイルエリアを指定しない(つまり撮像エリアEp全体での)笑顔記録とを使い分けてもよい。以下、このような実施例について説明する。この実施例のハード構成は図1と同様であり、CPU24は、笑顔記録モードが有効化されると図27のような処理を実行する。
【0115】
最初のステップS321でスルー撮影命令を発行した後、ステップS233に進んでキー入力装置26によるエリア指定操作の有無を判別する。ステップS233でYESであれば、ステップS235で指定スマイルエリアの割り当てを行い、その後ステップS233に戻って同様の処理を繰り返す。ステップS233でNOであれば、ステップS239で指定スマイルエリアの解除を行い、その後ステップS233に戻って同様の処理を繰り返す。なお、エリア指定ないし解除操作時にスルー表示を中断する場合には、ステップS235またはS239からステップS231に戻る必要がある。
【0116】
ステップS237でNOであればステップS241に移って、指定スマイルエリアが割り当てられているか否かを判別し、ここでYESであれば指定スマイルエリア内で笑顔検知を行い、NOであれば撮像エリアEpの全域で笑顔検知を行う。なお、ここでいう笑顔検知は、前述した顔検出および笑顔判定を組み合わせた処理に相当する。そして検知結果に基づいて、誰かが笑ったか否かをステップS247で判別し、YESでればステップS249で本撮影命令を発行した後テップS251で記録処理を実行する。ステップS247でNOであればステップS233に戻って同様の処理を繰り返す。
【0117】
以上では、一例として、ディジタルカメラ10について説明したが、この発明は、イメージセンサ(たとえばCCDやCMOSなど)と、イメージセンサの出力に基づく画像を記録媒体(たとえばメモリカード,ハードディスク,光ディスクなど)に記録する記録手段と、ユーザによって操作される操作手段(たとえばキー入力装置やタッチパネルなど)とプロセッサとを備える撮像装置(たとえばディジタルスチルカメラ,ディジタルムービーカメラなど)に適用できる。
【図面の簡単な説明】
【0118】
【図1】この発明の一実施例の構成を示すブロック図である。
【図2】図1実施例に適用されるモード選択画面の一例を示す図解図である。
【図3】図1実施例に適用される顔検出処理の一例を示す図解図である。
【図4】図1実施例に適用されるスマイルエリアの一例を示す図解図である。
【図5】図1実施例に適用されるモニタ画面の一例であって、顔枠およびフォーカス評価エリアの変化を示す図解図であり、(A)は初期状態であり、(B)は顔枠およびフォーカス評価エリアが顔の移動に追従する様子を示し、そして(C)は顔数が複数の場合に主役の顔枠が二重化される様子を示す。
【図6】図1実施例に適用されるモニタ画面の他の一例であって、スマイルエリア内に主役しかいない場合の図解図であり、(A)は初期状態を示し、(B)はスマイルエリア外で笑顔が検知された状態を示し、そして(C)はスマイルエリア内で笑顔が検知された状態を示す。
【図7】図1実施例に適用されるモニタ画面のその他の一例であって、スマイルエリア内に主役以外しかいない場合の図解図であり、(A)は初期状態を示し、(B)はスマイルエリア外で笑顔が検知された状態を示し、そして(C)はスマイルエリア内で笑顔が検知された状態を示す。
【図8】図1実施例に適用されるモニタ画面のさらにその他の一例であって、スマイルエリア内に主役および主役以外の両方がいる場合の図解図であり、(A)は初期状態を示し、(B)はスマイルエリア内で主役以外の笑顔が検知された状態を示し、そして(C)はスマイルエリア内で主役の笑顔が検知された状態を示す。
【図9】図1実施例に適用されるモニタ画面の他の一例であって、スマイルエリアを利用したセルフタイマ的な撮影方法を示す図解図であり、(A)は初期状態を示し、(B)はスマイルエリア外で笑顔が検知された状態を示し、そして(C)はスマイルエリア内で笑顔が検知された状態を示す。
【図10】図1実施例に適用されるメモリマップを示す図解図であり、(A)はSDRAMの構成を示し、(B)はフラッシュメモリの構成を示す。
【図11】図1実施例に適用される顔情報テーブルの一例を示す図解図である。
【図12】図1実施例に適用される顔状態フラグの一例を示す図解図であり、(A)〜(C)は図6(A)〜図6(C)にそれぞれ対応する。
【図13】図1実施例に適用されるCPU動作の一部を示すフロー図である。
【図14】図1実施例に適用されるCPU動作の他の一部を示すフロー図である。
【図15】図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。
【図16】図1実施例に適用されるCPU動作のさらにその他の一部を示すフロー図である。
【図17】図1実施例に適用されるCPU動作の他の一部を示すフロー図である。
【図18】図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。
【図19】図1実施例に適用されるCPU動作のさらにその他の一部を示すフロー図である。
【図20】図1実施例に適用されるCPU動作の他の一部を示すフロー図である。
【図21】図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。
【図22】図1実施例に適用されるCPU動作のさらにその他の一部を示すフロー図である。
【図23】図1実施例に適用されるCPU動作の他の一部を示すフロー図である。
【図24】図1実施例に適用されるCPU動作のその他の一部を示すフロー図である。
【図25】他の実施例に適用されるモニタ画面の一例であって、フォーカス評価エリアをスマイルエリア内に強制移動する様を示す図解図である。
【図26】図25実施例に適用されるCPU動作の一部を示すフロー図である。
【図27】別の実施例に適用されるCPU動作の一部を示すフロー図である。
【符号の説明】
【0119】
10 …ディジタルカメラ
12 …フォーカスレンズ
14 …イメージセンサ
14f …撮像面
20 …カメラ処理回路
22 …フォーカス評価回路
24 …CPU
26 …キー入力装置
42 …キャラクタジェネレータ
【特許請求の範囲】
【請求項1】
撮像面上の撮像エリア内に結ばれた被写界像を繰り返し捉える撮像手段、
操作手段を介したエリア指定操作に応答して前記撮像エリア内にスマイルエリアを割り当てる割り当て手段、
前記撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、前記割り当て手段によって前記スマイルエリアが割り当てられている場合には前記スマイルエリア内で行い、前記割り当て手段によって前記スマイルエリアが割り当てられていない場合には前記撮像エリア内で行う、笑顔記録手段を備える、撮像装置。
【請求項2】
撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、
前記撮像手段によって作成された各被写界画像から顔画像を検出する検出手段、
前記検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する判定手段、
前記検出手段によって検出された少なくとも1つの顔画像についての前記判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像手段によって作成された被写界画像を記録媒体に記録する記録手段、
特定モードで操作手段を介したエリア指定操作に応答して前記各被写界画像にエリアを割り当てる割り当て手段、および
前記判定手段によって笑顔であると判定された顔画像と前記割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて前記記録手段による記録処理の実行を制限する制限手段を備える、撮像装置。
【請求項3】
前記制限手段は、前記判定手段によって笑顔であると判定された顔画像が前記割り当て手段によって割り当てられたエリアの内部に位置する場合には前記記録手段による記録処理の実行を許容する一方、前記判定手段によって笑顔であると判定された顔画像が前記割り当て手段によって割り当てられたエリアの外部に位置する場合には前記記録手段による記録処理の実行を制限する、請求項2記載の撮像装置。
【請求項4】
前記検出手段によって検出された顔画像の1つにピントが合うようにフォーカス調整を行うフォーカス調整手段をさらに備え、
前記制限手段は、前記割り当て手段によって割り当てられたエリアの内部にピントの合った顔画像とピントの合っていない顔画像とが存在する場合にはピントの合った顔画像に注目する、請求項3記載の撮像装置。
【請求項5】
前記検出手段によって検出された顔画像のうち前記割り当て手段によって割り当てられたエリアの内部に位置する顔画像の1つにピントが合うように前記フォーカス調整手段が参照するフォーカス評価エリアの位置を制御する制御手段をさらに備える、請求項4記載の撮像装置。
【請求項6】
前記エリア指定操作は複数の固定エリアから1つを指定する操作である、請求項1ないし5のいずれかに記載の撮像装置。
【請求項7】
前記複数の固定エリアは一部が互いに重複している、請求項6記載の撮像装置。
【請求項8】
前記撮像手段によって作成された各被写界画像に基づくスルー画像をディスプレイに表示するスルー表示手段、および
前記エリア指定操作によって指定されたエリアを示す枠画像を前記ディスプレイのスルー画像上に描画する描画手段をさらに備える、請求項1ないし7のいずれかに記載の撮像装置。
【請求項9】
撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサに、
前記撮像面上の撮像エリア内に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
前記操作手段を介したエリア指定操作に応答して前記撮像エリア内にスマイルエリアを割り当てる割り当てステップ、および
前記撮像ステップによって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、前記割り当て手段によって前記スマイルエリアが割り当てられている場合には前記スマイルエリア内で行い、前記割り当て手段によって前記スマイルエリアが割り当てられていない場合には前記撮像エリア内で行う、笑顔記録ステップを実行させるための、笑顔記録プログラム。
【請求項10】
撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサに、
前記撮像面上に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
前記撮像ステップによって作成された各被写界画像から顔画像を検出する検出ステップ、
前記検出ステップによって検出された各顔画像の顔が笑顔であるか否かを判定する判定ステップ、
前記検出ステップによって検出された少なくとも1つの顔画像についての前記判定ステップの判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像ステップによって作成された被写界画像を前記記録手段を制御して記録媒体に記録する笑顔記録ステップ、
特定モードで前記操作手段を介したエリア指定操作に応答して前記各被写界画像にエリアを割り当てる割り当てステップ、および
前記判定ステップによって笑顔であると判定された顔画像と前記割り当てステップによって割り当てられたエリアとの位置関係に少なくとも基づいて前記笑顔記録ステップによる記録処理の実行を制限する制限ステップを実行させるための、笑顔記録プログラム。
【請求項1】
撮像面上の撮像エリア内に結ばれた被写界像を繰り返し捉える撮像手段、
操作手段を介したエリア指定操作に応答して前記撮像エリア内にスマイルエリアを割り当てる割り当て手段、
前記撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、前記割り当て手段によって前記スマイルエリアが割り当てられている場合には前記スマイルエリア内で行い、前記割り当て手段によって前記スマイルエリアが割り当てられていない場合には前記撮像エリア内で行う、笑顔記録手段を備える、撮像装置。
【請求項2】
撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、
前記撮像手段によって作成された各被写界画像から顔画像を検出する検出手段、
前記検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する判定手段、
前記検出手段によって検出された少なくとも1つの顔画像についての前記判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像手段によって作成された被写界画像を記録媒体に記録する記録手段、
特定モードで操作手段を介したエリア指定操作に応答して前記各被写界画像にエリアを割り当てる割り当て手段、および
前記判定手段によって笑顔であると判定された顔画像と前記割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて前記記録手段による記録処理の実行を制限する制限手段を備える、撮像装置。
【請求項3】
前記制限手段は、前記判定手段によって笑顔であると判定された顔画像が前記割り当て手段によって割り当てられたエリアの内部に位置する場合には前記記録手段による記録処理の実行を許容する一方、前記判定手段によって笑顔であると判定された顔画像が前記割り当て手段によって割り当てられたエリアの外部に位置する場合には前記記録手段による記録処理の実行を制限する、請求項2記載の撮像装置。
【請求項4】
前記検出手段によって検出された顔画像の1つにピントが合うようにフォーカス調整を行うフォーカス調整手段をさらに備え、
前記制限手段は、前記割り当て手段によって割り当てられたエリアの内部にピントの合った顔画像とピントの合っていない顔画像とが存在する場合にはピントの合った顔画像に注目する、請求項3記載の撮像装置。
【請求項5】
前記検出手段によって検出された顔画像のうち前記割り当て手段によって割り当てられたエリアの内部に位置する顔画像の1つにピントが合うように前記フォーカス調整手段が参照するフォーカス評価エリアの位置を制御する制御手段をさらに備える、請求項4記載の撮像装置。
【請求項6】
前記エリア指定操作は複数の固定エリアから1つを指定する操作である、請求項1ないし5のいずれかに記載の撮像装置。
【請求項7】
前記複数の固定エリアは一部が互いに重複している、請求項6記載の撮像装置。
【請求項8】
前記撮像手段によって作成された各被写界画像に基づくスルー画像をディスプレイに表示するスルー表示手段、および
前記エリア指定操作によって指定されたエリアを示す枠画像を前記ディスプレイのスルー画像上に描画する描画手段をさらに備える、請求項1ないし7のいずれかに記載の撮像装置。
【請求項9】
撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサに、
前記撮像面上の撮像エリア内に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
前記操作手段を介したエリア指定操作に応答して前記撮像エリア内にスマイルエリアを割り当てる割り当てステップ、および
前記撮像ステップによって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、前記割り当て手段によって前記スマイルエリアが割り当てられている場合には前記スマイルエリア内で行い、前記割り当て手段によって前記スマイルエリアが割り当てられていない場合には前記撮像エリア内で行う、笑顔記録ステップを実行させるための、笑顔記録プログラム。
【請求項10】
撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサに、
前記撮像面上に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
前記撮像ステップによって作成された各被写界画像から顔画像を検出する検出ステップ、
前記検出ステップによって検出された各顔画像の顔が笑顔であるか否かを判定する判定ステップ、
前記検出ステップによって検出された少なくとも1つの顔画像についての前記判定ステップの判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像ステップによって作成された被写界画像を前記記録手段を制御して記録媒体に記録する笑顔記録ステップ、
特定モードで前記操作手段を介したエリア指定操作に応答して前記各被写界画像にエリアを割り当てる割り当てステップ、および
前記判定ステップによって笑顔であると判定された顔画像と前記割り当てステップによって割り当てられたエリアとの位置関係に少なくとも基づいて前記笑顔記録ステップによる記録処理の実行を制限する制限ステップを実行させるための、笑顔記録プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【公開番号】特開2010−153954(P2010−153954A)
【公開日】平成22年7月8日(2010.7.8)
【国際特許分類】
【出願番号】特願2008−326785(P2008−326785)
【出願日】平成20年12月24日(2008.12.24)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成22年7月8日(2010.7.8)
【国際特許分類】
【出願日】平成20年12月24日(2008.12.24)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]