説明

カメラ

【課題】ユーザの望む自然で良好な表情の写真画像を撮影できるカメラを提供すること。
【解決手段】撮像素子107において撮像され、画像処理回路109において処理された画像における被写体の顔部が顔検出回路113において検出される。顔検出回路113において検出された顔部の画像から被写体の表情を判定するためのR値が算出される。MPU101はR値から被写体の表情の自然さを判定し、被写体の表情や表情の自然さを点数化して表示パネル111に表示させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、見栄えの良い写真を撮影することができるカメラに関する。
【背景技術】
【0002】
近年、ユーザが自身で撮影して得られたデジタルの写真画像を、ネットワークを介して広く公開できるようにしたシステムが各種提案されている。このようなネットワーク上で写真公開ができるシステムにおいては、公開した写真画像が多くの人に見られる可能性があるため、ユーザはなるべくならば見栄えの良い写真画像を撮影して公開したいと考えると思われる。
【0003】
ここで、人物等の顔のある被写体を撮影する場合、見栄えの良い写真画像とは被写体の表情に大きく依存するものであると考えられる。例えば、被写体の表情が笑顔であれば、怒り顔等よりも写真を見た人の感想が良好なものとなると考えられる。このような被写体の表情を判定する技術として、例えば特許文献1では、入力された画像から被写体の顔部の画像を検出し、該顔部の特徴点(目や口等)を抽出してこの特徴点の分布を予め記録してある各種表情における特徴点の分布と比較することで表情を判定している。また、被写体の表情を評価する技術として、例えば特許文献2では、理想の笑顔画像と無表情の顔画像との差から作成される理想笑顔データと顔を含む撮影画像と無表情の顔画像との差から得られる笑顔データとを比較することで笑顔の評価を行うようにしている。
【特許文献1】特開2005−56388号公報
【特許文献2】特開2005−242567号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
ここで、特許文献1及び特許文献2は何れも現時点での被写体の表情を検出するものであり、そのときの被写体の表情が自然なものであるかを判定することはできないため、例えば、被写体の表情がたまたま笑顔に見える表情となった場合であっても、良好な笑顔であると判定される可能性がある。
【0005】
本発明は、上記の事情に鑑みてなされたもので、ユーザの望む自然で良好な表情の写真画像を撮影できるカメラを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明の第1の態様のカメラは、被写体を撮影して画像を取得する撮影部と、上記取得された画像における上記被写体の顔部を検出する顔画像検出部と、複数回の上記撮影によって取得される複数の画像に対して上記顔画像検出部によって検出される上記被写体の顔部の画像の変化から上記被写体の表情の自然さを判定する自然さ判定部とを具備することを特徴とする。
【発明の効果】
【0007】
本発明によれば、ユーザの望む自然で良好な表情の写真画像を撮影できるカメラを提供することができる。
【発明を実施するための最良の形態】
【0008】
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るカメラ100の構成を示すブロック図である。図1に示すカメラ100は、マイクロプロセッシングユニット(MPU)101と、操作部102と、撮影レンズ103と、オートフォーカス(AF)回路104と、絞り機構105と、絞り制御回路106と、撮像素子107と、アナログフロントエンド(AFE)回路108と、画像処理回路109と、表示制御回路110と、表示パネル111と、距離検出回路112と、顔検出回路113と、R値算出回路114と、圧縮/伸張部115と、記録制御部116と、記録メディア117と、補助光発光回路118とを有している。
【0009】
MPU101は、ユーザからの操作部102の操作に応じてカメラ100を構成する各ブロックをシーケンシャルに制御する。操作部102は、カメラ100による撮影を実行させるためのレリーズスイッチや、カメラ100の動作モードを撮影モードや再生モード等の間で切り替えるための切り替えスイッチ等が含まれる。
【0010】
また、MPU101は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。
【0011】
撮影レンズ103は、被写体200からの像を撮像素子107に結像させる。この撮影レンズ103は、オートフォーカス(ピント合わせ)用のレンズを含んでいる。オートフォーカスの際に、MPU101は、ピント合わせレンズのレンズ位置をモニタしつつ、AF回路104を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ103のピント合わせを行う。また、絞り機構105は、撮影レンズ103内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構105は、撮影開始時に絞り制御回路106によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時の絞り機構105の口径を変えることによって、撮影レンズ103の被写界深度が変化する。これによって、背景被写体のぼけ具合等を調整して、撮影時に被写体を浮かび上がらせたり、背景被写体をしっかりと描写したりするなどの表現の切替を行うことができる。
【0012】
撮像素子107は、多数の画素が配列されて構成される受光面を有し、撮影レンズ103を介して受光した被写体200からの像を電気的な信号に変換する。本実施形態においては、撮像素子107にはCCD方式及びCMOS方式の何れを用いても良い。
【0013】
AFE回路108は、CDS回路、ゲイン調整回路、AD変換回路等を含み、撮像素子107において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路109に入力する。また、AFE回路108には、撮像素子107を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、AFE回路108によって、4画素(2×2画素)や9画素(3×3画素)の信号をまとめて読み出し、これら読み出した電気信号を加算することでS/Nを向上させることが出来る。このような処理によって、撮像素子107の見かけ上の感度を上げること等が出来る。
【0014】
さらに、AFE回路108は、撮像素子107からの出力信号を取捨選択する機能も有し、撮像素子107の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することも出来る。一般に、撮像素子107は間引きを行うことで高速で信号を読み出すことが出来る。この機能を利用して、撮像素子107で構図確認用に得られたスルー画像を高速で読み出して画像処理回路109において処理してから表示パネル111に表示すれば、ユーザは表示パネル111上に表示されるスルー画像を利用してフレーミングを行うことが可能である。
【0015】
画像処理回路109は、AFE回路108から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。
【0016】
また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路109は、AFE回路108から入力される画像データを表示パネル111に表示可能なようにリサイズ(縮小)する機能も有する。
【0017】
表示制御回路110は、画像処理回路109で得られた画像データや記録メディア117に記録されている画像データを映像信号に変換し、変換した映像信号に基づいて画像を表示パネル111に表示させる。表示パネル111は液晶表示パネルや有機EL表示パネル等の表示パネルである。また、表示制御回路110は、表示パネル111に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。
【0018】
距離検出回路112は、画像処理回路109によって得られる画像のコントラストを検出する。この距離検出回路112によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、AF回路104によって撮影レンズ103のピント合わせレンズのレンズ位置を変化させながら、距離検出回路112によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ103のピント合わせを行うことができる。
【0019】
顔検出回路113は、画像処理回路109によって得られる画像内の特徴点(例えば、被写体が人物等であれば、目や鼻、口等)の分布から、画像内における被写体の特に顔に相当する部分を検出する。
【0020】
R値算出回路114は、顔検出回路113によって検出される顔画像から被写体の笑顔度を判定するための値であるR値(詳細は後述する)を算出する。なお、R値算出回路114はMPU101とともに自然さ判定部の機能を有する。
【0021】
圧縮/伸張部115は、撮影時に、画像処理回路109において処理された画像データを圧縮する。また、圧縮/伸張部115は記録メディア117に圧縮記録された画像データを伸張する。記録制御部116は、圧縮/伸張部115で圧縮された画像データに付随データを付随させて記録メディア117に記録する。
【0022】
補助光発光回路118は、撮影時の状況に応じて被写体200に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。この補助光発光回路118の動作を、ユーザが操作部102を操作してマニュアルで制御できるようにしても良い。
【0023】
図2は、図1に示すカメラにおける動作の概要について示す図である。撮影前のフレーミング時に、カメラ100は逐次被写体200を撮像してスルー画像を取得し、このスルー画像を逐次表示パネル111に表示させる。
【0024】
本実施形態ではフレーミング時に逐次取得されるスルー画像内における人物の顔部の画像から笑顔度を示すR値を算出するとともに、撮影タイミングにおいて取得される撮影画像からもR値を算出する。そして、フレーミング時のR値と撮影タイミングにおけるR値とを比較し、撮影タイミングにおける笑顔がどの程度自然な笑顔であるかを判定し、この判定した自然さを点数化して撮影画像とともに表示させる。
【0025】
図3は、フレーミング時から撮影タイミングまでのR値の変化例を示す図である。被写体が自然な笑顔となる場合のR値の変化は、図3に示すようにR値の低い無表情からR値の高い笑顔となるまでほぼR値が単調に増加し、撮影タイミング付近でR値が最大となる傾向を有する。これに対し、急に撮影がなされた場合等の無理にカメラを意識して笑顔となるような場合のR値の変化は、撮影タイミングにおけるR値は高い場合もありえるが、撮影タイミング前のR値のばらつきが大きくなる傾向を有する。R値が安定しないということは、あるタイミングでは笑顔に近い表情であり、またあるタイミングでは笑顔ではないということになるため、自然な笑顔が得られているとは言えない。
【0026】
したがって、本実施形態では、撮影前のR値の変化のばらつきが小さい場合に高得点を与え、R値の変化のばらつき大きい場合に低得点を与える。これによって、ユーザは、被写体が驚くような撮影方法をとらない方が良いと分かり、より自然な表情の撮影が可能となる。
【0027】
以下、具体的なカメラの動作について説明する。図4は本一実施形態に係るカメラのメイン動作制御について示すフローチャートである。
【0028】
まず、MPU101はユーザによる操作部102の操作によって撮影指示がなされたか否かを判定する(ステップS1)。ステップS1の判定において、撮影指示がなされていない場合に、MPU101はユーザによる操作部102の操作によって画像の再生指示がなされたか否かを判定する(ステップS2)。ステップS2の判定において、再生指示がなされていない場合に、MPU101は表示パネル111にフレーミング用のスルー画像を表示させるための各種の制御を実行する(ステップS3)。即ち、MPU101は撮像素子107を連続動作させてスルー画像データを逐次取得し、取得したスルー画像データを画像処理回路109において処理してから表示パネル111にスルー画像を表示させる。
【0029】
スルー画像の表示を開始させた後、MPU101は所定時間(ここでは例えば0.1秒)が経過したか否かを判定する(ステップS4)。ステップS4の判定において、0.1秒が経過していない場合にはステップS1に戻り、MPU101は撮影指示がなされたかを再び判定する。一方、ステップS4の判定において、0.1秒が経過した場合に、MPU101は現在時刻tを検出するとともに、顔検出回路113及びR値算出回路114においてR値の算出を開始させる(ステップS5)。現在時刻tの検出及びR値の算出終了後、現在時刻t及びR値は例えばMPU101に設けられるメモリに記憶される。その後、ステップS1に戻る。そして、MPU101は撮影指示がなされたかを再び判定する。
【0030】
ここで、ステップS5のR値算出について説明する。図5は、R値の算出処理の詳細について示すフローチャートである。図5において、まず、R値算出回路114は、顔検出回路113によって検出された顔部の画像における陰影分布から画像内の顔部における目部、口部を検出する(ステップS101)。より具体的には画像のコントラストを強調した状態で画像内において略円形をしている顔部を顔検出回路113によって検出する。そして、R値算出回路114において顔部内の陰影の分布から目部及び鼻部を検出する。
【0031】
ステップS101において目部、鼻部を検出した後、R値算出回路114は、両目の瞳を結ぶ直線Aの上側の白眼部分の面積EA(図6(a)参照)を求める(ステップS102)。次に、R値算出回路114は、両目の瞳を結ぶ直線Aの下側の白眼部分の面積EB(図6(a)参照)を求める(ステップS103)。EA及びEBを求めた後、R値算出回路114は、EAとEBの差をEAとEBの和で正規化した値REを求める(ステップS104)。ここで、笑顔の場合には図6(a)に示すようにEBが0に近くなるため、結果REが大きくなる。逆に困った顔の場合には図6(b)に示すようにEAが0に近くなるため、結果REが小さくなる。したがって、REの大小から良好な表情であるか否かを判定することが可能である。
【0032】
REを求めた後、R値算出回路114は、口の両端を結ぶ直線Bの上側の唇部分の面積LA(図6(b)参照)を求める(ステップS105)。次に、R値算出回路114は、口の両端を結ぶ直線Bの下側の唇部分の面積LB(図6(b)参照)を求める(ステップS106)。LA及びLBを求めた後、R値算出回路114は、LBとLAの差をLAとLBの和で正規化した値RLを求める(ステップS107)。ここで、笑顔の場合には図6(a)に示すようにLAが0に近くなるため、結果RLが大きくなる。逆に困った顔の場合には図6(b)に示すようにLBが小さくなるため、結果RLが小さくなる。したがって、RLの大小からも良好な表情であるか否かを判定することが可能である。
【0033】
RE及びRLを求めた後、R値算出回路114はREとRLの和Rを求める(ステップS108)。このR値は大きいほどそのときの表情は笑顔(良好な表情)に近いものとなる。さらに、図6(a)の矢印Cで示したように口の端部に影があったり、歯が見えていたりすると笑顔の確率が高い。そこで、R値算出回路114は口部分に歯(白部分)が検出され、かつ口端部に影があるか否かを判定する(ステップS109)。ステップS109の判定において、口部分に歯が検出され、かつ口端部に影がある場合に、R値算出回路114はRに1を加算する(ステップS110)。
【0034】
一方、ステップS109の判定において、口部分に歯が検出され、かつ口端部に影がない場合、若しくはステップS110の後、R値算出回路114は眉間部分(目の間部分)に矢印Dで示すような皺があるか否かを判定する(ステップS111)。ステップS111の判定において、眉間部分に皺がある場合に、R値算出回路114はRから1を減算する(ステップS112)。即ち、眉間に皺が検出されるような表情では笑顔とは言えないのでステップS111の判定を行う。
【0035】
以上のようにして求められるR値は笑顔に近いほど高い数値となる。このR値により、画像に写っている被写体の笑顔度を判定することが可能となる。ステップS5における処理は、フレーミング時のスルー画表示中において所定時間毎のR値を検出する処理であり、これによってR値の時間変化を求めることが可能である。
【0036】
ここで、再び図4の説明に戻る。ステップS1の判定において、撮影指示がなされた場合に、MPU101は撮影動作を行うための各種の制御を実行する(ステップS6)。即ち、MPU101は撮影レンズ103のピント調整を実行させた後、絞り機構105を所定の開口まで絞った状態で撮像素子107を動作させ、これによって得られた撮影画像データを画像処理回路109において処理させる。その後、画像処理回路109において処理した撮影画像データを圧縮/伸張部115において圧縮し、この圧縮画像データを記録メディア117に記録させる。
【0037】
次に、MPU101は記録メディア117に記録させた画像データを圧縮/伸張部115によって伸張させ、伸張されて得られた画像データに基づきR値算出回路114によりR値を算出させる(ステップS7)。R値の算出手法は図4で説明した手法と同様である。また、R値の算出は画像データを記録メディア117に記録させる前に行うようにしても良い。
【0038】
R値の算出終了後、MPU101は、過去所定時間(ここでは例えば5秒)分のR値がメモリに記憶されているか否かを判定する(ステップS8)。ステップS8の判定において、過去5秒分のR値がメモリに記憶されていない場合(例えば、カメラを構えてからすぐに撮影がなされた場合)に、MPU101は、メモリに記憶されている時間分のR値を用いて表情の自然さの判定を行う(ステップS9)。一方、ステップS8の判定において、過去5秒分のR値がメモリに記憶されている場合に、MPU101は、過去5秒分のR値を用いて表情の自然さの判定を行う(ステップS10)。
【0039】
ステップS9又はステップS10の後、MPU101は、R値の平均値RavとR値のばらつきを示す標準偏差σを求める(ステップS11)。次に、MPU101は、標準偏差σを3倍した値を平均値Ravに加算した値Rcを求める(ステップS12)。その後、MPU101は、ステップS7において求められたR値を撮影時のR値Rfとするとともに、Rf及びステップS9又はステップS10で得られているR値の中の最大値をRpとする(ステップS13)。さらに、MPU101は、最大値Rpに対するRfの割合Rrを求める(ステップS14)。ここで、ステップS14ではRrを百分率として求めているが、必ずしも百分率を求める必要はない。
【0040】
ステップS14のRrは最も笑顔に近い表情であると考えられるR値の最大値Rpに対して撮影時の表情がどの程度の笑顔であるかを示す値となる。即ち、Rrが100に近いほど、撮影時の表情が最高の笑顔に近いことになるが、上述したように撮影時の表情が自然な笑顔であるとは限らない。そこで、ステップS15の判定を行うことにより撮影時の表情が自然なものであるか否かを判定する。ステップS14の後、MPU101は、RfがRcよりも大きいか否かを判定する(ステップS15)。
【0041】
ステップS15の判定において、RfがRcよりも大きい場合には、Rfが平均値Ravから大きくばらついていることが判定される。この場合に、MPU101は、不意の撮影等で不自然に表情が変化したとして、Rfを半減させる(ステップS16)。
【0042】
ステップS15の判定においてRfがRc以下の場合若しくはステップS16の後、MPU101は、Rfを例えば図2で示すようにして表示パネル111に表示させる(ステップS17)。ここで、図2の例では、Rfの値をそのまま表示させるような表示形態であるが、Rfの表示形態としてはこれに限るものではない。例えば、Rfを点数のみの表示とはせずに、点数表示とレベル表示(バー表示)等とを併用して表示するようにしても良い。
【0043】
また、ステップS2の判定において、再生指示がなされた場合に、MPU101は、ユーザによって選択された画像を表示パネル111に表示させる(ステップS18)。
【0044】
以上説明したように、本一実施形態によれば、被写体の表情が笑顔に近く且つその笑顔が自然な笑顔である場合には表示パネル111に表示される点数が高くなる。これにより、ユーザは、点数を高めるためには被写体が驚くような撮影方法を採らないほうが良いと分かる。その結果、撮影を行うユーザと撮影される被写体との間での信頼関係が次第に築かれ、自然な表情での撮影を行えることが期待される。
【0045】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0046】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【0047】
【図1】本発明の一実施形態に係るカメラの構成を示すブロック図である。
【図2】図1に示すカメラにおける動作の概要について示す図である。
【図3】フレーミング時から撮影タイミングまでのR値の変化例を示す図である。
【図4】本一実施形態に係るカメラのメイン動作制御について示すフローチャートである。
【図5】R値の算出処理の詳細について示すフローチャートである。
【図6】図6(a)はR値の高い表情の例を示す図であり、図6(b)はR値の低い表情の例を示す図である。
【符号の説明】
【0048】
100…カメラ、101…マイクロプロセッシングユニット(MPU)、102…操作部、103…撮影レンズ、104…オートフォーカス(AF)回路、105…絞り機構、106…絞り制御回路、107…撮像素子、108…アナログフロントエンド(AFE)回路、109…画像処理回路、110…表示制御回路、111…表示パネル、112…距離検出回路、113…顔検出回路、114…R値算出回路、115…圧縮/伸張部、116…記録制御回路、117…記録メディア、118…補助光発光回路

【特許請求の範囲】
【請求項1】
被写体を撮影して画像を取得する撮影部と、
上記取得された画像における上記被写体の顔部を検出する顔画像検出部と、
複数回の上記撮影によって取得される複数の画像に対して上記顔画像検出部によって検出される上記被写体の顔部の画像の変化から上記被写体の表情の自然さを判定する自然さ判定部と、
を具備することを特徴とするカメラ。
【請求項2】
上記自然さ判定部は、先行するタイミングと現在のタイミングとの各々のタイミングにおいて上記撮影部によって取得される画像に対して上記顔画像検出部から得られる顔部の画像を比較して、上記現在のタイミングにおける被写体の表情の自然さを判定することを特徴とする請求項1に記載のカメラ。
【請求項3】
上記自然さ判定部によって判定された上記被写体の表情の自然さを視覚化する視覚化部をさらに具備することを特徴とする請求項1に記載のカメラ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2008−270910(P2008−270910A)
【公開日】平成20年11月6日(2008.11.6)
【国際特許分類】
【出願番号】特願2007−107378(P2007−107378)
【出願日】平成19年4月16日(2007.4.16)
【出願人】(000000376)オリンパス株式会社 (11,466)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】