説明

撮像装置及び撮像方法

【課題】1回の撮影によって撮影者と被写体の両方の好みの表情の画像を得ることができる撮像装置及び撮像方法を提供すること。
【解決手段】スルー画表示前に、被写体200に表情の画像の採点をしてもらい、その採点結果をR値と対応付けて表情データベース116aに格納しておく。撮影前のスルー画表示時には、撮像素子107を連続して動作させて得られるスルー画像における顔部の画像からR値を算出し、算出したR値に対応する点数を表情データベース116aから抽出し、抽出した点数に基づいて撮影前の被写体200の表情のレベルを表示パネル111に表示させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影者と被写体の両方の好みの表情の画像を撮影できる撮像装置及び撮像方法に関する。
【背景技術】
【0002】
近年、ユーザが自身で撮影して得られたデジタルの写真画像を、ネットワークを介して広く公開できるようにしたシステムが各種提案されている。このようなネットワーク上で写真公開ができるシステムにおいては、公開した写真画像が多くの人に見られる可能性があるため、ユーザはなるべくならば見栄えの良い写真画像を撮影して公開したいと考えると思われる。
【0003】
ここで、撮影者の好みに応じた表情の被写体を撮影するための技術に関する提案として、例えば特許文献1においては、撮影者が好みとする表情の顔画像の特徴量(目や鼻の分布等)を所定の記憶部に記憶させておき、撮影時においては1回の撮影指示で複数回の撮影を行って複数枚の画像を取得し、その中で先に記憶しておいて顔画像の特徴量と最も類似する画像を選択して記録するようにしている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−115406号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、特許文献1においては、撮影前に被写体が好みの表情をしているかを確認することができないため、1回の撮影指示で複数枚の画像を撮影するようにしている。このため、撮影時間が長くなりやすく、また複数枚の画像を1度に保持しておく必要があるため、メモリの容量も増大しやすい。
【0006】
本発明は、上記の事情に鑑みてなされたもので、1回の撮影によって撮影者と被写体の両方の好みの表情の画像を得ることができる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の第1の態様の撮像装置は、被写体を撮像して顔部を含む画像を得る撮像部と、撮影者の指示による撮影操作前に、上記撮像部を連続動作させて得られる画像を表示する表示部と、上記表示部に表示された画像の顏部の表情を示す数値を検出する検出部と、顏部の表情を示す数値が対応付けられた画像毎に上記顏部の表情の嗜好を指定することによって得られた嗜好と、顏部の表情を示す数値と、の関係を示す分布から、上記検出部によって検出された顏部の表情を示す数値に対応した嗜好を抽出する抽出部と、上記抽出された嗜好を、上記表示部に表示された画像に重畳表示させる表示制御部とを具備することを特徴とする。
また、上記の目的を達成するために、本発明の第2の態様の撮像方法は、撮影者の指示による撮影操作前に、撮像部を連続動作させて得られる画像を表示部に表示する第1の表示ステップと、上記表示部に表示された画像の顏部の表情を示す数値を検出する検出ステップと、顏部の表情を示す数値が対応付けられた画像毎に上記顏部の表情の嗜好を指定することによって得られた嗜好と、顏部の表情を示す数値と、の関係を示す分布から、上記検出ステップで検出された顏部の表情を示す数値に対応した嗜好を抽出する抽出ステップと、上記抽出された嗜好を、上記第1の表示ステップにおいて上記表示部に表示された画像に重畳表示させる第2の表示ステップとを有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、1回の撮影によって撮影者と被写体の両方の好みの表情の画像を得ることができる撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係るカメラの構成を示すブロック図である。
【図2】図1に示すカメラにおける動作の概要について示す図である。
【図3】R値を算出する際の処理の流れについて示すフローチャートである。
【図4】図4(a)はR値の高い表情の例を示す図であり、図4(b)はR値の低い表情の例を示す図である。
【図5】R値と採点結果との関係を示した分布曲線を示す図である。
【図6】本発明の一実施形態に係るカメラのメイン動作制御について示すフローチャートである。
【図7】表情画像の採点処理について示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るカメラ100の構成を示すブロック図である。図1に示すカメラ100は、マイクロプロセッシングユニット(MPU)101と、操作部102と、撮影レンズ103と、オートフォーカス(AF)回路104と、絞り機構105と、絞り制御回路106と、撮像素子107と、アナログフロントエンド(AFE)回路108と、画像処理回路109と、表示制御回路110と、表示パネル111と、ピント判定回路112と、顔検出回路113と、表情レベル演算回路114と、圧縮/伸張部115と、記録制御部116と、表情データベース116aと、記録メディア117と、補助光発光回路118とを有している。
【0011】
MPU101は、ユーザからの操作部102の操作に応じてカメラ100を構成する各ブロックをシーケンシャルに制御する。操作部102は、カメラ100による撮影を実行させるためのレリーズスイッチや、カメラ100の動作モードを撮影モードや再生モード等の間で切り替えるための切り替えスイッチ等が含まれる。また、詳細は後述するが、操作部102は、被写体となる人物に、好みの表情を指定させるための指定部の機能を有する操作部も含まれる。
【0012】
また、MPU101は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。
【0013】
撮影レンズ103は、被写体200からの像を撮像素子107に結像させる。この撮影レンズ103は、オートフォーカス(ピント合わせ)用のレンズを含んでいる。オートフォーカスの際に、MPU101は、ピント合わせレンズのレンズ位置をモニタしつつ、AF回路104を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ103のピント合わせを行う。また、撮影レンズ103はズームレンズも含んでおり、ズームレンズの位置を切り替えることで撮影時の画角を切り替えることもできる。絞り機構105は、撮影レンズ103内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構105は、撮影開始時に絞り制御回路106によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時においては、撮影レンズ103のズームレンズや絞り機構105等を駆動することで、撮影者は自身の好みの撮影効果(構図、背景処理、動きの描写等)での写真撮影を行うことができる。
【0014】
撮像素子107は、多数の画素が配列されて構成される受光面を有し、撮影レンズ103を介して受光した被写体200からの像を電気的な信号に変換する。本実施形態においては、撮像素子107にはCCD方式及びCMOS方式の何れを用いても良い。
【0015】
AFE回路108は、CDS回路、ゲイン調整回路、AD変換回路等を含み、撮像素子107において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路109に入力する。また、AFE回路108には、撮像素子107を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、AFE回路108によって、4画素(2×2画素)や9画素(3×3画素)の信号をまとめて読み出し、これら読み出した電気信号を加算することでS/Nを向上させることが出来る。このような処理によって、撮像素子107の見かけ上の感度を上げること等が出来る。
【0016】
さらに、AFE回路108は、撮像素子107からの出力信号を取捨選択する機能も有し、撮像素子107の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することも出来る。一般に、撮像素子107は間引きを行うことで高速で信号を読み出すことが出来る。この機能を利用して、撮像素子107を連続動作させて得られる構図確認用のスルー画像を高速で読み出して画像処理回路109において処理してから表示パネル111に表示すれば、ユーザは表示パネル111上に表示されるスルー画像を利用してフレーミングを行うことが可能である。
【0017】
画像処理回路109は、AFE回路108から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。
【0018】
また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路109は、AFE回路108から入力される画像データを表示パネル111に表示可能なようにリサイズ(縮小)する機能も有する。
【0019】
表示制御回路110は、画像処理回路109で得られた画像データや記録メディア117に記録されている画像データを映像信号に変換し、変換した映像信号に基づいて画像を表示パネル111に表示させる。表示パネル111は液晶表示パネルや有機EL表示パネル等の表示パネルである。また、表示制御回路110は、表示パネル111に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。
【0020】
ピント判定回路112は、画像処理回路109によって得られる画像のコントラストを検出する。このピント判定回路112によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、AF回路104によって撮影レンズ103のピント合わせレンズのレンズ位置を変化させながら、ピント判定回路112によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ103のピント合わせを行うことができる。
【0021】
顔検出回路113は、画像処理回路109によって得られる画像内の特徴点(例えば、被写体が人物等であれば、目や鼻、口等)の分布から、画像内における被写体の特に顔に相当する部分を検出する。表情レベル演算回路114は、顔検出回路113によって検出される顔画像から被写体の表情レベルを求めるための値であるR値(詳細は後述する)を算出する。
【0022】
圧縮/伸張部115は、撮影時に、画像処理回路109において処理された画像データを圧縮する。また、圧縮/伸張部115は記録メディア117に圧縮記録された画像データを伸張する。記録制御部116は、圧縮/伸張部115で圧縮された画像データに付随データを付随させて記録メディア117に記録する。
【0023】
格納部としての表情データベース116aは、被写体200となる人物によって指定されたその人物の好みの表情の画像に対応するR値と、その画像に対応して被写体200によって指定された点数とを格納する。
【0024】
補助光発光回路118は、撮影時の状況に応じて被写体200に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。
【0025】
図2は、図1に示すカメラにおける動作の概要について示す図である。撮影前には、まず、被写体200に、各種表情の画像を呈示し、それぞれの表情の画像に点数を付けさせる。このとき呈示する各種の表情の画像は、例えば表情のサンプル集のような画像を予め撮影して表情データベース116aに格納しておくようにしても良いし、実際に、被写体200に各種の表情をさせた状態で撮影を行って得るようにしても良い。ここで、本実施形態においては、被写体200に呈示する表情の画像には、詳細は後述するR値(図2のRa〜Rd)が対応付けられている。そして、被写体200によって採点がなされると、その採点結果がR値と対応付けられて表情データベース116aに格納される。図2の例では、被写体200が画像A、画像B、画像C、画像Dの4枚の表情の画像について10段階評価の採点を行った例を示している。採点を行う画像の枚数は4枚に限らず、また、採点も10段階評価に限るものではない。
【0026】
撮影前のフレーミング時において、カメラ100は逐次被写体200を撮像してスルー画像を取得し、このスルー画像を逐次表示パネル111に表示させる。本実施形態ではフレーミング時に逐次取得されるスルー画像における人物の顔部の画像のR値に対応する点数を表情データベース116aから抽出し、この点数に基づいて、現在の表情が、被写体200がどの程度好む表情であるかを判定する。そして、この判定結果を、例えば参照符号111aに示すようなレベル表示(バー表示)の形式等で撮影者に提供する。
【0027】
次に、R値について説明する。図3は、R値を算出する際の処理の流れについて示すフローチャートである。図3において、表情レベル演算回路114は、顔検出回路113によって検出された顔部の画像における陰影分布から画像内の顔部における目部、口部を検出する(ステップS101)。より具体的には画像のコントラストを強調した状態で画像内において略円形をしている顔部を顔検出回路113によって検出する。そして、表情レベル演算回路114において顔部内の陰影の分布から目部及び鼻部を検出する。
【0028】
ステップS101において目部、鼻部を検出した後、表情レベル演算回路114は、両目の瞳を結ぶ直線Aの上側の白眼部分の面積EA(図4(a)参照)を求める(ステップS102)。次に、表情レベル演算回路114は、両目の瞳を結ぶ直線Aの下側の白眼部分の面積EB(図4(a)参照)を求める(ステップS103)。EA及びEBを求めた後、表情レベル演算回路114は、EAとEBの差をEAとEBの和で正規化した値REを求める(ステップS104)。ここで、被写体200が他人に見せたい笑顔の場合には図4(a)に示すようにEBが0に近くなるため、結果REが大きくなる。逆に、被写体200が他人に見せたくない困った顔の場合には図4(b)に示すようにEAが0に近くなるため、結果REが小さくなる。したがって、REの大小から表情を判定することが可能である。
【0029】
REを求めた後、表情レベル演算回路114は、口の両端を結ぶ直線Bの上側の唇部分の面積LA(図4(b)参照)を求める(ステップS105)。次に、表情レベル演算回路114は、口の両端を結ぶ直線Bの下側の唇部分の面積LB(図4(b)参照)を求める(ステップS106)。LA及びLBを求めた後、表情レベル演算回路114は、LBとLAの差をLAとLBの和で正規化した値RLを求める(ステップS107)。ここで、笑顔の場合には図4(a)に示すようにLAが0に近くなるため、結果RLが大きくなる。逆に、困った顔の場合には図4(b)に示すようにLBが小さくなるため、結果RLが小さくなる。したがって、RLの大小からも表情を判定することが可能である。
【0030】
RE及びRLを求めた後、表情レベル演算回路114はREとRLの和Rを求める(ステップS108)。このR値は大きいほどそのときの表情は笑顔(良好な表情)に近いものとなる。さらに、図4(a)の矢印Cで示したように口の端部に影があったり、歯が見えていたりすると笑顔の確率が高い。そこで、表情レベル演算回路114は口部分に歯(白部分)が検出され、かつ口端部に影があるか否かを判定する(ステップS109)。ステップS109の判定において、口部分に歯が検出され、かつ口端部に影がある場合に、表情レベル演算回路114はRに1を加算する(ステップS110)。
【0031】
一方、ステップS109の判定において、口部分に歯が検出され、かつ口端部に影がない場合、若しくはステップS110の後、表情レベル演算回路114は眉間部分(目の間部分)に矢印Dで示すような皺があるか否かを判定する(ステップS111)。ステップS111の判定において、眉間部分に皺がある場合に、表情レベル演算回路114はRから1を減算する(ステップS112)。即ち、眉間に皺が検出されるような表情では笑顔とは言えないのでステップS111の判定を行う。
【0032】
以上のようにして求められるR値は笑顔に近いほど高い数値となる。一般的にはR値が高いほど、良い表情であると考えられるが、被写体200となる人物が必ずしもR値の高い表情を好むとは限らないので、被写体200となる人物に各種表情の画像を採点させるようにし、この採点結果を、被写体毎の表情の嗜好として表情データベース116aに格納する。図5は、R値と採点結果との関係を示した分布曲線を示す図である。なお、採点してもらっていないR値に対応する点数については、例えば補間演算によって算出することが望ましい。
【0033】
例えば、図5の例において、被写体Aは、カメラ100によって呈示された表情の画像のうち、R値がほどほどであるR1の表情の画像が最高だと思っていることが分かる。一方、被写体Bは、R1よりも高いR値であるR2の表情の画像が最高だと思っていることが分かる。このような被写体200の表情の嗜好を、撮影前に、撮影者に分かるように呈示することにより、撮影者は、被写体毎の表情の嗜好を考慮しつつ、また自身の嗜好も加味しながら撮影を行うことが可能である。
【0034】
以下、具体的なカメラの動作について説明する。図6は本一実施形態に係るカメラのメイン動作制御について示すフローチャートである。
【0035】
撮影前に、MPU101は、表情画像の採点処理を行う(ステップS201)。この採点処理の詳細については後述する。ステップS201の表情画像の採点処理の後、MPU101は、撮影者による操作部102の操作によって撮影指示がなされたか否かを判定する(ステップS202)。ステップS202の判定において、撮影指示がなされていない場合に、MPU101は表示パネル111にフレーミング用のスルー画像を表示させるための各種の制御を実行する(ステップS203)。即ち、MPU101は撮像素子107を連続動作させてスルー画像データを逐次取得し、取得したスルー画像データを画像処理回路109において処理してからこのスルー画像データに基づいて表示パネル111にスルー画像を表示させる。スルー画像を表示させた後、MPU101は、顔検出回路113によってスルー画像中の顔部の画像を検出する。顔部の画像が検出された後、MPU101は、表情レベル演算回路114によってスルー画中の顔部の表情に対するR値を図3で示したようにして算出する(ステップS204)。そして、MPU101は、表情レベル演算回路114によって演算されたR値に対応する点数を、表情データベース116aに格納されている被写体200に対応した表情の嗜好の分布曲線を参照して抽出する(ステップS205)。スルー画表示中の表情(R値)に対応した点数を抽出した後、MPU101は、この点数を、例えば図2に示すようなレベル表示(バー表示)111aのような形態で、表示パネル111に表示されているスルー画像に重畳表示させる(ステップS206)。その後にステップS202に戻る。
【0036】
また、ステップS202の判定において、撮影指示がなされた場合に、MPU101は撮影動作を実行する(ステップS207)。即ち、MPU101は撮影レンズ103のピント調整を実行させた後、絞り機構105を所定の開口まで絞った状態で撮像素子107を動作させ、これによって得られた撮影画像データを画像処理回路109において処理させる。その後、画像処理回路109において処理した撮影画像データを圧縮/伸張部115において圧縮し、この圧縮画像データを記録メディア117に記録させる。その後に図6の処理を終了させる。
【0037】
図7は、図6のステップS201の表情画像の採点処理について示すフローチャートである。図7において、MPU101は、被写体200に好みの表情の点数をつけさせるために、表示制御回路110を介して各種の表情の画像を表示パネル111に表示させる(ステップS301)。なお、ここで表示させる表情の画像は1枚ずつ表示パネル111に表示させるようにしても良いし、複数枚を同時に表示させるようにしても良い。その後、MPU101は、被写体200による操作部102の操作によって点数の指定操作がなされたか否かを判定する(ステップS302)。
【0038】
ステップS302の判定において、表情の画像に対して点数が指定された場合に、MPU101は、表情の画像のR値と点数とを対応付けする(ステップS303)。次に、MPU101は、補間演算によって各R値に対応した点数を順次算出する(ステップS304)。一方、ステップS302の判定において、表情の画像に対して点数が指定されない場合(例えば、表情の画像の表示から所定時間が経過した後等)には、各表情の画像のうち、R値の高いものから高得点を割り当てる(ステップS305)。これは、上述したように、R値の高い表情は、笑顔に近く、皆が良い表情と感じる可能性が高いためである。
【0039】
ステップS304又はステップS305において表情の画像の採点が行われた後、MPU101は、被写体毎に各表情の画像のR値と点数とを対応付けて表情データベース116aに格納する(ステップS306)。その後、図7の処理を抜ける。
【0040】
以上説明したように、本実施形態によれば、撮影者は、撮影前のスルー画表示時に被写体200の表情のレベルを確認しつつ、自身の好みのタイミングで撮影を行うことができる。また、例えば、レベルが低いときには、撮影者が被写体にアドバイス(「もっと笑って」、「まじめな顔をして」、「口を閉じて」)や刺激(ジョークやギャグを言う)を与えて被写体の好む表情を作り出すこともできる。このように、本実施形態では、実際に撮影を行う前に撮影者が被写体の撮影して欲しい表情のレベルを見ながら、自身の好きなタイミングで撮影することにより、1回の撮影で撮影者と被写体の両方の好みを反映した表情の写真を撮影することができる。
【0041】
また、一般にはR値の高い表情のほうが笑顔であると考えられるが、被写体によっては必ずしもそうとは限らないので、各種の表情の画像を実際に被写体に採点してもらうことにより、より被写体の嗜好を反映させることが可能である。
【0042】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、R値と点数とを対応付けて表情データベース116aに格納するようにしているが、表情の画像と点数とを直接対応付けても良い。この場合には、スルー画像における顔部と表情の画像の顔部とのマッチングをとることで対応する点数を抽出することが可能である。また、このようなマッチングの場合には、表情のみならず、首の傾げ方や、顔の向きなども含めて点数を判定できるようにしても良い。
【0043】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【0044】
100…カメラ、101…マイクロプロセッシングユニット(MPU)、102…操作部、103…撮影レンズ、104…オートフォーカス(AF)回路、105…絞り機構、106…絞り制御回路、107…撮像素子、108…アナログフロントエンド(AFE)回路、109…画像処理回路、110…表示制御回路、111…表示パネル、112…ピント判定回路、113…顔検出回路、114…表情レベル演算回路、115…圧縮/伸張部、116…記録制御部、116a…表情データベース、117…記録メディア

【特許請求の範囲】
【請求項1】
被写体を撮像して顔部を含む画像を得る撮像部と、
撮影者の指示による撮影操作前に、上記撮像部を連続動作させて得られる画像を表示する表示部と、
上記表示部に表示された画像の顏部の表情を示す数値を検出する検出部と、
顏部の表情を示す数値が対応付けられた画像毎に上記顏部の表情の嗜好を指定することによって得られた嗜好と、顏部の表情を示す数値と、の関係を示す分布から、上記検出部によって検出された顏部の表情を示す数値に対応した嗜好を抽出する抽出部と、
上記抽出された嗜好を、上記表示部に表示された画像に重畳表示させる表示制御部と、
を具備することを特徴とする撮像装置。
【請求項2】
上記顏部の表情を示す数値は、画像の顔部の陰影分布から得られることを特徴とする請求項1に記載の撮像装置。
【請求項3】
撮影者の指示による撮影操作前に、撮像部を連続動作させて得られる画像を表示部に表示する第1の表示ステップと、
上記表示部に表示された画像の顏部の表情を示す数値を検出する検出ステップと、
顏部の表情を示す数値が対応付けられた画像毎に上記顏部の表情の嗜好を指定することによって得られた嗜好と、顏部の表情を示す数値と、の関係を示す分布から、上記検出ステップで検出された顏部の表情を示す数値に対応した嗜好を抽出する抽出ステップと、
上記抽出された嗜好を、上記第1の表示ステップにおいて上記表示部に表示された画像に重畳表示させる第2の表示ステップと、
を有することを特徴とする撮像方法。
【請求項4】
上記顏部の表情を示す数値は、画像の顔部の陰影分布から得られることを特徴とする請求項3に記載の撮像方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−80552(P2012−80552A)
【公開日】平成24年4月19日(2012.4.19)
【国際特許分類】
【出願番号】特願2011−243630(P2011−243630)
【出願日】平成23年11月7日(2011.11.7)
【分割の表示】特願2007−127274(P2007−127274)の分割
【原出願日】平成19年5月11日(2007.5.11)
【出願人】(000000376)オリンパス株式会社 (11,466)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】