表示装置及び撮像装置
【課題】 本発明は、画像を鑑賞する鑑賞者に応じて、画像の補正処理を行うことができる技術を提供することを目的とする。
【解決手段】 本発明は、被写体である人物を撮像した被写体画像を入力する入力部と、入力した被写体画像を表示する表示部と、被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、鑑賞者画像を用いて、鑑賞者の顔を検出する鑑賞者顔検出部と、検出された鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、鑑賞者に対する顔認識の結果に基づいて、被写体画像に対して画像補正を行う画像処理部と、被写体画像から画像補正された被写体画像に表示を切り替える制御部とを備える。
【解決手段】 本発明は、被写体である人物を撮像した被写体画像を入力する入力部と、入力した被写体画像を表示する表示部と、被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、鑑賞者画像を用いて、鑑賞者の顔を検出する鑑賞者顔検出部と、検出された鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、鑑賞者に対する顔認識の結果に基づいて、被写体画像に対して画像補正を行う画像処理部と、被写体画像から画像補正された被写体画像に表示を切り替える制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の補正処理を行うことができる表示装置及び撮像装置に関する。
【背景技術】
【０００２】
従来、電子カメラ等で撮像した画像は、ハードディスク等の記憶装置に保存して、必要な画像についてのみプリンタ等で印刷して鑑賞していた。しかしながら、近年では、撮像した画像を印刷することなく、画像データを直接表示できる観賞用の電子写真立てが開発されている（例えば、特許文献１参照）。
【０００３】
特許文献１では、観賞用画像を表示部に表示するだけでなく、表示部を回転させても、鑑賞用画像の表示に邪魔にならないように、時刻やカレンダー等の文字情報を鑑賞用画像の構図に合わせて配置表示することができる技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、例えば、ユーザが、自身が写っている観賞用画像を表示させるにあたり、もっと綺麗に画像補正して、みんなに見てほしいと思うような場合、ユーザは、コンピュータにインストールされている専用の画像処理用ソフト等を用いて、観賞用画像を画像補正してから、特許文献１のような電子写真立て等に表示させる必要がある。
【０００５】
上記従来技術が有する問題に鑑み、本発明の目的は、画像を鑑賞する鑑賞者に応じて、画像の補正処理を行うことができる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の表示装置は、被写体である人物を撮像した被写体画像を入力する入力部と、入力した被写体画像を表示する表示部と、被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、鑑賞者画像を用いて、鑑賞者の顔を検出する鑑賞者顔検出部と、検出された鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、鑑賞者に対する顔認識の結果に基づいて、被写体画像に対して画像補正を行う画像処理部と、被写体画像から画像補正された被写体画像に表示を切り替える制御部とを備える。
【０００７】
また、本発明において、被写体画像の人物の顔を検出する被写体顔検出部と、検出された人物の顔の各部分に基づいて顔認識を行う被写体顔認識部と、顔認識された人物と鑑賞者とが同一人物か否かを判定する人物判定部とをさらに備え、画像処理部は、人物判定部によって人物と鑑賞者とが同一人物であると判定された場合には、被写体画像に対して画像補正を行う。
【０００８】
また、本発明において、画像処理部による画像補正の実行の有無を設定可能な操作部材をさらに備える。
【０００９】
また、本発明において、複数の鑑賞者の顔情報を記憶する記憶部と、鑑賞者顔認識部によって顔認識された鑑賞者と記憶部における複数の鑑賞者の顔情報のいずれかと一致するか否かの判定を行う鑑賞者判定部とをさらに備え、画像処理部は、鑑賞者判定部が一致すると判定した場合には、被写体画像に対して画像補正を行わず、鑑賞者判定部が一致しないと判定した場合には、被写体画像に対して画像補正を行う。
【００１０】
また、本発明において、画像処理部は、人物判定部によって人物と鑑賞者とが同一人物であると判定された場合には、画像補正を、被写体画像のうち被写体顔検出部によって検出された人物が撮像されている画像領域のみに対して行う。
【００１１】
また、本発明において、被写体顔認識部によって顔認識された人物と鑑賞者顔認識部によって顔認識された鑑賞者とが、互いに異性であるか否かを判定する異性判定部をさらに備え、画像処理部は、異性判定部が互いに異性であると判定した場合には、被写体画像に対して画像補正を行う。
【００１２】
また、本発明において、被写体となる複数の所定の人物の顔情報を記憶する記憶部と、被写体顔認識部によって顔認識された人物と記憶部における複数の所定の人物の顔情報のいずれかと一致するか否かの判定を行う被写体判定部とをさらに備え、画像処理部は、被写体判定部が一致すると判定した場合には、被写体画像に対して画像補正を行う。
【００１３】
本発明の撮像装置は、被写体である人物を撮像して被写体画像を生成する撮像部と、本発明の表示装置とを備える。
【発明の効果】
【００１４】
本発明によれば、画像を鑑賞する鑑賞者に応じて、画像の補正処理を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一の実施形態に係る電子カメラ１００の構成例を示す図
【図２】本発明の一の実施形態に係る電子カメラ１００の記憶部６に記憶される鑑賞者データ表２０の一例を示す図
【図３】本発明の一の実施形態に係る電子カメラ１００の画像補正モードにおける処理手順を示すフローチャート
【図４】本発明に係るフォトフレームの形状及び構成例を示す模式図
【図５】本発明の一の実施形態に係る電子カメラ１００の記憶部６に記憶される被写体データ表３０の一例を示す図
【発明を実施するための形態】
【００１６】
≪一の実施形態≫
図１は、本発明の一の実施形態に係る電子カメラ１００の構成図である。
【００１７】
電子カメラ１００は、撮像レンズ群１、撮像素子２、Ａ／Ｄ変換部３、操作部材４、ＣＰＵ５、記憶部６、フレームメモリ７、画像処理部８、カードメモリ９、カードインタフェース（カードＩ／Ｆ）１０、鑑賞者用撮像レンズ群１１、鑑賞者用撮像素子１２、Ａ／Ｄ変換部１３、フレームメモリ１４及び表示部１５から構成される。操作部材４、ＣＰＵ５、記憶部６、フレームメモリ７、画像処理部８、カードＩ／Ｆ１０、フレームメモリ１４及び表示部１５は、バス１６を介して情報伝達可能に接続されている。なお、図１は電子カメラ１００の主要部分のみを示す。例えば、図１において、ＣＰＵ５の指令に従って、撮像素子２及びＡ／Ｄ変換部３、又は鑑賞者用撮像素子１２及びＡ／Ｄ変換部１３に撮像指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。
【００１８】
撮像レンズ群１は、複数の光学レンズにより構成され、被写体像を撮像素子３の受光面に結像する。鑑賞者用撮像レンズ群１１も、同様に、複数の光学レンズにより構成されており、鑑賞者である被写体像を撮像素子１２の受光面に結像する。
【００１９】
撮像素子２及び撮像素子１２は、ＣＰＵ５の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ群１によって結像された被写体像を取得し、画像信号に変換して出力する。なお、本実施形態の撮像素子２は、ＣＰＵ５の指令に基づいて、全画素による被写体像の撮像や、水平走査方向又は垂直走査方向に間引いて画素値を読み出して、ライブビュー用のスルー画や動画の被写体像の撮像を行うことができる。一方、撮像素子１２は、ＣＰＵ５の指令に基づいて、水平走査方向又は垂直走査方向に間引いて画素値を読み出して、鑑賞者のスルー画の撮像を行う。撮像素子２及び撮像素子１２には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。
【００２０】
撮像素子２から出力される画像信号は、Ａ／Ｄ変換部３でデジタル信号に変換される。変換されたデジタルの画像信号は、フレームメモリ７に一時的に記録された後、記憶部６又は画像処理部８へ転送される。なお、Ａ／Ｄ変換部３は、撮像素子２からのアナログ信号を、ＩＳＯ感度に応じて増幅する増幅部を有するアナログフロントエンドを備えていることが好ましい。
【００２１】
一方、鑑賞者用撮像素子１２から出力される画像信号は、Ａ／Ｄ変換部１３でデジタル信号に変換される。変換されたデジタルの画像信号は、フレームメモリ１４に一時的に記録される。ＣＰＵ５の要求に応じて、フレームメモリ１４から読み出される。
【００２２】
操作部材４は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材４には、例えば、電源釦、撮影モード等のモード設定釦及びシャッタレリーズ釦等を有する。なお、操作部材４は、表示部１５の画面に表示されるタッチパネル形式の釦であっても良い。
【００２３】
ＣＰＵ５は、ユーザによる操作部材４の電源釦操作によって電子カメラ１００の電源が入れられると、記憶部６に記憶されている制御プログラムを読み込み、電子カメラ１００を初期化する。ＣＰＵ５は、操作部材４を介して、ユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ（不図示）を介して、撮像素子２に被写体像の全画素による静止画撮像又は間引き読み出しによるスルー画や動画の撮像指令を出す。ＣＰＵ５は撮像された静止画像を表示部１５に表示させるが、本実施形態では、後述するように、操作部材４のモード設定釦によって撮像された静止画像の補正処理モードが設定された場合、ＣＰＵ５は、鑑賞者用撮像素子１２でその静止画像を鑑賞する鑑賞者の画像を取得して、鑑賞者の顔検出及び顔認識を行い、鑑賞者に応じてその静止画像を補正処理してから表示部１５に表示する。また、ＣＰＵ５は、画像処理部８に撮像した静止画像や動画等の画像処理や処理された画像をカードメモリ９や記憶部６への記録等の制御をも行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵが使用できる。
【００２４】
記憶部６は、電子カメラ１００が撮像した静止画像や動画等や、ＣＰＵ５が電子カメラ１００を制御するための制御プログラムを記憶する。さらに、記憶部６は、図２に示すような、鑑賞者の顔画像と口角や目尻等の顔のパーツ情報とからなる顔情報ファイルの名前を一覧にした鑑賞者データ表２０を記憶する。本実施形態における鑑賞者データ表２０は、ユーザによる操作部材４の操作によって設定更新することができる。なお、鑑賞者として鑑賞者データ表２０に登録される人物としては、家族や友人、或いは取引先のお客様等が考えられるが、そうした人物以外であってもよい。以下の説明において、あらかじめ複数人として、家族や友人等の顔情報ファイルの情報が、一覧として鑑賞者データ表２０に登録され記憶部６に記憶されているものとする。記憶部６に記憶されるこれらのプログラムやデータは、バス１６を介して、ＣＰＵ５から適宜参照することができる。記憶部６は、一般的なハードディスク装置、光磁気ディスク装置又は半導体メモリである任意の不揮発性メモリ等を適宜選択して用いることができる。
【００２５】
フレームメモリ７及びフレームメモリ１４には、半導体メモリのうち、任意の不揮発性の半導体を適宜選択して用いることができる。
【００２６】
画像処理部８は、デジタルフロントエンド回路で、フレームメモリ７、フレームメモリ１４及び記憶部６からの静止画像、動画又はスルー画等の画像データに対して、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行う。また、上述のように、本実施形態では、ＣＰＵ５に指示に応じて、表示部１５に表示する際の撮像された静止画像に対する露出補正、ソフトフォーカス補正、美肌補正、痩身補正又はしわ補正等の画像補正を鑑賞者に応じて行う。
【００２７】
カードＩ／Ｆ１０には、カードメモリ９が脱着可能に装着される。フレームメモリ７や記憶部６に記録された画像は、ＣＰＵ５の指示に基づいて画像処理部８で画像処理された後、Ｅｘｉｆ形式やＹＵＶ形式等のファイルとしてカードメモリ９に記録される。
【００２８】
表示部１５は、撮像素子２が撮像したスルー画等の動画や静止画像、鑑賞者に応じて画像補正された静止画像又はモード設定画面等を表示する。表示部１５には、液晶モニタ等を適宜選択して用いることができる。
【００２９】
次に、本実施形態に係る電子カメラ１００における、鑑賞者に応じて表示部１５に表示する静止画像を画像補正する補正処理について、図３のフローチャートを参照しながら説明する。なお、このような処理は、撮影者（ユーザ）自身や、撮影者が被写体である人物や第三者に、静止画像を電子カメラ１００の表示部１５を介して、撮像した静止画像を見せる場合等を想定している。
【００３０】
まず、ユーザにより操作部材４の電源釦が押されると、ＣＰＵ５は、電子カメラ１００の記憶部６に保持されている制御プログラムを読み込み、電子カメラ１００を初期化する。同時に、ＣＰＵ５は、記憶部６に記録されている鑑賞者データ表２０をそれぞれ読み込み、ＣＰＵ５内部のメモリ（不図示）に保持する。
【００３１】
次に、ユーザは、操作部材４のモード設定釦を用いて、撮像した静止画像を表示部１５に表示する際の画像補正モード等の設定を行う。本実施形態における電子カメラ１００の画像補正モードには、鑑賞者が誰であろうと画像補正するモード、鑑賞者が誰であろうと画像補正しないモード、及び被写体である人物と鑑賞者との関係に応じて画像補正を行うモードからなる。ユーザは、そのうちのいずれかを選択して設定する。本実施形態では、ユーザは、被写体である人物と鑑賞者との関係に応じて画像補正を行うモードに設定する。また、ユーザは、撮像した静止画像に対する画像補正処理の内容の設定も行うことができる。なお、以下の説明では、デフォルトとして、あらかじめ電子カメラ１００に設定されているソフトフォーカス補正、美肌補正及びしわ補正からなる画像補正処理に設定するものとする。
【００３２】
以上のような補正処理モード等の設定が終了すると、電子カメラ１００は、次のステップＳ１０からの処理を開始する。
【００３３】
ステップＳ１０：ＣＰＵ５は、ユーザからの被写体の撮像指示を受け付けるまで、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子２から間引き読み出しされる、被写体像のスルー画を表示部１５に表示して待機する（ＮＯ側）。ユーザによって操作部材４のシャッタレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断し、タイミングジェネレータ（不図示）を介して、撮像素子２に全画素による静止画像の本撮像を行う。ＣＰＵ５は、フレームメモリ７とバス１６を介して、静止画像を画像処理部８へ転送し、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行う。そして、ＣＰＵ５は、画像処理された静止画像をＥｘｉｆ形式等のファイル形式にして、記憶部６やカードメモリ９に記録し、ステップＳ１１（ＹＥＳ側）へ移行する。また、本実施形態では、ＣＰＵ５は、撮像されて画像処理部８による画像処理後の静止画像を、一時的に所定の時間の間（例えば、５秒間）、確認用のプレビュー画像として表示部１５に表示する。そして、ＣＰＵ５は、鑑賞者撮像素子１２によって認識された鑑賞者に応じた、以下の画像補正処理を行って再び表示するまでの間、表示部１５には何も表示ないものとする。
【００３４】
ステップＳ１１：ＣＰＵ５は、ユーザによって設定された画像処理モードが、鑑賞者が誰であろうと画像補正しないモードであるか否かを判定する。ＣＰＵ５は、画像補正をしないモードに設定されていると判定した場合には、ステップＳ１９（ＹＥＳ側）へ移行し、何の補正処理も行わないで撮像した静止画像を表示部１５に表示して、一連の処理を終了する。一方、ＣＰＵ５は、画像補正を行わないモードに設定されていないと判定した場合には、ステップＳ１２（ＮＯ側）へ移行する。
【００３５】
ステップＳ１２：ＣＰＵ５は、取得した静止画像において、被写体としての人物が写っているか否かを、顔検出に基づいて判定する。ここで、ＣＰＵ５が行う顔検出の手法は、公知である手法を適宜選択して行うことができる。具体的には、ＣＰＵ５は、静止画像からエッジ量等の画像特徴量の特徴点を抽出して、撮像されている各人物の顔の領域、大きさ等を検出する。ＣＰＵ５は、人物が撮像されていないと判定した場合には、ステップＳ１９（ＮＯ側）へ移行し、何の補正処理も行わないで撮像した静止画像を表示部１５に表示して、一連の処理を終了する。一方、人物が撮像されていると判定した場合には、ＣＰＵ５は、ステップＳ１３（ＹＥＳ側）へ移行する。
【００３６】
ステップＳ１３：ＣＰＵ５は、ステップＳ１２において検出した人物が誰であるかの顔認識を行う。ＣＰＵ５が行う顔認識の手法については、公知である手法を適宜選択して行うことができる。具体的には、ＣＰＵ５は、検出した人物の顔の特徴点に基づいて、顔の特徴点の位置や顔の口角や目尻等の顔パーツの大きさ等を求める。
【００３７】
ステップＳ１４：ＣＰＵ５は、タイミングジェネレータ（不図示）を介して、所定のフレームレート（例えば、３０ｆｐｓ）で、鑑賞者用撮像素子１２に鑑賞者を間引き読み出して、鑑賞者のスルー画を取得する。
【００３８】
ステップＳ１５：ＣＰＵ５は、ステップＳ１４で取得したスルー画中の鑑賞者の顔を検出するとともに顔認識する。ここで、ＣＰＵ５が行う顔検出及び顔認識の手法は、ステップＳ１２及びステップＳ１３での場合と同様に、公知である手法を適宜選択して行う。ＣＰＵ５は、検出した鑑賞者の顔画像及び顔認識した顔パーツの情報を取得する。
【００３９】
ステップＳ１６：ＣＰＵ５は、ステップＳ１２で検出した静止画像の人物の顔画像及びステップＳ１３で認識した顔パーツと、ステップＳ１５で検出した鑑賞者の顔画像及び顔認識した顔パーツとを用いて、静止画像の人物と鑑賞者とが同一人物であるか否かを判定する。具体的には、ＣＰＵ５は、ステップＳ１２で検出した静止画像の人物の顔画像及びステップＳ１３で認識した顔パーツと、ステップＳ１５で検出した鑑賞者の顔画像及び顔認識した顔パーツとを互いに比較して、特徴点の相対位置や大きさ等を調節しながら相似度を求める。ＣＰＵ５は、その相似度が所定値（例えば、８０％）以上ならば、静止画像の人物と鑑賞者とは同一人物であると判定し、ステップＳ１８（ＹＥＳ側）へ移行する。一方、相似度が所定値より小さい場合には、ＣＰＵ５は、静止画像の人物と鑑賞者とは同一人物でないと判定し、ステップＳ１７（ＮＯ側）へ移行する。
【００４０】
ステップＳ１７：ＣＰＵ５は、ステップＳ１５で検出した鑑賞者の顔画像及び顔認識した顔パーツを基に、鑑賞者が記憶部６に記憶されている鑑賞者データ表２０に登録された人物であるか否かの判定を行う。具体的には、ステップＳ１６の場合と同様に、ＣＰＵ５は、ステップＳ１５で検出した鑑賞者の顔画像及び認識した顔パーツと、鑑賞者データ表２０に登録されている各人物の顔画像及び顔情報とを互いに比較して、特徴点の相対位置や大きさ等を調節しながら相似度を求める。ＣＰＵ５は、その相似度が所定値（例えば、８０％）以上ならば、鑑賞者は鑑賞者データ表２０に登録されている人物であると判定して、ステップＳ１９（ＹＥＳ側）へ移行する。そして、例えば、登録されている人物が家族や友人等であるならば、ＣＰＵ５は、何の補正処理も行わないで撮像した静止画像を表示部１５に表示し、一連の処理を終了する。一方、相似度が所定値より小さい場合には、ＣＰＵ５は、鑑賞者は登録されていないと判定し、ステップＳ１８（ＮＯ側）へ移行する。
【００４１】
ステップＳ１８：ＣＰＵ５は、ステップＳ１６又はステップＳ１７における判定結果に基づいて、静止画像を画像処理部８に転送して、画像処理部８は、電子カメラ１００にあらかじめ設定されている内容の画像補正を静止画像に対して行う。
【００４２】
ステップＳ１９：ＣＰＵ５は、ステップＳ１８において画像処理部８で画像補正された静止画像、又は何も画像補正されなかった静止画像を表示部１５に表示し、一連の画像補正処理を終了する。
【００４３】
このように本実施形態は、鑑賞者用データ表２０の登録に基づいて、静止画像の人物及び鑑賞者を顔認識するとともに、鑑賞者と静止画像の人物との関係に応じて、静止画像の補正処理を行うことにより、鑑賞者に対して、静止画像を最適な状態で表示することができる。
【００４４】
また、そのような画像補正処理を行うことにより。静止画像に写っている人物にとっても、鑑賞者に対して好印象を与えることができる。
≪実施形態の補足事項≫
本実施形態では、被写体の本撮像の前に、ユーザが操作部材４のモード設定釦を用いて、画像補正モードを設定したが、本発明はこれに限定されない。例えば、ユーザが操作部材４のモード設定釦によって、風景モード、パーティーモード又は夜景モード等の撮影モードを設定した場合には、画像補正モードよりも優先されて、撮影モードに応じて所定の画像補正モードが強制的に設定されるようにしてもよい。
【００４５】
なお、本実施形態では、鑑賞者がいる場合についての画像補正処理について説明したが、本発明はこれに限定されない。例えば、ＣＰＵ５が、鑑賞者用撮像素子１２によって取得したスルー画中に鑑賞者を検出できなかった場合には、画像補正されていない静止画像を表示部１５に表示してもよいし、前の鑑賞者の時の画像補正された静止画像を表示し続けてもよい。
【００４６】
なお、本実施形態では、ＣＰＵ５は、撮像されて静止画像を画像処理部８による画像処理後、一時的に所定の時間の間、確認用のプレビュー画像として表示部１５に表示し、その後、鑑賞者撮像素子１２によって認識される鑑賞者に応じた画像補正がなされた後再び表示するまでの間、表示部１５には何も表示しないとしたが、本発明はこれに限定されず、画像補正された静止画像が表示されるまで、補正前の静止画像を表示部１５に表示してもよい。
【００４７】
なお、本実施形態では、ステップＳ１９において画像処理部８で画像補正された静止画像、又は何も画像補正されなかった静止画像を表示部１５に表示するとしたが、本発明はこれに限定されない。例えば、静止画像とともに、静止画像に対してどのような補正処理が行われたかを表示部１５に表示してもよい。
【００４８】
なお、本実施形態では、ステップＳ１７において、鑑賞者が鑑賞者データ表２０に登録されていない人物である場合、画像処理部８は、電子カメラ１００にあらかじめ設定されているデフォルトの画像補正処理を、静止画像に対して行ったが、本発明はこれに限定されない。例えば、ユーザが操作部材４を介して、画像補正処理の内容を任意に設定するようにしてもよい。
【００４９】
また、例えば、ＣＰＵ５は、ステップＳ１５で鑑賞者の顔認識（例えば、しわの多さ、表情、年齢推定等）に基づいて、小学生のような小さな子供、ご年配の方、男性又は女性等を判別し、画像補正の内容（画像補正を行わない場合も含む）を決定し、その内容で、画像処理部８に画像補正させるようにしてもよい。さらに、静止画像の人物と鑑賞者とが異性の関係である場合には、ＣＰＵ５は、画像処理部８に静止画像を画像補正させて、綺麗に見せるようにするのが好ましい。
【００５０】
また、静止画像の人物が、モデルや女優等のような場合には、鑑賞者全てに対して綺麗に表示してほしいと望むものと、一般的に考えられる。そこで、例えば、図５に示すように、所定の人物として複数のモデルや女優等の顔情報ファイルを一覧にした被写体データ表３０を記憶部６に記憶させておき、被写体データ表３０に登録されたモデルや女優等が撮像された時には、鑑賞者が誰であれ、必ず設定された内容の画像補正を行わせるようにして、表示部１５に綺麗に表示することが好ましい。
【００５１】
なお、本実施形態では、ＣＰＵ５は、画像処理部８に静止画像全体に対して補正処理を行ったが、本発明はこれに限定されない。例えば、静止画像に複数の人物が撮像された場合で、鑑賞者がその複数の人物のうちの１人である場合、ＣＰＵ５は、ステップＳ１２で顔検出した静止画像に写っている鑑賞者の領域に対してのみ、画像処理部８に画像補正を行うようにしてもよい。
【００５２】
なお、本実施形態では、電子カメラ１００について説明したが、本発明はこれに限定されず、図４に示すようなフォトフレームに対しても適用可能である。
【００５３】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００５４】
１ 撮像レンズ群、２ 撮像素子、３、１３ Ａ／Ｄ変換部、４ 操作部材、５ ＣＰＵ、６ 記憶部、７、１４ フレームメモリ、８ 画像処理部、９ カードメモリ、１０ カードＩ／Ｆ、１１ 鑑賞者用撮像レンズ群、１２ 鑑賞者用撮像素子、１５ 表示部、１６ バス、１００ 電子カメラ
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２００１−６７００４号公報
【技術分野】
【０００１】
本発明は、画像の補正処理を行うことができる表示装置及び撮像装置に関する。
【背景技術】
【０００２】
従来、電子カメラ等で撮像した画像は、ハードディスク等の記憶装置に保存して、必要な画像についてのみプリンタ等で印刷して鑑賞していた。しかしながら、近年では、撮像した画像を印刷することなく、画像データを直接表示できる観賞用の電子写真立てが開発されている（例えば、特許文献１参照）。
【０００３】
特許文献１では、観賞用画像を表示部に表示するだけでなく、表示部を回転させても、鑑賞用画像の表示に邪魔にならないように、時刻やカレンダー等の文字情報を鑑賞用画像の構図に合わせて配置表示することができる技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、例えば、ユーザが、自身が写っている観賞用画像を表示させるにあたり、もっと綺麗に画像補正して、みんなに見てほしいと思うような場合、ユーザは、コンピュータにインストールされている専用の画像処理用ソフト等を用いて、観賞用画像を画像補正してから、特許文献１のような電子写真立て等に表示させる必要がある。
【０００５】
上記従来技術が有する問題に鑑み、本発明の目的は、画像を鑑賞する鑑賞者に応じて、画像の補正処理を行うことができる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の表示装置は、被写体である人物を撮像した被写体画像を入力する入力部と、入力した被写体画像を表示する表示部と、被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、鑑賞者画像を用いて、鑑賞者の顔を検出する鑑賞者顔検出部と、検出された鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、鑑賞者に対する顔認識の結果に基づいて、被写体画像に対して画像補正を行う画像処理部と、被写体画像から画像補正された被写体画像に表示を切り替える制御部とを備える。
【０００７】
また、本発明において、被写体画像の人物の顔を検出する被写体顔検出部と、検出された人物の顔の各部分に基づいて顔認識を行う被写体顔認識部と、顔認識された人物と鑑賞者とが同一人物か否かを判定する人物判定部とをさらに備え、画像処理部は、人物判定部によって人物と鑑賞者とが同一人物であると判定された場合には、被写体画像に対して画像補正を行う。
【０００８】
また、本発明において、画像処理部による画像補正の実行の有無を設定可能な操作部材をさらに備える。
【０００９】
また、本発明において、複数の鑑賞者の顔情報を記憶する記憶部と、鑑賞者顔認識部によって顔認識された鑑賞者と記憶部における複数の鑑賞者の顔情報のいずれかと一致するか否かの判定を行う鑑賞者判定部とをさらに備え、画像処理部は、鑑賞者判定部が一致すると判定した場合には、被写体画像に対して画像補正を行わず、鑑賞者判定部が一致しないと判定した場合には、被写体画像に対して画像補正を行う。
【００１０】
また、本発明において、画像処理部は、人物判定部によって人物と鑑賞者とが同一人物であると判定された場合には、画像補正を、被写体画像のうち被写体顔検出部によって検出された人物が撮像されている画像領域のみに対して行う。
【００１１】
また、本発明において、被写体顔認識部によって顔認識された人物と鑑賞者顔認識部によって顔認識された鑑賞者とが、互いに異性であるか否かを判定する異性判定部をさらに備え、画像処理部は、異性判定部が互いに異性であると判定した場合には、被写体画像に対して画像補正を行う。
【００１２】
また、本発明において、被写体となる複数の所定の人物の顔情報を記憶する記憶部と、被写体顔認識部によって顔認識された人物と記憶部における複数の所定の人物の顔情報のいずれかと一致するか否かの判定を行う被写体判定部とをさらに備え、画像処理部は、被写体判定部が一致すると判定した場合には、被写体画像に対して画像補正を行う。
【００１３】
本発明の撮像装置は、被写体である人物を撮像して被写体画像を生成する撮像部と、本発明の表示装置とを備える。
【発明の効果】
【００１４】
本発明によれば、画像を鑑賞する鑑賞者に応じて、画像の補正処理を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一の実施形態に係る電子カメラ１００の構成例を示す図
【図２】本発明の一の実施形態に係る電子カメラ１００の記憶部６に記憶される鑑賞者データ表２０の一例を示す図
【図３】本発明の一の実施形態に係る電子カメラ１００の画像補正モードにおける処理手順を示すフローチャート
【図４】本発明に係るフォトフレームの形状及び構成例を示す模式図
【図５】本発明の一の実施形態に係る電子カメラ１００の記憶部６に記憶される被写体データ表３０の一例を示す図
【発明を実施するための形態】
【００１６】
≪一の実施形態≫
図１は、本発明の一の実施形態に係る電子カメラ１００の構成図である。
【００１７】
電子カメラ１００は、撮像レンズ群１、撮像素子２、Ａ／Ｄ変換部３、操作部材４、ＣＰＵ５、記憶部６、フレームメモリ７、画像処理部８、カードメモリ９、カードインタフェース（カードＩ／Ｆ）１０、鑑賞者用撮像レンズ群１１、鑑賞者用撮像素子１２、Ａ／Ｄ変換部１３、フレームメモリ１４及び表示部１５から構成される。操作部材４、ＣＰＵ５、記憶部６、フレームメモリ７、画像処理部８、カードＩ／Ｆ１０、フレームメモリ１４及び表示部１５は、バス１６を介して情報伝達可能に接続されている。なお、図１は電子カメラ１００の主要部分のみを示す。例えば、図１において、ＣＰＵ５の指令に従って、撮像素子２及びＡ／Ｄ変換部３、又は鑑賞者用撮像素子１２及びＡ／Ｄ変換部１３に撮像指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。
【００１８】
撮像レンズ群１は、複数の光学レンズにより構成され、被写体像を撮像素子３の受光面に結像する。鑑賞者用撮像レンズ群１１も、同様に、複数の光学レンズにより構成されており、鑑賞者である被写体像を撮像素子１２の受光面に結像する。
【００１９】
撮像素子２及び撮像素子１２は、ＣＰＵ５の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ群１によって結像された被写体像を取得し、画像信号に変換して出力する。なお、本実施形態の撮像素子２は、ＣＰＵ５の指令に基づいて、全画素による被写体像の撮像や、水平走査方向又は垂直走査方向に間引いて画素値を読み出して、ライブビュー用のスルー画や動画の被写体像の撮像を行うことができる。一方、撮像素子１２は、ＣＰＵ５の指令に基づいて、水平走査方向又は垂直走査方向に間引いて画素値を読み出して、鑑賞者のスルー画の撮像を行う。撮像素子２及び撮像素子１２には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。
【００２０】
撮像素子２から出力される画像信号は、Ａ／Ｄ変換部３でデジタル信号に変換される。変換されたデジタルの画像信号は、フレームメモリ７に一時的に記録された後、記憶部６又は画像処理部８へ転送される。なお、Ａ／Ｄ変換部３は、撮像素子２からのアナログ信号を、ＩＳＯ感度に応じて増幅する増幅部を有するアナログフロントエンドを備えていることが好ましい。
【００２１】
一方、鑑賞者用撮像素子１２から出力される画像信号は、Ａ／Ｄ変換部１３でデジタル信号に変換される。変換されたデジタルの画像信号は、フレームメモリ１４に一時的に記録される。ＣＰＵ５の要求に応じて、フレームメモリ１４から読み出される。
【００２２】
操作部材４は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材４には、例えば、電源釦、撮影モード等のモード設定釦及びシャッタレリーズ釦等を有する。なお、操作部材４は、表示部１５の画面に表示されるタッチパネル形式の釦であっても良い。
【００２３】
ＣＰＵ５は、ユーザによる操作部材４の電源釦操作によって電子カメラ１００の電源が入れられると、記憶部６に記憶されている制御プログラムを読み込み、電子カメラ１００を初期化する。ＣＰＵ５は、操作部材４を介して、ユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ（不図示）を介して、撮像素子２に被写体像の全画素による静止画撮像又は間引き読み出しによるスルー画や動画の撮像指令を出す。ＣＰＵ５は撮像された静止画像を表示部１５に表示させるが、本実施形態では、後述するように、操作部材４のモード設定釦によって撮像された静止画像の補正処理モードが設定された場合、ＣＰＵ５は、鑑賞者用撮像素子１２でその静止画像を鑑賞する鑑賞者の画像を取得して、鑑賞者の顔検出及び顔認識を行い、鑑賞者に応じてその静止画像を補正処理してから表示部１５に表示する。また、ＣＰＵ５は、画像処理部８に撮像した静止画像や動画等の画像処理や処理された画像をカードメモリ９や記憶部６への記録等の制御をも行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵが使用できる。
【００２４】
記憶部６は、電子カメラ１００が撮像した静止画像や動画等や、ＣＰＵ５が電子カメラ１００を制御するための制御プログラムを記憶する。さらに、記憶部６は、図２に示すような、鑑賞者の顔画像と口角や目尻等の顔のパーツ情報とからなる顔情報ファイルの名前を一覧にした鑑賞者データ表２０を記憶する。本実施形態における鑑賞者データ表２０は、ユーザによる操作部材４の操作によって設定更新することができる。なお、鑑賞者として鑑賞者データ表２０に登録される人物としては、家族や友人、或いは取引先のお客様等が考えられるが、そうした人物以外であってもよい。以下の説明において、あらかじめ複数人として、家族や友人等の顔情報ファイルの情報が、一覧として鑑賞者データ表２０に登録され記憶部６に記憶されているものとする。記憶部６に記憶されるこれらのプログラムやデータは、バス１６を介して、ＣＰＵ５から適宜参照することができる。記憶部６は、一般的なハードディスク装置、光磁気ディスク装置又は半導体メモリである任意の不揮発性メモリ等を適宜選択して用いることができる。
【００２５】
フレームメモリ７及びフレームメモリ１４には、半導体メモリのうち、任意の不揮発性の半導体を適宜選択して用いることができる。
【００２６】
画像処理部８は、デジタルフロントエンド回路で、フレームメモリ７、フレームメモリ１４及び記憶部６からの静止画像、動画又はスルー画等の画像データに対して、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行う。また、上述のように、本実施形態では、ＣＰＵ５に指示に応じて、表示部１５に表示する際の撮像された静止画像に対する露出補正、ソフトフォーカス補正、美肌補正、痩身補正又はしわ補正等の画像補正を鑑賞者に応じて行う。
【００２７】
カードＩ／Ｆ１０には、カードメモリ９が脱着可能に装着される。フレームメモリ７や記憶部６に記録された画像は、ＣＰＵ５の指示に基づいて画像処理部８で画像処理された後、Ｅｘｉｆ形式やＹＵＶ形式等のファイルとしてカードメモリ９に記録される。
【００２８】
表示部１５は、撮像素子２が撮像したスルー画等の動画や静止画像、鑑賞者に応じて画像補正された静止画像又はモード設定画面等を表示する。表示部１５には、液晶モニタ等を適宜選択して用いることができる。
【００２９】
次に、本実施形態に係る電子カメラ１００における、鑑賞者に応じて表示部１５に表示する静止画像を画像補正する補正処理について、図３のフローチャートを参照しながら説明する。なお、このような処理は、撮影者（ユーザ）自身や、撮影者が被写体である人物や第三者に、静止画像を電子カメラ１００の表示部１５を介して、撮像した静止画像を見せる場合等を想定している。
【００３０】
まず、ユーザにより操作部材４の電源釦が押されると、ＣＰＵ５は、電子カメラ１００の記憶部６に保持されている制御プログラムを読み込み、電子カメラ１００を初期化する。同時に、ＣＰＵ５は、記憶部６に記録されている鑑賞者データ表２０をそれぞれ読み込み、ＣＰＵ５内部のメモリ（不図示）に保持する。
【００３１】
次に、ユーザは、操作部材４のモード設定釦を用いて、撮像した静止画像を表示部１５に表示する際の画像補正モード等の設定を行う。本実施形態における電子カメラ１００の画像補正モードには、鑑賞者が誰であろうと画像補正するモード、鑑賞者が誰であろうと画像補正しないモード、及び被写体である人物と鑑賞者との関係に応じて画像補正を行うモードからなる。ユーザは、そのうちのいずれかを選択して設定する。本実施形態では、ユーザは、被写体である人物と鑑賞者との関係に応じて画像補正を行うモードに設定する。また、ユーザは、撮像した静止画像に対する画像補正処理の内容の設定も行うことができる。なお、以下の説明では、デフォルトとして、あらかじめ電子カメラ１００に設定されているソフトフォーカス補正、美肌補正及びしわ補正からなる画像補正処理に設定するものとする。
【００３２】
以上のような補正処理モード等の設定が終了すると、電子カメラ１００は、次のステップＳ１０からの処理を開始する。
【００３３】
ステップＳ１０：ＣＰＵ５は、ユーザからの被写体の撮像指示を受け付けるまで、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子２から間引き読み出しされる、被写体像のスルー画を表示部１５に表示して待機する（ＮＯ側）。ユーザによって操作部材４のシャッタレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断し、タイミングジェネレータ（不図示）を介して、撮像素子２に全画素による静止画像の本撮像を行う。ＣＰＵ５は、フレームメモリ７とバス１６を介して、静止画像を画像処理部８へ転送し、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行う。そして、ＣＰＵ５は、画像処理された静止画像をＥｘｉｆ形式等のファイル形式にして、記憶部６やカードメモリ９に記録し、ステップＳ１１（ＹＥＳ側）へ移行する。また、本実施形態では、ＣＰＵ５は、撮像されて画像処理部８による画像処理後の静止画像を、一時的に所定の時間の間（例えば、５秒間）、確認用のプレビュー画像として表示部１５に表示する。そして、ＣＰＵ５は、鑑賞者撮像素子１２によって認識された鑑賞者に応じた、以下の画像補正処理を行って再び表示するまでの間、表示部１５には何も表示ないものとする。
【００３４】
ステップＳ１１：ＣＰＵ５は、ユーザによって設定された画像処理モードが、鑑賞者が誰であろうと画像補正しないモードであるか否かを判定する。ＣＰＵ５は、画像補正をしないモードに設定されていると判定した場合には、ステップＳ１９（ＹＥＳ側）へ移行し、何の補正処理も行わないで撮像した静止画像を表示部１５に表示して、一連の処理を終了する。一方、ＣＰＵ５は、画像補正を行わないモードに設定されていないと判定した場合には、ステップＳ１２（ＮＯ側）へ移行する。
【００３５】
ステップＳ１２：ＣＰＵ５は、取得した静止画像において、被写体としての人物が写っているか否かを、顔検出に基づいて判定する。ここで、ＣＰＵ５が行う顔検出の手法は、公知である手法を適宜選択して行うことができる。具体的には、ＣＰＵ５は、静止画像からエッジ量等の画像特徴量の特徴点を抽出して、撮像されている各人物の顔の領域、大きさ等を検出する。ＣＰＵ５は、人物が撮像されていないと判定した場合には、ステップＳ１９（ＮＯ側）へ移行し、何の補正処理も行わないで撮像した静止画像を表示部１５に表示して、一連の処理を終了する。一方、人物が撮像されていると判定した場合には、ＣＰＵ５は、ステップＳ１３（ＹＥＳ側）へ移行する。
【００３６】
ステップＳ１３：ＣＰＵ５は、ステップＳ１２において検出した人物が誰であるかの顔認識を行う。ＣＰＵ５が行う顔認識の手法については、公知である手法を適宜選択して行うことができる。具体的には、ＣＰＵ５は、検出した人物の顔の特徴点に基づいて、顔の特徴点の位置や顔の口角や目尻等の顔パーツの大きさ等を求める。
【００３７】
ステップＳ１４：ＣＰＵ５は、タイミングジェネレータ（不図示）を介して、所定のフレームレート（例えば、３０ｆｐｓ）で、鑑賞者用撮像素子１２に鑑賞者を間引き読み出して、鑑賞者のスルー画を取得する。
【００３８】
ステップＳ１５：ＣＰＵ５は、ステップＳ１４で取得したスルー画中の鑑賞者の顔を検出するとともに顔認識する。ここで、ＣＰＵ５が行う顔検出及び顔認識の手法は、ステップＳ１２及びステップＳ１３での場合と同様に、公知である手法を適宜選択して行う。ＣＰＵ５は、検出した鑑賞者の顔画像及び顔認識した顔パーツの情報を取得する。
【００３９】
ステップＳ１６：ＣＰＵ５は、ステップＳ１２で検出した静止画像の人物の顔画像及びステップＳ１３で認識した顔パーツと、ステップＳ１５で検出した鑑賞者の顔画像及び顔認識した顔パーツとを用いて、静止画像の人物と鑑賞者とが同一人物であるか否かを判定する。具体的には、ＣＰＵ５は、ステップＳ１２で検出した静止画像の人物の顔画像及びステップＳ１３で認識した顔パーツと、ステップＳ１５で検出した鑑賞者の顔画像及び顔認識した顔パーツとを互いに比較して、特徴点の相対位置や大きさ等を調節しながら相似度を求める。ＣＰＵ５は、その相似度が所定値（例えば、８０％）以上ならば、静止画像の人物と鑑賞者とは同一人物であると判定し、ステップＳ１８（ＹＥＳ側）へ移行する。一方、相似度が所定値より小さい場合には、ＣＰＵ５は、静止画像の人物と鑑賞者とは同一人物でないと判定し、ステップＳ１７（ＮＯ側）へ移行する。
【００４０】
ステップＳ１７：ＣＰＵ５は、ステップＳ１５で検出した鑑賞者の顔画像及び顔認識した顔パーツを基に、鑑賞者が記憶部６に記憶されている鑑賞者データ表２０に登録された人物であるか否かの判定を行う。具体的には、ステップＳ１６の場合と同様に、ＣＰＵ５は、ステップＳ１５で検出した鑑賞者の顔画像及び認識した顔パーツと、鑑賞者データ表２０に登録されている各人物の顔画像及び顔情報とを互いに比較して、特徴点の相対位置や大きさ等を調節しながら相似度を求める。ＣＰＵ５は、その相似度が所定値（例えば、８０％）以上ならば、鑑賞者は鑑賞者データ表２０に登録されている人物であると判定して、ステップＳ１９（ＹＥＳ側）へ移行する。そして、例えば、登録されている人物が家族や友人等であるならば、ＣＰＵ５は、何の補正処理も行わないで撮像した静止画像を表示部１５に表示し、一連の処理を終了する。一方、相似度が所定値より小さい場合には、ＣＰＵ５は、鑑賞者は登録されていないと判定し、ステップＳ１８（ＮＯ側）へ移行する。
【００４１】
ステップＳ１８：ＣＰＵ５は、ステップＳ１６又はステップＳ１７における判定結果に基づいて、静止画像を画像処理部８に転送して、画像処理部８は、電子カメラ１００にあらかじめ設定されている内容の画像補正を静止画像に対して行う。
【００４２】
ステップＳ１９：ＣＰＵ５は、ステップＳ１８において画像処理部８で画像補正された静止画像、又は何も画像補正されなかった静止画像を表示部１５に表示し、一連の画像補正処理を終了する。
【００４３】
このように本実施形態は、鑑賞者用データ表２０の登録に基づいて、静止画像の人物及び鑑賞者を顔認識するとともに、鑑賞者と静止画像の人物との関係に応じて、静止画像の補正処理を行うことにより、鑑賞者に対して、静止画像を最適な状態で表示することができる。
【００４４】
また、そのような画像補正処理を行うことにより。静止画像に写っている人物にとっても、鑑賞者に対して好印象を与えることができる。
≪実施形態の補足事項≫
本実施形態では、被写体の本撮像の前に、ユーザが操作部材４のモード設定釦を用いて、画像補正モードを設定したが、本発明はこれに限定されない。例えば、ユーザが操作部材４のモード設定釦によって、風景モード、パーティーモード又は夜景モード等の撮影モードを設定した場合には、画像補正モードよりも優先されて、撮影モードに応じて所定の画像補正モードが強制的に設定されるようにしてもよい。
【００４５】
なお、本実施形態では、鑑賞者がいる場合についての画像補正処理について説明したが、本発明はこれに限定されない。例えば、ＣＰＵ５が、鑑賞者用撮像素子１２によって取得したスルー画中に鑑賞者を検出できなかった場合には、画像補正されていない静止画像を表示部１５に表示してもよいし、前の鑑賞者の時の画像補正された静止画像を表示し続けてもよい。
【００４６】
なお、本実施形態では、ＣＰＵ５は、撮像されて静止画像を画像処理部８による画像処理後、一時的に所定の時間の間、確認用のプレビュー画像として表示部１５に表示し、その後、鑑賞者撮像素子１２によって認識される鑑賞者に応じた画像補正がなされた後再び表示するまでの間、表示部１５には何も表示しないとしたが、本発明はこれに限定されず、画像補正された静止画像が表示されるまで、補正前の静止画像を表示部１５に表示してもよい。
【００４７】
なお、本実施形態では、ステップＳ１９において画像処理部８で画像補正された静止画像、又は何も画像補正されなかった静止画像を表示部１５に表示するとしたが、本発明はこれに限定されない。例えば、静止画像とともに、静止画像に対してどのような補正処理が行われたかを表示部１５に表示してもよい。
【００４８】
なお、本実施形態では、ステップＳ１７において、鑑賞者が鑑賞者データ表２０に登録されていない人物である場合、画像処理部８は、電子カメラ１００にあらかじめ設定されているデフォルトの画像補正処理を、静止画像に対して行ったが、本発明はこれに限定されない。例えば、ユーザが操作部材４を介して、画像補正処理の内容を任意に設定するようにしてもよい。
【００４９】
また、例えば、ＣＰＵ５は、ステップＳ１５で鑑賞者の顔認識（例えば、しわの多さ、表情、年齢推定等）に基づいて、小学生のような小さな子供、ご年配の方、男性又は女性等を判別し、画像補正の内容（画像補正を行わない場合も含む）を決定し、その内容で、画像処理部８に画像補正させるようにしてもよい。さらに、静止画像の人物と鑑賞者とが異性の関係である場合には、ＣＰＵ５は、画像処理部８に静止画像を画像補正させて、綺麗に見せるようにするのが好ましい。
【００５０】
また、静止画像の人物が、モデルや女優等のような場合には、鑑賞者全てに対して綺麗に表示してほしいと望むものと、一般的に考えられる。そこで、例えば、図５に示すように、所定の人物として複数のモデルや女優等の顔情報ファイルを一覧にした被写体データ表３０を記憶部６に記憶させておき、被写体データ表３０に登録されたモデルや女優等が撮像された時には、鑑賞者が誰であれ、必ず設定された内容の画像補正を行わせるようにして、表示部１５に綺麗に表示することが好ましい。
【００５１】
なお、本実施形態では、ＣＰＵ５は、画像処理部８に静止画像全体に対して補正処理を行ったが、本発明はこれに限定されない。例えば、静止画像に複数の人物が撮像された場合で、鑑賞者がその複数の人物のうちの１人である場合、ＣＰＵ５は、ステップＳ１２で顔検出した静止画像に写っている鑑賞者の領域に対してのみ、画像処理部８に画像補正を行うようにしてもよい。
【００５２】
なお、本実施形態では、電子カメラ１００について説明したが、本発明はこれに限定されず、図４に示すようなフォトフレームに対しても適用可能である。
【００５３】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００５４】
１ 撮像レンズ群、２ 撮像素子、３、１３ Ａ／Ｄ変換部、４ 操作部材、５ ＣＰＵ、６ 記憶部、７、１４ フレームメモリ、８ 画像処理部、９ カードメモリ、１０ カードＩ／Ｆ、１１ 鑑賞者用撮像レンズ群、１２ 鑑賞者用撮像素子、１５ 表示部、１６ バス、１００ 電子カメラ
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２００１−６７００４号公報
【特許請求の範囲】
【請求項１】
被写体である人物を撮像した被写体画像を入力する入力部と、
入力した前記被写体画像を表示する表示部と、
前記被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、
前記鑑賞者画像を用いて、前記鑑賞者の顔を検出する鑑賞者顔検出部と、
検出された前記鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、
前記鑑賞者に対する顔認識の結果に基づいて、前記被写体画像に対して画像補正を行う画像処理部と、
前記被写体画像から前記画像補正された被写体画像に表示を切り替える制御部と
を備えることを特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記被写体画像の人物の顔を検出する被写体顔検出部と、
検出された前記人物の顔の各部分に基づいて顔認識を行う被写体顔認識部と、
顔認識された前記人物と前記鑑賞者とが同一人物か否かを判定する人物判定部とをさらに備え、
前記画像処理部は、
前記人物判定部によって前記人物と前記鑑賞者とが同一人物であると判定された場合には、前記被写体画像に対して前記画像補正を行う
ことを特徴とする表示装置。
【請求項３】
請求項１または請求項２に記載の表示装置において、
前記画像処理部による前記画像補正の実行の有無を設定可能な操作部材をさらに備えることを特徴とする表示装置。
【請求項４】
請求項１または請求項２に記載の表示装置において、
複数の鑑賞者の顔情報を記憶する記憶部と、
前記鑑賞者顔認識部によって顔認識された前記鑑賞者と前記記憶部における前記複数の鑑賞者の顔情報のいずれかと一致するか否かの判定を行う鑑賞者判定部とをさらに備え、
前記画像処理部は、
前記鑑賞者判定部が一致すると判定した場合には、前記被写体画像に対して前記画像補正を行わず、前記鑑賞者判定部が一致しないと判定した場合には、前記被写体画像に対して前記画像補正を行う
ことを特徴とする表示装置。
【請求項５】
請求項２に記載の表示装置において、
前記画像処理部は、
前記人物判定部によって前記人物と前記鑑賞者とが同一人物であると判定された場合には、前記画像補正を、前記被写体画像のうち前記被写体顔検出部によって検出された前記人物が撮像されている画像領域のみに対して行う
ことを特徴とする表示装置。
【請求項６】
請求項２または請求項５に記載の表示装置において、
前記被写体顔認識部によって顔認識された前記人物と前記鑑賞者顔認識部によって顔認識された前記鑑賞者とが、互いに異性であるか否かを判定する異性判定部をさらに備え、
前記画像処理部は、前記異性判定部が互いに異性であると判定した場合には、前記被写体画像に対して前記画像補正を行う
ことを特徴とする表示装置。
【請求項７】
請求項２または請求項５に記載の表示装置において、
前記被写体となる複数の所定の人物の顔情報をあらかじめ記憶する記憶部と、
前記被写体顔認識部によって顔認識された前記人物と前記記憶部における前記複数の所定の人物の顔情報のいずれかと一致するか否かの判定を行う被写体判定部とをさらに備え、
前記画像処理部は、前記被写体判定部が一致すると判定した場合には、前記被写体画像に対して前記画像補正を行う
ことを特徴とする表示装置。
【請求項８】
被写体である人物を撮像して被写体画像を生成する撮像部と、
請求項１ないし請求項７のいずれかに記載の表示装置と
を備えることを特徴とする撮像装置。
【請求項１】
被写体である人物を撮像した被写体画像を入力する入力部と、
入力した前記被写体画像を表示する表示部と、
前記被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、
前記鑑賞者画像を用いて、前記鑑賞者の顔を検出する鑑賞者顔検出部と、
検出された前記鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、
前記鑑賞者に対する顔認識の結果に基づいて、前記被写体画像に対して画像補正を行う画像処理部と、
前記被写体画像から前記画像補正された被写体画像に表示を切り替える制御部と
を備えることを特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記被写体画像の人物の顔を検出する被写体顔検出部と、
検出された前記人物の顔の各部分に基づいて顔認識を行う被写体顔認識部と、
顔認識された前記人物と前記鑑賞者とが同一人物か否かを判定する人物判定部とをさらに備え、
前記画像処理部は、
前記人物判定部によって前記人物と前記鑑賞者とが同一人物であると判定された場合には、前記被写体画像に対して前記画像補正を行う
ことを特徴とする表示装置。
【請求項３】
請求項１または請求項２に記載の表示装置において、
前記画像処理部による前記画像補正の実行の有無を設定可能な操作部材をさらに備えることを特徴とする表示装置。
【請求項４】
請求項１または請求項２に記載の表示装置において、
複数の鑑賞者の顔情報を記憶する記憶部と、
前記鑑賞者顔認識部によって顔認識された前記鑑賞者と前記記憶部における前記複数の鑑賞者の顔情報のいずれかと一致するか否かの判定を行う鑑賞者判定部とをさらに備え、
前記画像処理部は、
前記鑑賞者判定部が一致すると判定した場合には、前記被写体画像に対して前記画像補正を行わず、前記鑑賞者判定部が一致しないと判定した場合には、前記被写体画像に対して前記画像補正を行う
ことを特徴とする表示装置。
【請求項５】
請求項２に記載の表示装置において、
前記画像処理部は、
前記人物判定部によって前記人物と前記鑑賞者とが同一人物であると判定された場合には、前記画像補正を、前記被写体画像のうち前記被写体顔検出部によって検出された前記人物が撮像されている画像領域のみに対して行う
ことを特徴とする表示装置。
【請求項６】
請求項２または請求項５に記載の表示装置において、
前記被写体顔認識部によって顔認識された前記人物と前記鑑賞者顔認識部によって顔認識された前記鑑賞者とが、互いに異性であるか否かを判定する異性判定部をさらに備え、
前記画像処理部は、前記異性判定部が互いに異性であると判定した場合には、前記被写体画像に対して前記画像補正を行う
ことを特徴とする表示装置。
【請求項７】
請求項２または請求項５に記載の表示装置において、
前記被写体となる複数の所定の人物の顔情報をあらかじめ記憶する記憶部と、
前記被写体顔認識部によって顔認識された前記人物と前記記憶部における前記複数の所定の人物の顔情報のいずれかと一致するか否かの判定を行う被写体判定部とをさらに備え、
前記画像処理部は、前記被写体判定部が一致すると判定した場合には、前記被写体画像に対して前記画像補正を行う
ことを特徴とする表示装置。
【請求項８】
被写体である人物を撮像して被写体画像を生成する撮像部と、
請求項１ないし請求項７のいずれかに記載の表示装置と
を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１６９９５４（Ｐ２０１０−１６９９５４Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１３１３４（Ｐ２００９−１３１３４）
【出願日】平成２１年１月２３日（２００９．１．２３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２３日（２００９．１．２３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]