画像表示装置、画像表示方法、及びプログラム
【課題】主要被写体と背景部とを分離して分析し、懐かしさを想起させる写真を確実に検索して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供すること。
【解決手段】サーバ400に画像データが入力された場合に、その画像データにおける人物の顔部と背景部とを分け、顔部における顔の表情と背景部における被写体の種類とからなつかしい度を求める。懐かしさを想起させる画像の再生時には画像データ毎のなつかしい度に応じて画像データを選択し、選択した画像をPC500において再生する。
【解決手段】サーバ400に画像データが入力された場合に、その画像データにおける人物の顔部と背景部とを分け、顔部における顔の表情と背景部における被写体の種類とからなつかしい度を求める。懐かしさを想起させる画像の再生時には画像データ毎のなつかしい度に応じて画像データを選択し、選択した画像をPC500において再生する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置、画像表示方法、及びプログラムに関する。
【背景技術】
【0002】
近年、記録媒体の大容量化に伴い、フィルム写真時代に比べて大量の写真が撮影されるようになっている。また、こうした写真はデジタル画像で得られるので、ネットワーク等を介して様々な場所に送ることが容易である。
【0003】
また、過去のフィルム写真もスキャナ等を利用してデジタル化することにより、どこでも玉石混淆の画像を鑑賞可能になっている。
【0004】
このように、近年では大量の画像を取得できるようになった反面、その中から見たい画像を検索するには大変な努力を要するようになってきている。以前のように、記念写真のような機会にしか撮影がなされなかった時代では、写真を整理するのも比較的容易であり、また、整理されているため検索も容易であるが、近年のような、写真が日常的に大量に撮られるようになると、どこに必要な画像があるかを見つけるのは難しい。
【0005】
このような画像の検索に関する技術に関して、特許文献1において提案されているものがある。この特許文献1の提案は、鉄道路線の駅周辺等を撮影した画像を、データベースから読み出して年代を特定し、特定した画像を年代順に表示させるものである。
【特許文献1】特開2005−184785号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ここで、特許文献1のように、単に年代を確定しても必ずしも懐かしい画像を検索できるとは限らず、実際には主要被写体部と背景部とを分けて考えないと検索できない場合がある。なぜなら、懐かしさは感情に属するもので、撮影当時の人物の表情や撮影当時に一緒にいた人等が重要な要因となるためである。また、人物の表情からは、年代を特定することが出来ないため、その人物の写っている写真が古い写真であるか否かを判定することは難しい。このような年代の特定の確度は背景部を利用する方が上がる。
【0007】
本発明は、上記の事情に鑑みてなされたものであり、主要被写体と背景部とを分離して分析し、懐かしさを想起させる写真を確実に検索して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の目的を達成するために、本発明の第1の態様の画像表示装置は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置において、上記画像における顔の表情を検出する顔画像検出部と、上記顔以外の背景部分の画像を検出する背景画像検出部と、上記顔の表情及び上記背景部分の画像から上記画像の表示優先度を評価する画像評価部と、上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部とを備えたことを特徴とする。
【0009】
また、上記の目的を達成するために、本発明の第2の態様の画像表示方法は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示方法において、上記画像における顔部分を検出し、上記顔部分以外の背景部分の画像を検出し、上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価し、上記表示優先度に応じた優先順位で上記画像を表示させることを特徴とする。
【0010】
また、上記の目的を達成するために、本発明の第3の態様の画像表示プログラムは、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示プログラムにおいて、上記画像における顔部分を検出するステップと、上記顔部分以外の背景部分の画像を検出するステップと、上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価するステップと、上記表示優先度に応じた優先順位で上記画像を表示させるステップとをコンピュータに実行させる。
【発明の効果】
【0011】
本発明によれば、主要被写体と背景部とを分離して分析し、懐かしさを想起させる写真を確実に検索して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【0012】
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラ100の構成を示すブロック図である。図1に示すデジタルカメラ100は、マイクロプロセッシングユニット(MPU)101と、操作部102と、撮影レンズ103と、オートフォーカス(AF)回路104と、絞り機構105と、絞り制御回路106と、撮像素子107と、アナログフロントエンド(AFE)回路108と、画像処理回路109と、表示制御回路110と、表示パネル111と、形状検出回路112と、距離検出回路113と、顔検出回路114と、圧縮/伸張部115と、記録制御回路116と、記録メディア117と、通信部118と、補助光発光回路119とを有して構成されている。また、このデジタルカメラ100は、ネットワーク300を介してサーバ400、PC500と通信自在に接続されている。
【0013】
MPU101は、ユーザからの操作部102の操作に応じてデジタルカメラ100を構成する各ブロックをシーケンシャルに制御する。操作部102は、デジタルカメラ100による撮影を実行させるためのレリーズスイッチや、デジタルカメラ100の動作モードを撮影モード、再生モード、ダイジェスト再生モードの何れかに切り替えるための切り替えスイッチ、サーバ400から得られる情報表示のオンオフを切り替えるスイッチ等が含まれる。
【0014】
また、MPU101は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。
【0015】
撮影レンズ103は、被写体200からの像を撮像素子107に結像させる。この撮影レンズ103は、オートフォーカス(ピント合わせ)用のレンズを含んでいる。オートフォーカスの際に、MPU101は、ピント合わせレンズのレンズ位置をモニタしつつ、AF回路104を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ103のピント合わせを行う。また、絞り機構105は、撮影レンズ103内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構105は、撮影開始時に絞り制御回路106によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時の絞り機構105の口径を変えることによって、撮影レンズ103の被写界深度が変化する。これによって、背景被写体のぼけ具合等を調整して、撮影時に主要被写体を浮かび上がらせたり、背景被写体をしっかりと描写したりするなどの表現の切替を行うことができる。
【0016】
撮像素子107は、多数の画素が配列されて構成される受光面を有し、撮影レンズ103を介して受光した被写体200からの像を電気的な信号に変換する。本実施形態においては、撮像素子107にはCCD方式及びCMOS方式の何れを用いても良い。
【0017】
AFE回路108は、CDS回路、ゲイン調整回路、AD変換回路等を含み、撮像素子107において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路109に入力する。また、AFE回路108には、撮像素子107を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、AFE回路108によって、4画素(2×2画素)や9画素(3×3画素)の信号をまとめて読み出し、これら読み出した電気信号を加算することでS/Nを向上させることができる。このような処理によって、撮像素子107の見かけ上の感度を上げること等ができる。
【0018】
さらに、AFE回路108は、撮像素子107からの出力信号を取捨選択する機能も有し、撮像素子107の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することもできる。一般に、撮像素子107は間引きを行うことで高速で信号を読み出すことができる。この機能を利用して、撮像素子107で構図確認用に得られた画像を高速で読み出して画像処理回路109において処理してから表示パネル111に表示すれば、ユーザは表示パネル111上に表示される画像を利用してフレーミングを行うことが可能である。
【0019】
画像処理回路109は、AFE回路108から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。
【0020】
また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路109は、AFE回路108から入力される画像データを表示パネル111に表示可能なようにリサイズ(縮小)する機能も有する。
【0021】
表示制御回路110は、画像処理回路109で得られた画像データや記録メディア117に記録されている画像データを映像信号に変換し、表示パネル111に表示させる。表示パネル111は液晶表示パネルや有機EL表示パネル等の表示パネルである。また、表示制御回路110は、表示パネル111に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。
【0022】
形状検出回路112は、画像処理回路109によって得られる画像データにおける輪郭情報を検出する。
【0023】
距離検出回路113は、画像処理回路109によって得られる画像のコントラストを検出する。この距離検出回路113によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、AF回路104によって撮影レンズ103のピント合わせレンズのレンズ位置を変化させながら、距離検出回路113によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ103のピント合わせを行うことができる。また、ピント合わせ時のレンズ位置の情報によって、主要被写体の距離や背景被写体の距離等を検出することも可能である。
【0024】
顔検出回路114は、画像処理回路109によって得られる画像内の特徴点(例えば、主要被写体が人物等であれば、目や鼻、口等)の分布から、主要被写体の特に顔部分の画像を検出する。
【0025】
これら形状検出回路112、距離検出回路113、顔検出回路114は、写真の質の向上という意味では、写真撮影時にユーザがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するため(ポートレートモードに設定するなど)に利用される。また、画像の再生時には、顔検出回路114による顔検出の機能によって、その画像のうち、主要被写体(の顔部分)と背景部とを分けることが可能である。これにより、顔部分から目や口の形を検出し、それを後述する記録制御回路116内のデータベース116aと比較して無表情の顔か、或いは表情のある顔かを判定することができる。また、顔検出回路114によって検出した顔が画像内にいくつあるかを判定することによって、その画像が集合写真であるかを判定することができる。
【0026】
圧縮/伸張部115は、撮影時に、画像処理回路109において処理された画像データを圧縮するとともに、撮影時に記録制御回路116を介して記録メディアから読み出した画像データを伸張する。
【0027】
記録制御回路116は、圧縮/伸張部115で圧縮された画像データに撮影時刻等の付随データを付随させて記録メディア117に記録する。また、記録制御回路116は、顔部分等の画像を比較したりするためのデータベース116aを有している。このデータベース116aの内容は、カメラ製造時に記録してもよいが、デジタルカメラ100外部のサーバ400等からネットワーク経由で書き換え可能としてもよい。
【0028】
通信部118は、記録メディア117に記録された画像データ等をデジタルカメラ100外部のパーソナルコンピュータ(以下、PCと称する)500やサーバ400等に送信したり、サーバ400等から各種の情報を受信したりする際の通信制御を行う。この通信部118によって、デジタルカメラ100で撮影した画像を他の人に転送したり、ネットワーク上のサービス(例えば、ネットワーク接続されたサイト等と連携したサービス)を利用して、情報を付加したり、受信したりすることができる。
【0029】
補助光発光回路119は、撮影時の状況に応じて被写体200に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。
【0030】
このような構成のデジタルカメラ100において、本実施形態では、多くの画像の中から、思い出を想起させやすい画像を選択して表示する、ダイジェスト再生を可能とする。即ち、ユーザが操作部102を操作してデジタルカメラ100の動作モードをダイジェスト再生モードとすると、記録メディア117に記録されている画像のうち、時代特定がしやすく、感情に訴えかけやすい画像が選択されて、その画像が優先的に表示パネル111に表示される。
【0031】
以下、ダイジェスト再生モードによる再生についてさらに説明する。なお、以下の説明においてはダイジェスト再生モードの機能をデジタルカメラ100外部のサーバ上で実現する例について説明する。しかしながら、後述するサーバの機能をデジタルカメラ100のMPU101等に持たせることにより、デジタルカメラ100においてもダイジェスト再生モードでの再生が可能となる。
【0032】
図2は、本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。図2に示す通信システムは、サーバ400、PC500、PC600がネットワーク300を介してデータ通信自在に接続されている。さらに、PC600にはデジタルカメラ100及びスキャナ700から画像データが入力され、この画像データは、ネットワーク300を介してサーバ400に送信可能になされている。ここで、図2の例は、1つのサーバ400内にデータベースや画像の判定機能を持たせたものである。これらの機能を複数のサーバに配分して、より負担の軽いシステムとすることもできる。
【0033】
なお、以下に説明する通信システムは、例えば家族の年代史のような画像を整理する場合等、1枚ずつ画像を吟味するには、画像データの量が多すぎるような状況を対策することができるシステムである。
【0034】
デジタルカメラ100で撮影した写真画像データやスキャナ700で取り込まれた写真画像データ(画像データ800)がPC600、ネットワーク300を介して送信される。ここで、デジタルカメラ100で得られる画像データには撮影日時やタイトルなどの付随情報が付与されるが、撮影時に得られる画像における顔位置のデータ等を付与しておいてもよい。顔位置のデータ等を付与しておくことで、サーバ400において、後述する顔検出が不要となるため、サーバ400の処理量を削減することが可能である。
【0035】
ネットワーク300には、そこに行きかう情報を駆使して各種のサービスを行う、サーバ400が存在する。本実施形態においては、ユーザによってダイジェスト再生モードが選択されると、サーバ400において、PC600から送られた画像データ800の中から、昔を懐かしむことのできる画像データ900が選択され、この選択された画像データ900に基づき、画像がPC500において閲覧可能なように表示制御される。これによってデジタルカメラ100で撮影された写真画像やスキャナ700で取り込まれた画像を他のユーザが共有することが可能である。
【0036】
このようなサーバ400は、通信部401と、記録部402と、アクセス反応部403と、顔検出部404と、表情検出部405と、背景検出部406と、画像判定部407と、年代別データベース408と、画像選択部409と、表示制御部410とを有している。ここで、サーバ400の各機能はハードウェアで構成しても良いし、ソフトウェアとして構成することもできる。
【0037】
通信部401は、サーバ400がネットワーク300を介して通信を行う際の通信制御を行う。記録部402は、ネットワーク300を介して送信されてくる画像データを記録する。アクセス反応部403は、ユーザから何らかの操作指示がなされた場合にその指示に応じた制御を行う。具体的には、ユーザから画像データの記録指示がなされた場合にはこの指示ととともに送信されてきた画像データを記録部402に記録する。一方、ユーザから画像データの再生指示がなされた場合にはそのときの再生モードに応じた画像選択指示を画像選択部409に行う。ここで、アクセス反応部403は、再生モードとして、上述したダイジェスト再生モードを少なくとも有しているものである。
【0038】
顔検出部404は記録部402に記録された画像における顔部を検出する。顔部は、デジタルカメラ100の顔検出回路114と同様に、画像内の特徴点(例えば、主要被写体が人物等であれば、目や鼻、口等)の分布から検出することが可能である。表情検出部405は顔検出部404において検出された顔部の画像から、その顔部の表情を検出することでダイジェスト再生モードの際の画像の表示優先度を評価する。
【0039】
背景検出部406は記録部402に記録された画像における背景部を検出する。ここでの背景部とは、画像800のうち、例えば図示破線枠801で示す人物以外の部分である。処理を簡単にするために、人物の顔部以外(人物の体も含む)を背景部として検出するようにしても良い。説明を簡単にするために、以下の説明においては、顔検出部404によって検出された顔部以外を背景として検出するものとする。画像判定部407は、背景検出部406によって検出された背景部において、文字等の思い出を想起させやすい被写体の有無を判定することでダイジェスト再生モードの際の画像の表示優先度を評価する。年代別データベース408は画像判定部407における思い出を想起させやすい被写体の判定に必要な各種データを年代別に記録している。例えば、年代別データベースには、年代別の文字の字体やキャッチフレーズのデータ、服装、乗り物のデータ等が記録されている。
【0040】
画像選択部409は、アクセス反応部403からの指示に従った画像データを記録部402から選択する機能を有するとともに、ユーザによってダイジェスト再生モードが選択された場合には表情検出部405によって検出された表情と画像判定部407によって判定された被写体とから思い出を想起させやすい画像データを選択する機能を有する。表示制御部410は、画像選択部409によって選択された画像データをPC500で閲覧可能なように表示制御する。
【0041】
以下、図2に示す通信システムの動作について説明する。図3は、図2のサーバ400の動作を示すフローチャートである。
【0042】
ユーザから何らかの操作指示がなされた場合に、サーバ400のアクセス反応部403は、その指示が画像データの記録指示(画像データのアップロード指示)か、画像データの再生指示(画像データのダウンロード指示)かを判定する(ステップS1)。ステップS1の判定において画像の記録指示であった場合に、アクセス反応部403は、ユーザからの画像記録指示とともに送信されてきた画像データを記録部402に記録する(ステップS2)。
【0043】
以下のステップS3〜ステップS7の処理はダイジェスト再生モード時の画像データの再生をスムーズに行うための処理である。これらの処理は後述するダイジェスト再生モード時に行うようにしても良い。ステップS2において画像データを記録部402に記録した後、顔検出部404及び背景検出部406によって、記録部402に記録された画像データの背景部を検出する(ステップS3)。ステップS3の処理の詳細については後述する。
【0044】
背景部が検出された後、画像判定部407は、画像内に懐かしさを想起させる被写体を含む画像が存在しているか否かを判定する(ステップS4)。このステップS4の判定の詳細については後述する。ステップS4の判定において、画像内に懐かしさを想起させる被写体を含む画像が存在している場合に、画像判定部407は、懐かしさを想起させる被写体を含む画像を識別するための符号として、例えばステップS4の判定の際に得られる「なつかしい度」を画像データと対応付けて記録部402に記録する(ステップS5)。なお、詳細は後述するが、「なつかしい度」とは懐かしさを数値化するための指標のことであり、この「なつかしい度」が高い画像程、ダイジェスト再生モード時における表示優先度が高くなる。一方、ステップS4の判定において、画像内に懐かしさを想起させる被写体が存在していない場合には、ステップS5の処理をスキップする。
【0045】
次に、サーバ400の表情検出部405は、顔検出部404において検出された顔部の画像が懐かしさを誘う表情の画像であるか否かを判定する(ステップS6)。このステップS6の判定の詳細については後述する。ステップS6の判定において、顔部の画像が懐かしさを誘う表情の画像である場合に、表情検出部405は、懐かしさを誘う表情の画像を識別するための符号として、例えばステップS6の判定の際に得られる「なつかしい度」を画像データと対応付けて記録部402に記録する(ステップS7)。なお、ステップS5において「なつかしい度」が既に記録されている場合にはステップS5の結果にステップS6で得られる「なつかしい度」を加算又は乗算して記録する。その後に図3の処理を終了する。一方、ステップS6の判定において、顔部の画像が懐かしさを誘う表情の画像でない場合には、ステップS7の処理をスキップする。
【0046】
また、ステップS1の判定において画像の再生指示であった場合に、アクセス反応部403は、その再生指示がダイジェスト再生モードの再生であるか否かを判定する(ステップS8)。ステップS8の判定において、ダイジェスト再生モードの再生である場合に、アクセス反応部403は、画像選択部409にダイジェスト再生モード用の画像選択指示を送る。これを受けて画像選択部409は、記録部402に記録されている画像データの中から「なつかしい度」が付帯されている画像データを抽出する(ステップS9)。そして、画像選択部409は、抽出した画像データの中から、「なつかしい度」が高いものを選択する(ステップS10)。これは、「なつかしい度」が最も高い画像データのみを選択するようにしても良いし、「なつかしい度」が所定の閾値よりも高い画像データを全て選択するようにしても良い。「なつかしい度」の高い画像データが選択された後、表示制御部410は、画像選択部409において選択された画像データを年代が古い順にPC500に表示させるように制御する(ステップS11)。その後に図3の処理を終了する。ここで、厳密な年代特定ができるとは限らないので、ステップS11の表示順は、ある程度の自由度を認めても良い。また、表示の際に「なつかしい度」の高い画像ほど、表示の際の拡大率を大きくするようにしてもよい。
【0047】
また、ステップS8の判定において、ダイジェスト再生モードの再生でない場合に、アクセス反応部403は、表示制御部410に記録部402に記録されている画像の一覧表示をPC500に表示させるように指示を送る(ステップS12)。この場合には、ユーザによって選択された画像が画像選択部409によって選択された後、表示制御部410の制御の下、PC500に表示させる。
【0048】
図4は、図3のステップS3の背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。なお、顔検出処理は必ずしも図4に示す処理に限るものではない。また、図4に示す顔検出処理はデジタルカメラ100の顔検出回路114において行う処理と同一の処理である。
【0049】
まず、顔検出部404は、記録部402から画像データを読み出し、その画像における陰影を強調する(ステップS101)。これは、画像のコントラストを強調する処理である。例えば、図5に示す画像800に対して陰影強調処理を施した場合、顔部付近802の画像は、参照符号803で示すように影のある部分や輪郭部分が強調された画像となる。
【0050】
画像の陰影を強調した後、顔検出部404は目鼻部のパターンの設定を行う(ステップS102)。図5の参照符号804で目鼻部パターンの一例を示している。この目鼻部パターン804と陰影強調後画像803とのマッチング処理によって顔検出を行うわけであるが、通常、撮影によって得られる画像における顔の大きさや向きは様々であるため、目鼻部パターン804も顔の向きや大きさに対応して複数用意しておく。ステップS102の処理は、複数用意しておいた目鼻部パターン804の中から1つを設定する処理である。
【0051】
次に、顔検出部404は、陰影強調後画像(実際には顔部付近802以外も含まれている)803と目鼻部パターン804との間でマッチング処理を行う(ステップS103)。これは、目鼻部パターン804によって陰影強調後画像803を走査しながら両者の一致度を例えば相関演算によって求める処理である。このマッチング処理の後、顔検出部404は、目鼻部パターン804がマッチングした位置が存在していたか否か、即ち陰影強調後画像803と目鼻部パターン804との一致度が所定量以上高い位置が画像内に存在していたかを判定する(ステップS104)。ステップS104の判定において、マッチング位置が存在していた場合に、顔検出部404はその位置の画像を顔部の画像として検出する(ステップS105)。
【0052】
一方、ステップS104の位置において、マッチング位置が存在していない場合には、画像内の顔部の向きや大きさが目鼻部パターン804と異なっている可能性がある。また、画像内に複数の顔部が存在している場合には1つの目鼻部パターン804で全ての顔部を検出できるとは限らない。そこで、ステップS104の判定においてマッチング位置が存在していない場合、若しくはステップS105の後、顔検出部404は、顔検出処理を終了するか否かを、全ての目鼻部パターン804を用いてマッチング処理を行ったか否かを判定することによって判定する(ステップS106)。ステップS106の判定において、まだ、全ての目鼻部パターン804を用いてマッチング処理を行っていない場合に、顔検出部404は、別の目鼻部パターンに切り替えた後(ステップS107)、ステップS103に戻り、再びマッチング処理を行う。一方、全ての目鼻部パターン804を用いてマッチング処理を行った場合には、顔部の位置情報を背景検出部406に出力して顔検出処理を終了する。これを受けて背景検出部406は、ステップS105において検出された顔部以外を全て背景部の画像として検出する(ステップS108)。このようにして背景部が検出されると、処理が図3のステップS4に進む。
【0053】
図6は、図3のステップS4の懐かしさを想起させる被写体が存在しているか否かの判定処理について示すフローチャートである。ここで、本実施形態においては、背景部の画像の中に、懐かしさを想起させる被写体が存在している場合には、その被写体の年代特定のしやすさに応じて「なつかしい度」を設定する。この「なつかしい度」の高い被写体ほど、年代特定がしやすく、またそれを見たユーザに懐かしさを想起させやすい。
【0054】
図6において、画像判定部407は、まず背景部の画像内に、駅名や看板等の文字を含む被写体が存在しているか否かを判定する(ステップS201)。このために画像判定部407は図7に示す文字検出処理を行う。
【0055】
ここで、図7及び図8を参照してステップS201の判定を行うための文字検出処理について説明する。図7は図6のステップS201の判定において用いられる文字検出処理の一例を示すフローチャートである。また、図8は図7の文字検出処理の概念について説明するための図である。
【0056】
文字検出は、図8に示す文字画像の線部分805と線部分805の間に存在する空白部分806とをそれぞれ検出することにより行う。
【0057】
まず、画像判定部407は背景部の画像のコントラストを強調してコントラスト強調画像I1を取得する(ステップS2011)。次に、画像判定部407は背景部の画像を2値化して2値化画像I2を取得する(ステップS2012)。
【0058】
その後、画像判定部407はコントラスト強調画像I1と2値化画像I2との差分からコントラスト強調画像I1と2値化画像I2の一致度を求める(ステップS2013)。そして、画像判定部407は背景部の画像内にコントラスト強調画像I1と2値化画像I2の一致度が大きい部分(即ち差分が小さい部分)があるか否かを判定する(ステップS2014)。ステップS2014の判定において、コントラスト強調画像I1と2値化画像I2の一致度が大きい部分がない場合に、画像判定部407は背景部の画像内に文字を含む被写体は存在しないと判定する(ステップS2017)。
【0059】
一方、ステップS2014の判定において、コントラスト強調画像I1と2値化画像I2の一致度が大きい部分がある場合に、画像判定部407はその部分が線画像で構成されていると判定する。そして、画像判定部407は一致度が高い部分の周囲の画像を検出する(ステップS2015)。そして、検出した部分の画像内に空白部、即ち低コントラスト部が多く占めているか否かを判定する(ステップS2016)。ステップS2016の判定において、空白部が少ない場合に、画像判定部407はその部分の画像が文字画像の特徴を有しておらず、文字画像は存在しないと判定する(ステップS2017)。一方、ステップS2016の判定において、空白部が多い場合に、画像判定部407はその部分の画像が文字画像の特徴を有しており、文字を含む被写体が存在していると判定する(ステップS2018)。
【0060】
ここで、再び図6の説明に戻る。ステップS201の判定において、背景部の画像内に、文字を含む被写体が存在している場合に、画像判定部407は「なつかしい度」に5点を加える(ステップS202)。即ち、文字情報は、その当時に行った場所や当時の雰囲気を読み取る明確な材料となりうるので、懐かしさを想起させやすい情報と考えられる。したがって、「なつかしい度」の点数を高めにしている。「なつかしい度」を設定した後、画像判定部407は、検出した文字を年代別データベース408に記録されている文字画像と照合して年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0061】
一方、ステップS201の判定において、背景部の画像内に、文字を含む被写体が存在していない場合に、画像判定部407は、背景部の画像内に、乗り物被写体が含まれているか否かを、例えば年代別データベース408に記録されている乗り物画像とのマッチングをとることによって判定する(ステップS203)。ステップS203の判定において、背景部の画像内に乗り物被写体が含まれている場合に、画像判定部407は「なつかしい度」に4点を加える(ステップS204)。即ち、電車やバス等の乗り物も看板や標識等の文字と同様に、場所を特定したり年代による変遷を示したりしやすいので、文字情報の次に「なつかしい度」を高くしている。「なつかしい度」を設定した後、画像判定部407は、検出した乗り物被写体より年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0062】
一方、ステップS203の判定において、背景部の画像内に、乗り物被写体が含まれていない場合に、画像判定部407は、背景部の画像内に、流行の服を着ている被写体が含まれているかを、例えば年代別データベース408に記録されている流行服画像とのマッチング(襟や袖の形やネクタイの太さや色合い等も利用)をとることによって判定する(ステップS205)。ステップS205の判定において、背景部の画像内に流行の服を着ている被写体が含まれている場合に、画像判定部407は「なつかしい度」に3点を加える(ステップS206)。「なつかしい度」を設定した後、画像判定部407は、検出した流行服の年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0063】
一方、ステップS205の判定において、背景部の画像内に、流行の服を着ている被写体が含まれていない場合に、画像判定部407は、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものであるか否かを判定する(ステップS207)。ステップS207の判定において、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものである場合に、画像判定部407は「なつかしい度」に2点を加える(ステップS208)。即ち、建物や室内が明確に写っている場合も場所を特定する要素が写りこんでいるとして「なつかしい度」に点数を加えるようにしている。「なつかしい度」を設定した後、画像判定部407は、検出した建物被写体や室内の画像から年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0064】
一方、ステップS207の判定において、背景部の画像内に、建物被写体が含まれておらず、又は画像が室内で撮影されたものでもない場合に、画像判定部407は、背景部の画像における地面が舗装されているか否かを判定する(ステップS209)。ステップS209の判定において、背景部の画像における地面が舗装されたものでない場合に、画像判定部407は「なつかしい度」に1点を加える(ステップS210)。即ち、市街地等で地面の舗装がなされていない画像は古い画像と考えられるので、この場合にも「なつかしい度」に点数を加えるようにする。「なつかしい度」を設定した後、画像判定部407は、検出した地面の舗装の具合から年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0065】
一方、ステップS209の判定において、背景部の画像における地面が舗装されている場合には「なつかしい度」に点数を加えずに、図6の処理を抜ける。この場合には、図3のステップS4の判定において、背景部の画像内に懐かしさを想起させる被写体が存在していないと判定される。
【0066】
図6の処理のような「なつかしい度」の判定によって、背景に年代を想起せしめる被写体を含む画像を優先して表示させることができる。なお、図3のステップS4の処理においては、証明写真のように単なる壁を背景とする画像や、空や山のみを背景とする画像では「なつかしい度」が高まらない。また、図3のステップS4の処理では自然を前にした集合写真等でも「なつかしい度」は高まらない。しかしながら、このような集合写真は懐かしさを想起させる画像となりうるので、このような画像を判定するためにステップS6における人物の表情が懐かしさを想起させる表情であるか否かの判定を行う。
【0067】
図9〜図12を参照して、図3のステップS6の懐かしさを誘う表情であるか否かの判定処理について説明する。ここで、以下に説明する処理における「懐かしさを誘う表情」とは、必ずしも個々人の泣き笑いといった表情のみを示すものではなく、一緒に写っている人との関係性も含めて判定する。したがって、無表情でも、多くの人とかしこまって写っているものは、その場に相応しい表情であるので、これも懐かしい表情としてカウントできるようにする。
【0068】
図9は、人物の泣き笑いといった「顔の表情に応じたなつかしい度」を求めるためのフローチャートである。また、図12は、画像内に複数の人物が存在する場合の、「その人物同士の関係性に応じたなつかしい度」を求めるためのフローチャートである。
【0069】
まず、図9から説明する。表情検出部405は、顔検出部404において検出された顔部の画像からその表情を検出する(ステップS301)。
【0070】
ここで、図10及び図11を参照して表情検出処理について説明する。図10は図9のステップS301の表情検出処理の一例を示すフローチャートである。また、図11は図10の表情検出処理の概念について説明するための図である。
【0071】
まず、表情検出部405は、顔部の画像の陰影分布から、目部、鼻部、口部を検出する(ステップS3011)。次に、表情検出部405は、検出した目部、鼻部、口部の位置関係から、顔が正面を向いているか否かを判定する(ステップS3012)。ステップS3012においては、例えば、両目が顔の画面の何れかに偏って配置されている場合には顔が横を向いていると判定する。また、両目が顔の左右方向に均等に配置され、鼻部が顔の上下方向の略中央部に配置されているような場合には正面を向いていると判定する。
【0072】
ステップS3012の判定において、顔が正面を向いている場合に、表情検出部405は、ステップS3011において検出した口部における唇の両端を結ぶ直線の中心位置L1(図11(a)参照)を検出する(ステップS3013)。次に、表情検出部405は、唇の上部中心位置L2(図11(a)参照)を検出する(ステップS3014)。さらに、表情検出部405はステップS3011において検出した鼻部の下位置N1(図11(a)参照)を検出する(ステップS3015)。
【0073】
次に、表情検出部405は、L1とN1との距離とL2とN1との距離の差分を求める(ステップS3016)。そして、この差分から顔の表情を判定する。例えば、笑顔の場合には図11(b)に示すようにして唇の両端が持ち上がった状態となり、L1とN1との距離とL2とN1との距離と差分が図11(c)に示す真顔の場合に比べて小さくなると考えられる。また、泣き顔の場合には図11(d)に示すようにして唇の両端が下がった状態となり、L1とN1との距離とL2とN1との距離と差分が図11(c)に示す真顔の場合に比べて大きくなると考えられる。したがって、ステップS3016で求めた差分を笑顔、真顔、泣き顔を示す所定の閾値と比較することで顔の表情を判定することが可能である。
【0074】
以上のような考え方に基づいて、表情検出部405は、ステップS3016で求めた差分が、泣き顔を示す閾値よりも大きいか否かを判定する(ステップS3017)。ステップS3017の判定において、差が泣き顔を示す閾値よりも大きい場合に、表情検出部405は顔の表情が泣き顔と判定する(ステップS3018)。その後、図10の処理を抜ける。一方、ステップS3017の判定において、差が泣き顔を示す閾値よりも小さい場合に、表情検出部405は、差が笑顔を示す閾値よりも小さいか否かを判定する(ステップS3019)。ステップS3019の判定において、差が笑顔を示す閾値よりも小さい場合に、表情検出部405は顔の表情が笑顔と判定する(ステップS3020)。その後、図10の処理を抜ける。一方、ステップS3019の判定において、差が笑顔を示す閾値よりも大きい場合に、表情検出部405は、表情が真顔であると判定する(ステップS3021)。その後、図10の処理を抜ける。
【0075】
また、ステップS3012の判定において、顔が正面を向いていない場合には、ステップS3013〜ステップS3021の処理によって表情を判定することが困難である。そこで、この場合には判定を簡易化する。即ち、表情検出部405は口部において歯(白部分)が検出できるか否かを判定する(ステップS3022)。このステップS3022の判定において、歯が検出できた場合に、表情検出部405は、表情が笑顔であると判定する(ステップS3023)。その後、図10の処理を抜ける。一方、ステップS3022の判定において、歯が検出できなかった場合には、表情の検出が不能であったとして、そのまま図10の処理を抜ける。
【0076】
ここで、再び図9の説明に戻る。ステップS301において、表情を検出した後、表情検出部405は、検出した表情が複数の人物の笑顔であるか否かを判定する(ステップS302)。ステップS302の判定において、検出した表情が複数の人物の笑顔である場合に、表情検出部405は「なつかしい度」に5点を加える(ステップS303)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、複数の顔があって、それらの顔の表情が笑顔であるような写真は、その当時、楽しいことがあったとして「なつかしい度」を高めに設定する。
【0077】
一方、ステップS302の判定において、検出した表情が複数の人物の笑顔でない場合に、表情検出部405は、検出した表情が複数の顔が向かいあうものであるか否かを判定する(ステップS304)。ステップS304の判定において、検出した表情が複数の顔が向かいあうものである場合に、表情検出部405は「なつかしい度」に4点を加える(ステップS305)。そして、図9の処理を抜けて、図12の処理を開始する。このような場合も、その当時に人物間で何らかの交流があったことを示す画像と考えられるので、その時の感情を含めて当時を思い出すことが可能な画像と考えることが可能である。
【0078】
一方、ステップS305の判定において、検出した表情が複数の顔が向かいあうものでない場合に、表情検出部405は、検出した表情がアップの笑顔であるか否かを判定する(ステップS306)。ステップS306の判定において、検出した表情がアップの笑顔である場合に、表情検出部405は「なつかしい度」に3点を加える(ステップS307)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、アップの笑顔は、被写体本人は意識していなくとも、撮影者が非常に思い入れをこめて撮った写真と考えられるので「なつかしい度」に加点するようにする。
【0079】
一方、ステップS306の判定において、検出した表情がアップの笑顔でない場合に、表情検出部405は、検出した表情がアップの泣き顔であるか否かを判定する(ステップS308)。ステップS308の判定において、検出した表情がアップの泣き顔である場合に、表情検出部405は「なつかしい度」に2点を加える(ステップS309)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、アップの泣き顔は、被写体本人には面白くないかもしれないが、それなりに感情が高ぶった状況なので、何らかの記憶が残っている可能性が高く、これも、思い出を想起させることのできる表情と考えられるので「なつかしい度」に加点するようにする。
【0080】
一方、ステップS308の判定において、検出した表情がアップの泣き顔でない場合に、表情検出部405は、検出した表情の中で他に存在しない人物の顔があるか否かを判定する(ステップS310)。なお、この判定には、家族等の特定人物の顔の画像を表情検出部405に記録しておき、この画像と表情検出部405に入力された顔部の画像とを比較することで判定する。ステップS310の判定において、検出した表情の中で他に存在しない人物の顔がある場合に、表情検出部405は「なつかしい度」に1点を加える(ステップS311)。そして、図12の処理を開始する。
【0081】
次に、図12を説明する。表情検出部405は、顔検出部404において検出された顔部の画像から、画像内において大きい複数の男女の間に小さい人が存在しているか否かを判定する(ステップS401)。ここで、顔の大きさは例えば顔検出部404で検出された顔の大きさから判定することができる。実際には拡大又は縮小等のズームがなされている場合もあるので、それらによる顔の大きさへの影響も考慮する。また、男女の判定は髪型や大きさの差異から判定することができる。ステップS401の判定において、画像内において大きい複数の男女の間に小さい人が存在している場合に、表情検出部405は「なつかしい度」に10点を加える(ステップS402)。そして、図12の処理を抜けて、図3のステップS7に移行する。即ち、画像内に大きな男女の顔があれば、これらはカップルと考えられる。また、その間に小さい顔の人がいれば、それが両親と子どもの写真と考えることができる。このような写真の懐かしさは格別と考えることができるので「なつかしい度」を高めに設定している。
【0082】
一方、ステップS401の判定において、画像内において大きい複数の男女の間に小さい人が存在していない場合に、表情検出部405は、画像内において大きい複数の男女の横に小さい人が存在しているか否かを判定する(ステップS403)。ステップS403の判定において、画像内において大きい複数の男女の横に小さい人が存在している場合に、表情検出部405は「なつかしい度」に8点を加える(ステップS404)。そして、図12の処理を抜けて、図3のステップS7に移行する。このような場合も、男女の間に小さい人が存在している場合に続いて親密な雰囲気を醸し出していると考えられるので、懐かしさを想起する画像として分類できる。
【0083】
一方、ステップS404の判定において、画像内において大きい複数の男女の横に小さい人が存在していない場合に、表情検出部405は、画像内に大きい女性と小さい人が存在しているか否かを判定する(ステップS405)。ステップS405の判定において、画像内に大きい女性と小さい人が存在している場合に、表情検出部405は「なつかしい度」に6点を加える(ステップS406)。そして、図12の処理を抜けて、図3のステップS7に移行する。また、ステップS405の判定において、画像内に大きい女性と小さい人が存在していない場合に、表情検出部405は、画像内に大きい男性と小さい人が存在しているか否かを判定する(ステップS407)。ステップS407の判定において、画像内に大きい男性と小さい人が存在している場合に、表情検出部405は「なつかしい度」に5点を加える(ステップS408)。そして、図12の処理を抜けて、図3のステップS7に移行する。即ち、大人と子供の写真の場合、両親ではなくとも、例えば母親と子ども、父親と子ども、或いは兄弟、従弟、おじ、おば、曽祖父母との写真と考えることもできる。そこで、ステップS405及びステップS407においては、これらを判定して、「なつかしい度」に加点するようにしている。
【0084】
一方、ステップS407の判定において、画像内に大きい男性と小さい人が存在していない場合に、表情検出部405は、顔部と体部との比率が小さいか否かを判定する(ステップS409)。ステップS409の判定において、顔部と体部との比率が小さい場合に、表情検出部405は「なつかしい度」に1点を加える(ステップS410)。そして、図12の処理を抜けて、図3のステップS7に移行する。顔と体の大きさの比率は成長するにつれ大きくなっていくので、この比率が小さい写真は子どもの写真と考える。そして、このような写真は幼少の思い出を喚起できるものとして「なつかしい度」に加点するようにしている。ただし、顔と体の比率による「なつかしい度」を高くしすぎると、子どもの写真ばかりになってしまうので、大人と一緒の写真よりも得点を少なくしている。
【0085】
以上説明したように、本実施形態によれば、大量の画像の中から懐かしさを喚起する画像のみを優先して再生できるカメラやシステムを提供することが可能である。また、インターネット上のサービスを駆使すれば、例えば、家族の年代史のように大量の画像を各地に離れた親族が短時間にかいつまんで鑑賞することが可能となる。
【0086】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では画像データ毎に1つの「なつかしい度」を設定しているが、複数の条件が重なった場合には、それら複数の条件に対応した「なつかしい度」を加算又は乗算して最終的な「なつかしい度」を求めるようにしても良い。また、背景被写体の種類や顔部の表情に応じた「なつかしい度」の点数は一例であり、適宜決定することができる。この点数をユーザが設定できるようにしても良い。
【0087】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【0088】
【図1】本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図2】本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。
【図3】サーバの動作を示すフローチャートである。
【図4】背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。
【図5】顔検出処理の概念について示す図である。
【図6】懐かしさを想起させる被写体が存在しているか否かの判定処理について示すフローチャートである。
【図7】文字検出処理の一例を示すフローチャートである。
【図8】文字検出処理の概念について説明するための図である。
【図9】顔の表情に応じた「なつかしい度」を求めるためのフローチャートである。
【図10】表情検出処理の一例を示すフローチャートである。
【図11】表情検出処理の概念について説明するための図である。
【図12】人物同士の関係性に応じた「なつかしい度」を求めるためのフローチャートである。
【符号の説明】
【0089】
100…デジタルカメラ、101…マイクロプロセッシングユニット(MPU)、102…操作部、103…撮影レンズ、104…オートフォーカス(AF)回路、105…絞り機構、106…絞り制御回路、107…撮像素子、108…アナログフロントエンド(AFE)回路、109…画像処理回路、110…表示制御回路、111…表示パネル、112…形状検出回路、113…距離検出回路、114…顔検出回路、115…圧縮部、116…記録制御回路、117…記録メディア、118…通信部、119…補助光発光回路、300…ネットワーク、400…サーバ、500,600…パーソナルコンピュータ(PC)、700…スキャナ
【技術分野】
【0001】
本発明は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置、画像表示方法、及びプログラムに関する。
【背景技術】
【0002】
近年、記録媒体の大容量化に伴い、フィルム写真時代に比べて大量の写真が撮影されるようになっている。また、こうした写真はデジタル画像で得られるので、ネットワーク等を介して様々な場所に送ることが容易である。
【0003】
また、過去のフィルム写真もスキャナ等を利用してデジタル化することにより、どこでも玉石混淆の画像を鑑賞可能になっている。
【0004】
このように、近年では大量の画像を取得できるようになった反面、その中から見たい画像を検索するには大変な努力を要するようになってきている。以前のように、記念写真のような機会にしか撮影がなされなかった時代では、写真を整理するのも比較的容易であり、また、整理されているため検索も容易であるが、近年のような、写真が日常的に大量に撮られるようになると、どこに必要な画像があるかを見つけるのは難しい。
【0005】
このような画像の検索に関する技術に関して、特許文献1において提案されているものがある。この特許文献1の提案は、鉄道路線の駅周辺等を撮影した画像を、データベースから読み出して年代を特定し、特定した画像を年代順に表示させるものである。
【特許文献1】特開2005−184785号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ここで、特許文献1のように、単に年代を確定しても必ずしも懐かしい画像を検索できるとは限らず、実際には主要被写体部と背景部とを分けて考えないと検索できない場合がある。なぜなら、懐かしさは感情に属するもので、撮影当時の人物の表情や撮影当時に一緒にいた人等が重要な要因となるためである。また、人物の表情からは、年代を特定することが出来ないため、その人物の写っている写真が古い写真であるか否かを判定することは難しい。このような年代の特定の確度は背景部を利用する方が上がる。
【0007】
本発明は、上記の事情に鑑みてなされたものであり、主要被写体と背景部とを分離して分析し、懐かしさを想起させる写真を確実に検索して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記の目的を達成するために、本発明の第1の態様の画像表示装置は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置において、上記画像における顔の表情を検出する顔画像検出部と、上記顔以外の背景部分の画像を検出する背景画像検出部と、上記顔の表情及び上記背景部分の画像から上記画像の表示優先度を評価する画像評価部と、上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部とを備えたことを特徴とする。
【0009】
また、上記の目的を達成するために、本発明の第2の態様の画像表示方法は、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示方法において、上記画像における顔部分を検出し、上記顔部分以外の背景部分の画像を検出し、上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価し、上記表示優先度に応じた優先順位で上記画像を表示させることを特徴とする。
【0010】
また、上記の目的を達成するために、本発明の第3の態様の画像表示プログラムは、顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示プログラムにおいて、上記画像における顔部分を検出するステップと、上記顔部分以外の背景部分の画像を検出するステップと、上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価するステップと、上記表示優先度に応じた優先順位で上記画像を表示させるステップとをコンピュータに実行させる。
【発明の効果】
【0011】
本発明によれば、主要被写体と背景部とを分離して分析し、懐かしさを想起させる写真を確実に検索して表示させることが可能な画像表示装置、画像表示方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【0012】
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラ100の構成を示すブロック図である。図1に示すデジタルカメラ100は、マイクロプロセッシングユニット(MPU)101と、操作部102と、撮影レンズ103と、オートフォーカス(AF)回路104と、絞り機構105と、絞り制御回路106と、撮像素子107と、アナログフロントエンド(AFE)回路108と、画像処理回路109と、表示制御回路110と、表示パネル111と、形状検出回路112と、距離検出回路113と、顔検出回路114と、圧縮/伸張部115と、記録制御回路116と、記録メディア117と、通信部118と、補助光発光回路119とを有して構成されている。また、このデジタルカメラ100は、ネットワーク300を介してサーバ400、PC500と通信自在に接続されている。
【0013】
MPU101は、ユーザからの操作部102の操作に応じてデジタルカメラ100を構成する各ブロックをシーケンシャルに制御する。操作部102は、デジタルカメラ100による撮影を実行させるためのレリーズスイッチや、デジタルカメラ100の動作モードを撮影モード、再生モード、ダイジェスト再生モードの何れかに切り替えるための切り替えスイッチ、サーバ400から得られる情報表示のオンオフを切り替えるスイッチ等が含まれる。
【0014】
また、MPU101は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。
【0015】
撮影レンズ103は、被写体200からの像を撮像素子107に結像させる。この撮影レンズ103は、オートフォーカス(ピント合わせ)用のレンズを含んでいる。オートフォーカスの際に、MPU101は、ピント合わせレンズのレンズ位置をモニタしつつ、AF回路104を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ103のピント合わせを行う。また、絞り機構105は、撮影レンズ103内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構105は、撮影開始時に絞り制御回路106によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時の絞り機構105の口径を変えることによって、撮影レンズ103の被写界深度が変化する。これによって、背景被写体のぼけ具合等を調整して、撮影時に主要被写体を浮かび上がらせたり、背景被写体をしっかりと描写したりするなどの表現の切替を行うことができる。
【0016】
撮像素子107は、多数の画素が配列されて構成される受光面を有し、撮影レンズ103を介して受光した被写体200からの像を電気的な信号に変換する。本実施形態においては、撮像素子107にはCCD方式及びCMOS方式の何れを用いても良い。
【0017】
AFE回路108は、CDS回路、ゲイン調整回路、AD変換回路等を含み、撮像素子107において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路109に入力する。また、AFE回路108には、撮像素子107を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、AFE回路108によって、4画素(2×2画素)や9画素(3×3画素)の信号をまとめて読み出し、これら読み出した電気信号を加算することでS/Nを向上させることができる。このような処理によって、撮像素子107の見かけ上の感度を上げること等ができる。
【0018】
さらに、AFE回路108は、撮像素子107からの出力信号を取捨選択する機能も有し、撮像素子107の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することもできる。一般に、撮像素子107は間引きを行うことで高速で信号を読み出すことができる。この機能を利用して、撮像素子107で構図確認用に得られた画像を高速で読み出して画像処理回路109において処理してから表示パネル111に表示すれば、ユーザは表示パネル111上に表示される画像を利用してフレーミングを行うことが可能である。
【0019】
画像処理回路109は、AFE回路108から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。
【0020】
また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路109は、AFE回路108から入力される画像データを表示パネル111に表示可能なようにリサイズ(縮小)する機能も有する。
【0021】
表示制御回路110は、画像処理回路109で得られた画像データや記録メディア117に記録されている画像データを映像信号に変換し、表示パネル111に表示させる。表示パネル111は液晶表示パネルや有機EL表示パネル等の表示パネルである。また、表示制御回路110は、表示パネル111に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。
【0022】
形状検出回路112は、画像処理回路109によって得られる画像データにおける輪郭情報を検出する。
【0023】
距離検出回路113は、画像処理回路109によって得られる画像のコントラストを検出する。この距離検出回路113によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、AF回路104によって撮影レンズ103のピント合わせレンズのレンズ位置を変化させながら、距離検出回路113によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ103のピント合わせを行うことができる。また、ピント合わせ時のレンズ位置の情報によって、主要被写体の距離や背景被写体の距離等を検出することも可能である。
【0024】
顔検出回路114は、画像処理回路109によって得られる画像内の特徴点(例えば、主要被写体が人物等であれば、目や鼻、口等)の分布から、主要被写体の特に顔部分の画像を検出する。
【0025】
これら形状検出回路112、距離検出回路113、顔検出回路114は、写真の質の向上という意味では、写真撮影時にユーザがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するため(ポートレートモードに設定するなど)に利用される。また、画像の再生時には、顔検出回路114による顔検出の機能によって、その画像のうち、主要被写体(の顔部分)と背景部とを分けることが可能である。これにより、顔部分から目や口の形を検出し、それを後述する記録制御回路116内のデータベース116aと比較して無表情の顔か、或いは表情のある顔かを判定することができる。また、顔検出回路114によって検出した顔が画像内にいくつあるかを判定することによって、その画像が集合写真であるかを判定することができる。
【0026】
圧縮/伸張部115は、撮影時に、画像処理回路109において処理された画像データを圧縮するとともに、撮影時に記録制御回路116を介して記録メディアから読み出した画像データを伸張する。
【0027】
記録制御回路116は、圧縮/伸張部115で圧縮された画像データに撮影時刻等の付随データを付随させて記録メディア117に記録する。また、記録制御回路116は、顔部分等の画像を比較したりするためのデータベース116aを有している。このデータベース116aの内容は、カメラ製造時に記録してもよいが、デジタルカメラ100外部のサーバ400等からネットワーク経由で書き換え可能としてもよい。
【0028】
通信部118は、記録メディア117に記録された画像データ等をデジタルカメラ100外部のパーソナルコンピュータ(以下、PCと称する)500やサーバ400等に送信したり、サーバ400等から各種の情報を受信したりする際の通信制御を行う。この通信部118によって、デジタルカメラ100で撮影した画像を他の人に転送したり、ネットワーク上のサービス(例えば、ネットワーク接続されたサイト等と連携したサービス)を利用して、情報を付加したり、受信したりすることができる。
【0029】
補助光発光回路119は、撮影時の状況に応じて被写体200に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。
【0030】
このような構成のデジタルカメラ100において、本実施形態では、多くの画像の中から、思い出を想起させやすい画像を選択して表示する、ダイジェスト再生を可能とする。即ち、ユーザが操作部102を操作してデジタルカメラ100の動作モードをダイジェスト再生モードとすると、記録メディア117に記録されている画像のうち、時代特定がしやすく、感情に訴えかけやすい画像が選択されて、その画像が優先的に表示パネル111に表示される。
【0031】
以下、ダイジェスト再生モードによる再生についてさらに説明する。なお、以下の説明においてはダイジェスト再生モードの機能をデジタルカメラ100外部のサーバ上で実現する例について説明する。しかしながら、後述するサーバの機能をデジタルカメラ100のMPU101等に持たせることにより、デジタルカメラ100においてもダイジェスト再生モードでの再生が可能となる。
【0032】
図2は、本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。図2に示す通信システムは、サーバ400、PC500、PC600がネットワーク300を介してデータ通信自在に接続されている。さらに、PC600にはデジタルカメラ100及びスキャナ700から画像データが入力され、この画像データは、ネットワーク300を介してサーバ400に送信可能になされている。ここで、図2の例は、1つのサーバ400内にデータベースや画像の判定機能を持たせたものである。これらの機能を複数のサーバに配分して、より負担の軽いシステムとすることもできる。
【0033】
なお、以下に説明する通信システムは、例えば家族の年代史のような画像を整理する場合等、1枚ずつ画像を吟味するには、画像データの量が多すぎるような状況を対策することができるシステムである。
【0034】
デジタルカメラ100で撮影した写真画像データやスキャナ700で取り込まれた写真画像データ(画像データ800)がPC600、ネットワーク300を介して送信される。ここで、デジタルカメラ100で得られる画像データには撮影日時やタイトルなどの付随情報が付与されるが、撮影時に得られる画像における顔位置のデータ等を付与しておいてもよい。顔位置のデータ等を付与しておくことで、サーバ400において、後述する顔検出が不要となるため、サーバ400の処理量を削減することが可能である。
【0035】
ネットワーク300には、そこに行きかう情報を駆使して各種のサービスを行う、サーバ400が存在する。本実施形態においては、ユーザによってダイジェスト再生モードが選択されると、サーバ400において、PC600から送られた画像データ800の中から、昔を懐かしむことのできる画像データ900が選択され、この選択された画像データ900に基づき、画像がPC500において閲覧可能なように表示制御される。これによってデジタルカメラ100で撮影された写真画像やスキャナ700で取り込まれた画像を他のユーザが共有することが可能である。
【0036】
このようなサーバ400は、通信部401と、記録部402と、アクセス反応部403と、顔検出部404と、表情検出部405と、背景検出部406と、画像判定部407と、年代別データベース408と、画像選択部409と、表示制御部410とを有している。ここで、サーバ400の各機能はハードウェアで構成しても良いし、ソフトウェアとして構成することもできる。
【0037】
通信部401は、サーバ400がネットワーク300を介して通信を行う際の通信制御を行う。記録部402は、ネットワーク300を介して送信されてくる画像データを記録する。アクセス反応部403は、ユーザから何らかの操作指示がなされた場合にその指示に応じた制御を行う。具体的には、ユーザから画像データの記録指示がなされた場合にはこの指示ととともに送信されてきた画像データを記録部402に記録する。一方、ユーザから画像データの再生指示がなされた場合にはそのときの再生モードに応じた画像選択指示を画像選択部409に行う。ここで、アクセス反応部403は、再生モードとして、上述したダイジェスト再生モードを少なくとも有しているものである。
【0038】
顔検出部404は記録部402に記録された画像における顔部を検出する。顔部は、デジタルカメラ100の顔検出回路114と同様に、画像内の特徴点(例えば、主要被写体が人物等であれば、目や鼻、口等)の分布から検出することが可能である。表情検出部405は顔検出部404において検出された顔部の画像から、その顔部の表情を検出することでダイジェスト再生モードの際の画像の表示優先度を評価する。
【0039】
背景検出部406は記録部402に記録された画像における背景部を検出する。ここでの背景部とは、画像800のうち、例えば図示破線枠801で示す人物以外の部分である。処理を簡単にするために、人物の顔部以外(人物の体も含む)を背景部として検出するようにしても良い。説明を簡単にするために、以下の説明においては、顔検出部404によって検出された顔部以外を背景として検出するものとする。画像判定部407は、背景検出部406によって検出された背景部において、文字等の思い出を想起させやすい被写体の有無を判定することでダイジェスト再生モードの際の画像の表示優先度を評価する。年代別データベース408は画像判定部407における思い出を想起させやすい被写体の判定に必要な各種データを年代別に記録している。例えば、年代別データベースには、年代別の文字の字体やキャッチフレーズのデータ、服装、乗り物のデータ等が記録されている。
【0040】
画像選択部409は、アクセス反応部403からの指示に従った画像データを記録部402から選択する機能を有するとともに、ユーザによってダイジェスト再生モードが選択された場合には表情検出部405によって検出された表情と画像判定部407によって判定された被写体とから思い出を想起させやすい画像データを選択する機能を有する。表示制御部410は、画像選択部409によって選択された画像データをPC500で閲覧可能なように表示制御する。
【0041】
以下、図2に示す通信システムの動作について説明する。図3は、図2のサーバ400の動作を示すフローチャートである。
【0042】
ユーザから何らかの操作指示がなされた場合に、サーバ400のアクセス反応部403は、その指示が画像データの記録指示(画像データのアップロード指示)か、画像データの再生指示(画像データのダウンロード指示)かを判定する(ステップS1)。ステップS1の判定において画像の記録指示であった場合に、アクセス反応部403は、ユーザからの画像記録指示とともに送信されてきた画像データを記録部402に記録する(ステップS2)。
【0043】
以下のステップS3〜ステップS7の処理はダイジェスト再生モード時の画像データの再生をスムーズに行うための処理である。これらの処理は後述するダイジェスト再生モード時に行うようにしても良い。ステップS2において画像データを記録部402に記録した後、顔検出部404及び背景検出部406によって、記録部402に記録された画像データの背景部を検出する(ステップS3)。ステップS3の処理の詳細については後述する。
【0044】
背景部が検出された後、画像判定部407は、画像内に懐かしさを想起させる被写体を含む画像が存在しているか否かを判定する(ステップS4)。このステップS4の判定の詳細については後述する。ステップS4の判定において、画像内に懐かしさを想起させる被写体を含む画像が存在している場合に、画像判定部407は、懐かしさを想起させる被写体を含む画像を識別するための符号として、例えばステップS4の判定の際に得られる「なつかしい度」を画像データと対応付けて記録部402に記録する(ステップS5)。なお、詳細は後述するが、「なつかしい度」とは懐かしさを数値化するための指標のことであり、この「なつかしい度」が高い画像程、ダイジェスト再生モード時における表示優先度が高くなる。一方、ステップS4の判定において、画像内に懐かしさを想起させる被写体が存在していない場合には、ステップS5の処理をスキップする。
【0045】
次に、サーバ400の表情検出部405は、顔検出部404において検出された顔部の画像が懐かしさを誘う表情の画像であるか否かを判定する(ステップS6)。このステップS6の判定の詳細については後述する。ステップS6の判定において、顔部の画像が懐かしさを誘う表情の画像である場合に、表情検出部405は、懐かしさを誘う表情の画像を識別するための符号として、例えばステップS6の判定の際に得られる「なつかしい度」を画像データと対応付けて記録部402に記録する(ステップS7)。なお、ステップS5において「なつかしい度」が既に記録されている場合にはステップS5の結果にステップS6で得られる「なつかしい度」を加算又は乗算して記録する。その後に図3の処理を終了する。一方、ステップS6の判定において、顔部の画像が懐かしさを誘う表情の画像でない場合には、ステップS7の処理をスキップする。
【0046】
また、ステップS1の判定において画像の再生指示であった場合に、アクセス反応部403は、その再生指示がダイジェスト再生モードの再生であるか否かを判定する(ステップS8)。ステップS8の判定において、ダイジェスト再生モードの再生である場合に、アクセス反応部403は、画像選択部409にダイジェスト再生モード用の画像選択指示を送る。これを受けて画像選択部409は、記録部402に記録されている画像データの中から「なつかしい度」が付帯されている画像データを抽出する(ステップS9)。そして、画像選択部409は、抽出した画像データの中から、「なつかしい度」が高いものを選択する(ステップS10)。これは、「なつかしい度」が最も高い画像データのみを選択するようにしても良いし、「なつかしい度」が所定の閾値よりも高い画像データを全て選択するようにしても良い。「なつかしい度」の高い画像データが選択された後、表示制御部410は、画像選択部409において選択された画像データを年代が古い順にPC500に表示させるように制御する(ステップS11)。その後に図3の処理を終了する。ここで、厳密な年代特定ができるとは限らないので、ステップS11の表示順は、ある程度の自由度を認めても良い。また、表示の際に「なつかしい度」の高い画像ほど、表示の際の拡大率を大きくするようにしてもよい。
【0047】
また、ステップS8の判定において、ダイジェスト再生モードの再生でない場合に、アクセス反応部403は、表示制御部410に記録部402に記録されている画像の一覧表示をPC500に表示させるように指示を送る(ステップS12)。この場合には、ユーザによって選択された画像が画像選択部409によって選択された後、表示制御部410の制御の下、PC500に表示させる。
【0048】
図4は、図3のステップS3の背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。なお、顔検出処理は必ずしも図4に示す処理に限るものではない。また、図4に示す顔検出処理はデジタルカメラ100の顔検出回路114において行う処理と同一の処理である。
【0049】
まず、顔検出部404は、記録部402から画像データを読み出し、その画像における陰影を強調する(ステップS101)。これは、画像のコントラストを強調する処理である。例えば、図5に示す画像800に対して陰影強調処理を施した場合、顔部付近802の画像は、参照符号803で示すように影のある部分や輪郭部分が強調された画像となる。
【0050】
画像の陰影を強調した後、顔検出部404は目鼻部のパターンの設定を行う(ステップS102)。図5の参照符号804で目鼻部パターンの一例を示している。この目鼻部パターン804と陰影強調後画像803とのマッチング処理によって顔検出を行うわけであるが、通常、撮影によって得られる画像における顔の大きさや向きは様々であるため、目鼻部パターン804も顔の向きや大きさに対応して複数用意しておく。ステップS102の処理は、複数用意しておいた目鼻部パターン804の中から1つを設定する処理である。
【0051】
次に、顔検出部404は、陰影強調後画像(実際には顔部付近802以外も含まれている)803と目鼻部パターン804との間でマッチング処理を行う(ステップS103)。これは、目鼻部パターン804によって陰影強調後画像803を走査しながら両者の一致度を例えば相関演算によって求める処理である。このマッチング処理の後、顔検出部404は、目鼻部パターン804がマッチングした位置が存在していたか否か、即ち陰影強調後画像803と目鼻部パターン804との一致度が所定量以上高い位置が画像内に存在していたかを判定する(ステップS104)。ステップS104の判定において、マッチング位置が存在していた場合に、顔検出部404はその位置の画像を顔部の画像として検出する(ステップS105)。
【0052】
一方、ステップS104の位置において、マッチング位置が存在していない場合には、画像内の顔部の向きや大きさが目鼻部パターン804と異なっている可能性がある。また、画像内に複数の顔部が存在している場合には1つの目鼻部パターン804で全ての顔部を検出できるとは限らない。そこで、ステップS104の判定においてマッチング位置が存在していない場合、若しくはステップS105の後、顔検出部404は、顔検出処理を終了するか否かを、全ての目鼻部パターン804を用いてマッチング処理を行ったか否かを判定することによって判定する(ステップS106)。ステップS106の判定において、まだ、全ての目鼻部パターン804を用いてマッチング処理を行っていない場合に、顔検出部404は、別の目鼻部パターンに切り替えた後(ステップS107)、ステップS103に戻り、再びマッチング処理を行う。一方、全ての目鼻部パターン804を用いてマッチング処理を行った場合には、顔部の位置情報を背景検出部406に出力して顔検出処理を終了する。これを受けて背景検出部406は、ステップS105において検出された顔部以外を全て背景部の画像として検出する(ステップS108)。このようにして背景部が検出されると、処理が図3のステップS4に進む。
【0053】
図6は、図3のステップS4の懐かしさを想起させる被写体が存在しているか否かの判定処理について示すフローチャートである。ここで、本実施形態においては、背景部の画像の中に、懐かしさを想起させる被写体が存在している場合には、その被写体の年代特定のしやすさに応じて「なつかしい度」を設定する。この「なつかしい度」の高い被写体ほど、年代特定がしやすく、またそれを見たユーザに懐かしさを想起させやすい。
【0054】
図6において、画像判定部407は、まず背景部の画像内に、駅名や看板等の文字を含む被写体が存在しているか否かを判定する(ステップS201)。このために画像判定部407は図7に示す文字検出処理を行う。
【0055】
ここで、図7及び図8を参照してステップS201の判定を行うための文字検出処理について説明する。図7は図6のステップS201の判定において用いられる文字検出処理の一例を示すフローチャートである。また、図8は図7の文字検出処理の概念について説明するための図である。
【0056】
文字検出は、図8に示す文字画像の線部分805と線部分805の間に存在する空白部分806とをそれぞれ検出することにより行う。
【0057】
まず、画像判定部407は背景部の画像のコントラストを強調してコントラスト強調画像I1を取得する(ステップS2011)。次に、画像判定部407は背景部の画像を2値化して2値化画像I2を取得する(ステップS2012)。
【0058】
その後、画像判定部407はコントラスト強調画像I1と2値化画像I2との差分からコントラスト強調画像I1と2値化画像I2の一致度を求める(ステップS2013)。そして、画像判定部407は背景部の画像内にコントラスト強調画像I1と2値化画像I2の一致度が大きい部分(即ち差分が小さい部分)があるか否かを判定する(ステップS2014)。ステップS2014の判定において、コントラスト強調画像I1と2値化画像I2の一致度が大きい部分がない場合に、画像判定部407は背景部の画像内に文字を含む被写体は存在しないと判定する(ステップS2017)。
【0059】
一方、ステップS2014の判定において、コントラスト強調画像I1と2値化画像I2の一致度が大きい部分がある場合に、画像判定部407はその部分が線画像で構成されていると判定する。そして、画像判定部407は一致度が高い部分の周囲の画像を検出する(ステップS2015)。そして、検出した部分の画像内に空白部、即ち低コントラスト部が多く占めているか否かを判定する(ステップS2016)。ステップS2016の判定において、空白部が少ない場合に、画像判定部407はその部分の画像が文字画像の特徴を有しておらず、文字画像は存在しないと判定する(ステップS2017)。一方、ステップS2016の判定において、空白部が多い場合に、画像判定部407はその部分の画像が文字画像の特徴を有しており、文字を含む被写体が存在していると判定する(ステップS2018)。
【0060】
ここで、再び図6の説明に戻る。ステップS201の判定において、背景部の画像内に、文字を含む被写体が存在している場合に、画像判定部407は「なつかしい度」に5点を加える(ステップS202)。即ち、文字情報は、その当時に行った場所や当時の雰囲気を読み取る明確な材料となりうるので、懐かしさを想起させやすい情報と考えられる。したがって、「なつかしい度」の点数を高めにしている。「なつかしい度」を設定した後、画像判定部407は、検出した文字を年代別データベース408に記録されている文字画像と照合して年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0061】
一方、ステップS201の判定において、背景部の画像内に、文字を含む被写体が存在していない場合に、画像判定部407は、背景部の画像内に、乗り物被写体が含まれているか否かを、例えば年代別データベース408に記録されている乗り物画像とのマッチングをとることによって判定する(ステップS203)。ステップS203の判定において、背景部の画像内に乗り物被写体が含まれている場合に、画像判定部407は「なつかしい度」に4点を加える(ステップS204)。即ち、電車やバス等の乗り物も看板や標識等の文字と同様に、場所を特定したり年代による変遷を示したりしやすいので、文字情報の次に「なつかしい度」を高くしている。「なつかしい度」を設定した後、画像判定部407は、検出した乗り物被写体より年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0062】
一方、ステップS203の判定において、背景部の画像内に、乗り物被写体が含まれていない場合に、画像判定部407は、背景部の画像内に、流行の服を着ている被写体が含まれているかを、例えば年代別データベース408に記録されている流行服画像とのマッチング(襟や袖の形やネクタイの太さや色合い等も利用)をとることによって判定する(ステップS205)。ステップS205の判定において、背景部の画像内に流行の服を着ている被写体が含まれている場合に、画像判定部407は「なつかしい度」に3点を加える(ステップS206)。「なつかしい度」を設定した後、画像判定部407は、検出した流行服の年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0063】
一方、ステップS205の判定において、背景部の画像内に、流行の服を着ている被写体が含まれていない場合に、画像判定部407は、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものであるか否かを判定する(ステップS207)。ステップS207の判定において、背景部の画像に建物被写体が含まれているか又は画像が室内で撮影されたものである場合に、画像判定部407は「なつかしい度」に2点を加える(ステップS208)。即ち、建物や室内が明確に写っている場合も場所を特定する要素が写りこんでいるとして「なつかしい度」に点数を加えるようにしている。「なつかしい度」を設定した後、画像判定部407は、検出した建物被写体や室内の画像から年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0064】
一方、ステップS207の判定において、背景部の画像内に、建物被写体が含まれておらず、又は画像が室内で撮影されたものでもない場合に、画像判定部407は、背景部の画像における地面が舗装されているか否かを判定する(ステップS209)。ステップS209の判定において、背景部の画像における地面が舗装されたものでない場合に、画像判定部407は「なつかしい度」に1点を加える(ステップS210)。即ち、市街地等で地面の舗装がなされていない画像は古い画像と考えられるので、この場合にも「なつかしい度」に点数を加えるようにする。「なつかしい度」を設定した後、画像判定部407は、検出した地面の舗装の具合から年代の特定を行う(ステップS211)。そして、図6の処理を抜けて、図3のステップS5に移行する。
【0065】
一方、ステップS209の判定において、背景部の画像における地面が舗装されている場合には「なつかしい度」に点数を加えずに、図6の処理を抜ける。この場合には、図3のステップS4の判定において、背景部の画像内に懐かしさを想起させる被写体が存在していないと判定される。
【0066】
図6の処理のような「なつかしい度」の判定によって、背景に年代を想起せしめる被写体を含む画像を優先して表示させることができる。なお、図3のステップS4の処理においては、証明写真のように単なる壁を背景とする画像や、空や山のみを背景とする画像では「なつかしい度」が高まらない。また、図3のステップS4の処理では自然を前にした集合写真等でも「なつかしい度」は高まらない。しかしながら、このような集合写真は懐かしさを想起させる画像となりうるので、このような画像を判定するためにステップS6における人物の表情が懐かしさを想起させる表情であるか否かの判定を行う。
【0067】
図9〜図12を参照して、図3のステップS6の懐かしさを誘う表情であるか否かの判定処理について説明する。ここで、以下に説明する処理における「懐かしさを誘う表情」とは、必ずしも個々人の泣き笑いといった表情のみを示すものではなく、一緒に写っている人との関係性も含めて判定する。したがって、無表情でも、多くの人とかしこまって写っているものは、その場に相応しい表情であるので、これも懐かしい表情としてカウントできるようにする。
【0068】
図9は、人物の泣き笑いといった「顔の表情に応じたなつかしい度」を求めるためのフローチャートである。また、図12は、画像内に複数の人物が存在する場合の、「その人物同士の関係性に応じたなつかしい度」を求めるためのフローチャートである。
【0069】
まず、図9から説明する。表情検出部405は、顔検出部404において検出された顔部の画像からその表情を検出する(ステップS301)。
【0070】
ここで、図10及び図11を参照して表情検出処理について説明する。図10は図9のステップS301の表情検出処理の一例を示すフローチャートである。また、図11は図10の表情検出処理の概念について説明するための図である。
【0071】
まず、表情検出部405は、顔部の画像の陰影分布から、目部、鼻部、口部を検出する(ステップS3011)。次に、表情検出部405は、検出した目部、鼻部、口部の位置関係から、顔が正面を向いているか否かを判定する(ステップS3012)。ステップS3012においては、例えば、両目が顔の画面の何れかに偏って配置されている場合には顔が横を向いていると判定する。また、両目が顔の左右方向に均等に配置され、鼻部が顔の上下方向の略中央部に配置されているような場合には正面を向いていると判定する。
【0072】
ステップS3012の判定において、顔が正面を向いている場合に、表情検出部405は、ステップS3011において検出した口部における唇の両端を結ぶ直線の中心位置L1(図11(a)参照)を検出する(ステップS3013)。次に、表情検出部405は、唇の上部中心位置L2(図11(a)参照)を検出する(ステップS3014)。さらに、表情検出部405はステップS3011において検出した鼻部の下位置N1(図11(a)参照)を検出する(ステップS3015)。
【0073】
次に、表情検出部405は、L1とN1との距離とL2とN1との距離の差分を求める(ステップS3016)。そして、この差分から顔の表情を判定する。例えば、笑顔の場合には図11(b)に示すようにして唇の両端が持ち上がった状態となり、L1とN1との距離とL2とN1との距離と差分が図11(c)に示す真顔の場合に比べて小さくなると考えられる。また、泣き顔の場合には図11(d)に示すようにして唇の両端が下がった状態となり、L1とN1との距離とL2とN1との距離と差分が図11(c)に示す真顔の場合に比べて大きくなると考えられる。したがって、ステップS3016で求めた差分を笑顔、真顔、泣き顔を示す所定の閾値と比較することで顔の表情を判定することが可能である。
【0074】
以上のような考え方に基づいて、表情検出部405は、ステップS3016で求めた差分が、泣き顔を示す閾値よりも大きいか否かを判定する(ステップS3017)。ステップS3017の判定において、差が泣き顔を示す閾値よりも大きい場合に、表情検出部405は顔の表情が泣き顔と判定する(ステップS3018)。その後、図10の処理を抜ける。一方、ステップS3017の判定において、差が泣き顔を示す閾値よりも小さい場合に、表情検出部405は、差が笑顔を示す閾値よりも小さいか否かを判定する(ステップS3019)。ステップS3019の判定において、差が笑顔を示す閾値よりも小さい場合に、表情検出部405は顔の表情が笑顔と判定する(ステップS3020)。その後、図10の処理を抜ける。一方、ステップS3019の判定において、差が笑顔を示す閾値よりも大きい場合に、表情検出部405は、表情が真顔であると判定する(ステップS3021)。その後、図10の処理を抜ける。
【0075】
また、ステップS3012の判定において、顔が正面を向いていない場合には、ステップS3013〜ステップS3021の処理によって表情を判定することが困難である。そこで、この場合には判定を簡易化する。即ち、表情検出部405は口部において歯(白部分)が検出できるか否かを判定する(ステップS3022)。このステップS3022の判定において、歯が検出できた場合に、表情検出部405は、表情が笑顔であると判定する(ステップS3023)。その後、図10の処理を抜ける。一方、ステップS3022の判定において、歯が検出できなかった場合には、表情の検出が不能であったとして、そのまま図10の処理を抜ける。
【0076】
ここで、再び図9の説明に戻る。ステップS301において、表情を検出した後、表情検出部405は、検出した表情が複数の人物の笑顔であるか否かを判定する(ステップS302)。ステップS302の判定において、検出した表情が複数の人物の笑顔である場合に、表情検出部405は「なつかしい度」に5点を加える(ステップS303)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、複数の顔があって、それらの顔の表情が笑顔であるような写真は、その当時、楽しいことがあったとして「なつかしい度」を高めに設定する。
【0077】
一方、ステップS302の判定において、検出した表情が複数の人物の笑顔でない場合に、表情検出部405は、検出した表情が複数の顔が向かいあうものであるか否かを判定する(ステップS304)。ステップS304の判定において、検出した表情が複数の顔が向かいあうものである場合に、表情検出部405は「なつかしい度」に4点を加える(ステップS305)。そして、図9の処理を抜けて、図12の処理を開始する。このような場合も、その当時に人物間で何らかの交流があったことを示す画像と考えられるので、その時の感情を含めて当時を思い出すことが可能な画像と考えることが可能である。
【0078】
一方、ステップS305の判定において、検出した表情が複数の顔が向かいあうものでない場合に、表情検出部405は、検出した表情がアップの笑顔であるか否かを判定する(ステップS306)。ステップS306の判定において、検出した表情がアップの笑顔である場合に、表情検出部405は「なつかしい度」に3点を加える(ステップS307)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、アップの笑顔は、被写体本人は意識していなくとも、撮影者が非常に思い入れをこめて撮った写真と考えられるので「なつかしい度」に加点するようにする。
【0079】
一方、ステップS306の判定において、検出した表情がアップの笑顔でない場合に、表情検出部405は、検出した表情がアップの泣き顔であるか否かを判定する(ステップS308)。ステップS308の判定において、検出した表情がアップの泣き顔である場合に、表情検出部405は「なつかしい度」に2点を加える(ステップS309)。そして、図9の処理を抜けて、図12の処理を開始する。即ち、アップの泣き顔は、被写体本人には面白くないかもしれないが、それなりに感情が高ぶった状況なので、何らかの記憶が残っている可能性が高く、これも、思い出を想起させることのできる表情と考えられるので「なつかしい度」に加点するようにする。
【0080】
一方、ステップS308の判定において、検出した表情がアップの泣き顔でない場合に、表情検出部405は、検出した表情の中で他に存在しない人物の顔があるか否かを判定する(ステップS310)。なお、この判定には、家族等の特定人物の顔の画像を表情検出部405に記録しておき、この画像と表情検出部405に入力された顔部の画像とを比較することで判定する。ステップS310の判定において、検出した表情の中で他に存在しない人物の顔がある場合に、表情検出部405は「なつかしい度」に1点を加える(ステップS311)。そして、図12の処理を開始する。
【0081】
次に、図12を説明する。表情検出部405は、顔検出部404において検出された顔部の画像から、画像内において大きい複数の男女の間に小さい人が存在しているか否かを判定する(ステップS401)。ここで、顔の大きさは例えば顔検出部404で検出された顔の大きさから判定することができる。実際には拡大又は縮小等のズームがなされている場合もあるので、それらによる顔の大きさへの影響も考慮する。また、男女の判定は髪型や大きさの差異から判定することができる。ステップS401の判定において、画像内において大きい複数の男女の間に小さい人が存在している場合に、表情検出部405は「なつかしい度」に10点を加える(ステップS402)。そして、図12の処理を抜けて、図3のステップS7に移行する。即ち、画像内に大きな男女の顔があれば、これらはカップルと考えられる。また、その間に小さい顔の人がいれば、それが両親と子どもの写真と考えることができる。このような写真の懐かしさは格別と考えることができるので「なつかしい度」を高めに設定している。
【0082】
一方、ステップS401の判定において、画像内において大きい複数の男女の間に小さい人が存在していない場合に、表情検出部405は、画像内において大きい複数の男女の横に小さい人が存在しているか否かを判定する(ステップS403)。ステップS403の判定において、画像内において大きい複数の男女の横に小さい人が存在している場合に、表情検出部405は「なつかしい度」に8点を加える(ステップS404)。そして、図12の処理を抜けて、図3のステップS7に移行する。このような場合も、男女の間に小さい人が存在している場合に続いて親密な雰囲気を醸し出していると考えられるので、懐かしさを想起する画像として分類できる。
【0083】
一方、ステップS404の判定において、画像内において大きい複数の男女の横に小さい人が存在していない場合に、表情検出部405は、画像内に大きい女性と小さい人が存在しているか否かを判定する(ステップS405)。ステップS405の判定において、画像内に大きい女性と小さい人が存在している場合に、表情検出部405は「なつかしい度」に6点を加える(ステップS406)。そして、図12の処理を抜けて、図3のステップS7に移行する。また、ステップS405の判定において、画像内に大きい女性と小さい人が存在していない場合に、表情検出部405は、画像内に大きい男性と小さい人が存在しているか否かを判定する(ステップS407)。ステップS407の判定において、画像内に大きい男性と小さい人が存在している場合に、表情検出部405は「なつかしい度」に5点を加える(ステップS408)。そして、図12の処理を抜けて、図3のステップS7に移行する。即ち、大人と子供の写真の場合、両親ではなくとも、例えば母親と子ども、父親と子ども、或いは兄弟、従弟、おじ、おば、曽祖父母との写真と考えることもできる。そこで、ステップS405及びステップS407においては、これらを判定して、「なつかしい度」に加点するようにしている。
【0084】
一方、ステップS407の判定において、画像内に大きい男性と小さい人が存在していない場合に、表情検出部405は、顔部と体部との比率が小さいか否かを判定する(ステップS409)。ステップS409の判定において、顔部と体部との比率が小さい場合に、表情検出部405は「なつかしい度」に1点を加える(ステップS410)。そして、図12の処理を抜けて、図3のステップS7に移行する。顔と体の大きさの比率は成長するにつれ大きくなっていくので、この比率が小さい写真は子どもの写真と考える。そして、このような写真は幼少の思い出を喚起できるものとして「なつかしい度」に加点するようにしている。ただし、顔と体の比率による「なつかしい度」を高くしすぎると、子どもの写真ばかりになってしまうので、大人と一緒の写真よりも得点を少なくしている。
【0085】
以上説明したように、本実施形態によれば、大量の画像の中から懐かしさを喚起する画像のみを優先して再生できるカメラやシステムを提供することが可能である。また、インターネット上のサービスを駆使すれば、例えば、家族の年代史のように大量の画像を各地に離れた親族が短時間にかいつまんで鑑賞することが可能となる。
【0086】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では画像データ毎に1つの「なつかしい度」を設定しているが、複数の条件が重なった場合には、それら複数の条件に対応した「なつかしい度」を加算又は乗算して最終的な「なつかしい度」を求めるようにしても良い。また、背景被写体の種類や顔部の表情に応じた「なつかしい度」の点数は一例であり、適宜決定することができる。この点数をユーザが設定できるようにしても良い。
【0087】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【0088】
【図1】本発明の一実施形態に係る画像表示装置を含む撮影装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図2】本発明の一実施形態に係る画像表示装置を含む通信システムの構成を示す図である。
【図3】サーバの動作を示すフローチャートである。
【図4】背景部検出のための顔検出処理の一例の処理手順について示すフローチャートである。
【図5】顔検出処理の概念について示す図である。
【図6】懐かしさを想起させる被写体が存在しているか否かの判定処理について示すフローチャートである。
【図7】文字検出処理の一例を示すフローチャートである。
【図8】文字検出処理の概念について説明するための図である。
【図9】顔の表情に応じた「なつかしい度」を求めるためのフローチャートである。
【図10】表情検出処理の一例を示すフローチャートである。
【図11】表情検出処理の概念について説明するための図である。
【図12】人物同士の関係性に応じた「なつかしい度」を求めるためのフローチャートである。
【符号の説明】
【0089】
100…デジタルカメラ、101…マイクロプロセッシングユニット(MPU)、102…操作部、103…撮影レンズ、104…オートフォーカス(AF)回路、105…絞り機構、106…絞り制御回路、107…撮像素子、108…アナログフロントエンド(AFE)回路、109…画像処理回路、110…表示制御回路、111…表示パネル、112…形状検出回路、113…距離検出回路、114…顔検出回路、115…圧縮部、116…記録制御回路、117…記録メディア、118…通信部、119…補助光発光回路、300…ネットワーク、400…サーバ、500,600…パーソナルコンピュータ(PC)、700…スキャナ
【特許請求の範囲】
【請求項1】
顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置において、
上記画像における顔部分を検出する顔画像検出部と、
上記顔部分以外の背景部分の画像を検出する背景画像検出部と、
上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価する画像評価部と、
上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項2】
上記画像評価部は上記背景部分の画像の中から、文字の特徴を抽出して、文字画像があるか否かを判定することで上記表示優先度を評価することを特徴とする請求項1に記載の画像表示装置。
【請求項3】
上記画像は、複数の顔部分の画像を含み、
上記画像評価部は、上記画像内における複数の顔の相対的な位置と大きさとの関係から上記画像の表示優先度を評価することを特徴とする請求項1に記載の画像表示装置。
【請求項4】
上記画像評価部は上記顔部分の画像から顔の表情を検出する表情検出部を含み、
上記検出された顔の表情と上記背景部分の画像に基づいて上記表示優先度を評価することを特徴とする請求項1に記載の画像表示装置。
【請求項5】
上記画像評価部は、上記顔部分及び上記背景部分の画像をそれぞれ点数化し、該点数を評価することで上記表示優先度を評価し、
上記表示制御部は、上記点数が高い画像を他に優先して表示させることを特徴とする請求項1に記載の画像表示装置。
【請求項6】
顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示方法において、
上記画像における顔部分を検出し、
上記顔部分以外の背景部分の画像を検出し、
上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価し、
上記表示優先度に応じた優先順位で上記画像を表示させる、
ことを特徴とする画像表示方法。
【請求項7】
顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示プログラムにおいて、
上記画像における顔部分を検出するステップと、
上記顔部分以外の背景部分の画像を検出するステップと、
上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価するステップと、
上記表示優先度に応じた優先順位で上記画像を表示させるステップと、
をコンピュータに実行させるための画像表示プログラム。
【請求項1】
顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示装置において、
上記画像における顔部分を検出する顔画像検出部と、
上記顔部分以外の背景部分の画像を検出する背景画像検出部と、
上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価する画像評価部と、
上記表示優先度に応じた優先順位で上記画像を表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項2】
上記画像評価部は上記背景部分の画像の中から、文字の特徴を抽出して、文字画像があるか否かを判定することで上記表示優先度を評価することを特徴とする請求項1に記載の画像表示装置。
【請求項3】
上記画像は、複数の顔部分の画像を含み、
上記画像評価部は、上記画像内における複数の顔の相対的な位置と大きさとの関係から上記画像の表示優先度を評価することを特徴とする請求項1に記載の画像表示装置。
【請求項4】
上記画像評価部は上記顔部分の画像から顔の表情を検出する表情検出部を含み、
上記検出された顔の表情と上記背景部分の画像に基づいて上記表示優先度を評価することを特徴とする請求項1に記載の画像表示装置。
【請求項5】
上記画像評価部は、上記顔部分及び上記背景部分の画像をそれぞれ点数化し、該点数を評価することで上記表示優先度を評価し、
上記表示制御部は、上記点数が高い画像を他に優先して表示させることを特徴とする請求項1に記載の画像表示装置。
【請求項6】
顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示方法において、
上記画像における顔部分を検出し、
上記顔部分以外の背景部分の画像を検出し、
上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価し、
上記表示優先度に応じた優先順位で上記画像を表示させる、
ことを特徴とする画像表示方法。
【請求項7】
顔画像を含む複数の画像を所定の優先順位で表示させるための画像表示プログラムにおいて、
上記画像における顔部分を検出するステップと、
上記顔部分以外の背景部分の画像を検出するステップと、
上記顔部分及び上記背景部分の画像に基づいて上記画像の表示優先度を評価するステップと、
上記表示優先度に応じた優先順位で上記画像を表示させるステップと、
をコンピュータに実行させるための画像表示プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2008−225886(P2008−225886A)
【公開日】平成20年9月25日(2008.9.25)
【国際特許分類】
【出願番号】特願2007−63771(P2007−63771)
【出願日】平成19年3月13日(2007.3.13)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成20年9月25日(2008.9.25)
【国際特許分類】
【出願日】平成19年3月13日(2007.3.13)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]