説明

類似画像検索装置、カメラ、類似画像検索方法、およびプログラム

【課題】簡単な操作で被写体の選択を行うことができる類似画像検索装置、カメラ、類似画像検索方法、およびプログラムを提供する。
【解決手段】画面に表示される被写体の中で検索の基準の候補となる候補被写体q1〜q3を選択して、当該候補被写体の画像にカーソルc1〜c3を表示し、候補被写体の中で画面の中央に存在する被写体を基準被写体として選択する被写体選択部と、被写体選択部によって選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する類似画像検索部を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を解析し、類似画像を検索する類似画像検索装置、カメラ、類似画像検索方法、およびプログラムに関する。
【背景技術】
【0002】
撮影画像を解析し、被写体が、例えば、人物、建物、山、海等であることを特定する技術が進歩してきており、この技術を利用し、画像の自動検索が実用化されている。特に、顔画像から特定の人物を認識する技術の進歩は著しい。顔画像による認証技術として、例えば、特許文献1および特許文献2がある。
【0003】
また、撮影画像の被写体の種類やシーン、あるいは写っている人物と類似する他の画像、いわゆる類似画像を検索する類似画像検索に関する技術も種々提案されている。従来、カメラやパソコンで画像を検索する場合には、インデックス画像再生を利用し、サムネイル画像を表示させて行っていた。しかし、類似画像検索を利用すれば、検索条件を適当に設定することによって、目的に近い画像を検索することができる。例えば、特許文献3には、画面に表示された特定検索のための属性項目(色相分布、撮影日時、撮影場所、構図、被写体人物)を選択することで、指定された属性項目で検索を行う検索装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−233959号公報
【特許文献2】特開2008−237399号公報
【特許文献3】特開2007−226536号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
カメラのような携帯機器でも、類似画像検索の機能があれば、記録媒体から現在の被写体に類似する撮影画像を素早く探したり、あるいは、類似画像に類似する画像を表示させ、撮影画像の鑑賞を楽しむことができ、従来にない新たなカメラの利用を提案できる。しかし、多く場合、複数の被写体が混在する実際のカメラの画面で、検索が実行されると、現在、画面に表示されている複数の被写体にそれぞれ類似する類似画像が検索され、結果としてまとまりのない画像が多数、検索されることになる。
【0006】
したがって、カメラのような携帯機器に類似画像検索機能を搭載するためには、検索の基準となる被写体(例えば、人物・ペット・風景等)を、その都度、画面の中で的確に選択することが求められる。特に、カメラを構えた状態でも、簡単な操作で被写体の選択ができることが望ましい。
【0007】
本発明は、このような事情を鑑みてなされたものであり、簡単な操作で被写体の選択を行うことができる類似画像検索装置、カメラ、類似画像検索方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため第1の発明に係わる類似画像検索装置は、画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択して、上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択する被写体選択部と、上記被写体選択部によって選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する類似画像検索部と、を有する。
【0009】
第2の発明に係わるカメラは、上記第1の発明の類似画像検索装置を備え、上記被写体選択部は、ライブビュー画像の中から上記候補被写体を選択し、当該ライブビュー画像上の候補被写体にマークを表示する。
第3の発明に係わるカメラは、上記第2の発明において、表示部に画像を表示する表示制御部を備え、上記表示制御部は、上記類似画像検索部によって記録媒体から検索された類似画像を、上記ライブビュー画像と共に表示する。
第4の発明に係わるカメラは、上記第3の発明において、上記表示制御部は、上記類似画像と共に表示される上記ライブビュー画像として、ライブビュー画像を固定して表示する。
【0010】
第5の発明に係わる類似画像検索方法は、画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択し、当該候補被写体の画像にマークを表示し、上記マークが表示された上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択し、上記選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する。
【0011】
第6の発明に係わるプログラムは、画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択し、当該候補被写体の画像にマークを表示し、上記マークが表示された上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択し、上記選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する。
【発明の効果】
【0012】
第1、第5、および第6の発明によれば、簡単な操作で被写体の選択を行うことができる類似画像検索装置、カメラ、類似検索方法、およびプログラムを提供することができる。また、第2発明によれば、ライブビュー画像に対して、画角移動やズームにより基準被写体を選択できるので、基準被写体の設定を容易に行うことができる。また、第3の発明によれば、記録媒体に記録された画像の再生を行う際にも簡単な操作で被写体の選択を行うことができる。また、第4の発明によれば、カメラの向きを変えたりしても、検索画像が一定であるので、安心して検索画像を鑑賞することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係わるカメラの主として電気回路の構成を示すブロック図である。
【図2】本発明の一実施形態に係わるカメラにおいて、画面の中心に存在する候補被写体を基準被写体として選択する場合を説明する図である。
【図3】本発明の一実施形態に係わるカメラにおいて、画面上に所定以上のサイズで存在する候補被写体を基準被写体として選択する場合を説明する図である。
【図4】本発明の一実施形態に係わるカメラの撮影モードの動作を示すフローチャートである。
【図5】本発明の一実施形態に係わるカメラの類似画像表示処理の動作を示すフローチャートである。
【図6】本発明の一実施形態に係わるカメラの基準被写体選択の動作を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【0015】
図1は、本発明の一実施形態に係わるカメラの構成を示すブロック図である。制御部(CPU:Central Processing Unit)11は、プログラム/データ記憶部12に記憶された制御プログラムに従って動作し、カメラの全体制御を行う。制御部11内には、被写体選択部11a、類似画像検索部11b、および操作検出部11cが設けられている。制御部11内の11a、11b、11cは、制御プログラムにより実行される処理の一部であるので、制御部11に含まれる機能部として説明する。
【0016】
被写体選択部11aは、類似画像を検索するための候補被写体や基準被写体の選択を行う。被写体選択部11aは、候補被写体として、プログラム/データ記憶部12に記憶されているデータベースを用いて、画面の中から人物、動物、風景、食べ物、色の被写体を検出する。また、基準被写体の選択は、画面の中央にある候補被写体を選択する方法と、画面の中で所定サイズ以上の候補被写体を選択する方法と2種類用意してある。
【0017】
類似画像検索部11bは、被写体選択部11aによって選択された基準被写体と類似する画像を、後述する画像記憶部22に記憶されている画像の中から選択する。類似画像の検索は、公知の画像マッチング法等を用いる。操作検出部11cは、後述する操作部13に接続され、十字釦やOK釦等の各種操作部材の操作状態を検出する。
【0018】
制御部11には、プログラム/データ記憶部12、操作部13、およびバス30が接続されている。プログラム/データ記憶部12には前述したように制御部11において実行するプログラムが記憶されており、各種データも記憶されている。また、候補被写体検索用や、また類似画像検索用のデータベースも格納されている。
【0019】
プログラム/データ記憶部12は、上述の候補被写体検索用や類似画像検索用のデータベースとして、次のようなパターンを記憶している。まず、人物用のデータベースとして、
顔の男女別特徴パターン、
ロング、ショート、お下げ、ポニー等の髪型パターン
幼児、子供、青年、中年、老年等の世代別の顔のパターン
髭、眼鏡、垂れ目、つり目等の顔パーツの特徴
を記憶している。
【0020】
また、動物用のデータベースとして、犬、猫、ウサギ、ネズミ等の動物の種類の形状パターンを記憶している。風景用のデータベースとして、山のみ、山+川、山+海等の風景のパターンを記憶している。食べ物用データベースとして、りんご、ミカン、バナナ等の食べ物の種類のパターンを記憶している。色用データベースとして、赤色、青色、黄色、緑色等、色の種類を記憶している。
【0021】
操作部13は、ユーザがカメラに指示を与えるための各種操作部材を有する。各種操作部材としては、電源釦、レリーズ釦、メニュー釦、OK釦、十字釦、再生釦等を有し、各種操作部材の操作状態の検出結果を制御部11に出力する。なお、後述する検索モードは、メニュー釦によってメニュー画面を表示させ、このメニュー画面の中で設定する。
【0022】
バス25には、前述の制御部11の他に、撮像部15、SDRAM(Dynamic Random Access Memory)16、画像処理部17、表示制御部18、圧縮伸張部20、記録再生部21が接続されている。撮像部15は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、及びこれらの処理回路、撮影レンズの光路中に介挿された絞り及びシャッタ等を含む。撮像部15によって生成された画像データはバス25に出力される。
【0023】
SDRAM16は電気的に書き換え可能な揮発性の一時記憶メモリであり、撮像部15から出力される画像データの一時記憶に用いられる。画像処理部17は、デジタル画像データのデジタル的増幅(デジタルゲイン調整処理)、ホワイトバランス、色補正、ガンマ(γ)補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成等の各種の画像処理を行なう。
【0024】
圧縮伸張部20はSDRAM16に一時記憶された静止画や動画の画像データをJPEGやTIFF等の圧縮方式により圧縮し、また表示等のために伸張するための回路である。なお、画像圧縮はJPEGやTIFFに限らず、他の圧縮方式も適用できる。
【0025】
表示制御部18は、撮影時にはライブビュー表示を、レリーズ時にはレックビュー表示を、再生時には再生画像を、表示部19に表示させる。また、被写体選択部11aからの指示に基づき、表示中の候補画像を示すカーソルの表示を行う。さらに、類似画像検索部11bによって検索された類似画像の表示も行う。表示部19は、表示制御部18に接続されており、カメラ10の本体の背面等に配置された液晶モニタや有機EL等のディスプレイを有し、表示制御部18の制御によりディスプレイの画面に所定の画像が表示される。
【0026】
記録・再生部21は、圧縮伸張部20において圧縮された画像データを画像記憶部22に記憶し、また、画像記憶部22に記憶された撮影画像の画像データを読み出す。この読み出された画像データは、圧縮伸張部20において伸張され、この伸張された画像データに基づいて、表示部19に画像が再生表示される。画像記憶部22は、記録・再生部21に接続されており、デジタルカメラ本体に内蔵、または装填可能な画像データの記録媒体である。この画像記憶部22に、撮影画像が記録されている。
【0027】
次に、図2および図3を用いて、本実施形態において検索モードが設定された場合において、候補被写体の中から基準被写体を選択する方法について説明する。前述したように候補被写体から基準被写体を選択する方法としては、本実施形態においては2種類用意してある。第1の方法は、画面の中心にある候補被写体を基準被写体として選択する方法である。第2の方法は、画面の中で所定以上のサイズの候補被写体を基準被写体として選択する方法である。
【0028】
図2は、第1の方法による選択、すなわち、画面中心の候補画像を基準被写体とする場合の画面を順番に示す図である。図2(a)は表示部19に表示されたライブビュー画像であり、画面100の左上には、カメラモード51が表示され、この例においてはライブビュー画像を表示中であることを示す「Live」が表示されている。
【0029】
図2(a)の画面100には、被写体として、人物(子供)p1、動物(犬)p2、車p3が、候補被写体として認識されている。なお、車p3は、色彩があるものとして(この例では、青色)認識され、候補被写体の一つとなっている。この候補被写体は、被写体選択部11aがプログラム/データ記憶部12に記憶されている被写体用のデータベースに基づいて判定する。また、被写体選択部11aが、これらのp1〜p3を認識すると、画面100上のこれらの位置にカーソルc1〜c3を表示する。すなわち、人物p1を表示するためのカーソルc1、動物p2を表示するカーソルc2、車p3を表示するカーソルc3が、表示される。また、画面100の略中央には、画面中央であることを示すセンタマーク54が表示される。
【0030】
図2(a)に示す画面100では、センタマーク54上には、候補被写体(p1〜p3)は位置していない。この状態で、ユーザがカメラを左に移動させていくと、図2(b)に示すように、人物(子供)p1のカーソルc1の位置をセンタマーク54と略一致させることができる。略一致させると、人物p1が基準被写体に選択され、この時ライブビュー画像は固定され、基準画像となる。
【0031】
基準被写体が決まると、類似画像検索部11bは、画像記憶部22に記憶されている撮影画像の中から、類似画像を検索する。図2に示す例では、人物p1が基準被写体となっていることから、「顔」基準で類似画像を検索する。この検索された類似画像56は、図2(c)に示すように、サムネイル画像で示され類似画像列55として、画面の下側に列状に表示される。図2(c)に示される類似画像56に記載の数字は、コマ番号を示す。また、類似画像列55上には、カーソル57を表示し、このカーソル57は、十字釦によって左右にスライド可能である。
【0032】
カーソル57をスライドさせ、類似画像を56のいずれかを選択して、OK釦等により、指定すると、図2(d)に示すように、ライブビュー表示が中断され、指定された類似画像が画面100に拡大表示される。ライブビュー表示が中断され、再生モードに変わることから、カメラモード51としては再生モードであることを示す「Play」が表示される。また、画面100の右上には、コマ番号58が表示される。図2(d)に示す例では、コマ番号「53」が表示されている。
【0033】
また、被写体選択部11aは、現在表示中の再生画像の中から候補被写体を認識してカーソルを表示する。すなわち、図2(d)の例では、大人q1、q2を示すカーソルc1、c2と、太陽q3を示すカーソルc3、食べ物q4を示すカーソルc4が、表示される。なお、太陽q3は、色彩があるものとして(この例では、赤色)認識され、候補被写体の一つとなっている。
【0034】
また、類似画像列55には、図2(c)での検索画像と同じ、顔基準の検索画像が表示される。画面中央にポインタ60が表示される。
【0035】
図2(d)の表示において、ポインタ60が操作部13の十字釦によって食べ物q4を示すカーソルc4が移動されると、基準被写体が食べ物qに代わる。図2(e)は、類似画像検索部11bが、「食べ物」基準類似画像を検索した表示を示す。この状態では、コマ番号「53」が再生表示され、類似画像列55には、食べ物基準で検索された類似画像が表示される。
【0036】
このように、検索モードを設定することにより、図2(c)〜(f)に示すような類似画像を次から次へと検索し、検索結果の画像を楽しむことができる。この検索表示は、あたかもインターネット上でのネットサーフィンと似ていることから、本明細書ではフォトサーフィンと称する。
【0037】
ユーザは、検索モードを終了する場合には、1stレリーズ、すなわち、レリーズ釦の半押しを行えばよく、これにより、図2(f)に示すように、通常のライブビュー表示を行う撮影モードに戻り、ライブビュー画面の固定も解除される。ライブビュー表示を再開すると、類似画像列55には、ライブビュー表示中に表示していた類似画像を表示する。図2(f)の例では、ライブビュー表示を中断する直前の図2(c)における類似画像列55の類似画像を表示する。
【0038】
このように第1の方法は、ライブビュー表示中であっても、カメラの向きを変え、画面の中央に候補被写体を位置させるだけで、簡単に基準被写体を選択することができる。特に、タッチパネルのない機器であっても、基準被写体を選択することができる。また、基準被写体を選択すると、ライブビュー画像を固定することにより、カメラの向きを変えても検索画像が一定となり、安心して検索画像を鑑賞することができる。
【0039】
次に、候補被写体の選択の第2の方法、すなわち、画面の中で所定以上のサイズの候補被写体を基準被写体として選択する方法について、図3を用いて説明する。図3(a)は、図2(a)と同じく、ライブビュー表示を行っている様子を示す。この状態で、ユーザが人物(子供)p1に近づくか、またはズームアップを行うと、図3(b)に示すように、人物p1は大きくなり、またカーソルc1も大きくなる。
【0040】
候補被写体としての人物p1の画面上のサイズが所定以上に大きくなると、人物p1が基準被写体として指定され、類似画像検索部11bは、「顔」基準で、画像記憶部22に記憶されている撮影画像の中から類似画像を検索する。検索された類似画像56は、図3(c)に示すように、類似画像列57として、画面100の下側に表示される。前述した図2(c)と同様に、ライブビュー画像(基準画像)は固定される。
【0041】
類似画像列55上には、カーソル57が表示され、十字釦とOK釦を操作することにより、類似画像の指定を行うことができる。類似画像が指定されると、ライブビュー表示は中断され、画面100には、その類似画像が、図2(d)と同様に、大きく再生表示される。以下の動作は、第1の方法により基準被写体を選択した場合と同様であることから、詳しい説明を省略する。この第2の方法においても、レリーズ釦の半押しにより、撮影モードに戻り、固定が解除され、ライブビュー表示を再開する。
【0042】
このように、第2の方法では、ライブビュー画像に対して、被写体に近づいて画角を変えることにより、またはズーミングにより、被写体のサイズを大きくすることができ、簡単な方法で基準被写体を選択することができる。特に、タッチパネルのない機器であっても、基準被写体を選択することができる。また、第1の方法と同様に、基準被写体を選択すると、ライブビュー画像が固定されるので、カメラの向きを変えても検索画像が一定となり、安心して検索画像を鑑賞することができる。
【0043】
次に、本実施形態における動作を図4ないし図6に示すフローチャートを用いて説明する。図4に示す撮影モードのフローに入ると、まず、ライブビュー画像の表示を行う(S1)。ここでは、撮像部15によって取得した画像データに基づいて、表示制御部18は表示部19にライブビュー表示を行う。ユーザはこのライブビュー表示観察することにより、構図やシャッタチャンスを決定することができる。
【0044】
ライブビュー画像表示を行うと、次に、検索モードが選択されているか否かの判定を行う(S3)。前述したように、検索モードは、メニュー画面上で設定しており、このステップでは、この検索モードが設定されたか否かを判定する。
【0045】
ステップS3における判定の結果、検索モードが選択されていた場合には、次に、類似画像表示処理を行う(S5)。ここでは、候補被写体を選択し、この候補被写体の中から基準被写体を選択し、選択された基準被写体に基づいて類似画像を検索し、検索結果を類似画像列55として表示する。この類似画像表示処理の詳しい動作については、図5を用いて後述する。
【0046】
類似画像表示処理を行うと、またはステップS3における判定の結果、検索モードが選択されていなかった場合には、次に、電源オフ操作がなされたか否かを判定する(S7)。ここでは、操作部13の内の1つである電源釦の操作状態を操作検出部11cが判定する。この判定の結果、電源オフ操作がなされていた場合には、電源オフ処理を行った後、撮影モードを終了する。
【0047】
ステップ7における判定の結果、電源オフ操作がなされていなかった場合には、次に、レリーズ操作がなされたか否かを判定する(S9)。ここでは、操作部13内の1つであるレリーズ釦の操作状態を操作検出部11cが判定する。この判定の結果、レリーズ操作がなされていなかった場合には、ステップS1に戻る。一方、レリーズ操作がなされた場合には、撮影処理を行う(S11)。ここでは、AE処理、AF処理、撮像と画像データの記録等の種々の撮影動作を実行する。撮影処理を行うと、ステップS1に戻る。
【0048】
次に、ステップS5における類似画像表示処理について、図5に示すフローチャートを用いて説明する。類似画像表示処理のフローに入ると、まず、類似画像表示の最初か否かを判定する(S21)。ここでは、図4に示した撮影モードのフローにおいて、ステップS5の類似画像表示処理を始めて実行するか否かを判定する。撮影モードのスタート時には、ここではYesと判定される。
【0049】
ステップS21における判定の結果、類似画像表示が最初でなかった場合、すなわち2回目以降であれば、次に、基準画像はライブビュー画像か否かの判定を行う(S41)。図2(c)で示した例では、ライブビュー画像の中から基準被写体を選択し、このときのライブビュー画像を基準画像として扱っている。ステップS41においては、再生画像ではなく、図2(c)に示したようにライブビュー画像中から基準被写体を選択し、このときのライブビュー画像を基準画像としたか否かを判定する。
【0050】
ステップS41における判定の結果、基準画像がライブビュー画像であった場合には、次に、ライブビュー画像に変化があったか否かを判定する(S43)。ここでは、撮像部15によって取得された画像データに基づくライブビュー画像と、ライブビュー画像に基づく基準画像とを比較し、変化があったか否かを判定する。
【0051】
ステップS43における判定の結果、ライブビュー画像に変化があった場合、またはステップS21における判定の結果、類似画像表示の最初であった場合には、次に、基準被写体選択を行う(S23)。ここでは、画像の中から候補被写体を検索し、候補被写体が存在した場合には、カーソルc1〜c3を表示すると共に、基準被写体が存在するか否かを判定し、存在した場合には基準被写体として選択する。この基準被写体選択の詳しい動作は、図6を用いて後述する。
【0052】
ステップS23において基準被写体の選択を行うと、次に、基準被写体に類似する画像を検索する(S25)。ここでは、類似画像検索部11bが、画像記憶部22に記憶された画像の中から、選択された基準被写体と類似する画像を、検索基準に従って検索する。
【0053】
ステップS25において類似画像の検索を行うと、次に、類似画像ありか否かの判定を行う(S27)。ここでは、ステップS25における類似画像検索の結果に基づいて判定する。この判定の結果、類似画像が検索されなかった場合には、基準画像のみを画面100に表示する(S37)。基準画像を表示すると、元のフローに戻る。
【0054】
一方、ステップS27における判定の結果、類似画像が検索された場合には、次に、基準画像はライブビュー画像か否かを判定する(S29)。前述したように、基準画像はライブビュー画像の場合と、画像記憶部22に記憶された画像の再生画像の場合があり、このステップでは、何れの画像であるかを判定する。
【0055】
ステップS29における判定の結果、基準画像がライブビュー画像であった場合には、次に、基準画像を固定する(S45)。ここでは、類似画像が検索された時点でライブビュー画像を固定し、ライブビュー画像の更新を中断する。固定のタイミングは、これに限ることなく、基準被写体を選択した時点や、類似画像を表示するタイミングでもよい。
【0056】
ステップS45において基準画像を固定すると、またはステップS29における判定の結果、基準画像がライブビュー画像でなかった場合には、次に、基準画像および類似画像を表示する(S31)。ここでは、例えば、図2(c)に示したように、基準画像を画面100に大きく表示するとともに、基準画像の下側に類似画像列55を表示する。
【0057】
ステップS31において基準画像及び類似画像を表示すると、またはステップS41またはステップS43における判定の結果がNoであった場合には、次に、画面で類似画像が選択されたか否かを判定する(S33)。ユーザは、カーソル53を移動させながら鑑賞を望む類似画像を選択することができので、このステップでは、OK釦等の操作により類似画像を選択したか否かを判定する。
【0058】
ステップS33における判定の結果、類似画像が選択されなかった場合には、次に、1stレリーズ操作がなされたか否かを判定する(S35)。撮影者が撮影準備動作を行う場合には、1stレリーズ操作、すなわち、レリーズ釦の半押し操作を行うので、このステップでは、レリーズ釦の半押し操作によってオンとなる1stレリーズスイッチの状態に基づいて判定する。
【0059】
ステップS35における判定の結果、1stレリーズ操作がなされなかった場合には、ステップS31に戻る。一方、1stレリーズ操作がなされた場合には、検索モードを終了し、元のフローに戻り、図2(f)において説明したように、通常の撮影モードを実行する。
【0060】
ステップS33における判定の結果、類似画像が選択された場合には、次に、選択された類似画像を拡大表示する(S47)。ここでは、選択された類似画像を、画像記憶部22から読み出し、例えば、図2(d)に示すように、画面100に拡大表示する。
【0061】
類似画像の拡大表示を行うと、次に、候補被写体が検出されたか否かを判定する(S49)。ステップS47において類似画像が拡大表示されると、被写体選択部11aは、この拡大表示された類似画像の中に候補被写体を検出する。このステップでは、被写体選択部11aが候補被写体を検出したか否かを判定する。この判定の結果、候補被写体を検出することがなかった場合には、ステップS33に戻る。
【0062】
一方、ステップS49における判定の結果、候補被写体が検出された場合には、候補被写体の表示を行う(S51)。ここでは、例えば、図2(d)に示すように、候補被写体であることを示すカーソルc1〜c4の表示を行う。
【0063】
候補被写体の表示を行うと、次に、基準被写体が選択されたか否かを判定する(S53)。ここでは、画像がライブビュー画像の場合には、前述の第1の方法もしくは第2の方法によって、基準被写体が選択されたかを判定する。また、画像が再生画像の場合には、いずれかの候補被写体にポインタが移動されたかによって、基準被写体が選択されたかを判定する。この判定の結果、基準被写体が選択された場合には、ステップS25に戻り、類似画像の検索を行い、図2(e)に示すように、類似画像の表示を行う。一方、基準被写体が選択されなかった場合には、ステップS33に戻る。
【0064】
次に、ステップS23における基準被写体選択の詳しい動作について、図6に示すフローチャートを用いて説明する。基準被写体選択のフローに入ると、まず、画面内の形状や色を抽出してデータベースと対比する(S61)。ここでは、被写体選択部11aが、画面内の画像を解析し、形状や色を抽出し、プログラム/データ記憶部12のデータに記憶されている被写体検索用のデータベースと対比を行う。
【0065】
続いて、候補被写体の検出を行う(S63)。ここでは、データベースに記憶されている人物、動物、風景、色、食べ物の5種類について、これらのパターンと一致する被写体が存在しているかを検出する。例えば、図2(a)に示す例では、ライブビュー画像から、人物(子供)、青色(図2(a)では車の青色)、動物(犬)が候補被写体として検出されている。また、図2(d)に示す例では、再生画像から、人物(男女)、風景(太陽)、食べ物(リンゴ)が、候補被写体として検出されている。
【0066】
候補被写体検出を行うと、次に、候補被写体有りか否かの判定を行う(S65)。ここでは、ステップS63における検出結果に基づいて判定する。この判定の結果、候補被写体がなかった場合には、ステップS7(図4参照)に戻る。
【0067】
一方、ステップS65における判定の結果、候補被写体が有った場合には、次に、候補被写体にカーソルを重畳表示する(S67)ここでは、例えば、図2(a)に示すように、検出された候補被写体の位置に、候補被写体のサイズに合わせてカーソルc1〜c3を表示する。次に、表示画像がライブビュー画像かを判定する(S68)。ライブビュー画像である場合には(S68Yes)、ステップS69に進む。
【0068】
候補被写体にカーソルを重畳表示すると、次に、画面のセンタ領域に候補被写体が有るか否かを判定する(S69)。前述したように基準被写体の判定方法としては、第1及び第2の方法があり、ここでは第1の方法による基準被写体判定を行う。例えば、図2(b)に示すように、センタマーク54の位置に、候補被写体p1〜p3があるか否かを判定する。
【0069】
ステップS69における判定の結果、画面のセンタ領域に候補被写体が有った場合には、次に、画面センタにある候補被写体を基準被写体に選択する(S71)。ここでは、例えば、図2(b)に示すように、人物(子供)p1を基準被写体として選択する。基準被写体の選択を行うと、元のフローに戻る。
【0070】
ステップS69における判定の結果、画面のセンタ領域に候補被写体がなかった場合には、次に、所定サイズ以上の候補被写体が有るか否かを判定する(S73)。ここでは、第2の方法により基準被写体の判定を行う。例えば、図3(b)に示すように、被写体が所定以上のサイズか否かを判定する。所定以上のサイズとしては、例えば、面積で画面サイズの5%以上程度の大きさとする。しかし、これに限らず、主被写体といえる程度のサイズであれば、これよりも大きくても小さくてもよい。
【0071】
ステップS73における判定の結果、所定サイズ以上の候補被写体が有った場合には、次に、その候補被写体が複数有るか否かの判定を行う(S75)。基準被写体の選択基準として、所定以上のサイズとした場合、複数の候補被写体が選択される場合がある。ここでは、複数、候補被写体が選択されたかを判定する。
【0072】
ステップS75における判定の結果、複数有った場合には、サイズ最大の候補被写体を基準被写体として選択する(S77)。一方、判定の結果、複数なかった場合には、当該候補被写体を基準被写体として選択する(S79)。したがって、所定サイズ以上の候補被写体があった場合には、その中で一番大きい候補被写体を基準被写体とし、所定サイズ以上の候補被写体が1つしかなかった場合には、その候補被写体を基準被写体とする。ステップS77、S79において、基準被写体を選択すると、元のフローに戻る。
【0073】
一方、ステップS68で表示画像がライブビュー画像でない場合(S68No)、つまり、表示画像が再生画像の場合には、ポインタが候補被写体に移動されたかを判定する(S81)。この判定の結果、移動されたら(S81Yes)、ポインタが移動された候補被写体を基準被写体として選択する(S83)。その後、元のフローに戻る。ポインタが移動されない場合には(S81No)、ステップS83をジャンプして、元のフローに戻る。
【0074】
以上説明したように、本発明の一実施形態においては、被写体像中の候補被写体の中で画面の中央に存在する被写体を、若しくは候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択するようにしている。このため、簡単な操作で被写体の選択を行うことができる。特に、複数の被写体が混在する画面で検索を実行しても、的確に基準被写体が選択されることから、結果としてまとまりのある類似画像を、検索することができ、フォトサーフィンを楽しむことができる。
【0075】
特に、画面中央に存在する被写体を基準被写体として選択する場合には、例えばカメラの向きを調整するという簡単な操作で基準被写体を選択することができる。また、画面で所定以上のサイズの候補被写体を基準被写体として選択する場合には、例えばカメラのズーム等の簡単な操作で基準被写体を選択できる。いずれの方法であっても、タッチパネルのない機器であっても、基準被写体の選択を容易に行うことができる。
【0076】
なお、本発明の一実施形態においては、基準被写体の選択方法として、画面中央にある候補被写体、または所定サイズ以上の候補被写体を選択したが、類似画像の検索を行うにあたって、基準となる被写体を選択できる方法であれば、これに限らない。また、本発明の一実施形態においては、候補被写体検索用や類似画像検索にあたって、人物、動物、風景、食べ物、色の5種類のパターンを、データベースとして記憶していた。しかし、このパターンはこれに限らず、例えば、花、雑貨等、他のものでもかまわない。
【0077】
また、本発明の一実施形態においては、類似画像検索装置をカメラに搭載した例を説明したが、これに限らず、パーソナルコンピュータ等に画像を記憶し、これらの画像を再生して楽しむ場合にも適用することができる。また、本発明の一実施形態においては、ライブビュー表示の際と再生表示の際の両方のモードにおいて、類似画像の検索と表示を行うようにしていたが、いずれか一方だけでもよい。
【0078】
さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。
【0079】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0080】
11・・・制御部、11a・・・被写体選択部、11b・・・類似画像検索部、11c・・・操作検出部、12・・・プログラム/データ記憶部、13・・・操作部、15・・・撮像部、16・・・SDRAM、17・・・画像処理部、18・・・表示制御部、19・・・表示部、20・・・圧縮伸張部、21・・・記録・再生部、22・・・画像記憶部、51・・・カメラモード、54・・・センタマーク、55・・・類似画像列、56・・・類似画像、
57・・・カーソル、58・・・コマ番号、100・・・画面

【特許請求の範囲】
【請求項1】
画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択して、上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択する被写体選択部と、
上記被写体選択部によって選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する類似画像検索部と、
を有することを特徴とする類似画像検索装置。
【請求項2】
上記請求項1に記載の類似画像検索装置を備え、
上記被写体選択部は、ライブビュー画像の中から上記候補被写体を選択し、当該ライブビュー画像上の候補被写体にマークを表示することを特徴とするカメラ。
【請求項3】
表示部に画像を表示する表示制御部を備え、
上記表示制御部は、上記類似画像検索部によって記録媒体から検索された類似画像を、上記ライブビュー画像と共に表示することを特徴とする請求項2に記載のカメラ。
【請求項4】
上記表示制御部は、上記類似画像と共に表示される上記ライブビュー画像として、ライブビュー画像を固定して表示することを特徴とする請求項3に記載のカメラ。
【請求項5】
画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択し、当該候補被写体の画像にマークを表示し、
上記マークが表示された上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択し、
上記選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する、
ことを特徴とする類似画像検索方法。
【請求項6】
画面に表示される被写体の中で検索の基準の候補となる候補被写体を選択し、当該候補被写体の画像にマークを表示し、
上記マークが表示された上記候補被写体の中で画面の中央に存在する被写体を、若しくは上記候補被写体の中で画面上で所定以上のサイズになる被写体を、基準被写体として選択し、
上記選択された基準被写体に類似する被写体を有する画像を記録媒体から検索する、
ことをコンピュータに実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−58952(P2012−58952A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−200694(P2010−200694)
【出願日】平成22年9月8日(2010.9.8)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】