画像ソート装置および方法並びにプログラム
【課題】繁雑な作業を行うことなく所望とする人物を含む画像を検索する。
【解決手段】カメラ１０が所定の顔についての異なる複数の態様の顔の顔画像を取得する。第１および第２の類似度算出部３４，３６が複数の態様の顔の顔画像に基づいて、所定の顔と複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出する。ソート部３８が、算出した類似度が高い順に複数の画像をソートする。
【解決手段】カメラ１０が所定の顔についての異なる複数の態様の顔の顔画像を取得する。第１および第２の類似度算出部３４，３６が複数の態様の顔の顔画像に基づいて、所定の顔と複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出する。ソート部３８が、算出した類似度が高い順に複数の画像をソートする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像をソートするための画像ソート装置および方法並びに画像ソート方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの普及により写真撮影が手軽に行われるようになってきている。撮影により取得した画像は、ミニラボやネットワークプリントサービスを利用してプリント出力することができる。しかしながら、撮影により取得した多数の画像からプリントを所望する画像を探す作業は非常に面倒である。このため、検索の対象となる人物の顔画像を取得しておき、複数の画像からその顔画像を含む画像を検索するシステムが提案されている（特許文献１参照）。特許文献１に記載された手法は、遊園地等の施設内に設置されたカメラにより様々なシチュエーションの画像を取得しておき、あらかじめ登録した検索の対象となる人物の顔との類似度に基づいて、検索の対象となる人物を含む画像を検索するものである。また、特許文献１に記載された手法は、画像の撮影後に対象となる人物の顔を撮影してその人物の顔を登録することも可能である。
【特許文献１】特開２００２−２４２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、特許文献１に記載された手法においては、人物の顔を撮影等してあらかじめ顔画像を登録しておくものであるため、画像の検索を行う場合には、登録した顔画像の中から、検索を所望とする人物の顔画像を探し出す必要がある。しかしながら、特許文献１に記載された手法のように、大勢の人物が含まれる画像を検索の対象とする場合、検索時には検索する人物の顔画像を多数の顔画像から探し出す必要があり、その作業が非常に繁雑なものとなる。また、特許文献１にはＩＤカードに記録されたユーザの顔を読み出したり、ユーザのＩＤ番号を伝えて顔画像を特定する手法も記載されているが、そのような作業は非常に煩雑なものである。
【０００４】
本発明は上記事情に鑑みなされたものであり、繁雑な作業を行うことなく所望とする人物を含む画像を検索することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による画像ソート装置は、複数の画像をソートする画像ソート装置において、
所定の顔についての異なる複数の態様の顔の顔画像を取得する顔画像取得手段と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出する１または複数の類似度算出手段と、
前記算出した類似度が高い順に前記複数の画像をソートするソート手段とを備えたことを特徴とするものである。
【０００６】
なお、本発明による画像ソート装置においては、前記顔画像取得手段を、前記所定の顔についての異なる複数の態様の顔の顔画像を撮影により取得する手段としてもよい。
【０００７】
本発明による画像ソート方法は、複数の画像をソートする画像ソート方法において、
所定の顔についての異なる複数の態様の顔の顔画像を取得し、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出し、
前記算出した類似度が高い順に前記複数の画像をソートすることを特徴とするものである。
【０００８】
なお、本発明による画像ソート方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【０００９】
本発明によれば、所定の顔についての異なる複数の態様の顔の顔画像が取得され、複数の態様の顔の顔画像に基づいて、所定の顔と複数の画像のそれぞれとの類似度が、１または複数の異なる顔の態様に応じたアルゴリズムにより算出され、算出された類似度が高い順に複数の画像がソートされる。このため、登録された複数の顔画像から検索の対象となる所定の顔の顔画像を探し出す必要がなくなり、その結果、効率よく所望とする顔画像を含む画像を複数の画像から探し出すことができる。とくに、所定の顔についての複数の態様の顔との類似度に基づいて複数の画像をソートしているため、顔の態様に拘わらず所定の顔を含む画像が上位となるように複数の画像がソートされる。したがって、所定の顔を見つけやすくなる。
【００１０】
また、複数の態様の顔画像を撮影により取得することにより、より容易に所定の顔についての異なる態様の顔画像を取得することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像ソート装置を適用した画像のプリント注文受付装置の外観斜視図である。図１に示すように、本実施形態によるプリント注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う液晶等の表示部６とを備え、写真店に設置されたプリンタ８と接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文に必要な入力を行うことができる。また、本実施形態によるプリント注文受付装置１は、プリント注文を行うユーザの顔を撮影するためのカメラ１０を備える。
【００１２】
図２は本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。図２に示すように、プリント注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、画像のプリント注文を行うためのプリント注文プログラムおよび装置１を動作させるための基本的なプログラムや各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。
【００１３】
なお、カメラ１０は、撮影レンズ、ＣＣＤ等の撮像素子、撮像素子が取得した信号をデジタルに変換するＡ／Ｄ変換部、およびデジタルの信号に画質を向上させる画像処理を施す画像処理部等を備えてなる。ここで、カメラ１０に対する撮影の操作は、ＣＰＵ１２の制御により入力部１６から行われる。そして、プリント注文を行うユーザは表示部６の表示にしたがって、ユーザの正面顔および斜め顔をカメラ１０に撮影させる。
【００１４】
図３はユーザの顔の撮影時の撮影画面を示す図である。図３に示すように、撮影画面５０には、指示のメッセージを表示するメッセージ表示エリア５１、撮影しようとする画像を表示する画像表示部５２および撮影ボタン５３が表示される。ユーザは、メッセージ表示エリア５１に表示されたメッセージにしたがって、カメラ１０に向かって正面および斜めを向き、画像表示部５２により撮影される画像を確認した後に撮影ボタン５３にタッチすることにより、ユーザの正面顔および斜め顔をカメラ１０に撮影させることができる。なお、図３においてはメッセージ表示エリア５１に「正面を向いて下さい」と表示されているが、正面顔の撮影に続いて「斜めを向いて下さい」のメッセージが表示されて斜め顔の撮影が行われることとなる。
【００１５】
また、プリント注文受付装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、複数の画像を保存するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、プリンタ８を装置１に接続するためのプリンタインターフェース３０とを備える。
【００１６】
また、プリント注文受付装置１は、後述するようにハードディスク２４に保存された複数の画像のそれぞれから顔領域を検出する顔検出部３２と、第１および第２の類似度算出部３４，３６と、複数の画像をソートするソート部３８とを備える。
【００１７】
顔検出部３２は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、ユーザの正面顔画像、斜め顔画像およびハードディスク２４に保存された複数の画像上における顔の位置を顔領域として検出する。また、顔検出部３２は顔の向きも検出する。具体的には、検出した顔領域から両目および鼻の位置を検出し、両目および鼻の位置関係に基づいて顔の向きを左右の０〜９０度の間の値として算出する。そして、顔の向きが所定のしきい値Ｔｈ０より小さい場合には検出した顔領域の顔の向きが正面であると検出し、顔の向きが所定のしきい値Ｔｈ０以上の場合には検出した顔領域の顔の向きが斜めであると検出する。
【００１８】
第１および第２の類似度算出部３４，３６はそれぞれ異なる顔の態様に応じたアルゴリズムにより、カメラ１０が撮影により取得したユーザの正面顔画像に含まれる正面顔Ｔｆ０および斜め顔画像に含まれる斜め顔Ｔｓ０との類似度を算出する。具体的には、第１の類似度算出部３４は、特に正面を向いた顔（正面顔）の固体判別に有効なアルゴリズムにより類似度を算出し、第２の類似度算出部３６は、特に斜めを向いた顔（斜め顔）の固体判別に有効なアルゴリズムにより類似度を算出する。
【００１９】
第１および第２の類似度算出部３４，３６は、まずユーザの正面顔画像および斜め顔画像から検出された正面顔Ｔｆ０および斜め顔Ｔｓ０について、正面顔Ｔｆ０および斜め顔Ｔｓ０を構成する主要な顔部品を顔の特徴点として検出する。具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻、左右小鼻、左右口角、上唇の計９個の特徴点の位置を検出する。
【００２０】
そして、第１の類似度算出部３４は、検出した９個の特徴点があらかじめ定められた正面を向いた基準顔の基準位置に近づくように、正面顔Ｔｆ０に対して施すアフィン変換のパラメータを求め、正面顔Ｔｆ０に対してアフィン変換を施して、正規化顔Ｔ１を取得する。
【００２１】
第１の類似度算出部３４は、正規化顔Ｔ１の画像データをより低次元の第１の特徴量空間へ第１の射影行列を用いて射影して特徴量ＦＴ１を抽出する。ここで、第１の特徴量空間は、下記のような第１の学習により決定される。
【００２２】
正面を向いた顔の多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により第１の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第１の特徴量空間とする。このようにして決められた第１の特徴量空間は、正面を向いた顔の固体判別がしやすい空間となっている。
【００２３】
また、第１の類似度算出部３４は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる正面顔の対象顔Ｐｆ０について、上記と同様に正規化を行って正規化顔Ｐ１を取得し、さらに正規化顔Ｐ１の画像データをより低次元の第１の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ１における特徴量ＦＰ１を抽出する。
【００２４】
そして、正面顔Ｔｆ０の特徴量ＦＴ１と対象顔Ｐｆ０の特徴量ＦＰ１とを比較して、正面顔Ｔｆ０と対象顔Ｐｆ０との類似度Ｒ１を算出する。なお、ここでは、例えば特開２００５−１４９５０６号公報に記載されているＡＧＭモデル（付加ガウスモデル）を利用して類似度Ｒ１を算出する。ここで、類似度Ｒ１は０〜１の間の値で算出され、１に近いほど類似度が高いものとなる。
【００２５】
ＡＧＭモデルとは、個人差を表す変数と個人内の見えの変化（照明変化、顔向き変化、経年変化など）を表す変数の和で顔データが表現できると仮定した確率モデルであり、各変数は正規分布に従うものとする。あらかじめ各正規分布のパラメータを推定しておくことで、類似度算出の対象となる顔の数が少ない場合にも見えの変化を考慮したロバストな類似度算出処理が可能となる。各正規分布のパラメータ推定には、特徴量空間を決定する際に利用した学習用顔画像群を用いる。
【００２６】
なお、特徴量空間において、特徴量ＦＴ１で規定される正面顔Ｔｆ０の座標と、特徴量ＦＰ１で規定される類似度算出の対象顔Ｐｆ０の座標との間のユークリッド距離をそのまま類似度Ｒ１として用いる方法等、他の類似度算出方法を用いてもよい。
【００２７】
一方、第２の類似度算出部３６は、検出した９個の特徴点があらかじめ定められた斜めを向いた基準顔の基準位置に近づくように、斜め顔Ｔｓ０に対して施すアフィン変換のパラメータを求め、斜め顔Ｔｓ０に対してアフィン変換を施して正規化顔Ｔ２を取得する。この場合、斜め顔Ｔｓ０の向きと基準顔の向きとが異なる場合には、アフィン変換の前に斜め顔Ｔｓ０の画像データを左右対称に反転させて、斜め顔Ｔｓ０の向きと基準顔の向きとを一致させる。なお、ユーザの斜め顔の撮影時に基準顔の向きと同一となるように撮影させることが好ましい。
【００２８】
第２の類似度算出部３６は、正規化顔Ｔ２の画像データをより低次元の第２の特徴量空間へ第２の射影行列を用いて射影して特徴量ＦＴ２を抽出する。ここで、第２の特徴量空間は、下記のような第２の学習により決定される。
【００２９】
斜めを向いた顔の多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により第２の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第２の特徴量空間とする。このようにして決められた第２の特徴量空間は、斜めを向いた顔の固体判別がしやすい空間となっている。なお、学習用顔画像は基準顔の向きと同一方向を向いたものを用いる。
【００３０】
また、第２の類似度算出部３６は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる斜め顔の対象顔Ｐｓ０について、上記と同様に正規化を行って正規化顔Ｐ２を取得し、さらに正規化顔Ｐ２の画像データをより低次元の第２の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ２における特徴量ＦＰ２を抽出する。この場合においても、正規化のためのアフィン変換の前に、対象顔Ｐｓ０の向きと斜めを向いた基準顔の向きとが異なる場合には、対象顔Ｐｓ０の画像データを左右対称に反転させて、対象顔Ｐ０の向きと基準顔の向きとを一致させる。
【００３１】
そして、斜め顔Ｔｓ０の特徴量ＦＴ２と対象顔Ｐｓ０の特徴量ＦＰ２とを比較して、第１の類似度算出部３４と同様の手法を用いて、斜め顔Ｔｓ０と対象顔Ｐｓ０との類似度Ｒ２を算出する。
【００３２】
なお、特徴量空間において、特徴量ＦＴ２で規定される斜め顔Ｔｓ０の座標と、特徴量ＦＰ２で規定される類似度算出の対象顔Ｐｓ０の座標との間のユークリッド距離をそのまま類似度Ｒ２として用いる方法等、他の類似度算出方法を用いてもよい。
【００３３】
ここで、対象顔Ｐｆ０が正面顔Ｔｆ０と同一人物の顔である場合、類似度Ｒ１は高くなる。また、対象顔Ｐｓ０が斜め顔Ｔｓ０と同一人物の顔である場合、類似度Ｒ２は高くなる。
【００３４】
なお、画像に複数の顔が含まれる場合、図４に示すように、それぞれの顔について顔の向きに応じて正面顔Ｔｆ０および斜め顔Ｔｓ０との類似度Ｒ１、Ｒ２が算出される。ここで、図４においては例として正面顔Ｔｆ０のみの類似度の算出について説明している。そして、１つの画像について算出した類似度Ｒ１，Ｒ２のうち最も高い類似度Ｒ１，Ｒ２を、ユーザの顔Ｔ０（以下、正面顔Ｔｆ０および斜め顔Ｔｓ０を総称して単に顔Ｔ０とする場合があるものとする）とその画像との類似度Ｒ３に決定する
したがって、図５に示すように、画像Ｇ０に４つの正面顔が含まれており、正面顔Ｔｆ０と各正面を向いた対象顔Ｐｆ０との類似度Ｒ１が図５に示すように０．９，０．６，０．２であり、斜めを向いた対象顔Ｐｓ０との類似度Ｒ２が０．７であった場合、ユーザの顔Ｔ０とその画像Ｇ０との類似度Ｒ３は０．９に決定される。
【００３５】
以下、本実施形態において行われる処理について説明する。図６は本実施形態において行われる処理を示すフローチャートである。ユーザが画像ソートの指示を表示部６にタッチして行うことによりＣＰＵ１２が処理を開始し、ユーザにユーザの正面顔および斜め顔の撮影を行わせることにより、ユーザの顔Ｔ０（正面顔Ｔｆ０および斜め顔Ｔｓ０）の入力を受け付ける（ステップＳＴ１）。
【００３６】
次いで、ＣＰＵ１２がハードディスク２４に保存された複数の画像のうち、類似度算出の処理対象となる最初の画像を読み出し（ステップＳＴ２）、顔検出部３２が対象の画像から顔領域および顔の向きを検出する（ステップＳＴ３）。そしてＣＰＵ１２が類似度算出の対象顔Ｐ０を最初の顔（例えば対象画像の左端にある顔）に設定し（ステップＳＴ４）、対象顔Ｐ０の顔の向きを判定し（ステップＳＴ５）、正面顔である場合には、第１の類似度算出部３４がユーザの正面顔Ｔｆ０と対象顔Ｐｆ０との類似度Ｒ１を算出する（ステップＳＴ６）。一方、対象顔Ｐ０が斜め顔である場合には、第２の類似度算出部３６がユーザの斜め顔Ｔｓ０と対象顔Ｐｓ０との類似度Ｒ２を算出する（ステップＳＴ７）。
【００３７】
そして、対象画像に含まれるすべての顔の類似度Ｒ１，Ｒ２を算出したか否かをＣＰＵ１２が判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、対象顔Ｐ０を次の顔に設定し（ステップＳＴ９）、ステップＳＴ５に戻ってステップＳＴ５以降の処理を繰り返す。ステップＳＴ８が肯定されると、第１または第２の類似度算出部３４，３６がユーザの顔Ｔ０と対象画像との類似度Ｒ３を決定する（ステップＳＴ１０）。
【００３８】
次いでＣＰＵ１２が、ハードディスク２４に保存されているすべての画像の類似度Ｒ３を決定したか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が否定されると対象画像を次の画像に設定し（ステップＳＴ１２）、ステップＳＴ３に戻ってステップＳＴ３以降の処理を繰り返す。
【００３９】
ステップＳＴ１１が肯定されると、ソート部３８がユーザの顔Ｔ０との類似度Ｒ３が高い順に複数の画像をソートし（ステップＳＴ１３）、ソートされた順に複数の画像を表示部６に表示し（ステップＳＴ１４）、処理を終了する。なお、類似度が同一の場合には撮影日時の昇順に画像をソートするものとする。また、複数の画像のすべてを類似度順に表示する必要はなく、例えば類似度Ｒ３が所定のしきい値Ｔｈ１を超える画像のみをソートして表示するようにしてもよい。
【００４０】
図７はソート結果の表示画面を示す図である。図７に示すように表示画面５４の表示エリア５５には、複数の画像が類似度Ｒ３の順にて表示されている。また、表示画面５４には、複数の画像が１画面に入りきらない場合に、表示エリア５５に表示される画像を切り替えるための矢印ボタン５６Ａ，５６Ｂが表示されている。
【００４１】
図７に示すように、表示エリア５５に表示された各画像において、ユーザの正面顔Ｔｆ０または斜め顔Ｔｓ０との類似度が最も高い顔には太枠が付与されている。ユーザは、表示された複数の画像を見て、例えばプリントしたい画像を表示部６にタッチすることにより選択することができる。例えば、太枠で囲まれた自分の顔を含む画像にタッチすることにより画像を選択することができる。そして、画像の選択後、プリントの指示を行うことにより、選択した画像がプリンタ８からプリント出力される。
【００４２】
このように、本実施形態においては、ユーザの正面顔および斜め顔を撮影して、画像のソートに用いるようにしたため、上記特許文献１に記載された手法のように、登録された複数の顔画像から検索の対象となる所望とする顔画像を探し出す必要がなくなる。したがって、効率よくユーザの顔を含む画像を複数の画像から探し出すことができる。とくに、正面顔および斜め顔という複数の態様の顔に基づいて画像をソートしているため、正面顔であっても斜め顔であってもユーザの顔を含む画像が上位となるように複数の画像がソートされることとなり、これにより、ユーザは自分が写っている画像を見つけやすくなる。
【００４３】
なお、上記実施形態においては、正面顔の固体判別に有効なアルゴリズムにより類似度を算出する第１の類似度算出部３４および斜め顔の固体判別に有効なアルゴリズムにより類似度を算出する第２の類似度算出部３６を用いているが、例えば、第２の類似度算出部３６を省略し、第１の類似度算出部３４のみを用いてユーザの顔Ｔ０と画像との類似度Ｒ３を算出するようにしてもよい。この場合、ユーザの顔Ｔ０としては、正面顔Ｔｆ０および斜め顔Ｔｓ０が取得されるが、正面顔Ｔｆ０および斜め顔Ｔｓ０からユーザの平均顔Ｔｍ０を生成し、これと対象顔Ｐ０との類似度Ｒ１を算出すればよい。
【００４４】
また、上記実施形態においては、類似度が高い順にソートする前に、撮影場所や撮影時間に応じてあらかじめ複数の画像を分類しておき、分類された画像単位でソートを行うようにしてもよい。
【００４５】
また、上記実施形態においては、表示画面５４において、ユーザの顔Ｔ０に対応する対象顔Ｐｆ０，Ｐｓ０に太枠を付与しているが、とくに太枠を付与することなくソートされた画像を表示するようにしてもよい。但し、太枠を付与することにより、ユーザの顔に類似しているか否かを容易に確認することができるため、太枠を付与した方が好ましい。
【００４６】
また、上記実施形態においては、顔の態様として正面顔と斜め顔とを用いているが、これに限定されるものではなく、表情のある顔および表情のない顔等を顔の態様として用いればよい。この場合、表情のある顔および表情のない顔は、図３に示す撮影画面５０において、メッセージ表示エリア５１に例えば「まじめな顔をして下さい」、「笑って下さい」等のメッセージを表示して、ユーザに撮影を行わせることにより取得すればよい。
【００４７】
また、上記実施形態においては、本発明による画像ソート装置を写真店の店頭に設置されたプリント注文受付装置に適用しているが、これに限定されるものではなく、ネットワーク経由でプリント注文を行う注文サーバに画像ソート装置を適用し、ネットワーク経由で注文サーバに保管された画像のソートを行うようにしてもよい。
【００４８】
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部３２、第１の類似度算出部３４、第２の類似度算出部３６およびソート部３８に対応する手段として機能させ、図６に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態による画像ソート装置を適用したプリント注文受付装置の外観斜視図
【図２】本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図
【図３】撮影画面を示す図
【図４】ユーザの顔と画像に含まれる顔との類似度の算出を説明するための図（その１）
【図５】ユーザの顔と画像に含まれる顔との類似度の算出を説明するための図（その２）
【図６】本実施形態において行われる処理を示すフローチャート
【図７】ソート結果の表示画面を示す図
【符号の説明】
【００５０】
１ プリント注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１０ カメラ
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ プリンタインターフェース
３２ 顔検出部
３４ 第１の類似度算出部
３６ 第２の類似度算出部
３８ ソート部
【技術分野】
【０００１】
本発明は、複数の画像をソートするための画像ソート装置および方法並びに画像ソート方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの普及により写真撮影が手軽に行われるようになってきている。撮影により取得した画像は、ミニラボやネットワークプリントサービスを利用してプリント出力することができる。しかしながら、撮影により取得した多数の画像からプリントを所望する画像を探す作業は非常に面倒である。このため、検索の対象となる人物の顔画像を取得しておき、複数の画像からその顔画像を含む画像を検索するシステムが提案されている（特許文献１参照）。特許文献１に記載された手法は、遊園地等の施設内に設置されたカメラにより様々なシチュエーションの画像を取得しておき、あらかじめ登録した検索の対象となる人物の顔との類似度に基づいて、検索の対象となる人物を含む画像を検索するものである。また、特許文献１に記載された手法は、画像の撮影後に対象となる人物の顔を撮影してその人物の顔を登録することも可能である。
【特許文献１】特開２００２−２４２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、特許文献１に記載された手法においては、人物の顔を撮影等してあらかじめ顔画像を登録しておくものであるため、画像の検索を行う場合には、登録した顔画像の中から、検索を所望とする人物の顔画像を探し出す必要がある。しかしながら、特許文献１に記載された手法のように、大勢の人物が含まれる画像を検索の対象とする場合、検索時には検索する人物の顔画像を多数の顔画像から探し出す必要があり、その作業が非常に繁雑なものとなる。また、特許文献１にはＩＤカードに記録されたユーザの顔を読み出したり、ユーザのＩＤ番号を伝えて顔画像を特定する手法も記載されているが、そのような作業は非常に煩雑なものである。
【０００４】
本発明は上記事情に鑑みなされたものであり、繁雑な作業を行うことなく所望とする人物を含む画像を検索することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による画像ソート装置は、複数の画像をソートする画像ソート装置において、
所定の顔についての異なる複数の態様の顔の顔画像を取得する顔画像取得手段と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出する１または複数の類似度算出手段と、
前記算出した類似度が高い順に前記複数の画像をソートするソート手段とを備えたことを特徴とするものである。
【０００６】
なお、本発明による画像ソート装置においては、前記顔画像取得手段を、前記所定の顔についての異なる複数の態様の顔の顔画像を撮影により取得する手段としてもよい。
【０００７】
本発明による画像ソート方法は、複数の画像をソートする画像ソート方法において、
所定の顔についての異なる複数の態様の顔の顔画像を取得し、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出し、
前記算出した類似度が高い順に前記複数の画像をソートすることを特徴とするものである。
【０００８】
なお、本発明による画像ソート方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【０００９】
本発明によれば、所定の顔についての異なる複数の態様の顔の顔画像が取得され、複数の態様の顔の顔画像に基づいて、所定の顔と複数の画像のそれぞれとの類似度が、１または複数の異なる顔の態様に応じたアルゴリズムにより算出され、算出された類似度が高い順に複数の画像がソートされる。このため、登録された複数の顔画像から検索の対象となる所定の顔の顔画像を探し出す必要がなくなり、その結果、効率よく所望とする顔画像を含む画像を複数の画像から探し出すことができる。とくに、所定の顔についての複数の態様の顔との類似度に基づいて複数の画像をソートしているため、顔の態様に拘わらず所定の顔を含む画像が上位となるように複数の画像がソートされる。したがって、所定の顔を見つけやすくなる。
【００１０】
また、複数の態様の顔画像を撮影により取得することにより、より容易に所定の顔についての異なる態様の顔画像を取得することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像ソート装置を適用した画像のプリント注文受付装置の外観斜視図である。図１に示すように、本実施形態によるプリント注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う液晶等の表示部６とを備え、写真店に設置されたプリンタ８と接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文に必要な入力を行うことができる。また、本実施形態によるプリント注文受付装置１は、プリント注文を行うユーザの顔を撮影するためのカメラ１０を備える。
【００１２】
図２は本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。図２に示すように、プリント注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、画像のプリント注文を行うためのプリント注文プログラムおよび装置１を動作させるための基本的なプログラムや各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。
【００１３】
なお、カメラ１０は、撮影レンズ、ＣＣＤ等の撮像素子、撮像素子が取得した信号をデジタルに変換するＡ／Ｄ変換部、およびデジタルの信号に画質を向上させる画像処理を施す画像処理部等を備えてなる。ここで、カメラ１０に対する撮影の操作は、ＣＰＵ１２の制御により入力部１６から行われる。そして、プリント注文を行うユーザは表示部６の表示にしたがって、ユーザの正面顔および斜め顔をカメラ１０に撮影させる。
【００１４】
図３はユーザの顔の撮影時の撮影画面を示す図である。図３に示すように、撮影画面５０には、指示のメッセージを表示するメッセージ表示エリア５１、撮影しようとする画像を表示する画像表示部５２および撮影ボタン５３が表示される。ユーザは、メッセージ表示エリア５１に表示されたメッセージにしたがって、カメラ１０に向かって正面および斜めを向き、画像表示部５２により撮影される画像を確認した後に撮影ボタン５３にタッチすることにより、ユーザの正面顔および斜め顔をカメラ１０に撮影させることができる。なお、図３においてはメッセージ表示エリア５１に「正面を向いて下さい」と表示されているが、正面顔の撮影に続いて「斜めを向いて下さい」のメッセージが表示されて斜め顔の撮影が行われることとなる。
【００１５】
また、プリント注文受付装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、複数の画像を保存するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、プリンタ８を装置１に接続するためのプリンタインターフェース３０とを備える。
【００１６】
また、プリント注文受付装置１は、後述するようにハードディスク２４に保存された複数の画像のそれぞれから顔領域を検出する顔検出部３２と、第１および第２の類似度算出部３４，３６と、複数の画像をソートするソート部３８とを備える。
【００１７】
顔検出部３２は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、ユーザの正面顔画像、斜め顔画像およびハードディスク２４に保存された複数の画像上における顔の位置を顔領域として検出する。また、顔検出部３２は顔の向きも検出する。具体的には、検出した顔領域から両目および鼻の位置を検出し、両目および鼻の位置関係に基づいて顔の向きを左右の０〜９０度の間の値として算出する。そして、顔の向きが所定のしきい値Ｔｈ０より小さい場合には検出した顔領域の顔の向きが正面であると検出し、顔の向きが所定のしきい値Ｔｈ０以上の場合には検出した顔領域の顔の向きが斜めであると検出する。
【００１８】
第１および第２の類似度算出部３４，３６はそれぞれ異なる顔の態様に応じたアルゴリズムにより、カメラ１０が撮影により取得したユーザの正面顔画像に含まれる正面顔Ｔｆ０および斜め顔画像に含まれる斜め顔Ｔｓ０との類似度を算出する。具体的には、第１の類似度算出部３４は、特に正面を向いた顔（正面顔）の固体判別に有効なアルゴリズムにより類似度を算出し、第２の類似度算出部３６は、特に斜めを向いた顔（斜め顔）の固体判別に有効なアルゴリズムにより類似度を算出する。
【００１９】
第１および第２の類似度算出部３４，３６は、まずユーザの正面顔画像および斜め顔画像から検出された正面顔Ｔｆ０および斜め顔Ｔｓ０について、正面顔Ｔｆ０および斜め顔Ｔｓ０を構成する主要な顔部品を顔の特徴点として検出する。具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻、左右小鼻、左右口角、上唇の計９個の特徴点の位置を検出する。
【００２０】
そして、第１の類似度算出部３４は、検出した９個の特徴点があらかじめ定められた正面を向いた基準顔の基準位置に近づくように、正面顔Ｔｆ０に対して施すアフィン変換のパラメータを求め、正面顔Ｔｆ０に対してアフィン変換を施して、正規化顔Ｔ１を取得する。
【００２１】
第１の類似度算出部３４は、正規化顔Ｔ１の画像データをより低次元の第１の特徴量空間へ第１の射影行列を用いて射影して特徴量ＦＴ１を抽出する。ここで、第１の特徴量空間は、下記のような第１の学習により決定される。
【００２２】
正面を向いた顔の多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により第１の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第１の特徴量空間とする。このようにして決められた第１の特徴量空間は、正面を向いた顔の固体判別がしやすい空間となっている。
【００２３】
また、第１の類似度算出部３４は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる正面顔の対象顔Ｐｆ０について、上記と同様に正規化を行って正規化顔Ｐ１を取得し、さらに正規化顔Ｐ１の画像データをより低次元の第１の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ１における特徴量ＦＰ１を抽出する。
【００２４】
そして、正面顔Ｔｆ０の特徴量ＦＴ１と対象顔Ｐｆ０の特徴量ＦＰ１とを比較して、正面顔Ｔｆ０と対象顔Ｐｆ０との類似度Ｒ１を算出する。なお、ここでは、例えば特開２００５−１４９５０６号公報に記載されているＡＧＭモデル（付加ガウスモデル）を利用して類似度Ｒ１を算出する。ここで、類似度Ｒ１は０〜１の間の値で算出され、１に近いほど類似度が高いものとなる。
【００２５】
ＡＧＭモデルとは、個人差を表す変数と個人内の見えの変化（照明変化、顔向き変化、経年変化など）を表す変数の和で顔データが表現できると仮定した確率モデルであり、各変数は正規分布に従うものとする。あらかじめ各正規分布のパラメータを推定しておくことで、類似度算出の対象となる顔の数が少ない場合にも見えの変化を考慮したロバストな類似度算出処理が可能となる。各正規分布のパラメータ推定には、特徴量空間を決定する際に利用した学習用顔画像群を用いる。
【００２６】
なお、特徴量空間において、特徴量ＦＴ１で規定される正面顔Ｔｆ０の座標と、特徴量ＦＰ１で規定される類似度算出の対象顔Ｐｆ０の座標との間のユークリッド距離をそのまま類似度Ｒ１として用いる方法等、他の類似度算出方法を用いてもよい。
【００２７】
一方、第２の類似度算出部３６は、検出した９個の特徴点があらかじめ定められた斜めを向いた基準顔の基準位置に近づくように、斜め顔Ｔｓ０に対して施すアフィン変換のパラメータを求め、斜め顔Ｔｓ０に対してアフィン変換を施して正規化顔Ｔ２を取得する。この場合、斜め顔Ｔｓ０の向きと基準顔の向きとが異なる場合には、アフィン変換の前に斜め顔Ｔｓ０の画像データを左右対称に反転させて、斜め顔Ｔｓ０の向きと基準顔の向きとを一致させる。なお、ユーザの斜め顔の撮影時に基準顔の向きと同一となるように撮影させることが好ましい。
【００２８】
第２の類似度算出部３６は、正規化顔Ｔ２の画像データをより低次元の第２の特徴量空間へ第２の射影行列を用いて射影して特徴量ＦＴ２を抽出する。ここで、第２の特徴量空間は、下記のような第２の学習により決定される。
【００２９】
斜めを向いた顔の多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により第２の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第２の特徴量空間とする。このようにして決められた第２の特徴量空間は、斜めを向いた顔の固体判別がしやすい空間となっている。なお、学習用顔画像は基準顔の向きと同一方向を向いたものを用いる。
【００３０】
また、第２の類似度算出部３６は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる斜め顔の対象顔Ｐｓ０について、上記と同様に正規化を行って正規化顔Ｐ２を取得し、さらに正規化顔Ｐ２の画像データをより低次元の第２の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ２における特徴量ＦＰ２を抽出する。この場合においても、正規化のためのアフィン変換の前に、対象顔Ｐｓ０の向きと斜めを向いた基準顔の向きとが異なる場合には、対象顔Ｐｓ０の画像データを左右対称に反転させて、対象顔Ｐ０の向きと基準顔の向きとを一致させる。
【００３１】
そして、斜め顔Ｔｓ０の特徴量ＦＴ２と対象顔Ｐｓ０の特徴量ＦＰ２とを比較して、第１の類似度算出部３４と同様の手法を用いて、斜め顔Ｔｓ０と対象顔Ｐｓ０との類似度Ｒ２を算出する。
【００３２】
なお、特徴量空間において、特徴量ＦＴ２で規定される斜め顔Ｔｓ０の座標と、特徴量ＦＰ２で規定される類似度算出の対象顔Ｐｓ０の座標との間のユークリッド距離をそのまま類似度Ｒ２として用いる方法等、他の類似度算出方法を用いてもよい。
【００３３】
ここで、対象顔Ｐｆ０が正面顔Ｔｆ０と同一人物の顔である場合、類似度Ｒ１は高くなる。また、対象顔Ｐｓ０が斜め顔Ｔｓ０と同一人物の顔である場合、類似度Ｒ２は高くなる。
【００３４】
なお、画像に複数の顔が含まれる場合、図４に示すように、それぞれの顔について顔の向きに応じて正面顔Ｔｆ０および斜め顔Ｔｓ０との類似度Ｒ１、Ｒ２が算出される。ここで、図４においては例として正面顔Ｔｆ０のみの類似度の算出について説明している。そして、１つの画像について算出した類似度Ｒ１，Ｒ２のうち最も高い類似度Ｒ１，Ｒ２を、ユーザの顔Ｔ０（以下、正面顔Ｔｆ０および斜め顔Ｔｓ０を総称して単に顔Ｔ０とする場合があるものとする）とその画像との類似度Ｒ３に決定する
したがって、図５に示すように、画像Ｇ０に４つの正面顔が含まれており、正面顔Ｔｆ０と各正面を向いた対象顔Ｐｆ０との類似度Ｒ１が図５に示すように０．９，０．６，０．２であり、斜めを向いた対象顔Ｐｓ０との類似度Ｒ２が０．７であった場合、ユーザの顔Ｔ０とその画像Ｇ０との類似度Ｒ３は０．９に決定される。
【００３５】
以下、本実施形態において行われる処理について説明する。図６は本実施形態において行われる処理を示すフローチャートである。ユーザが画像ソートの指示を表示部６にタッチして行うことによりＣＰＵ１２が処理を開始し、ユーザにユーザの正面顔および斜め顔の撮影を行わせることにより、ユーザの顔Ｔ０（正面顔Ｔｆ０および斜め顔Ｔｓ０）の入力を受け付ける（ステップＳＴ１）。
【００３６】
次いで、ＣＰＵ１２がハードディスク２４に保存された複数の画像のうち、類似度算出の処理対象となる最初の画像を読み出し（ステップＳＴ２）、顔検出部３２が対象の画像から顔領域および顔の向きを検出する（ステップＳＴ３）。そしてＣＰＵ１２が類似度算出の対象顔Ｐ０を最初の顔（例えば対象画像の左端にある顔）に設定し（ステップＳＴ４）、対象顔Ｐ０の顔の向きを判定し（ステップＳＴ５）、正面顔である場合には、第１の類似度算出部３４がユーザの正面顔Ｔｆ０と対象顔Ｐｆ０との類似度Ｒ１を算出する（ステップＳＴ６）。一方、対象顔Ｐ０が斜め顔である場合には、第２の類似度算出部３６がユーザの斜め顔Ｔｓ０と対象顔Ｐｓ０との類似度Ｒ２を算出する（ステップＳＴ７）。
【００３７】
そして、対象画像に含まれるすべての顔の類似度Ｒ１，Ｒ２を算出したか否かをＣＰＵ１２が判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、対象顔Ｐ０を次の顔に設定し（ステップＳＴ９）、ステップＳＴ５に戻ってステップＳＴ５以降の処理を繰り返す。ステップＳＴ８が肯定されると、第１または第２の類似度算出部３４，３６がユーザの顔Ｔ０と対象画像との類似度Ｒ３を決定する（ステップＳＴ１０）。
【００３８】
次いでＣＰＵ１２が、ハードディスク２４に保存されているすべての画像の類似度Ｒ３を決定したか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が否定されると対象画像を次の画像に設定し（ステップＳＴ１２）、ステップＳＴ３に戻ってステップＳＴ３以降の処理を繰り返す。
【００３９】
ステップＳＴ１１が肯定されると、ソート部３８がユーザの顔Ｔ０との類似度Ｒ３が高い順に複数の画像をソートし（ステップＳＴ１３）、ソートされた順に複数の画像を表示部６に表示し（ステップＳＴ１４）、処理を終了する。なお、類似度が同一の場合には撮影日時の昇順に画像をソートするものとする。また、複数の画像のすべてを類似度順に表示する必要はなく、例えば類似度Ｒ３が所定のしきい値Ｔｈ１を超える画像のみをソートして表示するようにしてもよい。
【００４０】
図７はソート結果の表示画面を示す図である。図７に示すように表示画面５４の表示エリア５５には、複数の画像が類似度Ｒ３の順にて表示されている。また、表示画面５４には、複数の画像が１画面に入りきらない場合に、表示エリア５５に表示される画像を切り替えるための矢印ボタン５６Ａ，５６Ｂが表示されている。
【００４１】
図７に示すように、表示エリア５５に表示された各画像において、ユーザの正面顔Ｔｆ０または斜め顔Ｔｓ０との類似度が最も高い顔には太枠が付与されている。ユーザは、表示された複数の画像を見て、例えばプリントしたい画像を表示部６にタッチすることにより選択することができる。例えば、太枠で囲まれた自分の顔を含む画像にタッチすることにより画像を選択することができる。そして、画像の選択後、プリントの指示を行うことにより、選択した画像がプリンタ８からプリント出力される。
【００４２】
このように、本実施形態においては、ユーザの正面顔および斜め顔を撮影して、画像のソートに用いるようにしたため、上記特許文献１に記載された手法のように、登録された複数の顔画像から検索の対象となる所望とする顔画像を探し出す必要がなくなる。したがって、効率よくユーザの顔を含む画像を複数の画像から探し出すことができる。とくに、正面顔および斜め顔という複数の態様の顔に基づいて画像をソートしているため、正面顔であっても斜め顔であってもユーザの顔を含む画像が上位となるように複数の画像がソートされることとなり、これにより、ユーザは自分が写っている画像を見つけやすくなる。
【００４３】
なお、上記実施形態においては、正面顔の固体判別に有効なアルゴリズムにより類似度を算出する第１の類似度算出部３４および斜め顔の固体判別に有効なアルゴリズムにより類似度を算出する第２の類似度算出部３６を用いているが、例えば、第２の類似度算出部３６を省略し、第１の類似度算出部３４のみを用いてユーザの顔Ｔ０と画像との類似度Ｒ３を算出するようにしてもよい。この場合、ユーザの顔Ｔ０としては、正面顔Ｔｆ０および斜め顔Ｔｓ０が取得されるが、正面顔Ｔｆ０および斜め顔Ｔｓ０からユーザの平均顔Ｔｍ０を生成し、これと対象顔Ｐ０との類似度Ｒ１を算出すればよい。
【００４４】
また、上記実施形態においては、類似度が高い順にソートする前に、撮影場所や撮影時間に応じてあらかじめ複数の画像を分類しておき、分類された画像単位でソートを行うようにしてもよい。
【００４５】
また、上記実施形態においては、表示画面５４において、ユーザの顔Ｔ０に対応する対象顔Ｐｆ０，Ｐｓ０に太枠を付与しているが、とくに太枠を付与することなくソートされた画像を表示するようにしてもよい。但し、太枠を付与することにより、ユーザの顔に類似しているか否かを容易に確認することができるため、太枠を付与した方が好ましい。
【００４６】
また、上記実施形態においては、顔の態様として正面顔と斜め顔とを用いているが、これに限定されるものではなく、表情のある顔および表情のない顔等を顔の態様として用いればよい。この場合、表情のある顔および表情のない顔は、図３に示す撮影画面５０において、メッセージ表示エリア５１に例えば「まじめな顔をして下さい」、「笑って下さい」等のメッセージを表示して、ユーザに撮影を行わせることにより取得すればよい。
【００４７】
また、上記実施形態においては、本発明による画像ソート装置を写真店の店頭に設置されたプリント注文受付装置に適用しているが、これに限定されるものではなく、ネットワーク経由でプリント注文を行う注文サーバに画像ソート装置を適用し、ネットワーク経由で注文サーバに保管された画像のソートを行うようにしてもよい。
【００４８】
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部３２、第１の類似度算出部３４、第２の類似度算出部３６およびソート部３８に対応する手段として機能させ、図６に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態による画像ソート装置を適用したプリント注文受付装置の外観斜視図
【図２】本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図
【図３】撮影画面を示す図
【図４】ユーザの顔と画像に含まれる顔との類似度の算出を説明するための図（その１）
【図５】ユーザの顔と画像に含まれる顔との類似度の算出を説明するための図（その２）
【図６】本実施形態において行われる処理を示すフローチャート
【図７】ソート結果の表示画面を示す図
【符号の説明】
【００５０】
１ プリント注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１０ カメラ
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ プリンタインターフェース
３２ 顔検出部
３４ 第１の類似度算出部
３６ 第２の類似度算出部
３８ ソート部
【特許請求の範囲】
【請求項１】
複数の画像をソートする画像ソート装置において、
所定の顔についての異なる複数の態様の顔の顔画像を取得する顔画像取得手段と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出する１または複数の類似度算出手段と、
前記算出した類似度が高い順に前記複数の画像をソートするソート手段とを備えたことを特徴とする画像ソート装置。
【請求項２】
前記顔画像取得手段は、前記所定の顔についての異なる複数の態様の顔の顔画像を撮影により取得する手段であることを特徴とする請求項１記載の画像ソート装置。
【請求項３】
複数の画像をソートする画像ソート方法において、
所定の顔についての異なる複数の態様の顔の顔画像を取得し、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出し、
前記算出した類似度が高い順に前記複数の画像をソートすることを特徴とする画像ソート方法。
【請求項４】
複数の画像をソートする画像ソート方法をコンピュータに実行させるためのプログラムにおいて、
所定の顔についての異なる複数の態様の顔の顔画像を取得する手順と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出する手順と、
前記算出した類似度が高い順に前記複数の画像をソートする手順とを有することを特徴とするプログラム。
【請求項１】
複数の画像をソートする画像ソート装置において、
所定の顔についての異なる複数の態様の顔の顔画像を取得する顔画像取得手段と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出する１または複数の類似度算出手段と、
前記算出した類似度が高い順に前記複数の画像をソートするソート手段とを備えたことを特徴とする画像ソート装置。
【請求項２】
前記顔画像取得手段は、前記所定の顔についての異なる複数の態様の顔の顔画像を撮影により取得する手段であることを特徴とする請求項１記載の画像ソート装置。
【請求項３】
複数の画像をソートする画像ソート方法において、
所定の顔についての異なる複数の態様の顔の顔画像を取得し、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出し、
前記算出した類似度が高い順に前記複数の画像をソートすることを特徴とする画像ソート方法。
【請求項４】
複数の画像をソートする画像ソート方法をコンピュータに実行させるためのプログラムにおいて、
所定の顔についての異なる複数の態様の顔の顔画像を取得する手順と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、１または複数の異なる顔の態様に応じたアルゴリズムにより算出する手順と、
前記算出した類似度が高い順に前記複数の画像をソートする手順とを有することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２３４３７７（Ｐ２００８−２３４３７７Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７３８９８（Ｐ２００７−７３８９８）
【出願日】平成１９年３月２２日（２００７．３．２２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１０４１８９
【弁理士】
【氏名又は名称】福尾 勲将
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２２日（２００７．３．２２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１０４１８９
【弁理士】
【氏名又は名称】福尾 勲将
【Ｆターム（参考）】
[ Back to top ]