画像出力管理装置、方法およびプログラム
【課題】店頭端末機でのプリント注文など、大量の画像を選択する必要がある場面において、ユーザが選択したい画像を容易に確認できるようにする。
【解決手段】 Ｓ５では、画像ごとに認識された各個人の顔を分類した情報（マトリクス）を作成する。マトリクスには、付加情報として、各個人の顔領域の位置およびサイズが追記されている。Ｓ６では、並び替え条件設定画面を表示し、画像データの並び替え条件の設定を受け付ける。Ｓ７では、マトリクスを参照して、並び替え条件を満たす画像をマトリクスから特定し、この特定した画像を記憶部１６から抽出し、一覧表示画面のボックス９０に表示された画像のうち抽出された画像が一覧の先頭に来るよう並び替え、表示する。条件に合った画像の特定はマトリクスから行われるため、画像の並び替えが高速に行える。
【解決手段】 Ｓ５では、画像ごとに認識された各個人の顔を分類した情報（マトリクス）を作成する。マトリクスには、付加情報として、各個人の顔領域の位置およびサイズが追記されている。Ｓ６では、並び替え条件設定画面を表示し、画像データの並び替え条件の設定を受け付ける。Ｓ７では、マトリクスを参照して、並び替え条件を満たす画像をマトリクスから特定し、この特定した画像を記憶部１６から抽出し、一覧表示画面のボックス９０に表示された画像のうち抽出された画像が一覧の先頭に来るよう並び替え、表示する。条件に合った画像の特定はマトリクスから行われるため、画像の並び替えが高速に行える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プリントデータその他の画像のデータ出力を管理する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１によると、光学的に撮影された画像の画像データを取得して、取得した画像データの各画像から人物の顔を検出し、画像と検出した顔画像とを並べて１セットとして表示し、顔画像の選択に応じて、選択された顔画像と他の顔画像との類似度を検出し、この類似度に応じて、画像の表示順を変更する。
【０００３】
特許文献２によると、画像Ｉの中から顔の画像ｉ１，ｉ２，ｉ３およびｉ４が抽出される。抽出された顔の画像ｉ１，ｉ２，ｉ３およびｉ４のうち，所定のサイズ以上のサイズをもつ顔の画像ｉ１，ｉ２およびｉ３について数を数える。得られた顔の画像の数（３つ）が画像Ｉのプリント枚数とされ，そのプリント枚数が表示される。画像Ｉをプリントして配布するために必要なプリント枚数が自動的に分かる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１８０３４号公報
【特許文献２】特開２００６−８８５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、可搬性記録媒体の大容量化が進み、大量の画像データを店頭プリント端末機やパソコンに取り込むユーザが増えている。この状況下において、プリント出力やフォルダ出力する画像を選択するために、一枚ずつ画像を確認する必要があり、長時間を要する。このため、大量の画像から所望の画像の選択を容易にするための仕組みが求められている。
【０００６】
この点、特許文献１によると、指定した顔画像の類似度によって、表示順が変更されるが、顔のサイズや位置などは考慮していないため、画像選択を補助する情報としては不足している。例えば、自分が写っている画像をプリントする場合、自分が大きく写っているものや、中心に写っているものを優先的にプリントしたいというニーズには対応することができない。
【０００７】
また、特許文献２のように、顔の数を直接プリント枚数に反映させると、例えば家族写真の場合、１枚あればよいのに複数プリントされることになってしまう。むしろ、顔の数をプリント枚数として反映させるのではなく、プリント枚数を検討するための情報として、画像選択の補助に使用した方が効果的である。
【０００８】
本発明は、店頭端末機でのプリント注文など、大量の画像を選択する必要がある場面において、ユーザが選択したい画像を容易に確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像出力管理装置は、画像を入力する入力部と、入力部に入力された画像の一覧を表示装置に表示する表示制御部と、入力部に入力された画像から各人物の顔を検出する顔検出部と、顔検出部が検出した人物の顔ごとに顔の検出された画像を分類したマトリクスを作成するマトリクス作成部と、一覧の先頭に優先的に配置する画像に含まれるべき人物の顔の満足する条件を含む並替条件の指定を受け付ける条件指定部と、マトリクス作成部の作成したマトリクスに基づき、指定された並替条件に合致する画像を抽出する抽出部と、表示装置に表示された画像の一覧のうち、抽出部の抽出した画像を一覧の先頭に優先的に配置して表示装置に表示する並替表示制御部と、を備える。
【００１０】
この発明によると、任意に設定された並替条件を満たす画像がマトリクスに従って抽出され、並替条件を充足する画像から優先的に配列され一覧表示される。ユーザは、特許文献１のように特定人物を示す指標となる画像を選ばなくても、特定人物の写った画像から優先的に一覧表示させることができる。
【００１１】
顔検出部は、画像ごとに、画像に含まれる人物の顔の個数、画像に含まれる人物ごとの顔のサイズ、画像に含まれる人物ごとの顔の存在位置、画像に含まれる人物ごとの顔の目の開き具合、および画像に含まれる人物ごとの顔の向きもしくは傾きのうち少なくとも１つを含む付加情報を作成し、マトリクス作成部は、顔検出部が検出した人物の顔ごとに画像および付加情報を分類したマトリクスを作成してもよい。
【００１２】
条件指定部の受け付ける並替条件は、画像に含まれる特定人物、画像に含まれる人物の顔の個数、画像に含まれる特定人物の顔のサイズ、画像に含まれる特定人物の顔の存在位置、画像に含まれる特定人物の顔の目の開き具合、および画像に含まれる特定人物の顔の向きもしくは傾きのうち少なくとも１つを含む。
【００１３】
この発明によると、写っている特定人物の顔が所望のサイズや位置にある画像、写っている人物の顔が所望の数の画像から優先的に一覧表示させることができ、特許文献１や２に比して、幅広い画像の並び替えが可能であり、ユーザがプリント出力やフォルダ出力などをしたい希望の画像を容易に選択することができる。
【００１４】
条件指定部の受け付ける並替条件は、画像に含まれる複数の特定人物の顔のサイズの大小関係および画像に含まれる複数の特定人物の顔の位置関係のうち少なくとも１つを含む。
【００１５】
この発明によると、写っている特定人物の顔同士の位置やサイズの関係が、指定の関係にある画像から優先的に一覧表示させることができ、特許文献１や２に比して、幅広い画像の並び替えが可能であり、ユーザがプリント出力やフォルダ出力などをしたい希望の画像を容易に選択することができる。
【００１６】
条件指定部は、複数指定された並替条件の優先順位の指定を受け付け、並替表示制御部は、指定された優先順位の高い並替条件を満足する画像から、一覧の先頭に優先的に配置して表示装置に表示するとよい。
【００１７】
表示装置に表示された画像の一覧から、出力すべき所望の画像の選択を受け付ける選択部と、選択部から選択された画像を出力する出力部と、をさらに備えてもよい。
【００１８】
出力部は、選択部から選択された画像を、所定の印刷媒体にプリントしたり、所定の記録媒体に記録したり、または所定の記録媒体の所定のフォルダに格納することで出力することもできる。
【００１９】
本発明に係る画像出力管理方法は、画像を入力するステップと、入力された画像の一覧を表示装置に表示するステップと、入力された画像から各人物の顔を検出するステップと、検出した人物の顔ごとに顔の検出された画像を分類したマトリクスを作成するステップと、一覧の先頭に優先的に配置する画像に含まれるべき人物の顔の満足する条件を含む並替条件の指定を受け付けるステップと、マトリクスに基づき、指定された並替条件に合致する画像を抽出するステップと、表示装置に表示された画像の一覧のうち、抽出した画像を一覧の先頭に優先的に配置して表示装置に表示するステップと、を含む。
【００２０】
この画像出力管理方法をコンピュータに実行させるプログラムも本発明に含まれる。
【発明の効果】
【００２１】
この発明によると、任意に設定された並替条件を満たす画像がマトリクスに従って抽出され、並替条件を充足する画像から優先的に配列され一覧表示される。ユーザは、特許文献１のように特定人物を示す指標となる画像を選ばなくても、特定人物の写った画像から優先的に一覧表示させることができる。
【図面の簡単な説明】
【００２２】
【図１】プリント装置のブロック図
【図２】プリント処理のフローチャート
【図３】マトリクスの一例を示す図
【図４】画像一覧画面の表示例を示す図
【図５】並び替え条件設定画面の表示例を示す図
【図６】顔指定画面の一例を示す図
【図７】顔の数指定画面の一例を示す図
【図８】日時指定画面の一例を示す図
【図９】顔指定＋顔の数指定画面の一例を示す図
【図１０】サイズ指定画面の一例を示す図
【図１１】位置指定画面の一例を示す図
【図１２】顔指定＋サイズ指定画面の一例を示す図
【図１３】顔指定＋位置指定画面の一例を示す図
【図１４】顔指定＋サイズ指定画面（関係）の一例を示す図
【図１５】顔指定＋位置指定画面（関係）の一例を示す図
【図１６】ネットワーク経由でプリント出力部が接続されたプリント装置の一例を示す図
【発明を実施するための形態】
【００２３】
図１は、本発明の好ましい実施形態に係るプリント装置１の構成を示すブロック図である。プリント装置１は、スマートメディア（Solid-State Floppy Disk Card）、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどの各種記録メディアから画像を読み取って画像データを入力したり、あるいは各種記録メディアに画像データを出力して格納する画像入出力部１１と、操作ボタンやタッチパネルなどで構成されユーザからの操作入力を受け付ける操作部１２と、プリント物を印刷して出力するプリント出力部１３と、プリント料金を決済する料金決済部１４と、タッチパネルの積層された液晶ディスプレイなどで構成される表示部１５と、プリント物印刷に必要なデータやプログラム並びにフレームなどの付帯画像等が記憶される記憶部１６と、プリント物の印刷データの作成、各部の制御、各種データ処理を行う処理部１７とを備えている。
【００２４】
表示部１５は、処理部１７からの指令に従った表示を行う。ユーザは表示部１５に表示されるグラフィカル・ユーザ・インターフェース（ＧＵＩ）を通して、プリントする画像の選択などの設定項目を操作部１２から入力する。以下、操作部１２から入力された設定項目を注文情報という。記憶部１６はプリント１枚当たりの単価を記憶している。
【００２５】
処理部１７は画像データ及び注文情報に従ってプリントデータを生成する。プリントデータは、プリント出力部１３に送信され、プリント出力部１３は印画動作を実行しプリント物を出力する。印画方式については特に限定されず、印画紙自体が熱によって発色するサーモ・オートクローム（ＴＡ）方式、インク滴をノズルによって印画紙に吹きつけるインクジェット方式、熱を加えることによりインクを昇華させて紙に付着させる昇華方式、熱を加えると変色する特殊な用紙(感熱紙)に熱した印字ヘッドを押し付ける感熱式、あるいは銀塩方式など、種々の方式が可能である。なお、料金決済部１４は省略されてもよい。
【００２６】
また、プリント出力部１３は必ずしもプリント装置１に内蔵されている必然性はなく、プリント装置１とは独立した機器であってもよい。例えば、図１６に示すように、プリント出力部１３は、ＬＡＮやインターネットなどのネットワーク２０を介して、プリント装置１の処理部１７と接続されていてもよい。この場合、プリント出力部１３は、ネットワーク対応プリンタで構成するとよい。さらに、プリント装置１とプリント出力部１３とは、図示しないプリントサーバを介して接続されていてもよい。
【００２７】
画像入出力部１１に入力される画像データは、画像名、撮影日時、撮影条件（撮影光源、被写体までの距離、フラッシュ発光の状態、シャッター速度、撮影場所など）、カメラのメーカ名などの各種の付帯情報をヘッダ部分のタグに記録し、かつ画像本体をデータ部分に記録したものであり、例えばＥｘｉｆ（Exchangeable Image File Format）ファイルで構成される。近年の記録媒体の記憶容量の向上により、実際に入力される画像数は、３００〜４００などと大量になる。
【００２８】
以下、図２のフローチャートを参照し、プリント装置１の実行するプリント処理の流れを説明する。
【００２９】
Ｓ１では、画像入出力部１１に記録媒体をセットするよう促すメッセージを表示部１５に表示する。あるいは、画像データを、赤外線通信などの所定の通信手段によって送信するよう、ユーザに促すメッセージを表示部１５に表示する。
【００３０】
Ｓ２では、ユーザによってセットされた記録媒体から、画像データを読み込み、記憶部１６に格納する。あるいは、ユーザの携帯端末などから所定の通信手段によって受信した画像を、記憶部１６に格納する。
【００３１】
Ｓ３では、記憶部１６に格納された画像から、顔検出を行う。顔検出の具体的方法としては、例えば本出願人による特開平９−１０１５７９号公報「顔領域抽出方法及び複写条件決定方法」において開示された技術を適用することができる。この技術は、撮影した画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割すると共に、画像中のエッジを検出して画像中の各箇所をエッジ部分又は非エッジ部分に分類する。そして、肌色領域内に位置し非エッジ部分に分類された画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域かを判定し、この判定結果に基づき顔領域として抽出するものである。また、この他に、特開２００３−２０９６８３号公報や特開２００２−１９９２２１号公報に記載される方法で顔領域を抽出することもできる。
【００３２】
なお、顔の有無、サイズ、位置の情報がタグ情報に記録されていれば、これをそのまま流用することで、顔検出処理を省略できる。
【００３３】
各画像から検出された顔領域の位置およびサイズは、各画像と対応づけられて記憶部１６に格納される。
【００３４】
Ｓ４では、検出された顔領域から、各個人の顔認識を行う。顔認識の具体的方法としては、例えば、本出願人による特許公開２００５−１４９５０７号公報において開示された技術を適用することができる。
【００３５】
Ｓ５では、画像ごとに認識された各個人の顔を分類した情報（マトリクス）を作成する。マトリクスには、付加情報として、各個人の顔領域の位置およびサイズが追記されている。
【００３６】
図３はマトリクスの一例である。例えば、ある個人の顔「顔１」に注目すると、顔１は、画像１、画像２、画像３から検出されている。画像１の付加情報については、顔１のサイズは「３０×３２」であり、存在位置座標は「１１００、７００」である。画像２については、顔１のサイズは「９５×１１５」であり、存在位置座標は「１２００、７００」である。画像３については、顔１のサイズは「３０×４０」であり、存在位置座標は「５００、７００」である。
【００３７】
その他、「顔２」、「顔３」、「顔４」、「顔５」も、画像１〜６から検出されており、マトリクスでは、それらの顔が、検出された画像と対応づけられており、さらに、顔ごとのサイズおよび位置も、付加情報として画像ごとに分類されて追記されている。このマトリクスを参照すれば、どの人物の顔がどの画像のどの部分にどのようなサイズで写っているかが簡単に特定できる。
【００３８】
マトリクスの作成後、処理部１７は、記憶部１６に格納された画像を一覧表示する画面である画像一覧画面の表示を表示部１５に指示する。
【００３９】
図４は、表示部１５による画像一覧画面の表示例を示す。この画面には、記憶部１６に格納された画像を、日付順などの所定のデフォルト順序により表示する表示スペース９０が設けられており、スクロールバー１００の上下操作により、前日付の画像、後日付の画像が順次表示される。
【００４０】
表示スペースの下には、並び替え条件設定ボタン１０１が配置されている。この並び替え条件設定ボタン１０１が押下されたことに応じて、Ｓ６に進み、並び替え条件設定画面の表示に遷移する。なお、並び替え条件設定ボタン１０１が押下されなければ、日付順などの所定順序のままプリントすべき画像を選択できる。ユーザは、入力した画像の数が少ない場合、並び替え条件設定ボタン１０１を押下しないという選択も可能である。
【００４１】
Ｓ６では、並び替え条件設定画面を表示し、この画面を起点に各種の詳細条件設定画面に遷移することで、画像データの並び替え条件の設定を受け付ける。
【００４２】
図５は並び替え条件設定画面の表示例を示す。
【００４３】
この画面には、顔指定ボタン１０２、顔の数指定ボタン１０３、サイズ指定ボタン１０４、位置指定ボタン１０５、日時指定ボタン１０６が配置されている。
【００４４】
これらの各ボタンのうちいずれか１つがタッチ操作されるか、あるいは２つのボタンが続けてタッチ操作されることに応じ、並び替え条件設定画面から、対応する並び替え条件の詳細設定画面に遷移する。
【００４５】
顔指定ボタン１０２、顔の数指定ボタン１０３、サイズ指定ボタン１０４、位置指定ボタン１０５、日時指定ボタン１０６が単独で押下された場合、それぞれ、顔指定画面（図６）、顔の数指定画面（図７）、サイズ指定画面（図１０）、位置指定画面（図１１）、日時指定画面（図８）に遷移する。
【００４６】
顔指定ボタン１０２が押下され、一旦顔指定画面が表示されて、ここで顔指定がされた後、顔指定画面の並び替え条件設定ボタン１０１の押下により並び替え条件設定画面に戻って、顔の数指定ボタン１０３が押下された場合、顔指定＋顔の数指定画面（図９）に遷移する。
【００４７】
また、同様にして、顔指定ボタン１０２とサイズ指定ボタン１０４が続けて押下された場合、顔指定＋サイズ指定画面（図１２）に遷移する。
【００４８】
また、同様にして、顔指定ボタン１０２と位置指定ボタン１０５が続けて押下された場合、顔指定＋位置指定画面（図１３）に遷移する。
【００４９】
また、同様にして、顔指定ボタン１０２とサイズ指定ボタン１０４が続けて押下された場合、顔指定＋サイズ指定画面（図１４）に遷移する。
【００５０】
また、同様にして、顔指定ボタン１０２と位置指定ボタン１０５が続けて押下された場合、顔指定＋位置指定画面（図１５）に遷移する。
【００５１】
図１２の画面と図１４の画面は双方同時に表示され、ユーザが任意の一方を操作できる。図１３の画面と図１５の画面も同様である。
【００５２】
図６に示す顔指定画面では、画像に含まれるべき所望の個人の顔を、画像の並び替え条件に設定することができる。これは、顔指定ボックス１１０に表示された各個人の顔から所望の顔をタッチ指定することで行うことができる。顔指定ボックス１１０に表示される顔は、各画像から認識されてマトリクスで分類されている顔であり、その表示順は、例えば、その顔が抽出された画像の総数の多いものから先に並べる。なお、図には示していないが、顔を複数指定した場合、それらの顔について、ＡＮＤ（論理積）またはＯＲ（論理和）のような論理演算式を設定させ、これを画像の並び替え条件に指定できるようにしてもよい。例えば、「顔１」と「顔３」が指定され、かつ「ＡＮＤ」が指定されれば、「顔１と顔３の両方を含む画像」が並び替え条件となる。また、「顔１」と「顔３」が指定され、かつ「ＯＲ」が指定されれば、「顔１または顔３を含む画像」が並び替え条件となる。
【００５３】
図７に示す顔の数指定画面では、画像に含まれるべき顔の個数を、画像の並び替え条件に設定することができる。これは、顔の数リスト１１１から所望の数を選択し、かつ個数条件リスト１１２から、その数を元にした条件定義を指定する個数条件リスト１１２から、「個」、「個以下」または「個以上」を選ぶことで、それぞれ、顔の数リスト１１１から選んだ個数、個数以下、あるいは個数以上の顔を画像が含むことを、画像の並び替え条件に設定することができる。これにより、例えば、顔の数が３個の画像、３個以上の画像、あるいは３個以下の画像を並び替え条件にして、そのような画像から先に一覧表示できる。ユーザが顔の数が多い画像や人物の集合画像を欲する場合は顔の数を増やせばよいし、ユーザが風景画を欲する場合は顔の数を少なくするか零にするとよい。
【００５４】
図８に示す日時指定画面では、画像の撮影日時が満たすべき条件を設定できる。これは、撮影日時範囲指定ボックス１１３で、撮影日時の条件を、特定の日時以降または以前にするか、特定の日時範囲内に指定することで行われる。また、条件にそった並び替えの順序も、順序ボタン１１４により、日時の新しい順または古い順に設定することができる。
【００５５】
図９に示す顔指定＋顔の数指定画面では、図７と同様、顔の数リスト１１１と個数条件リスト１１２が配置されており、既に顔指定画面で指定された顔の表示ボックス１１５が配置されている。この画面では、「顔指定画面で指定された顔を含む画像であり、かつ、所望の個数の顔を含んでいる画像」を並び替え条件に設定できる。例えば、顔Ａと顔Ｃを含む画像でありかつ顔の数が５個の画像、顔Ａと顔Ｃを含む画像でありかつ顔の数が５個以上の画像、あるいは顔Ａと顔Ｃを含む画像でありかつ顔の数が５個以下の画像を画像の並び替え条件に設定できる。例えば、ユーザが、特定の人物およびそれ以外の他の多くの人物の写っている画像を欲する場合、友人の顔を指定し、かつ、顔の数を多めに設定するとよい。
【００５６】
図１０に示すサイズ指定画面では、画像に含まれるべき顔のサイズを、画像の並び替え条件に設定することができる。これは、サイズ指定ボタン１１６から、「大」、「中」または「小」のいずれかを指定させて、画像に含まれる顔のサイズに画像の並び順を対応させる。「大」が指定されれば「画像に含まれる顔が「大」のもの」が、「中」が指定されれば「画像に含まれる顔が「中」のもの」が、「小」が指定されれば「画像に含まれる顔が「小」のもの」が優先的に一覧の先頭に来る並び替え条件となる。「大」、「中」または「小」に対応する顔のサイズは、予め規定されており、ある第１の閾値以上のものを「大」、ある第１の閾値未満かつある第２の閾値以上のものを「中」、第２の閾値未満のものを「小」とする。
【００５７】
「大」、「中」または「小」のような規定サイズでなく、ユーザが自分自身で所望サイズを指定したい場合、サイズ指定開始ボタン１１７ａを選択し、サイズ指定ボックス１１７ｂから矩形のサイズをポインタによって変更することで所望の顔のサイズを指定すれば、「サイズ指定ボックス１１７ｂから指定されたサイズの顔を含む画像」が、並び替え条件となる。
【００５８】
図１１に示す位置指定画面では、画像に含まれる顔の位置を、画像の並び替え条件に設定することができる。これは、位置指定ボタン１１８から、顔の位置として「左側」、「中央」、「右側」を指定すると、「位置指定ボタン１１８で指定された位置に顔を含む画像」が画像の並び替え条件となる。「左側」、「中央」、「右側」に対応する顔の位置は、予め規定されている。
【００５９】
「左側」、「中央」、「右側」のような規定位置ではなく、ユーザが自分自身で顔の位置を指定したい場合、位置指定開始ボタン１１９を押下し、位置指定ボックス１３０で矩形の位置を変更すれば、「位置指定ボックス１３０から指定された位置に顔を含む画像」が、並び替え条件となる。
【００６０】
図１２に示す顔指定＋サイズ指定画面では、図１０と同様、サイズ指定ボタン１１６、サイズ指定開始ボタン１１７ａ、サイズ指定ボックス１１７ｂが配置されており、既に顔指定画面で指定された顔の表示ボックス１１５が配置されている。この画面では、顔指定画面で指定された顔を含む画像であり、かつ、指定された顔のサイズが指定されたサイズある画像を並び替え条件に設定できる。例えば、「顔Ａと顔Ｃを含み、顔Ａのサイズは大かつ顔Ｃのサイズは中である画像」を並び替え条件に設定できる。
【００６１】
図１３に示す顔指定＋位置指定画面では、図１１と同様、位置指定ボタン１１８、位置指定開始ボタン１１９、位置指定ボックス１３０が配置されており、既に顔指定画面で指定された顔の表示ボックス１１５が配置されている。この画面では、顔指定画面で指定された顔を含む画像であり、かつ、当該顔の位置が、位置指定ボタン１１８または位置指定ボックス１３０で指定された位置に存在する画像を並び替え条件に設定できる。例えば、顔Ａと顔Ｃを含む画像であり、顔Ａは右側、顔Ｃは中央に位置する画像を並び替え条件に設定できる。この条件は、例えば、ユーザが、ある特定の人物は中央に写っており、その他の人物はその特定の人物の左隣や右隣に写っている画像を欲する場合に有用である。
【００６２】
図１２に示す顔指定＋サイズ指定画面では、関係ボタン１２０が配置されており、関係ボタン１２０が押下されると顔指定＋サイズ指定（関係）画面（図１４）に遷移する。
【００６３】
図１４に示す顔指定＋サイズ指定（関係）画面では、既に顔指定画面で指定された異なる２つの顔１４０−１および１４０−２が満たすべきサイズの関係を、サイズ指定ボタン１１６および関係ボックス１３１から任意に指定し、これを並び替え条件に設定できる。例えば、顔Ａは顔Ｃよりも大きい、顔Ａは顔Ｃよりも小さい、顔Ａは顔Ｃ以上、顔Ａは顔Ｃ以下となる画像を並び替え条件に設定できる。なお、顔指定＋サイズ指定（関係）画面で関係ボタン１２０を押下すると図１２の顔指定＋サイズ指定画面に戻る。
【００６４】
図１３に示す顔指定＋サイズ指定画面では、関係ボタン１２０が配置されており、関係ボタン１２０が押下されると顔指定＋位置指定（関係）画面（図１５）に遷移する。
【００６５】
図１５に示す顔指定＋位置指定（関係）画面では、既に顔指定画面で指定された異なる２つの顔１４０−１および１４０−２が満たすべき位置関係を、位置指定ボタン１１８と位置関係リスト１２１から任意に指定し、これを並び替え条件に設定できる。例えば、顔Ａは顔Ｃの右隣、左隣、左側、あるいは右側に位置する画像を並び替え条件に設定できる。
【００６６】
なお、図示は省略するが、上記の他、顔の向きや傾き、シャープネス（ピンぼけ度）や
目の開き具合を並び替え条件に設定できるようにしてもよい。また、上記の詳細条件を組み合わせる（複数の詳細条件のうちいずれか１つを満たすことを並び替え条件とする）ことができるようにしてもよく、その場合、どの詳細条件を優先させるかを設定できるようにしてもよい。例えば、顔の数＞顔のサイズ＞顔の位置というように、詳細条件の優先順位を設定できるようにしてもよい。複数の詳細条件の組み合わせが設定されたにもかかわらず、ユーザから優先順位が設定されなかった場合、デフォルトの優先順位（例えば、顔の数＞顔のサイズ＞顔の位置）を設定するとよい。
【００６７】
さらに、設定された並び替え条件を満たす画像が複数存在し、双方優劣がつけられない場合は、タグ情報を基準として並べて（撮影日時の早い順に並べるなど）表示するとよい。
【００６８】
上記の詳細条件設定画面には、それぞれ並び替え表示ボタン９５と戻るボタン１５０が設けられている。並び替え条件の設定後にこの並び替え表示ボタン９５を押下することによりＳ７に進む。戻るボタン１５０が押下されると、図４の画面に戻る。
【００６９】
Ｓ７では、マトリクスを参照して、並び替え条件を満たす画像をマトリクスから特定し、この特定した画像を記憶部１６から抽出し、一覧表示画面の表示スペース９０に表示された画像のうち抽出された画像が一覧の先頭に来るよう並び替え、表示する。条件に合った画像の特定はマトリクスから行われるため、画像の並び替えが高速に行える。なお、この動作は、条件設定と並び替え表示ボタン９５が押下されるごとに繰り返される。
【００７０】
Ｓ８では、表示スペース９０に表示された画像の中から、プリントする所望の画像を選択するようユーザに促す。表示スペース９０ではユーザの設定した条件に合った画像が一覧の先頭に表示されており、ユーザは希望条件に合った画像を選択しやすい。プリントする画像の選択が完了したことに応じＳ９に進む。
【００７１】
Ｓ９では、プリント出力部１３は、選択された画像をＴＡペーパー、複写用紙、感熱紙、普通紙、銀塩方式のペーパー（カラー・モノクロは問わない）などの所定の印刷媒体に記録する。なお、選択された画像の出力形態はプリント出力に限られない。例えば、選択された画像を、画像入出力部１１にセットされた、画像入力元の記録媒体とは別の記録媒体に出力して格納してもよい。その際、当該記録媒体に選択画像を格納する特別のフォルダを作成し、そのフォルダ内に選択画像を格納してもよい。
【００７２】
Ｓ１０では、画像の記録された印刷媒体を受け取り口に排出し、ユーザにプリント物を取得させる。画像の印刷媒体への記録や記録媒体への格納が完了した場合、所定のメッセージを表示部１５に表示し、印刷媒体や記録媒体の取り出しをユーザに促してもよい。
【００７３】
以上説明した通り、プリント装置１では、任意に設定された並び替え条件を満たす画像がマトリクスに従って抽出され、並び替え条件を充足する画像から優先的に一覧表示画面の表示スペース９０に配列される。ユーザは、特許文献１のように特定人物を示す指標となる画像を選ばなくても、特定人物の写った画像から優先的に一覧表示させることができる。
【００７４】
また、写っている特定人物の顔が所望のサイズや位置にある画像、写っている人物の顔が所望の数の画像から優先的に一覧表示させることができ、特許文献１や２に比して、幅広い画像の並び替えが可能であり、ユーザがプリント出力やフォルダ出力などをしたい希望の画像を容易に選択することができる。
【符号の説明】
【００７５】
１１：画像入出力部、１２：操作部、１３：プリント出力部、１４：料金決済部、１５：表示部、１６：記憶部、１７：処理部、２０：ネットワーク
【技術分野】
【０００１】
本発明は、プリントデータその他の画像のデータ出力を管理する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１によると、光学的に撮影された画像の画像データを取得して、取得した画像データの各画像から人物の顔を検出し、画像と検出した顔画像とを並べて１セットとして表示し、顔画像の選択に応じて、選択された顔画像と他の顔画像との類似度を検出し、この類似度に応じて、画像の表示順を変更する。
【０００３】
特許文献２によると、画像Ｉの中から顔の画像ｉ１，ｉ２，ｉ３およびｉ４が抽出される。抽出された顔の画像ｉ１，ｉ２，ｉ３およびｉ４のうち，所定のサイズ以上のサイズをもつ顔の画像ｉ１，ｉ２およびｉ３について数を数える。得られた顔の画像の数（３つ）が画像Ｉのプリント枚数とされ，そのプリント枚数が表示される。画像Ｉをプリントして配布するために必要なプリント枚数が自動的に分かる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１８０３４号公報
【特許文献２】特開２００６−８８５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、可搬性記録媒体の大容量化が進み、大量の画像データを店頭プリント端末機やパソコンに取り込むユーザが増えている。この状況下において、プリント出力やフォルダ出力する画像を選択するために、一枚ずつ画像を確認する必要があり、長時間を要する。このため、大量の画像から所望の画像の選択を容易にするための仕組みが求められている。
【０００６】
この点、特許文献１によると、指定した顔画像の類似度によって、表示順が変更されるが、顔のサイズや位置などは考慮していないため、画像選択を補助する情報としては不足している。例えば、自分が写っている画像をプリントする場合、自分が大きく写っているものや、中心に写っているものを優先的にプリントしたいというニーズには対応することができない。
【０００７】
また、特許文献２のように、顔の数を直接プリント枚数に反映させると、例えば家族写真の場合、１枚あればよいのに複数プリントされることになってしまう。むしろ、顔の数をプリント枚数として反映させるのではなく、プリント枚数を検討するための情報として、画像選択の補助に使用した方が効果的である。
【０００８】
本発明は、店頭端末機でのプリント注文など、大量の画像を選択する必要がある場面において、ユーザが選択したい画像を容易に確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像出力管理装置は、画像を入力する入力部と、入力部に入力された画像の一覧を表示装置に表示する表示制御部と、入力部に入力された画像から各人物の顔を検出する顔検出部と、顔検出部が検出した人物の顔ごとに顔の検出された画像を分類したマトリクスを作成するマトリクス作成部と、一覧の先頭に優先的に配置する画像に含まれるべき人物の顔の満足する条件を含む並替条件の指定を受け付ける条件指定部と、マトリクス作成部の作成したマトリクスに基づき、指定された並替条件に合致する画像を抽出する抽出部と、表示装置に表示された画像の一覧のうち、抽出部の抽出した画像を一覧の先頭に優先的に配置して表示装置に表示する並替表示制御部と、を備える。
【００１０】
この発明によると、任意に設定された並替条件を満たす画像がマトリクスに従って抽出され、並替条件を充足する画像から優先的に配列され一覧表示される。ユーザは、特許文献１のように特定人物を示す指標となる画像を選ばなくても、特定人物の写った画像から優先的に一覧表示させることができる。
【００１１】
顔検出部は、画像ごとに、画像に含まれる人物の顔の個数、画像に含まれる人物ごとの顔のサイズ、画像に含まれる人物ごとの顔の存在位置、画像に含まれる人物ごとの顔の目の開き具合、および画像に含まれる人物ごとの顔の向きもしくは傾きのうち少なくとも１つを含む付加情報を作成し、マトリクス作成部は、顔検出部が検出した人物の顔ごとに画像および付加情報を分類したマトリクスを作成してもよい。
【００１２】
条件指定部の受け付ける並替条件は、画像に含まれる特定人物、画像に含まれる人物の顔の個数、画像に含まれる特定人物の顔のサイズ、画像に含まれる特定人物の顔の存在位置、画像に含まれる特定人物の顔の目の開き具合、および画像に含まれる特定人物の顔の向きもしくは傾きのうち少なくとも１つを含む。
【００１３】
この発明によると、写っている特定人物の顔が所望のサイズや位置にある画像、写っている人物の顔が所望の数の画像から優先的に一覧表示させることができ、特許文献１や２に比して、幅広い画像の並び替えが可能であり、ユーザがプリント出力やフォルダ出力などをしたい希望の画像を容易に選択することができる。
【００１４】
条件指定部の受け付ける並替条件は、画像に含まれる複数の特定人物の顔のサイズの大小関係および画像に含まれる複数の特定人物の顔の位置関係のうち少なくとも１つを含む。
【００１５】
この発明によると、写っている特定人物の顔同士の位置やサイズの関係が、指定の関係にある画像から優先的に一覧表示させることができ、特許文献１や２に比して、幅広い画像の並び替えが可能であり、ユーザがプリント出力やフォルダ出力などをしたい希望の画像を容易に選択することができる。
【００１６】
条件指定部は、複数指定された並替条件の優先順位の指定を受け付け、並替表示制御部は、指定された優先順位の高い並替条件を満足する画像から、一覧の先頭に優先的に配置して表示装置に表示するとよい。
【００１７】
表示装置に表示された画像の一覧から、出力すべき所望の画像の選択を受け付ける選択部と、選択部から選択された画像を出力する出力部と、をさらに備えてもよい。
【００１８】
出力部は、選択部から選択された画像を、所定の印刷媒体にプリントしたり、所定の記録媒体に記録したり、または所定の記録媒体の所定のフォルダに格納することで出力することもできる。
【００１９】
本発明に係る画像出力管理方法は、画像を入力するステップと、入力された画像の一覧を表示装置に表示するステップと、入力された画像から各人物の顔を検出するステップと、検出した人物の顔ごとに顔の検出された画像を分類したマトリクスを作成するステップと、一覧の先頭に優先的に配置する画像に含まれるべき人物の顔の満足する条件を含む並替条件の指定を受け付けるステップと、マトリクスに基づき、指定された並替条件に合致する画像を抽出するステップと、表示装置に表示された画像の一覧のうち、抽出した画像を一覧の先頭に優先的に配置して表示装置に表示するステップと、を含む。
【００２０】
この画像出力管理方法をコンピュータに実行させるプログラムも本発明に含まれる。
【発明の効果】
【００２１】
この発明によると、任意に設定された並替条件を満たす画像がマトリクスに従って抽出され、並替条件を充足する画像から優先的に配列され一覧表示される。ユーザは、特許文献１のように特定人物を示す指標となる画像を選ばなくても、特定人物の写った画像から優先的に一覧表示させることができる。
【図面の簡単な説明】
【００２２】
【図１】プリント装置のブロック図
【図２】プリント処理のフローチャート
【図３】マトリクスの一例を示す図
【図４】画像一覧画面の表示例を示す図
【図５】並び替え条件設定画面の表示例を示す図
【図６】顔指定画面の一例を示す図
【図７】顔の数指定画面の一例を示す図
【図８】日時指定画面の一例を示す図
【図９】顔指定＋顔の数指定画面の一例を示す図
【図１０】サイズ指定画面の一例を示す図
【図１１】位置指定画面の一例を示す図
【図１２】顔指定＋サイズ指定画面の一例を示す図
【図１３】顔指定＋位置指定画面の一例を示す図
【図１４】顔指定＋サイズ指定画面（関係）の一例を示す図
【図１５】顔指定＋位置指定画面（関係）の一例を示す図
【図１６】ネットワーク経由でプリント出力部が接続されたプリント装置の一例を示す図
【発明を実施するための形態】
【００２３】
図１は、本発明の好ましい実施形態に係るプリント装置１の構成を示すブロック図である。プリント装置１は、スマートメディア（Solid-State Floppy Disk Card）、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどの各種記録メディアから画像を読み取って画像データを入力したり、あるいは各種記録メディアに画像データを出力して格納する画像入出力部１１と、操作ボタンやタッチパネルなどで構成されユーザからの操作入力を受け付ける操作部１２と、プリント物を印刷して出力するプリント出力部１３と、プリント料金を決済する料金決済部１４と、タッチパネルの積層された液晶ディスプレイなどで構成される表示部１５と、プリント物印刷に必要なデータやプログラム並びにフレームなどの付帯画像等が記憶される記憶部１６と、プリント物の印刷データの作成、各部の制御、各種データ処理を行う処理部１７とを備えている。
【００２４】
表示部１５は、処理部１７からの指令に従った表示を行う。ユーザは表示部１５に表示されるグラフィカル・ユーザ・インターフェース（ＧＵＩ）を通して、プリントする画像の選択などの設定項目を操作部１２から入力する。以下、操作部１２から入力された設定項目を注文情報という。記憶部１６はプリント１枚当たりの単価を記憶している。
【００２５】
処理部１７は画像データ及び注文情報に従ってプリントデータを生成する。プリントデータは、プリント出力部１３に送信され、プリント出力部１３は印画動作を実行しプリント物を出力する。印画方式については特に限定されず、印画紙自体が熱によって発色するサーモ・オートクローム（ＴＡ）方式、インク滴をノズルによって印画紙に吹きつけるインクジェット方式、熱を加えることによりインクを昇華させて紙に付着させる昇華方式、熱を加えると変色する特殊な用紙(感熱紙)に熱した印字ヘッドを押し付ける感熱式、あるいは銀塩方式など、種々の方式が可能である。なお、料金決済部１４は省略されてもよい。
【００２６】
また、プリント出力部１３は必ずしもプリント装置１に内蔵されている必然性はなく、プリント装置１とは独立した機器であってもよい。例えば、図１６に示すように、プリント出力部１３は、ＬＡＮやインターネットなどのネットワーク２０を介して、プリント装置１の処理部１７と接続されていてもよい。この場合、プリント出力部１３は、ネットワーク対応プリンタで構成するとよい。さらに、プリント装置１とプリント出力部１３とは、図示しないプリントサーバを介して接続されていてもよい。
【００２７】
画像入出力部１１に入力される画像データは、画像名、撮影日時、撮影条件（撮影光源、被写体までの距離、フラッシュ発光の状態、シャッター速度、撮影場所など）、カメラのメーカ名などの各種の付帯情報をヘッダ部分のタグに記録し、かつ画像本体をデータ部分に記録したものであり、例えばＥｘｉｆ（Exchangeable Image File Format）ファイルで構成される。近年の記録媒体の記憶容量の向上により、実際に入力される画像数は、３００〜４００などと大量になる。
【００２８】
以下、図２のフローチャートを参照し、プリント装置１の実行するプリント処理の流れを説明する。
【００２９】
Ｓ１では、画像入出力部１１に記録媒体をセットするよう促すメッセージを表示部１５に表示する。あるいは、画像データを、赤外線通信などの所定の通信手段によって送信するよう、ユーザに促すメッセージを表示部１５に表示する。
【００３０】
Ｓ２では、ユーザによってセットされた記録媒体から、画像データを読み込み、記憶部１６に格納する。あるいは、ユーザの携帯端末などから所定の通信手段によって受信した画像を、記憶部１６に格納する。
【００３１】
Ｓ３では、記憶部１６に格納された画像から、顔検出を行う。顔検出の具体的方法としては、例えば本出願人による特開平９−１０１５７９号公報「顔領域抽出方法及び複写条件決定方法」において開示された技術を適用することができる。この技術は、撮影した画像の各画素の色相が肌色の範囲に含まれるか否かを判定して肌色領域と非肌色領域とに分割すると共に、画像中のエッジを検出して画像中の各箇所をエッジ部分又は非エッジ部分に分類する。そして、肌色領域内に位置し非エッジ部分に分類された画素からなり、かつエッジ部分と判定された画素で囲まれた領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域かを判定し、この判定結果に基づき顔領域として抽出するものである。また、この他に、特開２００３−２０９６８３号公報や特開２００２−１９９２２１号公報に記載される方法で顔領域を抽出することもできる。
【００３２】
なお、顔の有無、サイズ、位置の情報がタグ情報に記録されていれば、これをそのまま流用することで、顔検出処理を省略できる。
【００３３】
各画像から検出された顔領域の位置およびサイズは、各画像と対応づけられて記憶部１６に格納される。
【００３４】
Ｓ４では、検出された顔領域から、各個人の顔認識を行う。顔認識の具体的方法としては、例えば、本出願人による特許公開２００５−１４９５０７号公報において開示された技術を適用することができる。
【００３５】
Ｓ５では、画像ごとに認識された各個人の顔を分類した情報（マトリクス）を作成する。マトリクスには、付加情報として、各個人の顔領域の位置およびサイズが追記されている。
【００３６】
図３はマトリクスの一例である。例えば、ある個人の顔「顔１」に注目すると、顔１は、画像１、画像２、画像３から検出されている。画像１の付加情報については、顔１のサイズは「３０×３２」であり、存在位置座標は「１１００、７００」である。画像２については、顔１のサイズは「９５×１１５」であり、存在位置座標は「１２００、７００」である。画像３については、顔１のサイズは「３０×４０」であり、存在位置座標は「５００、７００」である。
【００３７】
その他、「顔２」、「顔３」、「顔４」、「顔５」も、画像１〜６から検出されており、マトリクスでは、それらの顔が、検出された画像と対応づけられており、さらに、顔ごとのサイズおよび位置も、付加情報として画像ごとに分類されて追記されている。このマトリクスを参照すれば、どの人物の顔がどの画像のどの部分にどのようなサイズで写っているかが簡単に特定できる。
【００３８】
マトリクスの作成後、処理部１７は、記憶部１６に格納された画像を一覧表示する画面である画像一覧画面の表示を表示部１５に指示する。
【００３９】
図４は、表示部１５による画像一覧画面の表示例を示す。この画面には、記憶部１６に格納された画像を、日付順などの所定のデフォルト順序により表示する表示スペース９０が設けられており、スクロールバー１００の上下操作により、前日付の画像、後日付の画像が順次表示される。
【００４０】
表示スペースの下には、並び替え条件設定ボタン１０１が配置されている。この並び替え条件設定ボタン１０１が押下されたことに応じて、Ｓ６に進み、並び替え条件設定画面の表示に遷移する。なお、並び替え条件設定ボタン１０１が押下されなければ、日付順などの所定順序のままプリントすべき画像を選択できる。ユーザは、入力した画像の数が少ない場合、並び替え条件設定ボタン１０１を押下しないという選択も可能である。
【００４１】
Ｓ６では、並び替え条件設定画面を表示し、この画面を起点に各種の詳細条件設定画面に遷移することで、画像データの並び替え条件の設定を受け付ける。
【００４２】
図５は並び替え条件設定画面の表示例を示す。
【００４３】
この画面には、顔指定ボタン１０２、顔の数指定ボタン１０３、サイズ指定ボタン１０４、位置指定ボタン１０５、日時指定ボタン１０６が配置されている。
【００４４】
これらの各ボタンのうちいずれか１つがタッチ操作されるか、あるいは２つのボタンが続けてタッチ操作されることに応じ、並び替え条件設定画面から、対応する並び替え条件の詳細設定画面に遷移する。
【００４５】
顔指定ボタン１０２、顔の数指定ボタン１０３、サイズ指定ボタン１０４、位置指定ボタン１０５、日時指定ボタン１０６が単独で押下された場合、それぞれ、顔指定画面（図６）、顔の数指定画面（図７）、サイズ指定画面（図１０）、位置指定画面（図１１）、日時指定画面（図８）に遷移する。
【００４６】
顔指定ボタン１０２が押下され、一旦顔指定画面が表示されて、ここで顔指定がされた後、顔指定画面の並び替え条件設定ボタン１０１の押下により並び替え条件設定画面に戻って、顔の数指定ボタン１０３が押下された場合、顔指定＋顔の数指定画面（図９）に遷移する。
【００４７】
また、同様にして、顔指定ボタン１０２とサイズ指定ボタン１０４が続けて押下された場合、顔指定＋サイズ指定画面（図１２）に遷移する。
【００４８】
また、同様にして、顔指定ボタン１０２と位置指定ボタン１０５が続けて押下された場合、顔指定＋位置指定画面（図１３）に遷移する。
【００４９】
また、同様にして、顔指定ボタン１０２とサイズ指定ボタン１０４が続けて押下された場合、顔指定＋サイズ指定画面（図１４）に遷移する。
【００５０】
また、同様にして、顔指定ボタン１０２と位置指定ボタン１０５が続けて押下された場合、顔指定＋位置指定画面（図１５）に遷移する。
【００５１】
図１２の画面と図１４の画面は双方同時に表示され、ユーザが任意の一方を操作できる。図１３の画面と図１５の画面も同様である。
【００５２】
図６に示す顔指定画面では、画像に含まれるべき所望の個人の顔を、画像の並び替え条件に設定することができる。これは、顔指定ボックス１１０に表示された各個人の顔から所望の顔をタッチ指定することで行うことができる。顔指定ボックス１１０に表示される顔は、各画像から認識されてマトリクスで分類されている顔であり、その表示順は、例えば、その顔が抽出された画像の総数の多いものから先に並べる。なお、図には示していないが、顔を複数指定した場合、それらの顔について、ＡＮＤ（論理積）またはＯＲ（論理和）のような論理演算式を設定させ、これを画像の並び替え条件に指定できるようにしてもよい。例えば、「顔１」と「顔３」が指定され、かつ「ＡＮＤ」が指定されれば、「顔１と顔３の両方を含む画像」が並び替え条件となる。また、「顔１」と「顔３」が指定され、かつ「ＯＲ」が指定されれば、「顔１または顔３を含む画像」が並び替え条件となる。
【００５３】
図７に示す顔の数指定画面では、画像に含まれるべき顔の個数を、画像の並び替え条件に設定することができる。これは、顔の数リスト１１１から所望の数を選択し、かつ個数条件リスト１１２から、その数を元にした条件定義を指定する個数条件リスト１１２から、「個」、「個以下」または「個以上」を選ぶことで、それぞれ、顔の数リスト１１１から選んだ個数、個数以下、あるいは個数以上の顔を画像が含むことを、画像の並び替え条件に設定することができる。これにより、例えば、顔の数が３個の画像、３個以上の画像、あるいは３個以下の画像を並び替え条件にして、そのような画像から先に一覧表示できる。ユーザが顔の数が多い画像や人物の集合画像を欲する場合は顔の数を増やせばよいし、ユーザが風景画を欲する場合は顔の数を少なくするか零にするとよい。
【００５４】
図８に示す日時指定画面では、画像の撮影日時が満たすべき条件を設定できる。これは、撮影日時範囲指定ボックス１１３で、撮影日時の条件を、特定の日時以降または以前にするか、特定の日時範囲内に指定することで行われる。また、条件にそった並び替えの順序も、順序ボタン１１４により、日時の新しい順または古い順に設定することができる。
【００５５】
図９に示す顔指定＋顔の数指定画面では、図７と同様、顔の数リスト１１１と個数条件リスト１１２が配置されており、既に顔指定画面で指定された顔の表示ボックス１１５が配置されている。この画面では、「顔指定画面で指定された顔を含む画像であり、かつ、所望の個数の顔を含んでいる画像」を並び替え条件に設定できる。例えば、顔Ａと顔Ｃを含む画像でありかつ顔の数が５個の画像、顔Ａと顔Ｃを含む画像でありかつ顔の数が５個以上の画像、あるいは顔Ａと顔Ｃを含む画像でありかつ顔の数が５個以下の画像を画像の並び替え条件に設定できる。例えば、ユーザが、特定の人物およびそれ以外の他の多くの人物の写っている画像を欲する場合、友人の顔を指定し、かつ、顔の数を多めに設定するとよい。
【００５６】
図１０に示すサイズ指定画面では、画像に含まれるべき顔のサイズを、画像の並び替え条件に設定することができる。これは、サイズ指定ボタン１１６から、「大」、「中」または「小」のいずれかを指定させて、画像に含まれる顔のサイズに画像の並び順を対応させる。「大」が指定されれば「画像に含まれる顔が「大」のもの」が、「中」が指定されれば「画像に含まれる顔が「中」のもの」が、「小」が指定されれば「画像に含まれる顔が「小」のもの」が優先的に一覧の先頭に来る並び替え条件となる。「大」、「中」または「小」に対応する顔のサイズは、予め規定されており、ある第１の閾値以上のものを「大」、ある第１の閾値未満かつある第２の閾値以上のものを「中」、第２の閾値未満のものを「小」とする。
【００５７】
「大」、「中」または「小」のような規定サイズでなく、ユーザが自分自身で所望サイズを指定したい場合、サイズ指定開始ボタン１１７ａを選択し、サイズ指定ボックス１１７ｂから矩形のサイズをポインタによって変更することで所望の顔のサイズを指定すれば、「サイズ指定ボックス１１７ｂから指定されたサイズの顔を含む画像」が、並び替え条件となる。
【００５８】
図１１に示す位置指定画面では、画像に含まれる顔の位置を、画像の並び替え条件に設定することができる。これは、位置指定ボタン１１８から、顔の位置として「左側」、「中央」、「右側」を指定すると、「位置指定ボタン１１８で指定された位置に顔を含む画像」が画像の並び替え条件となる。「左側」、「中央」、「右側」に対応する顔の位置は、予め規定されている。
【００５９】
「左側」、「中央」、「右側」のような規定位置ではなく、ユーザが自分自身で顔の位置を指定したい場合、位置指定開始ボタン１１９を押下し、位置指定ボックス１３０で矩形の位置を変更すれば、「位置指定ボックス１３０から指定された位置に顔を含む画像」が、並び替え条件となる。
【００６０】
図１２に示す顔指定＋サイズ指定画面では、図１０と同様、サイズ指定ボタン１１６、サイズ指定開始ボタン１１７ａ、サイズ指定ボックス１１７ｂが配置されており、既に顔指定画面で指定された顔の表示ボックス１１５が配置されている。この画面では、顔指定画面で指定された顔を含む画像であり、かつ、指定された顔のサイズが指定されたサイズある画像を並び替え条件に設定できる。例えば、「顔Ａと顔Ｃを含み、顔Ａのサイズは大かつ顔Ｃのサイズは中である画像」を並び替え条件に設定できる。
【００６１】
図１３に示す顔指定＋位置指定画面では、図１１と同様、位置指定ボタン１１８、位置指定開始ボタン１１９、位置指定ボックス１３０が配置されており、既に顔指定画面で指定された顔の表示ボックス１１５が配置されている。この画面では、顔指定画面で指定された顔を含む画像であり、かつ、当該顔の位置が、位置指定ボタン１１８または位置指定ボックス１３０で指定された位置に存在する画像を並び替え条件に設定できる。例えば、顔Ａと顔Ｃを含む画像であり、顔Ａは右側、顔Ｃは中央に位置する画像を並び替え条件に設定できる。この条件は、例えば、ユーザが、ある特定の人物は中央に写っており、その他の人物はその特定の人物の左隣や右隣に写っている画像を欲する場合に有用である。
【００６２】
図１２に示す顔指定＋サイズ指定画面では、関係ボタン１２０が配置されており、関係ボタン１２０が押下されると顔指定＋サイズ指定（関係）画面（図１４）に遷移する。
【００６３】
図１４に示す顔指定＋サイズ指定（関係）画面では、既に顔指定画面で指定された異なる２つの顔１４０−１および１４０−２が満たすべきサイズの関係を、サイズ指定ボタン１１６および関係ボックス１３１から任意に指定し、これを並び替え条件に設定できる。例えば、顔Ａは顔Ｃよりも大きい、顔Ａは顔Ｃよりも小さい、顔Ａは顔Ｃ以上、顔Ａは顔Ｃ以下となる画像を並び替え条件に設定できる。なお、顔指定＋サイズ指定（関係）画面で関係ボタン１２０を押下すると図１２の顔指定＋サイズ指定画面に戻る。
【００６４】
図１３に示す顔指定＋サイズ指定画面では、関係ボタン１２０が配置されており、関係ボタン１２０が押下されると顔指定＋位置指定（関係）画面（図１５）に遷移する。
【００６５】
図１５に示す顔指定＋位置指定（関係）画面では、既に顔指定画面で指定された異なる２つの顔１４０−１および１４０−２が満たすべき位置関係を、位置指定ボタン１１８と位置関係リスト１２１から任意に指定し、これを並び替え条件に設定できる。例えば、顔Ａは顔Ｃの右隣、左隣、左側、あるいは右側に位置する画像を並び替え条件に設定できる。
【００６６】
なお、図示は省略するが、上記の他、顔の向きや傾き、シャープネス（ピンぼけ度）や
目の開き具合を並び替え条件に設定できるようにしてもよい。また、上記の詳細条件を組み合わせる（複数の詳細条件のうちいずれか１つを満たすことを並び替え条件とする）ことができるようにしてもよく、その場合、どの詳細条件を優先させるかを設定できるようにしてもよい。例えば、顔の数＞顔のサイズ＞顔の位置というように、詳細条件の優先順位を設定できるようにしてもよい。複数の詳細条件の組み合わせが設定されたにもかかわらず、ユーザから優先順位が設定されなかった場合、デフォルトの優先順位（例えば、顔の数＞顔のサイズ＞顔の位置）を設定するとよい。
【００６７】
さらに、設定された並び替え条件を満たす画像が複数存在し、双方優劣がつけられない場合は、タグ情報を基準として並べて（撮影日時の早い順に並べるなど）表示するとよい。
【００６８】
上記の詳細条件設定画面には、それぞれ並び替え表示ボタン９５と戻るボタン１５０が設けられている。並び替え条件の設定後にこの並び替え表示ボタン９５を押下することによりＳ７に進む。戻るボタン１５０が押下されると、図４の画面に戻る。
【００６９】
Ｓ７では、マトリクスを参照して、並び替え条件を満たす画像をマトリクスから特定し、この特定した画像を記憶部１６から抽出し、一覧表示画面の表示スペース９０に表示された画像のうち抽出された画像が一覧の先頭に来るよう並び替え、表示する。条件に合った画像の特定はマトリクスから行われるため、画像の並び替えが高速に行える。なお、この動作は、条件設定と並び替え表示ボタン９５が押下されるごとに繰り返される。
【００７０】
Ｓ８では、表示スペース９０に表示された画像の中から、プリントする所望の画像を選択するようユーザに促す。表示スペース９０ではユーザの設定した条件に合った画像が一覧の先頭に表示されており、ユーザは希望条件に合った画像を選択しやすい。プリントする画像の選択が完了したことに応じＳ９に進む。
【００７１】
Ｓ９では、プリント出力部１３は、選択された画像をＴＡペーパー、複写用紙、感熱紙、普通紙、銀塩方式のペーパー（カラー・モノクロは問わない）などの所定の印刷媒体に記録する。なお、選択された画像の出力形態はプリント出力に限られない。例えば、選択された画像を、画像入出力部１１にセットされた、画像入力元の記録媒体とは別の記録媒体に出力して格納してもよい。その際、当該記録媒体に選択画像を格納する特別のフォルダを作成し、そのフォルダ内に選択画像を格納してもよい。
【００７２】
Ｓ１０では、画像の記録された印刷媒体を受け取り口に排出し、ユーザにプリント物を取得させる。画像の印刷媒体への記録や記録媒体への格納が完了した場合、所定のメッセージを表示部１５に表示し、印刷媒体や記録媒体の取り出しをユーザに促してもよい。
【００７３】
以上説明した通り、プリント装置１では、任意に設定された並び替え条件を満たす画像がマトリクスに従って抽出され、並び替え条件を充足する画像から優先的に一覧表示画面の表示スペース９０に配列される。ユーザは、特許文献１のように特定人物を示す指標となる画像を選ばなくても、特定人物の写った画像から優先的に一覧表示させることができる。
【００７４】
また、写っている特定人物の顔が所望のサイズや位置にある画像、写っている人物の顔が所望の数の画像から優先的に一覧表示させることができ、特許文献１や２に比して、幅広い画像の並び替えが可能であり、ユーザがプリント出力やフォルダ出力などをしたい希望の画像を容易に選択することができる。
【符号の説明】
【００７５】
１１：画像入出力部、１２：操作部、１３：プリント出力部、１４：料金決済部、１５：表示部、１６：記憶部、１７：処理部、２０：ネットワーク
【特許請求の範囲】
【請求項１】
画像を入力する入力部と、
前記入力部に入力された画像の一覧を表示装置に表示する表示制御部と、
前記入力部に入力された画像から各人物を検出する人物検出部と、
前記人物検出部が検出した人物ごとに前記人物の検出された画像を分類した分類情報を作成する分類情報作成部と、
前記一覧に配置する画像に含まれるべき人物の満足する条件の指定を受け付ける条件指定部と、
前記分類情報作成部の作成した分類情報に基づき、指定された条件に合致する画像を抽出する抽出部と、
前記抽出部の抽出した画像を前記一覧に配置して前記表示装置に表示する表示制御部と、
を備え、
前記人物検出部は、前記画像ごとに、前記画像に含まれる人物の有無、前記画像に含まれる人物の数、前記画像に含まれる人物ごとの顔のサイズ、前記画像に含まれる人物ごとの顔の存在位置、前記画像に含まれる人物ごとの目の開き具合、前記画像に含まれる人物ごとの顔の向きもしくは傾き、および前記画像に含まれる人物ごとの顔の鮮鋭度のうち少なくとも１つを含む付加情報を作成し、
前記分類情報作成部は、前記人物検出部が検出した人物ごとに前記画像および前記付加情報を分類した分類情報を作成する画像出力管理装置。
【請求項２】
前記条件指定部の受け付ける条件は、画像に含まれる特定人物、画像に含まれる人物の有無、画像に含まれる人物の数、画像に含まれる特定人物の顔のサイズ、画像に含まれる特定人物の顔の存在位置、画像に含まれる特定人物の目の開き具合、画像に含まれる特定人物の顔の向きもしくは傾き、および画像に含まれる特定人物の顔の鮮鋭度のうち少なくとも１つを含む請求項１に記載の画像出力管理装置。
【請求項３】
前記条件指定部の受け付ける条件は、画像に含まれる複数の特定人物の顔のサイズの大小関係、画像に含まれる複数の特定人物の顔の位置関係および画像に含まれる複数の特定人物の顔の向きのうち少なくとも１つを含む請求項１または２に記載の画像出力管理装置。
【請求項４】
前記条件指定部は、複数指定された条件の優先順位の指定を受け付け、
前記表示制御部は、前記指定された優先順位の高い条件を満足する画像から、前記一覧の先頭に優先的に配置して前記表示装置に表示する請求項１〜３のいずれかに記載の画像出力管理装置。
【請求項５】
前記表示装置に表示された画像の一覧から、出力すべき所望の画像の選択を受け付ける選択部と、
前記選択部から選択された画像を出力する出力部と、
をさらに備える請求項１〜４のいずれかに記載の画像出力管理装置。
【請求項６】
前記出力部は、前記選択部から選択された画像を、所定の印刷媒体にプリントすること、所定の記録媒体に記録することまたは所定の記録媒体の所定のフォルダに格納することで出力する請求項５に記載の画像出力管理装置。
【請求項７】
前記条件指定部は、前記一覧に配置する画像の撮影日時の満足する条件の指定を受け付け、
前記抽出部は、前記分類情報作成部の作成した分類情報に基づき、指定された人物の条件および撮影日時の条件に合致する画像を抽出する請求項１〜６のいずれかに記載の画像出力管理装置。
【請求項８】
画像を入力するステップと、
入力された画像の一覧を表示装置に表示するステップと、
入力された画像から各人物を検出するステップと、
検出した人物ごとに前記人物の検出された画像を分類した分類情報を作成するステップと、
前記一覧に配置する画像に含まれるべき人物の満足する条件の指定を受け付けるステップと、
前記分類情報に基づき、指定された条件に合致する画像を抽出するステップと、
抽出した画像を前記一覧に配置して前記表示装置に表示するステップと、
前記画像ごとに、前記画像に含まれる人物の有無、前記画像に含まれる人物の数、前記画像に含まれる人物ごとの顔のサイズ、前記画像に含まれる人物ごとの顔の存在位置、前記画像に含まれる人物ごとの目の開き具合、前記画像に含まれる人物ごとの顔の向きもしくは傾き、および前記画像に含まれる人物ごとの顔の鮮鋭度のうち少なくとも１つを含む付加情報を作成するステップと、
前記検出した人物ごとに前記画像および前記付加情報を分類した分類情報を作成するステップと、
を含む画像出力管理方法。
【請求項９】
請求項８に記載の画像出力管理方法をコンピュータに実行させるプログラム。
【請求項１】
画像を入力する入力部と、
前記入力部に入力された画像の一覧を表示装置に表示する表示制御部と、
前記入力部に入力された画像から各人物を検出する人物検出部と、
前記人物検出部が検出した人物ごとに前記人物の検出された画像を分類した分類情報を作成する分類情報作成部と、
前記一覧に配置する画像に含まれるべき人物の満足する条件の指定を受け付ける条件指定部と、
前記分類情報作成部の作成した分類情報に基づき、指定された条件に合致する画像を抽出する抽出部と、
前記抽出部の抽出した画像を前記一覧に配置して前記表示装置に表示する表示制御部と、
を備え、
前記人物検出部は、前記画像ごとに、前記画像に含まれる人物の有無、前記画像に含まれる人物の数、前記画像に含まれる人物ごとの顔のサイズ、前記画像に含まれる人物ごとの顔の存在位置、前記画像に含まれる人物ごとの目の開き具合、前記画像に含まれる人物ごとの顔の向きもしくは傾き、および前記画像に含まれる人物ごとの顔の鮮鋭度のうち少なくとも１つを含む付加情報を作成し、
前記分類情報作成部は、前記人物検出部が検出した人物ごとに前記画像および前記付加情報を分類した分類情報を作成する画像出力管理装置。
【請求項２】
前記条件指定部の受け付ける条件は、画像に含まれる特定人物、画像に含まれる人物の有無、画像に含まれる人物の数、画像に含まれる特定人物の顔のサイズ、画像に含まれる特定人物の顔の存在位置、画像に含まれる特定人物の目の開き具合、画像に含まれる特定人物の顔の向きもしくは傾き、および画像に含まれる特定人物の顔の鮮鋭度のうち少なくとも１つを含む請求項１に記載の画像出力管理装置。
【請求項３】
前記条件指定部の受け付ける条件は、画像に含まれる複数の特定人物の顔のサイズの大小関係、画像に含まれる複数の特定人物の顔の位置関係および画像に含まれる複数の特定人物の顔の向きのうち少なくとも１つを含む請求項１または２に記載の画像出力管理装置。
【請求項４】
前記条件指定部は、複数指定された条件の優先順位の指定を受け付け、
前記表示制御部は、前記指定された優先順位の高い条件を満足する画像から、前記一覧の先頭に優先的に配置して前記表示装置に表示する請求項１〜３のいずれかに記載の画像出力管理装置。
【請求項５】
前記表示装置に表示された画像の一覧から、出力すべき所望の画像の選択を受け付ける選択部と、
前記選択部から選択された画像を出力する出力部と、
をさらに備える請求項１〜４のいずれかに記載の画像出力管理装置。
【請求項６】
前記出力部は、前記選択部から選択された画像を、所定の印刷媒体にプリントすること、所定の記録媒体に記録することまたは所定の記録媒体の所定のフォルダに格納することで出力する請求項５に記載の画像出力管理装置。
【請求項７】
前記条件指定部は、前記一覧に配置する画像の撮影日時の満足する条件の指定を受け付け、
前記抽出部は、前記分類情報作成部の作成した分類情報に基づき、指定された人物の条件および撮影日時の条件に合致する画像を抽出する請求項１〜６のいずれかに記載の画像出力管理装置。
【請求項８】
画像を入力するステップと、
入力された画像の一覧を表示装置に表示するステップと、
入力された画像から各人物を検出するステップと、
検出した人物ごとに前記人物の検出された画像を分類した分類情報を作成するステップと、
前記一覧に配置する画像に含まれるべき人物の満足する条件の指定を受け付けるステップと、
前記分類情報に基づき、指定された条件に合致する画像を抽出するステップと、
抽出した画像を前記一覧に配置して前記表示装置に表示するステップと、
前記画像ごとに、前記画像に含まれる人物の有無、前記画像に含まれる人物の数、前記画像に含まれる人物ごとの顔のサイズ、前記画像に含まれる人物ごとの顔の存在位置、前記画像に含まれる人物ごとの目の開き具合、前記画像に含まれる人物ごとの顔の向きもしくは傾き、および前記画像に含まれる人物ごとの顔の鮮鋭度のうち少なくとも１つを含む付加情報を作成するステップと、
前記検出した人物ごとに前記画像および前記付加情報を分類した分類情報を作成するステップと、
を含む画像出力管理方法。
【請求項９】
請求項８に記載の画像出力管理方法をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１６４３２１（Ｐ２０１２−１６４３２１Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１２−５４３９７（Ｐ２０１２−５４３９７）
【出願日】平成２４年３月１２日（２０１２．３．１２）
【分割の表示】特願２００７−１１３０８１（Ｐ２００７−１１３０８１）の分割
【原出願日】平成１９年４月２３日（２００７．４．２３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２４年３月１２日（２０１２．３．１２）
【分割の表示】特願２００７−１１３０８１（Ｐ２００７−１１３０８１）の分割
【原出願日】平成１９年４月２３日（２００７．４．２３）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]