画像出力装置および画像出力方法
【課題】 多くの画像の中で個人の顔画像を出力するのに時間がかかり困難であった。
【解決手段】複数の個人端末と、画像を保管するサーバーと、前記個人端末より前記画像と前記画像を撮影した撮影者情報と共に前記サーバーにアップロードするネットワークとを備え、前記画像を欲する画像希望者と前記撮影者との関係性の深い撮影者の画像を選択し、前記画像希望者の前記登録された顔画像と前記関係性の深い撮影者の画像に写された顔画像とを比較して出力するか、さらに両者の前記顔画像がほぼ合致したと判断した画像を出力し、画像をプリントするときに指定した顔画像を中心にトリミングして出力するか全画面を出力するか選択可能である。
【解決手段】複数の個人端末と、画像を保管するサーバーと、前記個人端末より前記画像と前記画像を撮影した撮影者情報と共に前記サーバーにアップロードするネットワークとを備え、前記画像を欲する画像希望者と前記撮影者との関係性の深い撮影者の画像を選択し、前記画像希望者の前記登録された顔画像と前記関係性の深い撮影者の画像に写された顔画像とを比較して出力するか、さらに両者の前記顔画像がほぼ合致したと判断した画像を出力し、画像をプリントするときに指定した顔画像を中心にトリミングして出力するか全画面を出力するか選択可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の人々が撮影した複数の画像を収集し、それらの画像の中からある個人
が撮影されている画像を探して出力し、その画像を画面上所望の位置にシフトさせて出力する画像出力装置および画像出力方法に関する。
【背景技術】
【０００２】
従来、学校の行事、各地の催しもの、結婚式などのイベントでたくさんの写真が撮られ、それらを撮影した撮影者やその家族に頼んでプリントしてもらったりしていた。しかしながら写真が欲しい人にとってもっとたくさんの自分が写っている写真があるのではないかと思うことがしばしばであった。
【０００３】
ところで最近はこれらのイベントで撮影した画像をサーバーにアップし、それを楽しむ人も多くなった。ところで見るだけでは満足せずに個人が撮影された画像をプリントしようとする人も多い。しかしながら、各個人がマニュアルに画像を選択しようとしても数が多いので見落としもあり選択が困難で諦めてしまう人も多かった。
【０００４】
そこで特許文献１は図１１に示し、フォトサイトサーバ１１０は、「顧客端末Ａ」１２０からユーザ情報を含む申込要求を受信したことに応じて、該受信したユーザ情報にハードディスクに記憶された特定画像データ（ユーザの顔画像データ）を取得し、該取得した特定画像データとマッチする画像データをハードディスクから取得して、ＲＡＭに格納し、該格納された画像データから縮小画像データおよび、前記特定画像データとマッチした部分の画像データを切り出した特定部分画像データを生成し、該生成された縮小画像データおよび特定部分画像データに基づいて、前記ユーザ情報に対応する掲載情報（個人アルバム）が生成される例が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１７９１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上に述べた特許文献１では、特定の画像、例えばユーザの顔画像とマッチした画像データをハードディスクから取得してＲＡＭに格納して、その格納した画像データから縮小画像データおよび、その特定の画像データとマッチした部分の画像データを切り出した特定部分の画像データを生成し、前記生成された縮小画像データおよび特定部分画像データからアルバムに掲載する情報を生成することを示している。
【０００７】
しかしながら、せっかく自分の顔画像が写っている画像が見つかったとしても画像の中には所望の個人の顔画像が他の人の顔画像に比べて小さいか、または中央近くになくて端の方にあって目だたない例があり、自分が写っている画像を大きくしたいと思うこともしばしばあった。
【０００８】
本発明は、このような従来の構成が有していた問題を解決しようとするものであり、アップロードされた全顔画像データをどのように範囲を決めて合致したと判断できる画像を求め求めた画像あるいは、求めた画像をその個人の顔画像を所定の位置にシフトして目立つようにした画像を出力することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の請求項１は、複数の個人端末と、画像を保管するサーバーと、前記個人端末より前記画像と前記画像を前記サーバーにアップロードしたアップロード者のアップロード者情報とを前記サーバーにアップロードするネットワークとを備え、前記画像を希望する画像希望者と前記アップロード者との関係性を設定する手段と、前記関係性を基に前記アップロードされた画像から前記関係性に従って前記アップロード者の画像を選択する手段と、前記画像希望者の少なくとも一つの顔画像を登録する手段と、前記登録された顔画像と前記関係性の深いアップロード者の画像に写された顔画像とを比較する手段と、両者の前記顔画像が略合致したと判断した画像を出力する手段と、前記略合致した画像の原画像を出力するか、前記略合致した画像に対してトリミング処理を施した処理画像を出力するかを選択する手段と、を備えた画像出力装置を提供するものである。請求項１が画像出力装置を提供するものであるものであるが、請求項８は方法に関するものである。
【００１０】
請求項２は、前記画像は、さらに撮影された撮影年月日、撮影時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影年月日、撮影時刻等のＥＸＩＦ情報と、前記関係性の深いアップロード者の画像の撮影年月日、撮影時刻等のＥＸＩＦ情報とを比較する手段とを備えた請求項１に記載の画像出力装置を提供するものであり、請求項９はその方法に関するものである。
【００１１】
請求項３は、前記処理画像の明るさ、コントラスト、彩度、色相、カラーバランス等が適正になるように補正する手段を備えた請求項１に記載の画像出力装置を提供するものであり、請求項１０はその方法に関するものである。
【００１２】
請求項４は、前記比較手段は前記関係性によって略合致するレベルを変える手段を備えた請求項１に記載の画像出力装置を提供するものであり、請求項１１は、その方法に関するものである。関係性の高い人に比べて関係性の低い人が撮影している可能性は少ない、または親しみを込めて撮っている可能性がないので合致と判断する閾値を高くするものである。
【００１３】
請求項５は、前記関係性は、「高い」、「中間」、「なし」の少なくとも３段階に設定する手段を備えた請求項１に記載の画像出力装置を備えた画像出力装置を提供するものであり、請求項１２はその方法に関するものである。
【００１４】
請求項６は、前記顔画像で目をつぶった画像を除去する手段を備えた請求項１に記載の画像出力装置を提供するものであり、請求項１３はその方法に関するものである。
【００１５】
請求項７は、前記画像はぶれた画像またはピントが外れた画像を除去する手段を備えた請求項１に記載の画像出力装置であり、請求項１４はその方法に関するものである。
【発明の効果】
【００１６】
上述したように、このようなイベントで数多くの画像が撮影され、サーバーにアップされた画像に対して画像を希望をする人があらかじめ撮影した顔画像を基に自分が撮影された画像を選択する場合にあらかじめ関係性の高い人、すなわち親しい人がその個人の画像を撮影する場合が多いことに着目して画像の合致を求める検索する範囲を狭めるので画像を容易に選別することができ、さらに合致した画像をトリミングしたときに中央に近い位置に配置するかまたは画像処理して目立たすようにすることを目的とする。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像出力装置および方法を示す第１の実施形態のブロック図
【図２】本発明の画像出力装置に入力する画像情報に関する図
【図３】アップロード者に対する関係度情報
【図４】本発明の画像出力装置における第１の実施形態の制御部のプログラムの内容を示すフローチャート
【図５】本発明の画像出力装置における第２の実施形態の制御部のプログラムの内容を示すフローチャート
【図６】本発明の画像出力装置のトリミングおよび画像処理フローチャート
【図７】本発明の画像出力装置におけるトリミング倍率についての説明図
【図８】本発明の画像出力装置に用いる基準となる画像希望者の顔画像
【図９】本発明の画像出力装置を用いる原画像
【図１０】本発明の画像出力装置を用いて得られたトリミング画像
【図１１】従来例
【発明を実施するための形態】
【００１８】
図１は本発明の画像出力装置および方法を示すブロック図である。
【００１９】
１は個人端末１Ａ、１Ｂ、１Ｃの集まりを示す個人端末ブロックを、２は画像を蓄積するサーバーを示し、例えば個人端末ブロック１Ａから３で示すネットワークを介してサーバー２に画像をアップロードして蓄積する。
【００２０】
４は複数の画像等の情報を記憶する複数画像情報等情報記憶メモリ部を示し、マトリックス状になっていて各画像情報をそれぞれのセルに記憶する。
【００２１】
５は、画像を希望する画像希望者メモリ部を示し、５Ｄはサーバー２に蓄積された画像群４の画像のプリントを欲する画像希望者の顔画像情報、例えば個人端末ブロック１にある個人端末１Ｃを操作する希望者の顔画像情報を記憶するメモリ部を示す。
【００２２】
５Ｅは図３の表で一例を示すが、画像をサーバーにアップロードしたアップロード者と画像希望者との関係度を示すアップロード者関係度情報を示し、画像希望者とアップロードしたアップロード者との関係を示す。画像希望者があらかじめ示されたアップロード者についてその関係度を入力してサーバー２に転送する。
【００２３】
５Ｆは撮影年月日、撮影時刻、撮影場所ＧＰＳ値などのＥＸＩＦ情報を記憶するＥＸＩＦ情報記憶部を示す。
【００２４】
６はサーバー２の各部分を制御する制御部を示し、図４および図５で示すフローチャートを示す。
【００２５】
７は希望者の顔画像が各画像の中にあるかどうかを判断するために希望者の顔画像と各画像を比較する比較部を示し、８はぶれ画像であるか、顔画像で目が閉じていないかとか、ピント外れの画像か否かを判断する除去画像判断部を示し、９は希望者の顔画像と略一致した画像を出力する画像出力部を示す。
【００２６】
１０はトリミング／画像処理部を示し、画像出力部９から出力される画像をトリミング、トリミングされた画像の明るさ、コントラスト、彩度、色相、カラーバランス等を補正するため画像処理を行って１１で示すＳ画像出力部に出力する。画像を出力する際には画像処理は一般には画像全体をみて画像処理を行うが、画面中心から外れた部分をトリミングする際には必ずしも適正な明るさ、コントラスト、彩度、色相、カラーバランス等になっていないことが多く、そのトリミングされた箇所について適正な明るさ、コントラスト、彩度、色相、カラーバランス等になるように画像処理を行う。
【００２７】
１２は、希望者の顔画像と略合致した画像がある画像出力部から出力された画像か、Ｓ画像出力部９から出力されるトリミングされ、画像処理された画像を画像処理するＳ画像出力部１１から出力される画像のいずれかを選択する画像選択部であり、１３は選択部１２から選択され原画像かそれを画像処理した画像のいずれかを出力する最終的な画像出力部としてのＦ画像出力部であり、１４で示すプリント装置がＦ画像出力部１３と接続している。また画像出力部８、画像処理を行って出力するＳ画像出力部１１、最終的な画像として出力するＦ画像出力部と個人端末ブロック１の各個人端末１Ａ、１Ｂ、１Ｃは接続されており、各画像出力部で出力された画像を個人端末１A、１B、１Cから見ることができ所定の処理の指示を制御部６に指示して実行し、個人端末から指示により制御部６を介してＦ画像出力部１３に表示された画像、すなわち、個人端末で見た画像に対してプリント装置１４に指示してプリントをすることができる。
【００２８】
図２は複数画像情報等情報記憶メモリ部４の一つの画像に関する画像４Aとアップロード者情報と撮影年月日、撮影時刻、撮影場所ＧＰＳ値などのＥＸＩＦ情報を記憶するＥＸＩＦ情報を示す。
【００２９】
図３は、画像希望者のアップロード者に対する関係度とその内容を示す。
【００３０】
アップロード者Ａ、Ｂ、Ｃ、Ｄ、Ｅに対して画像希望者からみてその関係度と備考にその理由を示している。例えば、Ａ氏は友人であって関係度が高い。Ｂ氏はＡ氏の友人だが関係度はそれほど高くない。Ｃ氏は関係度がない。Ｄ氏は友人であるので関係度が高い。Ｅ氏はＤ氏の友人でそれほど関係が高くない。
【００３１】
図４は、本発明の画像出力装置における第１の実施形態の制御部のプログラムの内容を示すフローチャートを示す。
【００３２】
図４のフローチャートは画像を出力する際に画像情報から顔画像のほぼ一致を探すことから主としてはせずに、ほぼ一致していると想定される状況から絞り込んで画像出力するものである。すなわち、アップロード者との関係度と、ＥＸＩＦ情報、例えば撮影年月日、撮影時刻、撮影場所等の情報を使って画像を絞り込んで画像希望者の写っている画像を選択するフローチャートである。
【００３３】
個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に不図示の作動開始信号が入力されると、制御部６はＳ１で示すように画像を欲する画像希望者のアップロード者に対する関係度を図３に示すように検索し、その画像のアップロード者と画像希望者の「関係度」を判断する。すなわち、画像希望者を撮影している可能性が高いと「関係度」が高いと判断するとＳ２に進み、そのアップロード者の画像を選択する。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００３４】
そこで、例えば運動会の画像が欲しいとすれば、ＥＸＩＦ情報として運動会の日に撮影した撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００３５】
Ｓ３に進み、画像希望者メモリ５の５Ｆに格納されたＥＸＩＦ情報とＳ２で選択した画像のＥＸＩＦ情報と一致しているかどうかを判定し、一致しなければＳ４に進み、画像選択しない。
【００３６】
Ｓ３でＥＸＩＦ情報が一致した画像を、Ｓ５で出力し、画像Ａとする。画像Ａは少なくとも一つの画像を示す。
【００３７】
ここで画像の数も絞り込まれて画像情報から顔画像のほぼ一致を探すかどうか、すなわちＳ６でのあらためて顔画像のチェックが必要かどうかを決める。もしも顔画像の一致をみないとすれば、個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入され、顔画像をチェックする必要がないのでＳ７に進み、画像Ａを出力する。画像のチェックをしないとすれば、例えばＥＸＩＦ情報あるいはアップロード者の関係度をよほど親しくない限り高いとしないとして画像を絞り込む必要がある。
【００３８】
また、Ｓ６で示すようにあらためて顔画像のチェックをする必要があるとすれば、個人端末１Ａよりネットワーク３を介してその制御部６に旨の信号が投入されＳ８に進んで画像希望者メモリ５から希望者の顔画像情報をメモリ５Ｄから出力する。ここでは顔画像としては正面、側面、上向き等の少なくとも一つ以上の画像を出力する。
【００３９】
Ｓ９に進んで希望者の顔画像とさきの画像Ａとを比較する比較１のステップに進む。比較１は例えば、特開２００６−７９２２０などのように、複数の似た顔画像を見つけ、その中から顔の部分に注目してより似た顔画像を見つける方法などいろいろな方法が発明されており、それらの方法により顔画像を検出するが、本発明は顔画像検出する方法に関して限定されるものではない。
【００４０】
Ｓ１０で顔画像がほぼ一致するかどうかを判定し、なければＳ１１に進み、ほぼ一致する画像があれば、Ｓ１２に進んでブレ画像、目つぶり画像、横目画像、上目画像など、また公序良俗に反する画像を除去した後にＳ１３に進み画像を出力する。目つぶり画像、横目画像、上目画像などは例えば特許４３７７４７２号公報に示すようにあらかじめそのような画像を記憶しておき、その記憶した画像に近い画像を除去する技術を使えばよいが、その方法には限定するものではない。
【００４１】
次に、再度、個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に先の作動開始信号とは異なる不図示の作動開始信号が入力されると、制御部６はＳ１で示すように画像を欲する画像希望者のアップロード者に対する関係度を図３に示すように検索し、その画像のアップロード者と画像希望者の「関係度」を判断する。すなわち、画像希望者を撮影している可能性がやや高い、すなわち「関係度」が中間と判断するとＳ１４に進み、そのアップロード者の画像を選択する。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００４２】
そこで、例えば運動会の画像が欲しいとすれば、ＥＸＩＦ情報として運動会の日に撮影した撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００４３】
Ｓ１５に進み、画像希望者メモリ５の５Ｆに格納されたＥＸＩＦ情報とＳ１４で選択した画像のＥＸＩＦ情報と一致しているかどうかを判定し、一致しなければＳ４に進み、画像選択しない。
【００４４】
Ｓ１５でＥＸＩＦ情報が一致した画像を、Ｓ５で出力し、画像Ｂとする。ここで画像Ｂは少なくとも一つの画像を示す。
【００４５】
ここで画像の数も絞り込まれて画像情報から顔画像のほぼ一致を探すかどうか、すなわちＳ１７での顔画像のチェックがあらあめて必要かどうかを決める。もしも顔画像の一致をみないとすれば、個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入される。顔画像をチェックする必要がないのでＳ１８に進み、画像Ｂを出力する。画像のチェックをしないとすれば、例えばＥＸＩＦ情報あるいはアップロード者の関係度をよほど親しくない限り高いとしないとして画像を絞り込む必要がある。
【００４６】
もしもＳ１７で顔画像のチェックが必要となれば個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入され、Ｓ１９に進んで画像希望者メモリ５から希望者の顔画像情報をメモリ５Ｄから読み出す。これは親しい人の友人が撮っているとすれば、写真の撮り方にも親しい人とそうでない人と間に差があることが多いと思われるのでＳ８では複数の顔画像を出力したがここでは複数の画像でなくても関係度が高い場合よりは少ない画像、例えば正面の画像だけでもよい。その場合、判定する時間はおのずと短くてすむ。
【００４７】
Ｓ２０に進んで希望者の顔画像とさきの画像Ｂとを比較する比較２のステップに進む。比較２は例えば、Ｓ９の比較１と同様に本発明は顔画像検出する方法に関して限定されるものではない。
【００４８】
Ｓ２１で顔画像がほぼ一致するかどうかを判定し、なければＳ２２に進み、ほぼ一致する画像があれば、Ｓ２３に進んでブレ画像、目つぶり画像、下を向いた画像など、また公序良俗に反する画像を除去した後にＳ２４に進み画像を出力する。
【００４９】
図５は、本発明の画像出力装置における第２の実施形態の制御部のプログラムの内容を示すフローチャートを示し、図４は作業の簡略化または画像の検索の精度よく行なうのはソフト的にも高価なソフトが必要であるので画像希望者の画像との略一致検索の画像を行なわずに画像出力する場合があったが、図５は必ず画像の略一致検索を省くことなく行なう方法を示している。
【００５０】
個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に不図示の作動開始信号が入力されると、制御部６はＳ３１で示すように画像を希望する画像希望者のアップロード者に対する関係度を図３に示し、その画像のアップロード者と画像希望者の「関係度」を判断する。すなわち、Ｓ３２に示すように画像希望者の画像をアップロードしている可能性が高いと「関係度」が高いと判断してそのアップロード者の画像を選択し、その画像選択が終了すると、Ｓ３３に示すように画像を選択する画像希望者を撮影している可能性が中間である場合にすなわち「関係度」が中間と判断してそのアップロード者の画像の選択を行なうように制御部６の指示により制御される。Ｓ３４で関係度がないと判断し、画像を選択しない。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００５１】
そこで、例えば運動会の画像が欲しいとすれば、運動会の日程が決まり、ＥＸＩＦ情報として撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００５２】
ここでＳ３５に進み、Ｓ３２で選択した画像のなかで運動会の日、例えば２００９年１０月１０日が運動会であったとすれば、２００９年１０月１０日の画像を選択して制御部６の不図示のメモリ部に格納する。
【００５３】
同じようにＳ６では、Ｓ３３で選択した画像のなかで運動会の日、例えば２００９年１０月１０日が運動会であったとすれば、２００９年１０月１０日の画像を選択して制御部６の不図示のメモリ部に格納する。
【００５４】
Ｓ３７では画像希望者の顔画像を制御部の不図示のメモリ部に格納する。例えば図５に示した画像を記憶し、Ｓ３８で出力する。
【００５５】
まずＳ５を経て、記憶した画像の中からＳ３８で出力した画像希望者顔画像を1画像毎に、公知の画像認識技術を用いてＳ９で比較する。
【００５６】
次に、Ｓ３６を経て記憶した画像の中から、Ｓ３８で出力した画像希望者の顔画像を１画像毎に公知の画像認識技術を用いてＳ４０で比較する。Ｓ４０での比較はアップロード者関係度がそれほど高くない、例えば関係度の高い人の友人の場合がある。検索する範囲を大きくなり、希望する写真の可能性、例えば親しみを込めた写真、希望者が意識していない場合を想定して比較して希望する写真のレベル、選択の閾値を上げて行なう。
【００５７】
また、Ｓ３７で希望者の顔画像を少なくとも一つ記憶し、Ｓ３８で希望者の顔画像とする。希望者の顔画像は表情も変われば写真も変わり、横向き、斜め向き等の構えている向きがそれぞれあるので複数の画像を記憶すればそれだけ出力できる画像が増加する。
【００５８】
Ｓ４１で希望者の顔画像とほぼ一致した画像を出力し、略一致しない画像をＳ１２で歩出力とする。またＳ４３でぶれ画像、ピントが悪い画像とか目が閉じた画像のような除外画像かどうかを判断し、そのような画像でなければＳ４４に進んで画像を出力する。
【００５９】
図６はこの顔画像を中心にトリミングおよび画像処理を行なうフローチャートを示し、図７はトリミングに関する説明図を示す。
【００６０】
Ｓ５１で希望者の顔画像をトリミングするかどうかを判断し、トリミングしないとすればＳ５２に進み、画像を出力する。
【００６１】
Ｓ５３でトリミング領域を設定する。例えば全画面の縦、横の長さに対するトリミングされた後の画面の縦、横のトリミング領域を設定する。
【００６２】
トリミング倍率とその限界について図７で説明する。
【００６３】
図７は全画面と顔画像領域とトリミング画像領域を示し、全画面は縦、横の長さはそれぞれＭ（縦）、Ｍ（横）であることを示している。顔画像領域は縦、横の長さがそれぞれｍ（縦）、ｍ（横）、トリミング画像領域は縦、横の長さがそれぞれＴ（縦）、Ｔ（横）の長さであることを示している。
【００６４】
トリミング倍率の限界である最低トリミング倍率は希望者の顔画像がトリミングによって切り取られない限界であり、希望者の顔画像領域はトリミング領域に含まれる領域である。すなわち、トリミングするときに、希望者の顔画像領域は全体の画像の大きさＭ（縦）、Ｍ（横）に対してその希望者が写っている画像の大きさｍ（縦）、ｍ（横）がトリミング画像領域の中に入っていることが条件である。
【００６５】
図６のフローチャートに戻ってＳ５４設定でしたトリミング領域が希望者の顔画像領域を含むことを確認してＳ５５に進み、画像を仮出力し、Ｓ５６でトリミングの基準となる顔画像位置の補正が不要かどうかを判定し、トリミング補正が必要ならばＳ５７に進み、トリミング補正を行なう。
【００６６】
Ｓ５８でトリミング補正が済んだかどうかを判定し、補正済みとすればＳ５９に進んで
Ｔ画像を出力する。Ｔ画像はトリミング補正した場合の画像もトリミング補正しない場合の画像を含む。
【００６７】
Ｓ６０に進んで顔中心の画像の明るさ、コントラスト、彩度、色相、カラーバランス等の画像処理が不要かどうかを判定し、不要とすればＳ６１に進んで図１におけるＳ画像を出力する。
【００６８】
もしもＳ６０で画像処理が必要とすればＳ６２に進んで画像処理を行い、Ｓ６３で画像処理済みかどうかを判定し済んだとすればＳ６１に進んでＳ画像を出力し、画像処理が不要とすればＳ６１で同じくＳ画像を出力する。
【００６９】
なお、トリミングを行わないときは既に画像処理がされていると判断し、ここではＳ５２の前に画像処理工程を配していない。それはプリントを行う場合に全画面をみて画像処理を行っているのが通例である、しかしトリミングした場合に本例のように顔画像が周辺部に近いところにあれば、画像処理を特別にする必要があるので配した。もしもトリミングを行なわない全画面出力の場合でも必要ならばＳ５２の前に画像処理工程を置いてもよいことはいうまでもない。
【００７０】
図５のフローチャートでＳ３５、Ｓ３６でＥＸＩＦ情報の一致を調べたが、検索する画像をできるだけ少なくするためとか、例えば運動会の写真のように目的を持った写真、アルバムを制作するのに便利がよい。
【００７１】
また、全画像の中からまずＥＸＩＦ情報で画像数を限定して、その後に関係度の高い画像を選択してもよい。
【００７２】
これまで所望の個人の顔画像を中心に切り取る、すなわちトリミングを行なったが、トリミングを行なわず、画像処理で所望の個人の顔画像のみを目立つようにし、他の画像にボカシなどの画像処理をいれて目だたなくしてもよい。
【００７３】
図８から図１０は本発明の画像出力装置および方法の事例を示す。
【００７４】
図８は画像希望者の顔画像を示し、この顔画像のある画像を多くの画像の中から検索し、図９では検索された画像を示す。図９は集合写真であり、その画像希望者の位置は最前列の左から二人目にある。しかしこの希望者の顔画像は小さいのでトリミングして出力した画像を図１０で示す。画像希望者の顔が中央にある。
【符号の説明】
【００７５】
１ 個人端末ブロック
１Ａ、１Ｂ、１Ｃ 個人端末
２ サーバー
３ ネットワーク
４ 画像情報等情報記憶メモリ部
４Ａ 画像メモリ部
５ 画像希望者メモリ部
５Ｄ 希望者顔画像情報記憶部
５Ｅ アップロード者関係度情報
４Ｆ ＥＸＩＦ情報
６ 制御部
７ 比較部
８ 除去画像判断部
９ 原画像出力部
１０ トリミング／画像処理部
１１ Ｓ画像出力部
１２ 画像選択部
１３ 画像出力部
１４ プリント装置
【技術分野】
【０００１】
本発明は、複数の人々が撮影した複数の画像を収集し、それらの画像の中からある個人
が撮影されている画像を探して出力し、その画像を画面上所望の位置にシフトさせて出力する画像出力装置および画像出力方法に関する。
【背景技術】
【０００２】
従来、学校の行事、各地の催しもの、結婚式などのイベントでたくさんの写真が撮られ、それらを撮影した撮影者やその家族に頼んでプリントしてもらったりしていた。しかしながら写真が欲しい人にとってもっとたくさんの自分が写っている写真があるのではないかと思うことがしばしばであった。
【０００３】
ところで最近はこれらのイベントで撮影した画像をサーバーにアップし、それを楽しむ人も多くなった。ところで見るだけでは満足せずに個人が撮影された画像をプリントしようとする人も多い。しかしながら、各個人がマニュアルに画像を選択しようとしても数が多いので見落としもあり選択が困難で諦めてしまう人も多かった。
【０００４】
そこで特許文献１は図１１に示し、フォトサイトサーバ１１０は、「顧客端末Ａ」１２０からユーザ情報を含む申込要求を受信したことに応じて、該受信したユーザ情報にハードディスクに記憶された特定画像データ（ユーザの顔画像データ）を取得し、該取得した特定画像データとマッチする画像データをハードディスクから取得して、ＲＡＭに格納し、該格納された画像データから縮小画像データおよび、前記特定画像データとマッチした部分の画像データを切り出した特定部分画像データを生成し、該生成された縮小画像データおよび特定部分画像データに基づいて、前記ユーザ情報に対応する掲載情報（個人アルバム）が生成される例が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１７９１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上に述べた特許文献１では、特定の画像、例えばユーザの顔画像とマッチした画像データをハードディスクから取得してＲＡＭに格納して、その格納した画像データから縮小画像データおよび、その特定の画像データとマッチした部分の画像データを切り出した特定部分の画像データを生成し、前記生成された縮小画像データおよび特定部分画像データからアルバムに掲載する情報を生成することを示している。
【０００７】
しかしながら、せっかく自分の顔画像が写っている画像が見つかったとしても画像の中には所望の個人の顔画像が他の人の顔画像に比べて小さいか、または中央近くになくて端の方にあって目だたない例があり、自分が写っている画像を大きくしたいと思うこともしばしばあった。
【０００８】
本発明は、このような従来の構成が有していた問題を解決しようとするものであり、アップロードされた全顔画像データをどのように範囲を決めて合致したと判断できる画像を求め求めた画像あるいは、求めた画像をその個人の顔画像を所定の位置にシフトして目立つようにした画像を出力することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の請求項１は、複数の個人端末と、画像を保管するサーバーと、前記個人端末より前記画像と前記画像を前記サーバーにアップロードしたアップロード者のアップロード者情報とを前記サーバーにアップロードするネットワークとを備え、前記画像を希望する画像希望者と前記アップロード者との関係性を設定する手段と、前記関係性を基に前記アップロードされた画像から前記関係性に従って前記アップロード者の画像を選択する手段と、前記画像希望者の少なくとも一つの顔画像を登録する手段と、前記登録された顔画像と前記関係性の深いアップロード者の画像に写された顔画像とを比較する手段と、両者の前記顔画像が略合致したと判断した画像を出力する手段と、前記略合致した画像の原画像を出力するか、前記略合致した画像に対してトリミング処理を施した処理画像を出力するかを選択する手段と、を備えた画像出力装置を提供するものである。請求項１が画像出力装置を提供するものであるものであるが、請求項８は方法に関するものである。
【００１０】
請求項２は、前記画像は、さらに撮影された撮影年月日、撮影時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影年月日、撮影時刻等のＥＸＩＦ情報と、前記関係性の深いアップロード者の画像の撮影年月日、撮影時刻等のＥＸＩＦ情報とを比較する手段とを備えた請求項１に記載の画像出力装置を提供するものであり、請求項９はその方法に関するものである。
【００１１】
請求項３は、前記処理画像の明るさ、コントラスト、彩度、色相、カラーバランス等が適正になるように補正する手段を備えた請求項１に記載の画像出力装置を提供するものであり、請求項１０はその方法に関するものである。
【００１２】
請求項４は、前記比較手段は前記関係性によって略合致するレベルを変える手段を備えた請求項１に記載の画像出力装置を提供するものであり、請求項１１は、その方法に関するものである。関係性の高い人に比べて関係性の低い人が撮影している可能性は少ない、または親しみを込めて撮っている可能性がないので合致と判断する閾値を高くするものである。
【００１３】
請求項５は、前記関係性は、「高い」、「中間」、「なし」の少なくとも３段階に設定する手段を備えた請求項１に記載の画像出力装置を備えた画像出力装置を提供するものであり、請求項１２はその方法に関するものである。
【００１４】
請求項６は、前記顔画像で目をつぶった画像を除去する手段を備えた請求項１に記載の画像出力装置を提供するものであり、請求項１３はその方法に関するものである。
【００１５】
請求項７は、前記画像はぶれた画像またはピントが外れた画像を除去する手段を備えた請求項１に記載の画像出力装置であり、請求項１４はその方法に関するものである。
【発明の効果】
【００１６】
上述したように、このようなイベントで数多くの画像が撮影され、サーバーにアップされた画像に対して画像を希望をする人があらかじめ撮影した顔画像を基に自分が撮影された画像を選択する場合にあらかじめ関係性の高い人、すなわち親しい人がその個人の画像を撮影する場合が多いことに着目して画像の合致を求める検索する範囲を狭めるので画像を容易に選別することができ、さらに合致した画像をトリミングしたときに中央に近い位置に配置するかまたは画像処理して目立たすようにすることを目的とする。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像出力装置および方法を示す第１の実施形態のブロック図
【図２】本発明の画像出力装置に入力する画像情報に関する図
【図３】アップロード者に対する関係度情報
【図４】本発明の画像出力装置における第１の実施形態の制御部のプログラムの内容を示すフローチャート
【図５】本発明の画像出力装置における第２の実施形態の制御部のプログラムの内容を示すフローチャート
【図６】本発明の画像出力装置のトリミングおよび画像処理フローチャート
【図７】本発明の画像出力装置におけるトリミング倍率についての説明図
【図８】本発明の画像出力装置に用いる基準となる画像希望者の顔画像
【図９】本発明の画像出力装置を用いる原画像
【図１０】本発明の画像出力装置を用いて得られたトリミング画像
【図１１】従来例
【発明を実施するための形態】
【００１８】
図１は本発明の画像出力装置および方法を示すブロック図である。
【００１９】
１は個人端末１Ａ、１Ｂ、１Ｃの集まりを示す個人端末ブロックを、２は画像を蓄積するサーバーを示し、例えば個人端末ブロック１Ａから３で示すネットワークを介してサーバー２に画像をアップロードして蓄積する。
【００２０】
４は複数の画像等の情報を記憶する複数画像情報等情報記憶メモリ部を示し、マトリックス状になっていて各画像情報をそれぞれのセルに記憶する。
【００２１】
５は、画像を希望する画像希望者メモリ部を示し、５Ｄはサーバー２に蓄積された画像群４の画像のプリントを欲する画像希望者の顔画像情報、例えば個人端末ブロック１にある個人端末１Ｃを操作する希望者の顔画像情報を記憶するメモリ部を示す。
【００２２】
５Ｅは図３の表で一例を示すが、画像をサーバーにアップロードしたアップロード者と画像希望者との関係度を示すアップロード者関係度情報を示し、画像希望者とアップロードしたアップロード者との関係を示す。画像希望者があらかじめ示されたアップロード者についてその関係度を入力してサーバー２に転送する。
【００２３】
５Ｆは撮影年月日、撮影時刻、撮影場所ＧＰＳ値などのＥＸＩＦ情報を記憶するＥＸＩＦ情報記憶部を示す。
【００２４】
６はサーバー２の各部分を制御する制御部を示し、図４および図５で示すフローチャートを示す。
【００２５】
７は希望者の顔画像が各画像の中にあるかどうかを判断するために希望者の顔画像と各画像を比較する比較部を示し、８はぶれ画像であるか、顔画像で目が閉じていないかとか、ピント外れの画像か否かを判断する除去画像判断部を示し、９は希望者の顔画像と略一致した画像を出力する画像出力部を示す。
【００２６】
１０はトリミング／画像処理部を示し、画像出力部９から出力される画像をトリミング、トリミングされた画像の明るさ、コントラスト、彩度、色相、カラーバランス等を補正するため画像処理を行って１１で示すＳ画像出力部に出力する。画像を出力する際には画像処理は一般には画像全体をみて画像処理を行うが、画面中心から外れた部分をトリミングする際には必ずしも適正な明るさ、コントラスト、彩度、色相、カラーバランス等になっていないことが多く、そのトリミングされた箇所について適正な明るさ、コントラスト、彩度、色相、カラーバランス等になるように画像処理を行う。
【００２７】
１２は、希望者の顔画像と略合致した画像がある画像出力部から出力された画像か、Ｓ画像出力部９から出力されるトリミングされ、画像処理された画像を画像処理するＳ画像出力部１１から出力される画像のいずれかを選択する画像選択部であり、１３は選択部１２から選択され原画像かそれを画像処理した画像のいずれかを出力する最終的な画像出力部としてのＦ画像出力部であり、１４で示すプリント装置がＦ画像出力部１３と接続している。また画像出力部８、画像処理を行って出力するＳ画像出力部１１、最終的な画像として出力するＦ画像出力部と個人端末ブロック１の各個人端末１Ａ、１Ｂ、１Ｃは接続されており、各画像出力部で出力された画像を個人端末１A、１B、１Cから見ることができ所定の処理の指示を制御部６に指示して実行し、個人端末から指示により制御部６を介してＦ画像出力部１３に表示された画像、すなわち、個人端末で見た画像に対してプリント装置１４に指示してプリントをすることができる。
【００２８】
図２は複数画像情報等情報記憶メモリ部４の一つの画像に関する画像４Aとアップロード者情報と撮影年月日、撮影時刻、撮影場所ＧＰＳ値などのＥＸＩＦ情報を記憶するＥＸＩＦ情報を示す。
【００２９】
図３は、画像希望者のアップロード者に対する関係度とその内容を示す。
【００３０】
アップロード者Ａ、Ｂ、Ｃ、Ｄ、Ｅに対して画像希望者からみてその関係度と備考にその理由を示している。例えば、Ａ氏は友人であって関係度が高い。Ｂ氏はＡ氏の友人だが関係度はそれほど高くない。Ｃ氏は関係度がない。Ｄ氏は友人であるので関係度が高い。Ｅ氏はＤ氏の友人でそれほど関係が高くない。
【００３１】
図４は、本発明の画像出力装置における第１の実施形態の制御部のプログラムの内容を示すフローチャートを示す。
【００３２】
図４のフローチャートは画像を出力する際に画像情報から顔画像のほぼ一致を探すことから主としてはせずに、ほぼ一致していると想定される状況から絞り込んで画像出力するものである。すなわち、アップロード者との関係度と、ＥＸＩＦ情報、例えば撮影年月日、撮影時刻、撮影場所等の情報を使って画像を絞り込んで画像希望者の写っている画像を選択するフローチャートである。
【００３３】
個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に不図示の作動開始信号が入力されると、制御部６はＳ１で示すように画像を欲する画像希望者のアップロード者に対する関係度を図３に示すように検索し、その画像のアップロード者と画像希望者の「関係度」を判断する。すなわち、画像希望者を撮影している可能性が高いと「関係度」が高いと判断するとＳ２に進み、そのアップロード者の画像を選択する。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００３４】
そこで、例えば運動会の画像が欲しいとすれば、ＥＸＩＦ情報として運動会の日に撮影した撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００３５】
Ｓ３に進み、画像希望者メモリ５の５Ｆに格納されたＥＸＩＦ情報とＳ２で選択した画像のＥＸＩＦ情報と一致しているかどうかを判定し、一致しなければＳ４に進み、画像選択しない。
【００３６】
Ｓ３でＥＸＩＦ情報が一致した画像を、Ｓ５で出力し、画像Ａとする。画像Ａは少なくとも一つの画像を示す。
【００３７】
ここで画像の数も絞り込まれて画像情報から顔画像のほぼ一致を探すかどうか、すなわちＳ６でのあらためて顔画像のチェックが必要かどうかを決める。もしも顔画像の一致をみないとすれば、個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入され、顔画像をチェックする必要がないのでＳ７に進み、画像Ａを出力する。画像のチェックをしないとすれば、例えばＥＸＩＦ情報あるいはアップロード者の関係度をよほど親しくない限り高いとしないとして画像を絞り込む必要がある。
【００３８】
また、Ｓ６で示すようにあらためて顔画像のチェックをする必要があるとすれば、個人端末１Ａよりネットワーク３を介してその制御部６に旨の信号が投入されＳ８に進んで画像希望者メモリ５から希望者の顔画像情報をメモリ５Ｄから出力する。ここでは顔画像としては正面、側面、上向き等の少なくとも一つ以上の画像を出力する。
【００３９】
Ｓ９に進んで希望者の顔画像とさきの画像Ａとを比較する比較１のステップに進む。比較１は例えば、特開２００６−７９２２０などのように、複数の似た顔画像を見つけ、その中から顔の部分に注目してより似た顔画像を見つける方法などいろいろな方法が発明されており、それらの方法により顔画像を検出するが、本発明は顔画像検出する方法に関して限定されるものではない。
【００４０】
Ｓ１０で顔画像がほぼ一致するかどうかを判定し、なければＳ１１に進み、ほぼ一致する画像があれば、Ｓ１２に進んでブレ画像、目つぶり画像、横目画像、上目画像など、また公序良俗に反する画像を除去した後にＳ１３に進み画像を出力する。目つぶり画像、横目画像、上目画像などは例えば特許４３７７４７２号公報に示すようにあらかじめそのような画像を記憶しておき、その記憶した画像に近い画像を除去する技術を使えばよいが、その方法には限定するものではない。
【００４１】
次に、再度、個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に先の作動開始信号とは異なる不図示の作動開始信号が入力されると、制御部６はＳ１で示すように画像を欲する画像希望者のアップロード者に対する関係度を図３に示すように検索し、その画像のアップロード者と画像希望者の「関係度」を判断する。すなわち、画像希望者を撮影している可能性がやや高い、すなわち「関係度」が中間と判断するとＳ１４に進み、そのアップロード者の画像を選択する。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００４２】
そこで、例えば運動会の画像が欲しいとすれば、ＥＸＩＦ情報として運動会の日に撮影した撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００４３】
Ｓ１５に進み、画像希望者メモリ５の５Ｆに格納されたＥＸＩＦ情報とＳ１４で選択した画像のＥＸＩＦ情報と一致しているかどうかを判定し、一致しなければＳ４に進み、画像選択しない。
【００４４】
Ｓ１５でＥＸＩＦ情報が一致した画像を、Ｓ５で出力し、画像Ｂとする。ここで画像Ｂは少なくとも一つの画像を示す。
【００４５】
ここで画像の数も絞り込まれて画像情報から顔画像のほぼ一致を探すかどうか、すなわちＳ１７での顔画像のチェックがあらあめて必要かどうかを決める。もしも顔画像の一致をみないとすれば、個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入される。顔画像をチェックする必要がないのでＳ１８に進み、画像Ｂを出力する。画像のチェックをしないとすれば、例えばＥＸＩＦ情報あるいはアップロード者の関係度をよほど親しくない限り高いとしないとして画像を絞り込む必要がある。
【００４６】
もしもＳ１７で顔画像のチェックが必要となれば個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入され、Ｓ１９に進んで画像希望者メモリ５から希望者の顔画像情報をメモリ５Ｄから読み出す。これは親しい人の友人が撮っているとすれば、写真の撮り方にも親しい人とそうでない人と間に差があることが多いと思われるのでＳ８では複数の顔画像を出力したがここでは複数の画像でなくても関係度が高い場合よりは少ない画像、例えば正面の画像だけでもよい。その場合、判定する時間はおのずと短くてすむ。
【００４７】
Ｓ２０に進んで希望者の顔画像とさきの画像Ｂとを比較する比較２のステップに進む。比較２は例えば、Ｓ９の比較１と同様に本発明は顔画像検出する方法に関して限定されるものではない。
【００４８】
Ｓ２１で顔画像がほぼ一致するかどうかを判定し、なければＳ２２に進み、ほぼ一致する画像があれば、Ｓ２３に進んでブレ画像、目つぶり画像、下を向いた画像など、また公序良俗に反する画像を除去した後にＳ２４に進み画像を出力する。
【００４９】
図５は、本発明の画像出力装置における第２の実施形態の制御部のプログラムの内容を示すフローチャートを示し、図４は作業の簡略化または画像の検索の精度よく行なうのはソフト的にも高価なソフトが必要であるので画像希望者の画像との略一致検索の画像を行なわずに画像出力する場合があったが、図５は必ず画像の略一致検索を省くことなく行なう方法を示している。
【００５０】
個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に不図示の作動開始信号が入力されると、制御部６はＳ３１で示すように画像を希望する画像希望者のアップロード者に対する関係度を図３に示し、その画像のアップロード者と画像希望者の「関係度」を判断する。すなわち、Ｓ３２に示すように画像希望者の画像をアップロードしている可能性が高いと「関係度」が高いと判断してそのアップロード者の画像を選択し、その画像選択が終了すると、Ｓ３３に示すように画像を選択する画像希望者を撮影している可能性が中間である場合にすなわち「関係度」が中間と判断してそのアップロード者の画像の選択を行なうように制御部６の指示により制御される。Ｓ３４で関係度がないと判断し、画像を選択しない。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００５１】
そこで、例えば運動会の画像が欲しいとすれば、運動会の日程が決まり、ＥＸＩＦ情報として撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００５２】
ここでＳ３５に進み、Ｓ３２で選択した画像のなかで運動会の日、例えば２００９年１０月１０日が運動会であったとすれば、２００９年１０月１０日の画像を選択して制御部６の不図示のメモリ部に格納する。
【００５３】
同じようにＳ６では、Ｓ３３で選択した画像のなかで運動会の日、例えば２００９年１０月１０日が運動会であったとすれば、２００９年１０月１０日の画像を選択して制御部６の不図示のメモリ部に格納する。
【００５４】
Ｓ３７では画像希望者の顔画像を制御部の不図示のメモリ部に格納する。例えば図５に示した画像を記憶し、Ｓ３８で出力する。
【００５５】
まずＳ５を経て、記憶した画像の中からＳ３８で出力した画像希望者顔画像を1画像毎に、公知の画像認識技術を用いてＳ９で比較する。
【００５６】
次に、Ｓ３６を経て記憶した画像の中から、Ｓ３８で出力した画像希望者の顔画像を１画像毎に公知の画像認識技術を用いてＳ４０で比較する。Ｓ４０での比較はアップロード者関係度がそれほど高くない、例えば関係度の高い人の友人の場合がある。検索する範囲を大きくなり、希望する写真の可能性、例えば親しみを込めた写真、希望者が意識していない場合を想定して比較して希望する写真のレベル、選択の閾値を上げて行なう。
【００５７】
また、Ｓ３７で希望者の顔画像を少なくとも一つ記憶し、Ｓ３８で希望者の顔画像とする。希望者の顔画像は表情も変われば写真も変わり、横向き、斜め向き等の構えている向きがそれぞれあるので複数の画像を記憶すればそれだけ出力できる画像が増加する。
【００５８】
Ｓ４１で希望者の顔画像とほぼ一致した画像を出力し、略一致しない画像をＳ１２で歩出力とする。またＳ４３でぶれ画像、ピントが悪い画像とか目が閉じた画像のような除外画像かどうかを判断し、そのような画像でなければＳ４４に進んで画像を出力する。
【００５９】
図６はこの顔画像を中心にトリミングおよび画像処理を行なうフローチャートを示し、図７はトリミングに関する説明図を示す。
【００６０】
Ｓ５１で希望者の顔画像をトリミングするかどうかを判断し、トリミングしないとすればＳ５２に進み、画像を出力する。
【００６１】
Ｓ５３でトリミング領域を設定する。例えば全画面の縦、横の長さに対するトリミングされた後の画面の縦、横のトリミング領域を設定する。
【００６２】
トリミング倍率とその限界について図７で説明する。
【００６３】
図７は全画面と顔画像領域とトリミング画像領域を示し、全画面は縦、横の長さはそれぞれＭ（縦）、Ｍ（横）であることを示している。顔画像領域は縦、横の長さがそれぞれｍ（縦）、ｍ（横）、トリミング画像領域は縦、横の長さがそれぞれＴ（縦）、Ｔ（横）の長さであることを示している。
【００６４】
トリミング倍率の限界である最低トリミング倍率は希望者の顔画像がトリミングによって切り取られない限界であり、希望者の顔画像領域はトリミング領域に含まれる領域である。すなわち、トリミングするときに、希望者の顔画像領域は全体の画像の大きさＭ（縦）、Ｍ（横）に対してその希望者が写っている画像の大きさｍ（縦）、ｍ（横）がトリミング画像領域の中に入っていることが条件である。
【００６５】
図６のフローチャートに戻ってＳ５４設定でしたトリミング領域が希望者の顔画像領域を含むことを確認してＳ５５に進み、画像を仮出力し、Ｓ５６でトリミングの基準となる顔画像位置の補正が不要かどうかを判定し、トリミング補正が必要ならばＳ５７に進み、トリミング補正を行なう。
【００６６】
Ｓ５８でトリミング補正が済んだかどうかを判定し、補正済みとすればＳ５９に進んで
Ｔ画像を出力する。Ｔ画像はトリミング補正した場合の画像もトリミング補正しない場合の画像を含む。
【００６７】
Ｓ６０に進んで顔中心の画像の明るさ、コントラスト、彩度、色相、カラーバランス等の画像処理が不要かどうかを判定し、不要とすればＳ６１に進んで図１におけるＳ画像を出力する。
【００６８】
もしもＳ６０で画像処理が必要とすればＳ６２に進んで画像処理を行い、Ｓ６３で画像処理済みかどうかを判定し済んだとすればＳ６１に進んでＳ画像を出力し、画像処理が不要とすればＳ６１で同じくＳ画像を出力する。
【００６９】
なお、トリミングを行わないときは既に画像処理がされていると判断し、ここではＳ５２の前に画像処理工程を配していない。それはプリントを行う場合に全画面をみて画像処理を行っているのが通例である、しかしトリミングした場合に本例のように顔画像が周辺部に近いところにあれば、画像処理を特別にする必要があるので配した。もしもトリミングを行なわない全画面出力の場合でも必要ならばＳ５２の前に画像処理工程を置いてもよいことはいうまでもない。
【００７０】
図５のフローチャートでＳ３５、Ｓ３６でＥＸＩＦ情報の一致を調べたが、検索する画像をできるだけ少なくするためとか、例えば運動会の写真のように目的を持った写真、アルバムを制作するのに便利がよい。
【００７１】
また、全画像の中からまずＥＸＩＦ情報で画像数を限定して、その後に関係度の高い画像を選択してもよい。
【００７２】
これまで所望の個人の顔画像を中心に切り取る、すなわちトリミングを行なったが、トリミングを行なわず、画像処理で所望の個人の顔画像のみを目立つようにし、他の画像にボカシなどの画像処理をいれて目だたなくしてもよい。
【００７３】
図８から図１０は本発明の画像出力装置および方法の事例を示す。
【００７４】
図８は画像希望者の顔画像を示し、この顔画像のある画像を多くの画像の中から検索し、図９では検索された画像を示す。図９は集合写真であり、その画像希望者の位置は最前列の左から二人目にある。しかしこの希望者の顔画像は小さいのでトリミングして出力した画像を図１０で示す。画像希望者の顔が中央にある。
【符号の説明】
【００７５】
１ 個人端末ブロック
１Ａ、１Ｂ、１Ｃ 個人端末
２ サーバー
３ ネットワーク
４ 画像情報等情報記憶メモリ部
４Ａ 画像メモリ部
５ 画像希望者メモリ部
５Ｄ 希望者顔画像情報記憶部
５Ｅ アップロード者関係度情報
４Ｆ ＥＸＩＦ情報
６ 制御部
７ 比較部
８ 除去画像判断部
９ 原画像出力部
１０ トリミング／画像処理部
１１ Ｓ画像出力部
１２ 画像選択部
１３ 画像出力部
１４ プリント装置
【特許請求の範囲】
【請求項１】
複数の個人端末と、画像を保管するサーバーと、前記個人端末より前記画像と前記画像を前記サーバーにアップロードしたアップロード者のアップロード者情報とを前記サーバーにアップロードするネットワークとを備え、前記画像を希望する画像希望者と前記アップロード者との関係性を設定する手段と、前記関係性を基に前記アップロードされた画像から前記関係性に従って前記アップロード者の画像を選択する手段と、前記画像希望者の少なくとも一つの顔画像を登録する手段と、前記登録された顔画像と前記関係性の深いアップロード者の画像に写された顔画像とを比較する手段と、両者の前記顔画像が略合致したと判断した画像を出力する手段と、前記略合致した画像の原画像を出力するか、前記略合致した画像に対してトリミング処理を施した処理画像を出力するかを選択する手段と、を備えた画像出力装置。
【請求項２】
前記画像は、さらに撮影された撮影年月日、撮影時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影年月日、撮影時刻等のＥＸＩＦ情報と、前記関係性の深いアップロード者の画像の撮影年月日、撮影時刻等のＥＸＩＦ情報とを比較する手段とを備えた請求項１に記載の画像出力装置。
【請求項３】
前記処理画像の明るさ、コントラスト、彩度、色相、カラーバランス等が適正になるように補正する手段を備えた請求項１に記載の画像出力装置。
【請求項４】
前記比較手段は前記関係性によって略合致するレベルを変える手段を備えた請求項１に記載の画像出力装置。
【請求項５】
前記関係性は、「高い」、「中間」、「なし」の少なくとも３段階に設定する手段を備えた請求項１に記載の画像出力装置。
【請求項６】
前記顔画像で目をつぶった画像を除去する手段を備えた請求項１に記載の画像出力装置。
【請求項７】
前記画像はぶれた画像またはピントが外れた画像を除去する手段を備えた請求項１に記載の画像出力装置。
【請求項８】
複数の個人端末と、画像を保管するサーバーと、前記個人端末より前記画像と前記画像を前記サーバーにアップロードしたアップロード者のアップロード者情報とを前記サーバーにアップロードするネットワークとを備え、前記画像を希望する画像希望者と前記アップロード者との関係性を設定するステップと、前記関係性を基に前記アップロードされた画像から前記関係性に従って前記アップロード者の画像を選択するステップと、前記画像希望者の少なくとも一つの顔画像を登録するステップと、前記登録された顔画像と前記関係性の深いアップロード者の画像に写された顔画像とを比較するステップと、両者の前記顔画像が略合致したと判断した画像を出力するステップと、前記略合致した画像の原画像を出力するか、前記略合致した画像に対してトリミング処理を施した処理画像を出力するかを選択するステップと、を備えた画像出力方法。
【請求項９】
前記画像は、さらに撮影された撮影年月日、撮影時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影年月日、撮影時刻等のＥＸＩＦ情報と、前記関係性の深いアップロード者の画像の撮影年月日、撮影時刻等のＥＸＩＦ情報とを比較するステップとを備えた請求項７に記載の画像出力方法。
【請求項１０】
前記処理画像の明るさ、コントラスト、彩度、色相、カラーバランス等が適正になるように補正する方法を備えた請求項７に記載の画像出力方法。
【請求項１１】
前記比較するステップは前記関係性によって略合致するレベルを変えるステップを備えた請求項７に記載の画像出力方法。
【請求項１２】
前記関係性は、「高い」、「中間」、「ない」の少なくとも３段階に設定するステップを備えた請求項７に記載の画像出力方法。
【請求項１３】
前記顔画像で目をつぶった画像を除去するステップを備えた請求項７に記載の画像出力方法。
【請求項１４】
前記画像はぶれた画像またはピントが外れた画像を除去するステップを備えた請求項７に記載の画像出力方法。
【請求項１】
複数の個人端末と、画像を保管するサーバーと、前記個人端末より前記画像と前記画像を前記サーバーにアップロードしたアップロード者のアップロード者情報とを前記サーバーにアップロードするネットワークとを備え、前記画像を希望する画像希望者と前記アップロード者との関係性を設定する手段と、前記関係性を基に前記アップロードされた画像から前記関係性に従って前記アップロード者の画像を選択する手段と、前記画像希望者の少なくとも一つの顔画像を登録する手段と、前記登録された顔画像と前記関係性の深いアップロード者の画像に写された顔画像とを比較する手段と、両者の前記顔画像が略合致したと判断した画像を出力する手段と、前記略合致した画像の原画像を出力するか、前記略合致した画像に対してトリミング処理を施した処理画像を出力するかを選択する手段と、を備えた画像出力装置。
【請求項２】
前記画像は、さらに撮影された撮影年月日、撮影時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影年月日、撮影時刻等のＥＸＩＦ情報と、前記関係性の深いアップロード者の画像の撮影年月日、撮影時刻等のＥＸＩＦ情報とを比較する手段とを備えた請求項１に記載の画像出力装置。
【請求項３】
前記処理画像の明るさ、コントラスト、彩度、色相、カラーバランス等が適正になるように補正する手段を備えた請求項１に記載の画像出力装置。
【請求項４】
前記比較手段は前記関係性によって略合致するレベルを変える手段を備えた請求項１に記載の画像出力装置。
【請求項５】
前記関係性は、「高い」、「中間」、「なし」の少なくとも３段階に設定する手段を備えた請求項１に記載の画像出力装置。
【請求項６】
前記顔画像で目をつぶった画像を除去する手段を備えた請求項１に記載の画像出力装置。
【請求項７】
前記画像はぶれた画像またはピントが外れた画像を除去する手段を備えた請求項１に記載の画像出力装置。
【請求項８】
複数の個人端末と、画像を保管するサーバーと、前記個人端末より前記画像と前記画像を前記サーバーにアップロードしたアップロード者のアップロード者情報とを前記サーバーにアップロードするネットワークとを備え、前記画像を希望する画像希望者と前記アップロード者との関係性を設定するステップと、前記関係性を基に前記アップロードされた画像から前記関係性に従って前記アップロード者の画像を選択するステップと、前記画像希望者の少なくとも一つの顔画像を登録するステップと、前記登録された顔画像と前記関係性の深いアップロード者の画像に写された顔画像とを比較するステップと、両者の前記顔画像が略合致したと判断した画像を出力するステップと、前記略合致した画像の原画像を出力するか、前記略合致した画像に対してトリミング処理を施した処理画像を出力するかを選択するステップと、を備えた画像出力方法。
【請求項９】
前記画像は、さらに撮影された撮影年月日、撮影時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影年月日、撮影時刻等のＥＸＩＦ情報と、前記関係性の深いアップロード者の画像の撮影年月日、撮影時刻等のＥＸＩＦ情報とを比較するステップとを備えた請求項７に記載の画像出力方法。
【請求項１０】
前記処理画像の明るさ、コントラスト、彩度、色相、カラーバランス等が適正になるように補正する方法を備えた請求項７に記載の画像出力方法。
【請求項１１】
前記比較するステップは前記関係性によって略合致するレベルを変えるステップを備えた請求項７に記載の画像出力方法。
【請求項１２】
前記関係性は、「高い」、「中間」、「ない」の少なくとも３段階に設定するステップを備えた請求項７に記載の画像出力方法。
【請求項１３】
前記顔画像で目をつぶった画像を除去するステップを備えた請求項７に記載の画像出力方法。
【請求項１４】
前記画像はぶれた画像またはピントが外れた画像を除去するステップを備えた請求項７に記載の画像出力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２３９１７９（Ｐ２０１１−２３９１７９Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０８９７１（Ｐ２０１０−１０８９７１）
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（７１０００６８６２）しまうまプリントシステム株式会社 (10)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（７１０００６８６２）しまうまプリントシステム株式会社 (10)
【Ｆターム（参考）】
[ Back to top ]