閲覧者と被写体人物との関係に応じて表示サイズを決定する画面出力装置、プログラム及び方法
【課題】閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる画面出力装置、プログラム及び方法を提供する。
【解決手段】画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画面出力手段とを有する。
【解決手段】画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画面出力手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を１つの画面にレイアウトして出力する技術に関する。
【背景技術】
【０００２】
従来、スライドショーの技術によれば、多数の画像を類似度に応じてグループに分類し、同一グループに属する画像を一画面内に同時に表示する技術がある（例えば特許文献１参照）。この技術によれば、閲覧者にとって、類似する画像が連続的に表示されるという単調な閲覧状態が長時間続くことを防ぐことができる。
【０００３】
また、スライドショーの技術として、閲覧者が注目する領域に他の画像が重ならないように、複数枚の画像を同一画面に表示する技術もある（例えば特許文献２参照）。この技術によれば、多数の画像をグループに分類し、グループ毎に画像から注目領域を検出し、その注目領域が他の画像と重畳しないようにテンプレート上に配置して表示する。
【０００４】
更に、ディスプレイの表示領域を複数の区画に分割し、所定の順序で、各区画に１枚の画像を表示するコマ割りの技術がある（例えば特許文献３、非特許文献１及び２参照）。特許文献３及び非特許文献１に記載の技術によれば、指定した複数の画像に対し、画像中の重要な領域、画像の重要度を保つため、重要な領域が含まれるコマの形状、及び、重要な画像を大きくするようにコマのサイズを決定し、自動的にディスプレイ上にレイアウトすることができる。また、コミック風に画像を表示させる順序を保つこともできる。非特許文献２に記載の技術によれば、画像の順序を保って表示させることはできないが、指定した複数の画像に対し、画像の形状や画像の重要度を指定すると、形状とコマの形状が合い、重要度をコマの面積に比較的正確に反映させるように自動的にディスプレイ上にレイアウトすることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−００４４７９号公報
【特許文献２】特開２０１１−０５９７７５号公報
【特許文献３】特開２０１１−０５０５２８号公報
【非特許文献】
【０００６】
【非特許文献１】ＫＤＤＩ研究所 メディアソリューショングループ 明堂絵美、「コミック風レイアウト技術」、[online]、［平成２３年９月１３日検索］、インターネット＜URL:http://www.kddilabs.jp/assets/files/technology/65.pdf＞
【非特許文献２】C.B.Atkins, "Blocked Recursive Image Composition",ACMMM'08, pp.821-824, 2008.
【非特許文献３】ＯｐｅｎＣＶ、[online]、［平成２３年９月１８日検索］、インターネット＜URL:http://opencv.jp/＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載された技術によれば、閲覧者に対する画像の重要度に応じて、当該画像を異なるサイズで表示することはできない。各画像は常に同じサイズで表示されるため、閲覧者にとっては、全体的に単調となり、一部の画像の視覚的効果を強調することは難しく、飽きてしまう感じ持つ場合が多い。
【０００８】
また、特許文献２、３及び非特許文献１に記載された技術によれば、画像を異なるサイズで表示するために、パラメータとしての注目領域、画像の重要度、及び、一画面の表示枚数を、閲覧者が設定しなければならない。勿論、顔が検出された画像を大きいサイズで表示するべく、その画像のパラメータを自動的に設定することもできるが、特に家庭で撮影された写真（画像）には顔が写る場合も多く、閲覧者にとって興味ある画像を強調的に認識することは難しい。
【０００９】
一方で、発明者らは、家庭で撮影された写真の場合、閲覧者にとって強調的に認識したい写真とは、閲覧者とその画像に写る人物との関係に基づくものではないか、と考えた。即ち、閲覧者とその画像に写る人物との関係に応じて、その画像を強調的に表示すべきか否かを判定すべきである。逆に言えば、閲覧者にとって興味の無い人物が写る画像は、強調的に表示する必要がない。
【００１０】
そこで、本発明は、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる画面出力装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明によれば、複数の画像を１つの画面にレイアウトして出力する画面出力装置において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画面出力手段と
を有することを特徴とする。
【００１２】
本発明の画面出力装置における他の実施形態によれば、画面出力手段によって出力された画面データを表示するディスプレイを備えた画面表示装置であることも好ましい。
【００１３】
本発明の画面出力装置における他の実施形態によれば、画像出力手段によって出力された画面データを紙媒体に印刷する印刷機能を備えた画面印刷装置であることも好ましい。
【００１４】
本発明の画面出力装置における他の実施形態によれば、
閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα１を規定した表示ルール記憶手段を更に有し、
閲覧情報取得手段は、閲覧人物識別子に対する関係種別毎の人物識別子も取得するものであり、
表示サイズ比決定手段は、表示ルール記憶手段を用いて、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて、基本サイズ比に重みα１を重み付けた値を、表示サイズ比として出力することも好ましい。
【００１５】
本発明の画面出力装置における他の実施形態によれば、
表示ルール記憶手段の重みα１は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも大きい値を表示サイズ比とし、又は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれない場合、基本サイズ比よりも小さい値を表示サイズ比とすることも好ましい。
【００１６】
本発明の画面出力装置における他の実施形態によれば、表示ルール記憶手段の重みα１は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも小さい値を表示サイズ比とすることも好ましい。
【００１７】
本発明の画面出力装置における他の実施形態によれば、表示サイズ比決定手段は、
画像の被写体人物識別子に所定の１つ以上の人物識別子が含まれる場合、顔領域検出機能を用いて、当該画像に写る顔領域サイズを検出し、該顔領域サイズの大きさに応じて重みα１に更に重み付けることも好ましい。
【００１８】
本発明の画面出力装置における他の実施形態によれば、表示ルール記憶手段の重みα１は、ＳＮＳ(Social Networking Service)のソーシャルグラフから得られる関係種別に応じて、又は、閲覧者人物識別子と被写体人物識別子との間の最短経路距離に応じて（距離が短いほど大きい値）決定されることも好ましい。
【００１９】
本発明の画面出力装置における他の実施形態によれば、
表示ルール記憶手段は、閲覧者の閲覧人物識別子における個人属性によって、画像の基本サイズ比に対する重みα２を更に規定し、
閲覧情報取得手段は、閲覧人物識別子の個人属性も取得するものであり、
表示サイズ比決定手段は、表示ルール記憶手段を用いて、閲覧人物識別子に対する個人属性に応じて、基本サイズ比に重みα２を更に重み付けた値を、表示サイズ比として出力する
ことも好ましい。
【００２０】
本発明の画面出力装置における他の実施形態によれば、
個人属性は、閲覧者の視覚能力に応じた年齢別であり、
表示ルール記憶手段の重みα２は、閲覧者年齢帯が高くなるほど、基本サイズ比よりも大きい値を表示サイズ比とすることも好ましい。
【００２１】
本発明の画面出力装置における他の実施形態によれば、重みα１、重みα２又は重みα１×α２の値が大きい画像ほど、表示時間を長くすることも好ましい。
【００２２】
本発明の画面出力装置における他の実施形態によれば、
画面サイズは、Ｎ個の表示サイズに分割され、その１個の表示サイズを、基本サイズ比とし、
画面出力手段は、連続順の複数の画像の表示サイズの総和が、画面サイズに近くなるように区分した画像組を抽出し、その画像組に含まれる異なる表示サイズの画像を１枚の画面サイズにレイアウトすることも好ましい。
【００２３】
本発明の画面出力装置における他の実施形態によれば、分割された表示サイズのＮ個は、閲覧者の数に基づいて決定されることも好ましい。
【００２４】
本発明の画面出力装置における他の実施形態によれば、
閲覧者情報取得手段は、
現に閲覧している閲覧者の生体データを入力する生体データ入力手段と、
人物識別子に対応付けられた生体データからなる閲覧者特定用データの集合を記憶した閲覧者特定用データ記憶手段と、
閲覧者特定用データを用いて、閲覧者の生体データに対する閲覧者識別子を出力する閲覧者特定手段と
を更に有することも好ましい。
【００２５】
本発明の画面出力装置における他の実施形態によれば、
生体データは、顔写真、声データ、指紋データ、静脈データ又は虹彩データであり、認証は、画像認証、音声認証、指紋認証、静脈認証又は虹彩認証であることも好ましい。
【００２６】
本発明によれば、複数の画像を１つの画面にレイアウトして出力する装置に搭載されたコンピュータを機能させる画面出力プログラムにおいて、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画像出力手段と
してコンピュータを機能させることを特徴とする。
【００２７】
本発明によれば、複数の画像を１つの画面にレイアウトして出力する装置における画面出力方法において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶部を有し、
画像を閲覧する閲覧者の閲覧人物識別子を取得する第１のステップと、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する第２のステップと、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する第３のステップと
を有することを特徴とする。
【発明の効果】
【００２８】
本発明の画面出力装置、プログラム及び方法によれば、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる。本発明によれば、特に、閲覧者と被写体人物との関係に応じて表示サイズを自動的に決定することによって、閲覧者が特別にパラメータを設定することなく、人物間関係に応じてレイアウトが変化する画面データが出力される。この画面データは、スライドショーのようにディスプレイに表示され、又は、アルバムのように紙媒体に印刷される。画像データのレイアウトは、それを視認する閲覧者によって変化する。
【図面の簡単な説明】
【００２９】
【図１】本発明における第１の表示イメージである。
【図２】本発明における第２の表示イメージである。
【図３】本発明における第３の表示イメージである。
【図４】本発明における第４の表示イメージである。
【図５】本発明における画面出力装置の機能構成図である。
【図６】本発明における第５の表示イメージである。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００３１】
本発明における画面出力装置１は、画面データを表示するディスプレイを備えた画面表示装置であってもよいし、画面データを物理的な紙媒体に印刷する印刷機能を備えた画面印刷装置であってもよい。また、パーソナルコンピュータで実行される画像閲覧プログラムやスライドショーのプログラムであってもよいし、プリンタで実行される印刷プログラムであってもよい。
【００３２】
画面出力装置１が画面表示装置である場合、例えば家庭用のデジタルフォトフレームのようなものであって、ディスプレイに画面データを連続的に表示するものである。また、フォトフレーム１のディスプレイに表示される画像は、例えば家庭で撮影された写真のような静止画像である。
【００３３】
以下では、画面出力装置１は、デジタルフォトフレームであるとして説明する。
【００３４】
図１は、本発明における第１の表示イメージである。
【００３５】
本発明によれば、画面データをディスプレイに表示する際に、閲覧者と被写体人物との関係によって、表示する画像の表示サイズ比を変化させる。閲覧者及び被写体人物にはそれぞれ、固有の人物識別子が付与されている。
【００３６】
図１（ａ）によれば、閲覧者の人物識別子［００１］と、被写体人物の人物識別子［００１］とは、同一である。これは、閲覧者が、自分自身の画像を閲覧しているということを意味する。これに対して、図１（ｂ）によれば、閲覧者の人物識別子［００１］と、被写体人物の人物識別子［００２］とは、異なる。このような相違がある場合、閲覧者は、一般に、自分が写る画像を大きい表示サイズで見たいと思う場合がある。そこで、閲覧者が、自分が写る画像を閲覧する場合は、自分以外の人が写る画像に比べて、大きく表示させるように表示サイズ比を変化させる。図１によれば、画像の表示サイズ比は、以下のように予め規定されているとする。
両識別子が「同一」である場合（閲覧者の写真が表示される場合）： １
両識別子が「異なる」場合（閲覧者以外の写真が表示される場合）： ０．３
【００３７】
図２は、本発明における第２の表示イメージである。
【００３８】
図２によれば、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて、表示サイズ比を変化させる。「関係種別」とは、閲覧者に対する、被写体人物の「家族」「知人」「他人」といった人間関係をいう。「表示サイズ比」は、以下のように、基本サイズ比に重みα１を乗算した値となる。
表示サイズ比＝基本サイズ比（Ｓ）×重み（α１）
【００３９】
重みα１は、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて決定されている。図２によれば、閲覧人物Ａ（ＩＤ：００１）は、被写体人物として人物Ａ（ＩＤ：００１）、人物Ｂ（ＩＤ：００２）、人物Ｃ（ＩＤ：００３）、人物Ｄ、及び人物Ｅ（ＩＤ：００５）が写る写真を、閲覧している。図２によれば、閲覧者Ａに対する被写体人物ＡからＥの関係種別は、以下のように表されている。
［被写体人物］ ［被写体人物識別子］ ［関係種別］
Ａ ００１ 本人
Ｂ ００２ 家族
Ｃ ００３ 知人
Ｄ ＊＊＊ 他人
Ｅ ００５ 家族
【００４０】
ここで重みα１は、表示ルールによって、例えば関係種別が本人である場合は「２」と決定される。この例では、閲覧者からみて被写体人物が人間関係として近い程、重みα１の値が大きくなる。また、関係種別が「家族」及び「知人」である場合、重みα１は「１．５」と決定され、関係種別が「他人」である場合、重みα１は「１」と決定される。また、画像に人物が写っていない場合、重みα１は「１」と決定される。
【００４１】
また、重みα１は、ＳＮＳ(Social Networking Service)のソーシャルグラフから得られる関係種別に応じて、又は、閲覧者人物識別子と被写体人物識別子との間の最短経路距離に応じて（距離が短いほど大きい値）決定されるものであってもよい。例えばfacebook（登録商標）やmixi（登録商標）、GREE（登録商標）のようなＳＮＳサーバから取得することもできる。ＳＮＳサーバによれば、家族や恋人を指定するモードがある。関係種別情報としては、例えば、本人として閲覧者人物識別子に対応して、「家族」の人物識別子、「知人」の人物識別子等が対応付けられている。そのような情報が得られない場合は、閲覧者と被写体との最短経路（ソーシャルグラフのエッジの数）により、数が多くなるに従って重みα１を小さくする。例えば、被写体が閲覧者本人である場合を「２」、エッジ数が１の場合を「１．５」、エッジ数が２の場合を「１」、エッジ数が３以上の場合を「０.５」、画像に人物が写っていない場合を「０．５」とする。更に、ＳＮＳ上での最近のメッセージのやりとりの回数などを用いて、メッセージの数が多いほど親密度が高いと判断し、重みα１を大きくすることもできる。
【００４２】
図２によれば、４枚の画像が表示されており、閲覧者（Ａ）に対する被写体人物の関係種別に応じた、表示サイズ比は、以下のように表される。
［被写体人物］ ［関係種別］ ［表示サイズ比（Ｓ×α１）］
Ａ・Ｂ 本人・家族 Ｓ×２
Ｂ・Ｅ 家族・家族 Ｓ×１．５
Ｃ 知人 Ｓ×１．２
Ｄ 他人 Ｓ×１
【００４３】
１枚の画像に被写体人物が複数存在し、関係種別も多種である場合、重みα１は、いずれかの関係種別の値としてもよい。例えば、画像に写る被写体人物が「Ａ・Ｂ」であり、関係種別が「本人・家族」である場合、重みα１を大きい方の値（関係種別「本人」）としてもよい。また、全ての被写体人物における関係種別の重みα１を足し合わせてもよい。例えば被写体人物が「Ａ・Ｂ」であり、関係種別が「本人・家族」である場合、重みα１＝２＋１．５＝３．５とする。
【００４４】
図３は、本発明における第３の表示イメージである。
【００４５】
表示ルールは、「モード」に応じて個別に設定することも好ましい。例えば、閲覧者が恥ずかしがり屋の場合、閲覧者自身が写っている画像の表示サイズ比を小さくして欲しいという要求がある。そこで、例えば「恥ずかしがり屋モード」のようなモードを設定し、閲覧者が被写体人物に含まれている画像の表示サイズ比を小さくするように、表示ルールの重みα１を決定する。
「普通モード」（図１及び図２参照）
「恥ずかしがり屋モード」（図３参照）
【００４６】
図３では、恥ずかしがり屋である人物Ｂ（ＩＤ：００２）が、被写体人物Ａ（ＩＤ：００１）、Ｂ（ＩＤ：００２）、Ｃ（ＩＤ：００３）、Ｄ、及び、Ｅ（ＩＤ：００５）が写る画像を、閲覧している。閲覧者Ｂに対する被写体人物ＡからＥの関係種別を以下に示す。
［被写体人物］ ［被写体人物識別子］ ［関係種別］
Ａ ００１ 家族
Ｂ ００２ 本人
Ｃ ００３ 知人
Ｄ ＊＊＊ 他人
Ｅ ００５ 家族
【００４７】
ここで重みα１は、表示ルールによって、例えば関係種別が「本人」である場合、重みα１を「０．８」と決定し、関係種別が「家族」又は「知人」の場合、重みα１を「２」と決定する。また、関係種別が「他人」である場合、重みα１は「１」と決定される。更に、画像に人物が写っていない場合、重みα１は「１」と決定される。
【００４８】
恥ずかしがり屋モードは、ある一定年齢以上の人物に対して、自動的に適用してもよい。閲覧者の個人属性である年齢は、閲覧者自らが入力することによって予め記憶されたものであってもよい。また、閲覧者の顔を撮影した顔写真から、年齢を自動的に推定する技術を適用してもよい。
【００４９】
図３によれば、４枚の画像が表示されており、以下に、閲覧者（Ｂ）に対する被写体人物の関係種別に応じた表示サイズ比の例を示す。
［被写体人物］ ［関係種別］ ［表示サイズ比（Ｓ×α１）］
Ａ・Ｅ 家族・家族 Ｓ×２
Ｂ 本人 Ｓ×０．８
Ｃ 知人 Ｓ×２
Ｄ 他人 Ｓ×１
【００５０】
ここで、「恥ずかしがり屋モード」は、閲覧者自身が大きく写っている画像の場合のみ、表示サイズ比を小さくするものであってもよい。この場合、閲覧者自身が大きく写っているかどうかは、画像全体に対する顔領域の面積の占める割合によって判断する。
【００５１】
図４は、本発明における第４の表示イメージである。
【００５２】
一般的に、年齢が高いほど視覚能力は低くなりやすい。そこで、閲覧者の年齢が高い場合、視覚能力が高い人と比較して、一画像あたりの面積を大きくする。例えば「個人属性モード」のようなモードを設定し、閲覧者の年齢が高い場合、画像の表示サイズ比を大きくするように、表示ルールの重みα１を決定する。
【００５３】
図４では、高齢の閲覧者Ｅ（ＩＤ：００５）が、被写体人物Ａ（ＩＤ：００１）、Ｂ（ＩＤ：００２）及びＥ（ＩＤ：００５）が写る画像を、閲覧している。図４によれば、閲覧者Ｅに対する被写体人物ＡからＥの関係種別及び個人属性は、以下のように表される。
［被写体人物］ ［被写体人物識別子］ ［関係種別］ ［個人属性］
Ａ ００１ 家族
６５歳未満
Ｂ ００２ 家族
６５歳未満
Ｅ ００５ 本人
６５歳以上
【００５４】
ここで重みα１は、表示ルールによって、全体的に大きい値に決定される。例えば関係種別が「本人」である場合、重みα１を「２．５」と決定し、関係種別が「家族」の場合、重みα１を「２」と決定する。「知人の場合、重みα１を「１．５」と決定する。また、関係種別が「他人」である場合、重みα１は「１．２」と決定される。更に、画像に人物が写っていない場合、重みα１は「１．２」と決定される。
【００５５】
図４によれば、２枚の画像が表示されており、以下に、閲覧者（Ｅ）に対する被写体人物の関係種別に応じた表示サイズ比の例を表す。
［被写体人物］ ［関係種別］ ［表示サイズ比（Ｓ×α１）］
Ａ・Ｂ 家族・家族 Ｓ×２
Ｂ・Ｅ 家族・本人 Ｓ×２．５
【００５６】
閲覧者の個人属性である年齢は、閲覧者自らが入力することによって予め記憶されたものであってもよい。また、閲覧者の顔を撮影した顔写真から、年齢を自動的に推定する技術を適用してもよい。
【００５７】
図５は、本発明における画面出力装置の機能構成図である。
【００５８】
図５によれば、画面出力装置１は、メモリカード１０１と、入力インタフェース１０２と、画面データを表示するディスプレイ１０３と、画面データを物理的な紙媒体に印刷する印刷機能部１０４とを有する。ディスプレイ１０３を備えた画面出力装置としては、デジタルフォトフレームがあり、印刷機能部１０４を備えた画面出力装置としては、プリンタがある。
【００５９】
メモリカード１０１は、例えばＳＤ(Secure Digital)カードのようなものであって、デジタルフォトフレーム１に対して挿脱可能であることが多い。メモリカード１０１は、例えばデジタルカメラにも挿入可能であって、そのデジタルカメラによって撮影された多数の画像を蓄積する。デジタルフォトフレーム１は、メモリカード１０１に蓄積された多数の画像を、ディスプレイ１０３にスライドショーのように連続的に表示する。パーソナルコンピュータや携帯電話機、スマートフォン、タブレットのような端末で閲覧する場合には、Ｗｅｂ上のストレージサーバやこれら端末の記憶部に写真を保存することが多く、この役割をメモリカード１０１が果たす。
【００６０】
入力インタフェース１０２は、閲覧者の情報を取得するものであって、実施形態に応じて生体データを取得可能なデバイスや、閲覧者によって入力可能なキーボードであってもよい。また、生体データを取得可能なデバイスとしては、カメラ、マイク、センサ等がある。例えば、カメラであれば、閲覧者の顔写真データを取得することができる。また、マイクであれば、閲覧者の声データを取得することができる。更に、センサであれば、その機能に応じて、閲覧者の指紋データ、静脈データ、虹彩データ等を取得することができる。入力インタフェース１０２によって取得された情報は、その閲覧者を特定するために用いられる。
【００６１】
また、図５によれば、デジタルフォトフレーム１は、被写体情報取得部１１と、被写体情報記憶部１２と、閲覧者情報取得部１３と、表示ルール記憶部１４と、表示サイズ比決定部１５と、画面出力部１６とを有する。これら機能構成部は、画面出力装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００６２】
［被写体情報取得部１１］
被写体情報取得部１１は、メモリカード１０１に蓄積された画像毎に、その画像に写る人物の被写体人物識別子を取得する。被写体人物識別子を対応付けた画像は、被写体情報記憶部１２へ出力される。
【００６３】
被写体情報取得部１１は、画像から被写体人物を自動的に検出する画像管理プログラムであってもよい。このプログラムは、写真の中から顔領域を抽出し、多数の写真の中で顔の同一性によってグループ化し、その顔に対して順次「名前タグ」を付与する。画像管理プログラムとして、代表的には、Google社によって提供されるPicasa（登録商標）（v3.5以降のname tag 機能）や、Microsoft社のWindows Liveフォトギャラリー（登録商標）、Apple社のiPhoto'09（登録商標）がある。尚、本発明によれば、画像に被写体人物識別子（名前タグ）が付与されていればよく、この被写体認証処理は、自動に限られず、手動であってもよい。
【００６４】
尚、前述した実施形態によれば、ディスプレイに表示する画像は、静止画像として説明しているが、動画像（ビデオ）であっても実現できる。人物識別子の検出のために、動画像のキーフレームに対する顔認識認証又は歩容認証を適用することもできる。
【００６５】
［被写体情報記憶部１２］
被写体情報記憶部１２は、画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶する。被写体人物識別子が付与された画像は、表示サイズ比決定部１５へ出力される。尚、被写体情報記憶部１２は、メモリカード１０１と一体的なものであって、メモリカード１０１に記憶された画像に被写体識別子を付与するものであってもよい。
【００６６】
［閲覧者情報取得部１３］
関係者情報取得部１３は、生体データ入力部１３１と、閲覧者特定用データ記憶部１３２と、閲覧者特定部１３３と、関係種別情報記憶部１３４と、個人属性情報記憶部１３５とを有する。閲覧者情報取得部１３は、入力インタフェース１０２を介して、ディスプレイを現に閲覧している閲覧者を特定するための情報を取得し、閲覧人物識別子を特定する。
【００６７】
閲覧者を特定する最も簡単な方法としては、閲覧者に、閲覧人物識別子を入力させることができる。例えば、キーボードによるテキスト入力や、マイクによる音声入力に基づく音声認識によって、閲覧者名及び閲覧人物識別子を取得するものであってもよい。また、ＳＮＳサーバに対するログインＩＤを、閲覧人物識別子として扱うこともできる。
【００６８】
その他の方法として、閲覧者の生体データを取得し、その生体データから閲覧者を特定することもできる。
【００６９】
生体データ入力部１３１は、入力インタフェース１０２から、閲覧者の生体データを入力する。生体データは、例えば以下のようなものがある。
カメラによって取得された閲覧者の顔写真
マイクによって取得された閲覧者の声データ
指紋センサによって取得された閲覧者の指紋データ
静脈センサによって取得された閲覧者の静脈データ
瞳センサによって取得された閲覧者の虹彩データ
【００７０】
閲覧者特定用データ記憶部１３２は、人物識別子に対応付けられた生体データからなる閲覧者特定用データの集合を記憶する。例えば、フォトフレーム１を閲覧する人物は、比較的限られた家族、知人等であって、それら人物の生体データが予め記憶されている。
【００７１】
閲覧者特定部１３２は、生体データを入力し、閲覧者特定用データを用いて認証し、閲覧者の生体データに対する閲覧者識別子を特定する。ここでの認証としては、以下のようなものがある。
閲覧者の顔写真に対する画像認証
閲覧者の声データに対する音声（声紋）認証
閲覧者の指紋データに対する指紋認証
閲覧者の静脈データに対する静脈認証
閲覧者の虹彩データに対する虹彩認証
特定された閲覧者識別子は、表示サイズ比決定部１５へ出力される。
【００７２】
尚、生体データの種類（例えば顔データ）が、閲覧者特定用データ記憶部１３２と被写体情報記憶部１２とで同じである場合、共用することもできる。
【００７３】
関係種別情報記憶部１３４は、閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別情報を記憶する。このような関係種別情報は、前述したように、例えばfacebook（登録商標）やmixi（登録商標）のようなＳＮＳ(Social Networking Service)サーバから取得することもできる。ＳＮＳサーバによれば、家族や恋人を指定するモードがある。関係種別情報としては、例えば、本人として閲覧者人物識別子に対応して、「家族」の人物識別子、「知人」の人物識別子等が対応付けられている。これら関係種別情報は、表示サイズ比決定部１５へ出力される。
【００７４】
前述したように、ＳＮＳのソーシャルグラフの経路の短さを関係種別としてもよい。ＳＮＳサーバを介したメッセージの回数などの親密度を用いてもよい。特に、ＳＮＳサーバに保存されている画像や、ＳＮＳサーバに関連付けられた画像を閲覧する際には、ＳＮＳサーバから得られる関係種別を適用するとよい。
【００７５】
個人属性情報記憶部１３５は、閲覧者の個人属性情報が記憶されている。個人属性とは、例えば、閲覧者の視覚能力に応じた年齢別の属性である。これら個人属性情報は、表示サイズ比決定部１５へ出力される。
【００７６】
［表示ルール記憶部１４］
表示ルール記憶部１４は、閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα１を規定した表示ルールを記憶する。具体的には、表示ルールの重みα１は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも大きい値を表示サイズ比とし、又は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれない場合、基本サイズ比よりも小さい値を表示サイズ比とするものであってもよい。
【００７７】
また、表示ルールの重みα１は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも小さい値を表示サイズ比とするものであってもよい。更に、表示ルールの重みα１は、閲覧者の年齢帯が高くなるほど、基本サイズ比よりも大きい値を表示サイズ比とするものであってもよい。
【００７８】
また、表示ルールは、閲覧者の閲覧人物識別子における個人属性によって、画像の基本サイズ比に対する重みα２を更に規定するものであってもよい。
【００７９】
［表示サイズ比決定部１５］
表示サイズ比決定部１５は、表示ルール記憶部１４を用いて、閲覧者の閲覧人物識別子に対する、現に表示すべき画像に写る人物の被写体人物識別子の関係種別及び／又は個人属性によって、ディスプレイに対する当該画像の表示サイズ比を決定する。表示サイズ比は、基本サイズ比Ｓに対して表示ルールの重みαを乗算した表示サイズ比を決定する。重みαの値が大きい程、表示サイズ比も大きくなる。決定された表示サイズ比Rは、画面出力部１６へ出力される。
【００８０】
また、表示サイズ比決定部１５は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、当該画像に写る閲覧者の顔領域サイズを用いて、全画面サイズに対する顔領域サイズの大きさの比を、更に重み付けしてもよい。
【００８１】
表示サイズ比決定部１５は、顔領域検出機能を更に備えることによって被写体人物の顔領域サイズを検出する。顔領域検出機能は、被写体情報記憶部１２に蓄積された写真画像毎に、特徴量を抽出し、被写体人物の顔領域を検出する。ここで、顔領域検出の技術は、OpenCVのHaar Feature特徴量を用いたカスケード型分類器に基づく顔検出器ライブラリを、複数の解像度に変換した画像に対して適用することによって検出できる（例えば非特許文献３参照）。
【００８２】
尚、顔領域検出機能は、写真画像から被写体人物を自動的に検出する画像管理プログラムにおける顔検出機能を用いたものであってもよい。画像管理プログラムとして、代表的には、Google社によって提供されるPicasa（登録商標）（v3.5以降のname tag 機能）や、Microsoft社のWindows Liveフォトギャラリー（登録商標）、Apple社のiPhoto'09（登録商標）がある。
【００８３】
表示サイズ比決定部１５が顔領域検出機能を備えることによって、その顔領域サイズの比に「比例」するように更なる重み付けをすることができる。この場合、顔領域サイズの比が大きい画像ほど、表示サイズが大きくなりやすくなり、インパクトのあるレイアウトとなりやすい。これは「普通モード」で使用することが好ましい。
【００８４】
逆に、顔領域サイズの比に「反比例」するように更なる重み付けをすることもできる。この場合、レイアウト中の各々の画像表示サイズに関わらず、ある特定種別の人の顔については、顔の面積が一定となるレイアウトとなりやすい。これは、「恥ずかしがり屋モード」で使用することが好ましい。
【００８５】
また、他の実施形態として、表示サイズ比決定部１５は、閲覧者と関係人物識別子（家族、知人）とが同一画像中に存在する場合には、閲覧者とそれらの関係人物を含むように画像を切り抜くものであってもよい。切り抜かれたその画像に対して、前述したような表示サイズ比で表示することも好ましい。
【００８６】
［画面出力部１６］
画面出力部１６は、画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する。画面データが複数のページに渡る場合には、連続的に出力される。画面データは、ディスプレイ部１０３又は印刷機能部１０４へ出力される。
【００８７】
図６は、本発明における第５の表示イメージである。
【００８８】
図６によれば、本発明に、特許文献３、非特許文献１及び非特許文献２に記載されたコマ割りの技術が適用されたものである。この技術によれば、画面分割数Ｎを予め設定しておくものであるが、本発明の表示サイズ比R（及び閲覧者の個人属性）に応じて、表示面積Ｓおよび分割数Ｎを決定する。
【００８９】
Ｎmaxは、画面サイズによって予め設定されたものであってもよい。例えば、７インチであれば７、それより大きく１２インチ以下であれば１４、それより大きければ１８とする。異なるディスプレイを用いて同一の画像を遠隔地などで同期して閲覧する場合は、小さい方のディスプレイサイズのＮmaxを採用する。同様にＮminも予め決めておく。例えば、全てのディスプレイサイズで１とする。（Ｎminが１である場合は、画面に１枚だけ表示される場合がある。Ｎmaxは２以上とする。）
【００９０】
（１）最大分割数Ｎmaxを、閲覧者の数によって決定する方法
閲覧者数に応じて、最大分割数Ｎmax及び平均分割数Ｎaveを決定する。例えば閲覧者数が所定数よりも多い場合、最大分割数Ｎmaxを小さくし、基本サイズＳを大きくする。例えば、予め設定されたＮmaxの値の半分の値とする。
【００９１】
（２）最大分割数Ｎmaxを、閲覧者の視覚能力によって決定する
閲覧者の視覚能力に応じて、最大分割数Ｎmax及び平均分割数Ｎaveを決定する。例えば年齢が高いほど視覚能力は低くなりやすく、その場合、最大分割数Ｎmaxを小さくし、基本サイズＳを大きくする。例えば、予め設定されたＮmaxの値の半分の値とする。最小面積Ｓminを指定する場合には、例えば、最小面積の値を倍にし、大きく表示されるようにする。
【００９２】
最大分割数Ｎmax及び平均分割数Ｎaveから計算される値によって、ディスプレイの表示画面が、Ｎ個にコマ割りされる。その１個の表示面積が、表示面積Ｓとされる。画面出力部１６は、複数の画像の表示面積の総和が、画像の貼り付け領域面積（画面サイズ）に近くなるように区分した画像組を抽出し、その画像組に含まれる画像を表示サイズSに従って拡大・縮小し、１枚の画面にレイアウトする。
【００９３】
各画像に付与された表示面積Ｓを表示サイズ比Ｒより求める。例えば、表示すべき複数の画像において表示サイズ比Ｒを取得し、その中で最小となる表示サイズ比Ｒの面積が、（画面サイズ/Ｎmax）になるように、且つ、表示サイズ比Ｒの中で最大となるＲの面積が、（画面サイズ/Ｎmin）になるように、一次関数で表示面積Ｓを計算する。他の方法としては、（表示面積、基本サイズ比）の組みを２つ与え、一次関数で表示面積Ｓを計算する。例えば、平均分割数Ｎaveを用いて、面積（画面サイズ/Ｎave）と表示サイズ比Ｒのある値（例えば、R=1）とが一致し、指定した最小表示面積Ｓminか（画面サイズ/Ｎmax）と表示サイズ比Rの最小値が一致するように一次関数でＳを計算し直す。但し、表示面積Ｓが（画面サイズ/Ｎmin）を超えた場合は、その表示面積Ｓを（画面サイズ/Ｎmin）とする。
【００９４】
その面積Ｓを可能な限り反映するように、各画像が各コマに割り当てられる。例えば、１ページ目は、画面サイズになるまで、適当に複数枚の画像を選ぶ処理を繰り返し、総和が画面サイズに最も近くなる画像の組を用いてレイアウトされる。分割数Ｎは選んだ画像の枚数となる。２ページ目は、１ページ目に用いた画像を除いて、同様の処理を繰り返す。画像の順序が決定されている場合も同様に、総和が画面サイズに近くなるようにページ割りをしていき、表示面積Ｓを可能な限り反映するようにレイアウトする。この場合も分割数Ｎは選んだ画像の枚数で自動的に決定される。
【００９５】
尚、他の実施形態として、スライドショーのように連続的に表示する場合には、重みα１が大きいほど、表示サイズを大きくするだけでなく、表示時間を長くすることも好ましい。その場合、表示時間を、例えば以下のように設定する。
閾値Ｔ１＜α１＜Ｔ２： 表示時間を通常時間よりも１．５倍長くする
α１≧Ｔ２： 表示時間を通常時間よりも２倍長くする。
また、レイアウトは、余白の面積を算出し、その面積に配置可能な１枚の画像か、足してその面積に配置可能な複数枚の画像を選択し、その位置に配置することも好ましい。
【００９６】
更に、他の実施形態として、重みα１、重みα２又は前記重みα１×α２の値が大きい画像ほど、表示時間を長くすることも好ましい。強調的に表示したい画像ほど、大きく且つ長時間、表示されることとなる。
【００９７】
以上、詳細に説明したように、本発明の画面出力装置、プログラム及び方法によれば、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる。本発明によれば、特に、閲覧者と被写体人物との関係に応じて表示サイズを自動的に決定することによって、閲覧者が特別にパラメータを設定することなく、人物間関係に応じてレイアウトが変化する画面データが出力される。この画面データは、スライドショーのようにディスプレイに表示され、又は、アルバムのように紙媒体に印刷される。画像データのレイアウトは、それを視認する閲覧者によって変化する。
【００９８】
本発明によれば、人物間関係の重要度に応じて強調すべき画像の表示サイズを大きくすることによって、１枚の画像表示と比較して一覧性が高く、コマの大きさにメリハリが出て見栄えがよく、コマの大きさがユーザの要望にあった、主観評価の高いレイアウトで画像を閲覧することができる。
【００９９】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１００】
１ 画面出力装置
１０１ メモリカード
１０２ 入力インタフェース
１０３ ディスプレイ部
１０４ 印刷機構部
１１ 被写体情報取得部
１２ 被写体情報記憶部
１３ 閲覧者情報取得部
１３１ 生体データ入力部
１３２ 閲覧者特定用データ記憶部
１３３ 閲覧者特定部
１３４ 関係種別情報記憶部
１３５ 個人属性情報記憶部
１４ 表示ルール記憶部
１５ 表示サイズ比決定部
１６ 画面出力部
【技術分野】
【０００１】
本発明は、複数の画像を１つの画面にレイアウトして出力する技術に関する。
【背景技術】
【０００２】
従来、スライドショーの技術によれば、多数の画像を類似度に応じてグループに分類し、同一グループに属する画像を一画面内に同時に表示する技術がある（例えば特許文献１参照）。この技術によれば、閲覧者にとって、類似する画像が連続的に表示されるという単調な閲覧状態が長時間続くことを防ぐことができる。
【０００３】
また、スライドショーの技術として、閲覧者が注目する領域に他の画像が重ならないように、複数枚の画像を同一画面に表示する技術もある（例えば特許文献２参照）。この技術によれば、多数の画像をグループに分類し、グループ毎に画像から注目領域を検出し、その注目領域が他の画像と重畳しないようにテンプレート上に配置して表示する。
【０００４】
更に、ディスプレイの表示領域を複数の区画に分割し、所定の順序で、各区画に１枚の画像を表示するコマ割りの技術がある（例えば特許文献３、非特許文献１及び２参照）。特許文献３及び非特許文献１に記載の技術によれば、指定した複数の画像に対し、画像中の重要な領域、画像の重要度を保つため、重要な領域が含まれるコマの形状、及び、重要な画像を大きくするようにコマのサイズを決定し、自動的にディスプレイ上にレイアウトすることができる。また、コミック風に画像を表示させる順序を保つこともできる。非特許文献２に記載の技術によれば、画像の順序を保って表示させることはできないが、指定した複数の画像に対し、画像の形状や画像の重要度を指定すると、形状とコマの形状が合い、重要度をコマの面積に比較的正確に反映させるように自動的にディスプレイ上にレイアウトすることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−００４４７９号公報
【特許文献２】特開２０１１−０５９７７５号公報
【特許文献３】特開２０１１−０５０５２８号公報
【非特許文献】
【０００６】
【非特許文献１】ＫＤＤＩ研究所 メディアソリューショングループ 明堂絵美、「コミック風レイアウト技術」、[online]、［平成２３年９月１３日検索］、インターネット＜URL:http://www.kddilabs.jp/assets/files/technology/65.pdf＞
【非特許文献２】C.B.Atkins, "Blocked Recursive Image Composition",ACMMM'08, pp.821-824, 2008.
【非特許文献３】ＯｐｅｎＣＶ、[online]、［平成２３年９月１８日検索］、インターネット＜URL:http://opencv.jp/＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載された技術によれば、閲覧者に対する画像の重要度に応じて、当該画像を異なるサイズで表示することはできない。各画像は常に同じサイズで表示されるため、閲覧者にとっては、全体的に単調となり、一部の画像の視覚的効果を強調することは難しく、飽きてしまう感じ持つ場合が多い。
【０００８】
また、特許文献２、３及び非特許文献１に記載された技術によれば、画像を異なるサイズで表示するために、パラメータとしての注目領域、画像の重要度、及び、一画面の表示枚数を、閲覧者が設定しなければならない。勿論、顔が検出された画像を大きいサイズで表示するべく、その画像のパラメータを自動的に設定することもできるが、特に家庭で撮影された写真（画像）には顔が写る場合も多く、閲覧者にとって興味ある画像を強調的に認識することは難しい。
【０００９】
一方で、発明者らは、家庭で撮影された写真の場合、閲覧者にとって強調的に認識したい写真とは、閲覧者とその画像に写る人物との関係に基づくものではないか、と考えた。即ち、閲覧者とその画像に写る人物との関係に応じて、その画像を強調的に表示すべきか否かを判定すべきである。逆に言えば、閲覧者にとって興味の無い人物が写る画像は、強調的に表示する必要がない。
【００１０】
そこで、本発明は、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる画面出力装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明によれば、複数の画像を１つの画面にレイアウトして出力する画面出力装置において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画面出力手段と
を有することを特徴とする。
【００１２】
本発明の画面出力装置における他の実施形態によれば、画面出力手段によって出力された画面データを表示するディスプレイを備えた画面表示装置であることも好ましい。
【００１３】
本発明の画面出力装置における他の実施形態によれば、画像出力手段によって出力された画面データを紙媒体に印刷する印刷機能を備えた画面印刷装置であることも好ましい。
【００１４】
本発明の画面出力装置における他の実施形態によれば、
閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα１を規定した表示ルール記憶手段を更に有し、
閲覧情報取得手段は、閲覧人物識別子に対する関係種別毎の人物識別子も取得するものであり、
表示サイズ比決定手段は、表示ルール記憶手段を用いて、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて、基本サイズ比に重みα１を重み付けた値を、表示サイズ比として出力することも好ましい。
【００１５】
本発明の画面出力装置における他の実施形態によれば、
表示ルール記憶手段の重みα１は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも大きい値を表示サイズ比とし、又は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれない場合、基本サイズ比よりも小さい値を表示サイズ比とすることも好ましい。
【００１６】
本発明の画面出力装置における他の実施形態によれば、表示ルール記憶手段の重みα１は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも小さい値を表示サイズ比とすることも好ましい。
【００１７】
本発明の画面出力装置における他の実施形態によれば、表示サイズ比決定手段は、
画像の被写体人物識別子に所定の１つ以上の人物識別子が含まれる場合、顔領域検出機能を用いて、当該画像に写る顔領域サイズを検出し、該顔領域サイズの大きさに応じて重みα１に更に重み付けることも好ましい。
【００１８】
本発明の画面出力装置における他の実施形態によれば、表示ルール記憶手段の重みα１は、ＳＮＳ(Social Networking Service)のソーシャルグラフから得られる関係種別に応じて、又は、閲覧者人物識別子と被写体人物識別子との間の最短経路距離に応じて（距離が短いほど大きい値）決定されることも好ましい。
【００１９】
本発明の画面出力装置における他の実施形態によれば、
表示ルール記憶手段は、閲覧者の閲覧人物識別子における個人属性によって、画像の基本サイズ比に対する重みα２を更に規定し、
閲覧情報取得手段は、閲覧人物識別子の個人属性も取得するものであり、
表示サイズ比決定手段は、表示ルール記憶手段を用いて、閲覧人物識別子に対する個人属性に応じて、基本サイズ比に重みα２を更に重み付けた値を、表示サイズ比として出力する
ことも好ましい。
【００２０】
本発明の画面出力装置における他の実施形態によれば、
個人属性は、閲覧者の視覚能力に応じた年齢別であり、
表示ルール記憶手段の重みα２は、閲覧者年齢帯が高くなるほど、基本サイズ比よりも大きい値を表示サイズ比とすることも好ましい。
【００２１】
本発明の画面出力装置における他の実施形態によれば、重みα１、重みα２又は重みα１×α２の値が大きい画像ほど、表示時間を長くすることも好ましい。
【００２２】
本発明の画面出力装置における他の実施形態によれば、
画面サイズは、Ｎ個の表示サイズに分割され、その１個の表示サイズを、基本サイズ比とし、
画面出力手段は、連続順の複数の画像の表示サイズの総和が、画面サイズに近くなるように区分した画像組を抽出し、その画像組に含まれる異なる表示サイズの画像を１枚の画面サイズにレイアウトすることも好ましい。
【００２３】
本発明の画面出力装置における他の実施形態によれば、分割された表示サイズのＮ個は、閲覧者の数に基づいて決定されることも好ましい。
【００２４】
本発明の画面出力装置における他の実施形態によれば、
閲覧者情報取得手段は、
現に閲覧している閲覧者の生体データを入力する生体データ入力手段と、
人物識別子に対応付けられた生体データからなる閲覧者特定用データの集合を記憶した閲覧者特定用データ記憶手段と、
閲覧者特定用データを用いて、閲覧者の生体データに対する閲覧者識別子を出力する閲覧者特定手段と
を更に有することも好ましい。
【００２５】
本発明の画面出力装置における他の実施形態によれば、
生体データは、顔写真、声データ、指紋データ、静脈データ又は虹彩データであり、認証は、画像認証、音声認証、指紋認証、静脈認証又は虹彩認証であることも好ましい。
【００２６】
本発明によれば、複数の画像を１つの画面にレイアウトして出力する装置に搭載されたコンピュータを機能させる画面出力プログラムにおいて、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画像出力手段と
してコンピュータを機能させることを特徴とする。
【００２７】
本発明によれば、複数の画像を１つの画面にレイアウトして出力する装置における画面出力方法において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶部を有し、
画像を閲覧する閲覧者の閲覧人物識別子を取得する第１のステップと、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する第２のステップと、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する第３のステップと
を有することを特徴とする。
【発明の効果】
【００２８】
本発明の画面出力装置、プログラム及び方法によれば、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる。本発明によれば、特に、閲覧者と被写体人物との関係に応じて表示サイズを自動的に決定することによって、閲覧者が特別にパラメータを設定することなく、人物間関係に応じてレイアウトが変化する画面データが出力される。この画面データは、スライドショーのようにディスプレイに表示され、又は、アルバムのように紙媒体に印刷される。画像データのレイアウトは、それを視認する閲覧者によって変化する。
【図面の簡単な説明】
【００２９】
【図１】本発明における第１の表示イメージである。
【図２】本発明における第２の表示イメージである。
【図３】本発明における第３の表示イメージである。
【図４】本発明における第４の表示イメージである。
【図５】本発明における画面出力装置の機能構成図である。
【図６】本発明における第５の表示イメージである。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００３１】
本発明における画面出力装置１は、画面データを表示するディスプレイを備えた画面表示装置であってもよいし、画面データを物理的な紙媒体に印刷する印刷機能を備えた画面印刷装置であってもよい。また、パーソナルコンピュータで実行される画像閲覧プログラムやスライドショーのプログラムであってもよいし、プリンタで実行される印刷プログラムであってもよい。
【００３２】
画面出力装置１が画面表示装置である場合、例えば家庭用のデジタルフォトフレームのようなものであって、ディスプレイに画面データを連続的に表示するものである。また、フォトフレーム１のディスプレイに表示される画像は、例えば家庭で撮影された写真のような静止画像である。
【００３３】
以下では、画面出力装置１は、デジタルフォトフレームであるとして説明する。
【００３４】
図１は、本発明における第１の表示イメージである。
【００３５】
本発明によれば、画面データをディスプレイに表示する際に、閲覧者と被写体人物との関係によって、表示する画像の表示サイズ比を変化させる。閲覧者及び被写体人物にはそれぞれ、固有の人物識別子が付与されている。
【００３６】
図１（ａ）によれば、閲覧者の人物識別子［００１］と、被写体人物の人物識別子［００１］とは、同一である。これは、閲覧者が、自分自身の画像を閲覧しているということを意味する。これに対して、図１（ｂ）によれば、閲覧者の人物識別子［００１］と、被写体人物の人物識別子［００２］とは、異なる。このような相違がある場合、閲覧者は、一般に、自分が写る画像を大きい表示サイズで見たいと思う場合がある。そこで、閲覧者が、自分が写る画像を閲覧する場合は、自分以外の人が写る画像に比べて、大きく表示させるように表示サイズ比を変化させる。図１によれば、画像の表示サイズ比は、以下のように予め規定されているとする。
両識別子が「同一」である場合（閲覧者の写真が表示される場合）： １
両識別子が「異なる」場合（閲覧者以外の写真が表示される場合）： ０．３
【００３７】
図２は、本発明における第２の表示イメージである。
【００３８】
図２によれば、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて、表示サイズ比を変化させる。「関係種別」とは、閲覧者に対する、被写体人物の「家族」「知人」「他人」といった人間関係をいう。「表示サイズ比」は、以下のように、基本サイズ比に重みα１を乗算した値となる。
表示サイズ比＝基本サイズ比（Ｓ）×重み（α１）
【００３９】
重みα１は、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて決定されている。図２によれば、閲覧人物Ａ（ＩＤ：００１）は、被写体人物として人物Ａ（ＩＤ：００１）、人物Ｂ（ＩＤ：００２）、人物Ｃ（ＩＤ：００３）、人物Ｄ、及び人物Ｅ（ＩＤ：００５）が写る写真を、閲覧している。図２によれば、閲覧者Ａに対する被写体人物ＡからＥの関係種別は、以下のように表されている。
［被写体人物］ ［被写体人物識別子］ ［関係種別］
Ａ ００１ 本人
Ｂ ００２ 家族
Ｃ ００３ 知人
Ｄ ＊＊＊ 他人
Ｅ ００５ 家族
【００４０】
ここで重みα１は、表示ルールによって、例えば関係種別が本人である場合は「２」と決定される。この例では、閲覧者からみて被写体人物が人間関係として近い程、重みα１の値が大きくなる。また、関係種別が「家族」及び「知人」である場合、重みα１は「１．５」と決定され、関係種別が「他人」である場合、重みα１は「１」と決定される。また、画像に人物が写っていない場合、重みα１は「１」と決定される。
【００４１】
また、重みα１は、ＳＮＳ(Social Networking Service)のソーシャルグラフから得られる関係種別に応じて、又は、閲覧者人物識別子と被写体人物識別子との間の最短経路距離に応じて（距離が短いほど大きい値）決定されるものであってもよい。例えばfacebook（登録商標）やmixi（登録商標）、GREE（登録商標）のようなＳＮＳサーバから取得することもできる。ＳＮＳサーバによれば、家族や恋人を指定するモードがある。関係種別情報としては、例えば、本人として閲覧者人物識別子に対応して、「家族」の人物識別子、「知人」の人物識別子等が対応付けられている。そのような情報が得られない場合は、閲覧者と被写体との最短経路（ソーシャルグラフのエッジの数）により、数が多くなるに従って重みα１を小さくする。例えば、被写体が閲覧者本人である場合を「２」、エッジ数が１の場合を「１．５」、エッジ数が２の場合を「１」、エッジ数が３以上の場合を「０.５」、画像に人物が写っていない場合を「０．５」とする。更に、ＳＮＳ上での最近のメッセージのやりとりの回数などを用いて、メッセージの数が多いほど親密度が高いと判断し、重みα１を大きくすることもできる。
【００４２】
図２によれば、４枚の画像が表示されており、閲覧者（Ａ）に対する被写体人物の関係種別に応じた、表示サイズ比は、以下のように表される。
［被写体人物］ ［関係種別］ ［表示サイズ比（Ｓ×α１）］
Ａ・Ｂ 本人・家族 Ｓ×２
Ｂ・Ｅ 家族・家族 Ｓ×１．５
Ｃ 知人 Ｓ×１．２
Ｄ 他人 Ｓ×１
【００４３】
１枚の画像に被写体人物が複数存在し、関係種別も多種である場合、重みα１は、いずれかの関係種別の値としてもよい。例えば、画像に写る被写体人物が「Ａ・Ｂ」であり、関係種別が「本人・家族」である場合、重みα１を大きい方の値（関係種別「本人」）としてもよい。また、全ての被写体人物における関係種別の重みα１を足し合わせてもよい。例えば被写体人物が「Ａ・Ｂ」であり、関係種別が「本人・家族」である場合、重みα１＝２＋１．５＝３．５とする。
【００４４】
図３は、本発明における第３の表示イメージである。
【００４５】
表示ルールは、「モード」に応じて個別に設定することも好ましい。例えば、閲覧者が恥ずかしがり屋の場合、閲覧者自身が写っている画像の表示サイズ比を小さくして欲しいという要求がある。そこで、例えば「恥ずかしがり屋モード」のようなモードを設定し、閲覧者が被写体人物に含まれている画像の表示サイズ比を小さくするように、表示ルールの重みα１を決定する。
「普通モード」（図１及び図２参照）
「恥ずかしがり屋モード」（図３参照）
【００４６】
図３では、恥ずかしがり屋である人物Ｂ（ＩＤ：００２）が、被写体人物Ａ（ＩＤ：００１）、Ｂ（ＩＤ：００２）、Ｃ（ＩＤ：００３）、Ｄ、及び、Ｅ（ＩＤ：００５）が写る画像を、閲覧している。閲覧者Ｂに対する被写体人物ＡからＥの関係種別を以下に示す。
［被写体人物］ ［被写体人物識別子］ ［関係種別］
Ａ ００１ 家族
Ｂ ００２ 本人
Ｃ ００３ 知人
Ｄ ＊＊＊ 他人
Ｅ ００５ 家族
【００４７】
ここで重みα１は、表示ルールによって、例えば関係種別が「本人」である場合、重みα１を「０．８」と決定し、関係種別が「家族」又は「知人」の場合、重みα１を「２」と決定する。また、関係種別が「他人」である場合、重みα１は「１」と決定される。更に、画像に人物が写っていない場合、重みα１は「１」と決定される。
【００４８】
恥ずかしがり屋モードは、ある一定年齢以上の人物に対して、自動的に適用してもよい。閲覧者の個人属性である年齢は、閲覧者自らが入力することによって予め記憶されたものであってもよい。また、閲覧者の顔を撮影した顔写真から、年齢を自動的に推定する技術を適用してもよい。
【００４９】
図３によれば、４枚の画像が表示されており、以下に、閲覧者（Ｂ）に対する被写体人物の関係種別に応じた表示サイズ比の例を示す。
［被写体人物］ ［関係種別］ ［表示サイズ比（Ｓ×α１）］
Ａ・Ｅ 家族・家族 Ｓ×２
Ｂ 本人 Ｓ×０．８
Ｃ 知人 Ｓ×２
Ｄ 他人 Ｓ×１
【００５０】
ここで、「恥ずかしがり屋モード」は、閲覧者自身が大きく写っている画像の場合のみ、表示サイズ比を小さくするものであってもよい。この場合、閲覧者自身が大きく写っているかどうかは、画像全体に対する顔領域の面積の占める割合によって判断する。
【００５１】
図４は、本発明における第４の表示イメージである。
【００５２】
一般的に、年齢が高いほど視覚能力は低くなりやすい。そこで、閲覧者の年齢が高い場合、視覚能力が高い人と比較して、一画像あたりの面積を大きくする。例えば「個人属性モード」のようなモードを設定し、閲覧者の年齢が高い場合、画像の表示サイズ比を大きくするように、表示ルールの重みα１を決定する。
【００５３】
図４では、高齢の閲覧者Ｅ（ＩＤ：００５）が、被写体人物Ａ（ＩＤ：００１）、Ｂ（ＩＤ：００２）及びＥ（ＩＤ：００５）が写る画像を、閲覧している。図４によれば、閲覧者Ｅに対する被写体人物ＡからＥの関係種別及び個人属性は、以下のように表される。
［被写体人物］ ［被写体人物識別子］ ［関係種別］ ［個人属性］
Ａ ００１ 家族
６５歳未満
Ｂ ００２ 家族
６５歳未満
Ｅ ００５ 本人
６５歳以上
【００５４】
ここで重みα１は、表示ルールによって、全体的に大きい値に決定される。例えば関係種別が「本人」である場合、重みα１を「２．５」と決定し、関係種別が「家族」の場合、重みα１を「２」と決定する。「知人の場合、重みα１を「１．５」と決定する。また、関係種別が「他人」である場合、重みα１は「１．２」と決定される。更に、画像に人物が写っていない場合、重みα１は「１．２」と決定される。
【００５５】
図４によれば、２枚の画像が表示されており、以下に、閲覧者（Ｅ）に対する被写体人物の関係種別に応じた表示サイズ比の例を表す。
［被写体人物］ ［関係種別］ ［表示サイズ比（Ｓ×α１）］
Ａ・Ｂ 家族・家族 Ｓ×２
Ｂ・Ｅ 家族・本人 Ｓ×２．５
【００５６】
閲覧者の個人属性である年齢は、閲覧者自らが入力することによって予め記憶されたものであってもよい。また、閲覧者の顔を撮影した顔写真から、年齢を自動的に推定する技術を適用してもよい。
【００５７】
図５は、本発明における画面出力装置の機能構成図である。
【００５８】
図５によれば、画面出力装置１は、メモリカード１０１と、入力インタフェース１０２と、画面データを表示するディスプレイ１０３と、画面データを物理的な紙媒体に印刷する印刷機能部１０４とを有する。ディスプレイ１０３を備えた画面出力装置としては、デジタルフォトフレームがあり、印刷機能部１０４を備えた画面出力装置としては、プリンタがある。
【００５９】
メモリカード１０１は、例えばＳＤ(Secure Digital)カードのようなものであって、デジタルフォトフレーム１に対して挿脱可能であることが多い。メモリカード１０１は、例えばデジタルカメラにも挿入可能であって、そのデジタルカメラによって撮影された多数の画像を蓄積する。デジタルフォトフレーム１は、メモリカード１０１に蓄積された多数の画像を、ディスプレイ１０３にスライドショーのように連続的に表示する。パーソナルコンピュータや携帯電話機、スマートフォン、タブレットのような端末で閲覧する場合には、Ｗｅｂ上のストレージサーバやこれら端末の記憶部に写真を保存することが多く、この役割をメモリカード１０１が果たす。
【００６０】
入力インタフェース１０２は、閲覧者の情報を取得するものであって、実施形態に応じて生体データを取得可能なデバイスや、閲覧者によって入力可能なキーボードであってもよい。また、生体データを取得可能なデバイスとしては、カメラ、マイク、センサ等がある。例えば、カメラであれば、閲覧者の顔写真データを取得することができる。また、マイクであれば、閲覧者の声データを取得することができる。更に、センサであれば、その機能に応じて、閲覧者の指紋データ、静脈データ、虹彩データ等を取得することができる。入力インタフェース１０２によって取得された情報は、その閲覧者を特定するために用いられる。
【００６１】
また、図５によれば、デジタルフォトフレーム１は、被写体情報取得部１１と、被写体情報記憶部１２と、閲覧者情報取得部１３と、表示ルール記憶部１４と、表示サイズ比決定部１５と、画面出力部１６とを有する。これら機能構成部は、画面出力装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００６２】
［被写体情報取得部１１］
被写体情報取得部１１は、メモリカード１０１に蓄積された画像毎に、その画像に写る人物の被写体人物識別子を取得する。被写体人物識別子を対応付けた画像は、被写体情報記憶部１２へ出力される。
【００６３】
被写体情報取得部１１は、画像から被写体人物を自動的に検出する画像管理プログラムであってもよい。このプログラムは、写真の中から顔領域を抽出し、多数の写真の中で顔の同一性によってグループ化し、その顔に対して順次「名前タグ」を付与する。画像管理プログラムとして、代表的には、Google社によって提供されるPicasa（登録商標）（v3.5以降のname tag 機能）や、Microsoft社のWindows Liveフォトギャラリー（登録商標）、Apple社のiPhoto'09（登録商標）がある。尚、本発明によれば、画像に被写体人物識別子（名前タグ）が付与されていればよく、この被写体認証処理は、自動に限られず、手動であってもよい。
【００６４】
尚、前述した実施形態によれば、ディスプレイに表示する画像は、静止画像として説明しているが、動画像（ビデオ）であっても実現できる。人物識別子の検出のために、動画像のキーフレームに対する顔認識認証又は歩容認証を適用することもできる。
【００６５】
［被写体情報記憶部１２］
被写体情報記憶部１２は、画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶する。被写体人物識別子が付与された画像は、表示サイズ比決定部１５へ出力される。尚、被写体情報記憶部１２は、メモリカード１０１と一体的なものであって、メモリカード１０１に記憶された画像に被写体識別子を付与するものであってもよい。
【００６６】
［閲覧者情報取得部１３］
関係者情報取得部１３は、生体データ入力部１３１と、閲覧者特定用データ記憶部１３２と、閲覧者特定部１３３と、関係種別情報記憶部１３４と、個人属性情報記憶部１３５とを有する。閲覧者情報取得部１３は、入力インタフェース１０２を介して、ディスプレイを現に閲覧している閲覧者を特定するための情報を取得し、閲覧人物識別子を特定する。
【００６７】
閲覧者を特定する最も簡単な方法としては、閲覧者に、閲覧人物識別子を入力させることができる。例えば、キーボードによるテキスト入力や、マイクによる音声入力に基づく音声認識によって、閲覧者名及び閲覧人物識別子を取得するものであってもよい。また、ＳＮＳサーバに対するログインＩＤを、閲覧人物識別子として扱うこともできる。
【００６８】
その他の方法として、閲覧者の生体データを取得し、その生体データから閲覧者を特定することもできる。
【００６９】
生体データ入力部１３１は、入力インタフェース１０２から、閲覧者の生体データを入力する。生体データは、例えば以下のようなものがある。
カメラによって取得された閲覧者の顔写真
マイクによって取得された閲覧者の声データ
指紋センサによって取得された閲覧者の指紋データ
静脈センサによって取得された閲覧者の静脈データ
瞳センサによって取得された閲覧者の虹彩データ
【００７０】
閲覧者特定用データ記憶部１３２は、人物識別子に対応付けられた生体データからなる閲覧者特定用データの集合を記憶する。例えば、フォトフレーム１を閲覧する人物は、比較的限られた家族、知人等であって、それら人物の生体データが予め記憶されている。
【００７１】
閲覧者特定部１３２は、生体データを入力し、閲覧者特定用データを用いて認証し、閲覧者の生体データに対する閲覧者識別子を特定する。ここでの認証としては、以下のようなものがある。
閲覧者の顔写真に対する画像認証
閲覧者の声データに対する音声（声紋）認証
閲覧者の指紋データに対する指紋認証
閲覧者の静脈データに対する静脈認証
閲覧者の虹彩データに対する虹彩認証
特定された閲覧者識別子は、表示サイズ比決定部１５へ出力される。
【００７２】
尚、生体データの種類（例えば顔データ）が、閲覧者特定用データ記憶部１３２と被写体情報記憶部１２とで同じである場合、共用することもできる。
【００７３】
関係種別情報記憶部１３４は、閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別情報を記憶する。このような関係種別情報は、前述したように、例えばfacebook（登録商標）やmixi（登録商標）のようなＳＮＳ(Social Networking Service)サーバから取得することもできる。ＳＮＳサーバによれば、家族や恋人を指定するモードがある。関係種別情報としては、例えば、本人として閲覧者人物識別子に対応して、「家族」の人物識別子、「知人」の人物識別子等が対応付けられている。これら関係種別情報は、表示サイズ比決定部１５へ出力される。
【００７４】
前述したように、ＳＮＳのソーシャルグラフの経路の短さを関係種別としてもよい。ＳＮＳサーバを介したメッセージの回数などの親密度を用いてもよい。特に、ＳＮＳサーバに保存されている画像や、ＳＮＳサーバに関連付けられた画像を閲覧する際には、ＳＮＳサーバから得られる関係種別を適用するとよい。
【００７５】
個人属性情報記憶部１３５は、閲覧者の個人属性情報が記憶されている。個人属性とは、例えば、閲覧者の視覚能力に応じた年齢別の属性である。これら個人属性情報は、表示サイズ比決定部１５へ出力される。
【００７６】
［表示ルール記憶部１４］
表示ルール記憶部１４は、閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα１を規定した表示ルールを記憶する。具体的には、表示ルールの重みα１は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも大きい値を表示サイズ比とし、又は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれない場合、基本サイズ比よりも小さい値を表示サイズ比とするものであってもよい。
【００７７】
また、表示ルールの重みα１は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも小さい値を表示サイズ比とするものであってもよい。更に、表示ルールの重みα１は、閲覧者の年齢帯が高くなるほど、基本サイズ比よりも大きい値を表示サイズ比とするものであってもよい。
【００７８】
また、表示ルールは、閲覧者の閲覧人物識別子における個人属性によって、画像の基本サイズ比に対する重みα２を更に規定するものであってもよい。
【００７９】
［表示サイズ比決定部１５］
表示サイズ比決定部１５は、表示ルール記憶部１４を用いて、閲覧者の閲覧人物識別子に対する、現に表示すべき画像に写る人物の被写体人物識別子の関係種別及び／又は個人属性によって、ディスプレイに対する当該画像の表示サイズ比を決定する。表示サイズ比は、基本サイズ比Ｓに対して表示ルールの重みαを乗算した表示サイズ比を決定する。重みαの値が大きい程、表示サイズ比も大きくなる。決定された表示サイズ比Rは、画面出力部１６へ出力される。
【００８０】
また、表示サイズ比決定部１５は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、当該画像に写る閲覧者の顔領域サイズを用いて、全画面サイズに対する顔領域サイズの大きさの比を、更に重み付けしてもよい。
【００８１】
表示サイズ比決定部１５は、顔領域検出機能を更に備えることによって被写体人物の顔領域サイズを検出する。顔領域検出機能は、被写体情報記憶部１２に蓄積された写真画像毎に、特徴量を抽出し、被写体人物の顔領域を検出する。ここで、顔領域検出の技術は、OpenCVのHaar Feature特徴量を用いたカスケード型分類器に基づく顔検出器ライブラリを、複数の解像度に変換した画像に対して適用することによって検出できる（例えば非特許文献３参照）。
【００８２】
尚、顔領域検出機能は、写真画像から被写体人物を自動的に検出する画像管理プログラムにおける顔検出機能を用いたものであってもよい。画像管理プログラムとして、代表的には、Google社によって提供されるPicasa（登録商標）（v3.5以降のname tag 機能）や、Microsoft社のWindows Liveフォトギャラリー（登録商標）、Apple社のiPhoto'09（登録商標）がある。
【００８３】
表示サイズ比決定部１５が顔領域検出機能を備えることによって、その顔領域サイズの比に「比例」するように更なる重み付けをすることができる。この場合、顔領域サイズの比が大きい画像ほど、表示サイズが大きくなりやすくなり、インパクトのあるレイアウトとなりやすい。これは「普通モード」で使用することが好ましい。
【００８４】
逆に、顔領域サイズの比に「反比例」するように更なる重み付けをすることもできる。この場合、レイアウト中の各々の画像表示サイズに関わらず、ある特定種別の人の顔については、顔の面積が一定となるレイアウトとなりやすい。これは、「恥ずかしがり屋モード」で使用することが好ましい。
【００８５】
また、他の実施形態として、表示サイズ比決定部１５は、閲覧者と関係人物識別子（家族、知人）とが同一画像中に存在する場合には、閲覧者とそれらの関係人物を含むように画像を切り抜くものであってもよい。切り抜かれたその画像に対して、前述したような表示サイズ比で表示することも好ましい。
【００８６】
［画面出力部１６］
画面出力部１６は、画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する。画面データが複数のページに渡る場合には、連続的に出力される。画面データは、ディスプレイ部１０３又は印刷機能部１０４へ出力される。
【００８７】
図６は、本発明における第５の表示イメージである。
【００８８】
図６によれば、本発明に、特許文献３、非特許文献１及び非特許文献２に記載されたコマ割りの技術が適用されたものである。この技術によれば、画面分割数Ｎを予め設定しておくものであるが、本発明の表示サイズ比R（及び閲覧者の個人属性）に応じて、表示面積Ｓおよび分割数Ｎを決定する。
【００８９】
Ｎmaxは、画面サイズによって予め設定されたものであってもよい。例えば、７インチであれば７、それより大きく１２インチ以下であれば１４、それより大きければ１８とする。異なるディスプレイを用いて同一の画像を遠隔地などで同期して閲覧する場合は、小さい方のディスプレイサイズのＮmaxを採用する。同様にＮminも予め決めておく。例えば、全てのディスプレイサイズで１とする。（Ｎminが１である場合は、画面に１枚だけ表示される場合がある。Ｎmaxは２以上とする。）
【００９０】
（１）最大分割数Ｎmaxを、閲覧者の数によって決定する方法
閲覧者数に応じて、最大分割数Ｎmax及び平均分割数Ｎaveを決定する。例えば閲覧者数が所定数よりも多い場合、最大分割数Ｎmaxを小さくし、基本サイズＳを大きくする。例えば、予め設定されたＮmaxの値の半分の値とする。
【００９１】
（２）最大分割数Ｎmaxを、閲覧者の視覚能力によって決定する
閲覧者の視覚能力に応じて、最大分割数Ｎmax及び平均分割数Ｎaveを決定する。例えば年齢が高いほど視覚能力は低くなりやすく、その場合、最大分割数Ｎmaxを小さくし、基本サイズＳを大きくする。例えば、予め設定されたＮmaxの値の半分の値とする。最小面積Ｓminを指定する場合には、例えば、最小面積の値を倍にし、大きく表示されるようにする。
【００９２】
最大分割数Ｎmax及び平均分割数Ｎaveから計算される値によって、ディスプレイの表示画面が、Ｎ個にコマ割りされる。その１個の表示面積が、表示面積Ｓとされる。画面出力部１６は、複数の画像の表示面積の総和が、画像の貼り付け領域面積（画面サイズ）に近くなるように区分した画像組を抽出し、その画像組に含まれる画像を表示サイズSに従って拡大・縮小し、１枚の画面にレイアウトする。
【００９３】
各画像に付与された表示面積Ｓを表示サイズ比Ｒより求める。例えば、表示すべき複数の画像において表示サイズ比Ｒを取得し、その中で最小となる表示サイズ比Ｒの面積が、（画面サイズ/Ｎmax）になるように、且つ、表示サイズ比Ｒの中で最大となるＲの面積が、（画面サイズ/Ｎmin）になるように、一次関数で表示面積Ｓを計算する。他の方法としては、（表示面積、基本サイズ比）の組みを２つ与え、一次関数で表示面積Ｓを計算する。例えば、平均分割数Ｎaveを用いて、面積（画面サイズ/Ｎave）と表示サイズ比Ｒのある値（例えば、R=1）とが一致し、指定した最小表示面積Ｓminか（画面サイズ/Ｎmax）と表示サイズ比Rの最小値が一致するように一次関数でＳを計算し直す。但し、表示面積Ｓが（画面サイズ/Ｎmin）を超えた場合は、その表示面積Ｓを（画面サイズ/Ｎmin）とする。
【００９４】
その面積Ｓを可能な限り反映するように、各画像が各コマに割り当てられる。例えば、１ページ目は、画面サイズになるまで、適当に複数枚の画像を選ぶ処理を繰り返し、総和が画面サイズに最も近くなる画像の組を用いてレイアウトされる。分割数Ｎは選んだ画像の枚数となる。２ページ目は、１ページ目に用いた画像を除いて、同様の処理を繰り返す。画像の順序が決定されている場合も同様に、総和が画面サイズに近くなるようにページ割りをしていき、表示面積Ｓを可能な限り反映するようにレイアウトする。この場合も分割数Ｎは選んだ画像の枚数で自動的に決定される。
【００９５】
尚、他の実施形態として、スライドショーのように連続的に表示する場合には、重みα１が大きいほど、表示サイズを大きくするだけでなく、表示時間を長くすることも好ましい。その場合、表示時間を、例えば以下のように設定する。
閾値Ｔ１＜α１＜Ｔ２： 表示時間を通常時間よりも１．５倍長くする
α１≧Ｔ２： 表示時間を通常時間よりも２倍長くする。
また、レイアウトは、余白の面積を算出し、その面積に配置可能な１枚の画像か、足してその面積に配置可能な複数枚の画像を選択し、その位置に配置することも好ましい。
【００９６】
更に、他の実施形態として、重みα１、重みα２又は前記重みα１×α２の値が大きい画像ほど、表示時間を長くすることも好ましい。強調的に表示したい画像ほど、大きく且つ長時間、表示されることとなる。
【００９７】
以上、詳細に説明したように、本発明の画面出力装置、プログラム及び方法によれば、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる。本発明によれば、特に、閲覧者と被写体人物との関係に応じて表示サイズを自動的に決定することによって、閲覧者が特別にパラメータを設定することなく、人物間関係に応じてレイアウトが変化する画面データが出力される。この画面データは、スライドショーのようにディスプレイに表示され、又は、アルバムのように紙媒体に印刷される。画像データのレイアウトは、それを視認する閲覧者によって変化する。
【００９８】
本発明によれば、人物間関係の重要度に応じて強調すべき画像の表示サイズを大きくすることによって、１枚の画像表示と比較して一覧性が高く、コマの大きさにメリハリが出て見栄えがよく、コマの大きさがユーザの要望にあった、主観評価の高いレイアウトで画像を閲覧することができる。
【００９９】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１００】
１ 画面出力装置
１０１ メモリカード
１０２ 入力インタフェース
１０３ ディスプレイ部
１０４ 印刷機構部
１１ 被写体情報取得部
１２ 被写体情報記憶部
１３ 閲覧者情報取得部
１３１ 生体データ入力部
１３２ 閲覧者特定用データ記憶部
１３３ 閲覧者特定部
１３４ 関係種別情報記憶部
１３５ 個人属性情報記憶部
１４ 表示ルール記憶部
１５ 表示サイズ比決定部
１６ 画面出力部
【特許請求の範囲】
【請求項１】
複数の画像を１つの画面にレイアウトして出力する画面出力装置において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
前記画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
前記閲覧者の閲覧人物識別子に対する、前記画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
前記画像毎の前記表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画面出力手段と
を有することを特徴とする画面出力装置。
【請求項２】
前記画面出力手段によって出力された前記画面データを表示するディスプレイを備えた画面表示装置であることを特徴とする請求項１に記載の画面出力装置。
【請求項３】
前記画像出力手段によって出力された前記画面データを紙媒体に印刷する印刷機能を備えた画面印刷装置であることを特徴とする請求項１に記載の画面出力装置。
【請求項４】
閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα１を規定した表示ルール記憶手段を更に有し、
前記閲覧情報取得手段は、前記閲覧人物識別子に対する関係種別毎の人物識別子も取得するものであり、
前記表示サイズ比決定手段は、前記表示ルール記憶手段を用いて、前記閲覧人物識別子に対する前記被写体人物識別子の関係種別に応じて、基本サイズ比に重みα１を重み付けた値を、前記表示サイズ比として出力する
ことを特徴とする請求項１から３のいずれか１項に記載の画面出力装置。
【請求項５】
前記表示ルール記憶手段の重みα１は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも大きい値を表示サイズ比とし、又は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれない場合、基本サイズ比よりも小さい値を表示サイズ比とする
ことを特徴とすることを特徴とする請求項４に記載の画面出力装置。
【請求項６】
前記表示ルール記憶手段の重みα１は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも小さい値を表示サイズ比とする
ことを特徴とすることを特徴とする請求項４に記載の画面出力装置。
【請求項７】
前記表示サイズ比決定手段は、
画像の被写体人物識別子に所定の１つ以上の人物識別子が含まれる場合、顔領域検出機能を用いて、当該画像に写る顔領域サイズを検出し、該顔領域サイズの大きさに応じて前記重みα１に更に重み付ける
ことを特徴とすることを特徴とする請求項４に記載の画面出力装置。
【請求項８】
前記表示ルール記憶手段の重みα１は、ＳＮＳ(Social Networking Service)のソーシャルグラフから得られる関係種別に応じて、又は、閲覧者人物識別子と被写体人物識別子との間の最短経路距離に応じて（距離が短いほど大きい値）決定されることを特徴とする請求項４から７のいずれか１項に記載の画面出力装置。
【請求項９】
前記表示ルール記憶手段は、閲覧者の閲覧人物識別子における個人属性によって、画像の基本サイズ比に対する重みα２を更に規定し、
前記閲覧情報取得手段は、前記閲覧人物識別子の個人属性も取得するものであり、
前記表示サイズ比決定手段は、前記表示ルール記憶手段を用いて、前記閲覧人物識別子に対する前記個人属性に応じて、基本サイズ比に重みα２を更に重み付けた値を、前記表示サイズ比として出力する
ことを特徴とする請求項４から８のいずれか１項に記載の画面出力装置。
【請求項１０】
前記個人属性は、閲覧者の視覚能力に応じた年齢別であり、
前記表示ルール記憶手段の重みα２は、前記閲覧者年齢帯が高くなるほど、基本サイズ比よりも大きい値を表示サイズ比とする
ことを特徴とする請求項９に記載の画面出力装置。
【請求項１１】
前記重みα１、前記重みα２又は前記重みα１×α２の値が大きい画像ほど、表示時間を長くすることを特徴とする請求項９又は１０に記載の画面出力装置。
【請求項１２】
画面サイズは、Ｎ個の表示サイズに分割され、その１個の表示サイズを、前記基本サイズ比とし、
前記画面出力手段は、連続順の複数の画像の表示サイズの総和が、前記画面サイズに近くなるように区分した画像組を抽出し、その画像組に含まれる異なる表示サイズの画像を１枚の画面サイズにレイアウトする
ことを特徴とする請求項４から１１のいずれか１項に記載の画面出力装置。
【請求項１３】
分割された表示サイズのＮ個は、閲覧者の数に基づいて決定されることを特徴とする請求項１２に記載の画面出力装置。
【請求項１４】
前記閲覧者情報取得手段は、
現に閲覧している前記閲覧者の生体データを入力する生体データ入力手段と、
前記人物識別子に対応付けられた生体データからなる閲覧者特定用データの集合を記憶した閲覧者特定用データ記憶手段と、
前記閲覧者特定用データを用いて、前記閲覧者の生体データに対する閲覧者識別子を出力する閲覧者特定手段と
を更に有することを特徴とする請求項１から１３のいずれか１項に記載の画面出力装置。
【請求項１５】
前記生体データは、顔写真、声データ、指紋データ、静脈データ又は虹彩データであり、前記認証は、画像認証、音声認証、指紋認証、静脈認証又は虹彩認証であることを特徴とする請求項１４に記載の画面出力装置。
【請求項１６】
複数の画像を１つの画面にレイアウトして出力する装置に搭載されたコンピュータを機能させる画面出力プログラムにおいて、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
前記画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
前記閲覧者の閲覧人物識別子に対する、前記画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
前記画像毎の前記表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画像出力手段と
してコンピュータを機能させることを特徴とする画面出力プログラム。
【請求項１７】
複数の画像を１つの画面にレイアウトして出力する装置における画面出力方法において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶部を有し、
前記画像を閲覧する閲覧者の閲覧人物識別子を取得する第１のステップと、
前記閲覧者の閲覧人物識別子に対する、前記画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する第２のステップと、
前記画像毎の前記表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する第３のステップと
を有することを特徴とする画面出力方法。
【請求項１】
複数の画像を１つの画面にレイアウトして出力する画面出力装置において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
前記画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
前記閲覧者の閲覧人物識別子に対する、前記画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
前記画像毎の前記表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画面出力手段と
を有することを特徴とする画面出力装置。
【請求項２】
前記画面出力手段によって出力された前記画面データを表示するディスプレイを備えた画面表示装置であることを特徴とする請求項１に記載の画面出力装置。
【請求項３】
前記画像出力手段によって出力された前記画面データを紙媒体に印刷する印刷機能を備えた画面印刷装置であることを特徴とする請求項１に記載の画面出力装置。
【請求項４】
閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα１を規定した表示ルール記憶手段を更に有し、
前記閲覧情報取得手段は、前記閲覧人物識別子に対する関係種別毎の人物識別子も取得するものであり、
前記表示サイズ比決定手段は、前記表示ルール記憶手段を用いて、前記閲覧人物識別子に対する前記被写体人物識別子の関係種別に応じて、基本サイズ比に重みα１を重み付けた値を、前記表示サイズ比として出力する
ことを特徴とする請求項１から３のいずれか１項に記載の画面出力装置。
【請求項５】
前記表示ルール記憶手段の重みα１は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも大きい値を表示サイズ比とし、又は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれない場合、基本サイズ比よりも小さい値を表示サイズ比とする
ことを特徴とすることを特徴とする請求項４に記載の画面出力装置。
【請求項６】
前記表示ルール記憶手段の重みα１は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも小さい値を表示サイズ比とする
ことを特徴とすることを特徴とする請求項４に記載の画面出力装置。
【請求項７】
前記表示サイズ比決定手段は、
画像の被写体人物識別子に所定の１つ以上の人物識別子が含まれる場合、顔領域検出機能を用いて、当該画像に写る顔領域サイズを検出し、該顔領域サイズの大きさに応じて前記重みα１に更に重み付ける
ことを特徴とすることを特徴とする請求項４に記載の画面出力装置。
【請求項８】
前記表示ルール記憶手段の重みα１は、ＳＮＳ(Social Networking Service)のソーシャルグラフから得られる関係種別に応じて、又は、閲覧者人物識別子と被写体人物識別子との間の最短経路距離に応じて（距離が短いほど大きい値）決定されることを特徴とする請求項４から７のいずれか１項に記載の画面出力装置。
【請求項９】
前記表示ルール記憶手段は、閲覧者の閲覧人物識別子における個人属性によって、画像の基本サイズ比に対する重みα２を更に規定し、
前記閲覧情報取得手段は、前記閲覧人物識別子の個人属性も取得するものであり、
前記表示サイズ比決定手段は、前記表示ルール記憶手段を用いて、前記閲覧人物識別子に対する前記個人属性に応じて、基本サイズ比に重みα２を更に重み付けた値を、前記表示サイズ比として出力する
ことを特徴とする請求項４から８のいずれか１項に記載の画面出力装置。
【請求項１０】
前記個人属性は、閲覧者の視覚能力に応じた年齢別であり、
前記表示ルール記憶手段の重みα２は、前記閲覧者年齢帯が高くなるほど、基本サイズ比よりも大きい値を表示サイズ比とする
ことを特徴とする請求項９に記載の画面出力装置。
【請求項１１】
前記重みα１、前記重みα２又は前記重みα１×α２の値が大きい画像ほど、表示時間を長くすることを特徴とする請求項９又は１０に記載の画面出力装置。
【請求項１２】
画面サイズは、Ｎ個の表示サイズに分割され、その１個の表示サイズを、前記基本サイズ比とし、
前記画面出力手段は、連続順の複数の画像の表示サイズの総和が、前記画面サイズに近くなるように区分した画像組を抽出し、その画像組に含まれる異なる表示サイズの画像を１枚の画面サイズにレイアウトする
ことを特徴とする請求項４から１１のいずれか１項に記載の画面出力装置。
【請求項１３】
分割された表示サイズのＮ個は、閲覧者の数に基づいて決定されることを特徴とする請求項１２に記載の画面出力装置。
【請求項１４】
前記閲覧者情報取得手段は、
現に閲覧している前記閲覧者の生体データを入力する生体データ入力手段と、
前記人物識別子に対応付けられた生体データからなる閲覧者特定用データの集合を記憶した閲覧者特定用データ記憶手段と、
前記閲覧者特定用データを用いて、前記閲覧者の生体データに対する閲覧者識別子を出力する閲覧者特定手段と
を更に有することを特徴とする請求項１から１３のいずれか１項に記載の画面出力装置。
【請求項１５】
前記生体データは、顔写真、声データ、指紋データ、静脈データ又は虹彩データであり、前記認証は、画像認証、音声認証、指紋認証、静脈認証又は虹彩認証であることを特徴とする請求項１４に記載の画面出力装置。
【請求項１６】
複数の画像を１つの画面にレイアウトして出力する装置に搭載されたコンピュータを機能させる画面出力プログラムにおいて、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
前記画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
前記閲覧者の閲覧人物識別子に対する、前記画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
前記画像毎の前記表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画像出力手段と
してコンピュータを機能させることを特徴とする画面出力プログラム。
【請求項１７】
複数の画像を１つの画面にレイアウトして出力する装置における画面出力方法において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶部を有し、
前記画像を閲覧する閲覧者の閲覧人物識別子を取得する第１のステップと、
前記閲覧者の閲覧人物識別子に対する、前記画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する第２のステップと、
前記画像毎の前記表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する第３のステップと
を有することを特徴とする画面出力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−８３６８９（Ｐ２０１３−８３６８９Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２１６４９（Ｐ２０１１−２２１６４９）
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]