写真画像毎の再生時間を最適化する画像再生装置、プログラム及び方法
【課題】写真画像に写る被写体の内容に応じて、閲覧者にとって最適な再生時間で写真画像を再生することができる画像再生装置、プログラム及び方法を提供する。
【解決手段】写真画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、注視領域全ての面積を注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する平均注視領域サイズの注視領域割合値ＲHとを算出する第１のパラメータ算出手段と、注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、画像の基準再生時間ｔ0に延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、画像毎に、再生時間ｔを蓄積する画像蓄積手段とを有し、画像を、再生時間ｔだけディスプレイに表示するように再生させる。
【解決手段】写真画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、注視領域全ての面積を注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する平均注視領域サイズの注視領域割合値ＲHとを算出する第１のパラメータ算出手段と、注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、画像の基準再生時間ｔ0に延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、画像毎に、再生時間ｔを蓄積する画像蓄積手段とを有し、画像を、再生時間ｔだけディスプレイに表示するように再生させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、閲覧者によって視認されるディスプレイに、複数の写真画像を連続的に表示するスライドショーの技術に関する。
【背景技術】
【０００２】
スライドショーの技術は、ユーザが指定した複数の画像を連続的に１枚ずつ表示させことができ、デジタルフォトフレームやパーソナルコンピュータで実行される。例えば、サムネイル状に表示された複数の画像の中で、チェックボックスにチェックされた画像のみを、任意の順序でスライドショー的に表示させる技術がある（例えば特許文献１参照）。この技術によれば、１枚ずつの画像の再生時間（表示時間）を、ユーザ操作によって予め設定することができる。但し、その再生時間は一定である。
【０００３】
また、各写真画像の再生時間を、累計再生回数又は累計再生時間に基づいて重み付けによって変化させる技術もある（例えば特許文献２参照）。この技術によれば、その写真に対する累計再生回数又は累計再生時間は、閲覧者の興味に応じて変化するものであることを前提としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２８８０６８号公報
【特許文献２】特開２００９−２４６９８９号公報
【非特許文献】
【０００５】
【非特許文献１】ＯｐｅｎＣＶ、[online]、［平成２３年９月１８日検索］、インターネット＜URL:http://opencv.jp/＞
【非特許文献２】1.Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang,Shi-Min Hu. Global Contrast based Salient Region Detection. IEEE CVPR, p.409-416, Colorado Springs, USA, June 21-23, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された技術によれば、写真画像毎の再生時間は一定であって、連続的に閲覧する閲覧者にとっては、全体的に単調な感じ持つ場合が多い。また、特許文献２に記載された技術によれば、ユーザの過去の累計再生回数又は累計再生時間に基づいて再生時間が変化するために、初めて再生する写真画像における再生時間は、常に一定とならざるを得ない。
【０００７】
これに対し、発明者らは、特に家庭で撮影された写真画像の場合、その写真画像に写る被写体の内容に応じて再生時間を変化させた方が、閲覧者にとってその内容を理解しやすいのではないか、と考えた。特に、写真画像に写る被写体が複雑であるほど、その再生時間が長い方が、閲覧者にとってその内容を理解しやすいのではないか、と考えた。
【０００８】
そこで、本発明は、写真画像に写る被写体の内容に応じて、閲覧者にとって最適な再生時間で写真画像を再生することができる画像再生装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する画像再生装置において、
画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、
注視領域全ての面積を注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する平均注視領域サイズの注視領域割合値ＲHを算出する第１のパラメータ算出手段と、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、
画像の基準再生時間ｔ0に延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、
画像毎に、再生時間ｔを蓄積する画像蓄積手段と
を有し、
画像を、再生時間ｔだけディスプレイに表示するように再生させることを特徴とする。
【００１０】
本発明の画像再生装置における他の実施形態によれば、
画像は、写真画像であり、
注視領域は、被写体人物の顔領域であり、
注視領域検出手段は、顔領域検出手段であることも好ましい。
【００１１】
本発明の画像再生装置における他の実施形態によれば、
写真画像から特徴量を抽出し、被写体人物以外の顕著領域を検出する顕著領域検出手段と、
顕著領域全てを合わせた顕著領域面積ＲOを算出する第２のパラメータ算出手段と、
１／顕著領域面積ＲOに基づく第２の延長再生時間ｔ2を算出する第２の延長再生時間算出手段と
を更に有し、
再生時間算出手段は、再生時間ｔに、第２の延長再生時間ｔ2を更に加減算することも好ましい。
【００１２】
本発明の画像再生装置における他の実施形態によれば、
写真画像から特徴量を抽出し、被写体人物以外の顕著領域と、その顕著領域数ＮHとを検出する顕著領域検出手段と、
顕著領域全ての面積を顕著領域数ＮHで除算した平均顕著領域サイズを算出し、画像領域サイズに対する平均顕著領域サイズの顕著領域割合値ＲHを算出する第２のパラメータ算出手段と、
顕著領域数ＮH／顕著領域割合値ＲHに基づく第２の延長再生時間ｔ２を算出する第２の延長再生時間算出手段と、
を更に有し、
再生時間算出手段は、再生時間ｔに、第２の延長再生時間ｔ2を更に加減算することも好ましい。
【００１３】
本発明の画像再生装置における他の実施形態によれば、
写真画像から、特徴量を抽出し、背景のシーンを検出するシーン解析手段と、
屋外であるほど高い値を有し、屋内であるほど低い値を有するシーン認識値ＲSを算出する第３のパラメータ算出手段と、
シーン認識値ＲSに基づく第３の延長再生時間ｔ3を算出する第３の延長再生時間算出手段と
を更に有し、
再生時間算出手段は、再生時間ｔに、第３の延長再生時間ｔ3を更に加減算することも好ましい。
【００１４】
本発明の画像再生装置における他の実施形態によれば、
写真撮影時刻が所定時間範囲で連続し、且つ、その連続する写真画像の類似度が所定閾値以上で類似するか否かを検出する写真類似度検出手段と、
連続して類似する写真画像の連続類似枚数ＮSを算出する第４のパラメータ算出手段と、
１／連続類似枚数Ｎに基づく第４の延長再生時間ｔ4を算出する第４の延長再生時間算出手段と
を更に有し、
再生時間算出手段は、再生時間ｔに、第４の延長再生時間ｔ4を更に加減算することも好ましい。
【００１５】
本発明の画像再生装置における他の実施形態によれば、
再生された写真画像における平均再生時間ＣL及び再生回数ＣTを記録する再生履歴記憶手段と、
写真画像における平均再生時間ＣL及び再生回数ＣTを取得する第５のパラメータ取得手段と、
１／（平均再生時間ＣL×再生回数ＣT）に基づく第５の延長再生時間ｔ5を算出する第５の延長再生時間算出手段と
を更に有し、
再生時間算出手段は、再生時間ｔに、第５の延長再生時間ｔ5を更に加減算することも好ましい。
【００１６】
本発明の画像再生装置における他の実施形態によれば、延長再生時間算出手段は、所定単位時間で正規化させる正規化係数を更に乗算することも好ましい。
【００１７】
本発明によれば、閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する装置に搭載されたコンピュータを機能させるプログラムにおいて、
画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、
注視領域全ての面積を注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する平均注視領域サイズの注視領域割合値ＲHを算出する第１のパラメータ算出手段と、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、
画像の基準再生時間ｔ0に延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、
画像毎に、再生時間ｔを蓄積する画像蓄積手段と
を有し、
画像を、再生時間ｔだけディスプレイに表示するように再生させることを特徴とする。
【００１８】
本発明によれば、閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する装置における画像表示方法において、
画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する第１のステップと、
注視領域全ての面積を注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する平均注視領域サイズの注視領域割合値ＲHを算出する第２のステップと、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第３のステップと、
画像の基準再生時間ｔ0に延長再生時間ｔ1を加減算した再生時間ｔを算出する第４のステップと、
画像毎に、再生時間ｔを蓄積する第５のステップと
を有し、画像を、再生時間ｔだけディスプレイに表示するように再生させることを特徴とする。
【発明の効果】
【００１９】
本発明における画像再生装置、プログラム及び方法によれば、写真画像に写る被写体の内容に応じて、閲覧者にとって最適な再生時間で写真画像を再生することができる。特に、再生時間を予め設定することなく、写真画像に写る被写体の複雑度に応じて、閲覧者にとってその内容を理解しやすい再生時間で再生することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明における画像再生装置の機能構成図である。
【図２】本発明における顔領域に基づく再生時間を表す説明図である。
【図３】本発明における顕著領域に基づく再生時間を表す説明図である。
【図４】本発明におけるシーン解析に基づく再生時間を表す説明図である。
【図５】本発明における写真類似度に基づく再生時間を表す説明図である。
【図６】本発明における再生履歴に基づく再生時間を表す説明図である。
【図７】再生時間が短くなる例と長くなる例とを表す説明図である。
【発明を実施するための形態】
【００２１】
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２２】
図１は、本発明における画像再生装置の機能構成図である。
【００２３】
本発明における画像再生装置１は、例えば家庭用のデジタルフォトフレームのようなものであって、画像をディスプレイに連続的に表示するものである。以下では、画像再生装置１は、デジタルフォトフレームであるとして説明する。また、フォトフレーム１のディスプレイに表示される画像は、例えば家庭で撮影された写真のような静止画像である。勿論、フォトフレームに限られず、パーソナルコンピュータで実行されるスライドショーのプログラムであってもよい。
【００２４】
図１によれば、画像再生装置としてのデジタルフォトフレーム１は、画像を蓄積するメモリカード１０１と、それら画像を表示するディスプレイ１０２とを有する。
【００２５】
メモリカード１０１は、例えばＳＤ(Secure Digital)カードのようなものであって、デジタルフォトフレーム１に対して挿脱可能であることが多い。メモリカード１０１は、例えばデジタルカメラにも挿入可能であって、そのデジタルカメラによって撮影された多数の画像を蓄積することができる。デジタルフォトフレーム１は、メモリカード１０１に蓄積された多数の画像を、ディスプレイ１０２にスライドショーのように連続的に表示する。
【００２６】
メモリカード１０１から再生される写真画像は、任意のフォルダ以下全ての写真画像群や、ユーザによって指定された写真画像群であってもよい。また、通常、多数の写真画像は、撮影日時に対して時系列順に昇順に並べることができる。
【００２７】
図１におけるデジタルフォトフレーム１は、以下の機能構成を有する。
（１）顔領域に基づく再生時間を算出するための、顔領域検出部１１１、第１のパラメータ算出部１１２、第１の延長再生時間算出部１１３
（２）顕著領域に基づく再生時間を算出するための、顕著領域検出部１２１、第２のパラメータ算出部１２２、第２の延長再生時間算出部１２３
（３）シーン解析に基づく再生時間を算出するための、シーン解析部１３１、第３のパラメータ算出部１３２、第３の延長再生時間算出部１３３
（４）写真類似度に基づく再生時間を算出するための、写真類似度検出部１４１、第４のパラメータ算出部１４２、第４の延長再生時間算出部１４３
（５）再生履歴に基づく再生時間を算出するための、再生履歴記憶部１５１、第５のパラメータ算出部１５２、第５の延長再生時間算出部１５３
（６）再生時間算出部１６
（７）画像蓄積部１７
（８）画像表示部１８
これら機能構成部は、画像再生装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００２８】
［（１）注視領域（顔領域）検出に基づく再生時間の算出］
「注視領域」とは、閲覧者が視覚的に注目する領域をいう。注視領域の検出には、例えば赤外線カメラによる眼球運動の追跡などがあるが、本発明によれば、画像から得られる所定条件に合致した部分をいう。例えば、被写体人物の顔領域や、不規則な色彩変化の密集領域や、画像の中央部分の顕著領域であってもよい。顔領域の場合、顔のパーツの相対位置や大きさ、目や鼻や頬骨や顎の形を特徴としたパターンに一致する部分を検出する。以下では、注視領域は、「顔領域」であるとして説明するが、その他の注視領域であってもよい。
【００２９】
図１によれば、顔領域に基づく再生時間を算出するために、顔領域検出部１１１と、第１のパラメータ算出部１１２と、第１の延長再生時間算出部１１３とを有する。
【００３０】
顔領域検出部１１１は、メモリカード１０１に蓄積された写真画像毎に、特徴量を抽出し、被写体人物の顔領域と、その顔領域数Ｎとを検出する。ここで、顔領域検出の技術は、OpenCVのHaar Feature特徴量を用いたカスケード型分類器に基づく顔検出器ライブラリを、複数の解像度に変換した画像に対して適用することによって検出する（例えば非特許文献１参照）。
【００３１】
顔領域検出の具体的な処理について説明する。始めに、入力したカラー画像を輝度画像に変換し、画像の左上の座標を原点(0,0)として、積分画像を生成する。
Ｉ(x,y)：輝度画像の座標(x,y)の輝度値
П(x,y)：積分画像
П(x+1,y)＝П(x,y)＋Ｉ(x+1,y)＋Ｉ(x+1,y-1)
П(x,y+1)＝П(x,y)＋Ｉ(x,y+1)＋Ｉ(x-1,y+1)
П(0,0)＝Ｉ(0,0)
П(x,-1)＝0
П(-1,y)＝0
【００３２】
この積分画像П(x,y)に対して、既知のHaarタイプ特徴量のフィルタ演算を適用する（例えば非特許文献２参照）。Haarタイプ特徴量は、隣接する白い矩形領域の平均輝度と黒い矩形領域の平均輝度との差によって表される。このフィルタの積算値を、ある矩形サイズ内Ｒ(a,b)で算出し、既知のada boostで算出した顔領域判定器に従って、各矩形領域内が顔画像であるか否かを判定する。この処理を、画素の左上から順に走査することによって、ある矩形サイズＲ(a,b)での顔領域を検出する。また、この矩形Ｒ(a,b)の大きさを元の画像に応じて大小に変化させて、この処理を繰り返し走査することによって、任意の大きさの顔領域を検出する。
【００３３】
次に、顔領域を検出した結果から、画像上の顔領域の下部の独自色の領域、及び、顔領域の近辺の肌色領域を、「人物領域」とする。人物は直立していることが多いことを前提として、顔領域の下部、即ち、顔を中心として範囲ｌt（一般にｌt＞３ｌf）の領域を「胴体」とする。ここで、独自色の定義は、画像中に存在する他の色との距離が大きい色のことを示す。ＲＧＢで表現される２つの色を(R1,G1,B1)(R2,G2,B2)とする場合、例えば色の距離Ｄcを、以下のように表す。
Ｄc＝√{(R1-R2)2+(G1-G2)2+(B1-B2)2}
【００３４】
ここで色空間は、ＲＧＢに限らず、以下のような一般的な色空間(L*a*b*, L*u*v, HSV, HSL, YCrCbなど)を用いてもよい。また、色の距離も、上記のようなユークリッド距離に限らず、一般的な距離尺度を用いてもよい。独自色の定義は、このＤcを画像中の自身以外の色に対して算出し、その総和Ｄsumが一定値以上大きい値を示す色のことを表す。また、肌色領域は、顔領域の色情報を利用して、顔領域の近辺の類似色を探索することによって検出される。
【００３５】
尚、顔領域検出部１１１は、写真画像から被写体人物を自動的に検出する画像管理プログラムにおける顔検出機能を用いたものであってもよい。画像管理プログラムとして、代表的には、Google社によって提供されるPicasa（登録商標）（v3.5以降のname tag 機能）や、Microsoft社のWindows Liveフォトギャラリー（登録商標）、Apple社のiPhoto'09（登録商標）がある。
【００３６】
第１のパラメータ算出部１１２は、顔領域全ての面積を顔領域数ＮHで除算した平均顔領域サイズを算出し、画像領域サイズに対する平均顔領域サイズの顔領域割合値ＲHを算出する。
【００３７】
第１の延長再生時間算出部１１３は、顔領域数ＮH／顔領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する。算出された第１の延長再生時間ｔ1は、再生時間算出部１６へ出力される。
【００３８】
図２は、本発明における顔領域に基づく再生時間を表す説明図である。
【００３９】
図２（ａ）の写真は、以下のように再生時間が設定される。写真には、画像領域サイズに対して、２つの顔領域が検出されている。尚、サイズの単位は、明確にしておらず、相対的な大きさを意味する。
顔領域サイズ ＝２０
第１の顔領域サイズ＝５
第２の顔領域サイズ＝３
このとき、顔領域全ての面積を顔領域数ＮHで除算した平均顔領域サイズは、以下のようになる。
平均顔領域サイズ＝（５＋３）／２＝４
また、画像領域サイズに対する平均顔領域サイズの顔領域割合値ＲHは、以下のようになる。
顔領域割合値ＲH＝平均顔領域サイズ／画像領域サイズ
＝４／２０＝０．２
この場合、第１の延長時間ｔ1は、以下のようになる。
第１の延長時間ｔ1＝正規化係数ω1・顔領域数ＮH／顔領域割合値ＲH
＝ω1・２／０．２＝ω1・１０
【００４０】
ここで、正規化係数ωは、当該ωを含む各項が、所定単位時間内（例えば−２秒〜＋２秒）に収まるように調整するものである。即ち、正規化係数ωは、顔領域数ＮH／顔領域割合値ＲHについて、最小値を−２に割り当て、最大値を＋２に割り当てられるように調整するものである。
【００４１】
図２（ｂ）の写真は、以下のように、再生時間が設定される。写真には、画像領域サイズに対して、４つの顔領域が検出されている。
顔領域サイズ ＝２０
第１の顔領域サイズ＝２
第２の顔領域サイズ＝３
第３の顔領域サイズ＝２
第４の顔領域サイズ＝１
このとき、顔領域全ての面積を顔領域数ＮHで除算した平均顔領域サイズは、以下のようになる。
平均顔領域サイズ＝（２＋３＋２＋１）／４＝２
また、画像領域サイズに対する平均顔領域サイズの顔領域割合値ＲHは、以下のようになる。
顔領域割合値ＲH＝平均顔領域サイズ／画像領域サイズ
＝２／２０＝０．１
この場合、第１の延長時間ｔ1は、以下のようになる。
第１の延長時間t1＝正規化係数ω1・顔領域数ＮH／顔領域割合値ＲH
＝ω1・４／０．１＝ω1・４０
【００４２】
図２によれば、図２（ｂ）の写真画像の延長再生時間は、図２（ａ）の写真画像の延長再生時間よりも長くなる。
【００４３】
［（２）顕著領域に基づく再生時間の算出］
顕著領域に基づく再生時間を算出するために、顕著領域検出部１２１と、第２のパラメータ算出部１２２と、第２の延長再生時間算出部１２３とを有する。
【００４４】
顕著領域検出部１２１は、写真画像から、特徴量を抽出し、被写体人物以外の顕著領域を検出する。対象となる写真画像は、顔領域検出部１１１によって検出された顔領域を取り除いた画像であることが好ましい。顕著領域検出部１２１は、顔領域が取り除かれた画像から、オブジェクト候補を検出する（例えば非特許文献２参照）。
【００４５】
顕著領域検出の具体的な処理について説明する。始めに画像のノイズの除去及びアーチファクトを削減するために、画像を平滑化する。平滑化には、例えばメディアンフィルタやガウシアンフィルタが用いられる。
【００４６】
続いて、色の独自性の算出の前に、色の減色のために色の量子化を実行する。一般的な２４ビットカラーは、ＲＧＢ各色に、８ビット（０〜２５５）が割り当てられているが、これを、例えば各色１２段階に減色する。この場合は、１２×１２×１２＝１７２８色で表現される。
【００４７】
色の量子化部によって減色された画像に対して、色における頻度分布（ヒストグラム）を算出する。そして、色の頻度順にソートした結果、例えば上位９０％の色に対して、以降の処理を実行することによって、計算量を削減する。色の頻度順にソートした画像の各色ｃiに対して、画像内のその他の色領域との類似度の和Ｓ(ｃi)を算出する。
Ｎc：減色してソートした後の画像中の色数総数
ｃj(1≦j≦Ｎc-1)：任意の色ｃiに対する、画像中のその他の色
ｆｃj：ｃjが画像中に占める割合
Ｓ(ｃi)＝ΣNc-1j=1ｆjＤ(ｃi,ｃj)
これは、任意の色に対して、別の色の領域の割合とその色の差の総和を算出している。このＳ(ｃi)を降順にソートし、この順に顕著領域候補とし、例えば固定閾値を利用して２値化を行い、その最大領域を検出し膨張縮退処理を行うことでノイズを除去した領域を顕著領域とする。
【００４８】
第２のパラメータ算出部１２２は、顕著領域全てを合わせた顕著領域面積ＲOを算出する。
【００４９】
第２の延長再生時間算出部１２３は、１／顕著領域面積ＲOに基づく第２の延長再生時間ｔ2を算出する。算出された第２の延長再生時間ｔ2は、再生時間算出部１６へ出力される。
【００５０】
図３は、本発明における顕著領域に基づく再生時間を表す説明図である。
【００５１】
図３（ａ）の写真は、以下のように再生時間が設定される。写真には、顔領域以外に、２つの顕著領域が検出されている。
第１の顕著領域サイズ＝２
第２の顕著領域サイズ＝３
このとき、顕著領域全てを合わせた顕著領域面積ＲOは、以下のようになる。
顕著領域面積ＲO＝第１の顕著領域サイズ＋第２の顕著領域サイズ
＝２＋３＝５
この場合、第２の延長時間ｔ2は、以下のようになる。
第２の延長時間ｔ2＝正規化係数ω2・１／顕著領域面積ＲO
＝ω2・１／５
【００５２】
図３（ｂ）の写真は、以下のように再生時間が設定される。写真には、顔領域以外に、２つの顕著領域が検出されている。
第１の顕著領域サイズ＝０．６
第２の顕著領域サイズ＝１．６
このとき、顕著領域全てを合わせた顕著領域面積ＲOは、以下のようになる。
顕著領域面積ＲO＝第１の顕著領域サイズ＋第２の顕著領域サイズ
＝０．６＋１．６＝２．２
この場合、第２の延長時間ｔ2は、以下のようになる。
第２の延長時間ｔ2＝正規化係数ω2・１／顕著領域面積ＲO
＝ω2・１／２．２
【００５３】
図３によれば、図３（ｂ）の写真画像の延長再生時間は、図３（ａ）の写真画像の延長再生時間よりも長くなる。
【００５４】
他の実施形態について、顕著領域についても前述した顔領域と同様の方法で、再生時間を算出することもできる。
顕著領域検出部１２１は、写真画像から特徴量を抽出し、被写体人物以外の顕著領域と、その顕著領域数ＮHとを検出する。
第２のパラメータ算出部１２２は、顕著領域全ての面積を顕著領域数ＮHで除算した平均顕著領域サイズを算出し、画像領域サイズに対する平均顕著領域サイズの顕著領域割合値ＲHを算出する・
第２の延長再生時間算出部１２３は、顕著領域数ＮH／顕著領域割合値ＲHに基づく第２の延長再生時間ｔ２を算出する。
そして、再生時間算出部１６は、再生時間ｔに、第２の延長再生時間ｔ2を更に加減算することもできる。
【００５５】
［（３）シーン解析に基づく再生時間の算出］
シーン解析に基づく再生時間を算出するために、シーン解析部１３１と、第３のパラメータ算出部１３２と、第３の延長再生時間算出部１３３とを有する。
【００５６】
シーン解析部１３１は、写真画像から、特徴量を抽出し、背景のシーンを大まかに検出する。シーンとしては例えば、屋外と屋内とをの区別することができる。また、屋外では、自然（山、海など）又は観光地などを区別することでき、屋内では、家又はパーティーなどを区別することができる。この技術によれば、シーン別画像に対してＳＩＦＴ(Scale-Invariant Feature Transform)特徴量などの局所特徴量を抽出し、その特徴をベクトル量子化した特徴の分布に基づく公知のＢｏＦ(Bags-of-Features)技術を利用する（例えば非特許文献１参照）。具体的には、手動で分類されたシーン画像に対して、局所特徴量（１画像につき数百から数千の特徴ベクトル）を抽出し、全てのシーンの局所特徴量を、例えば２０００個程度のクラスタに分類して、ベクトル量子化によりコードブックを作成する。各シーン別の画像中の局所特徴量から、このコードブックを利用してヒストグラムを作成する。生成されたヒストグラムは、シーン固有の特徴量となり、シーンを特定する写真に対して同様に局所特徴量を生成し、コードブックに対するヒストグラムを作成する。ヒストグラムの類似度に応じて入力した写真のシーンを決定する。
【００５７】
第３のパラメータ算出部１３２は、シーン解析部１３１の結果に基づいて、屋外であるほど高い値を有し、屋内であるほど低い値を有するシーン認識値ＲSを算出する。
【００５８】
第３の延長再生時間算出部１３３は、シーン認識値ＲSに基づく第３の延長再生時間ｔ3を算出する。算出された第３の延長再生時間ｔ3は、再生時間算出部１６へ出力される。
【００５９】
図４は、本発明におけるシーン解析に基づく再生時間を表す説明図である。
【００６０】
図４（ａ）の写真は、以下のように再生時間が設定される。写真には、屋内のシーンが写っており、以下のようにシーン認識値ＲSが検出されている。
シーン認識値ＲS＝１（低い）
この場合、第３の延長時間ｔ3は、以下のようになる。
第３の延長時間ｔ3＝正規化係数ω3・１
＝ω3・１
【００６１】
図４（ｂ）の写真は、以下のように再生時間が設定される。写真には、屋外のシーンが写っており、以下のようにシーン認識値ＲSが検出されている。
シーン認識値ＲS＝５（高い）
この場合、第３の延長時間ｔ3は、以下のようになる。
第３の延長時間ｔ3＝正規化係数ω3・５
＝ω3・５
【００６２】
図４によれば、図４（ｂ）の写真画像の延長再生時間は、図４（ａ）の写真画像の延長再生時間よりも長くなる。
【００６３】
［（４）写真類似度に基づく再生時間の算出］
写真類似度に基づく再生時間を算出するために、写真類似度検出部１４１と、第４のパラメータ算出部１４２と、第４の延長再生時間算出部１４３とを有する。
【００６４】
写真類似度検出部１４１は、写真撮影時刻が所定時間範囲（例えば６０秒）で連続し、且つ、その連続する写真画像の類似度が所定閾値以上で類似するか否かを検出する。写真画像の類似度は、画像全体をブロック状に分割し、ブロック毎の色情報のヒストグラムを算出し、その類似度が所定閾値未満である場合には、類似すると判定する。
【００６５】
第４のパラメータ算出部１４２は、連続して類似する写真画像の連続類似枚数ＮSを算出する。
【００６６】
第４の延長再生時間算出部１４３は、１／連続類似枚数ＮSに基づく第４の延長再生時間ｔ4を算出する。算出された第４の延長再生時間ｔ4は、再生時間算出部１６へ出力される。
【００６７】
図５は、本発明における写真類似度に基づく再生時間を表す説明図である。
【００６８】
図５（ａ）によれば、３枚の写真画像が類似すると判定されおり、この場合、以下のように再生時間が設定される。
連続類似枚数ＮS＝３
この場合、第４の延長時間ｔ4は、以下のようになる。
第４の延長時間ｔ4＝正規化係数ω4・１／連続類似枚数ＮS
＝ω4・１／３
【００６９】
図５（ｂ）によれば、２枚の写真画像が類似すると判定されおり、この場合、以下のように再生時間が設定される。
連続類似枚数ＮS＝２
この場合、第４の延長時間ｔ4は、以下のようになる。
第４の延長時間ｔ4＝正規化係数ω4・１／連続類似枚数ＮS
＝ω4・１／２
【００７０】
図５（ｃ）によれば、類似する写真画像は無いと判定されおり、この場合、以下のように再生時間が設定される。
連続類似枚数ＮS＝１
この場合、第４の延長時間ｔ4は、以下のようになる。
第４の延長時間ｔ4＝正規化係数ω4・１／連続類似枚数ＮS
＝ω4・１／１
【００７１】
図５によれば、図５（ｃ）＞図５（ｂ）＞図５（ａ）の順に、写真画像の延長再生時間は長い。
【００７２】
［（５）再生履歴に基づく再生時間の算出］
再生履歴に基づく再生時間を算出するために、再生履歴記憶部１５１と、第５のパラメータ算出部１５２と、第５の延長再生時間算出部１５３とを有する。
【００７３】
再生履歴記憶部１５１は、再生された写真画像毎に、平均再生時間ＣL及び再生回数ＣTを記録する。
【００７４】
第５のパラメータ算出部１５２は、写真画像における平均再生時間ＣL及び再生回数ＣTを取得する。尚、再生履歴記憶部１５１に記録されていない写真画像については、平均再生時間ＣL及び再生回数ＣTを共に、０の値とする。
【００７５】
第５の延長再生時間算出部１５３は、１／（平均再生時間ＣL×再生回数ＣT）に基づく第５の延長再生時間ｔ5を算出する。算出された第５の延長再生時間ｔ5は、再生時間算出部１６へ出力される。
【００７６】
図６は、本発明における再生履歴に基づく再生時間を表す説明図である。
【００７７】
図６（ａ）の写真画像については、以下のように再生時間が設定される。
再生回数ＣT ＝７回
平均再生時間ＣL＝５秒
この場合、第５の延長時間ｔ5は、以下のようになる。
第５の延長時間ｔ5＝正規化係数ω5・１／（平均再生時間ＣL×再生回数ＣT）
＝ω5・１／（５×７）
【００７８】
図６（ｂ）の写真画像については、以下のように再生時間が設定される。
再生回数ＣT ＝４回
平均再生時間ＣL＝３秒
この場合、第５の延長時間ｔ5は、以下のようになる。
第５の延長時間ｔ5＝正規化係数ω5・１／（平均再生時間ＣL×再生回数ＣT）
＝ω5・１／（３×４）
【００７９】
図６（ｃ）の写真画像については、以下のように再生時間が設定される。
再生回数ＣT ＝１回
平均再生時間ＣL＝２秒
この場合、第５の延長時間ｔ5は、以下のようになる。
第５の延長時間ｔ5＝正規化係数ω5・１／（平均再生時間ＣL×再生回数ＣT）
＝ω5・１／（２×１）
【００８０】
図６によれば、図６（ｃ）＞図６（ｂ）＞図６（ａ）の順に、写真画像の延長再生時間は長い。
【００８１】
［（６）再生時間算出部１６］
再生時間算出部１６は、写真画像の基準再生時間ｔ0に、少なくとも第１の延長再生時間ｔ1を加算（又は減算）した再生時間ｔを算出する。また、再生時間算出部１６は、再生時間ｔに、更に、第２の延長再生時間ｔ2〜第５の延長再生時間ｔ5のいずれか又はそれらの組み合わせを更に加算（又は減算）する。例えば、基準再生時間ｔ0＝３秒とし、各延長再生時間を−２秒〜＋２秒で正規化したものであってもよい。
【００８２】
［（７）画像蓄積部１７］
写真画像毎に、再生時間ｔを対応付けて蓄積する。
【００８３】
［（８）画像表示部１８］
画像表示部１８は、各写真画像を、その写真画像に対応する再生時間ｔだけ、ディスプレイ１０２に表示するように再生する。
【００８４】
図７は、再生時間が短くなる例と長くなる例とを表す説明図である。
【００８５】
図７（ａ）は、前述した図２〜図６に基づいて、再生時間が短くなる例を表す。図７（ａ）の写真画像によれば、顔領域数が少なく且つ顔領域サイズが大きく、顕著領域サイズが大きく、屋内のシーンであって、類似度の高い写真画像が多く、過去の再生時間が長いものである。
【００８６】
図７（ｂ）は、前述した図２〜図６に基づいて、再生時間が長くなる例を表す。図７（ｂ）の写真画像によれば、顔領域数が多く且つ顔領域サイズが小さく、顕著領域サイズが小さく、屋外のシーンであって、類似度の高い写真画像が少なく、過去の再生時間が短いものである。
【００８７】
以上、詳細に説明したように、本発明における画像再生装置、プログラム及び方法によれば、写真画像に写る被写体の内容に応じて、閲覧者にとって最適な再生時間で写真画像を再生することができる。特に、再生時間を予め設定することなく、写真画像に写る被写体の複雑度に応じて、閲覧者にとってその内容を理解しやすい再生時間で再生することができる。
【００８８】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００８９】
１ 画像再生装置
１０１ メモリカード
１０２ ディスプレイ
１１１ 顔領域検出部
１１２ 第１のパラメータ算出部
１１３ 第１の延長再生時間算出部
１２１ 顕著領域検出部
１２２ 第２のパラメータ算出部
１２３ 第２の延長再生時間算出部
１３１ シーン解析部
１３２ 第３のパラメータ算出部
１３３ 第３の延長再生時間算出部
１４１ 写真類似度検出部
１４２ 第４のパラメータ算出部
１４３ 第４の延長再生時間算出部
１５１ 再生履歴記憶部
１５２ 第５のパラメータ算出部
１５３ 第５の延長再生時間算出部
１６ 再生時間算出部
１７ 画像蓄積部
１８ 画像表示部
【技術分野】
【０００１】
本発明は、閲覧者によって視認されるディスプレイに、複数の写真画像を連続的に表示するスライドショーの技術に関する。
【背景技術】
【０００２】
スライドショーの技術は、ユーザが指定した複数の画像を連続的に１枚ずつ表示させことができ、デジタルフォトフレームやパーソナルコンピュータで実行される。例えば、サムネイル状に表示された複数の画像の中で、チェックボックスにチェックされた画像のみを、任意の順序でスライドショー的に表示させる技術がある（例えば特許文献１参照）。この技術によれば、１枚ずつの画像の再生時間（表示時間）を、ユーザ操作によって予め設定することができる。但し、その再生時間は一定である。
【０００３】
また、各写真画像の再生時間を、累計再生回数又は累計再生時間に基づいて重み付けによって変化させる技術もある（例えば特許文献２参照）。この技術によれば、その写真に対する累計再生回数又は累計再生時間は、閲覧者の興味に応じて変化するものであることを前提としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２８８０６８号公報
【特許文献２】特開２００９−２４６９８９号公報
【非特許文献】
【０００５】
【非特許文献１】ＯｐｅｎＣＶ、[online]、［平成２３年９月１８日検索］、インターネット＜URL:http://opencv.jp/＞
【非特許文献２】1.Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang,Shi-Min Hu. Global Contrast based Salient Region Detection. IEEE CVPR, p.409-416, Colorado Springs, USA, June 21-23, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された技術によれば、写真画像毎の再生時間は一定であって、連続的に閲覧する閲覧者にとっては、全体的に単調な感じ持つ場合が多い。また、特許文献２に記載された技術によれば、ユーザの過去の累計再生回数又は累計再生時間に基づいて再生時間が変化するために、初めて再生する写真画像における再生時間は、常に一定とならざるを得ない。
【０００７】
これに対し、発明者らは、特に家庭で撮影された写真画像の場合、その写真画像に写る被写体の内容に応じて再生時間を変化させた方が、閲覧者にとってその内容を理解しやすいのではないか、と考えた。特に、写真画像に写る被写体が複雑であるほど、その再生時間が長い方が、閲覧者にとってその内容を理解しやすいのではないか、と考えた。
【０００８】
そこで、本発明は、写真画像に写る被写体の内容に応じて、閲覧者にとって最適な再生時間で写真画像を再生することができる画像再生装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する画像再生装置において、
画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、
注視領域全ての面積を注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する平均注視領域サイズの注視領域割合値ＲHを算出する第１のパラメータ算出手段と、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、
画像の基準再生時間ｔ0に延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、
画像毎に、再生時間ｔを蓄積する画像蓄積手段と
を有し、
画像を、再生時間ｔだけディスプレイに表示するように再生させることを特徴とする。
【００１０】
本発明の画像再生装置における他の実施形態によれば、
画像は、写真画像であり、
注視領域は、被写体人物の顔領域であり、
注視領域検出手段は、顔領域検出手段であることも好ましい。
【００１１】
本発明の画像再生装置における他の実施形態によれば、
写真画像から特徴量を抽出し、被写体人物以外の顕著領域を検出する顕著領域検出手段と、
顕著領域全てを合わせた顕著領域面積ＲOを算出する第２のパラメータ算出手段と、
１／顕著領域面積ＲOに基づく第２の延長再生時間ｔ2を算出する第２の延長再生時間算出手段と
を更に有し、
再生時間算出手段は、再生時間ｔに、第２の延長再生時間ｔ2を更に加減算することも好ましい。
【００１２】
本発明の画像再生装置における他の実施形態によれば、
写真画像から特徴量を抽出し、被写体人物以外の顕著領域と、その顕著領域数ＮHとを検出する顕著領域検出手段と、
顕著領域全ての面積を顕著領域数ＮHで除算した平均顕著領域サイズを算出し、画像領域サイズに対する平均顕著領域サイズの顕著領域割合値ＲHを算出する第２のパラメータ算出手段と、
顕著領域数ＮH／顕著領域割合値ＲHに基づく第２の延長再生時間ｔ２を算出する第２の延長再生時間算出手段と、
を更に有し、
再生時間算出手段は、再生時間ｔに、第２の延長再生時間ｔ2を更に加減算することも好ましい。
【００１３】
本発明の画像再生装置における他の実施形態によれば、
写真画像から、特徴量を抽出し、背景のシーンを検出するシーン解析手段と、
屋外であるほど高い値を有し、屋内であるほど低い値を有するシーン認識値ＲSを算出する第３のパラメータ算出手段と、
シーン認識値ＲSに基づく第３の延長再生時間ｔ3を算出する第３の延長再生時間算出手段と
を更に有し、
再生時間算出手段は、再生時間ｔに、第３の延長再生時間ｔ3を更に加減算することも好ましい。
【００１４】
本発明の画像再生装置における他の実施形態によれば、
写真撮影時刻が所定時間範囲で連続し、且つ、その連続する写真画像の類似度が所定閾値以上で類似するか否かを検出する写真類似度検出手段と、
連続して類似する写真画像の連続類似枚数ＮSを算出する第４のパラメータ算出手段と、
１／連続類似枚数Ｎに基づく第４の延長再生時間ｔ4を算出する第４の延長再生時間算出手段と
を更に有し、
再生時間算出手段は、再生時間ｔに、第４の延長再生時間ｔ4を更に加減算することも好ましい。
【００１５】
本発明の画像再生装置における他の実施形態によれば、
再生された写真画像における平均再生時間ＣL及び再生回数ＣTを記録する再生履歴記憶手段と、
写真画像における平均再生時間ＣL及び再生回数ＣTを取得する第５のパラメータ取得手段と、
１／（平均再生時間ＣL×再生回数ＣT）に基づく第５の延長再生時間ｔ5を算出する第５の延長再生時間算出手段と
を更に有し、
再生時間算出手段は、再生時間ｔに、第５の延長再生時間ｔ5を更に加減算することも好ましい。
【００１６】
本発明の画像再生装置における他の実施形態によれば、延長再生時間算出手段は、所定単位時間で正規化させる正規化係数を更に乗算することも好ましい。
【００１７】
本発明によれば、閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する装置に搭載されたコンピュータを機能させるプログラムにおいて、
画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、
注視領域全ての面積を注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する平均注視領域サイズの注視領域割合値ＲHを算出する第１のパラメータ算出手段と、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、
画像の基準再生時間ｔ0に延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、
画像毎に、再生時間ｔを蓄積する画像蓄積手段と
を有し、
画像を、再生時間ｔだけディスプレイに表示するように再生させることを特徴とする。
【００１８】
本発明によれば、閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する装置における画像表示方法において、
画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する第１のステップと、
注視領域全ての面積を注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する平均注視領域サイズの注視領域割合値ＲHを算出する第２のステップと、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第３のステップと、
画像の基準再生時間ｔ0に延長再生時間ｔ1を加減算した再生時間ｔを算出する第４のステップと、
画像毎に、再生時間ｔを蓄積する第５のステップと
を有し、画像を、再生時間ｔだけディスプレイに表示するように再生させることを特徴とする。
【発明の効果】
【００１９】
本発明における画像再生装置、プログラム及び方法によれば、写真画像に写る被写体の内容に応じて、閲覧者にとって最適な再生時間で写真画像を再生することができる。特に、再生時間を予め設定することなく、写真画像に写る被写体の複雑度に応じて、閲覧者にとってその内容を理解しやすい再生時間で再生することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明における画像再生装置の機能構成図である。
【図２】本発明における顔領域に基づく再生時間を表す説明図である。
【図３】本発明における顕著領域に基づく再生時間を表す説明図である。
【図４】本発明におけるシーン解析に基づく再生時間を表す説明図である。
【図５】本発明における写真類似度に基づく再生時間を表す説明図である。
【図６】本発明における再生履歴に基づく再生時間を表す説明図である。
【図７】再生時間が短くなる例と長くなる例とを表す説明図である。
【発明を実施するための形態】
【００２１】
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２２】
図１は、本発明における画像再生装置の機能構成図である。
【００２３】
本発明における画像再生装置１は、例えば家庭用のデジタルフォトフレームのようなものであって、画像をディスプレイに連続的に表示するものである。以下では、画像再生装置１は、デジタルフォトフレームであるとして説明する。また、フォトフレーム１のディスプレイに表示される画像は、例えば家庭で撮影された写真のような静止画像である。勿論、フォトフレームに限られず、パーソナルコンピュータで実行されるスライドショーのプログラムであってもよい。
【００２４】
図１によれば、画像再生装置としてのデジタルフォトフレーム１は、画像を蓄積するメモリカード１０１と、それら画像を表示するディスプレイ１０２とを有する。
【００２５】
メモリカード１０１は、例えばＳＤ(Secure Digital)カードのようなものであって、デジタルフォトフレーム１に対して挿脱可能であることが多い。メモリカード１０１は、例えばデジタルカメラにも挿入可能であって、そのデジタルカメラによって撮影された多数の画像を蓄積することができる。デジタルフォトフレーム１は、メモリカード１０１に蓄積された多数の画像を、ディスプレイ１０２にスライドショーのように連続的に表示する。
【００２６】
メモリカード１０１から再生される写真画像は、任意のフォルダ以下全ての写真画像群や、ユーザによって指定された写真画像群であってもよい。また、通常、多数の写真画像は、撮影日時に対して時系列順に昇順に並べることができる。
【００２７】
図１におけるデジタルフォトフレーム１は、以下の機能構成を有する。
（１）顔領域に基づく再生時間を算出するための、顔領域検出部１１１、第１のパラメータ算出部１１２、第１の延長再生時間算出部１１３
（２）顕著領域に基づく再生時間を算出するための、顕著領域検出部１２１、第２のパラメータ算出部１２２、第２の延長再生時間算出部１２３
（３）シーン解析に基づく再生時間を算出するための、シーン解析部１３１、第３のパラメータ算出部１３２、第３の延長再生時間算出部１３３
（４）写真類似度に基づく再生時間を算出するための、写真類似度検出部１４１、第４のパラメータ算出部１４２、第４の延長再生時間算出部１４３
（５）再生履歴に基づく再生時間を算出するための、再生履歴記憶部１５１、第５のパラメータ算出部１５２、第５の延長再生時間算出部１５３
（６）再生時間算出部１６
（７）画像蓄積部１７
（８）画像表示部１８
これら機能構成部は、画像再生装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００２８】
［（１）注視領域（顔領域）検出に基づく再生時間の算出］
「注視領域」とは、閲覧者が視覚的に注目する領域をいう。注視領域の検出には、例えば赤外線カメラによる眼球運動の追跡などがあるが、本発明によれば、画像から得られる所定条件に合致した部分をいう。例えば、被写体人物の顔領域や、不規則な色彩変化の密集領域や、画像の中央部分の顕著領域であってもよい。顔領域の場合、顔のパーツの相対位置や大きさ、目や鼻や頬骨や顎の形を特徴としたパターンに一致する部分を検出する。以下では、注視領域は、「顔領域」であるとして説明するが、その他の注視領域であってもよい。
【００２９】
図１によれば、顔領域に基づく再生時間を算出するために、顔領域検出部１１１と、第１のパラメータ算出部１１２と、第１の延長再生時間算出部１１３とを有する。
【００３０】
顔領域検出部１１１は、メモリカード１０１に蓄積された写真画像毎に、特徴量を抽出し、被写体人物の顔領域と、その顔領域数Ｎとを検出する。ここで、顔領域検出の技術は、OpenCVのHaar Feature特徴量を用いたカスケード型分類器に基づく顔検出器ライブラリを、複数の解像度に変換した画像に対して適用することによって検出する（例えば非特許文献１参照）。
【００３１】
顔領域検出の具体的な処理について説明する。始めに、入力したカラー画像を輝度画像に変換し、画像の左上の座標を原点(0,0)として、積分画像を生成する。
Ｉ(x,y)：輝度画像の座標(x,y)の輝度値
П(x,y)：積分画像
П(x+1,y)＝П(x,y)＋Ｉ(x+1,y)＋Ｉ(x+1,y-1)
П(x,y+1)＝П(x,y)＋Ｉ(x,y+1)＋Ｉ(x-1,y+1)
П(0,0)＝Ｉ(0,0)
П(x,-1)＝0
П(-1,y)＝0
【００３２】
この積分画像П(x,y)に対して、既知のHaarタイプ特徴量のフィルタ演算を適用する（例えば非特許文献２参照）。Haarタイプ特徴量は、隣接する白い矩形領域の平均輝度と黒い矩形領域の平均輝度との差によって表される。このフィルタの積算値を、ある矩形サイズ内Ｒ(a,b)で算出し、既知のada boostで算出した顔領域判定器に従って、各矩形領域内が顔画像であるか否かを判定する。この処理を、画素の左上から順に走査することによって、ある矩形サイズＲ(a,b)での顔領域を検出する。また、この矩形Ｒ(a,b)の大きさを元の画像に応じて大小に変化させて、この処理を繰り返し走査することによって、任意の大きさの顔領域を検出する。
【００３３】
次に、顔領域を検出した結果から、画像上の顔領域の下部の独自色の領域、及び、顔領域の近辺の肌色領域を、「人物領域」とする。人物は直立していることが多いことを前提として、顔領域の下部、即ち、顔を中心として範囲ｌt（一般にｌt＞３ｌf）の領域を「胴体」とする。ここで、独自色の定義は、画像中に存在する他の色との距離が大きい色のことを示す。ＲＧＢで表現される２つの色を(R1,G1,B1)(R2,G2,B2)とする場合、例えば色の距離Ｄcを、以下のように表す。
Ｄc＝√{(R1-R2)2+(G1-G2)2+(B1-B2)2}
【００３４】
ここで色空間は、ＲＧＢに限らず、以下のような一般的な色空間(L*a*b*, L*u*v, HSV, HSL, YCrCbなど)を用いてもよい。また、色の距離も、上記のようなユークリッド距離に限らず、一般的な距離尺度を用いてもよい。独自色の定義は、このＤcを画像中の自身以外の色に対して算出し、その総和Ｄsumが一定値以上大きい値を示す色のことを表す。また、肌色領域は、顔領域の色情報を利用して、顔領域の近辺の類似色を探索することによって検出される。
【００３５】
尚、顔領域検出部１１１は、写真画像から被写体人物を自動的に検出する画像管理プログラムにおける顔検出機能を用いたものであってもよい。画像管理プログラムとして、代表的には、Google社によって提供されるPicasa（登録商標）（v3.5以降のname tag 機能）や、Microsoft社のWindows Liveフォトギャラリー（登録商標）、Apple社のiPhoto'09（登録商標）がある。
【００３６】
第１のパラメータ算出部１１２は、顔領域全ての面積を顔領域数ＮHで除算した平均顔領域サイズを算出し、画像領域サイズに対する平均顔領域サイズの顔領域割合値ＲHを算出する。
【００３７】
第１の延長再生時間算出部１１３は、顔領域数ＮH／顔領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する。算出された第１の延長再生時間ｔ1は、再生時間算出部１６へ出力される。
【００３８】
図２は、本発明における顔領域に基づく再生時間を表す説明図である。
【００３９】
図２（ａ）の写真は、以下のように再生時間が設定される。写真には、画像領域サイズに対して、２つの顔領域が検出されている。尚、サイズの単位は、明確にしておらず、相対的な大きさを意味する。
顔領域サイズ ＝２０
第１の顔領域サイズ＝５
第２の顔領域サイズ＝３
このとき、顔領域全ての面積を顔領域数ＮHで除算した平均顔領域サイズは、以下のようになる。
平均顔領域サイズ＝（５＋３）／２＝４
また、画像領域サイズに対する平均顔領域サイズの顔領域割合値ＲHは、以下のようになる。
顔領域割合値ＲH＝平均顔領域サイズ／画像領域サイズ
＝４／２０＝０．２
この場合、第１の延長時間ｔ1は、以下のようになる。
第１の延長時間ｔ1＝正規化係数ω1・顔領域数ＮH／顔領域割合値ＲH
＝ω1・２／０．２＝ω1・１０
【００４０】
ここで、正規化係数ωは、当該ωを含む各項が、所定単位時間内（例えば−２秒〜＋２秒）に収まるように調整するものである。即ち、正規化係数ωは、顔領域数ＮH／顔領域割合値ＲHについて、最小値を−２に割り当て、最大値を＋２に割り当てられるように調整するものである。
【００４１】
図２（ｂ）の写真は、以下のように、再生時間が設定される。写真には、画像領域サイズに対して、４つの顔領域が検出されている。
顔領域サイズ ＝２０
第１の顔領域サイズ＝２
第２の顔領域サイズ＝３
第３の顔領域サイズ＝２
第４の顔領域サイズ＝１
このとき、顔領域全ての面積を顔領域数ＮHで除算した平均顔領域サイズは、以下のようになる。
平均顔領域サイズ＝（２＋３＋２＋１）／４＝２
また、画像領域サイズに対する平均顔領域サイズの顔領域割合値ＲHは、以下のようになる。
顔領域割合値ＲH＝平均顔領域サイズ／画像領域サイズ
＝２／２０＝０．１
この場合、第１の延長時間ｔ1は、以下のようになる。
第１の延長時間t1＝正規化係数ω1・顔領域数ＮH／顔領域割合値ＲH
＝ω1・４／０．１＝ω1・４０
【００４２】
図２によれば、図２（ｂ）の写真画像の延長再生時間は、図２（ａ）の写真画像の延長再生時間よりも長くなる。
【００４３】
［（２）顕著領域に基づく再生時間の算出］
顕著領域に基づく再生時間を算出するために、顕著領域検出部１２１と、第２のパラメータ算出部１２２と、第２の延長再生時間算出部１２３とを有する。
【００４４】
顕著領域検出部１２１は、写真画像から、特徴量を抽出し、被写体人物以外の顕著領域を検出する。対象となる写真画像は、顔領域検出部１１１によって検出された顔領域を取り除いた画像であることが好ましい。顕著領域検出部１２１は、顔領域が取り除かれた画像から、オブジェクト候補を検出する（例えば非特許文献２参照）。
【００４５】
顕著領域検出の具体的な処理について説明する。始めに画像のノイズの除去及びアーチファクトを削減するために、画像を平滑化する。平滑化には、例えばメディアンフィルタやガウシアンフィルタが用いられる。
【００４６】
続いて、色の独自性の算出の前に、色の減色のために色の量子化を実行する。一般的な２４ビットカラーは、ＲＧＢ各色に、８ビット（０〜２５５）が割り当てられているが、これを、例えば各色１２段階に減色する。この場合は、１２×１２×１２＝１７２８色で表現される。
【００４７】
色の量子化部によって減色された画像に対して、色における頻度分布（ヒストグラム）を算出する。そして、色の頻度順にソートした結果、例えば上位９０％の色に対して、以降の処理を実行することによって、計算量を削減する。色の頻度順にソートした画像の各色ｃiに対して、画像内のその他の色領域との類似度の和Ｓ(ｃi)を算出する。
Ｎc：減色してソートした後の画像中の色数総数
ｃj(1≦j≦Ｎc-1)：任意の色ｃiに対する、画像中のその他の色
ｆｃj：ｃjが画像中に占める割合
Ｓ(ｃi)＝ΣNc-1j=1ｆjＤ(ｃi,ｃj)
これは、任意の色に対して、別の色の領域の割合とその色の差の総和を算出している。このＳ(ｃi)を降順にソートし、この順に顕著領域候補とし、例えば固定閾値を利用して２値化を行い、その最大領域を検出し膨張縮退処理を行うことでノイズを除去した領域を顕著領域とする。
【００４８】
第２のパラメータ算出部１２２は、顕著領域全てを合わせた顕著領域面積ＲOを算出する。
【００４９】
第２の延長再生時間算出部１２３は、１／顕著領域面積ＲOに基づく第２の延長再生時間ｔ2を算出する。算出された第２の延長再生時間ｔ2は、再生時間算出部１６へ出力される。
【００５０】
図３は、本発明における顕著領域に基づく再生時間を表す説明図である。
【００５１】
図３（ａ）の写真は、以下のように再生時間が設定される。写真には、顔領域以外に、２つの顕著領域が検出されている。
第１の顕著領域サイズ＝２
第２の顕著領域サイズ＝３
このとき、顕著領域全てを合わせた顕著領域面積ＲOは、以下のようになる。
顕著領域面積ＲO＝第１の顕著領域サイズ＋第２の顕著領域サイズ
＝２＋３＝５
この場合、第２の延長時間ｔ2は、以下のようになる。
第２の延長時間ｔ2＝正規化係数ω2・１／顕著領域面積ＲO
＝ω2・１／５
【００５２】
図３（ｂ）の写真は、以下のように再生時間が設定される。写真には、顔領域以外に、２つの顕著領域が検出されている。
第１の顕著領域サイズ＝０．６
第２の顕著領域サイズ＝１．６
このとき、顕著領域全てを合わせた顕著領域面積ＲOは、以下のようになる。
顕著領域面積ＲO＝第１の顕著領域サイズ＋第２の顕著領域サイズ
＝０．６＋１．６＝２．２
この場合、第２の延長時間ｔ2は、以下のようになる。
第２の延長時間ｔ2＝正規化係数ω2・１／顕著領域面積ＲO
＝ω2・１／２．２
【００５３】
図３によれば、図３（ｂ）の写真画像の延長再生時間は、図３（ａ）の写真画像の延長再生時間よりも長くなる。
【００５４】
他の実施形態について、顕著領域についても前述した顔領域と同様の方法で、再生時間を算出することもできる。
顕著領域検出部１２１は、写真画像から特徴量を抽出し、被写体人物以外の顕著領域と、その顕著領域数ＮHとを検出する。
第２のパラメータ算出部１２２は、顕著領域全ての面積を顕著領域数ＮHで除算した平均顕著領域サイズを算出し、画像領域サイズに対する平均顕著領域サイズの顕著領域割合値ＲHを算出する・
第２の延長再生時間算出部１２３は、顕著領域数ＮH／顕著領域割合値ＲHに基づく第２の延長再生時間ｔ２を算出する。
そして、再生時間算出部１６は、再生時間ｔに、第２の延長再生時間ｔ2を更に加減算することもできる。
【００５５】
［（３）シーン解析に基づく再生時間の算出］
シーン解析に基づく再生時間を算出するために、シーン解析部１３１と、第３のパラメータ算出部１３２と、第３の延長再生時間算出部１３３とを有する。
【００５６】
シーン解析部１３１は、写真画像から、特徴量を抽出し、背景のシーンを大まかに検出する。シーンとしては例えば、屋外と屋内とをの区別することができる。また、屋外では、自然（山、海など）又は観光地などを区別することでき、屋内では、家又はパーティーなどを区別することができる。この技術によれば、シーン別画像に対してＳＩＦＴ(Scale-Invariant Feature Transform)特徴量などの局所特徴量を抽出し、その特徴をベクトル量子化した特徴の分布に基づく公知のＢｏＦ(Bags-of-Features)技術を利用する（例えば非特許文献１参照）。具体的には、手動で分類されたシーン画像に対して、局所特徴量（１画像につき数百から数千の特徴ベクトル）を抽出し、全てのシーンの局所特徴量を、例えば２０００個程度のクラスタに分類して、ベクトル量子化によりコードブックを作成する。各シーン別の画像中の局所特徴量から、このコードブックを利用してヒストグラムを作成する。生成されたヒストグラムは、シーン固有の特徴量となり、シーンを特定する写真に対して同様に局所特徴量を生成し、コードブックに対するヒストグラムを作成する。ヒストグラムの類似度に応じて入力した写真のシーンを決定する。
【００５７】
第３のパラメータ算出部１３２は、シーン解析部１３１の結果に基づいて、屋外であるほど高い値を有し、屋内であるほど低い値を有するシーン認識値ＲSを算出する。
【００５８】
第３の延長再生時間算出部１３３は、シーン認識値ＲSに基づく第３の延長再生時間ｔ3を算出する。算出された第３の延長再生時間ｔ3は、再生時間算出部１６へ出力される。
【００５９】
図４は、本発明におけるシーン解析に基づく再生時間を表す説明図である。
【００６０】
図４（ａ）の写真は、以下のように再生時間が設定される。写真には、屋内のシーンが写っており、以下のようにシーン認識値ＲSが検出されている。
シーン認識値ＲS＝１（低い）
この場合、第３の延長時間ｔ3は、以下のようになる。
第３の延長時間ｔ3＝正規化係数ω3・１
＝ω3・１
【００６１】
図４（ｂ）の写真は、以下のように再生時間が設定される。写真には、屋外のシーンが写っており、以下のようにシーン認識値ＲSが検出されている。
シーン認識値ＲS＝５（高い）
この場合、第３の延長時間ｔ3は、以下のようになる。
第３の延長時間ｔ3＝正規化係数ω3・５
＝ω3・５
【００６２】
図４によれば、図４（ｂ）の写真画像の延長再生時間は、図４（ａ）の写真画像の延長再生時間よりも長くなる。
【００６３】
［（４）写真類似度に基づく再生時間の算出］
写真類似度に基づく再生時間を算出するために、写真類似度検出部１４１と、第４のパラメータ算出部１４２と、第４の延長再生時間算出部１４３とを有する。
【００６４】
写真類似度検出部１４１は、写真撮影時刻が所定時間範囲（例えば６０秒）で連続し、且つ、その連続する写真画像の類似度が所定閾値以上で類似するか否かを検出する。写真画像の類似度は、画像全体をブロック状に分割し、ブロック毎の色情報のヒストグラムを算出し、その類似度が所定閾値未満である場合には、類似すると判定する。
【００６５】
第４のパラメータ算出部１４２は、連続して類似する写真画像の連続類似枚数ＮSを算出する。
【００６６】
第４の延長再生時間算出部１４３は、１／連続類似枚数ＮSに基づく第４の延長再生時間ｔ4を算出する。算出された第４の延長再生時間ｔ4は、再生時間算出部１６へ出力される。
【００６７】
図５は、本発明における写真類似度に基づく再生時間を表す説明図である。
【００６８】
図５（ａ）によれば、３枚の写真画像が類似すると判定されおり、この場合、以下のように再生時間が設定される。
連続類似枚数ＮS＝３
この場合、第４の延長時間ｔ4は、以下のようになる。
第４の延長時間ｔ4＝正規化係数ω4・１／連続類似枚数ＮS
＝ω4・１／３
【００６９】
図５（ｂ）によれば、２枚の写真画像が類似すると判定されおり、この場合、以下のように再生時間が設定される。
連続類似枚数ＮS＝２
この場合、第４の延長時間ｔ4は、以下のようになる。
第４の延長時間ｔ4＝正規化係数ω4・１／連続類似枚数ＮS
＝ω4・１／２
【００７０】
図５（ｃ）によれば、類似する写真画像は無いと判定されおり、この場合、以下のように再生時間が設定される。
連続類似枚数ＮS＝１
この場合、第４の延長時間ｔ4は、以下のようになる。
第４の延長時間ｔ4＝正規化係数ω4・１／連続類似枚数ＮS
＝ω4・１／１
【００７１】
図５によれば、図５（ｃ）＞図５（ｂ）＞図５（ａ）の順に、写真画像の延長再生時間は長い。
【００７２】
［（５）再生履歴に基づく再生時間の算出］
再生履歴に基づく再生時間を算出するために、再生履歴記憶部１５１と、第５のパラメータ算出部１５２と、第５の延長再生時間算出部１５３とを有する。
【００７３】
再生履歴記憶部１５１は、再生された写真画像毎に、平均再生時間ＣL及び再生回数ＣTを記録する。
【００７４】
第５のパラメータ算出部１５２は、写真画像における平均再生時間ＣL及び再生回数ＣTを取得する。尚、再生履歴記憶部１５１に記録されていない写真画像については、平均再生時間ＣL及び再生回数ＣTを共に、０の値とする。
【００７５】
第５の延長再生時間算出部１５３は、１／（平均再生時間ＣL×再生回数ＣT）に基づく第５の延長再生時間ｔ5を算出する。算出された第５の延長再生時間ｔ5は、再生時間算出部１６へ出力される。
【００７６】
図６は、本発明における再生履歴に基づく再生時間を表す説明図である。
【００７７】
図６（ａ）の写真画像については、以下のように再生時間が設定される。
再生回数ＣT ＝７回
平均再生時間ＣL＝５秒
この場合、第５の延長時間ｔ5は、以下のようになる。
第５の延長時間ｔ5＝正規化係数ω5・１／（平均再生時間ＣL×再生回数ＣT）
＝ω5・１／（５×７）
【００７８】
図６（ｂ）の写真画像については、以下のように再生時間が設定される。
再生回数ＣT ＝４回
平均再生時間ＣL＝３秒
この場合、第５の延長時間ｔ5は、以下のようになる。
第５の延長時間ｔ5＝正規化係数ω5・１／（平均再生時間ＣL×再生回数ＣT）
＝ω5・１／（３×４）
【００７９】
図６（ｃ）の写真画像については、以下のように再生時間が設定される。
再生回数ＣT ＝１回
平均再生時間ＣL＝２秒
この場合、第５の延長時間ｔ5は、以下のようになる。
第５の延長時間ｔ5＝正規化係数ω5・１／（平均再生時間ＣL×再生回数ＣT）
＝ω5・１／（２×１）
【００８０】
図６によれば、図６（ｃ）＞図６（ｂ）＞図６（ａ）の順に、写真画像の延長再生時間は長い。
【００８１】
［（６）再生時間算出部１６］
再生時間算出部１６は、写真画像の基準再生時間ｔ0に、少なくとも第１の延長再生時間ｔ1を加算（又は減算）した再生時間ｔを算出する。また、再生時間算出部１６は、再生時間ｔに、更に、第２の延長再生時間ｔ2〜第５の延長再生時間ｔ5のいずれか又はそれらの組み合わせを更に加算（又は減算）する。例えば、基準再生時間ｔ0＝３秒とし、各延長再生時間を−２秒〜＋２秒で正規化したものであってもよい。
【００８２】
［（７）画像蓄積部１７］
写真画像毎に、再生時間ｔを対応付けて蓄積する。
【００８３】
［（８）画像表示部１８］
画像表示部１８は、各写真画像を、その写真画像に対応する再生時間ｔだけ、ディスプレイ１０２に表示するように再生する。
【００８４】
図７は、再生時間が短くなる例と長くなる例とを表す説明図である。
【００８５】
図７（ａ）は、前述した図２〜図６に基づいて、再生時間が短くなる例を表す。図７（ａ）の写真画像によれば、顔領域数が少なく且つ顔領域サイズが大きく、顕著領域サイズが大きく、屋内のシーンであって、類似度の高い写真画像が多く、過去の再生時間が長いものである。
【００８６】
図７（ｂ）は、前述した図２〜図６に基づいて、再生時間が長くなる例を表す。図７（ｂ）の写真画像によれば、顔領域数が多く且つ顔領域サイズが小さく、顕著領域サイズが小さく、屋外のシーンであって、類似度の高い写真画像が少なく、過去の再生時間が短いものである。
【００８７】
以上、詳細に説明したように、本発明における画像再生装置、プログラム及び方法によれば、写真画像に写る被写体の内容に応じて、閲覧者にとって最適な再生時間で写真画像を再生することができる。特に、再生時間を予め設定することなく、写真画像に写る被写体の複雑度に応じて、閲覧者にとってその内容を理解しやすい再生時間で再生することができる。
【００８８】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００８９】
１ 画像再生装置
１０１ メモリカード
１０２ ディスプレイ
１１１ 顔領域検出部
１１２ 第１のパラメータ算出部
１１３ 第１の延長再生時間算出部
１２１ 顕著領域検出部
１２２ 第２のパラメータ算出部
１２３ 第２の延長再生時間算出部
１３１ シーン解析部
１３２ 第３のパラメータ算出部
１３３ 第３の延長再生時間算出部
１４１ 写真類似度検出部
１４２ 第４のパラメータ算出部
１４３ 第４の延長再生時間算出部
１５１ 再生履歴記憶部
１５２ 第５のパラメータ算出部
１５３ 第５の延長再生時間算出部
１６ 再生時間算出部
１７ 画像蓄積部
１８ 画像表示部
【特許請求の範囲】
【請求項１】
閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する画像再生装置において、
前記画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、
注視領域全ての面積を前記注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する前記平均注視領域サイズの注視領域割合値ＲHを算出する第１のパラメータ算出手段と、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、
前記画像の基準再生時間ｔ0に前記延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、
前記画像毎に、前記再生時間ｔを蓄積する画像蓄積手段と
を有し、
前記画像を、前記再生時間ｔだけ前記ディスプレイに表示するように再生させることを特徴とする画像再生装置。
【請求項２】
前記画像は、写真画像であり、
前記注視領域は、被写体人物の顔領域であり、
前記注視領域検出手段は、顔領域検出手段である
ことを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記写真画像から特徴量を抽出し、被写体人物以外の顕著領域を検出する顕著領域検出手段と、
前記顕著領域全てを合わせた顕著領域面積ＲOを算出する第２のパラメータ算出手段と、
１／顕著領域面積ＲOに基づく第２の延長再生時間ｔ2を算出する第２の延長再生時間算出手段と
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第２の延長再生時間ｔ2を更に加減算する
ことを特徴とする請求項２に記載の画像再生装置。
【請求項４】
前記写真画像から特徴量を抽出し、被写体人物以外の顕著領域と、その顕著領域数ＮHとを検出する顕著領域検出手段と、
前記顕著領域全ての面積を前記顕著領域数ＮHで除算した平均顕著領域サイズを算出し、画像領域サイズに対する前記平均顕著領域サイズの顕著領域割合値ＲHを算出する第２のパラメータ算出手段と、
顕著領域数ＮH／顕著領域割合値ＲHに基づく第２の延長再生時間ｔ２を算出する第２の延長再生時間算出手段と、
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第２の延長再生時間ｔ2を更に加減算することを特徴とする請求項２に記載の画像再生装置。
【請求項５】
前記写真画像から、特徴量を抽出し、背景のシーンを検出するシーン解析手段と、
屋外であるほど高い値を有し、屋内であるほど低い値を有するシーン認識値ＲSを算出する第３のパラメータ算出手段と、
前記シーン認識値ＲSに基づく第３の延長再生時間ｔ3を算出する第３の延長再生時間算出手段と
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第３の延長再生時間ｔ3を更に加減算する
ことを特徴とする請求項２から４のいずれか１項に記載の画像再生装置。
【請求項６】
写真撮影時刻が所定時間範囲で連続し、且つ、その連続する写真画像の類似度が所定閾値以上で類似するか否かを検出する写真類似度検出手段と、
連続して類似する写真画像の連続類似枚数ＮSを算出する第４のパラメータ算出手段と、
１／連続類似枚数Ｎに基づく第４の延長再生時間ｔ4を算出する第４の延長再生時間算出手段と
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第４の延長再生時間ｔ4を更に加減算する
ことを特徴とする請求項２から５のいずれか１項に記載の画像再生装置。
【請求項７】
再生された写真画像における平均再生時間ＣL及び再生回数ＣTを記録する再生履歴記憶手段と、
写真画像における平均再生時間ＣL及び再生回数ＣTを取得する第５のパラメータ取得手段と、
１／（平均再生時間ＣL×再生回数ＣT）に基づく第５の延長再生時間ｔ5を算出する第５の延長再生時間算出手段と
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第５の延長再生時間ｔ5を更に加減算する
ことを特徴とする請求項２から６のいずれか１項に記載の画像再生装置。
【請求項８】
前記延長再生時間算出手段は、所定単位時間で正規化させる正規化係数を更に乗算することを特徴とする請求項１から７のいずれか１項に記載の画像再生装置。
【請求項９】
閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する装置に搭載されたコンピュータを機能させるプログラムにおいて、
前記画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、
注視領域全ての面積を前記注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する前記平均注視領域サイズの注視領域割合値ＲHを算出する第１のパラメータ算出手段と、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、
前記画像の基準再生時間ｔ0に前記延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、
前記画像毎に、前記再生時間ｔを蓄積する画像蓄積手段と
を有し、
前記画像を、前記再生時間ｔだけ前記ディスプレイに表示するように再生させることを特徴とする画像表示プログラム。
【請求項１０】
閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する装置における画像表示方法において、
前記画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する第１のステップと、
注視領域全ての面積を前記注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する前記平均注視領域サイズの注視領域割合値ＲHを算出する第２のステップと、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第３のステップと、
前記画像の基準再生時間ｔ0に前記延長再生時間ｔ1を加減算した再生時間ｔを算出する第４のステップと、
前記画像毎に、前記再生時間ｔを蓄積する第５のステップと
を有し、前記画像を、前記再生時間ｔだけ前記ディスプレイに表示するように再生させることを特徴とする画像表示方法。
【請求項１】
閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する画像再生装置において、
前記画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、
注視領域全ての面積を前記注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する前記平均注視領域サイズの注視領域割合値ＲHを算出する第１のパラメータ算出手段と、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、
前記画像の基準再生時間ｔ0に前記延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、
前記画像毎に、前記再生時間ｔを蓄積する画像蓄積手段と
を有し、
前記画像を、前記再生時間ｔだけ前記ディスプレイに表示するように再生させることを特徴とする画像再生装置。
【請求項２】
前記画像は、写真画像であり、
前記注視領域は、被写体人物の顔領域であり、
前記注視領域検出手段は、顔領域検出手段である
ことを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記写真画像から特徴量を抽出し、被写体人物以外の顕著領域を検出する顕著領域検出手段と、
前記顕著領域全てを合わせた顕著領域面積ＲOを算出する第２のパラメータ算出手段と、
１／顕著領域面積ＲOに基づく第２の延長再生時間ｔ2を算出する第２の延長再生時間算出手段と
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第２の延長再生時間ｔ2を更に加減算する
ことを特徴とする請求項２に記載の画像再生装置。
【請求項４】
前記写真画像から特徴量を抽出し、被写体人物以外の顕著領域と、その顕著領域数ＮHとを検出する顕著領域検出手段と、
前記顕著領域全ての面積を前記顕著領域数ＮHで除算した平均顕著領域サイズを算出し、画像領域サイズに対する前記平均顕著領域サイズの顕著領域割合値ＲHを算出する第２のパラメータ算出手段と、
顕著領域数ＮH／顕著領域割合値ＲHに基づく第２の延長再生時間ｔ２を算出する第２の延長再生時間算出手段と、
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第２の延長再生時間ｔ2を更に加減算することを特徴とする請求項２に記載の画像再生装置。
【請求項５】
前記写真画像から、特徴量を抽出し、背景のシーンを検出するシーン解析手段と、
屋外であるほど高い値を有し、屋内であるほど低い値を有するシーン認識値ＲSを算出する第３のパラメータ算出手段と、
前記シーン認識値ＲSに基づく第３の延長再生時間ｔ3を算出する第３の延長再生時間算出手段と
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第３の延長再生時間ｔ3を更に加減算する
ことを特徴とする請求項２から４のいずれか１項に記載の画像再生装置。
【請求項６】
写真撮影時刻が所定時間範囲で連続し、且つ、その連続する写真画像の類似度が所定閾値以上で類似するか否かを検出する写真類似度検出手段と、
連続して類似する写真画像の連続類似枚数ＮSを算出する第４のパラメータ算出手段と、
１／連続類似枚数Ｎに基づく第４の延長再生時間ｔ4を算出する第４の延長再生時間算出手段と
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第４の延長再生時間ｔ4を更に加減算する
ことを特徴とする請求項２から５のいずれか１項に記載の画像再生装置。
【請求項７】
再生された写真画像における平均再生時間ＣL及び再生回数ＣTを記録する再生履歴記憶手段と、
写真画像における平均再生時間ＣL及び再生回数ＣTを取得する第５のパラメータ取得手段と、
１／（平均再生時間ＣL×再生回数ＣT）に基づく第５の延長再生時間ｔ5を算出する第５の延長再生時間算出手段と
を更に有し、
前記再生時間算出手段は、前記再生時間ｔに、第５の延長再生時間ｔ5を更に加減算する
ことを特徴とする請求項２から６のいずれか１項に記載の画像再生装置。
【請求項８】
前記延長再生時間算出手段は、所定単位時間で正規化させる正規化係数を更に乗算することを特徴とする請求項１から７のいずれか１項に記載の画像再生装置。
【請求項９】
閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する装置に搭載されたコンピュータを機能させるプログラムにおいて、
前記画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する注視領域検出手段と、
注視領域全ての面積を前記注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する前記平均注視領域サイズの注視領域割合値ＲHを算出する第１のパラメータ算出手段と、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第１の延長再生時間算出手段と、
前記画像の基準再生時間ｔ0に前記延長再生時間ｔ1を加減算した再生時間ｔを算出する再生時間算出手段と、
前記画像毎に、前記再生時間ｔを蓄積する画像蓄積手段と
を有し、
前記画像を、前記再生時間ｔだけ前記ディスプレイに表示するように再生させることを特徴とする画像表示プログラム。
【請求項１０】
閲覧者によって視認されるディスプレイに、複数の画像を連続的に表示する装置における画像表示方法において、
前記画像から特徴量を抽出し、閲覧者による注視領域と、その注視領域数ＮHとを検出する第１のステップと、
注視領域全ての面積を前記注視領域数ＮHで除算した平均注視領域サイズを算出し、画像領域サイズに対する前記平均注視領域サイズの注視領域割合値ＲHを算出する第２のステップと、
注視領域数ＮH／注視領域割合値ＲHに基づく第１の延長再生時間ｔ1を算出する第３のステップと、
前記画像の基準再生時間ｔ0に前記延長再生時間ｔ1を加減算した再生時間ｔを算出する第４のステップと、
前記画像毎に、前記再生時間ｔを蓄積する第５のステップと
を有し、前記画像を、前記再生時間ｔだけ前記ディスプレイに表示するように再生させることを特徴とする画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９３６６７（Ｐ２０１３−９３６６７Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３３０９４（Ｐ２０１１−２３３０９４）
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]