画像再生装置及び画像再生方法
【課題】 各画像間の関連性に基づいて、お互いの画像間の関連性に応じた視覚効果を与えながらスライドショーの再生を行うことにより、画像間の関連性を把握しやすくすると共に、ユーザにとって面白みのある画像再生装置を提供する。
【解決手段】画像データの入力を行う画像入力部１０１、画像特徴量の抽出を行う画像特徴抽出部１０２、画像パケットを蓄積する画像蓄積部１０３、音楽データの入力を行う音楽入力部１０４、音楽データから音楽の特徴量を抽出する音楽特徴抽出部１０５、音楽パケットを蓄積する音楽蓄積部１０６、ユーザがメニュー操作を行うメニュー入力部１０７、メニュー入力部１０７から入力された条件に合わせてスライドショーの作成を行うスライドショー生成部１０８、スライドショーの表示を行う画面の表示部１０９、画像に含まれるメタ情報から画像間の関連度を算出する関連度解析部１１２、及びシナリオ解析部１１３を備える。
【解決手段】画像データの入力を行う画像入力部１０１、画像特徴量の抽出を行う画像特徴抽出部１０２、画像パケットを蓄積する画像蓄積部１０３、音楽データの入力を行う音楽入力部１０４、音楽データから音楽の特徴量を抽出する音楽特徴抽出部１０５、音楽パケットを蓄積する音楽蓄積部１０６、ユーザがメニュー操作を行うメニュー入力部１０７、メニュー入力部１０７から入力された条件に合わせてスライドショーの作成を行うスライドショー生成部１０８、スライドショーの表示を行う画面の表示部１０９、画像に含まれるメタ情報から画像間の関連度を算出する関連度解析部１１２、及びシナリオ解析部１１３を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル写真の記録、再生を行う画像再生装置に関するものであり、特に、複数のデジタル写真を連続的に表示するスライドショー機能を有する画像再生装置に関するものである。
【背景技術】
【０００２】
従来、静止画を連続的に再生する方法として、一定時間間隔毎に逐次表示していくスライドショーという表示方法があり、例えば、フォトシネマ、ムービーシェーカー等のＰＣソフト、カメラ付携帯電話機等で実現されている。
【０００３】
ここで、スライドショーとは、スライド映写機と同様に一定時間間隔、或いはユーザの指示等のトリガーによって表示するデジタル静止画を切り替えていく、いわゆるデジタルな紙芝居である。また、近年においてはアプリケーションによってはＢＧＭを付加したりデジタル静止画の切り替えの際にフェード、ワイプ、回転等のトランジションを付加し、よりエンターテインメント性を向上させたものもある。
【０００４】
そして、従来のスライドショー装置の一例として、ＣＤ−ＲＯＭを用いて連続再生するものがある（例えば、特許文献１参照）。図１６は、この特許文献１に記載された従来のスライドショー装置１６００の構成図である。
【０００５】
このスライドショー装置１６００においては、ＣＤ−ＲＯＭ１６０６をＣＤ−ＲＯＭ読取り部１６０５にセットして、入力指示部１６０２によりスライドショー実行プログラム１６０６ａの起動指示を行う。演算制御部１６０１がスライドショー実行プログラム１６０６ａを読み込み、スライドショー実行部として機能するようになる。演算制御部１６０１は、スライドショーの実行の際、まず、順序テーブル１６０６ｂを読み込み、順序テーブル１６０６ｂに定義された順番に画像ファイルを、画像ファイル群１６０６ｃから抽出して表示部１６０３に表示させる。尚、ハードディスク１６０４は必要に応じて各種データを保存するものである。
【特許文献１】特開２００１-１０３４１５号公報（第３〜５頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の構成では、画像ファイルを順序テーブルに従って再生するだけなので、ユーザから見て面白み、意外性に欠けるという課題を有している。特に画像数が増大し、類似した画像が多く蓄積された場合、このような課題はさらに重大になる。例えば、スポーツ観戦や結婚式等の同一イベントで複数の人が同じような画像を撮影した場合、これらをただ順序テーブルに従って再生するだけでは、退屈さを感じる。
【０００７】
また、近年においてはデジタルカメラや携帯電話機等を用いたデジタル写真の利用が普及して、個人の持つデジタル画像は増加しており、ユーザが撮影した大量の画像が記憶されている。そして、これらの画像は類似又は関連画像を多く含み、このように、ユーザが撮影して端末機器に蓄積された大量・類似・関連のデジタル画像をどのように利用、選択するかが課題となっている。
【０００８】
さらに、従来のスライドショー再生装置においては、スライドショー装置間の画像を用いたコミュニケーションについては考慮されておらず、近年のネットワーク化に対応するようなスライドショーの提供を行うことも課題となっている。
【０００９】
本発明は、前記従来の課題を解決するためのものであり、撮影された複数の画像を用いて、画像間の関連性を把握しつつ、娯楽性のある画像再生を行う画像再生装置を提供することを目的としている。また、静止画を用いて他の撮影者とのコミュニケーションの実現を可能とする画像再生装置を提供することをも目的とする。
【課題を解決するための手段】
【００１０】
前記従来の課題を解決するために、本発明の画像再生装置は、画像データを用いて再生を行う画像再生装置であって、前記画像データから画像特徴量を抽出する画像特徴抽出手段と、前記画像データに関連する画像情報と前記画像特徴量とに基づき、他の画像との類似性を示す情報である関連度を解析する関連度解析手段と、前記関連度に基づいて前記画像データを用いたスライドショーの再生を行うスライドショー生成手段とを備えることを特徴とする。
【００１１】
また、本発明に係る画像再生装置のスライドショー生成手段は、前記関連度に基づいて前記再生を行う画像の集まりである画像群を選択する画像選択部と、前記関連度に基づいて前記画像群の再生時の視覚効果を決定する視覚効果決定部と、前記関連度に基づいて前記画像群に含まれる画像の再生順序であるシナリオを生成するシナリオ生成部とを備え、選択された前記画像群を、決定された前記視覚効果を用いて前記シナリオの順番に再生することを特徴とする。
【００１２】
これらの構成により、大量・類似した画像データを用いてスライドショーの再生を行う場合においても、画像特徴抽出手段において画像特徴量を抽出して、前記画像特徴量と画像情報を用いて解析された関連度に基づいて、画像選択部において画像選択をしたり、視覚効果決定部においてスライドショー再生時の視覚効果を決定したり、シナリオ生成部においてシナリオを生成できるために、画像間の関連性を把握しやすくすると共に、ユーザにとって面白みのあるスライドショー再生を行うことが可能となる。
【００１３】
また、本発明に係る画像再生装置の視覚効果決定部は、前記視覚効果として、画面を１以上の小画面に分割して表示する分割表示、前記画像データの表示時間、前記画像データの動かし方を決定することを特徴とする。また、視覚効果決定部は、前記関連度に応じ、前記画像データ間の再生時において前記分割表示を行うように決定することを特徴とする。
【００１４】
これらの構成により、視覚効果決定部は、関連度の弱い画像間の再生時には分割表示を行う等の視覚効果を与えることを決定するために、関連度に基づいたスライドショー生成を行うことを可能とする。
【００１５】
また、本発明に係る画像再生装置の画像選択部は、前記関連度に基づいて、全体の画像群から一部の画像の集合をサブセットとして選択し、前記関連度解析手段は、当該サブセット内の画像間の関連度を解析することを特徴とする。また、前記画像選択部は、前記関連度として撮影時刻が近接した画像データの集合を前記サブセットとして選択することを特徴とする。
【００１６】
これらの構成により、画像選択部は、全体の画像群の中から一部の画像群をサブセットといて選択して、このサブセット内の画像群の関連度を解析するために、撮影時刻が近い等の関連度の近い画像データを用いてスライドショーの再生を適切に行うことが可能となる。
【００１７】
また、本発明に係る画像再生装置の画像選択部は、Ｍ,Ｎを１以上の整数とした場合、Ｍ系列の画像群からＮ系列の画像群を選択し、前記視覚効果決定部は、画面をＮ個のウインドウに分割し、前記Ｎ系列の画像を分割表示すると決定することを特徴とする。また、前記Ｍ系列は撮影者により分けられていることを特徴とする。
【００１８】
これらの構成により、系列毎に分けられた他の撮影者により撮影された画像データを用いて関連度に基づく分割表示等を行いながらスライドショーの再生表示を行うことが可能となる。
【００１９】
また、本発明に係る画像再生装置の画像選択部は、Ｌを１以上の整数とした場合、Ｌ番目に選択された画像群の前記画像情報又は前記関連度の少なくとも１部に基づいて、Ｌ＋１番目の画像群を選択することを特徴とする。
【００２０】
この構成により、画像選択部は、１つ前に選択された画像群の画像情報又は関連度の少なくとも１部に基づいて次にスライドショーの再生を行う画像群を選択するため、ユーザにとっては記憶の想起と意外性の両面で面白みを感じるスライドショー生成を実現することが可能となる。
【００２１】
尚、前記目的を達成するために、本発明は、前記画像再生装置の特徴的な構成手段をステップとする画像再生方法としたり、それらのステップを全て含むプログラムとして実現することもできる。そして、そのプログラムは、画像再生装置が備えるＲＯＭ等に格納しておくだけでなく、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワークを介して流通させることもできる。
【発明の効果】
【００２２】
本発明の画像再生装置によれば、関連性のある複数の画像を、画像間の関連性の強さに応じて、例えば関連度の弱い画像間は分割表示する、あるいは関連度の強い連写の場合は分割表示する等の視覚効果を与えながらスライドショーの再生をすることができる。このため、画像間の関連性を把握しやすくすると共に、ユーザにとって面白みのある画像再生を可能とする。
【発明を実施するための最良の形態】
【００２３】
以下、本発明に係る画像再生装置の実施の形態について、図面を参照しながら説明する。
【００２４】
（実施の形態１）
本実施の形態１に係る画像再生装置は、画像間の関連度を抽出して、この関連度に基づいて視覚効果を与えながらスライドショーの再生を行うことを特徴としている。尚、スライドショーとは、デジタル写真は画像蓄積部から、音楽は音楽蓄積部からそれぞれ読み出し、音楽にあわせて画像を再生するものである。単にデジタル写真を順次表示するものではなく、音楽に合わせ、画像に対してパン、ズーム、拡大、縮小、色変化といった動きのある視覚効果を与えることで、躍動感を演出する。他の視覚効果としては画像切り替え時のフェードイン、スライドイン、ワイプといったトランジションの効果や、キューブ、円柱に画像を貼り付ける、あるいは画像に光を当てて反射の様子を描画するといった３Ｄの効果がある。尚、本実施の形態１に係る画像再生装置は、画像間の関連度を用いて画像を分割して表示するが、これも視覚効果の一例である。
【００２５】
また、本発明に係る画像再生装置に用いる画像データとしては、主にデジタルスチルカメラや携帯電話機で撮影したデジタル写真であるが、動画、ＣＧ等でもよい。また画像はデジタルスチルカメラによる撮影で得たものに限る必要はなく、市販コンテンツ、Ｗｅｂからのダウンロード、放送番組等ソースは特に問わず、画像データはＪＰＥＧ、ビットマップ等であるが、特に形式は問わない。また、音楽データはＡＡＣ、ＭＰ３等のウェーブ形式、ＭＩＤＩ等のデータ形式等どちらでもよく、特に形式は問わない。
【００２６】
図１は、本実施の形態１における画像再生装置１００のブロック構成図である。
画像入力部１０１は画像データの入力が行われる処理部である。
【００２７】
画像特徴抽出部１０２は、画像データの解析を行って画像から画像特徴量の抽出を行う処理部である。また、画像特徴抽出部１０２において抽出された画像特徴量を画像ＩＤ及び画像データからなるデータに付与して画像パケット１１０を生成する。
【００２８】
画像蓄積部１０３は、生成された画像パケット１１０を蓄積するデータベースである。
音楽入力部１０４は音楽データの入力が行われる処理部である。
【００２９】
音楽特徴抽出部１０５は、音楽データから音楽の特徴量を抽出する。また、音楽特徴抽出部１０５において抽出された音楽特徴量を音楽ＩＤ及び音楽データからなるデータに付与して音楽パケット１１１を生成する。
【００３０】
音楽蓄積部１０６は、生成された音楽パケット１１１を蓄積するデータベースである。
メニュー入力部１０７は、ユーザがスライドショー生成のためのメニュー操作を行うためのキーボード等のインターフェースである。このメニュー操作には、「フォーマル」、「パーティー」、「旅行」等のスタイルの選択が含まれる。
【００３１】
スライドショー生成部１０８は、メニュー入力部１０７から入力された条件に合わせてスライドショーの作成を行う。
【００３２】
表示部１０９は、スライドショー生成部１０８において作成され、シナリオ解析部において解析後のスライドショーを画面に表示する。
【００３３】
関連度解析部１１２は、画像蓄積部１０３から画像を読み出し、画像に含まれているメタ情報から画像間の関連度を算出する。
【００３４】
シナリオ解析部１１３は、スライドショー生成部１０８において画像間の関連度に基づいて生成されたシナリオを解析して、シナリオとして作成されているスライドショーの時間における画像ＩＤや視覚効果を解析する。
【００３５】
また、図１において、画像パケット１１０、音楽パケット１１１の画像蓄積部１０３及び音楽蓄積部１０６への蓄積は次の様に行われる。
【００３６】
画像データは、画像入力部１０１から入力され、画像特徴抽出部１０２において画像特徴量の抽出が行われる。そして、画像特徴抽出部１０２において画像ＩＤ２０、撮影者ＩＤ２１、カメラ情報２２、抽出結果である被写体情報２０３、物理特徴量２４、元の画像データ２５を画像パケット１１０の形にして、画像蓄積部１０３に蓄積する。
【００３７】
また、音楽データは音楽入力部１０４から入力され、音楽特徴抽出部１０５で特徴抽出が行われる。そして、音楽特徴抽出部１０５は、音楽ＩＤ３０、抽出結果であるリズム情報３１、音楽感性情報３２、元の音楽データ３３を音楽パケット１１１の形にして、音楽蓄積部１０６に蓄積する。
【００３８】
次に、スライドショー生成の流れをユーザ操作の視点から説明する。
最初に、ユーザはメニュー入力部１０７でスタイルを選択する。ここでスタイルとはスライドショー全体の雰囲気を決めるものであり、「フォーマル」、「パーティ」、「旅行」といった言葉で提示される。ここで、スタイルが「フォーマル」であれば落ち着いた視覚効果（動き）を、「旅行」であれば軽やかな視覚効果を主流とすることで、イメージにあったスライドショーの再生がなされる。
【００３９】
次に、ユーザは、スライドショーを要求する画像の選択を行う。画像はユーザがおおまかに指定するものであり、例えば画像の入ったフォルダを指定すると、スライドショー生成部１０８はそのフォルダから適切な画像を選ぶ。音楽はスタイルに合わせ、リズム情報、音楽感性情報に基づいて、自動的に選択される。例えばスタイルで「フォーマル」を選び、画像フォルダは披露宴の写真の入ったものを指定する。音楽は「フォーマル」のイメージに合ったもの、例えばクラシックが選択される。もちろん画像、音楽ともユーザが細かく指定してもよい。スライドショー生成部１０８はメニュー入力部１０７からの指示に従ってスライドショーのシナリオを生成し、シナリオ解析部１１３がシナリオを解読して、表示部１０９に再生、表示する。尚、ユーザは画像選択を行ってからスタイル選択を行うことも考えられるため、画像選択とスタイル選択の手順は逆にしても構わない。
【００４０】
図２は、本実施の形態１における画像特徴抽出部１０２において抽出されたデータを含む画像パケット１１０のデータ構成図である。
【００４１】
画像パケット１１０には、画像のユニークな番号である画像ＩＤ２００、撮影者毎に付与されるＩＤである撮影者ＩＤ２０１、カメラで所得した情報であるカメラ情報２０２、被写体の情報である被写体情報２０３、画像内の輝度、色などを元にした物理情報である物理特徴情報２０４、及び画像の実体データとなる画像データ２０５が含まれる。
【００４２】
カメラ情報２０２には、撮影時刻（図２では２００４年６月３０日）、撮影場所（東経１３５度１０分２０秒、北緯３３度３３分４０秒）、焦点距離（３ｍ）、絞り値（f５.６）等の物理的な撮影条件が含まれる。
【００４３】
被写体情報２０３には写真内の人物数（１人）、人物名（Ａさん）、位置（画像内での顔の中心座標）、大きさ（顔の外接長方形の左上と右下の座標値）などが含まれる。
【００４４】
物理特徴情報２０４には、例えば画像を複数の領域にわけての各領域内の平均輝度、平均色、中心周波数等が含まれる。そして、例えば平均輝度は、２５６階調の場合は０以上２５５以下で表される数値、平均色はＲＧＢ表示（２５６段階の場合、（２０４,０,０）は赤色、（１８３,６５,１４）は赤錆色を示す）、中心周波数は領域内の輝度分布のｘ,ｙ方向の空間周波数成分の中心値である。
【００４５】
そして、図中の矢印において示すように、画像ＩＤ２００、撮影者ＩＤ２０１、カメラ情報２０２、及び画像データ２０５は画像入力部１０１から取得される情報であり、被写体情報２０３及び物理特徴情報２０４は画像特徴抽出部１０２から取得される情報である。
【００４６】
また、画像データ２０５以外の付加情報である画像ＩＤ２００、撮影者ＩＤ２０１、カメラ情報２０２、被写体情報２０３、及び物理特徴情報２０４はメタ情報２０６となる。
【００４７】
図３は、本実施の形態１における音楽特徴抽出部１０５において抽出された抽出情報を含む音楽パケット１１１のデータ構成図である。
【００４８】
この音楽パケット１１１は、楽曲毎に固有の識別番号となる音楽ＩＤ３００、リズム情報３０１、音楽感性情報３０２、音楽の実体データとなる音楽データ３０３を含む。
【００４９】
リズム情報３０１は音楽の早さを示すテンポ、リズム等である。音楽感性情報３０２は音楽データから抽出した感性を示すものである。音楽の感性は度合いをスコア化（数値化）して、激しさと暖かさで表現される。図３の音楽感性情報３０２でスコアの最大を５０とした場合、激しさ＝-４０、暖かさ＝-４０は、「かなり静的かつ冷たい」ことを示す。
【００５０】
そして、スライドショー生成に先立ち、予め画像特徴量の抽出を行う必要があるが、図４は、本実施の形態１に係る画像再生装置１００の画像特徴抽出部１０２における被写体情報抽出の動作手順を示すフローチャートである。
【００５１】
最初に、画像特徴抽出部１０２は画像入力部１０１から画像の入力を受け付ける（Ｓ４０１）。
【００５２】
そして、画像特徴抽出部１０２は、人物の検出処理を行って人物が検出されるか否かを判定する（Ｓ４０２）。人物が検出される場合においては（Ｓ４０２でＹ）、さらに人物の特定ができるか否かの判定を行う（Ｓ４０３）。人物特定は登録した人物画像との比較により行う。登録された画像と類似性が高い場合に特定できる可能性が高く、特定できた場合は人物名を付与する。そして、人物が特定できる場合においては（Ｓ４０３でＹ）、人物名を付与して（Ｓ４０４）、人物が特定できない場合においては（Ｓ４０３でＮ）、単に人物ありと判断する（Ｓ４０５）。
【００５３】
そして、画像特徴抽出部１０２は、これらの判定結果を画像パケット１１０の被写体情報２０３に書き込むと共に、画像蓄積部１０３に記録する（Ｓ４０７）。尚、人数、位置は人物検出時に同時に行えばよい。また、人物検出において、人物が検出されない場合においては（Ｓ４０２でＮ）、人物が撮影されていない画像と判断されるため（Ｓ４０６）、被写体情報２０３を書き込む必要はない。
【００５４】
図５は、本実施の形態１に係る画像再生装置１００の画像特徴抽出部１０２における物理量抽出の動作手順を示すフローチャートである。
【００５５】
最初に、画像特徴抽出部１０２は、画像入力部１０１からの画像の入力を受け付ける（Ｓ５０１）。
【００５６】
次に、画像特徴抽出部１０２は、画像を複数の領域に分割する（Ｓ５０２）。この分割処理は予め決まったパターンで行うが、おおまかな解析をした後に分割パターンを決めてもよい。
【００５７】
次に、画像特徴抽出部１０２は、分割された領域毎に輝度情報、色情報、周波数情報を抽出して（Ｓ５０３）、物理特徴量を算出し、画像パケット１１０の物理特徴情報２０４に書き込み（Ｓ５０４）、この画像パケット１１０を画像蓄積部１０３に記録する。尚、図４及び図５に示す被写体情報と物理特徴量の抽出はどのような順番で行ってもよい。
【００５８】
図６は、本発明に係る画像再生装置において、各画像間の関連度算出対象となる一組であるサブセットの説明図である。尚、図６においては、縦に系列、横に時間軸を示し、撮影された画像を時間軸上にａ１,ａ２,..の様に図示されている。
【００５９】
そして、本実施の形態１の説明において、系列とは撮影者を意味し、Ａ系列はＡさん、Ｂ系列はＢさん、Ｃ系列はＣさん、Ｄ系列はＤさんが撮影した画像となる。つまり、本実施の形態１の説明においては、画像群は撮影者毎にＡ,Ｂ,Ｃ，Ｄの４系列に分かれ、各画像は時間に沿って撮影されている。
【００６０】
また、図６においては、Ａさんが撮影したＡ系列はａ１,ａ２,ａ３が隣接した時間に撮影され、少し時間を置いてａ４,ａ５が撮影されている。Ｂさんが撮影したＢ系列ではａ２,ａ３に近い時間にｂ１,ｂ２が撮影され、少し時間を置いてａ４に近い時間にｂ３が撮影されている。Ｃ，Ｄ系列も見方は同様である。
【００６１】
そして、関連度解析部１１２は、時間的に近い各系列のセットをサブセットとして自動検出する。本図においては点線で囲む部分がサブセットとなり、ａ１,ａ２,ｂ１,ｃ１,ｃ２,ｄ１がサブセット１、ａ２,ａ３,ｂ１,ｂ２,ｃ２,ｄ２がサブセット２、ａ４,ａ５,ｂ３,ｃ３,ｄ３,ｄ４がサブセット３に含まれる画像となる。尚、サブセットを作成するための時間とは、例えば結婚式においては数分オーダであり、旅行等においては日時オーダとなる等、撮影対象となるイベントの種類に応じて異なるようにすることが可能である。
【００６２】
図７は、本実施の形態１に係る画像再生装置１００が備える関連度解析部１１２の動作手順を示すフローチャートである。
【００６３】
最初に、関連度解析部１１２は、画像蓄積部１０３からまず比較すべき２枚の画像を取得すると（Ｓ７０１）、各画像ごとの関連度を抽出する。本発明において、関連度は、基本的には２枚の画像を比較して算出される。
【００６４】
次に、関連度解析部１１２は、時刻等、各種の類似度から各評価値の算出を行い、評価値は大きいほど関連度が高いと判断する。評価値の算出の対象と類似度になるのは、時刻（Ｓ７０２）、場所（Ｓ７０３）、被写体（Ｓ７０４）、物理特徴（Ｓ７０５）である。時刻、場所は一致すれば最高点（例えば１００点）であり、離れるにつれて評価値を下げる。時刻については年月日の全ての類似度だけでなく、一部の情報である月日、時間だけの類似度を評価してもよい。尚、場所情報は、携帯電話機に備えられているＧＰＳ等を用いて取得することができる。時間情報は電波等を用いてデジタル画像の撮影を行う各端末の時間が一致していることが必要となる。また、被写体、物理情報については、時刻ほど明確に絶対的な数値が出るものではないので、評価値は０から最高点までがある程度分布するように調整する。被写体情報では画像内のオブジェクトの類似度が、物理情報では色・輝度分布といったレイアウト的な類似度が評価される。
【００６５】
そして、関連度解析部１１２は、これらの評価値を重み付け加算する（Ｓ７０６）。重み付けの係数は固定値でもいいが、目的によってダイナミックに変えてもよい。例えば披露宴などのイベントであれば、時刻、被写体を重視する。また、一般的には、重み付けの重みは時刻、場所、被写体、物理量の順となる。
【００６６】
最後に、関連度解析部１１２は、重み付け加算後の評価値が予め設定された閾値より大きいか否かの判定を行い（Ｓ７０７）、関連度の閾値に比較した大・小を判定する。この場合、関連度解析部１１２は、閾値より大きい場合には（Ｓ７０７でＹ）、関連度が強いと判定し（Ｓ７０９）、閾値より小さい場合においては（Ｓ７０７でＮ）、関連度が弱いと判定し（Ｓ７０８）、一連の関連度解析部１１２の動作を終了する。尚、本図の説明において関連度は大・小という２つの区分を用いているが、これに限定されるものではなくもっと細かく点数により区分を行っても構わない。
【００６７】
また、関連度の保存方法であるが、本実施の形態１では関連度解析部１１２が一連の処理の流れの中で算出しているので、ソフトウェアで一時的にダイナミックに保持するが、都度計算するのは非効率であるので、画像登録時に算出して、メタ情報２０６内に保管してもよい。この場合、全ての画像との関連度を残すのは効率が悪いので、例えば関連度の高い上位１０枚について、画像ＩＤと評価値を画像パケット１１０内のメタ情報２０６に残せばよい（図２では図示せず）。
【００６８】
さらに、全ての画像との関連度の算出をするのが理想であるが、計算コストを押さえるため、時刻で１次スクリーニングして、ある程度近いものに範囲を絞った上で詳細な評価値を出すのが好ましい。ここで時刻の近いものとは年月日が近いものに限らず、月日が近いものでもよい。こうすれば異なる年の同月日の画像が関連度が高いと評価され、並べて画面上に分割表示等されることで、記憶の想起に有効となり、ユーザのスライドショー再生時の娯楽性を向上させることが可能となる。
【００６９】
また、本図の説明において、関連度を求めるために、２枚の画像の比較について述べた
が、複数の場合は以下の様に考えて、スライドショーのシナリオ生成に利用することが可能となる。例えば、３枚の画像ａ,ｂ,ｃにおいて、ａとｂ、ｂとｃ、ｃとａの２枚の間では関連度を評価済みとする。関連度の閾値は１０として、これより大きければ関連度大とする。
（１）ａ,ｂの関連度２０、ｂ,ｃの関連度３０、ｃ,ａの関連度５０の場合：この場合には、画像セット（ａ,ｂ,ｃ）を関連度の高いグループとして扱う。
（２）ａ,ｂの関連度２０、ｂ,ｃの関連度３０、ｃ,ａの関連度１の場合：この場合には、画像セット（ａ,ｂ）（ｂ,ｃ）を関連度の高いグループとして扱う、さらに（ａ,ｂ,ｃ）を関連度の高いグループとして扱ってもよい。
（３）ａ,ｂの関連度２０、ｂ,ｃの関連度５、ｃ,ａの関連度１の場合：この場合には、画像セット（ａ,ｂ）を関連度の高いグループとして扱う。
【００７０】
図８は、本実施の形態１に係る画像再生装置１００のスライドショー生成部１０８の動作手順を示すフローチャートである。尚、スライドショー生成及び再生時の動作手順は大きく「画像所得、関連度解析」、「スライドショー生成」、「スライドショー再生」の３つに分かれる。
【００７１】
最初に、スライドショー生成部１０８は、画像蓄積部１０３からＡ，Ｂ，Ｃ，Ｄ系列の画像を取得する（Ｓ８０１）。
【００７２】
そして、スライドショー生成部１０８は、Ａ，Ｂ，Ｃ，Ｄ各系列からサブセット検出を行う（Ｓ８０２）。
【００７３】
次に、スライドショー生成部１０８は、画像間の関連度を調べる（Ｓ８０３）。ここでは関連度が強いか否かの判定を行う。
【００７４】
そして、スライドショー生成部１０８は、メニュー入力部１０７を介してユーザから入力指示されるスタイルに応じて視覚効果を付与するが、ここで関連度が弱いと判定される場合においては（Ｓ８０３でＮ）、関連度の弱い画像用の視覚効果（Ｓ８０４）、関連度が強いと判定される場合においては（Ｓ８０３でＹ）、関連度の強い画像用の視覚効果を付与する（Ｓ８０５）。尚、本実施の形態の説明において、関連度が強いとは撮影日時、撮影場所、撮影者、被写体情報、輝度情報、色情報が類似しているということであり、関連度が弱いとは、撮影日時、撮影場所、撮影者、被写体情報、輝度情報、色情報が類似していないということである。また、視覚効果には、関連度に応じて、画面の分割方法、画像の表示時間、画像の動かし方に差をつける。これに関しては後述の図１０及び図１１において説明する。
【００７５】
また、スライドショー生成部１０８は、以上の処理を決められた長さシナリオが生成されたか否かの判定を行い（Ｓ８０７）、決められた長さまでシナリオが生成されていない場合においては（Ｓ８０７でＮ）、Ｓ８０１からＳ８０６までのステップを繰り返し、決められた長さまでシナリオが生成されている場合においては（Ｓ８０７でＹ）、シナリオの形でシナリオ解析部１１３に出力し、シナリオ解析部１１３で解読して、表示部１０９に出力することでスライドショー再生を行う（Ｓ８０８）。尚、シナリオとは画像と視覚効果を時間に沿って記述したものである。
【００７６】
図１４は、本発明の画像再生装置のスライドショー生成部１０８において画像間の関連度に基づいて作成されるシナリオのデータ構成例１４００を示す参考図である。本図に示すように、シナリオ１４００には、例えば、関連度に基づいて(１)再生時間(２)画像の割り当て(３)視覚効果（例えば、派手にするにはズーム、おとなしめにするには静止）(４)ＢＧＭが記述されている。
【００７７】
続いて、披露宴のシーンを想定した具体的なスライドショー生成について、図９〜図１１を用いて説明する。
【００７８】
図９は、画像撮影の様子を示すタイムチャート図である。本図に示す様に、本実施の形態の説明においては、披露宴は大きく４つの区間「開始前」、「ケーキ入刀」、「歓談」、「キャンドルサービス」の順で進行するものとする。
【００７９】
そして、本実施の形態１においては、４人の撮影者が画像を撮影し、それぞれの画像群をＡ，Ｂ，Ｃ，Ｄ系列とする。ここでは「区間１」の開始前にＡ系列ではａ１,ａ２の２枚が、Ｂ，Ｃ，Ｄ系列ではｂ１,ｃ１,ｃ１の各１枚が撮影され、また、「区間２」のケーキ入刀と「区間４」のキャンドルサービスでは短時間に大量の画像が撮影され、「区間３」の歓談では開始前と同様に離散的に撮影されている。
【００８０】
また、本図においては、サブセットを点線で示している。例えば、関連度解析部１１２は、撮影時間に基づいて、時間の近いものをサブセットとすることで、自動でサブセットの検出が可能である。また、本発明においては、歓談時の様な離散的な、つまり撮影頻度の低い場合に備え、ある程度の枚数が集まればそれをサブセットとする。
【００８１】
図１０及び図１１は、画像撮影の様子を示すタイムチャート図と、このタイムチャート図に対応するマルチ画面での画像再生の様子を示す画面イメージ図である。また、図１０は、最初の「区間１」及び「区間２」に対応する画面イメージ図を示し、図１１は、「区間３」及び「区間４」に対応する画面イメージ図を示している。
【００８２】
まず、図１０に示すように、「区間１」の開始前においては、会場の様子、参加者などが撮影されているので、被写体に大きな差があり、また時間もばらつくので、関連度は低いと評価される。その結果、画面が４分割され、そこに４枚の画像が表示される。ここではなるべく撮影時間が近いものを４枚並べる。原則、左上にＡ系列、右上にＢ系列、左下にＣ系列、右下にＤ系列の画像を表示するが、これに限る必要はない。視覚効果も静かなものを付与し、単に画像を切り替えるだけでもよい。
【００８３】
次に、図１０に示す「区間２」のケーキ入刀になると、全ての系列で、新郎新婦がケーキに入刀するシーンを少しずつ違う角度から撮影される。このため、被写体の類似度が高くなり、また時間間隔も狭いので、撮影時刻の類似度も高くなる。その結果、この「区間２」で撮影された画像間の関連度は高いと評価される。そこで、開始前の「区間１」と差をつけて、派手な演出をして画面にスライド表示する。
【００８４】
また、本実施の形態１においては、まず画面を４画面から１画面に切り替え、画面一杯にａ３,ａ４,ａ５を順に表示し、その後、再び４画面に分割して、ａ３，ｂ２，ｃ２，ｄ２等、ほぼ同じ時間に撮影された画像を４枚同時に表示する。これにより、大きな画面でのスライドショー再生時のインパクトを与えると共に、画面分割によって同一シーンをマルチアングルで撮影したような効果を出すことができる。また、視覚効果もズーム、パンなどの動きのあるものを付与する。
【００８５】
次に、図１１に示す歓談の「区間３」に入る。この「区間３」においては、開始前同様、被写体に大きな差があり撮影時間も離散的なので、関連度は低いと評価される。その結果、画面が４分割され、そこに４枚の画像をなるべく撮影時間が近いもの選んで並べて表示する。視覚効果は静かなものを付与し、単に画像を切り替えるだけでもよい。
【００８６】
最後に、図１１に示すキャンドルサービスの「区間４」ではケーキ入刀の「区間２」と同じく、類似した被写体が撮影されているので、関連度は高いと評価される。画面分割については、例えばキャンドルサービスと視覚効果の順番を入れ替えて、最初に４枚表示、次にａ１０,ｂ８,ｃ７,ｄ７を画面全体に表示する。視覚効果も派手なものを使用する。
【００８７】
尚、ここでのポイントは「開始前、歓談」の区間と「ケーキ入刀、キャンドルサービス」の区間で視覚効果に差をつけ、後者が目立つようにすることであり、演出は必ずしも上記した通りである必要はない。また、画像の表示時間も後者を長めにした方がよい。また、携帯カメラに備えられている連写機能を用いて撮影された画像間は撮影時間がほぼ同じであるために関連度が高く、これら画像を目立つように表示したり、分割表示したりできる。
【００８８】
次に、撮影者が１人の場合におけるスライドショー生成について、図１２を用いて説明する。図１２は、系列が１つの場合の画像撮影とマルチ画面での再生の様子を示す参考図である。尚、図１０及び図１１と同様に披露宴をモデルとして説明するが、本図では披露宴は大きく２つの区間「開始前」及び「ケーキ入刀」の順で開催されるものとする。
【００８９】
そして、開始の「区間１」ではａ１,ａ２の２枚、ケーキ入刀の「区間２」ではａ３,ａ４,ａ５,ａ６,ａ７の５枚が撮影される。ケーキ入刀の「区間２」では短時間に大量の画像が撮影され、開始前の「区間１」では離散的に撮影される。また、本図においてサブセットを点線で示す。
【００９０】
次に、スライドショー生成について説明すると、まず開始前の「区間１」では会場の様子、参加者などが撮影されており、被写体に大きな差があるので、関連性は低いと評価される。その結果、画面が４分割され、そこに４枚の画像が表示されるが、ここでは画像が２枚しかないので一部は重複して表示される。また、無理に画面を４分割する必要はなく、画面を２分割してもよい。視覚効果は静かなものを付与し、単に画像を切り替えるだけでもよい。また、ＢＧＭも同様に穏やかな音楽が自動的に選択される。
【００９１】
次に、ケーキ入刀の「区間２」になると、新郎新婦がケーキに入刀するシーンを連続的に撮影するので、被写体の類似度が高くなり、また時間間隔も狭いので、撮影時刻の類似度も高くなる。そのため、ここで撮影された画像間の関連性は高いと評価される。そこで開始前と差をつけ、派手な演出をして表示する。ここではまず画面全体にａ３,ａ４,ａ５,ａ６を順次表示し、その後ａ４,ａ５,ａ６,ａ７の４枚を分割表示する。これにより、本実施の形態１に係る画像再生装置１００においては、連続したシーンをマルチアングルで撮影したような効果を出すことができる。視覚効果もズーム、パンなどの動きのあるものを付与する。また、ＢＧＭも同様に激しい種類の音楽が自動的に選択される。
【００９２】
以上のように、本発明にかかる画像再生装置においては、１人で撮影した場合においても、４人で撮影した場合と同様に「開始前」と「ケーキ入刀」で視覚効果に差をつけ、後者が目立つように再生することが可能となる。
【００９３】
図１３は、本実施の形態１に係る画像再生装置１００の画面に表示されるスライドショー再生時の画像表示例を示す参考図である。
【００９４】
図１３（ａ）は、上述した結婚式の分割画面（Ａさんの撮影画像、Ｂさんの撮影画像、Ｃさんの撮影画像、Ｄさんの撮影画像）、及び代表画像の逐次表示を切り替えながらスライドショーを再生するものである。このように表示することで、関連度の高い関連画像を比較表示することができ、また、大量・類似のデジタル画像を用いた画面表示におけるバリエーションを増やすことが可能となる。
【００９５】
図１３（ｂ）は、ゴールシーンの分割画面である。このように、同一のゴールシーン（ネット裏、左から、客席の様子、撮影者の視点）を分割表示する。この場合においては、時刻や場所等に基づく関連度を用いることにより、他者の視点からの画像をスライドショーとして再生することが可能となる。また、ネットワーク等を介したコミュニケーションにより他者から関連度の高い画像を取得して、これらの画像を用いたスライドショーを再生することにより、メッセージ性を有し、より娯楽性を高めたスライドショー再生を行うことができる。
【００９６】
図１３（ｃ）は、奈良町の今昔（５０年前、１０年前、少し違う場所、今）を示す分割画面である。この場合においては、場所に基づく関連度を用いることにより、同じ場所の違う時期の映像をスライドショーとして再生することが可能となる。
【００９７】
以上の説明のように、本実施の形態１に係る画像再生装置１００においては、関連度解析部１１２において画像間の関連度を抽出し、スライドショー生成部１０８は、この関連度に基づいて視覚効果等を与えたスライドショーのシナリオの生成を行う。従って、本発明に係る画像再生装置においては、撮影された大量・類似のデジタル画像を用いて、関連度の弱い画像は分割表示し、関連度の強い画像間は１画面表示される等、ユーザにとって画像間の関連性を把握しながら、また面白みのあるスライドショー再生が実現することが可能となる。
【００９８】
また、ネットワークを介して他者の有する画像から関連度の近い画像を取得してスライドショーとして再生することにより、他者の視点からの画像を用いたスライドショーを実現することが可能となる。
【００９９】
尚、本実施の形態１に係る画像再生装置１００では、系列として撮影者で分ける場合を示したが、そうである必要はなく、撮影年で分ければ、分割された画面に各年の同一時期の画像を表示することができる。
【０１００】
また、画面の分割数も４である必要はなく、画像の系列数、表示する画面の大きさで選べばよい。また、分割数と系列数は一致する必要はない。
【０１０１】
また、本実施の形態１においては、画像を蓄積した後の動作を述べたが、撮影者がお互いに画像を送りあいながらスライドショーを生成してもよい。例えば、サッカー会場で、違う席に座った人同士で撮った画像を送りあえば、ゴールシーンにおいて異なる角度からのシーンを並べて比較表示できる。また、上述した披露宴のスライドショー再生においても、式参加と閲覧がリアルタイムで行える。画像の送受信に関して補足すれば、最近の携帯電話では高性能のデジタルカメラが内蔵されており、また携帯電話モジュール自体も安価になっているので、撮影と通信機能の融合した機器は容易に提供可能である。
【０１０２】
さらに、画像パケット１１０に含まれるメタ情報２０６は図２に示したものに限る必要はない。イベント名、人物以外の任意のオブジェクトの情報などもよく、自動抽出が困難あれば手動で付与してもよい。これらを元にすると例えばコレクションしたアイテムの関連度が高い場合は関連付けて表示することも可能となる。
【０１０３】
また、本実施の形態１では、複数の画面として、物理的に１つの画面を複数のウインドウに分割する場合を示したが、物理的に異なるものでよい。この場合の大画面表示とは、複数の表示装置にそれぞれ画像の一部を表示して、全体で大きな一枚の画像に見える様にすればよい。
【０１０４】
また、関連度の弱い画像は分割表示し、関連度の強い画像間は１画面表示される例を中心に説明したが、本発明はこれに限定されるものではなく、要は関連度の大小に応じて変化をつけることが重要であり、例えば関連度が高いと判断される連写の場合、画面を分割して表示する、１画面で高速に切り替えて動画的に見せるなどの方法も有効である。
【０１０５】
また、スライドショー再生として静止画の場合についてのみ述べたが、本願は静止画に限定するものではなく、動画は静止画の集合であるので動画においても同様の関連度を抽出して関連する画像を再生することも考え得る。
【０１０６】
（実施の形態２）
次に、本発明の実施の形態２に係る画像再生装置の説明を行う。本実施の形態２では、Ｌ番目の画像セットを元にＬ＋１番目の画像セットを選ぶ画像セットの選択に特徴がある。また、本実施の形態２に係る画像再生装置の機能構成は上述した実施の形態１と同じであるために、その詳細な説明を省略する。
【０１０７】
図１５は、本発明の実施の形態２に係る画像再生装置のスライドショー生成部１０８のスライドショー生成及び再生時の動作手順を示すフローチャートである。また、本実施の形態２の画像再生装置においては、既に画像間の関連度が算出され、現時点でスライドされている画像の関連度に類似している画像を次に再生するものである。
【０１０８】
最初に、スライドショー生成部１０８は、画像蓄積部１０３から画像セットを選択し（Ｓ１５０１）、関連度を調べ、その結果に応じて視覚効果を付与する。
【０１０９】
次に、選択された画像のメタ情報２０６を元に、次の画像セットを選択する処理を行う（Ｓ１５０２）。尚、この選択処理は通常１回行われるものである。
【０１１０】
例えば、画像セットとして２枚の場合を例にあげる。最初の画像をａ１,ａ２とすると、これらのメタ情報２０６は以下とする。
【０１１１】
ａ１：時刻＝２００４/０６/２０、場所＝東京、人物＝Ａさん
ａ２：時刻＝２００４/０６/２１、場所＝大阪、人物＝Ｂさん
次に、スライドショー生成部は、このメタ情報２０６を組み合わせ、または一部を変えたもので次の画像を検索する。次に、選ばれた画像をｂ１及びｂ２とすると、これらのメタ情報２０６は以下となる。
【０１１２】
ｂ１：時刻＝２００４/０６/２２、場所＝東京、人物＝Ａさん
ｂ２：時刻＝２００４/０６/２０、場所＝東京、人物＝Ｂさん
ｂ１はａ１のメタ情報２０６のうち時刻を変更、ｂ２はメタ情報２０６として時刻と場所はａ１から、人物はａ２から現時点で再生されている画像と関連しているものとして抽出されたものである。
【０１１３】
そして、スライドショー生成部１０８は、画像間の関連度を調べる（Ｓ１５０３）。ここでは関連度が強いか否かの判定を行う。
【０１１４】
そして、スライドショー生成部１０８は、メニュー入力部１０７を介してユーザから入力指示されるスタイルに応じて視覚効果を付与するが、ここで関連度が弱いと判定される場合においては（Ｓ１５０３でＮ）、関連度の弱い画像用の視覚効果（Ｓ１５０４）、関連度が強いと判定される場合においては（Ｓ１５０３でＹ）、関連度の強い画像用の視覚効果を付与する（Ｓ１５０５）。
【０１１５】
次に、スライドショー生成部１０８は、以上の処理を決められた長さシナリオが生成されたか否かの判定を行い（Ｓ１５０７）、決められた長さまでシナリオが生成されていない場合においては（Ｓ１５０７でＮ）、Ｓ１５０１からＳ１５０６までのステップを繰り返し、決められた長さまでシナリオが生成されている場合においては（Ｓ１５０７でＹ）、シナリオの形でシナリオ解析部１１３に出力し、シナリオ解析部１１３で解読して、表示部１０９に出力することでスライドショーの再生を行う（Ｓ１５０８）。
【０１１６】
以上のように、本実施の形態２に係る画像再生装置１００においては、メタ情報２０６を用いて、これにより何らかの関連性を持つ画像が次々に検索される。また一部変更の要素があるので、スライドショー再生中に再生される次の画像が、予期しない思わぬ画像に飛ぶこともある。即ち、画像間の連想により次の画像セットを選択するために、時々変異が起こる連想ゲーム的な画像の表示が実現し、ユーザにとっては記憶の想起と意外性の両面で面白みを感じるスライドショー生成を実現することが可能となる。
【産業上の利用可能性】
【０１１７】
本発明に係る画像再生装置は、画像の再生機能を有するデジタルカメラ、携帯電話機、カーナビ、ＤＶＤレコーダ、ＰＤＡ等の装置として用いることができ、また、本発明に係る画像再生方法はＰＣでのデジタル写真の閲覧ソフトとして有用となる。
【図面の簡単な説明】
【０１１８】
【図１】実施の形態１における画像再生装置のブロック構成図
【図２】実施の形態１における画像特徴抽出部において抽出されたデータを含む画像パケットのデータ構成図
【図３】実施の形態１における音楽特徴抽出部において抽出された抽出情報を含む音楽パケットのデータ構成図
【図４】実施の形態１に係る画像再生装置の画像特徴抽出部における被写体情報抽出の動作手順を示すフローチャート
【図５】実施の形態１に係る画像再生装置の画像特徴抽出部における物理量抽出の動作手順を示すフローチャート
【図６】本発明に係る画像再生装置において、各画像間の関連度算出対象となる一組であるサブセットの説明図
【図７】実施の形態１に係る画像再生装置が備える関連度解析部の動作手順を示すフローチャート
【図８】実施の形態１に係る画像再生装置のスライドショー生成部の動作手順を示すフローチャート
【図９】画像撮影の様子を示すタイムチャート図
【図１０】最初の「区間１」及び「区間２」に対応する画面イメージ図
【図１１】「区間３」及び「区間４」に対応する画面イメージ図
【図１２】系列が１つの場合の画像撮影とマルチ画面での再生の様子を示す参考図
【図１３】実施の形態１に係る画像再生装置の画面に表示されるスライドショー再生時の画像表示例を示す参考図
【図１４】発明の画像再生装置のスライドショー生成部において画像間の関連度に基づいて作成されるシナリオのデータ構成例を示す参考図
【図１５】実施の形態２に係る画像再生装置のスライドショー生成部のスライドショー生成及び再生時の動作手順を示すフローチャート
【図１６】従来のスライドショー装置の構成図
【符号の説明】
【０１１９】
１０１ 画像入力部
１０２ 画像特徴抽出部
１０３ 画像蓄積部
１０４ 音楽入力部
１０５ 音楽特徴抽出部
１０６ 音楽蓄積部
１０７ メニュー入力部
１０８ スライドショー生成部
１０９ 表示部
１１０ 画像パケット
１１１ 音楽パケット
１１２ 関連度解析部
１１３ シナリオ解析部
２００ 画像ＩＤ
２０１ 撮影者ＩＤ
２０２ カメラ情報
２０３ 被写体情報
２０４ 物理特徴情報
２０５ 画像データ
２０６ メタ情報
３００ 音楽ＩＤ
３０１ リズム情報
３０２ 音楽感性情報
３０３ 音楽データ
【技術分野】
【０００１】
本発明は、デジタル写真の記録、再生を行う画像再生装置に関するものであり、特に、複数のデジタル写真を連続的に表示するスライドショー機能を有する画像再生装置に関するものである。
【背景技術】
【０００２】
従来、静止画を連続的に再生する方法として、一定時間間隔毎に逐次表示していくスライドショーという表示方法があり、例えば、フォトシネマ、ムービーシェーカー等のＰＣソフト、カメラ付携帯電話機等で実現されている。
【０００３】
ここで、スライドショーとは、スライド映写機と同様に一定時間間隔、或いはユーザの指示等のトリガーによって表示するデジタル静止画を切り替えていく、いわゆるデジタルな紙芝居である。また、近年においてはアプリケーションによってはＢＧＭを付加したりデジタル静止画の切り替えの際にフェード、ワイプ、回転等のトランジションを付加し、よりエンターテインメント性を向上させたものもある。
【０００４】
そして、従来のスライドショー装置の一例として、ＣＤ−ＲＯＭを用いて連続再生するものがある（例えば、特許文献１参照）。図１６は、この特許文献１に記載された従来のスライドショー装置１６００の構成図である。
【０００５】
このスライドショー装置１６００においては、ＣＤ−ＲＯＭ１６０６をＣＤ−ＲＯＭ読取り部１６０５にセットして、入力指示部１６０２によりスライドショー実行プログラム１６０６ａの起動指示を行う。演算制御部１６０１がスライドショー実行プログラム１６０６ａを読み込み、スライドショー実行部として機能するようになる。演算制御部１６０１は、スライドショーの実行の際、まず、順序テーブル１６０６ｂを読み込み、順序テーブル１６０６ｂに定義された順番に画像ファイルを、画像ファイル群１６０６ｃから抽出して表示部１６０３に表示させる。尚、ハードディスク１６０４は必要に応じて各種データを保存するものである。
【特許文献１】特開２００１-１０３４１５号公報（第３〜５頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の構成では、画像ファイルを順序テーブルに従って再生するだけなので、ユーザから見て面白み、意外性に欠けるという課題を有している。特に画像数が増大し、類似した画像が多く蓄積された場合、このような課題はさらに重大になる。例えば、スポーツ観戦や結婚式等の同一イベントで複数の人が同じような画像を撮影した場合、これらをただ順序テーブルに従って再生するだけでは、退屈さを感じる。
【０００７】
また、近年においてはデジタルカメラや携帯電話機等を用いたデジタル写真の利用が普及して、個人の持つデジタル画像は増加しており、ユーザが撮影した大量の画像が記憶されている。そして、これらの画像は類似又は関連画像を多く含み、このように、ユーザが撮影して端末機器に蓄積された大量・類似・関連のデジタル画像をどのように利用、選択するかが課題となっている。
【０００８】
さらに、従来のスライドショー再生装置においては、スライドショー装置間の画像を用いたコミュニケーションについては考慮されておらず、近年のネットワーク化に対応するようなスライドショーの提供を行うことも課題となっている。
【０００９】
本発明は、前記従来の課題を解決するためのものであり、撮影された複数の画像を用いて、画像間の関連性を把握しつつ、娯楽性のある画像再生を行う画像再生装置を提供することを目的としている。また、静止画を用いて他の撮影者とのコミュニケーションの実現を可能とする画像再生装置を提供することをも目的とする。
【課題を解決するための手段】
【００１０】
前記従来の課題を解決するために、本発明の画像再生装置は、画像データを用いて再生を行う画像再生装置であって、前記画像データから画像特徴量を抽出する画像特徴抽出手段と、前記画像データに関連する画像情報と前記画像特徴量とに基づき、他の画像との類似性を示す情報である関連度を解析する関連度解析手段と、前記関連度に基づいて前記画像データを用いたスライドショーの再生を行うスライドショー生成手段とを備えることを特徴とする。
【００１１】
また、本発明に係る画像再生装置のスライドショー生成手段は、前記関連度に基づいて前記再生を行う画像の集まりである画像群を選択する画像選択部と、前記関連度に基づいて前記画像群の再生時の視覚効果を決定する視覚効果決定部と、前記関連度に基づいて前記画像群に含まれる画像の再生順序であるシナリオを生成するシナリオ生成部とを備え、選択された前記画像群を、決定された前記視覚効果を用いて前記シナリオの順番に再生することを特徴とする。
【００１２】
これらの構成により、大量・類似した画像データを用いてスライドショーの再生を行う場合においても、画像特徴抽出手段において画像特徴量を抽出して、前記画像特徴量と画像情報を用いて解析された関連度に基づいて、画像選択部において画像選択をしたり、視覚効果決定部においてスライドショー再生時の視覚効果を決定したり、シナリオ生成部においてシナリオを生成できるために、画像間の関連性を把握しやすくすると共に、ユーザにとって面白みのあるスライドショー再生を行うことが可能となる。
【００１３】
また、本発明に係る画像再生装置の視覚効果決定部は、前記視覚効果として、画面を１以上の小画面に分割して表示する分割表示、前記画像データの表示時間、前記画像データの動かし方を決定することを特徴とする。また、視覚効果決定部は、前記関連度に応じ、前記画像データ間の再生時において前記分割表示を行うように決定することを特徴とする。
【００１４】
これらの構成により、視覚効果決定部は、関連度の弱い画像間の再生時には分割表示を行う等の視覚効果を与えることを決定するために、関連度に基づいたスライドショー生成を行うことを可能とする。
【００１５】
また、本発明に係る画像再生装置の画像選択部は、前記関連度に基づいて、全体の画像群から一部の画像の集合をサブセットとして選択し、前記関連度解析手段は、当該サブセット内の画像間の関連度を解析することを特徴とする。また、前記画像選択部は、前記関連度として撮影時刻が近接した画像データの集合を前記サブセットとして選択することを特徴とする。
【００１６】
これらの構成により、画像選択部は、全体の画像群の中から一部の画像群をサブセットといて選択して、このサブセット内の画像群の関連度を解析するために、撮影時刻が近い等の関連度の近い画像データを用いてスライドショーの再生を適切に行うことが可能となる。
【００１７】
また、本発明に係る画像再生装置の画像選択部は、Ｍ,Ｎを１以上の整数とした場合、Ｍ系列の画像群からＮ系列の画像群を選択し、前記視覚効果決定部は、画面をＮ個のウインドウに分割し、前記Ｎ系列の画像を分割表示すると決定することを特徴とする。また、前記Ｍ系列は撮影者により分けられていることを特徴とする。
【００１８】
これらの構成により、系列毎に分けられた他の撮影者により撮影された画像データを用いて関連度に基づく分割表示等を行いながらスライドショーの再生表示を行うことが可能となる。
【００１９】
また、本発明に係る画像再生装置の画像選択部は、Ｌを１以上の整数とした場合、Ｌ番目に選択された画像群の前記画像情報又は前記関連度の少なくとも１部に基づいて、Ｌ＋１番目の画像群を選択することを特徴とする。
【００２０】
この構成により、画像選択部は、１つ前に選択された画像群の画像情報又は関連度の少なくとも１部に基づいて次にスライドショーの再生を行う画像群を選択するため、ユーザにとっては記憶の想起と意外性の両面で面白みを感じるスライドショー生成を実現することが可能となる。
【００２１】
尚、前記目的を達成するために、本発明は、前記画像再生装置の特徴的な構成手段をステップとする画像再生方法としたり、それらのステップを全て含むプログラムとして実現することもできる。そして、そのプログラムは、画像再生装置が備えるＲＯＭ等に格納しておくだけでなく、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワークを介して流通させることもできる。
【発明の効果】
【００２２】
本発明の画像再生装置によれば、関連性のある複数の画像を、画像間の関連性の強さに応じて、例えば関連度の弱い画像間は分割表示する、あるいは関連度の強い連写の場合は分割表示する等の視覚効果を与えながらスライドショーの再生をすることができる。このため、画像間の関連性を把握しやすくすると共に、ユーザにとって面白みのある画像再生を可能とする。
【発明を実施するための最良の形態】
【００２３】
以下、本発明に係る画像再生装置の実施の形態について、図面を参照しながら説明する。
【００２４】
（実施の形態１）
本実施の形態１に係る画像再生装置は、画像間の関連度を抽出して、この関連度に基づいて視覚効果を与えながらスライドショーの再生を行うことを特徴としている。尚、スライドショーとは、デジタル写真は画像蓄積部から、音楽は音楽蓄積部からそれぞれ読み出し、音楽にあわせて画像を再生するものである。単にデジタル写真を順次表示するものではなく、音楽に合わせ、画像に対してパン、ズーム、拡大、縮小、色変化といった動きのある視覚効果を与えることで、躍動感を演出する。他の視覚効果としては画像切り替え時のフェードイン、スライドイン、ワイプといったトランジションの効果や、キューブ、円柱に画像を貼り付ける、あるいは画像に光を当てて反射の様子を描画するといった３Ｄの効果がある。尚、本実施の形態１に係る画像再生装置は、画像間の関連度を用いて画像を分割して表示するが、これも視覚効果の一例である。
【００２５】
また、本発明に係る画像再生装置に用いる画像データとしては、主にデジタルスチルカメラや携帯電話機で撮影したデジタル写真であるが、動画、ＣＧ等でもよい。また画像はデジタルスチルカメラによる撮影で得たものに限る必要はなく、市販コンテンツ、Ｗｅｂからのダウンロード、放送番組等ソースは特に問わず、画像データはＪＰＥＧ、ビットマップ等であるが、特に形式は問わない。また、音楽データはＡＡＣ、ＭＰ３等のウェーブ形式、ＭＩＤＩ等のデータ形式等どちらでもよく、特に形式は問わない。
【００２６】
図１は、本実施の形態１における画像再生装置１００のブロック構成図である。
画像入力部１０１は画像データの入力が行われる処理部である。
【００２７】
画像特徴抽出部１０２は、画像データの解析を行って画像から画像特徴量の抽出を行う処理部である。また、画像特徴抽出部１０２において抽出された画像特徴量を画像ＩＤ及び画像データからなるデータに付与して画像パケット１１０を生成する。
【００２８】
画像蓄積部１０３は、生成された画像パケット１１０を蓄積するデータベースである。
音楽入力部１０４は音楽データの入力が行われる処理部である。
【００２９】
音楽特徴抽出部１０５は、音楽データから音楽の特徴量を抽出する。また、音楽特徴抽出部１０５において抽出された音楽特徴量を音楽ＩＤ及び音楽データからなるデータに付与して音楽パケット１１１を生成する。
【００３０】
音楽蓄積部１０６は、生成された音楽パケット１１１を蓄積するデータベースである。
メニュー入力部１０７は、ユーザがスライドショー生成のためのメニュー操作を行うためのキーボード等のインターフェースである。このメニュー操作には、「フォーマル」、「パーティー」、「旅行」等のスタイルの選択が含まれる。
【００３１】
スライドショー生成部１０８は、メニュー入力部１０７から入力された条件に合わせてスライドショーの作成を行う。
【００３２】
表示部１０９は、スライドショー生成部１０８において作成され、シナリオ解析部において解析後のスライドショーを画面に表示する。
【００３３】
関連度解析部１１２は、画像蓄積部１０３から画像を読み出し、画像に含まれているメタ情報から画像間の関連度を算出する。
【００３４】
シナリオ解析部１１３は、スライドショー生成部１０８において画像間の関連度に基づいて生成されたシナリオを解析して、シナリオとして作成されているスライドショーの時間における画像ＩＤや視覚効果を解析する。
【００３５】
また、図１において、画像パケット１１０、音楽パケット１１１の画像蓄積部１０３及び音楽蓄積部１０６への蓄積は次の様に行われる。
【００３６】
画像データは、画像入力部１０１から入力され、画像特徴抽出部１０２において画像特徴量の抽出が行われる。そして、画像特徴抽出部１０２において画像ＩＤ２０、撮影者ＩＤ２１、カメラ情報２２、抽出結果である被写体情報２０３、物理特徴量２４、元の画像データ２５を画像パケット１１０の形にして、画像蓄積部１０３に蓄積する。
【００３７】
また、音楽データは音楽入力部１０４から入力され、音楽特徴抽出部１０５で特徴抽出が行われる。そして、音楽特徴抽出部１０５は、音楽ＩＤ３０、抽出結果であるリズム情報３１、音楽感性情報３２、元の音楽データ３３を音楽パケット１１１の形にして、音楽蓄積部１０６に蓄積する。
【００３８】
次に、スライドショー生成の流れをユーザ操作の視点から説明する。
最初に、ユーザはメニュー入力部１０７でスタイルを選択する。ここでスタイルとはスライドショー全体の雰囲気を決めるものであり、「フォーマル」、「パーティ」、「旅行」といった言葉で提示される。ここで、スタイルが「フォーマル」であれば落ち着いた視覚効果（動き）を、「旅行」であれば軽やかな視覚効果を主流とすることで、イメージにあったスライドショーの再生がなされる。
【００３９】
次に、ユーザは、スライドショーを要求する画像の選択を行う。画像はユーザがおおまかに指定するものであり、例えば画像の入ったフォルダを指定すると、スライドショー生成部１０８はそのフォルダから適切な画像を選ぶ。音楽はスタイルに合わせ、リズム情報、音楽感性情報に基づいて、自動的に選択される。例えばスタイルで「フォーマル」を選び、画像フォルダは披露宴の写真の入ったものを指定する。音楽は「フォーマル」のイメージに合ったもの、例えばクラシックが選択される。もちろん画像、音楽ともユーザが細かく指定してもよい。スライドショー生成部１０８はメニュー入力部１０７からの指示に従ってスライドショーのシナリオを生成し、シナリオ解析部１１３がシナリオを解読して、表示部１０９に再生、表示する。尚、ユーザは画像選択を行ってからスタイル選択を行うことも考えられるため、画像選択とスタイル選択の手順は逆にしても構わない。
【００４０】
図２は、本実施の形態１における画像特徴抽出部１０２において抽出されたデータを含む画像パケット１１０のデータ構成図である。
【００４１】
画像パケット１１０には、画像のユニークな番号である画像ＩＤ２００、撮影者毎に付与されるＩＤである撮影者ＩＤ２０１、カメラで所得した情報であるカメラ情報２０２、被写体の情報である被写体情報２０３、画像内の輝度、色などを元にした物理情報である物理特徴情報２０４、及び画像の実体データとなる画像データ２０５が含まれる。
【００４２】
カメラ情報２０２には、撮影時刻（図２では２００４年６月３０日）、撮影場所（東経１３５度１０分２０秒、北緯３３度３３分４０秒）、焦点距離（３ｍ）、絞り値（f５.６）等の物理的な撮影条件が含まれる。
【００４３】
被写体情報２０３には写真内の人物数（１人）、人物名（Ａさん）、位置（画像内での顔の中心座標）、大きさ（顔の外接長方形の左上と右下の座標値）などが含まれる。
【００４４】
物理特徴情報２０４には、例えば画像を複数の領域にわけての各領域内の平均輝度、平均色、中心周波数等が含まれる。そして、例えば平均輝度は、２５６階調の場合は０以上２５５以下で表される数値、平均色はＲＧＢ表示（２５６段階の場合、（２０４,０,０）は赤色、（１８３,６５,１４）は赤錆色を示す）、中心周波数は領域内の輝度分布のｘ,ｙ方向の空間周波数成分の中心値である。
【００４５】
そして、図中の矢印において示すように、画像ＩＤ２００、撮影者ＩＤ２０１、カメラ情報２０２、及び画像データ２０５は画像入力部１０１から取得される情報であり、被写体情報２０３及び物理特徴情報２０４は画像特徴抽出部１０２から取得される情報である。
【００４６】
また、画像データ２０５以外の付加情報である画像ＩＤ２００、撮影者ＩＤ２０１、カメラ情報２０２、被写体情報２０３、及び物理特徴情報２０４はメタ情報２０６となる。
【００４７】
図３は、本実施の形態１における音楽特徴抽出部１０５において抽出された抽出情報を含む音楽パケット１１１のデータ構成図である。
【００４８】
この音楽パケット１１１は、楽曲毎に固有の識別番号となる音楽ＩＤ３００、リズム情報３０１、音楽感性情報３０２、音楽の実体データとなる音楽データ３０３を含む。
【００４９】
リズム情報３０１は音楽の早さを示すテンポ、リズム等である。音楽感性情報３０２は音楽データから抽出した感性を示すものである。音楽の感性は度合いをスコア化（数値化）して、激しさと暖かさで表現される。図３の音楽感性情報３０２でスコアの最大を５０とした場合、激しさ＝-４０、暖かさ＝-４０は、「かなり静的かつ冷たい」ことを示す。
【００５０】
そして、スライドショー生成に先立ち、予め画像特徴量の抽出を行う必要があるが、図４は、本実施の形態１に係る画像再生装置１００の画像特徴抽出部１０２における被写体情報抽出の動作手順を示すフローチャートである。
【００５１】
最初に、画像特徴抽出部１０２は画像入力部１０１から画像の入力を受け付ける（Ｓ４０１）。
【００５２】
そして、画像特徴抽出部１０２は、人物の検出処理を行って人物が検出されるか否かを判定する（Ｓ４０２）。人物が検出される場合においては（Ｓ４０２でＹ）、さらに人物の特定ができるか否かの判定を行う（Ｓ４０３）。人物特定は登録した人物画像との比較により行う。登録された画像と類似性が高い場合に特定できる可能性が高く、特定できた場合は人物名を付与する。そして、人物が特定できる場合においては（Ｓ４０３でＹ）、人物名を付与して（Ｓ４０４）、人物が特定できない場合においては（Ｓ４０３でＮ）、単に人物ありと判断する（Ｓ４０５）。
【００５３】
そして、画像特徴抽出部１０２は、これらの判定結果を画像パケット１１０の被写体情報２０３に書き込むと共に、画像蓄積部１０３に記録する（Ｓ４０７）。尚、人数、位置は人物検出時に同時に行えばよい。また、人物検出において、人物が検出されない場合においては（Ｓ４０２でＮ）、人物が撮影されていない画像と判断されるため（Ｓ４０６）、被写体情報２０３を書き込む必要はない。
【００５４】
図５は、本実施の形態１に係る画像再生装置１００の画像特徴抽出部１０２における物理量抽出の動作手順を示すフローチャートである。
【００５５】
最初に、画像特徴抽出部１０２は、画像入力部１０１からの画像の入力を受け付ける（Ｓ５０１）。
【００５６】
次に、画像特徴抽出部１０２は、画像を複数の領域に分割する（Ｓ５０２）。この分割処理は予め決まったパターンで行うが、おおまかな解析をした後に分割パターンを決めてもよい。
【００５７】
次に、画像特徴抽出部１０２は、分割された領域毎に輝度情報、色情報、周波数情報を抽出して（Ｓ５０３）、物理特徴量を算出し、画像パケット１１０の物理特徴情報２０４に書き込み（Ｓ５０４）、この画像パケット１１０を画像蓄積部１０３に記録する。尚、図４及び図５に示す被写体情報と物理特徴量の抽出はどのような順番で行ってもよい。
【００５８】
図６は、本発明に係る画像再生装置において、各画像間の関連度算出対象となる一組であるサブセットの説明図である。尚、図６においては、縦に系列、横に時間軸を示し、撮影された画像を時間軸上にａ１,ａ２,..の様に図示されている。
【００５９】
そして、本実施の形態１の説明において、系列とは撮影者を意味し、Ａ系列はＡさん、Ｂ系列はＢさん、Ｃ系列はＣさん、Ｄ系列はＤさんが撮影した画像となる。つまり、本実施の形態１の説明においては、画像群は撮影者毎にＡ,Ｂ,Ｃ，Ｄの４系列に分かれ、各画像は時間に沿って撮影されている。
【００６０】
また、図６においては、Ａさんが撮影したＡ系列はａ１,ａ２,ａ３が隣接した時間に撮影され、少し時間を置いてａ４,ａ５が撮影されている。Ｂさんが撮影したＢ系列ではａ２,ａ３に近い時間にｂ１,ｂ２が撮影され、少し時間を置いてａ４に近い時間にｂ３が撮影されている。Ｃ，Ｄ系列も見方は同様である。
【００６１】
そして、関連度解析部１１２は、時間的に近い各系列のセットをサブセットとして自動検出する。本図においては点線で囲む部分がサブセットとなり、ａ１,ａ２,ｂ１,ｃ１,ｃ２,ｄ１がサブセット１、ａ２,ａ３,ｂ１,ｂ２,ｃ２,ｄ２がサブセット２、ａ４,ａ５,ｂ３,ｃ３,ｄ３,ｄ４がサブセット３に含まれる画像となる。尚、サブセットを作成するための時間とは、例えば結婚式においては数分オーダであり、旅行等においては日時オーダとなる等、撮影対象となるイベントの種類に応じて異なるようにすることが可能である。
【００６２】
図７は、本実施の形態１に係る画像再生装置１００が備える関連度解析部１１２の動作手順を示すフローチャートである。
【００６３】
最初に、関連度解析部１１２は、画像蓄積部１０３からまず比較すべき２枚の画像を取得すると（Ｓ７０１）、各画像ごとの関連度を抽出する。本発明において、関連度は、基本的には２枚の画像を比較して算出される。
【００６４】
次に、関連度解析部１１２は、時刻等、各種の類似度から各評価値の算出を行い、評価値は大きいほど関連度が高いと判断する。評価値の算出の対象と類似度になるのは、時刻（Ｓ７０２）、場所（Ｓ７０３）、被写体（Ｓ７０４）、物理特徴（Ｓ７０５）である。時刻、場所は一致すれば最高点（例えば１００点）であり、離れるにつれて評価値を下げる。時刻については年月日の全ての類似度だけでなく、一部の情報である月日、時間だけの類似度を評価してもよい。尚、場所情報は、携帯電話機に備えられているＧＰＳ等を用いて取得することができる。時間情報は電波等を用いてデジタル画像の撮影を行う各端末の時間が一致していることが必要となる。また、被写体、物理情報については、時刻ほど明確に絶対的な数値が出るものではないので、評価値は０から最高点までがある程度分布するように調整する。被写体情報では画像内のオブジェクトの類似度が、物理情報では色・輝度分布といったレイアウト的な類似度が評価される。
【００６５】
そして、関連度解析部１１２は、これらの評価値を重み付け加算する（Ｓ７０６）。重み付けの係数は固定値でもいいが、目的によってダイナミックに変えてもよい。例えば披露宴などのイベントであれば、時刻、被写体を重視する。また、一般的には、重み付けの重みは時刻、場所、被写体、物理量の順となる。
【００６６】
最後に、関連度解析部１１２は、重み付け加算後の評価値が予め設定された閾値より大きいか否かの判定を行い（Ｓ７０７）、関連度の閾値に比較した大・小を判定する。この場合、関連度解析部１１２は、閾値より大きい場合には（Ｓ７０７でＹ）、関連度が強いと判定し（Ｓ７０９）、閾値より小さい場合においては（Ｓ７０７でＮ）、関連度が弱いと判定し（Ｓ７０８）、一連の関連度解析部１１２の動作を終了する。尚、本図の説明において関連度は大・小という２つの区分を用いているが、これに限定されるものではなくもっと細かく点数により区分を行っても構わない。
【００６７】
また、関連度の保存方法であるが、本実施の形態１では関連度解析部１１２が一連の処理の流れの中で算出しているので、ソフトウェアで一時的にダイナミックに保持するが、都度計算するのは非効率であるので、画像登録時に算出して、メタ情報２０６内に保管してもよい。この場合、全ての画像との関連度を残すのは効率が悪いので、例えば関連度の高い上位１０枚について、画像ＩＤと評価値を画像パケット１１０内のメタ情報２０６に残せばよい（図２では図示せず）。
【００６８】
さらに、全ての画像との関連度の算出をするのが理想であるが、計算コストを押さえるため、時刻で１次スクリーニングして、ある程度近いものに範囲を絞った上で詳細な評価値を出すのが好ましい。ここで時刻の近いものとは年月日が近いものに限らず、月日が近いものでもよい。こうすれば異なる年の同月日の画像が関連度が高いと評価され、並べて画面上に分割表示等されることで、記憶の想起に有効となり、ユーザのスライドショー再生時の娯楽性を向上させることが可能となる。
【００６９】
また、本図の説明において、関連度を求めるために、２枚の画像の比較について述べた
が、複数の場合は以下の様に考えて、スライドショーのシナリオ生成に利用することが可能となる。例えば、３枚の画像ａ,ｂ,ｃにおいて、ａとｂ、ｂとｃ、ｃとａの２枚の間では関連度を評価済みとする。関連度の閾値は１０として、これより大きければ関連度大とする。
（１）ａ,ｂの関連度２０、ｂ,ｃの関連度３０、ｃ,ａの関連度５０の場合：この場合には、画像セット（ａ,ｂ,ｃ）を関連度の高いグループとして扱う。
（２）ａ,ｂの関連度２０、ｂ,ｃの関連度３０、ｃ,ａの関連度１の場合：この場合には、画像セット（ａ,ｂ）（ｂ,ｃ）を関連度の高いグループとして扱う、さらに（ａ,ｂ,ｃ）を関連度の高いグループとして扱ってもよい。
（３）ａ,ｂの関連度２０、ｂ,ｃの関連度５、ｃ,ａの関連度１の場合：この場合には、画像セット（ａ,ｂ）を関連度の高いグループとして扱う。
【００７０】
図８は、本実施の形態１に係る画像再生装置１００のスライドショー生成部１０８の動作手順を示すフローチャートである。尚、スライドショー生成及び再生時の動作手順は大きく「画像所得、関連度解析」、「スライドショー生成」、「スライドショー再生」の３つに分かれる。
【００７１】
最初に、スライドショー生成部１０８は、画像蓄積部１０３からＡ，Ｂ，Ｃ，Ｄ系列の画像を取得する（Ｓ８０１）。
【００７２】
そして、スライドショー生成部１０８は、Ａ，Ｂ，Ｃ，Ｄ各系列からサブセット検出を行う（Ｓ８０２）。
【００７３】
次に、スライドショー生成部１０８は、画像間の関連度を調べる（Ｓ８０３）。ここでは関連度が強いか否かの判定を行う。
【００７４】
そして、スライドショー生成部１０８は、メニュー入力部１０７を介してユーザから入力指示されるスタイルに応じて視覚効果を付与するが、ここで関連度が弱いと判定される場合においては（Ｓ８０３でＮ）、関連度の弱い画像用の視覚効果（Ｓ８０４）、関連度が強いと判定される場合においては（Ｓ８０３でＹ）、関連度の強い画像用の視覚効果を付与する（Ｓ８０５）。尚、本実施の形態の説明において、関連度が強いとは撮影日時、撮影場所、撮影者、被写体情報、輝度情報、色情報が類似しているということであり、関連度が弱いとは、撮影日時、撮影場所、撮影者、被写体情報、輝度情報、色情報が類似していないということである。また、視覚効果には、関連度に応じて、画面の分割方法、画像の表示時間、画像の動かし方に差をつける。これに関しては後述の図１０及び図１１において説明する。
【００７５】
また、スライドショー生成部１０８は、以上の処理を決められた長さシナリオが生成されたか否かの判定を行い（Ｓ８０７）、決められた長さまでシナリオが生成されていない場合においては（Ｓ８０７でＮ）、Ｓ８０１からＳ８０６までのステップを繰り返し、決められた長さまでシナリオが生成されている場合においては（Ｓ８０７でＹ）、シナリオの形でシナリオ解析部１１３に出力し、シナリオ解析部１１３で解読して、表示部１０９に出力することでスライドショー再生を行う（Ｓ８０８）。尚、シナリオとは画像と視覚効果を時間に沿って記述したものである。
【００７６】
図１４は、本発明の画像再生装置のスライドショー生成部１０８において画像間の関連度に基づいて作成されるシナリオのデータ構成例１４００を示す参考図である。本図に示すように、シナリオ１４００には、例えば、関連度に基づいて(１)再生時間(２)画像の割り当て(３)視覚効果（例えば、派手にするにはズーム、おとなしめにするには静止）(４)ＢＧＭが記述されている。
【００７７】
続いて、披露宴のシーンを想定した具体的なスライドショー生成について、図９〜図１１を用いて説明する。
【００７８】
図９は、画像撮影の様子を示すタイムチャート図である。本図に示す様に、本実施の形態の説明においては、披露宴は大きく４つの区間「開始前」、「ケーキ入刀」、「歓談」、「キャンドルサービス」の順で進行するものとする。
【００７９】
そして、本実施の形態１においては、４人の撮影者が画像を撮影し、それぞれの画像群をＡ，Ｂ，Ｃ，Ｄ系列とする。ここでは「区間１」の開始前にＡ系列ではａ１,ａ２の２枚が、Ｂ，Ｃ，Ｄ系列ではｂ１,ｃ１,ｃ１の各１枚が撮影され、また、「区間２」のケーキ入刀と「区間４」のキャンドルサービスでは短時間に大量の画像が撮影され、「区間３」の歓談では開始前と同様に離散的に撮影されている。
【００８０】
また、本図においては、サブセットを点線で示している。例えば、関連度解析部１１２は、撮影時間に基づいて、時間の近いものをサブセットとすることで、自動でサブセットの検出が可能である。また、本発明においては、歓談時の様な離散的な、つまり撮影頻度の低い場合に備え、ある程度の枚数が集まればそれをサブセットとする。
【００８１】
図１０及び図１１は、画像撮影の様子を示すタイムチャート図と、このタイムチャート図に対応するマルチ画面での画像再生の様子を示す画面イメージ図である。また、図１０は、最初の「区間１」及び「区間２」に対応する画面イメージ図を示し、図１１は、「区間３」及び「区間４」に対応する画面イメージ図を示している。
【００８２】
まず、図１０に示すように、「区間１」の開始前においては、会場の様子、参加者などが撮影されているので、被写体に大きな差があり、また時間もばらつくので、関連度は低いと評価される。その結果、画面が４分割され、そこに４枚の画像が表示される。ここではなるべく撮影時間が近いものを４枚並べる。原則、左上にＡ系列、右上にＢ系列、左下にＣ系列、右下にＤ系列の画像を表示するが、これに限る必要はない。視覚効果も静かなものを付与し、単に画像を切り替えるだけでもよい。
【００８３】
次に、図１０に示す「区間２」のケーキ入刀になると、全ての系列で、新郎新婦がケーキに入刀するシーンを少しずつ違う角度から撮影される。このため、被写体の類似度が高くなり、また時間間隔も狭いので、撮影時刻の類似度も高くなる。その結果、この「区間２」で撮影された画像間の関連度は高いと評価される。そこで、開始前の「区間１」と差をつけて、派手な演出をして画面にスライド表示する。
【００８４】
また、本実施の形態１においては、まず画面を４画面から１画面に切り替え、画面一杯にａ３,ａ４,ａ５を順に表示し、その後、再び４画面に分割して、ａ３，ｂ２，ｃ２，ｄ２等、ほぼ同じ時間に撮影された画像を４枚同時に表示する。これにより、大きな画面でのスライドショー再生時のインパクトを与えると共に、画面分割によって同一シーンをマルチアングルで撮影したような効果を出すことができる。また、視覚効果もズーム、パンなどの動きのあるものを付与する。
【００８５】
次に、図１１に示す歓談の「区間３」に入る。この「区間３」においては、開始前同様、被写体に大きな差があり撮影時間も離散的なので、関連度は低いと評価される。その結果、画面が４分割され、そこに４枚の画像をなるべく撮影時間が近いもの選んで並べて表示する。視覚効果は静かなものを付与し、単に画像を切り替えるだけでもよい。
【００８６】
最後に、図１１に示すキャンドルサービスの「区間４」ではケーキ入刀の「区間２」と同じく、類似した被写体が撮影されているので、関連度は高いと評価される。画面分割については、例えばキャンドルサービスと視覚効果の順番を入れ替えて、最初に４枚表示、次にａ１０,ｂ８,ｃ７,ｄ７を画面全体に表示する。視覚効果も派手なものを使用する。
【００８７】
尚、ここでのポイントは「開始前、歓談」の区間と「ケーキ入刀、キャンドルサービス」の区間で視覚効果に差をつけ、後者が目立つようにすることであり、演出は必ずしも上記した通りである必要はない。また、画像の表示時間も後者を長めにした方がよい。また、携帯カメラに備えられている連写機能を用いて撮影された画像間は撮影時間がほぼ同じであるために関連度が高く、これら画像を目立つように表示したり、分割表示したりできる。
【００８８】
次に、撮影者が１人の場合におけるスライドショー生成について、図１２を用いて説明する。図１２は、系列が１つの場合の画像撮影とマルチ画面での再生の様子を示す参考図である。尚、図１０及び図１１と同様に披露宴をモデルとして説明するが、本図では披露宴は大きく２つの区間「開始前」及び「ケーキ入刀」の順で開催されるものとする。
【００８９】
そして、開始の「区間１」ではａ１,ａ２の２枚、ケーキ入刀の「区間２」ではａ３,ａ４,ａ５,ａ６,ａ７の５枚が撮影される。ケーキ入刀の「区間２」では短時間に大量の画像が撮影され、開始前の「区間１」では離散的に撮影される。また、本図においてサブセットを点線で示す。
【００９０】
次に、スライドショー生成について説明すると、まず開始前の「区間１」では会場の様子、参加者などが撮影されており、被写体に大きな差があるので、関連性は低いと評価される。その結果、画面が４分割され、そこに４枚の画像が表示されるが、ここでは画像が２枚しかないので一部は重複して表示される。また、無理に画面を４分割する必要はなく、画面を２分割してもよい。視覚効果は静かなものを付与し、単に画像を切り替えるだけでもよい。また、ＢＧＭも同様に穏やかな音楽が自動的に選択される。
【００９１】
次に、ケーキ入刀の「区間２」になると、新郎新婦がケーキに入刀するシーンを連続的に撮影するので、被写体の類似度が高くなり、また時間間隔も狭いので、撮影時刻の類似度も高くなる。そのため、ここで撮影された画像間の関連性は高いと評価される。そこで開始前と差をつけ、派手な演出をして表示する。ここではまず画面全体にａ３,ａ４,ａ５,ａ６を順次表示し、その後ａ４,ａ５,ａ６,ａ７の４枚を分割表示する。これにより、本実施の形態１に係る画像再生装置１００においては、連続したシーンをマルチアングルで撮影したような効果を出すことができる。視覚効果もズーム、パンなどの動きのあるものを付与する。また、ＢＧＭも同様に激しい種類の音楽が自動的に選択される。
【００９２】
以上のように、本発明にかかる画像再生装置においては、１人で撮影した場合においても、４人で撮影した場合と同様に「開始前」と「ケーキ入刀」で視覚効果に差をつけ、後者が目立つように再生することが可能となる。
【００９３】
図１３は、本実施の形態１に係る画像再生装置１００の画面に表示されるスライドショー再生時の画像表示例を示す参考図である。
【００９４】
図１３（ａ）は、上述した結婚式の分割画面（Ａさんの撮影画像、Ｂさんの撮影画像、Ｃさんの撮影画像、Ｄさんの撮影画像）、及び代表画像の逐次表示を切り替えながらスライドショーを再生するものである。このように表示することで、関連度の高い関連画像を比較表示することができ、また、大量・類似のデジタル画像を用いた画面表示におけるバリエーションを増やすことが可能となる。
【００９５】
図１３（ｂ）は、ゴールシーンの分割画面である。このように、同一のゴールシーン（ネット裏、左から、客席の様子、撮影者の視点）を分割表示する。この場合においては、時刻や場所等に基づく関連度を用いることにより、他者の視点からの画像をスライドショーとして再生することが可能となる。また、ネットワーク等を介したコミュニケーションにより他者から関連度の高い画像を取得して、これらの画像を用いたスライドショーを再生することにより、メッセージ性を有し、より娯楽性を高めたスライドショー再生を行うことができる。
【００９６】
図１３（ｃ）は、奈良町の今昔（５０年前、１０年前、少し違う場所、今）を示す分割画面である。この場合においては、場所に基づく関連度を用いることにより、同じ場所の違う時期の映像をスライドショーとして再生することが可能となる。
【００９７】
以上の説明のように、本実施の形態１に係る画像再生装置１００においては、関連度解析部１１２において画像間の関連度を抽出し、スライドショー生成部１０８は、この関連度に基づいて視覚効果等を与えたスライドショーのシナリオの生成を行う。従って、本発明に係る画像再生装置においては、撮影された大量・類似のデジタル画像を用いて、関連度の弱い画像は分割表示し、関連度の強い画像間は１画面表示される等、ユーザにとって画像間の関連性を把握しながら、また面白みのあるスライドショー再生が実現することが可能となる。
【００９８】
また、ネットワークを介して他者の有する画像から関連度の近い画像を取得してスライドショーとして再生することにより、他者の視点からの画像を用いたスライドショーを実現することが可能となる。
【００９９】
尚、本実施の形態１に係る画像再生装置１００では、系列として撮影者で分ける場合を示したが、そうである必要はなく、撮影年で分ければ、分割された画面に各年の同一時期の画像を表示することができる。
【０１００】
また、画面の分割数も４である必要はなく、画像の系列数、表示する画面の大きさで選べばよい。また、分割数と系列数は一致する必要はない。
【０１０１】
また、本実施の形態１においては、画像を蓄積した後の動作を述べたが、撮影者がお互いに画像を送りあいながらスライドショーを生成してもよい。例えば、サッカー会場で、違う席に座った人同士で撮った画像を送りあえば、ゴールシーンにおいて異なる角度からのシーンを並べて比較表示できる。また、上述した披露宴のスライドショー再生においても、式参加と閲覧がリアルタイムで行える。画像の送受信に関して補足すれば、最近の携帯電話では高性能のデジタルカメラが内蔵されており、また携帯電話モジュール自体も安価になっているので、撮影と通信機能の融合した機器は容易に提供可能である。
【０１０２】
さらに、画像パケット１１０に含まれるメタ情報２０６は図２に示したものに限る必要はない。イベント名、人物以外の任意のオブジェクトの情報などもよく、自動抽出が困難あれば手動で付与してもよい。これらを元にすると例えばコレクションしたアイテムの関連度が高い場合は関連付けて表示することも可能となる。
【０１０３】
また、本実施の形態１では、複数の画面として、物理的に１つの画面を複数のウインドウに分割する場合を示したが、物理的に異なるものでよい。この場合の大画面表示とは、複数の表示装置にそれぞれ画像の一部を表示して、全体で大きな一枚の画像に見える様にすればよい。
【０１０４】
また、関連度の弱い画像は分割表示し、関連度の強い画像間は１画面表示される例を中心に説明したが、本発明はこれに限定されるものではなく、要は関連度の大小に応じて変化をつけることが重要であり、例えば関連度が高いと判断される連写の場合、画面を分割して表示する、１画面で高速に切り替えて動画的に見せるなどの方法も有効である。
【０１０５】
また、スライドショー再生として静止画の場合についてのみ述べたが、本願は静止画に限定するものではなく、動画は静止画の集合であるので動画においても同様の関連度を抽出して関連する画像を再生することも考え得る。
【０１０６】
（実施の形態２）
次に、本発明の実施の形態２に係る画像再生装置の説明を行う。本実施の形態２では、Ｌ番目の画像セットを元にＬ＋１番目の画像セットを選ぶ画像セットの選択に特徴がある。また、本実施の形態２に係る画像再生装置の機能構成は上述した実施の形態１と同じであるために、その詳細な説明を省略する。
【０１０７】
図１５は、本発明の実施の形態２に係る画像再生装置のスライドショー生成部１０８のスライドショー生成及び再生時の動作手順を示すフローチャートである。また、本実施の形態２の画像再生装置においては、既に画像間の関連度が算出され、現時点でスライドされている画像の関連度に類似している画像を次に再生するものである。
【０１０８】
最初に、スライドショー生成部１０８は、画像蓄積部１０３から画像セットを選択し（Ｓ１５０１）、関連度を調べ、その結果に応じて視覚効果を付与する。
【０１０９】
次に、選択された画像のメタ情報２０６を元に、次の画像セットを選択する処理を行う（Ｓ１５０２）。尚、この選択処理は通常１回行われるものである。
【０１１０】
例えば、画像セットとして２枚の場合を例にあげる。最初の画像をａ１,ａ２とすると、これらのメタ情報２０６は以下とする。
【０１１１】
ａ１：時刻＝２００４/０６/２０、場所＝東京、人物＝Ａさん
ａ２：時刻＝２００４/０６/２１、場所＝大阪、人物＝Ｂさん
次に、スライドショー生成部は、このメタ情報２０６を組み合わせ、または一部を変えたもので次の画像を検索する。次に、選ばれた画像をｂ１及びｂ２とすると、これらのメタ情報２０６は以下となる。
【０１１２】
ｂ１：時刻＝２００４/０６/２２、場所＝東京、人物＝Ａさん
ｂ２：時刻＝２００４/０６/２０、場所＝東京、人物＝Ｂさん
ｂ１はａ１のメタ情報２０６のうち時刻を変更、ｂ２はメタ情報２０６として時刻と場所はａ１から、人物はａ２から現時点で再生されている画像と関連しているものとして抽出されたものである。
【０１１３】
そして、スライドショー生成部１０８は、画像間の関連度を調べる（Ｓ１５０３）。ここでは関連度が強いか否かの判定を行う。
【０１１４】
そして、スライドショー生成部１０８は、メニュー入力部１０７を介してユーザから入力指示されるスタイルに応じて視覚効果を付与するが、ここで関連度が弱いと判定される場合においては（Ｓ１５０３でＮ）、関連度の弱い画像用の視覚効果（Ｓ１５０４）、関連度が強いと判定される場合においては（Ｓ１５０３でＹ）、関連度の強い画像用の視覚効果を付与する（Ｓ１５０５）。
【０１１５】
次に、スライドショー生成部１０８は、以上の処理を決められた長さシナリオが生成されたか否かの判定を行い（Ｓ１５０７）、決められた長さまでシナリオが生成されていない場合においては（Ｓ１５０７でＮ）、Ｓ１５０１からＳ１５０６までのステップを繰り返し、決められた長さまでシナリオが生成されている場合においては（Ｓ１５０７でＹ）、シナリオの形でシナリオ解析部１１３に出力し、シナリオ解析部１１３で解読して、表示部１０９に出力することでスライドショーの再生を行う（Ｓ１５０８）。
【０１１６】
以上のように、本実施の形態２に係る画像再生装置１００においては、メタ情報２０６を用いて、これにより何らかの関連性を持つ画像が次々に検索される。また一部変更の要素があるので、スライドショー再生中に再生される次の画像が、予期しない思わぬ画像に飛ぶこともある。即ち、画像間の連想により次の画像セットを選択するために、時々変異が起こる連想ゲーム的な画像の表示が実現し、ユーザにとっては記憶の想起と意外性の両面で面白みを感じるスライドショー生成を実現することが可能となる。
【産業上の利用可能性】
【０１１７】
本発明に係る画像再生装置は、画像の再生機能を有するデジタルカメラ、携帯電話機、カーナビ、ＤＶＤレコーダ、ＰＤＡ等の装置として用いることができ、また、本発明に係る画像再生方法はＰＣでのデジタル写真の閲覧ソフトとして有用となる。
【図面の簡単な説明】
【０１１８】
【図１】実施の形態１における画像再生装置のブロック構成図
【図２】実施の形態１における画像特徴抽出部において抽出されたデータを含む画像パケットのデータ構成図
【図３】実施の形態１における音楽特徴抽出部において抽出された抽出情報を含む音楽パケットのデータ構成図
【図４】実施の形態１に係る画像再生装置の画像特徴抽出部における被写体情報抽出の動作手順を示すフローチャート
【図５】実施の形態１に係る画像再生装置の画像特徴抽出部における物理量抽出の動作手順を示すフローチャート
【図６】本発明に係る画像再生装置において、各画像間の関連度算出対象となる一組であるサブセットの説明図
【図７】実施の形態１に係る画像再生装置が備える関連度解析部の動作手順を示すフローチャート
【図８】実施の形態１に係る画像再生装置のスライドショー生成部の動作手順を示すフローチャート
【図９】画像撮影の様子を示すタイムチャート図
【図１０】最初の「区間１」及び「区間２」に対応する画面イメージ図
【図１１】「区間３」及び「区間４」に対応する画面イメージ図
【図１２】系列が１つの場合の画像撮影とマルチ画面での再生の様子を示す参考図
【図１３】実施の形態１に係る画像再生装置の画面に表示されるスライドショー再生時の画像表示例を示す参考図
【図１４】発明の画像再生装置のスライドショー生成部において画像間の関連度に基づいて作成されるシナリオのデータ構成例を示す参考図
【図１５】実施の形態２に係る画像再生装置のスライドショー生成部のスライドショー生成及び再生時の動作手順を示すフローチャート
【図１６】従来のスライドショー装置の構成図
【符号の説明】
【０１１９】
１０１ 画像入力部
１０２ 画像特徴抽出部
１０３ 画像蓄積部
１０４ 音楽入力部
１０５ 音楽特徴抽出部
１０６ 音楽蓄積部
１０７ メニュー入力部
１０８ スライドショー生成部
１０９ 表示部
１１０ 画像パケット
１１１ 音楽パケット
１１２ 関連度解析部
１１３ シナリオ解析部
２００ 画像ＩＤ
２０１ 撮影者ＩＤ
２０２ カメラ情報
２０３ 被写体情報
２０４ 物理特徴情報
２０５ 画像データ
２０６ メタ情報
３００ 音楽ＩＤ
３０１ リズム情報
３０２ 音楽感性情報
３０３ 音楽データ
【特許請求の範囲】
【請求項１】
画像データを用いて再生を行う画像再生装置であって、
前記画像データから画像特徴量を抽出する画像特徴抽出手段と、
前記画像データに関連する画像情報と前記画像特徴量とに基づき、他の画像との類似性を示す情報である関連度を解析する関連度解析手段と、
前記関連度に基づいて前記画像データを用いたスライドショーの再生を行うスライドショー生成手段とを備える
ことを特徴とする画像再生装置。
【請求項２】
前記スライドショー生成手段は、前記関連度に基づいて前記再生を行う画像の集まりである画像群を選択する画像選択部と、前記関連度に基づいて前記画像群の再生時の視覚効果を決定する視覚効果決定部と、前記関連度に基づいて前記画像群に含まれる画像の再生順序であるシナリオを生成するシナリオ生成部とを備え、
選択された前記画像群を、決定された前記視覚効果を用いて前記シナリオの順番に再生する
ことを特徴とする請求項１記載の画像再生装置。
【請求項３】
前記画像情報には、前記画像データを撮影した撮影時刻、撮影場所、及び撮影者のうち少なくとも１つの情報が含まれる
ことを特徴とする請求項１記載の画像再生装置。
【請求項４】
前記画像特徴量には、前記画像データに含まれる被写体に関する被写体情報及び物理情報である物理特徴量が含まれ、
前記画像特徴抽出手段は、前記被写体情報及び前記物理特徴量を抽出する
ことを特徴とする請求項１記載の画像再生装置。
【請求項５】
前記物理特徴量には、前記画像データの輝度に関する輝度情報、色に関する色情報、及び周波数情報のうちの少なくとも１つが含まれ、
前記被写体情報には、被写体の人数、被写体の人物名、被写体の位置、及び被写体の大きさのうちの少なくとも１つが含まれる
ことを特徴とする請求項４記載の画像再生装置。
【請求項６】
前記視覚効果決定部は、前記視覚効果として、画面を１以上の小画面に分割して表示する分割表示、前記画像データの表示時間、前記画像データの動かし方を決定する
ことを特徴とする請求項２記載の画像再生装置。
【請求項７】
前記視覚効果決定部は、前記関連度に応じ、前記画像データ間の再生時において前記分割表示を行うように決定する
ことを特徴とする請求項６記載の画像再生装置。
【請求項８】
前記視覚効果決定部は、前記関連度が高い画像データの再生時には、前記表示時間を長い時間、前記画像データを大きく表示、又は遅く動かすように前記視覚効果を決定する
ことを特徴とする請求項６記載の画像再生装置。
【請求項９】
前記画像再生装置は、さらに、
音楽データから音楽特徴量を抽出する音楽特徴抽出手段を備え、
前記視覚効果決定部は、前記関連度及び前記音楽特徴量に基づいて前記視覚効果を決定する
ことを特徴とする請求項２記載の画像再生装置。
【請求項１０】
前記関連度解析手段は、前記撮影時刻、前記撮影場所、前記撮影者、前記被写体情報、前記物理特徴情報の重み付けを決定する重み付け決定部を備え、
前記関連度解析手段は、前記重み付け決定部により重み付けされた後の値を用いて前記関連度を解析する
ことを特徴とする請求項３記載の画像再生装置。
【請求項１１】
前記画像選択部は、前記関連度に基づいて、全体の画像群から一部の画像の集合をサブセットとして選択し、
前記関連度解析手段は、当該サブセット内の画像間の関連度を解析する
ことを特徴とする請求項２記載の画像再生装置。
【請求項１２】
前記画像選択部は、前記関連度として撮影時刻が近接した画像データの集合を前記サブセットとして選択する
ことを特徴とする請求項１１記載の画像再生装置。
【請求項１３】
前記画像選択部は、Ｍ,Ｎを１以上の整数とした場合、Ｍ系列の画像群からＮ系列の画像群を選択し、
前記視覚効果決定部は、画面をＮ個のウインドウに分割し、前記Ｎ系列の画像を分割表示すると決定する
ことを特徴とする請求項２記載の画像再生装置。
【請求項１４】
前記Ｍ系列は撮影者により分けられている
ことを特徴とする請求項１３記載の画像再生装置。
【請求項１５】
前記視覚効果決定部は、前記Ｍ系列が１系列である場合においては、前記画像データの撮影場所、撮影時刻の一部または組み合わせにより前記ウインドウを分割すると決定する
ことを特徴とする請求項１３記載の画像再生装置。
【請求項１６】
前記Ｍ系列は撮影機器により分けられている
ことを特徴とする請求項１３記載の画像再生装置。
【請求項１７】
前記画像選択部は、Ｌを１以上の整数とした場合、Ｌ番目に選択された画像群の前記画像情報又は前記関連度の少なくとも１部に基づいて、Ｌ＋１番目の画像群を選択する
ことを特徴とする請求項２記載の画像再生装置。
【請求項１８】
前記画像選択手段は、前記Ｌ番目に選択された前記画像群の前記画像情報又は前記関連度の少なくとも１部を変更した画像情報又は関連度を有する画像群を前記Ｌ＋１番目の画像群として選択する
ことを特徴とする請求項１７記載の画像再生装置。
【請求項１９】
前記画像再生装置は、さらに、
前記シナリオを解析するシナリオ解析手段と、
前記スライドショー生成手段で生成されたスライドショーの再生表示を行う表示手段とを備える
ことを特徴とする請求項２記載の画像再生装置。
【請求項２０】
画像データを用いて再生を行う画像再生装置に用いる画像再生方法であって、
前記画像データから画像特徴量を抽出する画像特徴抽出ステップと、
前記画像データに関連する画像情報と前記画像特徴量とに基づき、他の画像との類似性を示す情報である関連度を解析する関連度解析ステップと、
前記関連度に基づいて前記画像データを用いたスライドショーの再生を行うスライドショー生成ステップとを含む
ことを特徴とする画像再生方法。
【請求項２１】
前記スライドショー生成ステップには、さらに、前記関連度に基づいて前記再生を行う画像の集まりである画像群を選択する画像選択ステップと、前記関連度に基づいて前記画像群の再生時の視覚効果を決定する視覚効果決定ステップと、前記関連度に基づいて前記画像群に含まれる画像の再生順序であるシナリオを生成するシナリオ生成ステップとを含み、
前記スライドショー生成ステップにおいては、選択された前記画像群を、決定された前記視覚効果を用いて前記シナリオの順番に再生する
ことを特徴とする請求項２０記載の画像再生方法。
【請求項２２】
画像データを用いて再生を行う画像再生方法に用いるプログラムであって、
前記画像データから画像特徴量を抽出する画像特徴抽出ステップと、
前記画像データに関連する画像情報と前記画像特徴量とに基づき、他の画像との類似性を示す情報である関連度を解析する関連度解析ステップと、
前記関連度に基づいて前記画像データを用いたスライドショーの再生を行うスライドショー生成ステップとを含む
ことを特徴とするプログラム。
【請求項２３】
前記スライドショー生成ステップには、さらに、前記関連度に基づいて前記再生を行う画像の集まりである画像群を選択する画像選択ステップと、前記関連度に基づいて前記画像群の再生時の視覚効果を決定する視覚効果決定ステップと、前記関連度に基づいて前記画像群に含まれる画像の再生順序であるシナリオを生成するシナリオ生成ステップとを含み、
前記スライドショー生成ステップにおいては、選択された前記画像群を、決定された前記視覚効果を用いて前記シナリオの順番に再生する
ことを特徴とする請求項２２記載のプログラム。
【請求項１】
画像データを用いて再生を行う画像再生装置であって、
前記画像データから画像特徴量を抽出する画像特徴抽出手段と、
前記画像データに関連する画像情報と前記画像特徴量とに基づき、他の画像との類似性を示す情報である関連度を解析する関連度解析手段と、
前記関連度に基づいて前記画像データを用いたスライドショーの再生を行うスライドショー生成手段とを備える
ことを特徴とする画像再生装置。
【請求項２】
前記スライドショー生成手段は、前記関連度に基づいて前記再生を行う画像の集まりである画像群を選択する画像選択部と、前記関連度に基づいて前記画像群の再生時の視覚効果を決定する視覚効果決定部と、前記関連度に基づいて前記画像群に含まれる画像の再生順序であるシナリオを生成するシナリオ生成部とを備え、
選択された前記画像群を、決定された前記視覚効果を用いて前記シナリオの順番に再生する
ことを特徴とする請求項１記載の画像再生装置。
【請求項３】
前記画像情報には、前記画像データを撮影した撮影時刻、撮影場所、及び撮影者のうち少なくとも１つの情報が含まれる
ことを特徴とする請求項１記載の画像再生装置。
【請求項４】
前記画像特徴量には、前記画像データに含まれる被写体に関する被写体情報及び物理情報である物理特徴量が含まれ、
前記画像特徴抽出手段は、前記被写体情報及び前記物理特徴量を抽出する
ことを特徴とする請求項１記載の画像再生装置。
【請求項５】
前記物理特徴量には、前記画像データの輝度に関する輝度情報、色に関する色情報、及び周波数情報のうちの少なくとも１つが含まれ、
前記被写体情報には、被写体の人数、被写体の人物名、被写体の位置、及び被写体の大きさのうちの少なくとも１つが含まれる
ことを特徴とする請求項４記載の画像再生装置。
【請求項６】
前記視覚効果決定部は、前記視覚効果として、画面を１以上の小画面に分割して表示する分割表示、前記画像データの表示時間、前記画像データの動かし方を決定する
ことを特徴とする請求項２記載の画像再生装置。
【請求項７】
前記視覚効果決定部は、前記関連度に応じ、前記画像データ間の再生時において前記分割表示を行うように決定する
ことを特徴とする請求項６記載の画像再生装置。
【請求項８】
前記視覚効果決定部は、前記関連度が高い画像データの再生時には、前記表示時間を長い時間、前記画像データを大きく表示、又は遅く動かすように前記視覚効果を決定する
ことを特徴とする請求項６記載の画像再生装置。
【請求項９】
前記画像再生装置は、さらに、
音楽データから音楽特徴量を抽出する音楽特徴抽出手段を備え、
前記視覚効果決定部は、前記関連度及び前記音楽特徴量に基づいて前記視覚効果を決定する
ことを特徴とする請求項２記載の画像再生装置。
【請求項１０】
前記関連度解析手段は、前記撮影時刻、前記撮影場所、前記撮影者、前記被写体情報、前記物理特徴情報の重み付けを決定する重み付け決定部を備え、
前記関連度解析手段は、前記重み付け決定部により重み付けされた後の値を用いて前記関連度を解析する
ことを特徴とする請求項３記載の画像再生装置。
【請求項１１】
前記画像選択部は、前記関連度に基づいて、全体の画像群から一部の画像の集合をサブセットとして選択し、
前記関連度解析手段は、当該サブセット内の画像間の関連度を解析する
ことを特徴とする請求項２記載の画像再生装置。
【請求項１２】
前記画像選択部は、前記関連度として撮影時刻が近接した画像データの集合を前記サブセットとして選択する
ことを特徴とする請求項１１記載の画像再生装置。
【請求項１３】
前記画像選択部は、Ｍ,Ｎを１以上の整数とした場合、Ｍ系列の画像群からＮ系列の画像群を選択し、
前記視覚効果決定部は、画面をＮ個のウインドウに分割し、前記Ｎ系列の画像を分割表示すると決定する
ことを特徴とする請求項２記載の画像再生装置。
【請求項１４】
前記Ｍ系列は撮影者により分けられている
ことを特徴とする請求項１３記載の画像再生装置。
【請求項１５】
前記視覚効果決定部は、前記Ｍ系列が１系列である場合においては、前記画像データの撮影場所、撮影時刻の一部または組み合わせにより前記ウインドウを分割すると決定する
ことを特徴とする請求項１３記載の画像再生装置。
【請求項１６】
前記Ｍ系列は撮影機器により分けられている
ことを特徴とする請求項１３記載の画像再生装置。
【請求項１７】
前記画像選択部は、Ｌを１以上の整数とした場合、Ｌ番目に選択された画像群の前記画像情報又は前記関連度の少なくとも１部に基づいて、Ｌ＋１番目の画像群を選択する
ことを特徴とする請求項２記載の画像再生装置。
【請求項１８】
前記画像選択手段は、前記Ｌ番目に選択された前記画像群の前記画像情報又は前記関連度の少なくとも１部を変更した画像情報又は関連度を有する画像群を前記Ｌ＋１番目の画像群として選択する
ことを特徴とする請求項１７記載の画像再生装置。
【請求項１９】
前記画像再生装置は、さらに、
前記シナリオを解析するシナリオ解析手段と、
前記スライドショー生成手段で生成されたスライドショーの再生表示を行う表示手段とを備える
ことを特徴とする請求項２記載の画像再生装置。
【請求項２０】
画像データを用いて再生を行う画像再生装置に用いる画像再生方法であって、
前記画像データから画像特徴量を抽出する画像特徴抽出ステップと、
前記画像データに関連する画像情報と前記画像特徴量とに基づき、他の画像との類似性を示す情報である関連度を解析する関連度解析ステップと、
前記関連度に基づいて前記画像データを用いたスライドショーの再生を行うスライドショー生成ステップとを含む
ことを特徴とする画像再生方法。
【請求項２１】
前記スライドショー生成ステップには、さらに、前記関連度に基づいて前記再生を行う画像の集まりである画像群を選択する画像選択ステップと、前記関連度に基づいて前記画像群の再生時の視覚効果を決定する視覚効果決定ステップと、前記関連度に基づいて前記画像群に含まれる画像の再生順序であるシナリオを生成するシナリオ生成ステップとを含み、
前記スライドショー生成ステップにおいては、選択された前記画像群を、決定された前記視覚効果を用いて前記シナリオの順番に再生する
ことを特徴とする請求項２０記載の画像再生方法。
【請求項２２】
画像データを用いて再生を行う画像再生方法に用いるプログラムであって、
前記画像データから画像特徴量を抽出する画像特徴抽出ステップと、
前記画像データに関連する画像情報と前記画像特徴量とに基づき、他の画像との類似性を示す情報である関連度を解析する関連度解析ステップと、
前記関連度に基づいて前記画像データを用いたスライドショーの再生を行うスライドショー生成ステップとを含む
ことを特徴とするプログラム。
【請求項２３】
前記スライドショー生成ステップには、さらに、前記関連度に基づいて前記再生を行う画像の集まりである画像群を選択する画像選択ステップと、前記関連度に基づいて前記画像群の再生時の視覚効果を決定する視覚効果決定ステップと、前記関連度に基づいて前記画像群に含まれる画像の再生順序であるシナリオを生成するシナリオ生成ステップとを含み、
前記スライドショー生成ステップにおいては、選択された前記画像群を、決定された前記視覚効果を用いて前記シナリオの順番に再生する
ことを特徴とする請求項２２記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−１４０５５９（Ｐ２００６−１４０５５９Ａ）
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願番号】特願２００４−３２６０７０（Ｐ２００４−３２６０７０）
【出願日】平成１６年１１月１０日（２００４．１１．１０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願日】平成１６年１１月１０日（２００４．１１．１０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]