画像再生装置、画像再生装置の制御方法および制御プログラム
【課題】動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する場合に、各画像の重要度を反映した再生を行う。
【解決手段】動画像、静止画像あるいはそれらの組み合わせを含む複数の再生対象画像を再生する画像再生装置１０により、各々の再生対象画像に関連する関連コンテンツを解析することにより、各々の再生対象画像の重要度を算出し、算出した各々の再生対象画像の重要度に基づいて各再生対象画像の再生方法を決定し、決定した再生方法に従って再生対象画像を再生する。
【解決手段】動画像、静止画像あるいはそれらの組み合わせを含む複数の再生対象画像を再生する画像再生装置１０により、各々の再生対象画像に関連する関連コンテンツを解析することにより、各々の再生対象画像の重要度を算出し、算出した各々の再生対象画像の重要度に基づいて各再生対象画像の再生方法を決定し、決定した再生方法に従って再生対象画像を再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する画像再生装置、画像再生装置の制御方法および制御プログラムに関する。
【背景技術】
【０００２】
動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する場合、全ての動画像や静止画像を同じように再生すると単調になってしまう。このため、再生の態様を画像毎に定めたり調整したりして、例えば重要な画像ほど目立つように、或いは視認しやすいように再生することが考えられる。
画像が重要であるか否かを、ユーザ自身が画像を見て判断すると、非常に煩雑で時間のかかる作業が必要になる。そこで従来、この作業の負担を軽減するため、画像を解析して重要度を求める方法が提案された。
【特許文献１】特開２００４−１５９３３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に開示された方法では、動画像や音声の一部を抽出し、映像の動きの激しさや音声の休止部の長さ等に基づいて、動画像の重要度を求めている。しかしながら、動画像および静止画像の重要度は、その画像が撮影された事由や背景に影響されることが多く、画像自体に対する処理を行うだけで重要度を求めることには限界があった。
そこで、本発明の目的は、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する場合に、各画像の重要度を反映した再生を行うことが可能な画像再生装置、画像再生装置の制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明の第一形態は、複数の再生対象画像を再生する画像再生装置であって、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出手段と、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定手段と、前記再生方法決定手段により決定された再生方法に従って、前記再生対象画像を再生する再生手段と、を備えたことを特徴としている。
上記構成によれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、再生対象画像の重要度が算出され、算出された再生対象画像の重要度に基づいて再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。
したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。
また、再生対象画像そのものの重要度を算出することで、再生対象画像毎の再生方法の制御をきめ細かく行うことができ、再生対象画像の重要度を反映して、ユーザのニーズに合った再生を実現できる。
【０００５】
また、本発明の第二形態は、第一形態の画像再生装置において、前記再生方法決定手段は、複数の前記再生対象画像を順次再生するスライドショー再生を行う場合に、各々の前記再生対象画像を再生する時間を、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて決定すること、を特徴としている。
上記構成によれば、スライドショー再生を行う場合の各再生対象画像の再生時間が、再生対象画像の重要度に基づいて決定されるので、例えば重要度の高い再生対象画像ほど長い時間再生するといった再生方法を実現できる。
また、本発明の第三形態は、第一形態または第二形態のいずれかの画像再生装置において、前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像に付加される再生用の装飾を設定すること、を特徴としている。
上記構成によれば、再生対象画像に、重要度に基づいて再生用の装飾が付加されるので、例えば重要度の高い再生対象画像ほど目立つ装飾を付加するといった再生方法を実現できる。
また、本発明の第四形態は、第一形態ないし第三形態のいずれかの画像再生装置において、前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像を単独で再生する態様と、前記再生対象画像を他の前記再生対象画像とともに並べて再生する態様とを前記再生対象画像毎に設定すること、を特徴としている。
上記構成によれば、再生対象画像の重要度に基づいて、再生対象画像を単独で表示するか、複数の再生対象画像を並べて表示するかが再生対象画像毎に設定されるので、例えば重要度の高い再生対象画像を単独で表示し、重要度が高くない再生対象画像は並べて表示するといった制御を行い、短時間で多くの再生対象画像を再生し、かつ、重要度の高い再生対象画像の視認性を確保できるという利点がある。
なお、この場合に、再生対象画像を他の再生対象画像とともに再生する場合に、各々の再生対象画像を縮小した形で並べて再生してもよい。
【０００６】
また、本発明の第五形態は、第一形態の画像再生装置において、前記再生方法決定手段は、前記関連コンテンツの重要度に基づいて、各前記関連コンテンツに関連する前記再生対象画像のうち、再生する前記再生対象画像の数を決定すること、を特徴としている。
上記構成によれば、関連コンテンツに対して複数の再生対象画像が関連づけられている場合に、関連コンテンツの重要度に基づいて再生される再生対象画像の数が決定されるので、重要度の高い再生対象画像を、関連コンテンツ単位で選択して再生できる。
【０００７】
本発明の第六形態は、複数の再生対象画像を再生する画像再生装置の制御方法であって、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出過程と、前記重要度算出過程で算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定過程と、前記再生方法決定過程で決定された再生方法に従って、前記再生対象画像を再生する再生過程と、を含むことを特徴としている。
この制御方法によれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、関連コンテンツに関連する再生対象画像の重要度が算出され、再生対象画像の重要度に基づいて、再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。
【０００８】
また、本発明の第七形態は、複数の再生対象画像を再生する画像再生装置をコンピュータにより制御するための制御プログラムであって、前記画像再生装置により、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出させ、算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定させ、決定された再生方法に従って、前記再生対象画像を再生させる、ことを特徴としている。
この制御プログラムによれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、関連コンテンツに関連する再生対象画像の重要度が算出され、算出された再生対象画像の重要度に基づいて、再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。
この場合において、制御プログラムをコンピュータ読取可能な記録媒体に記録するようにしても良い。
【発明を実施するための最良の形態】
【０００９】
次に図面を参照して本発明の好適な実施形態について説明する。
図１は、実施形態の画像再生装置の概要構成を示すブロック図である。
画像再生装置１０は、パーソナルコンピュータとして構成されており、画像処理を行う画像再生装置本体１１と、各種画像入力を行う画像入力装置１２と、各種操作を行うためのキーボード、マウスなどの入力装置１３と、各種表示を行う液晶ディスプレイなどの表示装置１４と、印刷を行うプリンタなどの出力装置１５と、後述する画像再生方法に関連するデータを含む各種データを記憶するハードディスク装置などの外部記憶装置１６と、を備えている。
画像再生装置本体１１は、当該画像再生装置本体１１全体の制御を行うマイクロプロセッサユニット（ＭＰＵ）２１と、ＭＰＵ２１により実行される各種制御プログラムおよびこれらプログラムに係る各種データを記憶するＲＯＭ２２と、ＭＰＵ２１が実行するプログラムや処理するデータ等を一時的に格納するワークエリアとして機能するＲＡＭ２３と、ＬＡＮ、インターネットなどの外部の通信ネットワークとの間のインタフェース動作を行う通信インタフェース２４と、を備えている。
【００１０】
図２は、画像再生装置の機能ブロック図である。
この図２に示す各機能部は、画像再生装置１０が備えるハードウェアとソフトウェアとの協働により実現される。すなわち、図１に示した画像再生装置１０の画像再生装置本体１１が備えるＭＰＵ２１が所定の制御プログラムを実行し、画像再生装置本体１１、画像入力装置１２、入力装置１３、表示装置１４、出力装置１５、および外部記憶装置１６の各部を制御することで、実現されるものである。
また、図３および図４は、重要度算出部３７により重要度を算出する処理の概要を示す図である。
【００１１】
図２に示すように、画像再生装置１０は、映像・画像入力部３１と、画像再生記憶部３２（再生方法決定手段）と、再生処理部３３（再生手段）と、テキスト抽出部３５と、形態素解析部３６と、重要度算出部３７（重要度算出手段）と、固有表現抽出部３８と、重要度算出ルール記憶部３９と、を備えている。また、画像再生装置１０には、電子メール、ウェブブラウザで閲覧可能に構成されたホームページやブログ、ＲＳＳ等のウェブコンテンツを含む関連コンテンツ４１が入力される。これら関連コンテンツ４１は、いずれもテキストデータ、或いはテキストを含むデータとして構成される。
関連コンテンツ４１として入力される個々のコンテンツは、それぞれ、映像・画像入力部３１により入力される再生対象画像のいずれかに対応づけられる。例えば、関連コンテンツ４１は、再生対象画像の撮影日時や撮影場所、イベントに関連した記述が含まれる、ニュースサイトや観光地のガイド、撮影日時および前後に送受信した電子メール、更新されたブログの内容などである。
さらに、画像再生装置１０は、語句の出現頻度データベース４２を備える。この語句の出現頻度データベース４２は、これまでに入力された関連コンテンツ４１に含まれる語句の出現頻度を示す値として、出現した回数のカウント値を、一つ一つの語句について格納したデータベースである。
【００１２】
映像・画像入力部３１は、放送電波、通信ネットワークあるいはＩＣメモリカードなどのデータ記憶媒体を介して動画像データ（動画像に対応）あるいは静止画像データ（静止画に対応）を入力する。具体的には、様々な画像フォーマットの画像を、様々な圧縮形式、ファイル形式を有するファイルや、スキャナ、ディジタルカメラ、ディジタルビデオカメラなどの入力装置から抽出あるいは受け取ることとなる。この場合において、圧縮形式としては、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４等が挙げられる。
画像再生記憶部３２は、映像・画像入力部３１により入力された再生対象画像としての動画像または静止画像について、後述する重要度算出部３７により算出された各画像の重要度に基づいて再生方法を決定し、この再生方法を画像毎に記憶する。
再生処理部３３は、画像再生記憶部３２に記憶された再生方法に従って、映像・画像入力部３１により入力された再生対象画像を再生出力する。
テキスト抽出部３５は、関連コンテンツ４１として入力されたコンテンツ、具体的には、ＸＨＴＭＬ（個人のホームページ、ブログなど）、送受信した電子メール、ＸＭＬ（楽曲の検索用メタデータなど）で記述されているハイパーテキストデータや地図データベース等のコンテンツから、タグ情報以外のテキストデータを抽出する。
形態素解析部３６は、関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストデータの形態素解析を行い、単語（語句）を抽出し、必要に応じてステミングを行う。
【００１３】
重要度算出部３７は、関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストを解析することにより、再生対象画像に関連づけられた関連コンテンツ４１の重要度を算出し、再生対象画像毎の重要度を求める処理を行う。また、重要度算出ルール記憶部３９は、重要度算出部３７によって関連コンテンツ４１の重要度を求め、この重要度に基づいて再生対象画像の重要度を算出するための一連の処理方法を記憶する。
詳細に説明すると、重要度算出部３７は、語句の出現頻度データベース４２に格納された出現頻度を示す値をもとに、テキスト抽出部３５により抽出されたテキストに含まれる語句の重要度を算出する。最も単純な例としては、語句の出現頻度データベース４２に格納された語句毎の数値そのものを、各語句の重要度を示す値として算出する方法がある。
重要度算出部３７は、各々の関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストについて、そのテキストに含まれる語句の重要度をテキスト毎に積算することによって、テキストの重要度を求める。
例えば、テキストｊに含まれる全ての語句の重要度を示す値に、テキストｊにおける語句の出現回数を乗じ、この値を下記式（１）に示すように合算することで、テキストｊの重要度を算出する。
テキストｊの重要度Ｔj＝ΣＷi ・・・（１）
ここで、Ｗiはテキストｊに含まれる各語句の重要度である。
そして、重要度算出部３７は、テキストｊの重要度を、このテキストｊを抽出する元になった関連コンテンツ４１の重要度に設定し、さらに、各々の再生対象画像について、その再生対象画像が関連づけられた関連コンテンツ４１の重要度の値を、その再生対象画像の重要度として設定し、記憶する。
一つの再生対象画像について複数のテキストが関連コンテンツ４１として関連づけられている場合、重要度算出部３７は、これら複数のテキストの重要度を求めた上で平均値を算出し、この平均値を再生対象画像の重要度としてもよい。
【００１４】
上記処理で、重要度算出部３７は、テキスト抽出部３５により抽出されたテキストに含まれる全ての語句について語句の出現頻度データベース４２をもとに重要度を求めてもよいが、テキスト中で重要と思われる語句を選択して、この語句に限って重要度を求めてもよい。
具体的には、重要度算出部３７は、ＴＦ／ＩＤＦ（Term Frequency & Inverse Document Frequency）処理によって、テキストに含まれる個々の語句の重要度を算出し、下記式によって、形態素解析部３６によりテキストｉから抽出された各々の語句ｊの重要度ｔｆｉｄｆ（ｉ，ｊ）を求める。
すなわち、テキストｉにおける語句ｊの出現頻度をＦｒｅｑ（ｉ，ｊ）とし、語句ｊの出現頻度に関わるｔｆ（ｉ，ｊ）を次式に従い算出する。
ｔｆ（ｉ，ｊ）＝ｌｏｇ（Ｆｒｅｑ（ｉ，ｊ）＋１）／ｌｏｇ（テキストｉの総語句数）
ここで、ｔｆ（ｉ，ｊ）は、テキストｉにおける出現頻度をもとに、語句ｊの重要度を表す指標である。言い換えれば、関連コンテンツ４１から抽出されたテキスト中に多く出現する語句が、重要な語句とみなされる。
【００１５】
次にｄｆ（ｊ）を語句ｊが出現するテキスト数として、ｉｄｆ（ｊ）を算出する。
ｉｄｆ（ｊ）＝ｌｏｇ（Ｎ／ｄｆ（ｊ））
ここで、ｉｄｆ（ｊ）は、関連コンテンツ４１として入力された全てのコンテンツから抽出されたテキスト（母集団）のうち、語句ｊが出現するテキストデータの数を語句ｊの出現頻度として計算したものである。
さらに、テキストｉにおける、語句ｊの重要度を、
ｔｆｉｄｆ（ｉ，ｊ）＝ｔｆ（ｉ，ｊ）×ｉｄｆ（ｊ）
とする。したがって、このｔｆｉｄｆ（ｉ，ｊ）の値が大きいほど重要度が高い語句であるといえる。
そして、重要度算出部３７は、ｔｆｉｄｆ（ｉ，ｊ）が一定以上の語句、或いは、ｔｆｉｄｆ（ｉ，ｊ）が多い順に所定数の語句を選択し、選択した語句の出現頻度を示す値を語句の出現頻度データベース４２から取得すればよい。
【００１６】
また、上記の処理において、重要度算出部３７は、複数の関連コンテンツ４１から抽出されたテキストにおける語句の出現頻度を比較し、出現頻度の変化に基づいて、重要だと判断される語句のみを選択してもよい。
例えば、ある再生対象画像に複数の関連コンテンツ４１が関連づけられており、これら関連コンテンツ４１の作成日時が異なっている場合に、関連コンテンツ４１の作成日時と、ある語句の出現頻度とが、図３に示す傾向を示している場合を想定する。
図３に示す語句Ａは、関連コンテンツ４１の作成日時に関係なく高頻度で出現する語句である。語句Ｂは、再生対象画像の撮影日時に近い日時に作成された関連コンテンツ４１ほど、高頻度で出現する傾向がある語句である。また、語句Ｃは関連コンテンツ４１の作成日時に関係なく出現頻度が低い語句である。
このような場合、語句Ａは常に高頻度で出現する語句であるから、重要度が高い語句として選択される。加えて、語句Ｂも、再生対象画像の撮影日時に強い関連を有する語句であるといえるので、重要度が高い語句として選択される。そして、語句Ａおよび語句Ｂに相当する語句のみについて、上述したＴＦ／ＩＤＦ処理により重要度を算出し、この重要度をもとに関連コンテンツ４１の重要度を求めてもよい。
【００１７】
また、重要度算出部３７は、関連コンテンツ４１から抽出されたテキストに含まれる語句の重要度を上述したＴＦ／ＩＤＦ処理によって算出する場合に、上記の母集団として、図４に示すように関連コンテンツ４１に加えて重要度算出用テキスト４５を加えた算出対象コンテンツ４０を用いてもよい。ここで、重要度算出用テキスト４５は、再生対象画像との関連が特にない一般的なテキスト（例えば、再生対象画像の撮影日時と関係しない日の新聞や雑誌等から抽出されたテキストデータ）である。この場合、一般的に高頻度で出現する語句と、関連コンテンツ４１に限って特異的に高頻度で出現する語句とを区別でき、関連コンテンツ４１における重要度を正確に求めることができる。
さらに、重要度算出部３７は、関連コンテンツ４１から抽出されたテキストにおける語句の重要度を求めた後、特定の固有名詞（人名、地名、施設や建物の名称等）を含むテキストにおける重要度を大きく評価してもよい。具体的には、あるテキストにおける重要度をＴＦ／ＩＤＦ処理により求めた後、そのテキストが特定の固有名詞を含んでいれば、求めた重要度に所定の係数を乗じて重要度を大きくしてもよい。
ここで、関連コンテンツ４１に含まれる固有名詞を抽出する処理は、固有表現抽出部３８によって実行される。
【００１８】
そして、画像再生記憶部３２は、重要度算出部３７により算出された各再生対象画像の重要度に基づいて、再生方法を決定し、この再生方法に関する情報を再生対象画像毎に記憶する。具体的には、再生対象画像を再生表示する時間、再生対象画像を拡大または縮小する場合のズーム率、再生対象画像に付加する画像フレーム（画像枠）等の装飾、これら装飾の色、画像そのものを変形して再生表示する場合の再生時の形状や変形処理のパラメータ等を記憶する。この画像再生記憶部３２に記憶された情報に従って、再生処理部３３により、再生対象画像が再生出力される。
ここで、画像再生装置１０による再生対象画像の再生方法について説明する。
【００１９】
（再生方法１）再生対象画像の重要度に基づいて再生時間を変化させる。
複数の再生対象画像を順次再生するスライドショー動作を行う場合に、各々の再生対象画像を再生（表示）する時間を、再生対象画像の重要度に応じて変化させる。
この場合、画像再生装置１０は、各々の再生対象画像の再生時間（表示時間）を、スライドショー動作の開始から終了までの全再生時間を各再生対象画像の重要度の値を用いて比例配分することにより決定する。
例えば、再生対象画像１〜ｎを再生する場合、再生対象画像ｊの重要度をＰｊとすると、各再生対象画像の再生時間は次式（２）により求められる。
再生対象画像ｊの再生時間＝全再生時間×Ｐj／（Ｐ1＋Ｐ2＋…＋Ｐn） ・・（２）
この再生方法によれば、重要度が高い再生対象画像ほど長い時間再生される。
【００２０】
（再生方法２）関連コンテンツ４１の重要度に基づいて再生する画像の数を変化させる。
複数の再生対象画像を順次再生するスライドショー動作を行う場合に、重要度の高い再生対象画像のみを選択して表示する。再生対象画像を選択する方法は、関連コンテンツ４１の重要度を利用する。
すなわち、一つの関連コンテンツ４１が複数の再生対象画像に関連づけられている場合に、関連コンテンツ４１に関連する全ての再生対象画像を再生するのではなく、重要度の高い関連コンテンツ４１については関連する多数の再生対象画像を再生し、重要度の低い関連コンテンツ４１については少数の再生対象画像のみを再生する。
この場合、スライドショー動作で再生する再生画像の総数を、関連コンテンツ４１の重要度の値を用いて比例配分し、関連コンテンツ４１毎に再生する画像の数を決定する。そして、関連コンテンツ４１に関連する画像のうち、比例配分された数の再生対象画像だけを、再生する画像として選択する。
ここで、関連コンテンツ４１に比例配分された画像の数よりも関連コンテンツ４１に関連づけられた画像の数が少ない場合、一つの再生対象画像あたりの再生時間を長くしてもよいし、再生する画像の数の余分を他の関連コンテンツ４１に割り当ててもよい。
この再生方法によれば、関連コンテンツ４１の重要度に応じて再生される再生対象画像の数が異なるため、関連コンテンツ４１単位で重要度の高い再生対象画像を選択でき、例えば、関連コンテンツ４１が関連するイベントの重要度を反映したスライドショー動作を行える。
【００２１】
（再生方法３）再生対象画像の重要度に基づいて再生時に画像を装飾する。
スライドショー動作や、指定された再生対象画像を再生表示する場合に、再生対象画像の重要度に応じて、再生対象画像に対する再生用の装飾が設定され、この装飾を施した状態で再生対象画像が再生表示される。
装飾としては、例えば、再生対象画像を所定のズーム率で拡大表示する、再生対象画像に画像フレーム（画像枠）やイラスト等を付加する、再生対象画像とは異なる形の画像フレームに合わせて再生対象画像をトリミングする、等が挙げられる。これらの装飾を、重要度を示す値が所定のしきい値よりも大きい再生対象画像にのみ付加して再生する。
また、例えば、複数種類の装飾を行うことが可能な場合に、再生対象画像の重要度を複数段階のランクに分け、再生対象画像のランクに対応する装飾を施してもよい。
この場合、再生対象画像の重要度に応じた装飾により、再生動作が単調にならず、重要度の高い再生対象画像ほど目立つように再生されるという利点がある。
【００２２】
（再生方法４）複数枚の画像を同時に再生する。
スライドショー動作において、再生対象画像の重要度に応じて、１枚の再生対象画像を再生表示する態様と、複数枚の再生対象画像を並べて再生表示する態様と切り換える。
すなわち、スライドショー動作で再生する再生対象画像が指定された場合に、各再生対象画像の重要度を示す値が所定のしきい値以上であるか否かを判別し、重要度を示す値がしきい値より大きい再生対象画像は１枚を通常通り再生表示する態様が設定され、重要度を示す値がしきい値以下の再生対象画像は、他の再生対象画像とともに、複数枚（例えば、２〜４枚）を並べて一つの画面とする態様が設定される。
この場合、重要度の高い再生対象画像は１枚だけで再生表示され、重要度の低い再生対象画像は複数枚が並べてサムネイル表示される。これにより、重要度の低い再生対象画像の再生表示を大幅に簡略化することで、スライドショー動作に要する時間を短縮しつつ、重要度が高い再生対象画像を見やすく再生表示できるという利点がある。
【００２３】
図５は、画像再生装置１０の動作を示すフローチャートである。
画像再生装置１０においては、映像・画像入力部３１として機能する画像入力装置１２を介して再生対象画像としての映像・画像が入力され（ステップＳ１１）、入力装置１３、外部記憶装置１６或いは通信インタフェース２４を介して関連コンテンツ４１が入力され（ステップＳ１２）、さらに、入力装置１３の操作等により、再生対象画像と関連コンテンツ４１とが関連づけられる（ステップＳ１３）。
ここで、画像再生装置本体１１のＭＰＵ２１は、テキスト抽出部３５、形態素解析部３６、重要度算出部３７、および固有表現抽出部３８として機能し、関連コンテンツ４１毎に重要度を算出する（ステップＳ１４）。
そして、ＭＰＵ２１は、画像再生記憶部３２として機能し、関連コンテンツ４１毎の重要度に応じて、各関連コンテンツ４１に関連づけられた再生対象画像の再生方法を決定し、決定した再生方法を記憶する（ステップＳ１５）。
その後、ＭＰＵ２１は再生処理部３３として機能し、再生対象画像を、ステップＳ１５で決定された再生方法に従って、表示装置１４によって再生表示し（ステップＳ１６）、動作を終了する。
【００２４】
以上の説明のように、本実施形態によれば、再生対象画像として入力された映像・画像について、関連コンテンツ４１が関連づけられた場合に、この関連コンテンツ４１の重要度を算出し、関連コンテンツ４１の重要度に応じた再生方法で再生対象画像を再生表示する。従って、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。例えば、ユーザの家族が参加したイベントで撮影された映像や画像はユーザにとって重要度が高いと考えられるが、映像や画像自体を解析しても、このような重要度の高さを特定することは難しい。本実施形態の画像再生装置１０は、再生対象画像に関連する関連コンテンツ４１を解析することで、重要度の高い再生対象画像を容易に検出して、この重要度に応じた方法で再生できる。
【００２５】
また、関連コンテンツ４１の重要度を算出した後、この関連コンテンツ４１に関連する再生対象画像の重要度を、関連コンテンツ４１の重要度に基づいて算出して、再生方法を各再生対象画像の重要度に基づいて決定する。このように再生対象画像そのものについて重要度を算出することで、再生対象画像毎の再生方法の制御をきめ細かく行うことができ、再生対象画像の重要度を反映して、ユーザのニーズに合った再生を実現できる。
【００２６】
以上の説明においては、画像再生装置１０は、具体的には、パーソナルコンピュータ、ＰＤＡ、携帯型電話機等に適用可能であるが、ディジタルスチルカメラ、ディジタルビデオカメラ、スキャナ、プロジェクタ、テレビ、プリンタおよびその他の画像再生処理を行う電子機器に実装または接続することが可能である。
以上の説明においては、上記各機能を実現するための制御プログラムが、予めＲＯＭ２２に格納されている場合について説明したが、制御プログラムを、コンピュータ（ＣＰＵ）読取可能な記録媒体に記録するようにしてもよい。このような構成であれば、コンピュータによってプログラムが記憶媒体から読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、上記各実施形態と同等の作用および効果が得られる。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、どのような記憶媒体であってもよい。
また、インターネット、ＬＡＮなどの通信ネットワークおよび通信インタフェース２４を介して制御用プログラムをダウンロードし、インストールして実行するように構成することも可能である。
【図面の簡単な説明】
【００２７】
【図１】実施形態の画像再生装置の概要構成を示すブロック図である。
【図２】画像再生装置の機能ブロック図である。
【図３】重要度算出部により重要度を算出する処理の概要を示す図である。
【図４】重要度算出部により重要度を算出する処理の概要を示す図である。
【図５】画像再生装置の動作を示すフローチャートである。
【符号の説明】
【００２８】
１０…画像再生装置、１１…画像再生装置本体、１２…画像入力装置、１３…入力装置、１４…表示装置、１５…出力装置、１６…外部記憶装置、２１…ＭＰＵ（重要度算出手段、再生方法決定手段、再生手段）、２２…ＲＯＭ、２３…ＲＡＭ、２４…通信インタフェース、３１…映像・画像入力部、３２…画像再生記憶部（再生方法決定手段）、３３…再生処理部（再生手段）、３５…テキスト抽出部、３６…形態素解析部、３７…重要度算出部（重要度算出手段）、３８…固有表現抽出部、３９…重要度算出ルール記憶部。
【技術分野】
【０００１】
本発明は、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する画像再生装置、画像再生装置の制御方法および制御プログラムに関する。
【背景技術】
【０００２】
動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する場合、全ての動画像や静止画像を同じように再生すると単調になってしまう。このため、再生の態様を画像毎に定めたり調整したりして、例えば重要な画像ほど目立つように、或いは視認しやすいように再生することが考えられる。
画像が重要であるか否かを、ユーザ自身が画像を見て判断すると、非常に煩雑で時間のかかる作業が必要になる。そこで従来、この作業の負担を軽減するため、画像を解析して重要度を求める方法が提案された。
【特許文献１】特開２００４−１５９３３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に開示された方法では、動画像や音声の一部を抽出し、映像の動きの激しさや音声の休止部の長さ等に基づいて、動画像の重要度を求めている。しかしながら、動画像および静止画像の重要度は、その画像が撮影された事由や背景に影響されることが多く、画像自体に対する処理を行うだけで重要度を求めることには限界があった。
そこで、本発明の目的は、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する場合に、各画像の重要度を反映した再生を行うことが可能な画像再生装置、画像再生装置の制御方法および制御プログラムを提供することにある。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明の第一形態は、複数の再生対象画像を再生する画像再生装置であって、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出手段と、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定手段と、前記再生方法決定手段により決定された再生方法に従って、前記再生対象画像を再生する再生手段と、を備えたことを特徴としている。
上記構成によれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、再生対象画像の重要度が算出され、算出された再生対象画像の重要度に基づいて再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。
したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。
また、再生対象画像そのものの重要度を算出することで、再生対象画像毎の再生方法の制御をきめ細かく行うことができ、再生対象画像の重要度を反映して、ユーザのニーズに合った再生を実現できる。
【０００５】
また、本発明の第二形態は、第一形態の画像再生装置において、前記再生方法決定手段は、複数の前記再生対象画像を順次再生するスライドショー再生を行う場合に、各々の前記再生対象画像を再生する時間を、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて決定すること、を特徴としている。
上記構成によれば、スライドショー再生を行う場合の各再生対象画像の再生時間が、再生対象画像の重要度に基づいて決定されるので、例えば重要度の高い再生対象画像ほど長い時間再生するといった再生方法を実現できる。
また、本発明の第三形態は、第一形態または第二形態のいずれかの画像再生装置において、前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像に付加される再生用の装飾を設定すること、を特徴としている。
上記構成によれば、再生対象画像に、重要度に基づいて再生用の装飾が付加されるので、例えば重要度の高い再生対象画像ほど目立つ装飾を付加するといった再生方法を実現できる。
また、本発明の第四形態は、第一形態ないし第三形態のいずれかの画像再生装置において、前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像を単独で再生する態様と、前記再生対象画像を他の前記再生対象画像とともに並べて再生する態様とを前記再生対象画像毎に設定すること、を特徴としている。
上記構成によれば、再生対象画像の重要度に基づいて、再生対象画像を単独で表示するか、複数の再生対象画像を並べて表示するかが再生対象画像毎に設定されるので、例えば重要度の高い再生対象画像を単独で表示し、重要度が高くない再生対象画像は並べて表示するといった制御を行い、短時間で多くの再生対象画像を再生し、かつ、重要度の高い再生対象画像の視認性を確保できるという利点がある。
なお、この場合に、再生対象画像を他の再生対象画像とともに再生する場合に、各々の再生対象画像を縮小した形で並べて再生してもよい。
【０００６】
また、本発明の第五形態は、第一形態の画像再生装置において、前記再生方法決定手段は、前記関連コンテンツの重要度に基づいて、各前記関連コンテンツに関連する前記再生対象画像のうち、再生する前記再生対象画像の数を決定すること、を特徴としている。
上記構成によれば、関連コンテンツに対して複数の再生対象画像が関連づけられている場合に、関連コンテンツの重要度に基づいて再生される再生対象画像の数が決定されるので、重要度の高い再生対象画像を、関連コンテンツ単位で選択して再生できる。
【０００７】
本発明の第六形態は、複数の再生対象画像を再生する画像再生装置の制御方法であって、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出過程と、前記重要度算出過程で算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定過程と、前記再生方法決定過程で決定された再生方法に従って、前記再生対象画像を再生する再生過程と、を含むことを特徴としている。
この制御方法によれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、関連コンテンツに関連する再生対象画像の重要度が算出され、再生対象画像の重要度に基づいて、再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。
【０００８】
また、本発明の第七形態は、複数の再生対象画像を再生する画像再生装置をコンピュータにより制御するための制御プログラムであって、前記画像再生装置により、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出させ、算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定させ、決定された再生方法に従って、前記再生対象画像を再生させる、ことを特徴としている。
この制御プログラムによれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、関連コンテンツに関連する再生対象画像の重要度が算出され、算出された再生対象画像の重要度に基づいて、再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。
この場合において、制御プログラムをコンピュータ読取可能な記録媒体に記録するようにしても良い。
【発明を実施するための最良の形態】
【０００９】
次に図面を参照して本発明の好適な実施形態について説明する。
図１は、実施形態の画像再生装置の概要構成を示すブロック図である。
画像再生装置１０は、パーソナルコンピュータとして構成されており、画像処理を行う画像再生装置本体１１と、各種画像入力を行う画像入力装置１２と、各種操作を行うためのキーボード、マウスなどの入力装置１３と、各種表示を行う液晶ディスプレイなどの表示装置１４と、印刷を行うプリンタなどの出力装置１５と、後述する画像再生方法に関連するデータを含む各種データを記憶するハードディスク装置などの外部記憶装置１６と、を備えている。
画像再生装置本体１１は、当該画像再生装置本体１１全体の制御を行うマイクロプロセッサユニット（ＭＰＵ）２１と、ＭＰＵ２１により実行される各種制御プログラムおよびこれらプログラムに係る各種データを記憶するＲＯＭ２２と、ＭＰＵ２１が実行するプログラムや処理するデータ等を一時的に格納するワークエリアとして機能するＲＡＭ２３と、ＬＡＮ、インターネットなどの外部の通信ネットワークとの間のインタフェース動作を行う通信インタフェース２４と、を備えている。
【００１０】
図２は、画像再生装置の機能ブロック図である。
この図２に示す各機能部は、画像再生装置１０が備えるハードウェアとソフトウェアとの協働により実現される。すなわち、図１に示した画像再生装置１０の画像再生装置本体１１が備えるＭＰＵ２１が所定の制御プログラムを実行し、画像再生装置本体１１、画像入力装置１２、入力装置１３、表示装置１４、出力装置１５、および外部記憶装置１６の各部を制御することで、実現されるものである。
また、図３および図４は、重要度算出部３７により重要度を算出する処理の概要を示す図である。
【００１１】
図２に示すように、画像再生装置１０は、映像・画像入力部３１と、画像再生記憶部３２（再生方法決定手段）と、再生処理部３３（再生手段）と、テキスト抽出部３５と、形態素解析部３６と、重要度算出部３７（重要度算出手段）と、固有表現抽出部３８と、重要度算出ルール記憶部３９と、を備えている。また、画像再生装置１０には、電子メール、ウェブブラウザで閲覧可能に構成されたホームページやブログ、ＲＳＳ等のウェブコンテンツを含む関連コンテンツ４１が入力される。これら関連コンテンツ４１は、いずれもテキストデータ、或いはテキストを含むデータとして構成される。
関連コンテンツ４１として入力される個々のコンテンツは、それぞれ、映像・画像入力部３１により入力される再生対象画像のいずれかに対応づけられる。例えば、関連コンテンツ４１は、再生対象画像の撮影日時や撮影場所、イベントに関連した記述が含まれる、ニュースサイトや観光地のガイド、撮影日時および前後に送受信した電子メール、更新されたブログの内容などである。
さらに、画像再生装置１０は、語句の出現頻度データベース４２を備える。この語句の出現頻度データベース４２は、これまでに入力された関連コンテンツ４１に含まれる語句の出現頻度を示す値として、出現した回数のカウント値を、一つ一つの語句について格納したデータベースである。
【００１２】
映像・画像入力部３１は、放送電波、通信ネットワークあるいはＩＣメモリカードなどのデータ記憶媒体を介して動画像データ（動画像に対応）あるいは静止画像データ（静止画に対応）を入力する。具体的には、様々な画像フォーマットの画像を、様々な圧縮形式、ファイル形式を有するファイルや、スキャナ、ディジタルカメラ、ディジタルビデオカメラなどの入力装置から抽出あるいは受け取ることとなる。この場合において、圧縮形式としては、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４等が挙げられる。
画像再生記憶部３２は、映像・画像入力部３１により入力された再生対象画像としての動画像または静止画像について、後述する重要度算出部３７により算出された各画像の重要度に基づいて再生方法を決定し、この再生方法を画像毎に記憶する。
再生処理部３３は、画像再生記憶部３２に記憶された再生方法に従って、映像・画像入力部３１により入力された再生対象画像を再生出力する。
テキスト抽出部３５は、関連コンテンツ４１として入力されたコンテンツ、具体的には、ＸＨＴＭＬ（個人のホームページ、ブログなど）、送受信した電子メール、ＸＭＬ（楽曲の検索用メタデータなど）で記述されているハイパーテキストデータや地図データベース等のコンテンツから、タグ情報以外のテキストデータを抽出する。
形態素解析部３６は、関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストデータの形態素解析を行い、単語（語句）を抽出し、必要に応じてステミングを行う。
【００１３】
重要度算出部３７は、関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストを解析することにより、再生対象画像に関連づけられた関連コンテンツ４１の重要度を算出し、再生対象画像毎の重要度を求める処理を行う。また、重要度算出ルール記憶部３９は、重要度算出部３７によって関連コンテンツ４１の重要度を求め、この重要度に基づいて再生対象画像の重要度を算出するための一連の処理方法を記憶する。
詳細に説明すると、重要度算出部３７は、語句の出現頻度データベース４２に格納された出現頻度を示す値をもとに、テキスト抽出部３５により抽出されたテキストに含まれる語句の重要度を算出する。最も単純な例としては、語句の出現頻度データベース４２に格納された語句毎の数値そのものを、各語句の重要度を示す値として算出する方法がある。
重要度算出部３７は、各々の関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストについて、そのテキストに含まれる語句の重要度をテキスト毎に積算することによって、テキストの重要度を求める。
例えば、テキストｊに含まれる全ての語句の重要度を示す値に、テキストｊにおける語句の出現回数を乗じ、この値を下記式（１）に示すように合算することで、テキストｊの重要度を算出する。
テキストｊの重要度Ｔj＝ΣＷi ・・・（１）
ここで、Ｗiはテキストｊに含まれる各語句の重要度である。
そして、重要度算出部３７は、テキストｊの重要度を、このテキストｊを抽出する元になった関連コンテンツ４１の重要度に設定し、さらに、各々の再生対象画像について、その再生対象画像が関連づけられた関連コンテンツ４１の重要度の値を、その再生対象画像の重要度として設定し、記憶する。
一つの再生対象画像について複数のテキストが関連コンテンツ４１として関連づけられている場合、重要度算出部３７は、これら複数のテキストの重要度を求めた上で平均値を算出し、この平均値を再生対象画像の重要度としてもよい。
【００１４】
上記処理で、重要度算出部３７は、テキスト抽出部３５により抽出されたテキストに含まれる全ての語句について語句の出現頻度データベース４２をもとに重要度を求めてもよいが、テキスト中で重要と思われる語句を選択して、この語句に限って重要度を求めてもよい。
具体的には、重要度算出部３７は、ＴＦ／ＩＤＦ（Term Frequency & Inverse Document Frequency）処理によって、テキストに含まれる個々の語句の重要度を算出し、下記式によって、形態素解析部３６によりテキストｉから抽出された各々の語句ｊの重要度ｔｆｉｄｆ（ｉ，ｊ）を求める。
すなわち、テキストｉにおける語句ｊの出現頻度をＦｒｅｑ（ｉ，ｊ）とし、語句ｊの出現頻度に関わるｔｆ（ｉ，ｊ）を次式に従い算出する。
ｔｆ（ｉ，ｊ）＝ｌｏｇ（Ｆｒｅｑ（ｉ，ｊ）＋１）／ｌｏｇ（テキストｉの総語句数）
ここで、ｔｆ（ｉ，ｊ）は、テキストｉにおける出現頻度をもとに、語句ｊの重要度を表す指標である。言い換えれば、関連コンテンツ４１から抽出されたテキスト中に多く出現する語句が、重要な語句とみなされる。
【００１５】
次にｄｆ（ｊ）を語句ｊが出現するテキスト数として、ｉｄｆ（ｊ）を算出する。
ｉｄｆ（ｊ）＝ｌｏｇ（Ｎ／ｄｆ（ｊ））
ここで、ｉｄｆ（ｊ）は、関連コンテンツ４１として入力された全てのコンテンツから抽出されたテキスト（母集団）のうち、語句ｊが出現するテキストデータの数を語句ｊの出現頻度として計算したものである。
さらに、テキストｉにおける、語句ｊの重要度を、
ｔｆｉｄｆ（ｉ，ｊ）＝ｔｆ（ｉ，ｊ）×ｉｄｆ（ｊ）
とする。したがって、このｔｆｉｄｆ（ｉ，ｊ）の値が大きいほど重要度が高い語句であるといえる。
そして、重要度算出部３７は、ｔｆｉｄｆ（ｉ，ｊ）が一定以上の語句、或いは、ｔｆｉｄｆ（ｉ，ｊ）が多い順に所定数の語句を選択し、選択した語句の出現頻度を示す値を語句の出現頻度データベース４２から取得すればよい。
【００１６】
また、上記の処理において、重要度算出部３７は、複数の関連コンテンツ４１から抽出されたテキストにおける語句の出現頻度を比較し、出現頻度の変化に基づいて、重要だと判断される語句のみを選択してもよい。
例えば、ある再生対象画像に複数の関連コンテンツ４１が関連づけられており、これら関連コンテンツ４１の作成日時が異なっている場合に、関連コンテンツ４１の作成日時と、ある語句の出現頻度とが、図３に示す傾向を示している場合を想定する。
図３に示す語句Ａは、関連コンテンツ４１の作成日時に関係なく高頻度で出現する語句である。語句Ｂは、再生対象画像の撮影日時に近い日時に作成された関連コンテンツ４１ほど、高頻度で出現する傾向がある語句である。また、語句Ｃは関連コンテンツ４１の作成日時に関係なく出現頻度が低い語句である。
このような場合、語句Ａは常に高頻度で出現する語句であるから、重要度が高い語句として選択される。加えて、語句Ｂも、再生対象画像の撮影日時に強い関連を有する語句であるといえるので、重要度が高い語句として選択される。そして、語句Ａおよび語句Ｂに相当する語句のみについて、上述したＴＦ／ＩＤＦ処理により重要度を算出し、この重要度をもとに関連コンテンツ４１の重要度を求めてもよい。
【００１７】
また、重要度算出部３７は、関連コンテンツ４１から抽出されたテキストに含まれる語句の重要度を上述したＴＦ／ＩＤＦ処理によって算出する場合に、上記の母集団として、図４に示すように関連コンテンツ４１に加えて重要度算出用テキスト４５を加えた算出対象コンテンツ４０を用いてもよい。ここで、重要度算出用テキスト４５は、再生対象画像との関連が特にない一般的なテキスト（例えば、再生対象画像の撮影日時と関係しない日の新聞や雑誌等から抽出されたテキストデータ）である。この場合、一般的に高頻度で出現する語句と、関連コンテンツ４１に限って特異的に高頻度で出現する語句とを区別でき、関連コンテンツ４１における重要度を正確に求めることができる。
さらに、重要度算出部３７は、関連コンテンツ４１から抽出されたテキストにおける語句の重要度を求めた後、特定の固有名詞（人名、地名、施設や建物の名称等）を含むテキストにおける重要度を大きく評価してもよい。具体的には、あるテキストにおける重要度をＴＦ／ＩＤＦ処理により求めた後、そのテキストが特定の固有名詞を含んでいれば、求めた重要度に所定の係数を乗じて重要度を大きくしてもよい。
ここで、関連コンテンツ４１に含まれる固有名詞を抽出する処理は、固有表現抽出部３８によって実行される。
【００１８】
そして、画像再生記憶部３２は、重要度算出部３７により算出された各再生対象画像の重要度に基づいて、再生方法を決定し、この再生方法に関する情報を再生対象画像毎に記憶する。具体的には、再生対象画像を再生表示する時間、再生対象画像を拡大または縮小する場合のズーム率、再生対象画像に付加する画像フレーム（画像枠）等の装飾、これら装飾の色、画像そのものを変形して再生表示する場合の再生時の形状や変形処理のパラメータ等を記憶する。この画像再生記憶部３２に記憶された情報に従って、再生処理部３３により、再生対象画像が再生出力される。
ここで、画像再生装置１０による再生対象画像の再生方法について説明する。
【００１９】
（再生方法１）再生対象画像の重要度に基づいて再生時間を変化させる。
複数の再生対象画像を順次再生するスライドショー動作を行う場合に、各々の再生対象画像を再生（表示）する時間を、再生対象画像の重要度に応じて変化させる。
この場合、画像再生装置１０は、各々の再生対象画像の再生時間（表示時間）を、スライドショー動作の開始から終了までの全再生時間を各再生対象画像の重要度の値を用いて比例配分することにより決定する。
例えば、再生対象画像１〜ｎを再生する場合、再生対象画像ｊの重要度をＰｊとすると、各再生対象画像の再生時間は次式（２）により求められる。
再生対象画像ｊの再生時間＝全再生時間×Ｐj／（Ｐ1＋Ｐ2＋…＋Ｐn） ・・（２）
この再生方法によれば、重要度が高い再生対象画像ほど長い時間再生される。
【００２０】
（再生方法２）関連コンテンツ４１の重要度に基づいて再生する画像の数を変化させる。
複数の再生対象画像を順次再生するスライドショー動作を行う場合に、重要度の高い再生対象画像のみを選択して表示する。再生対象画像を選択する方法は、関連コンテンツ４１の重要度を利用する。
すなわち、一つの関連コンテンツ４１が複数の再生対象画像に関連づけられている場合に、関連コンテンツ４１に関連する全ての再生対象画像を再生するのではなく、重要度の高い関連コンテンツ４１については関連する多数の再生対象画像を再生し、重要度の低い関連コンテンツ４１については少数の再生対象画像のみを再生する。
この場合、スライドショー動作で再生する再生画像の総数を、関連コンテンツ４１の重要度の値を用いて比例配分し、関連コンテンツ４１毎に再生する画像の数を決定する。そして、関連コンテンツ４１に関連する画像のうち、比例配分された数の再生対象画像だけを、再生する画像として選択する。
ここで、関連コンテンツ４１に比例配分された画像の数よりも関連コンテンツ４１に関連づけられた画像の数が少ない場合、一つの再生対象画像あたりの再生時間を長くしてもよいし、再生する画像の数の余分を他の関連コンテンツ４１に割り当ててもよい。
この再生方法によれば、関連コンテンツ４１の重要度に応じて再生される再生対象画像の数が異なるため、関連コンテンツ４１単位で重要度の高い再生対象画像を選択でき、例えば、関連コンテンツ４１が関連するイベントの重要度を反映したスライドショー動作を行える。
【００２１】
（再生方法３）再生対象画像の重要度に基づいて再生時に画像を装飾する。
スライドショー動作や、指定された再生対象画像を再生表示する場合に、再生対象画像の重要度に応じて、再生対象画像に対する再生用の装飾が設定され、この装飾を施した状態で再生対象画像が再生表示される。
装飾としては、例えば、再生対象画像を所定のズーム率で拡大表示する、再生対象画像に画像フレーム（画像枠）やイラスト等を付加する、再生対象画像とは異なる形の画像フレームに合わせて再生対象画像をトリミングする、等が挙げられる。これらの装飾を、重要度を示す値が所定のしきい値よりも大きい再生対象画像にのみ付加して再生する。
また、例えば、複数種類の装飾を行うことが可能な場合に、再生対象画像の重要度を複数段階のランクに分け、再生対象画像のランクに対応する装飾を施してもよい。
この場合、再生対象画像の重要度に応じた装飾により、再生動作が単調にならず、重要度の高い再生対象画像ほど目立つように再生されるという利点がある。
【００２２】
（再生方法４）複数枚の画像を同時に再生する。
スライドショー動作において、再生対象画像の重要度に応じて、１枚の再生対象画像を再生表示する態様と、複数枚の再生対象画像を並べて再生表示する態様と切り換える。
すなわち、スライドショー動作で再生する再生対象画像が指定された場合に、各再生対象画像の重要度を示す値が所定のしきい値以上であるか否かを判別し、重要度を示す値がしきい値より大きい再生対象画像は１枚を通常通り再生表示する態様が設定され、重要度を示す値がしきい値以下の再生対象画像は、他の再生対象画像とともに、複数枚（例えば、２〜４枚）を並べて一つの画面とする態様が設定される。
この場合、重要度の高い再生対象画像は１枚だけで再生表示され、重要度の低い再生対象画像は複数枚が並べてサムネイル表示される。これにより、重要度の低い再生対象画像の再生表示を大幅に簡略化することで、スライドショー動作に要する時間を短縮しつつ、重要度が高い再生対象画像を見やすく再生表示できるという利点がある。
【００２３】
図５は、画像再生装置１０の動作を示すフローチャートである。
画像再生装置１０においては、映像・画像入力部３１として機能する画像入力装置１２を介して再生対象画像としての映像・画像が入力され（ステップＳ１１）、入力装置１３、外部記憶装置１６或いは通信インタフェース２４を介して関連コンテンツ４１が入力され（ステップＳ１２）、さらに、入力装置１３の操作等により、再生対象画像と関連コンテンツ４１とが関連づけられる（ステップＳ１３）。
ここで、画像再生装置本体１１のＭＰＵ２１は、テキスト抽出部３５、形態素解析部３６、重要度算出部３７、および固有表現抽出部３８として機能し、関連コンテンツ４１毎に重要度を算出する（ステップＳ１４）。
そして、ＭＰＵ２１は、画像再生記憶部３２として機能し、関連コンテンツ４１毎の重要度に応じて、各関連コンテンツ４１に関連づけられた再生対象画像の再生方法を決定し、決定した再生方法を記憶する（ステップＳ１５）。
その後、ＭＰＵ２１は再生処理部３３として機能し、再生対象画像を、ステップＳ１５で決定された再生方法に従って、表示装置１４によって再生表示し（ステップＳ１６）、動作を終了する。
【００２４】
以上の説明のように、本実施形態によれば、再生対象画像として入力された映像・画像について、関連コンテンツ４１が関連づけられた場合に、この関連コンテンツ４１の重要度を算出し、関連コンテンツ４１の重要度に応じた再生方法で再生対象画像を再生表示する。従って、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。例えば、ユーザの家族が参加したイベントで撮影された映像や画像はユーザにとって重要度が高いと考えられるが、映像や画像自体を解析しても、このような重要度の高さを特定することは難しい。本実施形態の画像再生装置１０は、再生対象画像に関連する関連コンテンツ４１を解析することで、重要度の高い再生対象画像を容易に検出して、この重要度に応じた方法で再生できる。
【００２５】
また、関連コンテンツ４１の重要度を算出した後、この関連コンテンツ４１に関連する再生対象画像の重要度を、関連コンテンツ４１の重要度に基づいて算出して、再生方法を各再生対象画像の重要度に基づいて決定する。このように再生対象画像そのものについて重要度を算出することで、再生対象画像毎の再生方法の制御をきめ細かく行うことができ、再生対象画像の重要度を反映して、ユーザのニーズに合った再生を実現できる。
【００２６】
以上の説明においては、画像再生装置１０は、具体的には、パーソナルコンピュータ、ＰＤＡ、携帯型電話機等に適用可能であるが、ディジタルスチルカメラ、ディジタルビデオカメラ、スキャナ、プロジェクタ、テレビ、プリンタおよびその他の画像再生処理を行う電子機器に実装または接続することが可能である。
以上の説明においては、上記各機能を実現するための制御プログラムが、予めＲＯＭ２２に格納されている場合について説明したが、制御プログラムを、コンピュータ（ＣＰＵ）読取可能な記録媒体に記録するようにしてもよい。このような構成であれば、コンピュータによってプログラムが記憶媒体から読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、上記各実施形態と同等の作用および効果が得られる。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、どのような記憶媒体であってもよい。
また、インターネット、ＬＡＮなどの通信ネットワークおよび通信インタフェース２４を介して制御用プログラムをダウンロードし、インストールして実行するように構成することも可能である。
【図面の簡単な説明】
【００２７】
【図１】実施形態の画像再生装置の概要構成を示すブロック図である。
【図２】画像再生装置の機能ブロック図である。
【図３】重要度算出部により重要度を算出する処理の概要を示す図である。
【図４】重要度算出部により重要度を算出する処理の概要を示す図である。
【図５】画像再生装置の動作を示すフローチャートである。
【符号の説明】
【００２８】
１０…画像再生装置、１１…画像再生装置本体、１２…画像入力装置、１３…入力装置、１４…表示装置、１５…出力装置、１６…外部記憶装置、２１…ＭＰＵ（重要度算出手段、再生方法決定手段、再生手段）、２２…ＲＯＭ、２３…ＲＡＭ、２４…通信インタフェース、３１…映像・画像入力部、３２…画像再生記憶部（再生方法決定手段）、３３…再生処理部（再生手段）、３５…テキスト抽出部、３６…形態素解析部、３７…重要度算出部（重要度算出手段）、３８…固有表現抽出部、３９…重要度算出ルール記憶部。
【特許請求の範囲】
【請求項１】
複数の再生対象画像を再生する画像再生装置であって、
前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出手段と、
前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定手段と、
前記再生方法決定手段により決定された再生方法に従って、前記再生対象画像を再生する再生手段と、
を備えることを特徴とする画像再生装置。
【請求項２】
請求項１記載の画像再生装置において、
前記再生方法決定手段は、複数の前記再生対象画像を順次再生するスライドショー再生を行う場合に、各々の前記再生対象画像を再生する時間を、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて決定すること、
を特徴とする画像再生装置。
【請求項３】
請求項１または２記載の画像再生装置において、
前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像に付加される再生用の装飾を設定すること、
を特徴とする画像再生装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像再生装置において、
前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像を単独で再生する態様と、前記再生対象画像を他の前記再生対象画像とともに並べて再生する態様とを前記再生対象画像毎に設定すること、
を特徴とする画像再生装置。
【請求項５】
請求項１記載の画像再生装置において、
前記再生方法決定手段は、前記関連コンテンツの重要度に基づいて、各前記関連コンテンツに関連する前記再生対象画像のうち、再生する前記再生対象画像の数を決定すること、
を特徴とする画像再生装置。
【請求項６】
複数の再生対象画像を再生する画像再生装置の制御方法であって、
前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出過程と、
前記重要度算出過程で算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定過程と、
前記再生方法決定過程で決定された再生方法に従って、前記再生対象画像を再生する再生過程と、
を含むことを特徴とする画像再生装置の制御方法。
【請求項７】
複数の再生対象画像を再生する画像再生装置をコンピュータにより制御するための制御プログラムであって、
前記画像再生装置により、
前記再生対象画像に関連する関連コンテンツに基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出させ、
算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定させ、
決定された再生方法に従って、前記再生対象画像を再生させる、
ことを特徴とする制御プログラム。
【請求項１】
複数の再生対象画像を再生する画像再生装置であって、
前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出手段と、
前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定手段と、
前記再生方法決定手段により決定された再生方法に従って、前記再生対象画像を再生する再生手段と、
を備えることを特徴とする画像再生装置。
【請求項２】
請求項１記載の画像再生装置において、
前記再生方法決定手段は、複数の前記再生対象画像を順次再生するスライドショー再生を行う場合に、各々の前記再生対象画像を再生する時間を、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて決定すること、
を特徴とする画像再生装置。
【請求項３】
請求項１または２記載の画像再生装置において、
前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像に付加される再生用の装飾を設定すること、
を特徴とする画像再生装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像再生装置において、
前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像を単独で再生する態様と、前記再生対象画像を他の前記再生対象画像とともに並べて再生する態様とを前記再生対象画像毎に設定すること、
を特徴とする画像再生装置。
【請求項５】
請求項１記載の画像再生装置において、
前記再生方法決定手段は、前記関連コンテンツの重要度に基づいて、各前記関連コンテンツに関連する前記再生対象画像のうち、再生する前記再生対象画像の数を決定すること、
を特徴とする画像再生装置。
【請求項６】
複数の再生対象画像を再生する画像再生装置の制御方法であって、
前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出過程と、
前記重要度算出過程で算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定過程と、
前記再生方法決定過程で決定された再生方法に従って、前記再生対象画像を再生する再生過程と、
を含むことを特徴とする画像再生装置の制御方法。
【請求項７】
複数の再生対象画像を再生する画像再生装置をコンピュータにより制御するための制御プログラムであって、
前記画像再生装置により、
前記再生対象画像に関連する関連コンテンツに基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出させ、
算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定させ、
決定された再生方法に従って、前記再生対象画像を再生させる、
ことを特徴とする制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−７７１１２（Ｐ２００９−７７１１２Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００７−２４３５２７（Ｐ２００７−２４３５２７）
【出願日】平成１９年９月２０日（２００７．９．２０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成１９年９月２０日（２００７．９．２０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]