ビデオ画像プリント装置およびビデオ画像プリントプログラム
【課題】動画像のダイジェストを表す代表画像を紙媒体に印刷するときに，紙面への出力結果としての鑑賞性の向上を図りながら，簡易に紙面から動画像データのダイジェスト動画像へのアクセスを可能とする。
【解決手段】ダイジェスト作成部１４が，動画像データの特徴的な区間を抜き出してダイジェスト動画像データを作成し，ダイジェスト蓄積部１６が，そのダイジェスト動画像データを通信回線を通じてアクセス可能に蓄積する。代表画像作成部１５は，動画像データの区間情報から，時間的または空間的に近い位置で撮影された静止画像データを選択して代表静止画像データとする。プリント部１８は，代表静止画像データとダイジェスト動画像データのアクセス先を記したデータとをプリントする。
【解決手段】ダイジェスト作成部１４が，動画像データの特徴的な区間を抜き出してダイジェスト動画像データを作成し，ダイジェスト蓄積部１６が，そのダイジェスト動画像データを通信回線を通じてアクセス可能に蓄積する。代表画像作成部１５は，動画像データの区間情報から，時間的または空間的に近い位置で撮影された静止画像データを選択して代表静止画像データとする。プリント部１８は，代表静止画像データとダイジェスト動画像データのアクセス先を記したデータとをプリントする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，ビデオカメラ等により撮影された動画像データおよび静止画像データを用いて，一覧性の高い紙面上への出力と，その出力をもとにした動画像データへのアクセスをサポートするシステムであって，特に，出力結果の鑑賞性の向上を可能とするシステムに関するものである。
【背景技術】
【０００２】
一般に動画像データの内容を確認するには，撮影された時間と同等の時間をかけ，ビデオデッキ，ＤＶＤプレーヤ，あるいは近年においてはパソコン等の再生装置を用いて再生する必要がある。また，動画像データの中の特定のシーンにアクセスするには，近年のＤＶＤやＭＰＥＧファイル等の再生においては，ビデオテープを巻き戻したり早送りしたりするといった物理的な操作に対する時間は削減されたものの，やはり時間をかけて再生する位置を探す必要がある。
【０００３】
このような課題に対する従来技術として，特許文献１の技術がある。すなわち，特許文献１では，動画像データをカット点検出やカメラワーク検出，音に関する時間的あるいは周波数特徴検出によって解析し，定めた条件に合致する画像データを紙面上に配置してプリントすることによって，動画像データの内容を簡単に短時間で把握できる技術を提供している。
【０００４】
さらに特許文献１では，同時に付属情報を付加してプリントすることにより，その付属情報をバーコードリーダなどで読み取ることで，簡単に当該動画像データのシーンへアクセスするための技術を提供している。
【０００５】
なお，本発明を実施する際に用いることができる要素技術の一例としては，特許文献２に，画像撮影のための撮像装置において，ＧＰＳ（Global Positioning System ）を利用して撮影場所の位置情報を取得し，その位置情報を画像情報と同期させて記録する技術が開示されている。
【０００６】
また，特許文献３には，同様に本発明を実施する際に用いることができる要素技術の一例として，ダイジェストシーンとして相応しい映像中のシーンを含み，かつ予め決められた時間内に収まるダイジェスト映像の作成を行う技術が開示されている。
【０００７】
また，特許文献４には，動物体が大きく写っている動物体アップフレームの映像時刻，および動物体のアップショットを精度よく検出するための技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３１０８５８５号公報
【特許文献２】特開平７−１２３３４８号公報
【特許文献３】特開２００６−１４８３９７号公報
【特許文献４】特開２００６−２４４０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら，特許文献１では，一覧性を重視して，解析したすべての結果に対し，動画像データから抽出した画像を配置しており，必ずしも出力結果の鑑賞性については考慮されていない。
【００１０】
一般に，動画像データから抽出される静止画像データは，画像解像度などの点において，品質に難点がある。特許文献１の実施例に記載されているように，より多くの画像データを限られた紙面上にプリントする場合には，解像度が低くても比較的問題にならないが，静止画像としての鑑賞性を高めるために，紙面上になるべく大きくプリントしようとすると，画質の粗さが目立ってしまう。
【００１１】
動画像データに関しても，通常，プロフェッショナルなカメラマンでない人が撮影した動画像データには，無意味に漫然と撮影したシーンが多く含まれているのが一般的であり，すべての動画像データを再生することは，鑑賞性が低くなってしまう。さらに，これらのデータをそのまま蓄積すると，ハードディスク装置（ＨＤＤ）などの蓄積メディア容量の観点からも問題となってしまう。
【００１２】
本発明は上記問題点の解決を図り，動画像のダイジェストを表す代表画像を紙媒体に印刷し，特にこの代表画像としてダイジェスト動画像の内容の把握が容易な解像度の高い鑑賞性に優れた画像を印刷できるようにし，かつその出力結果の紙面から簡易に動画像データのダイジェストへアクセスできるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために，本発明では，元の動画像データからダイジェストを作成し，サーバへアップロードしておき，さらに紙面への出力に使用する画像データとしては，可能な限り同じ時期あるいは同じ場所で撮影した静止画像データを利用する。
【００１４】
詳しくは，本発明は，動画像データを記憶する動画像データ記憶手段と，前記動画像データの撮影対象が撮影されている複数の静止画像データを記憶する静止画像データ記憶手段と，前記動画像データ記憶手段に記憶されている動画像データおよび前記静止画像データ記憶手段に記憶されている静止画像データの撮影時刻を含む付加情報を記憶する付加情報データ記憶手段と，前記動画像データ記憶手段に記憶されている動画像データから動画像の特徴量を算出し，算出された特徴量をもとに前記動画像データの特徴的な区間を単数または複数抜き出し，それらをつなぎ合わせることによってダイジェスト動画像データを作成するダイジェスト作成手段と，前記ダイジェスト動画像データを，通信回線を通じてアクセス可能なアクセス先を記したデータに対応付けられる位置に蓄積するダイジェスト蓄積手段と，前記付加情報記憶手段から読み出した付加情報データと前記ダイジェスト作成手段から得た動画像のダイジェスト作成に使用した区間情報とをもとに，前記ダイジェスト作成に使用した区間に関する動画像データの付加情報と，前記静止画像データの付加情報とを比較し，予め定められた比較結果の条件によりダイジェストを代表する静止画像データを選択して代表静止画像データとする代表画像作成手段と，前記代表画像作成手段により作成された代表静止画像データと，前記ダイジェスト蓄積手段により蓄積されているダイジェスト動画像データのアクセス先を記したデータを，共にプリントするプリント手段とを備えることを特徴とする。
【００１５】
動画像のダイジェストを表す代表画像を紙媒体に印刷する際に，動画像は一般に解像度か低いことから，本発明では同じ撮影対象を撮影した静止画像を利用する。これにより，ダイジェストの内容の把握が容易な鑑賞性の高いプリント結果を得ることができる。
【００１６】
また，上記発明において，前記代表画像作成手段が，前記比較結果の条件に該当する静止画像データが存在しない場合に，前記動画像データの中から一つのフレーム画像を選択して代表静止画像データとする手段を備えることを特徴とする。これにより，所定の条件に合致する適切な静止画像データがない場合でも，動画像のダイジェストシーンを代表する画像のプリントが可能になる。
【００１７】
また，上記発明において，前記プリント手段が，前記アクセス先を記したデータをバーコードに変換し，前記バーコードのみまたは前記バーコードと共に前記アクセス先を記したデータの文字列を，前記代表静止画像データと共にプリントする手段を備えることを特徴とする。これにより，カメラ等を搭載するバーコードリーダ付き携帯端末等からダイジェスト動画像データへのアクセスを簡易に行うことが可能になる。
【００１８】
また，上記発明において，前記代表画像作成手段が静止画像データの選択に用いる前記比較結果の条件は，前記動画像データの特定のシーンの撮影時刻と前記静止画像データの撮影時刻との差が最小であることもしくは予め定められた閾値より小さいこと，またはその両方を満たすという条件を含むことを特徴とする。代表画像として，ダイジェスト動画像の区間と近い撮影時刻の静止画像を選択することにより，ダイジェスト動画像の区間の内容を表す適切な静止画像をプリントすることが可能になる。
【００１９】
さらに，上記発明において，前記付加情報記憶手段に記憶される付加情報は，前記動画像データ記憶手段に記憶されている動画像データの撮影位置情報および前記静止画像データ記憶手段に記憶されている静止画像データの撮影位置情報を含み，前記代表画像作成手段が静止画像データの選択に用いる前記比較結果の条件は，前記動画像データの特定のシーンの撮影位置と前記静止画像データの撮影位置との差が最小であることもしくは予め定められた閾値より小さいこと，またはその両方を満たすという条件を含むことを特徴とする。これにより，ダイジェスト動画像の区間の内容を表すさらに適切な静止画像を代表画像として選択することができる。
【００２０】
また，上記発明において，前記ダイジェスト蓄積手段は，前記ダイジェスト作成手段が前記動画像データから抽出した特徴的な区間に対して，各区間ごとの動画像ファイルと，それらをつなぎ合わせた動画像ファイルとを，それぞれ別のアクセス先を記したデータに対応付けられるように個別に蓄積することを特徴とする。これにより，ダイジェスト動画像データを参照する利用者は，個別のダイジェスト区間にアクセスすることも，またダイジェスト全体にアクセスすることも簡単にできるようになる。
【発明の効果】
【００２１】
本発明により，紙面への出力結果としての鑑賞性の向上を図りながら，簡易に紙面から動画像データのダイジェスト動画像へのアクセスを可能とすることができる。なお，紙面に出力された画像データは，必ずしもアクセスして再生できるダイジェスト動画像の１フレームとして存在していることはないが，時間的あるいは位置的に非常に関連の深い画像が選択されているため，利用者にとって違和感を感じさせなくする効果もある。
【００２２】
さらに，ダイジェストデータにすることにより，鑑賞性を落とすことなく，必要なメディア容量を削減できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の概要を示す構成図である。
【図２】画像データと付加情報の説明図である。
【図３】付加情報の例を示す図である。
【図４】ダイジェストの各区間の動画像とそれらをつなぎ合わせた動画像とをそれぞれ別のファイルとして蓄積する例を示す図である。
【図５】代表画像作成部の処理フローチャートである。
【図６】代表画像作成部の処理フローチャートである。
【図７】撮影時刻算出処理のフローチャートである。
【図８】静止画像ファイル名取得処理（その１）のフローチャートである。
【図９】静止画像ファイル名取得処理（その２）のフローチャートである。
【図１０】プリントの例を示す図である。
【発明を実施するための形態】
【００２４】
図１は，本発明の概要を示す構成図である。図１において，１はＣＰＵおよびメモリ等を備えるコンピュータによって構成されるビデオ画像プリント装置である。２はデジタルカメラやデジタルビデオカメラ等のカメラ，３はビデオ画像プリント装置１による紙面への出力結果，４はバーコードリーダ付き携帯電話を表す。なお，図１には，本発明によるシステムの利用者が使用するカメラ２，携帯電話４なども記載してあるが，これらは本発明に必須の構成要素ではない。
【００２５】
以下では，本発明が，主にコンピュータを利用して，専用のソフトウェアプログラムにより実現される例に従って，実施の形態を説明をする。
【００２６】
ビデオ画像プリント装置１は，動画像データを記憶する動画像データ記憶部１０，静止画像データを記憶する静止画像データ記憶部１１，動画像および静止画像の付加情報を記憶する付加情報データ記憶部１２，付加情報の検索と静止画像データの検索が可能なデータ検索部１３，動画像のダイジェストを作成するダイジェスト作成部１４，元の動画像データからダイジェスト作成に使用した区間情報を用いてダイジェストを代表するにふさわしい静止画像データを取得する代表画像作成部１５，作成したダイジェスト動画像データを通信回線を通じてアクセス可能となるよう蓄積するダイジェスト蓄積部１６，蓄積されたダイジェスト動画像データを記憶するダイジェストデータ記憶部１７，代表静止画像データとダイジェスト動画像データのアクセス先を記したデータを，共にプリントするプリント部１８を備える。
【００２７】
近年，一般にデジタルカメラやデジタルビデオカメラとして市販されているカメラ２は，静止画像の撮影を主としているか，動画像の撮影を主としているかにより呼称が変わるが，実際には静止画像も動画像も撮影できる機能を備えている。なお，静止画像データのほうが，動画像データに比べて，高精細に撮影できることが一般的である。撮影された静止画像や動画像データは，メモリカードやディスク装置に蓄積される。
【００２８】
ここでは，撮影した１シーンごとの動画像データをＭＰＥＧファイルとして，撮影した静止画像をＪＰＥＧファイルとしてメモリカードに保存するデジタルカメラによる撮影画像データを使用した実施例について述べる。この場合，撮影時刻は，これらのファイルのタイムスタンプとして，ビデオ画像プリント装置１を構成するコンピュータ上のプログラムが取得することができる。つまり，ＭＰＥＧファイル（動画像データ）については，ファイルの作成時刻が動画像の撮影を開始した日時を示し，ファイルの最終更新時刻が動画像の撮影を終了した日時を示すものと考えられ，ＪＰＥＧファイル（静止画像ファイル）については，この２つは通常同じ時刻を指しており，それがその静止画像を撮影した日時を示すと考えられる。
【００２９】
このような撮影画像データを用いた場合の例で説明すると，データ検索部１３は，まず，メモリカード等からデータがビデオ画像プリント装置１に取り込まれた際に，前処理として，入力データを図２に示すようなファイルと検索用の表データに変換する。すなわち，ＭＰＥＧデータに関しては，図２（Ａ）に示すような複数の動画像を，図２（Ｂ）に示すような１本の動画像となるように時間順に結合し，１つのＭＰＥＧファイル（ファイル名：Ｍａｌｌ．ｍｐｇ）に変換するとともに，元のＭＰＥＧファイルのタイムスタンプから，図２（Ｂ）に示すような各シーンごとの実際の撮影時刻を検索できる動画像付加情報１２１の表データを作成する。ＪＰＥＧデータに関しては，そのままコピーするとともに，そのタイムスタンプから，図２（Ｂ）に示すような各静止画像データごとの実際の撮影時刻を検索できる静止画像付加情報１２２の表データを作成する。
【００３０】
このような表データを作成することにより，動画像データの各シーンに対する付加情報として撮影時刻情報を検索する機能を提供することや，指定した時刻に最も近い撮影時刻データをもつ静止画像データを検索することや，指定した時刻と指定した閾値秒数の範囲内に入っている静止画像データを検索するといった付加情報検索機能は，容易に実現することができる。
【００３１】
また，別の実施形態としては，特許文献２（位置測定機構付撮像装置）に記載のような技術を利用することも可能である。このようなカメラについては，動画像データや静止画像データに関しては，上記の例と同じように取得できるものとし，それに付加して，ＪＰＥＧファイル（静止画像データ）についてはその撮影位置を示す緯度経度，ＭＰＥＧファイル（動画像データ）についてはその動画像を撮影している間の十分な頻度での緯度経度を取得できる。
【００３２】
このようなカメラからのデータに関しては，やはり，データ検索部１３が前処理として前述したような処理を行うとともに，位置情報を変換することによって，図３に示すような付加情報の表を作成することが可能である。すなわち，図３（Ａ）に示す動画像付加情報１２１に対して，さらに図３（Ｂ）のような位置情報付きの動画像付加情報１２１′の表を作成することができる。また，図３（Ｃ）のような位置情報付きの静止画像付加情報１２２′の表を作成することができる。この場合，前述したような機能に加えて，動画像データの各シーンに対する位置情報や，指定した範囲内に含まれる位置情報をもつ静止画像データを検索するといった付加情報検索機能を容易に実現することができる。
【００３３】
ダイジェスト作成部１４については，例えば特許文献３に記載の方法を使うことで実施できる。すなわち，取得された（上記の実施形態においては，結合された）ＭＰＥＧデータに対して，特許文献３に記載のプログラムを使用することにより，自動的にいくつかのダイジェストシーン区間を抽出し，それらをつなぎ合わせたダイジェスト映像を作成することが可能である。なお，特許文献３に記載の方法では，処理途中で，動画像データのどの区間のデータをつなぎ合わせたかが分かっているので，その区間の情報（通常複数）について，後述する代表画像作成部１５が取得できるようにビデオ画像プリント装置１上ののメモリ域あるいは一時ファイルに書き込んでおくものとする。
【００３４】
ダイジェスト蓄積部１６については，一般に広く実施されているＷｅｂサーバを用いて実施できる。すなわち，作成されたダイジェスト動画像データを，Ｗｅｂサーバとして公開されるフォルダにファイル（ダイジェストデータ記憶部１７）として保存することで，携帯電話を含むインターネットの端末装置あるいはＷｅｂブラウザソフトウェアからは，ＵＲＬと呼ばれるアクセス先文字列を指定することにより，このダイジェストデータ記憶部１７に格納されたダイジェスト動画像データを再生して閲覧することが可能になる。
【００３５】
なお，ダイジェスト動画像を蓄積する際に，ダイジェスト作成部１４により抽出されたダイジェストシーンの各区間に対して，それぞれ１つの動画像ファイルとし，これらをつなぎ合わせた全体を１つの動画像ファイルとしたものと別個に蓄積するという実施形態は，好適である。
【００３６】
図４に，ダイジェストの各区間の動画像と，それらをつなぎ合わせた動画像とを，それぞれ別のファイルとして蓄積する例を示す。図４（Ａ）のように，元の動画像データからダイジェストとしてＤ０１〜Ｄ０６の各区間の動画像が抽出された場合に，図４（Ｂ）に示すように，これらをそれぞれＤ０１．ｍｐｇ〜Ｄ０６．ｍｐｇの動画像ファイルとして別に格納するとともに，これらをつなぎ合わせた動画像ファイルを，Ｄａｌｌ．ｍｐｇとして格納する。こうすることにより，利用者は，ＵＲＬの使い分けによって，個別のダイジェスト区間にアクセスすることも，ダイジェスト全体にアクセスすることも可能となる。
【００３７】
さらに，一般に広く知られているＨＴＭＬの技術を利用し，単に動画像ファイルをＷｅｂサーバ上に置き，直接アクセスさせるのではなく，各動画像ファイルに対応したＨＴＭＬファイルで，内部に画像を埋め込む他，「前のダイジェストシーン」「次のダイジェストシーン」「全体のダイジェストシーン」などへのリンクをはったＨＴＭＬを準備して蓄積しておくことは，アクセスしてきた携帯電話やＷｅｂブラウザソフトウェアでのナビゲーションが可能になるという点で，好適である。
【００３８】
この場合，必要な蓄積容量が増えることになるが，一般的にダイジェストの作成では，元の映像の半分未満にするため，ダイジェストの各シーンごとの動画像ファイルとつなぎ合わせたファイルの両方を蓄積したとしても，元の動画像ファイルより小さくすることが可能である。さらに，一般にＨＴＭＬファイルは動画像ファイルに比べて非常に小さなサイズであるので，そのようなＨＴＭＬファイルを作成することも容量上の問題にはならない。
【００３９】
ダイジェスト蓄積部１６は，このようにして蓄積されたダイジェスト動画像データ（あるいはそれに対応したＨＴＭＬファイル）がどのようなＵＲＬでアクセス可能であるかについて，後述するプリント部１８が取得できるようにビデオ画像プリント装置１上のメモリ域あるいは一時ファイルに書き込んでおくものとする。
【００４０】
代表画像作成部１５については，図５あるいは図６の処理フロー（内部で，図７，図８，図９の処理を実行するサブルーチンを呼び出す）を実行するモジュールにより実施することができる。
【００４１】
まず，図５に従って，代表画像作成部１５が行う処理について説明する。代表画像作成部１５は，ダイジェスト作成部１４がダイジェスト作成に使用した複数の区間情報を取得する（ステップＳ１０）。取得した各区間の開始秒をｔs ，終了秒をｔe とし，各区間［ｔs ，ｔe ］ごとに，次のステップＳ１２〜Ｓ１５を繰り返す。
【００４２】
まず，後述する撮影時刻算出処理（図７参照）により，区間の開始秒ｔs ，終了秒ｔe を，それぞれ撮影時刻Ｔs ，Ｔe に変換する（ステップＳ１２）。続いて，撮影時刻Ｔs ，Ｔe を引数として，静止画像ファイル名取得処理（図８／図９参照）を行い，これらのサブルーチンのｒｅｔｕｒｎ値として，静止画像ファイル名Ｆを取得する（ステップＳ１３）。次に，静止画像ファイル名Ｆが得られなかったかどうか（Ｆがｎｕｌｌかどうか）を判定し（ステップＳ１４），得られなかった場合にはそのまま呼び出し元へ戻り，ファイル名Ｆが得られた場合には，区間［ｔs ，ｔe ］で選択された静止画像情報としてファイル名Ｆをプリント部１８に対して通知する（ステップＳ１５）。その後，呼び出し元へ戻る。
【００４３】
この図５の処理フローの場合には，ステップＳ１３の処理で静止画像が選択できなかった場合に，そのダイジェストシーンが後述するプリント部１８にてプリントされなくなる。そこで，この点を改良した代表画像作成部１５の処理が，図６に示す処理フローである。図６において，ステップＳ１０からＳ１５までの処理は，図５に示すフローと同じである。図６の処理フローの場合には，ステップＳ１４の判定でファイル名Ｆがｎｕｌｌのときに，ステップＳ１６によって代替する静止画像データを動画像データの中から切り出し，その静止画像のファイル名をＦとし，Ｆをプリント部１８に対して通知する。こうすることにより，後述するプリント部１８で，その代替された画像がプリントされるようになる。
【００４４】
代替する静止画像データの選択については，そのダイジェストシーンの先頭フレーム（Ｔs 秒のフレーム）の画像を使う方式，最終フレーム（Ｔe 秒のフレーム）の画像を使う方式，中間フレーム（（Ｔs + Ｔe ）／２秒のフレーム）を使う方式といったことで実施できる。あるいは，より好適な例として特許文献４の技術を利用し，区間［Ｔs ，Ｔe ］の動画像データ（特許文献４では同義で映像と記載されている）から，動物体が大きく写っている動物体アップフレームを抽出し，その抽出されたフレームの静止画像を切り出してくるという方式により実施することも可能である。
【００４５】
図７は，図５および図６のステップＳ１２で呼ばれる処理であり，引数で指定された秒数：ｔ（ｔs またはｔe ）の撮影時刻を算出する処理の流れを示している。秒数ｔが指定されると，まず，図３（Ａ）に示す動画像付加情報１２１から「シーン開始秒」≦ｔ＜「シーン終了秒」となるレコードを検索する（ステップＳ２０）。検索結果のレコードのシーン開始秒ｔs とシーン開始撮影時刻Ｔshotから，次式により撮影時刻Ｔを算出する（ステップＳ２１）。
【００４６】
撮影時刻Ｔ＝Ｔshot＋（ｔ−ｔs ）
図５あるいは図６の処理フローから呼び出される図８，図９の静止画像ファイル名取得処理については，図８において時間的な付加情報をもとにして，閾値処理と時間差に関する最小値処理を行う例を記載してあり，図９では，それに加えて位置的な付加情報をもとにして，閾値処理と時間差に関する最小値処理を行う例を記載している。この２例については，一般には，時間に関する閾値Ｄ１，Ｄ２について，Ｄ２＞Ｄ１とすることが可能であり，そうすることにより，本発明の利用者にとっては，「位置情報を利用する際は，時間的に大きな差がある静止画像であっても，位置的に近接したところで撮影された静止画像であることが保証されるので，代表画像として違和感なく鑑賞することができる」という効果がある。
【００４７】
図８に示す静止画像ファイル名取得処理（その１）は，以下のとおりである。まず，閾値Ｄ１として，図２に示す静止画像付加情報１２２から，
Ｔs −Ｄ１≦「撮影時刻」≦Ｔe ＋Ｄ１
を満たすレコードを求める（ステップＳ３０）。次に，検索レコード数に応じて，以下の処理を行う（ステップＳ３１）。
【００４８】
検索レコード数が０の場合，ｒｅｔｕｒｎ値としてｎｕｌｌを設定し，呼び出し元へ戻る。検索レコード数が１の場合，そのレコードの「ファイル名」をＦに設定する（ステップＳ３２）。その後，Ｆをｒｅｔｕｒｎ値として呼び出し元へ戻る。検索レコード数が２以上の場合，検索レコード内の「撮影時刻」とＴs ，Ｔe との大小関係により，まずｄｉｆｆを次のように算出する。
・「撮影時刻」＜Ｔs のとき・・・・・・ｄｉｆｆ＝Ｔs −「撮影時刻」
・Ｔs ≦「撮影時刻」≦Ｔe のとき・・・ｄｉｆｆ＝０
・Ｔe ＜「撮影時刻」のとき・・・・・・ｄｉｆｆ＝「撮影時刻」−Ｔe
こうして求めたｄｉｆｆの値が最小となるレコードを選択する（ステップＳ３３）。
【００４９】
選択したレコードの「ファイル名」をＦに設定する（ステップＳ３４）。その後，Ｆをｒｅｔｕｒｎ値として呼び出し元へ戻る。
【００５０】
図９に示す静止画像ファイル名取得処理（その２）は，以下のとおりである。まず，図３（Ｂ）に示す動画像付加情報（位置情報）１２１′からＴs に最も近い「フレーム秒」をもつレコードを検索し，その「緯度」「経度」を取得し，それぞれＳlat ，Ｓlon とする（ステップＳ４０）。
【００５１】
次に，時間閾値Ｄ２，緯度経度閾値Ｄlat ，Ｄlon として，図３（Ｃ）の静止画像付加情報（位置情報付き）１２２′から，
Ｔs −Ｄ２≦「撮影時刻」≦Ｔe ＋Ｄ２
Ｓlat −Ｄlat ≦「緯度」≦Ｓlat ＋Ｄlat
Ｓlon −Ｄlon ≦「経度」≦Ｓlon ＋Ｄlon
を満たすレコードを求める（ステップＳ４１）。
【００５２】
次に，検索レコード数に応じて，以下の処理を行う（ステップＳ４２）。検索レコード数が０の場合，ｒｅｔｕｒｎ値としてｎｕｌｌを設定し，呼び出し元へ戻る。検索レコード数が１の場合，そのレコードの「ファイル名」をＦに設定する（ステップＳ４３）。その後，Ｆをｒｅｔｕｒｎ値として呼び出し元へ戻る。検索レコード数が２以上の場合，（Ｓlat ，Ｓlon ）地点と，図３（Ｃ）の静止画像付加情報（位置情報付き）１２２′の「緯度経度」の地点との距離が，最小となるレコードを選択する（ステップＳ４４）。その選択したレコードの「ファイル名」をＦに設定する（ステップＳ４５）。その後，Ｆをｒｅｔｕｒｎ値として呼び出し元へ戻る。
【００５３】
なお，付加情報を利用して静止画像を選択する処理方法は，必ずしも図８，図９に示す処理に限定されるわけではなく，他の方法による応用も可能である。
【００５４】
プリント部１８に関しては，代表画像作成部１５から通知される区間［Ｔs ，Ｔe ］を代表する静止画像データと，ダイジェスト蓄積部１６によりメモリ域あるいは一時ファイルに書き込まれたその区間のダイジェスト動画像にアクセスするためのＵＲＬを取得して，図１０のようにプリントを行う。
【００５５】
図１０において，３はプリントによる紙面への出力結果，５１はプリントされた代表静止画像，５２はＵＲＬ，５３はバーコード，５４はバインダとじ穴を表す。図１０にバーコード５３として示すように，ＵＲＬ５２については，文字列を直接プリントするだけではなく，現在多くのカメラ（バーコードリーダ機能）付き携帯電話が判別可能なバーコード形式を付加してプリントしてもよい。さらに，図１０の例では，１区間分ごとに１ページの紙面にプリントし，元の動画像データ分プリントされた紙面をバインダ等で留めて冊子状にする例を示している。このような実施形態は，本発明の効果である鑑賞性の高いビデオプリントとしては好適であるが，このようなプリント方法に限定されることなく，本技術の応用は可能である。
【００５６】
一連の処理が終了した後は，必要がなければ，データ検索部１３により読み取られた元の動画像データや静止画像データ，およびデータ検索部１３の前処理で作成された表データを削除してもよい。このことにより，ディスク装置（ＨＤＤ）などの蓄積メディア容量をできるだけ増大化させないという課題に対しても効果がある。
【００５７】
以上のビデオ画像プリントの処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００５８】
１ ビデオ画像プリント装置
２ カメラ
３ 紙面への出力結果
４ バーコードリーダ付き携帯電話
１０ 動画像データ記憶部
１１ 静止画像データ記憶部
１２ 付加情報データ記憶部
１３ データ検索部
１４ ダイジェスト作成部
１５ 代表画像作成部
１６ ダイジェスト蓄積部
１７ ダイジェストデータ記憶部
１８ プリント部
【技術分野】
【０００１】
本発明は，ビデオカメラ等により撮影された動画像データおよび静止画像データを用いて，一覧性の高い紙面上への出力と，その出力をもとにした動画像データへのアクセスをサポートするシステムであって，特に，出力結果の鑑賞性の向上を可能とするシステムに関するものである。
【背景技術】
【０００２】
一般に動画像データの内容を確認するには，撮影された時間と同等の時間をかけ，ビデオデッキ，ＤＶＤプレーヤ，あるいは近年においてはパソコン等の再生装置を用いて再生する必要がある。また，動画像データの中の特定のシーンにアクセスするには，近年のＤＶＤやＭＰＥＧファイル等の再生においては，ビデオテープを巻き戻したり早送りしたりするといった物理的な操作に対する時間は削減されたものの，やはり時間をかけて再生する位置を探す必要がある。
【０００３】
このような課題に対する従来技術として，特許文献１の技術がある。すなわち，特許文献１では，動画像データをカット点検出やカメラワーク検出，音に関する時間的あるいは周波数特徴検出によって解析し，定めた条件に合致する画像データを紙面上に配置してプリントすることによって，動画像データの内容を簡単に短時間で把握できる技術を提供している。
【０００４】
さらに特許文献１では，同時に付属情報を付加してプリントすることにより，その付属情報をバーコードリーダなどで読み取ることで，簡単に当該動画像データのシーンへアクセスするための技術を提供している。
【０００５】
なお，本発明を実施する際に用いることができる要素技術の一例としては，特許文献２に，画像撮影のための撮像装置において，ＧＰＳ（Global Positioning System ）を利用して撮影場所の位置情報を取得し，その位置情報を画像情報と同期させて記録する技術が開示されている。
【０００６】
また，特許文献３には，同様に本発明を実施する際に用いることができる要素技術の一例として，ダイジェストシーンとして相応しい映像中のシーンを含み，かつ予め決められた時間内に収まるダイジェスト映像の作成を行う技術が開示されている。
【０００７】
また，特許文献４には，動物体が大きく写っている動物体アップフレームの映像時刻，および動物体のアップショットを精度よく検出するための技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３１０８５８５号公報
【特許文献２】特開平７−１２３３４８号公報
【特許文献３】特開２００６−１４８３９７号公報
【特許文献４】特開２００６−２４４０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら，特許文献１では，一覧性を重視して，解析したすべての結果に対し，動画像データから抽出した画像を配置しており，必ずしも出力結果の鑑賞性については考慮されていない。
【００１０】
一般に，動画像データから抽出される静止画像データは，画像解像度などの点において，品質に難点がある。特許文献１の実施例に記載されているように，より多くの画像データを限られた紙面上にプリントする場合には，解像度が低くても比較的問題にならないが，静止画像としての鑑賞性を高めるために，紙面上になるべく大きくプリントしようとすると，画質の粗さが目立ってしまう。
【００１１】
動画像データに関しても，通常，プロフェッショナルなカメラマンでない人が撮影した動画像データには，無意味に漫然と撮影したシーンが多く含まれているのが一般的であり，すべての動画像データを再生することは，鑑賞性が低くなってしまう。さらに，これらのデータをそのまま蓄積すると，ハードディスク装置（ＨＤＤ）などの蓄積メディア容量の観点からも問題となってしまう。
【００１２】
本発明は上記問題点の解決を図り，動画像のダイジェストを表す代表画像を紙媒体に印刷し，特にこの代表画像としてダイジェスト動画像の内容の把握が容易な解像度の高い鑑賞性に優れた画像を印刷できるようにし，かつその出力結果の紙面から簡易に動画像データのダイジェストへアクセスできるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために，本発明では，元の動画像データからダイジェストを作成し，サーバへアップロードしておき，さらに紙面への出力に使用する画像データとしては，可能な限り同じ時期あるいは同じ場所で撮影した静止画像データを利用する。
【００１４】
詳しくは，本発明は，動画像データを記憶する動画像データ記憶手段と，前記動画像データの撮影対象が撮影されている複数の静止画像データを記憶する静止画像データ記憶手段と，前記動画像データ記憶手段に記憶されている動画像データおよび前記静止画像データ記憶手段に記憶されている静止画像データの撮影時刻を含む付加情報を記憶する付加情報データ記憶手段と，前記動画像データ記憶手段に記憶されている動画像データから動画像の特徴量を算出し，算出された特徴量をもとに前記動画像データの特徴的な区間を単数または複数抜き出し，それらをつなぎ合わせることによってダイジェスト動画像データを作成するダイジェスト作成手段と，前記ダイジェスト動画像データを，通信回線を通じてアクセス可能なアクセス先を記したデータに対応付けられる位置に蓄積するダイジェスト蓄積手段と，前記付加情報記憶手段から読み出した付加情報データと前記ダイジェスト作成手段から得た動画像のダイジェスト作成に使用した区間情報とをもとに，前記ダイジェスト作成に使用した区間に関する動画像データの付加情報と，前記静止画像データの付加情報とを比較し，予め定められた比較結果の条件によりダイジェストを代表する静止画像データを選択して代表静止画像データとする代表画像作成手段と，前記代表画像作成手段により作成された代表静止画像データと，前記ダイジェスト蓄積手段により蓄積されているダイジェスト動画像データのアクセス先を記したデータを，共にプリントするプリント手段とを備えることを特徴とする。
【００１５】
動画像のダイジェストを表す代表画像を紙媒体に印刷する際に，動画像は一般に解像度か低いことから，本発明では同じ撮影対象を撮影した静止画像を利用する。これにより，ダイジェストの内容の把握が容易な鑑賞性の高いプリント結果を得ることができる。
【００１６】
また，上記発明において，前記代表画像作成手段が，前記比較結果の条件に該当する静止画像データが存在しない場合に，前記動画像データの中から一つのフレーム画像を選択して代表静止画像データとする手段を備えることを特徴とする。これにより，所定の条件に合致する適切な静止画像データがない場合でも，動画像のダイジェストシーンを代表する画像のプリントが可能になる。
【００１７】
また，上記発明において，前記プリント手段が，前記アクセス先を記したデータをバーコードに変換し，前記バーコードのみまたは前記バーコードと共に前記アクセス先を記したデータの文字列を，前記代表静止画像データと共にプリントする手段を備えることを特徴とする。これにより，カメラ等を搭載するバーコードリーダ付き携帯端末等からダイジェスト動画像データへのアクセスを簡易に行うことが可能になる。
【００１８】
また，上記発明において，前記代表画像作成手段が静止画像データの選択に用いる前記比較結果の条件は，前記動画像データの特定のシーンの撮影時刻と前記静止画像データの撮影時刻との差が最小であることもしくは予め定められた閾値より小さいこと，またはその両方を満たすという条件を含むことを特徴とする。代表画像として，ダイジェスト動画像の区間と近い撮影時刻の静止画像を選択することにより，ダイジェスト動画像の区間の内容を表す適切な静止画像をプリントすることが可能になる。
【００１９】
さらに，上記発明において，前記付加情報記憶手段に記憶される付加情報は，前記動画像データ記憶手段に記憶されている動画像データの撮影位置情報および前記静止画像データ記憶手段に記憶されている静止画像データの撮影位置情報を含み，前記代表画像作成手段が静止画像データの選択に用いる前記比較結果の条件は，前記動画像データの特定のシーンの撮影位置と前記静止画像データの撮影位置との差が最小であることもしくは予め定められた閾値より小さいこと，またはその両方を満たすという条件を含むことを特徴とする。これにより，ダイジェスト動画像の区間の内容を表すさらに適切な静止画像を代表画像として選択することができる。
【００２０】
また，上記発明において，前記ダイジェスト蓄積手段は，前記ダイジェスト作成手段が前記動画像データから抽出した特徴的な区間に対して，各区間ごとの動画像ファイルと，それらをつなぎ合わせた動画像ファイルとを，それぞれ別のアクセス先を記したデータに対応付けられるように個別に蓄積することを特徴とする。これにより，ダイジェスト動画像データを参照する利用者は，個別のダイジェスト区間にアクセスすることも，またダイジェスト全体にアクセスすることも簡単にできるようになる。
【発明の効果】
【００２１】
本発明により，紙面への出力結果としての鑑賞性の向上を図りながら，簡易に紙面から動画像データのダイジェスト動画像へのアクセスを可能とすることができる。なお，紙面に出力された画像データは，必ずしもアクセスして再生できるダイジェスト動画像の１フレームとして存在していることはないが，時間的あるいは位置的に非常に関連の深い画像が選択されているため，利用者にとって違和感を感じさせなくする効果もある。
【００２２】
さらに，ダイジェストデータにすることにより，鑑賞性を落とすことなく，必要なメディア容量を削減できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の概要を示す構成図である。
【図２】画像データと付加情報の説明図である。
【図３】付加情報の例を示す図である。
【図４】ダイジェストの各区間の動画像とそれらをつなぎ合わせた動画像とをそれぞれ別のファイルとして蓄積する例を示す図である。
【図５】代表画像作成部の処理フローチャートである。
【図６】代表画像作成部の処理フローチャートである。
【図７】撮影時刻算出処理のフローチャートである。
【図８】静止画像ファイル名取得処理（その１）のフローチャートである。
【図９】静止画像ファイル名取得処理（その２）のフローチャートである。
【図１０】プリントの例を示す図である。
【発明を実施するための形態】
【００２４】
図１は，本発明の概要を示す構成図である。図１において，１はＣＰＵおよびメモリ等を備えるコンピュータによって構成されるビデオ画像プリント装置である。２はデジタルカメラやデジタルビデオカメラ等のカメラ，３はビデオ画像プリント装置１による紙面への出力結果，４はバーコードリーダ付き携帯電話を表す。なお，図１には，本発明によるシステムの利用者が使用するカメラ２，携帯電話４なども記載してあるが，これらは本発明に必須の構成要素ではない。
【００２５】
以下では，本発明が，主にコンピュータを利用して，専用のソフトウェアプログラムにより実現される例に従って，実施の形態を説明をする。
【００２６】
ビデオ画像プリント装置１は，動画像データを記憶する動画像データ記憶部１０，静止画像データを記憶する静止画像データ記憶部１１，動画像および静止画像の付加情報を記憶する付加情報データ記憶部１２，付加情報の検索と静止画像データの検索が可能なデータ検索部１３，動画像のダイジェストを作成するダイジェスト作成部１４，元の動画像データからダイジェスト作成に使用した区間情報を用いてダイジェストを代表するにふさわしい静止画像データを取得する代表画像作成部１５，作成したダイジェスト動画像データを通信回線を通じてアクセス可能となるよう蓄積するダイジェスト蓄積部１６，蓄積されたダイジェスト動画像データを記憶するダイジェストデータ記憶部１７，代表静止画像データとダイジェスト動画像データのアクセス先を記したデータを，共にプリントするプリント部１８を備える。
【００２７】
近年，一般にデジタルカメラやデジタルビデオカメラとして市販されているカメラ２は，静止画像の撮影を主としているか，動画像の撮影を主としているかにより呼称が変わるが，実際には静止画像も動画像も撮影できる機能を備えている。なお，静止画像データのほうが，動画像データに比べて，高精細に撮影できることが一般的である。撮影された静止画像や動画像データは，メモリカードやディスク装置に蓄積される。
【００２８】
ここでは，撮影した１シーンごとの動画像データをＭＰＥＧファイルとして，撮影した静止画像をＪＰＥＧファイルとしてメモリカードに保存するデジタルカメラによる撮影画像データを使用した実施例について述べる。この場合，撮影時刻は，これらのファイルのタイムスタンプとして，ビデオ画像プリント装置１を構成するコンピュータ上のプログラムが取得することができる。つまり，ＭＰＥＧファイル（動画像データ）については，ファイルの作成時刻が動画像の撮影を開始した日時を示し，ファイルの最終更新時刻が動画像の撮影を終了した日時を示すものと考えられ，ＪＰＥＧファイル（静止画像ファイル）については，この２つは通常同じ時刻を指しており，それがその静止画像を撮影した日時を示すと考えられる。
【００２９】
このような撮影画像データを用いた場合の例で説明すると，データ検索部１３は，まず，メモリカード等からデータがビデオ画像プリント装置１に取り込まれた際に，前処理として，入力データを図２に示すようなファイルと検索用の表データに変換する。すなわち，ＭＰＥＧデータに関しては，図２（Ａ）に示すような複数の動画像を，図２（Ｂ）に示すような１本の動画像となるように時間順に結合し，１つのＭＰＥＧファイル（ファイル名：Ｍａｌｌ．ｍｐｇ）に変換するとともに，元のＭＰＥＧファイルのタイムスタンプから，図２（Ｂ）に示すような各シーンごとの実際の撮影時刻を検索できる動画像付加情報１２１の表データを作成する。ＪＰＥＧデータに関しては，そのままコピーするとともに，そのタイムスタンプから，図２（Ｂ）に示すような各静止画像データごとの実際の撮影時刻を検索できる静止画像付加情報１２２の表データを作成する。
【００３０】
このような表データを作成することにより，動画像データの各シーンに対する付加情報として撮影時刻情報を検索する機能を提供することや，指定した時刻に最も近い撮影時刻データをもつ静止画像データを検索することや，指定した時刻と指定した閾値秒数の範囲内に入っている静止画像データを検索するといった付加情報検索機能は，容易に実現することができる。
【００３１】
また，別の実施形態としては，特許文献２（位置測定機構付撮像装置）に記載のような技術を利用することも可能である。このようなカメラについては，動画像データや静止画像データに関しては，上記の例と同じように取得できるものとし，それに付加して，ＪＰＥＧファイル（静止画像データ）についてはその撮影位置を示す緯度経度，ＭＰＥＧファイル（動画像データ）についてはその動画像を撮影している間の十分な頻度での緯度経度を取得できる。
【００３２】
このようなカメラからのデータに関しては，やはり，データ検索部１３が前処理として前述したような処理を行うとともに，位置情報を変換することによって，図３に示すような付加情報の表を作成することが可能である。すなわち，図３（Ａ）に示す動画像付加情報１２１に対して，さらに図３（Ｂ）のような位置情報付きの動画像付加情報１２１′の表を作成することができる。また，図３（Ｃ）のような位置情報付きの静止画像付加情報１２２′の表を作成することができる。この場合，前述したような機能に加えて，動画像データの各シーンに対する位置情報や，指定した範囲内に含まれる位置情報をもつ静止画像データを検索するといった付加情報検索機能を容易に実現することができる。
【００３３】
ダイジェスト作成部１４については，例えば特許文献３に記載の方法を使うことで実施できる。すなわち，取得された（上記の実施形態においては，結合された）ＭＰＥＧデータに対して，特許文献３に記載のプログラムを使用することにより，自動的にいくつかのダイジェストシーン区間を抽出し，それらをつなぎ合わせたダイジェスト映像を作成することが可能である。なお，特許文献３に記載の方法では，処理途中で，動画像データのどの区間のデータをつなぎ合わせたかが分かっているので，その区間の情報（通常複数）について，後述する代表画像作成部１５が取得できるようにビデオ画像プリント装置１上ののメモリ域あるいは一時ファイルに書き込んでおくものとする。
【００３４】
ダイジェスト蓄積部１６については，一般に広く実施されているＷｅｂサーバを用いて実施できる。すなわち，作成されたダイジェスト動画像データを，Ｗｅｂサーバとして公開されるフォルダにファイル（ダイジェストデータ記憶部１７）として保存することで，携帯電話を含むインターネットの端末装置あるいはＷｅｂブラウザソフトウェアからは，ＵＲＬと呼ばれるアクセス先文字列を指定することにより，このダイジェストデータ記憶部１７に格納されたダイジェスト動画像データを再生して閲覧することが可能になる。
【００３５】
なお，ダイジェスト動画像を蓄積する際に，ダイジェスト作成部１４により抽出されたダイジェストシーンの各区間に対して，それぞれ１つの動画像ファイルとし，これらをつなぎ合わせた全体を１つの動画像ファイルとしたものと別個に蓄積するという実施形態は，好適である。
【００３６】
図４に，ダイジェストの各区間の動画像と，それらをつなぎ合わせた動画像とを，それぞれ別のファイルとして蓄積する例を示す。図４（Ａ）のように，元の動画像データからダイジェストとしてＤ０１〜Ｄ０６の各区間の動画像が抽出された場合に，図４（Ｂ）に示すように，これらをそれぞれＤ０１．ｍｐｇ〜Ｄ０６．ｍｐｇの動画像ファイルとして別に格納するとともに，これらをつなぎ合わせた動画像ファイルを，Ｄａｌｌ．ｍｐｇとして格納する。こうすることにより，利用者は，ＵＲＬの使い分けによって，個別のダイジェスト区間にアクセスすることも，ダイジェスト全体にアクセスすることも可能となる。
【００３７】
さらに，一般に広く知られているＨＴＭＬの技術を利用し，単に動画像ファイルをＷｅｂサーバ上に置き，直接アクセスさせるのではなく，各動画像ファイルに対応したＨＴＭＬファイルで，内部に画像を埋め込む他，「前のダイジェストシーン」「次のダイジェストシーン」「全体のダイジェストシーン」などへのリンクをはったＨＴＭＬを準備して蓄積しておくことは，アクセスしてきた携帯電話やＷｅｂブラウザソフトウェアでのナビゲーションが可能になるという点で，好適である。
【００３８】
この場合，必要な蓄積容量が増えることになるが，一般的にダイジェストの作成では，元の映像の半分未満にするため，ダイジェストの各シーンごとの動画像ファイルとつなぎ合わせたファイルの両方を蓄積したとしても，元の動画像ファイルより小さくすることが可能である。さらに，一般にＨＴＭＬファイルは動画像ファイルに比べて非常に小さなサイズであるので，そのようなＨＴＭＬファイルを作成することも容量上の問題にはならない。
【００３９】
ダイジェスト蓄積部１６は，このようにして蓄積されたダイジェスト動画像データ（あるいはそれに対応したＨＴＭＬファイル）がどのようなＵＲＬでアクセス可能であるかについて，後述するプリント部１８が取得できるようにビデオ画像プリント装置１上のメモリ域あるいは一時ファイルに書き込んでおくものとする。
【００４０】
代表画像作成部１５については，図５あるいは図６の処理フロー（内部で，図７，図８，図９の処理を実行するサブルーチンを呼び出す）を実行するモジュールにより実施することができる。
【００４１】
まず，図５に従って，代表画像作成部１５が行う処理について説明する。代表画像作成部１５は，ダイジェスト作成部１４がダイジェスト作成に使用した複数の区間情報を取得する（ステップＳ１０）。取得した各区間の開始秒をｔs ，終了秒をｔe とし，各区間［ｔs ，ｔe ］ごとに，次のステップＳ１２〜Ｓ１５を繰り返す。
【００４２】
まず，後述する撮影時刻算出処理（図７参照）により，区間の開始秒ｔs ，終了秒ｔe を，それぞれ撮影時刻Ｔs ，Ｔe に変換する（ステップＳ１２）。続いて，撮影時刻Ｔs ，Ｔe を引数として，静止画像ファイル名取得処理（図８／図９参照）を行い，これらのサブルーチンのｒｅｔｕｒｎ値として，静止画像ファイル名Ｆを取得する（ステップＳ１３）。次に，静止画像ファイル名Ｆが得られなかったかどうか（Ｆがｎｕｌｌかどうか）を判定し（ステップＳ１４），得られなかった場合にはそのまま呼び出し元へ戻り，ファイル名Ｆが得られた場合には，区間［ｔs ，ｔe ］で選択された静止画像情報としてファイル名Ｆをプリント部１８に対して通知する（ステップＳ１５）。その後，呼び出し元へ戻る。
【００４３】
この図５の処理フローの場合には，ステップＳ１３の処理で静止画像が選択できなかった場合に，そのダイジェストシーンが後述するプリント部１８にてプリントされなくなる。そこで，この点を改良した代表画像作成部１５の処理が，図６に示す処理フローである。図６において，ステップＳ１０からＳ１５までの処理は，図５に示すフローと同じである。図６の処理フローの場合には，ステップＳ１４の判定でファイル名Ｆがｎｕｌｌのときに，ステップＳ１６によって代替する静止画像データを動画像データの中から切り出し，その静止画像のファイル名をＦとし，Ｆをプリント部１８に対して通知する。こうすることにより，後述するプリント部１８で，その代替された画像がプリントされるようになる。
【００４４】
代替する静止画像データの選択については，そのダイジェストシーンの先頭フレーム（Ｔs 秒のフレーム）の画像を使う方式，最終フレーム（Ｔe 秒のフレーム）の画像を使う方式，中間フレーム（（Ｔs + Ｔe ）／２秒のフレーム）を使う方式といったことで実施できる。あるいは，より好適な例として特許文献４の技術を利用し，区間［Ｔs ，Ｔe ］の動画像データ（特許文献４では同義で映像と記載されている）から，動物体が大きく写っている動物体アップフレームを抽出し，その抽出されたフレームの静止画像を切り出してくるという方式により実施することも可能である。
【００４５】
図７は，図５および図６のステップＳ１２で呼ばれる処理であり，引数で指定された秒数：ｔ（ｔs またはｔe ）の撮影時刻を算出する処理の流れを示している。秒数ｔが指定されると，まず，図３（Ａ）に示す動画像付加情報１２１から「シーン開始秒」≦ｔ＜「シーン終了秒」となるレコードを検索する（ステップＳ２０）。検索結果のレコードのシーン開始秒ｔs とシーン開始撮影時刻Ｔshotから，次式により撮影時刻Ｔを算出する（ステップＳ２１）。
【００４６】
撮影時刻Ｔ＝Ｔshot＋（ｔ−ｔs ）
図５あるいは図６の処理フローから呼び出される図８，図９の静止画像ファイル名取得処理については，図８において時間的な付加情報をもとにして，閾値処理と時間差に関する最小値処理を行う例を記載してあり，図９では，それに加えて位置的な付加情報をもとにして，閾値処理と時間差に関する最小値処理を行う例を記載している。この２例については，一般には，時間に関する閾値Ｄ１，Ｄ２について，Ｄ２＞Ｄ１とすることが可能であり，そうすることにより，本発明の利用者にとっては，「位置情報を利用する際は，時間的に大きな差がある静止画像であっても，位置的に近接したところで撮影された静止画像であることが保証されるので，代表画像として違和感なく鑑賞することができる」という効果がある。
【００４７】
図８に示す静止画像ファイル名取得処理（その１）は，以下のとおりである。まず，閾値Ｄ１として，図２に示す静止画像付加情報１２２から，
Ｔs −Ｄ１≦「撮影時刻」≦Ｔe ＋Ｄ１
を満たすレコードを求める（ステップＳ３０）。次に，検索レコード数に応じて，以下の処理を行う（ステップＳ３１）。
【００４８】
検索レコード数が０の場合，ｒｅｔｕｒｎ値としてｎｕｌｌを設定し，呼び出し元へ戻る。検索レコード数が１の場合，そのレコードの「ファイル名」をＦに設定する（ステップＳ３２）。その後，Ｆをｒｅｔｕｒｎ値として呼び出し元へ戻る。検索レコード数が２以上の場合，検索レコード内の「撮影時刻」とＴs ，Ｔe との大小関係により，まずｄｉｆｆを次のように算出する。
・「撮影時刻」＜Ｔs のとき・・・・・・ｄｉｆｆ＝Ｔs −「撮影時刻」
・Ｔs ≦「撮影時刻」≦Ｔe のとき・・・ｄｉｆｆ＝０
・Ｔe ＜「撮影時刻」のとき・・・・・・ｄｉｆｆ＝「撮影時刻」−Ｔe
こうして求めたｄｉｆｆの値が最小となるレコードを選択する（ステップＳ３３）。
【００４９】
選択したレコードの「ファイル名」をＦに設定する（ステップＳ３４）。その後，Ｆをｒｅｔｕｒｎ値として呼び出し元へ戻る。
【００５０】
図９に示す静止画像ファイル名取得処理（その２）は，以下のとおりである。まず，図３（Ｂ）に示す動画像付加情報（位置情報）１２１′からＴs に最も近い「フレーム秒」をもつレコードを検索し，その「緯度」「経度」を取得し，それぞれＳlat ，Ｓlon とする（ステップＳ４０）。
【００５１】
次に，時間閾値Ｄ２，緯度経度閾値Ｄlat ，Ｄlon として，図３（Ｃ）の静止画像付加情報（位置情報付き）１２２′から，
Ｔs −Ｄ２≦「撮影時刻」≦Ｔe ＋Ｄ２
Ｓlat −Ｄlat ≦「緯度」≦Ｓlat ＋Ｄlat
Ｓlon −Ｄlon ≦「経度」≦Ｓlon ＋Ｄlon
を満たすレコードを求める（ステップＳ４１）。
【００５２】
次に，検索レコード数に応じて，以下の処理を行う（ステップＳ４２）。検索レコード数が０の場合，ｒｅｔｕｒｎ値としてｎｕｌｌを設定し，呼び出し元へ戻る。検索レコード数が１の場合，そのレコードの「ファイル名」をＦに設定する（ステップＳ４３）。その後，Ｆをｒｅｔｕｒｎ値として呼び出し元へ戻る。検索レコード数が２以上の場合，（Ｓlat ，Ｓlon ）地点と，図３（Ｃ）の静止画像付加情報（位置情報付き）１２２′の「緯度経度」の地点との距離が，最小となるレコードを選択する（ステップＳ４４）。その選択したレコードの「ファイル名」をＦに設定する（ステップＳ４５）。その後，Ｆをｒｅｔｕｒｎ値として呼び出し元へ戻る。
【００５３】
なお，付加情報を利用して静止画像を選択する処理方法は，必ずしも図８，図９に示す処理に限定されるわけではなく，他の方法による応用も可能である。
【００５４】
プリント部１８に関しては，代表画像作成部１５から通知される区間［Ｔs ，Ｔe ］を代表する静止画像データと，ダイジェスト蓄積部１６によりメモリ域あるいは一時ファイルに書き込まれたその区間のダイジェスト動画像にアクセスするためのＵＲＬを取得して，図１０のようにプリントを行う。
【００５５】
図１０において，３はプリントによる紙面への出力結果，５１はプリントされた代表静止画像，５２はＵＲＬ，５３はバーコード，５４はバインダとじ穴を表す。図１０にバーコード５３として示すように，ＵＲＬ５２については，文字列を直接プリントするだけではなく，現在多くのカメラ（バーコードリーダ機能）付き携帯電話が判別可能なバーコード形式を付加してプリントしてもよい。さらに，図１０の例では，１区間分ごとに１ページの紙面にプリントし，元の動画像データ分プリントされた紙面をバインダ等で留めて冊子状にする例を示している。このような実施形態は，本発明の効果である鑑賞性の高いビデオプリントとしては好適であるが，このようなプリント方法に限定されることなく，本技術の応用は可能である。
【００５６】
一連の処理が終了した後は，必要がなければ，データ検索部１３により読み取られた元の動画像データや静止画像データ，およびデータ検索部１３の前処理で作成された表データを削除してもよい。このことにより，ディスク装置（ＨＤＤ）などの蓄積メディア容量をできるだけ増大化させないという課題に対しても効果がある。
【００５７】
以上のビデオ画像プリントの処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００５８】
１ ビデオ画像プリント装置
２ カメラ
３ 紙面への出力結果
４ バーコードリーダ付き携帯電話
１０ 動画像データ記憶部
１１ 静止画像データ記憶部
１２ 付加情報データ記憶部
１３ データ検索部
１４ ダイジェスト作成部
１５ 代表画像作成部
１６ ダイジェスト蓄積部
１７ ダイジェストデータ記憶部
１８ プリント部
【特許請求の範囲】
【請求項１】
動画像データを記憶する動画像データ記憶手段と，
前記動画像データの撮影対象が撮影されている複数の静止画像データを記憶する静止画像データ記憶手段と，
前記動画像データ記憶手段に記憶されている動画像データおよび前記静止画像データ記憶手段に記憶されている静止画像データの撮影時刻を含む付加情報を記憶する付加情報データ記憶手段と，
前記動画像データ記憶手段に記憶されている動画像データから動画像の特徴量を算出し，算出された特徴量をもとに前記動画像データの特徴的な区間を単数または複数抜き出し，それらをつなぎ合わせることによってダイジェスト動画像データを作成するダイジェスト作成手段と，
前記ダイジェスト動画像データを，通信回線を通じてアクセス可能なアクセス先を記したデータに対応付けられる位置に蓄積するダイジェスト蓄積手段と，
前記付加情報記憶手段から読み出した付加情報データと前記ダイジェスト作成手段から得た動画像のダイジェスト作成に使用した区間情報とをもとに，前記ダイジェスト作成に使用した区間に関する動画像データの付加情報と，前記静止画像データの付加情報とを比較し，予め定められた比較結果の条件によりダイジェストを代表する静止画像データを選択して代表静止画像データとする代表画像作成手段と，
前記代表画像作成手段により作成された代表静止画像データと，前記ダイジェスト蓄積手段により蓄積されているダイジェスト動画像データのアクセス先を記したデータを，共にプリントするプリント手段と，
を備えることを特徴とするビデオ画像プリント装置。
【請求項２】
請求項１に記載のビデオ画像プリント装置において，
前記代表画像作成手段が，前記比較結果の条件に該当する静止画像データが存在しない場合に，前記動画像データの中から一つのフレーム画像を選択して代表静止画像データとする手段を備える
ことを特徴とするビデオ画像プリント装置。
【請求項３】
請求項１または請求項２に記載のビデオ画像プリント装置において，
前記プリント手段が，前記アクセス先を記したデータをバーコードに変換し，前記バーコードのみまたは前記バーコードと共に前記アクセス先を記したデータの文字列を，前記代表静止画像データと共にプリントする手段を備える
ことを特徴とするビデオ画像プリント装置。
【請求項４】
請求項１，請求項２または請求項３に記載のビデオ画像プリント装置において，
前記代表画像作成手段が静止画像データの選択に用いる前記比較結果の条件は，前記動画像データの特定のシーンの撮影時刻と前記静止画像データの撮影時刻との差が最小であることもしくは予め定められた閾値より小さいこと，またはその両方を満たすという条件を含む
ことを特徴とするビデオ画像プリント装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載のビデオ画像プリント装置において，
前記付加情報記憶手段に記憶される付加情報は，前記動画像データ記憶手段に記憶されている動画像データの撮影位置情報および前記静止画像データ記憶手段に記憶されている静止画像データの撮影位置情報を含み，
前記代表画像作成手段が静止画像データの選択に用いる前記比較結果の条件は，前記動画像データの特定のシーンの撮影位置と前記静止画像データの撮影位置との差が最小であることもしくは予め定められた閾値より小さいこと，またはその両方を満たすという条件を含む
ことを特徴とするビデオ画像プリント装置。
【請求項６】
請求項１から請求項５までのいずれか１項に記載のビデオ画像プリント装置において，
前記ダイジェスト蓄積手段は，前記ダイジェスト作成手段が前記動画像データから抽出した特徴的な区間に対して，各区間ごとの動画像ファイルと，それらをつなぎ合わせた動画像ファイルとを，それぞれ別のアクセス先を記したデータに対応付けられるように個別に蓄積する
ことを特徴とするビデオ画像プリント装置。
【請求項７】
コンピュータを，請求項１から請求項６までのいずれか１項に記載のビデオ画像プリント装置が備える前記動画像データ記憶手段，前記静止画像データ記憶手段，前記付加情報データ記憶手段，前記ダイジェスト作成手段，前記ダイジェスト蓄積手段，前記代表画像作成手段，および前記プリント手段として機能させるためのビデオ画像プリントプログラム。
【請求項１】
動画像データを記憶する動画像データ記憶手段と，
前記動画像データの撮影対象が撮影されている複数の静止画像データを記憶する静止画像データ記憶手段と，
前記動画像データ記憶手段に記憶されている動画像データおよび前記静止画像データ記憶手段に記憶されている静止画像データの撮影時刻を含む付加情報を記憶する付加情報データ記憶手段と，
前記動画像データ記憶手段に記憶されている動画像データから動画像の特徴量を算出し，算出された特徴量をもとに前記動画像データの特徴的な区間を単数または複数抜き出し，それらをつなぎ合わせることによってダイジェスト動画像データを作成するダイジェスト作成手段と，
前記ダイジェスト動画像データを，通信回線を通じてアクセス可能なアクセス先を記したデータに対応付けられる位置に蓄積するダイジェスト蓄積手段と，
前記付加情報記憶手段から読み出した付加情報データと前記ダイジェスト作成手段から得た動画像のダイジェスト作成に使用した区間情報とをもとに，前記ダイジェスト作成に使用した区間に関する動画像データの付加情報と，前記静止画像データの付加情報とを比較し，予め定められた比較結果の条件によりダイジェストを代表する静止画像データを選択して代表静止画像データとする代表画像作成手段と，
前記代表画像作成手段により作成された代表静止画像データと，前記ダイジェスト蓄積手段により蓄積されているダイジェスト動画像データのアクセス先を記したデータを，共にプリントするプリント手段と，
を備えることを特徴とするビデオ画像プリント装置。
【請求項２】
請求項１に記載のビデオ画像プリント装置において，
前記代表画像作成手段が，前記比較結果の条件に該当する静止画像データが存在しない場合に，前記動画像データの中から一つのフレーム画像を選択して代表静止画像データとする手段を備える
ことを特徴とするビデオ画像プリント装置。
【請求項３】
請求項１または請求項２に記載のビデオ画像プリント装置において，
前記プリント手段が，前記アクセス先を記したデータをバーコードに変換し，前記バーコードのみまたは前記バーコードと共に前記アクセス先を記したデータの文字列を，前記代表静止画像データと共にプリントする手段を備える
ことを特徴とするビデオ画像プリント装置。
【請求項４】
請求項１，請求項２または請求項３に記載のビデオ画像プリント装置において，
前記代表画像作成手段が静止画像データの選択に用いる前記比較結果の条件は，前記動画像データの特定のシーンの撮影時刻と前記静止画像データの撮影時刻との差が最小であることもしくは予め定められた閾値より小さいこと，またはその両方を満たすという条件を含む
ことを特徴とするビデオ画像プリント装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載のビデオ画像プリント装置において，
前記付加情報記憶手段に記憶される付加情報は，前記動画像データ記憶手段に記憶されている動画像データの撮影位置情報および前記静止画像データ記憶手段に記憶されている静止画像データの撮影位置情報を含み，
前記代表画像作成手段が静止画像データの選択に用いる前記比較結果の条件は，前記動画像データの特定のシーンの撮影位置と前記静止画像データの撮影位置との差が最小であることもしくは予め定められた閾値より小さいこと，またはその両方を満たすという条件を含む
ことを特徴とするビデオ画像プリント装置。
【請求項６】
請求項１から請求項５までのいずれか１項に記載のビデオ画像プリント装置において，
前記ダイジェスト蓄積手段は，前記ダイジェスト作成手段が前記動画像データから抽出した特徴的な区間に対して，各区間ごとの動画像ファイルと，それらをつなぎ合わせた動画像ファイルとを，それぞれ別のアクセス先を記したデータに対応付けられるように個別に蓄積する
ことを特徴とするビデオ画像プリント装置。
【請求項７】
コンピュータを，請求項１から請求項６までのいずれか１項に記載のビデオ画像プリント装置が備える前記動画像データ記憶手段，前記静止画像データ記憶手段，前記付加情報データ記憶手段，前記ダイジェスト作成手段，前記ダイジェスト蓄積手段，前記代表画像作成手段，および前記プリント手段として機能させるためのビデオ画像プリントプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２５８４８７（Ｐ２０１０−２５８４８７Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０２５２７（Ｐ２００９−１０２５２７）
【出願日】平成２１年４月２１日（２００９．４．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２１日（２００９．４．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]