説明

ストレージ装置および携帯端末

【課題】
従来の技術では、映像データ等の変換予約通知機能はあったものの、コンテンツからユーザの所望する部分を抽出する機能を提供することは考慮されていなかった。
また、コンテンツ変換時に完了時間を最短にする技術では、必ずしもユーザ所望の部分を抽出した結果が得られないことがあった。
【解決手段】
本発明では、上述のような課題に対して、コンテンツに関する特徴点情報を活用し、ユーザ所望の内容を抽出、特徴点近傍のコンテンツは変換レート(変換時に必要な符号量)を上げ、その他は変換レートを下げ、全体の変換時間を調整しながら変換するようにする。また、ユーザが指定した情報をコンテンツ中に明示した形で提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ変換機能を有するストレージ装置および携帯端末に関する。
【背景技術】
【0002】
近年、映像データのデジタル化が進んだことや、ストレージ製品の価格も下がり、ユーザが手軽に映像データ等を保存するために必要なストレージ製品として、ビデオや写真、音楽データ等のコンテンツを保存するための装置を購入する機会も増えている。
【0003】
従来のストレージに関する装置は、ユーザがコンテンツの閲覧を支援する機能を有するものについて、以下に示すように提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−263532号公報
【特許文献2】特開2010−114755号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1の発明は、携帯機器で視聴するためのコンテンツを変換予約し、その完了を通知する機能を実現したものである。
【0006】
上記特許文献2の発明は、コンテンツ変換をコンテンツの特徴点情報や変換フォーマットを調整し最短時間で完了する機能を提案するものである。
【0007】
従来の技術では、映像データ等の変換予約通知機能はあったものの、コンテンツからユーザの所望する部分を抽出する機能を提供することは考慮されていなかった。
【0008】
また、コンテンツ変換時に完了時間を最短にする技術では、必ずしもユーザ所望の部分を抽出した結果が得られないことがあった。
【0009】
本発明の目的は、ストレージ装置および携帯端末の使い勝手を向上させることを目的とする。
【課題を解決するための手段】
【0010】
本発明では、例えばコンテンツに関する特徴点情報を活用し、ユーザ所望の内容を抽出、特徴点近傍のコンテンツは変換レート(変換時に必要な符号量)を上げ、その他は変換レートを下げ、全体の変換時間を調整しながら変換するようにする。また、ユーザが指定した情報をコンテンツ中に明示した形で提供する。
【発明の効果】
【0011】
本発明によれば、ストレージ装置および携帯端末の使い勝手を向上させることができる。
【図面の簡単な説明】
【0012】
【図1】実施方法を示したハードウェア接続構成図である。(実施例1)
【図2】本発明の実施例の機能説明図である。(実施例1)
【図3】実施方法を示したソフトウェア構成図である。(実施例1)
【図4】実施方法を示したDB(ファイル、顔情報)構成図である。(実施例1)
【図5】実施方法を示したDB(予約情報)構成図である。(実施例1)
【図6】コンテンツ変換予約処理を示した処理フロー図である。(実施例1)
【図7】コンテンツ変換予約処理を示した処理フロー図である。(実施例2)
【図8】コンテンツ変換時の情報重畳処理を示した処理フロー図である。(実施例3)
【図9】実施方法を示した映像変換仕様説明図(実施例1)
【図10】実施方法を示した携帯端末のハードウェア構成図(実施例1)
【発明を実施するための形態】
【0013】
以下、本発明の実施例を説明する。
【実施例1】
【0014】
図1は、実施方法を示したハードウェア接続構成図である。
【0015】
100は、本実施例における外付けストレージ装置(以下、ストレージ装置と記す)を示したものである。110は、本実施例における別の外付けストレージ装置を示したものであり、外付けストレージ装置110と同等の装置である。120は、モバイル端末であり、ユーザからのコマンド入力や画面表示などのUI(User Interface)機能と外部機器との通信機能を備えた携帯情報端末である。130は、パソコン(以下、PCと記す)であり、モバイル端末120と同様に、ユーザからのコマンド入力や画面表示などのUI機能と外部機器との通信機能を備えたコンピュータ端末である。140は、ネットワークであり、通信機能を備えた機器が接続される。ストレージ装置100は、NAS(Network Attached Storage)として、ネットワーク上に接続される利用形態で、ストレージ装置110は、パソコン130に接続した利用形態を示す。
【0016】
図1では、ストレージ装置およびモバイル端末120およびPC130が、ネットワーク140に接続されており、相互に通信が可能である。
【0017】
本実施例ではネットワーク140との接続をLAN(Local Area Network)に接続されているものとして説明し、PCとストレージ装置Bとの接続をUSB(Universal Serial Bus)で接続されているものとして説明するが、eSATA(external Serial ATA)やその他有線、無線を問わず汎用の接続経路であっても良い。
【0018】
図2は、本発明の実施例の機能説明図である。
【0019】
210は、モバイル端末120の操作画面を示す。ユーザはこの画面を見ながらコンテンツの選択、変換の方法等を選択する。
【0020】
220は、ストレージ装置100に格納された、元コンテンツ(オリジナルコンテンツ)を示し、230は、変換後のコンテンツを示す。
【0021】
231は、ユーザが指定した特徴情報として抽出された近傍のコンテンツを示し、コンテンツ長調整のため低画質に変換される可能性のある部分である。
【0022】
232は、ユーザが指定した特徴情報として抽出されたコンテンツで、ユーザが指定したコンテンツ長に合わせて可能な範囲で類似の映像を抽出し、また、高画質に変換される部分である。
【0023】
240は、モバイル端末120の操作画面210の表示例を示す。
【0024】
241は、特徴情報指定用のインタフェースを示す。
【0025】
242は、変換予約用のインタフェースを示す。
【0026】
243は、再生用のインタフェースを示す。変換完了したコンテンツや、後述のリアルタイムで変換しながらの再生を行う。
【0027】
244は、コンテンツ長を指定するインタフェースを示す。ここで、オリジナルのままの長さで変換するか、あるいは、ユーザ所望の長さを指定する。
【0028】
245は、関連特徴情報を指定するためのインタフェースを示す。対象となるコンテンツ特有の特徴情報を指定する。例えば、運動会コンテンツなら入退場のシーン、サッカーの試合ならゴールシーンなど、ストレージ装置が予めコンテンツの解析をして取得済みの情報から提示しても良いし、関連情報をインターネットで検索した結果を提示しても良い。
【0029】
図9は、本発明の実施例の機能で操作するコンテンツの扱いについての説明図である。
【0030】
250は、オリジナルのコンテンツ220と同じ再生長を維持しながら、ユーザ指定の特徴情報に該当する範囲を高画質にその他を低画質に変換してサイズをモバイル端末120で再生するための負荷軽減を行う。
【0031】
910は、ユーザ指定の特徴情報に該当するシーンの近傍の領域で、ユーザ指定長の範囲内に変換後のコンテンツが収まる場合は利用する領域の候補となるシーンを示す。ここは低画質に変換される領域である。
【0032】
911は、ユーザ指定の特徴情報に該当するシーンで、高画質に変換される。
【0033】
230は、前述の変換後のコンテンツ例で、ユーザ指定長がオリジナルより短い場合の例である。ユーザ指定長がオリジナルより長い場合、オリジナルの前あるいは後ろにダイジェストシーンとして付加して生成しても良い。
【0034】
260は、ユーザ指定の特徴情報に該当するシーンの再生画面例を示す。特徴情報に該当する名前や、画面内の位置が判別できるような重畳表示を行う。該当シーン近傍の場合、画面中のどの辺りからユーザ指定の特徴情報に該当する人、物等が現れるかといった情報を重畳して表示しても良い。
【0035】
図3は、実施方法を示したソフトウェア構成図である。
【0036】
300は、本実施例における外付けストレージ装置の処理範囲を示したものである。301は、本装置と接続されデータを送受信する外部装置を示す。301は、本実施例の装置と同様の装置でも良いし、PCあるいは、その他のストレージ装置でも良い。また、外部装置は携帯端末でもよく、接続先は、単数でも複数でも良い。
【0037】
302は、通信制御部を示し、外部装置とのデータの送受信制御を行う。本実施例ではLAN(Local Area Network)に接続されているものとして説明するが、USB(Universal Serial Bus)やその他汎用の接続経路であっても良い。
【0038】
303は、CPU制御部を示し、装置全体の各処理部を制御する。以降特に記載がない場合は、CPU制御部が処理を行うものとする。
【0039】
304は、DB(Data Base)操作部を示し、後述のストレージに格納されるDBの操作に関する処理を行う。
【0040】
305は、予約制御部を示し、外部装置との間でストレージに格納されるデータのコンテンツ変換予約の処理を行う。
【0041】
306は、コンテンツ制御部を示し、コンテンツ変換時にユーザ所望のコンテンツ切り出し、接合、別フォーマットへの変換を行うための制御を行う。
【0042】
307は、R/W制御部を示し、ストレージに格納される各種データを読み書きする制御を行う。
【0043】
308は、ストレージを示し、各種データを保存するための記録媒体である。
【0044】
DB操作部304がストレージ308内の情報を更新する際には必ずR/W制御部307経由で処理される。よって以降特に明記されない場合は、DBの更新は上記手順で行われるものとする。
【0045】
309は、映像変換部を示し、静止画データや、動画データから適当なフレーム(ここでは静止画と同様)を取り出し、情報の圧縮処理を行う。例えば、画像のリサイズ処理等を示す。
【0046】
310は、顔認識処理部を示し、コンテンツから顔が映っている箇所を特定し、その画像内の位置を抽出する処理を示す。本実施例では、顔認識処理としているが、認識に用いられる比較データとして認識したい物体に適したものを用いることで物体認識にも流用可能である。実施例説明のため顔認識を選択したが、前述の機能説明のような、コンテンツ特有の特徴認識処理や、シーンチェンジ、動体認識等と置き換えても良い。
【0047】
本実施例による装置で使用するDBの構成例を図4に示す。
【0048】
図に示したDBは、前述のDB操作部304にて使用される。
【0049】
401は、IDを管理する領域を示し、DBにて管理するデータの固有の番号である。新たに映像データが追加されると新たな番号が使用される。
【0050】
402は、ファイル名を管理する領域を示し、映像データがストレージ308に格納される際にユーザが指定するか、装置が決めたファイル名が設定され、このファイル名情報を管理する。
【0051】
403は、タグを管理する領域を示し、映像データが格納される装置が本体か否かに関する情報や、顔認識処理を実施された情報(図中の例では、FRと表記)、サムネイル画像(図中の例では、FACEやSCENEと表記)を格納する。
【0052】
404は、タグ付加情報を管理する領域を示し、映像データが格納されるタグに関する付加情報(例えば、検出した顔情報を特定するためのID等)が格納される。
【0053】
405は、時間情報を示し、タグ情報に関係するシーンの位置情報が格納される。
【0054】
次いで、特徴情報を管理するDBの構成例を示す。
【0055】
406は、タグIDを示し、タグ情報が例えば顔認識に関する内容の場合、顔認識結果の管理用のユニークなIDを示す。
【0056】
407は、ファイル名を示し、例えば顔認識に関する内容の場合、当該の顔が含まれるファイル名を格納する。
【0057】
408は、特徴情報を示し、例えば顔認識に関する内容の場合、検出に使用したテンプレート番号や、特徴量を示す情報を格納する。
【0058】
409は、名前タグ情報を示し、タグIDで管理される部品の名前情報を格納する。
【0059】
410は、座標、サイズ情報を示し、例えば顔認識に関する内容の場合、認識された顔のフレーム(画像)中の位置や、顔のサイズ情報を格納する。
【0060】
本実施例による装置で使用する予約機能にて使用するDBの構成例を図5に示す。
【0061】
図に示したDBは、前述のDB操作部304にて使用される。
【0062】
501は、予約IDを管理する領域を示し、DBにて管理する予約データ固有の番号である。新たに予約データが追加されると新たな番号が使用される。
【0063】
502は、ファイル名を管理する領域を示し、ユーザが予約設定対象として指定したコンテンツのオリジナルのファイル名を格納する。
【0064】
503は、変換後ファイル名を示し、ここではモバイル端末から変換後のコンテンツをアクセスするための仮想ファイル名を格納する。
【0065】
504は、付加情報を示し、ユーザが指定した特徴情報や、変換中の場合経過情報等を格納する。
【0066】
505は、時間情報を示し、ユーザが指定したコンテンツ長(再生時間)を格納する。
【0067】
本実施例による、ユーザがモバイル端末から予約したNASに格納されたコンテンツと、同じくユーザが指定した顔情報とコンテンツ長から、コンテンツ変換を実現する実施例1について、以下説明する。なお、モバイル端末でのコンテンツ指定等の操作や、顔認識アルゴリズム、映像のフォーマット変換アルゴリズムついては、既知の方式を採用するのでここでは説明しない。
【0068】
図6は、コンテンツ変換予約処理を示した処理フロー図である。
【0069】
特に記述がない場合、主に処理を司るのはCPU制御部303である。
【0070】
S101にて、通信制御部302とCPU制御部303にて、外部のユーザ端末からのコンテンツ変換に関わる情報を取得し、DB制御部304にてR/W制御部307経由でストレージ308に予約情報を格納する。以後、情報の格納については、特に記述がない場合は、ストレージに格納される情報については同様のルートにより格納あるいは取出しが行われるものとする。
【0071】
S102にて、CPU制御部303が、特徴情報の有無をチェックし、有る場合は後述の指定特徴部抽出処理を行い、無い場合は指定特徴部抽出処理を行わず後段の処理に移る。
【0072】
S103にて、CPU制御部303が、ストレージに格納されているユーザ指定の仮想コンテンツファイルのオリジナルコンテンツについて、DB検索しながら対象部分の特定を行う。ユーザ指定の特徴情報が画像そのものであった場合、顔認識処理部310にて特徴情報を抽出してこの情報を使用する。例えば、ユーザが顔を特徴情報として指定している場合、当該の顔が含まれている可能性のある部分は全て、すなわち特徴情報の類似度が高いものから低いものまで含めて候補として抽出する。
【0073】
S104にて、CPU制御部303が、コンテンツ再生時間(コンテンツ長)指定の有無をチェックし、有る場合は後述の変換調整処理を行い、無い場合は変換調整処理を行わず後段の処理へ移る。
【0074】
S105にて、CPU制御部303が、ユーザ指定のあるいはユーザの端末にあったコンテンツの変換方式を選択した上で、変換後のコンテンツがユーザ指定の長さに合うように調整する。コンテンツ長を見積もり計算し、もし、指定特徴抽出部分を全て含んで変換すると指定長を超える場合、指定特徴情報を元に、差異が大きいものから順次候補から解除しながらコンテンツ長調整し、収まったところで後段の処理に移る。フローに記載しないが、もし調整不可能な場合は通信制御部302でその旨ユーザ端末に通知する。
【0075】
S106にて、前述までで見積りされたコンテンツ変換内容にて変換予約される旨、通信制御部302でユーザ端末に通知する。
【0076】
S107にて、予約制御部305がDB操作部304経由で予約情報を更新する。
【0077】
以後、上述で確定した予約情報に基づき映像変換部309、コンテンツ制御部310にてコンテンツ変換処理がされる。完了後、予約制御部305経由通信制御部302でユーザ端末に通知する。その後、通信制御部302経由で変換後のコンテンツをユーザ端末へ送信する。
【0078】
なお、本実施例では、予約する場合に関して示したが、高性能CPUや、専用のコンテンツ変換LSI等を搭載している場合は、上述のフロー後リアルタイムにコンテンツ変換してユーザ端末へ送信することも可能である。
【0079】
上述により、ユーザが指定したコンテンツに関して、ユーザ所望の長さで視聴したいシーンを含む映像をユーザのモバイル端末で取得、視聴が可能となる。
【0080】
ここで、携帯端末の動作を図10により詳細に説明する。
【0081】
1000は、本実施例で対象の携帯端末を示し、以降特に記載ない場合は、コントローラ1004が携帯端末を構成する各ユニットの制御を行い、表示は表示部1007にて行い、音声の入出力はマイク1008とスピーカ1009にて行う。アンテナ1001、トランスミッタ1002、レシーバ1003からなる通信制御部を有し、ストレージ装置300と接続処理を行う。本携帯端末はユーザからの指定を入力するキー操作部1010を有しており、接続処理が完了したらキー操作部1010から入力されるユーザ指定のコンテンツ情報、コンテンツ長、特徴情報などをストレージ装置300に送信する。この送信処理は、図2で示したモバイル端末のGUIによって入力されても良い。送信された情報に基づき、上述のストレージ装置300が変換したデータを携帯端末は受信し、この変換されたデータの再生処理をシグナルプロセッサ1006にて行う。例えば、ユーザが120分のサッカーの試合をコンテンツ情報として指定し、特定の選手を特徴情報として指定する。また、ユーザがコンテンツ長として15分を指定した場合には、この情報も送られる。この場合、ストレージ装置300は、特定の選手の顔認識処理を行い、この選手の登場シーンを15分に変換する。なお、コンテンツの種類によっては、ユーザ指定の特徴情報以外の該コンテンツ特有の特徴情報、例えばサッカーの試合で言えば、ゴールシーンを含めて、変換されたデータとして携帯端末に送信しても良い。
【実施例2】
【0082】
本実施例による、ユーザがモバイル端末から予約したNASに格納されたコンテンツと、同じくユーザが指定した顔情報とコンテンツ長から、コンテンツ変換を実現する実施例2について、以下説明する。なお、実施例2は実施例1と共通部分が多いので、差分について以下記載する。
【0083】
図7は、コンテンツ変換予約処理を示した処理フロー図である。
【0084】
図7は、前述の実施例1のフロー図6との差分について記載する。
【0085】
特に記述がない場合、主に処理を司るのはCPU制御部303である。
【0086】
S201にて、ユーザ指定の変換後のコンテンツがVBR(Variable BitRate)をサポートの有無をチェックし、有る場合は後述の変換ビットレート配分処理を行い、無い場合は変換ビットレート配分処理を行わず後段の処理に移る。
【0087】
S202にて、前述の機能説明で記した通り、当該の特徴点を含む期間を高ビットレート(高画質)に設定し、その前後の映像では低ビットレート(低画質)に設定する。
【0088】
以降、実施例1と同様である。
【0089】
上述により、ユーザが指定したコンテンツに関して、ユーザ所望の長さで視聴したいシーンをより高画質な状態で含む映像をユーザのモバイル端末で取得、視聴が可能となる。
【実施例3】
【0090】
本実施例による、ユーザがモバイル端末から予約したNASに格納されたコンテンツと、同じくユーザが指定した顔情報とコンテンツ長から、コンテンツ変換を実現する実施例3について、以下説明する。なお、実施例3は実施例1、2と共通部分が多いので、差分について以下記載する。
【0091】
図8は、コンテンツ変換時の情報重畳処理を示した処理フロー図である。
【0092】
特に記述がない場合、主に処理はCPU制御部303がコンテンツ制御部306にて実施する。
【0093】
S301にて、コンテンツ変換処理にてユーザ指定の変換コンテンツを生成する際に、当該のフレーム位置で特徴情報を顔認識処理部310にて抽出、もしくは304DB制御部にて読み出し取得する。
【0094】
S302にて、当該のフレームでユーザ指定の特徴情報と合致あるいは類似する情報の有無をチェックし、有る場合は後述の特徴情報重畳処理を行い、無い場合は特徴情報重畳処理を行わず後段の処理に移る。
【0095】
S303にて、フレームに当該特徴情報領域に枠線等の情報を重ねてコンテンツ変換処理を続ける。なお、変換後のコンテンツのフォーマットがタグ情報付帯に対応している場合は、タグ情報として構成しても良い。
【0096】
上述により、ユーザが指定したコンテンツに関して、ユーザが指定した特徴情報を当該のシーンにて当該の箇所が確認できる状態で映像をユーザのモバイル端末で取得、視聴が可能となる。
【0097】
なお、上述の実施例は夫々組み合わせて実施も可能である。
【符号の説明】
【0098】
300・・・本実施例における外付けストレージ装置
301・・・外部装置
302・・・通信制御部
303・・・CPU制御部
304・・・DB(Data Base)操作部
305・・・予約制御部
306・・・コンテンツ制御部
307・・・R/W制御部
308・・・ストレージ
309・・・映像変換部
310・・・顔認識処理部

【特許請求の範囲】
【請求項1】
ネットワークに接続可能なストレージ装置であって、
ネットワークを介してデータを送受信する送受信部と、
コンテンツを格納するストレージと、
前記ストレージに格納されるコンテンツに含まれる映像データから、特定の映像に関連する映像データを抽出する認識処理部と、
前記認識処理部により抽出された映像データに基づき、格納されるコンテンツを変換する変換部と、
を有し、
前記変換部で変換されたデータを送信する、
ストレージ装置。
【請求項2】
請求項1記載のストレージ装置であって、
前記認識処理部は、ユーザにより指定される特徴情報に基づいて、前記ストレージに格納されるコンテンツに含まれる映像データから、特定情報に関連する映像データを抽出する、
ストレージ装置。
【請求項3】
請求項2記載のストレージ装置であって、
前記変換部は、ユーザからの変換予約を受付け、該受付けに基づいて格納されるコンテンツを変換する、
ストレージ装置。
【請求項4】
請求項3記載のストレージ装置であって、
前記ユーザからの変換予約を受付けた場合は、変換が完了した旨をユーザに送信する、
ストレージ装置。
【請求項5】
請求項2記載のストレージ装置であって、
前記変換部は、ユーザからの変換指示を受けた場合には、該指示に基づいて格納されるコンテンツをリアルタイムに変換する、
ストレージ装置。
【請求項6】
請求項2記載のストレージ装置であって、
前記変換部は、ユーザ指定の特徴情報と応じたシーンを、その他シーンに比して高画質で変換する、
ストレージ装置。
【請求項7】
請求項2記載のストレージ装置であって、
前記変換部は、ユーザ指定の特徴情報に応じた部分を明示した可能なフォーマットでコンテンツ変換する、
ストレージ装置。
【請求項8】
外部ストレージ装置に接続可能な携帯端末であって、
ユーザが、コンテンツ情報とコンテンツ長と特徴情報とを入力するキー操作部と、
前記キー操作部に入力された情報を外部ストレージ装置に送信する送信手段と、
前記ユーザが入力したコンテンツ情報とコンテンツ長と特徴情報とに関連する変換されたデータを受信する受信部と、
前記受信部が受信した変換されたデータを表示する表示部と、
を有する、
携帯端末。
【請求項9】
請求項8記載の携帯端末であって、
前記特徴情報は、顔または名前に関する情報である、
携帯端末。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−231349(P2012−231349A)
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願番号】特願2011−98943(P2011−98943)
【出願日】平成23年4月27日(2011.4.27)
【出願人】(509189444)日立コンシューマエレクトロニクス株式会社 (998)
【Fターム(参考)】