映像コンテンツ保管視聴システムおよび方法
【課題】映像コンテンツに対して自動的にコンテンツ単位又は/及びチャプター単位で映像分類情報を付加してユーザに提供すると共に、該映像分類情報を修正可能にする。
【解決手段】ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部11と、該映像規格変換部で変換された映像コンテンツに分類カテゴリを自動的に付与する分類カテゴリ付与部13と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部14と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部15と、受信された修正フィードバック情報を処理するフィードバック処理部17とからなる。フィードバック処理部17は、修正フィードバック情報の内容に応じて、映像分割部12、分類カテゴリ付与部13およびメタデータ作成部14の内の少なくとも一つに更新処理要求をする。
【解決手段】ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部11と、該映像規格変換部で変換された映像コンテンツに分類カテゴリを自動的に付与する分類カテゴリ付与部13と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部14と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部15と、受信された修正フィードバック情報を処理するフィードバック処理部17とからなる。フィードバック処理部17は、修正フィードバック情報の内容に応じて、映像分割部12、分類カテゴリ付与部13およびメタデータ作成部14の内の少なくとも一つに更新処理要求をする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像コンテンツ保管視聴システムおよび方法に関し、特に、ユーザが、デジカメ、ビデオカメラ等で撮影した静止画像または動画像に自動的にコンテンツ名、チャプター名等を付けて保管すると共に、該コンテンツ名、チャプター名等の付けられた映像をVoD(ビデオオンデマンド)でユーザに提供することのできる映像コンテンツ保管視聴システムおよび方法に関する。また、必要に応じて、ユーザが該コンテンツ名、チャプター名等を修正してフィードバックできる機能を備えた映像コンテンツ保管視聴システムおよび方法に関する。
【背景技術】
【0002】
下記の特許文献1には、次のような技術が開示されている。個人で撮影されたパーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に預け、ビデオコンテンツの保管・加工を依頼する。そしてその保管されたビデオコンテンツをブロードバンド系高速アクセス回線を経由して、保管依頼した人または関係者がパソコンもしくはテレビにて見たい時に見たい内容を自由に選択して視聴する。その保管依頼の際、ユーザは、住所等の顧客基本情報、コンテンツ加工に関する処理情報、文字でのディレクトリ情報を申込書に記入して依頼する。そうすると、該コンテンツ保管・加工業者は、前記パーソナルビデオ映像等をデジタル加工すると共に、該デジタル加工データに前記申込書に記載された情報を付加して保管する。また、ユーザが後にアクセスする際に必要となるID、パスワードが生成され、前記デジタル加工データと関連付けられて登録される。その後、該コンテンツ保管・加工業者は、ユーザから預かったコンテンツ媒体および生成されたIDとパスワードを、代理店、郵便局、運送会社などを通して依頼元ユーザへ引き渡すが、その際に、保管コンテンツへのアクセス方法についての詳細も告知される。
【0003】
この従来方式によれば、各個人のパーソナルビデオ映像がコンテンツ保管・加工業者に委託保管されるので、ビデオコンテンツの紛失を回避できると共に、ブロードバンドを経由して自宅にいながら見ることができる。また、ビデオコンテンツの内容にディレクトリ情報が埋め込まれているので、見たい場面をオンデマンド形式により自由に選択して視聴することができるようになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−266790号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前記した従来技術では、個人で撮影されたパーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に送る必要があるので時間と手間がかかるという課題、ユーザが文字でのディレクトリ情報を申込書に記入して依頼しなければならないので面倒であるという課題、コンテンツ保管・加工業者は該申込書に記入されたディレクトリ情報に基づいて手作業でコンテンツに入力する必要があるという課題および該ディレクトリ情報の修正については何ら配慮されていない課題等があった。
【0006】
本発明の目的は、前記した課題を解消し、個人で撮影されたパーソナルビデオ映像等のコンテンツに対して自動的にコンテンツ単位又は/及びチャプター単位で映像分類情報を付加して保管し、該保管されたコンテンツをVoD等でユーザに提供することのできる映像コンテンツ保管視聴システムおよび方法を提供することにある。また、他の目的は、自動的に付加された映像分類情報をユーザが修正してフィードバックできる映像コンテンツ保管視聴システムおよび方法を提供することにある。
【課題を解決するための手段】
【0007】
前記目的を達成するために、本発明は、ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、該映像規格変換部で変換された映像コンテンツに分類カテゴリを自動的に付与する分類カテゴリ付与部と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求する点に特徴がある。
【0008】
また、ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、該映像規格変換部で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部と、該分割部で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求する点に他の特徴がある。
【0009】
また、前記分類カテゴリ付与部は、前記映像区間の特徴量を抽出する映像特徴量抽出部と、映像の特徴量と分類カテゴリとの関連を記憶する特徴量データベースと、前記特徴量と前記特徴量データベースとを比較して、該特徴量データベース中の類似する特徴量の分類カテゴリを該映像区間の分類カテゴリとする特徴量比較処理部とを含む点に他の特徴がある。
【0010】
また、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部は、前記更新処理要求を受けると、前記修正フィードバック情報に従って、映像区間、分類カテゴリまたはメタデータを修正する点に他の特徴がある。
【発明の効果】
【0011】
本発明によれば、ユーザのビデオカメラやデジカメなどで撮影された動画像または静止画像に対して、自動的にタイトルおよび映像区間の分類カテゴリを付与し、ユーザに提供することができるという効果がある。また、ユーザは、自動的に付与されたタイトルおよび映像区間の分類カテゴリを修正することができるので、自分の映像コンテンツに満足のいくタイトルや分類カテゴリを付けることができる。
【0012】
また、修正情報は、映像分割部、分類カテゴリ付与部またはメタデータ作成部の更新処理に反映されるので、これらの処理精度が高められていくという効果、つまり学習効果がある。
【0013】
また、ユーザは、自分が撮影した映像コンテンツをネットワークを介してVoDプラットフォームに送信するだけで、自動的にタイトルおよび映像区間の分類カテゴリが付与され、コンテンツ保存部に保存されるので、従来方式のようなユーザが文字でのディレクトリ情報を申込書に記入して依頼したり、パーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に送らなければならないといった面倒さは一切ないという効果がある。
【図面の簡単な説明】
【0014】
【図1】本発明が実施されるネットワーク環境の一例を示すブロック図である。
【図2】本発明の要部の構成を示すブロック図である。
【図3】本発明の一実施形態の構成を示すブロック図である。
【図4】図3のチャプター分割部からメタデータ作成部までの処理を説明するフローチャートである。
【図5】映像コンテンツのタイトル付与の説明図である。
【図6】EPG作成の説明図である。
【図7】図3のBML・HTML作成部と映像ファイル(TS)作成部の処理を説明するフローチャートである。
【図8】BML・HTML作成部で作成されたデータを表示した場合の表示例の概念図である。
【図9】図3のVoDコンテンツ保存部内に保存されるデータの概念図である。
【図10】VoD視聴装置でなされるフィードバック(修正)機能の概要を示すフローチャートである。
【図11】図3のフィードバック処理部の処理を示すフローチャートである。
【図12】個別データベースへの顔情報の登録画面の概念図である。
【発明を実施するための形態】
【0015】
以下に、図面を参照して本発明を詳細に説明する。図1は、本発明が実施されるネットワーク環境の一例の説明図である。
【0016】
撮像装置1はビデオカメラ、デジカメなどからなり、該撮像装置1で撮影されたユーザ個人等の映像データは、PC等の端末装置2を経由して、または直接にWiFi、WiMax等によりインターネット網3に送られる。インターネット網3に送られた映像データ又は映像コンテンツ(以下、映像コンテンツと呼ぶ)はサーバであるVoDプラットフォーム4に映像入力部から入力される。該VoDプラットフォーム4の構成は後で詳細に説明するが、前記映像入力部から受信した映像コンテンツをチャプター分けする機能、映像コンテンツ単位又は/及びチャプター単位で映像分類情報(メタデータ)を作成する機能、EPG(電子番組表)作成機能、映像ファイル作成機能、該映像ファイルを保管する機能、IDおよびパスワードを生成して該映像コンテンツに関連させる機能、VoD視聴要求のアクセスに対応する機能、フィードバック情報に対応する機能などを有している。
【0017】
VoDプラットフォーム4はVoD視聴装置6からインターネット網3又はVoDインフラ網5を介してアクセスされると、前記IDおよびパスワードを照合した上で要求された映像コンテンツを映像出力部からVoDインフラ網5を介してVoD視聴装置6へ送出する。VoD視聴装置6はテレビやSTB等からなり、ユーザは該VoD視聴装置6の映像面上に映出された映像コンテンツの映像分類情報を用いて、見たい映像コンテンツやチャプターを選択的に映出することにより、効率的にかつ自宅に居ながら楽しむことができる。また、VoDプラットフォーム4で自動的に付けられた前記映像分類情報に満足しない場合には、ユーザは好みの映像分類情報をVoDプラットフォーム4にフィードバックして、映像分類情報を修正することができる。また、VoDプラットフォーム4は、該フィードバック情報により前記チャプター分け機能および映像分類情報を作成する機能の精度が向上するように学習をすることができる。
【0018】
まず、図2を参照して、前記VoDプラットフォーム4の構成の要部を説明する。該VoDプラットフォーム4は、ネットワーク経由でアップロードされた映像コンテンツが静止画像であるか動画像であるかを判定する静止画・動画判定部10と、映像コンテンツを予め定められた映像規格に変換する映像規格変換部11と、該映像規格変換部11で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部12と、該分割部12で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部13と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部14と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部15と、該映像コンテンツの映像ファイルをユーザに送出する送出部16と、受信された修正フィードバック情報を処理するフィードバック処理部17とから構成される。前記静止画・動画判定部10で動画像と判定された場合には、映像規格変換部11は映像分割部12に接続され、一方静止画像と判定された場合には映像分割部12をスキップして分類カテゴリ部付与部13に接続される。前記フィードバック処理部17は、修正フィードバック情報の内容に応じて、前記映像分割部12、分類カテゴリ付与部13、または/およびメタデータ作成部14に更新処理要求をする。
【0019】
次に、前記VoDプラットフォーム4の構成の詳細を図3を参照して説明する。VoDプラットフォーム4は図示されているように、前記インターネット網3を介して送られてきた映像コンテンツが入力する映像入力部21、例えばDVフォーマットの映像や静止画のJEPG映像をMPEG2や非圧縮映像に変換する映像規格変換部22、該変換された映像をシーンやショットなどのチャプターに分割するチャプター分割部23を有する。映像入力部21は、映像コンテンツを受信すると共に静止画像であるか動画像であるかの判定をし、その判定信号で映像規格変換部22をチャプター分割部23へ接続するか該チャプター分割部23をスキップして映像特徴量抽出部24に接続するかの制御をする。静止画像の場合にはチャプター分割をする必要がないので、チャプター分割部23をスキップする。映像規格変換部22に、静止画が入力された場合には、複数の静止画を使用してスライドショー的な動画として、MPEG2や非圧縮映像に変換してもよい。
【0020】
VoDプラットフォーム4は、また、前記分割されたチャプターから特徴量を抽出する映像特徴量抽出部24、映像特徴量と映像分類情報(以下、分類カテゴリという)との対応データを格納する特徴量データベース(DB)25、前記映像特徴量抽出部24で抽出された映像特徴量と特徴量データDB25のデータとを比較する特徴量比較処理部26を有する。前記分類カテゴリ付与部13は、前記映像特徴量抽出部24、特徴量DB25および特徴量比較処理部26に相当する。該分類カテゴリ付与部13を構成する特徴量データDB25は、ニューラルネットワーク等を利用した知識ベースであって、分類カテゴリの付与を行うとともに、外部フィードバックによって学習可能なものであってもよい。ここに、前記特徴量DB25は、少なくとも個別データベースと一般データベースを有する。前記個別データベースには、ユーザの個人認識用データ、例えばユーザの家族の顔認識用データと名前とがリンクして格納され、前記一般データベースには、一般的な映像特徴量、例えば赤ちゃん、ハイハイ、歩き、水遊び、誕生日、保育園、運動会、遊園地などの一般的な事象認識用のデータが格納される。
【0021】
VoDプラットフォーム4は、また、前記特徴量比較処理部26での比較処理により取得された映像特徴量に適合する分類カテゴリにより前記チャプターのメタデータを作成するメタデータ作成部27、該チャプターのメタデータを総合して映像コンテンツのタイトルを作成し、該タイトルとチャプターのメタデータ等から電子番組表を作成するEPG(Electric Program Guide)作成部28、前記メタデータをBML(Broadcast Markup Language)またはHTMLで表すBML・HTML作成部29、チャプター分割部23よりの映像コンテンツと電子番組表とBML・HTMLで記述されたメタデータとで映像ファイルを作成する映像ファイル(TS;Transport stream)作成部30、該映像ファイルを格納するVoDコンテンツ保存部31および図1の映像出力部に相当するVoD送出部32を有する。
【0022】
該VoDプラットフォーム4は、さらに、図1のフィードバック情報入力部に相当するVoD受信部41を有し、該VoD受信部41は、ユーザからのVoD視聴要求とフィードバック情報とを識別し、VoD視聴要求であればVoDコンテンツ保存部31にVoD視聴要求を送り、一方フィードバック情報であれば該フィードバック情報をフィードバック処理部42に送る。
【0023】
VoDコンテンツ保存部31はVoD視聴要求を受けるとIDおよびパスワードの照合をした上で、ユーザから要求された映像ファイルを読み出し、VoD送出部32、VoDインフラ網5を介して、VoD視聴装置6に転送する。一方、フィードバック処理部42は、フィードバック情報の内容を分析し、フィードバック情報がチャプター分け修正情報であれば、チャプター分割部23に更新処理要求をし、メタデータの修正情報であれば、特徴量DB25とメタデータ作成部27に更新処理要求をする。なお、特徴量DB25の修正に関しては、前記個別データベースや一般データベースが修正される(学習機能)と共に、メタデータ作成部27で作成されたメタデータを修正する。
【0024】
前記チャプター分割部23は、基本的には、映像コンテンツの各フレーム間での映像変化量が時間的に予め定められた閾値以上の場合に該フレームをチャプター分け画面(又はカット画面又はシーンチェンジ画面)とし、該チャプター分け画面間の映像を映像特徴量抽出部24に出力する。なお、該チャプター分割部23は、例えば、電子情報通信学会秋期大会、D−264(1993)の「フィルタを用いた映像カット点検出」、電子情報通信学会秋期大会、D−501(1994)の「フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出」、特開平07−059108号公報、特開平09−083864号公報等に記載されている周知の技術を用いて、チャプター分けを行うことができる。チャプター分割部23は、前記閾値を修正する等して更新処理することができる。
【0025】
次に、前記映像特徴量抽出部24、特徴量比較処理部26およびメタデータ作成部27の動作を、図4のフローチャートを参照して説明する。以下では、前記チャプター分け画面間の映像を「チャプター映像」と呼ぶ。
【0026】
ステップS1では、映像特徴量抽出部24はチャプター映像から特徴量(映像の特徴となっている部分を定量化したもの)、例えば、動物体などの対象物の面積、周囲長、円形度、重心など及び/又は色特徴、顔特徴などを抽出する。該特徴量は、動物体に限らず、静止物体や背景画像の対象物からも抽出するのが好ましい。一例として、2007年3月15日 CQ出版株式会社発行「改訂版ディジタル画像処理の基礎と応用」の第60〜62頁に記されている方法を用いて前記特徴量を抽出することができる。ステップS2では、特徴量比較処理部26が、前記特徴量を特徴量DB25内の情報と比較(例えば、パターン認識)し、分類カテゴリ候補と分類度を取得する。分類カテゴリ候補の例としては、赤ちゃん、ハイハイ、歩き、誕生日などがあり、分類度の例は、0〜1までの値とすることができる。分類度は、例えば赤ちゃん、ハイハイ、歩き、誕生日などの映像が、特徴量DB25内の情報と比較し、その分類カテゴリ候補との一致度合いの値と、該分類カテゴリーが映っているフレーム数をチャプター映像のフレーム数で割り算することにより求めた値を掛けた値により表現することができる。また、該値に重み係数を掛けた値を分類度としてもよい。誕生日は大事な行事であるので、重み係数は大きくなる。また、前記チャプター映像に赤ちゃんの顔が映っている場合には、特徴量比較処理部26は特徴量DB25の個別データベースに予め登録されている顔情報にアクセスし、顔認識ができた場合にはこの顔情報とリンクしている名前を読み出し、該チャプター映像の分類カテゴリ候補のひとつとすることができる。
【0027】
ステップS3では、メタデータ作成部27がチャプター映像に対応したメタデータ(以下、チャプターメタと呼ぶ)を作成する。チャプターメタの例としては、対象ファイル名、チャプター画面の時刻情報、前記分類カテゴリ候補と分類度とからなる分類メタなどがある。また、他の分類カテゴリと合成したメタデータを生成することも可能である。例えば、はるかちゃんのハイハイとか、だいきくんの誕生日とかのメタデータとすると、より良好にチャプター映像を識別することができるようになる。図12に、個別データベースへの顔情報の登録画面の概念図を示す。ステップS4では、全てのチャプター映像に対して分類付けが行われたか否かの判断がなされ、否定の場合には、ステップS5に進んで、次のチャプター映像が映像特徴量抽出部24に送られる。そして、前記ステップS1〜S4の処理が繰り返される。
【0028】
その後、ステップS4の判断が肯定になると、ステップS6に進んで、メタデータ作成部27において全体の映像コンテンツについての分類カテゴリ候補(以下、タイトル候補と呼ぶ)を、演算により求める処理が行われる。この処理例を図5に示す。例えば各チャプター映像の始めから終わりまでの時間をTn(n=1,2,・・・)とし、各チャプター映像で得られた各分類カテゴリ候補の分類度をPni(i=1,2,・・・)とすると、Tn×Pniが一番大きい値の分類カテゴリをタイトルの第1候補、二番目に大きい値の分類カテゴリをタイトルの第2候補とする。図示の例では、ハイハイが第1候補、赤ちゃんが第2候補となる。他の処理例として、映像コンテンツ全体で、同じ分類カテゴリ候補のTn×Pniの和を求め、該和の値が一番大きい分類カテゴリをタイトルの第1候補、二番目に大きい値の分類カテゴリをタイトルの第2候補としてもよい。次に、ステップS7では、前記タイトル候補を、全体の映像コンテンツすなわち映像ファイル全体のメタ(以下、タイトルメタと呼ぶ)として登録する。
【0029】
次に、EPG作成部28は、図6に示されているように、前記タイトルメタと各チャプターメタを含むEPG(電子番組表)情報を作成する。例えば、タイトル:ハイハイ、内容:(0〜1分)赤ちゃん、ハイハイ、歩き、(1〜3分)ハイハイ、赤ちゃん、歩きといったEPG情報を作成する。
【0030】
次に、前記BML・HTML作成部29および映像ファイル作成部30の機能を図7を参照して説明する。
【0031】
ステップS11で、BML・HTML作成部29はタイトルメタおよびチャプターメタを利用して、BMLまたはHTMLデータを作成する。ステップS12では、全部のチャプター映像のチャプターメタに対して、BMLまたはHTMLデータを作成したかどうかの判断がなされ、該判断が否定の場合にはステップS11に戻って次のチャプター映像のBMLまたはHTMLデータを作成する。ステップS12の判断が肯定になると、ステップS13に進んで、前記映像ファイル作成部30は、前記BMLまたはHTMLデータと、前記EPGおよび映像コンテンツとを多重させ、映像ファイルを作成する。なお、該映像ファイルは、VoDコンテンツ保存部に送付され、メタデータ作成部27からVoDコンテンツ保存部に送付される前記タイトルメタおよびチャプターメタと関連付けられて保存される。前記タイトルメタおよびチャプターメタのBMLまたはHTMLデータは、後で詳述するタイトルや分類カテゴリを修正するのに使用されるデータであり、図8にVoD視聴装置6の修正画面の概念図を示す。分類カテゴリ候補は前記Tn×Pniの値の大きさ順にプルダウン方式にてユーザに選択可能に表示される。
【0032】
図9は、前記VoDコンテンツ保存部31に格納されるデータの概念図である。該VoDコンテンツ保存部31には、図示されているように、映像ファイル(映像、BML・HTMLデータ、EPG)31aとメタデータ31bとが関連付けられて格納される。該メタデータ31bは、主に、ユーザによるVoD視聴要求時の検索処理の際に用いられることができる。
【0033】
次に、図10を参照して、VoD視聴装置6でなされるフィードバック(修正)機能の概要を説明する。
【0034】
ステップS21では、ユーザがIDおよびパスワードを入力してVoD視聴の操作をする。ここでユーザは、視聴したい映像の検索をすることもできる。ステップS22では、視聴要求された映像ファイルがVoDコンテンツ保存部31から読み出され、VoD視聴装置6は該読み出された映像ファイルを受信する。ステップS23では、ユーザによって修正機能が選択されたか否かの判断がなされ、肯定の場合には、ステップS24に進み、各映像ファイルの代表チャプター映像(前記Tn×Pniが最大の映像)をタイトルメタと共に表示する。S24の右側の表示例では、赤ちゃん、ハイハイ、歩き、誕生日などが各映像ファイルのタイトルメタに相当し、A,B,C,D,E,Fなどが各映像ファイルの代表チャプター映像に相当する。この表示は、VoD視聴装置6の映像画面の一部の領域になされるのが好適である。以下に述べる表示についても同様である。
【0035】
ステップS25では、映像ファイルA〜Fの内のいずれか一つが選択されたか否かの判断がなされ、この判断が肯定の場合には、ステップS26に進んで、タイトル候補をプルダウン方式で表示する。S26の右側の表示例では、映像ファイルAが選択され、そのタイトル候補が赤ちゃん、ハイハイ、歩きの順にプルダウン方式で表示された例を示す。ステップS27では、タイトルの第1候補から他の候補への修正がなかったかどうかの判断がなされ、なかった場合にはステップS29に進み、あった場合にはステップS28で修正内容を前記VoDプラットフォーム4にフィードバックした後、再表示のためにステップS26に戻る。なお、該フィードバックを受けたVoDプラットフォーム4の動作は、図11を参照して後述する。
【0036】
ステップS29では、選択された映像コンテンツ内のチャプター映像を、対応する分類カテゴリ候補と共に表示する。S29の右の表示例では、前記チャプター映像がチャプター1,チャプター2の映像であり、それぞれに対応する分類カテゴリ候補が赤ちゃん、ハイハイ、歩き、誕生日などである。次いで、分類カテゴリの第1候補から他候補への修正がなかったかどうかの判断がなされ、なかった場合にはステップS32に進み、あった場合にはステップS31で修正内容を前記VoDプラットフォーム4にフィードバックした後再表示のためにステップS29に戻る。ステップS32では、チャプター分けの修正がなかったかどうかの判断がなされ、なかった場合にはステップS34に進み、あった場合にはステップS33で修正内容を前記VoDプラットフォーム4にフィードバックした後再表示のためにステップS29に戻る。ステップS34では、修正操作が終了したかどうかの判断がなされ、否定の場合にはステップS24に戻って、再度各映像ファイルの代表チャプター映像をタイトルと共に表示する。以下、前記したステップS24〜S34の処理が繰り返される。この繰り返しの結果、ステップS34の判断が肯定になると、修正処理は終了する。
【0037】
次に、前記フィードバック情報を受信したVoDプラットフォーム4の動作について図11を参照して説明する。前記フィードバック処理部42は、ステップS41でフィードバック(修正)情報を受信したか否かの判断をし、肯定の場合にはステップS42に進んで、修正内容がチャプター分けであるか否かの判断をする。この判断が肯定の場合にはステップS44に進んで、チャプター分割部23へ修正内容を通知する。そうすると、チャプター分割部23は、チャプター分けを修正すると共にチャプター分けに使用されるパラメータなどを更新してその精度を高めるように学習する。
【0038】
ステップS43では、修正内容が映像コンテンツのタイトル又はチャプターの分類カテゴリであるか否かの判断がなされる。この判断が肯定の場合にはステップS45に進んで特徴量DB25、メタデータ作成部27へ通知する。これにより、メタデータ作成部27は、タイトルメタ又はチャプターメタを修正する。また、特徴DB25の個人認識用データベースまたは一般データベースは更新され、メタデータ作成の精度を高めるように更新される。
【0039】
なお、フィードバック処理部42が更新処理要求を通知する際には、VoDコンテンツ保存部から、該当する映像コンテンツを得てチャプター分割部23に送付し、チャプター分割、映像特徴量抽出、特徴量比較、メタデータ作成、映像ファイル作成を再度行うことになる。また、フィードバック処理部42がVoDコンテンツ保存部から映像コンテンツを得る代わりに、別途、映像入力部21、映像規格変換部22、チャプター分割部23のどこかに、映像コンテンツを保存し必要時にオリジナルの映像ファイルを呼び出せるようなデータベースを設けて対処してもよい。
【0040】
本発明によれば、ユーザは自分で撮影した動画像や静止画像をネットを介してVoDプラットフォームに送信するだけで、自動的にタイトルや分類カテゴリが付けられた映像コンテンツをVoDコンテンツ保存部に保管することができる。そして、必要な時に、VoD受信要求をすれば、VoDコンテンツ保存部から自分の映像コンテンツを読み出してVoD視聴装置に再生して楽しむことができる。また、前記自動的に付けられたタイトルや分類カテゴリを自分の好みに合わせて修正することができるので、満足のいくタイトルや分類カテゴリの付いた映像コンテンツをVoDコンテンツ保存部に保存することができる。また、自分が撮影した映像をVoDコンテンツ保存部に保存、管理できるので、自分で映像コンテンツを管理するといった煩わしさや、映像コンテンツを紛失したりすることから開放される。
【0041】
以上、本発明を好ましい実施形態により説明したが、本発明の趣旨を逸脱しない範囲で、種々の変形ができることは明らかである。
【符号の説明】
【0042】
4・・・VoDプラットフォーム、6・・・VoD視聴装置、11、22・・・映像規格変換部、12・・・映像分割部、13・・・分類カテゴリ付与部、14、27・・・メタデータ作成部、15・・・コンテンツ保存部、16・・・送出部、17・・・フィードバック処理部、23・・・チャプター分割部、24・・・映像特徴量抽出部、25・・・特徴量DB、26・・・特徴量比較処理部、28・・・EPG作成部、29・・・BML・HTML作成部、30・・・映像ファイル(TS)作成部、31・・・VoDコンテンツ保存部、32・・・VoD送出部、41・・・VoD受信部、42・・・フィードバック処理部。
【技術分野】
【0001】
本発明は、映像コンテンツ保管視聴システムおよび方法に関し、特に、ユーザが、デジカメ、ビデオカメラ等で撮影した静止画像または動画像に自動的にコンテンツ名、チャプター名等を付けて保管すると共に、該コンテンツ名、チャプター名等の付けられた映像をVoD(ビデオオンデマンド)でユーザに提供することのできる映像コンテンツ保管視聴システムおよび方法に関する。また、必要に応じて、ユーザが該コンテンツ名、チャプター名等を修正してフィードバックできる機能を備えた映像コンテンツ保管視聴システムおよび方法に関する。
【背景技術】
【0002】
下記の特許文献1には、次のような技術が開示されている。個人で撮影されたパーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に預け、ビデオコンテンツの保管・加工を依頼する。そしてその保管されたビデオコンテンツをブロードバンド系高速アクセス回線を経由して、保管依頼した人または関係者がパソコンもしくはテレビにて見たい時に見たい内容を自由に選択して視聴する。その保管依頼の際、ユーザは、住所等の顧客基本情報、コンテンツ加工に関する処理情報、文字でのディレクトリ情報を申込書に記入して依頼する。そうすると、該コンテンツ保管・加工業者は、前記パーソナルビデオ映像等をデジタル加工すると共に、該デジタル加工データに前記申込書に記載された情報を付加して保管する。また、ユーザが後にアクセスする際に必要となるID、パスワードが生成され、前記デジタル加工データと関連付けられて登録される。その後、該コンテンツ保管・加工業者は、ユーザから預かったコンテンツ媒体および生成されたIDとパスワードを、代理店、郵便局、運送会社などを通して依頼元ユーザへ引き渡すが、その際に、保管コンテンツへのアクセス方法についての詳細も告知される。
【0003】
この従来方式によれば、各個人のパーソナルビデオ映像がコンテンツ保管・加工業者に委託保管されるので、ビデオコンテンツの紛失を回避できると共に、ブロードバンドを経由して自宅にいながら見ることができる。また、ビデオコンテンツの内容にディレクトリ情報が埋め込まれているので、見たい場面をオンデマンド形式により自由に選択して視聴することができるようになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−266790号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前記した従来技術では、個人で撮影されたパーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に送る必要があるので時間と手間がかかるという課題、ユーザが文字でのディレクトリ情報を申込書に記入して依頼しなければならないので面倒であるという課題、コンテンツ保管・加工業者は該申込書に記入されたディレクトリ情報に基づいて手作業でコンテンツに入力する必要があるという課題および該ディレクトリ情報の修正については何ら配慮されていない課題等があった。
【0006】
本発明の目的は、前記した課題を解消し、個人で撮影されたパーソナルビデオ映像等のコンテンツに対して自動的にコンテンツ単位又は/及びチャプター単位で映像分類情報を付加して保管し、該保管されたコンテンツをVoD等でユーザに提供することのできる映像コンテンツ保管視聴システムおよび方法を提供することにある。また、他の目的は、自動的に付加された映像分類情報をユーザが修正してフィードバックできる映像コンテンツ保管視聴システムおよび方法を提供することにある。
【課題を解決するための手段】
【0007】
前記目的を達成するために、本発明は、ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、該映像規格変換部で変換された映像コンテンツに分類カテゴリを自動的に付与する分類カテゴリ付与部と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求する点に特徴がある。
【0008】
また、ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、該映像規格変換部で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部と、該分割部で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求する点に他の特徴がある。
【0009】
また、前記分類カテゴリ付与部は、前記映像区間の特徴量を抽出する映像特徴量抽出部と、映像の特徴量と分類カテゴリとの関連を記憶する特徴量データベースと、前記特徴量と前記特徴量データベースとを比較して、該特徴量データベース中の類似する特徴量の分類カテゴリを該映像区間の分類カテゴリとする特徴量比較処理部とを含む点に他の特徴がある。
【0010】
また、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部は、前記更新処理要求を受けると、前記修正フィードバック情報に従って、映像区間、分類カテゴリまたはメタデータを修正する点に他の特徴がある。
【発明の効果】
【0011】
本発明によれば、ユーザのビデオカメラやデジカメなどで撮影された動画像または静止画像に対して、自動的にタイトルおよび映像区間の分類カテゴリを付与し、ユーザに提供することができるという効果がある。また、ユーザは、自動的に付与されたタイトルおよび映像区間の分類カテゴリを修正することができるので、自分の映像コンテンツに満足のいくタイトルや分類カテゴリを付けることができる。
【0012】
また、修正情報は、映像分割部、分類カテゴリ付与部またはメタデータ作成部の更新処理に反映されるので、これらの処理精度が高められていくという効果、つまり学習効果がある。
【0013】
また、ユーザは、自分が撮影した映像コンテンツをネットワークを介してVoDプラットフォームに送信するだけで、自動的にタイトルおよび映像区間の分類カテゴリが付与され、コンテンツ保存部に保存されるので、従来方式のようなユーザが文字でのディレクトリ情報を申込書に記入して依頼したり、パーソナルビデオ映像等の記録媒体を代理店、郵便局、運送会社などを通してコンテンツ保管・加工業者に送らなければならないといった面倒さは一切ないという効果がある。
【図面の簡単な説明】
【0014】
【図1】本発明が実施されるネットワーク環境の一例を示すブロック図である。
【図2】本発明の要部の構成を示すブロック図である。
【図3】本発明の一実施形態の構成を示すブロック図である。
【図4】図3のチャプター分割部からメタデータ作成部までの処理を説明するフローチャートである。
【図5】映像コンテンツのタイトル付与の説明図である。
【図6】EPG作成の説明図である。
【図7】図3のBML・HTML作成部と映像ファイル(TS)作成部の処理を説明するフローチャートである。
【図8】BML・HTML作成部で作成されたデータを表示した場合の表示例の概念図である。
【図9】図3のVoDコンテンツ保存部内に保存されるデータの概念図である。
【図10】VoD視聴装置でなされるフィードバック(修正)機能の概要を示すフローチャートである。
【図11】図3のフィードバック処理部の処理を示すフローチャートである。
【図12】個別データベースへの顔情報の登録画面の概念図である。
【発明を実施するための形態】
【0015】
以下に、図面を参照して本発明を詳細に説明する。図1は、本発明が実施されるネットワーク環境の一例の説明図である。
【0016】
撮像装置1はビデオカメラ、デジカメなどからなり、該撮像装置1で撮影されたユーザ個人等の映像データは、PC等の端末装置2を経由して、または直接にWiFi、WiMax等によりインターネット網3に送られる。インターネット網3に送られた映像データ又は映像コンテンツ(以下、映像コンテンツと呼ぶ)はサーバであるVoDプラットフォーム4に映像入力部から入力される。該VoDプラットフォーム4の構成は後で詳細に説明するが、前記映像入力部から受信した映像コンテンツをチャプター分けする機能、映像コンテンツ単位又は/及びチャプター単位で映像分類情報(メタデータ)を作成する機能、EPG(電子番組表)作成機能、映像ファイル作成機能、該映像ファイルを保管する機能、IDおよびパスワードを生成して該映像コンテンツに関連させる機能、VoD視聴要求のアクセスに対応する機能、フィードバック情報に対応する機能などを有している。
【0017】
VoDプラットフォーム4はVoD視聴装置6からインターネット網3又はVoDインフラ網5を介してアクセスされると、前記IDおよびパスワードを照合した上で要求された映像コンテンツを映像出力部からVoDインフラ網5を介してVoD視聴装置6へ送出する。VoD視聴装置6はテレビやSTB等からなり、ユーザは該VoD視聴装置6の映像面上に映出された映像コンテンツの映像分類情報を用いて、見たい映像コンテンツやチャプターを選択的に映出することにより、効率的にかつ自宅に居ながら楽しむことができる。また、VoDプラットフォーム4で自動的に付けられた前記映像分類情報に満足しない場合には、ユーザは好みの映像分類情報をVoDプラットフォーム4にフィードバックして、映像分類情報を修正することができる。また、VoDプラットフォーム4は、該フィードバック情報により前記チャプター分け機能および映像分類情報を作成する機能の精度が向上するように学習をすることができる。
【0018】
まず、図2を参照して、前記VoDプラットフォーム4の構成の要部を説明する。該VoDプラットフォーム4は、ネットワーク経由でアップロードされた映像コンテンツが静止画像であるか動画像であるかを判定する静止画・動画判定部10と、映像コンテンツを予め定められた映像規格に変換する映像規格変換部11と、該映像規格変換部11で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部12と、該分割部12で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部13と、前記分類カテゴリを含むメタデータを作成するメタデータ作成部14と、前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部15と、該映像コンテンツの映像ファイルをユーザに送出する送出部16と、受信された修正フィードバック情報を処理するフィードバック処理部17とから構成される。前記静止画・動画判定部10で動画像と判定された場合には、映像規格変換部11は映像分割部12に接続され、一方静止画像と判定された場合には映像分割部12をスキップして分類カテゴリ部付与部13に接続される。前記フィードバック処理部17は、修正フィードバック情報の内容に応じて、前記映像分割部12、分類カテゴリ付与部13、または/およびメタデータ作成部14に更新処理要求をする。
【0019】
次に、前記VoDプラットフォーム4の構成の詳細を図3を参照して説明する。VoDプラットフォーム4は図示されているように、前記インターネット網3を介して送られてきた映像コンテンツが入力する映像入力部21、例えばDVフォーマットの映像や静止画のJEPG映像をMPEG2や非圧縮映像に変換する映像規格変換部22、該変換された映像をシーンやショットなどのチャプターに分割するチャプター分割部23を有する。映像入力部21は、映像コンテンツを受信すると共に静止画像であるか動画像であるかの判定をし、その判定信号で映像規格変換部22をチャプター分割部23へ接続するか該チャプター分割部23をスキップして映像特徴量抽出部24に接続するかの制御をする。静止画像の場合にはチャプター分割をする必要がないので、チャプター分割部23をスキップする。映像規格変換部22に、静止画が入力された場合には、複数の静止画を使用してスライドショー的な動画として、MPEG2や非圧縮映像に変換してもよい。
【0020】
VoDプラットフォーム4は、また、前記分割されたチャプターから特徴量を抽出する映像特徴量抽出部24、映像特徴量と映像分類情報(以下、分類カテゴリという)との対応データを格納する特徴量データベース(DB)25、前記映像特徴量抽出部24で抽出された映像特徴量と特徴量データDB25のデータとを比較する特徴量比較処理部26を有する。前記分類カテゴリ付与部13は、前記映像特徴量抽出部24、特徴量DB25および特徴量比較処理部26に相当する。該分類カテゴリ付与部13を構成する特徴量データDB25は、ニューラルネットワーク等を利用した知識ベースであって、分類カテゴリの付与を行うとともに、外部フィードバックによって学習可能なものであってもよい。ここに、前記特徴量DB25は、少なくとも個別データベースと一般データベースを有する。前記個別データベースには、ユーザの個人認識用データ、例えばユーザの家族の顔認識用データと名前とがリンクして格納され、前記一般データベースには、一般的な映像特徴量、例えば赤ちゃん、ハイハイ、歩き、水遊び、誕生日、保育園、運動会、遊園地などの一般的な事象認識用のデータが格納される。
【0021】
VoDプラットフォーム4は、また、前記特徴量比較処理部26での比較処理により取得された映像特徴量に適合する分類カテゴリにより前記チャプターのメタデータを作成するメタデータ作成部27、該チャプターのメタデータを総合して映像コンテンツのタイトルを作成し、該タイトルとチャプターのメタデータ等から電子番組表を作成するEPG(Electric Program Guide)作成部28、前記メタデータをBML(Broadcast Markup Language)またはHTMLで表すBML・HTML作成部29、チャプター分割部23よりの映像コンテンツと電子番組表とBML・HTMLで記述されたメタデータとで映像ファイルを作成する映像ファイル(TS;Transport stream)作成部30、該映像ファイルを格納するVoDコンテンツ保存部31および図1の映像出力部に相当するVoD送出部32を有する。
【0022】
該VoDプラットフォーム4は、さらに、図1のフィードバック情報入力部に相当するVoD受信部41を有し、該VoD受信部41は、ユーザからのVoD視聴要求とフィードバック情報とを識別し、VoD視聴要求であればVoDコンテンツ保存部31にVoD視聴要求を送り、一方フィードバック情報であれば該フィードバック情報をフィードバック処理部42に送る。
【0023】
VoDコンテンツ保存部31はVoD視聴要求を受けるとIDおよびパスワードの照合をした上で、ユーザから要求された映像ファイルを読み出し、VoD送出部32、VoDインフラ網5を介して、VoD視聴装置6に転送する。一方、フィードバック処理部42は、フィードバック情報の内容を分析し、フィードバック情報がチャプター分け修正情報であれば、チャプター分割部23に更新処理要求をし、メタデータの修正情報であれば、特徴量DB25とメタデータ作成部27に更新処理要求をする。なお、特徴量DB25の修正に関しては、前記個別データベースや一般データベースが修正される(学習機能)と共に、メタデータ作成部27で作成されたメタデータを修正する。
【0024】
前記チャプター分割部23は、基本的には、映像コンテンツの各フレーム間での映像変化量が時間的に予め定められた閾値以上の場合に該フレームをチャプター分け画面(又はカット画面又はシーンチェンジ画面)とし、該チャプター分け画面間の映像を映像特徴量抽出部24に出力する。なお、該チャプター分割部23は、例えば、電子情報通信学会秋期大会、D−264(1993)の「フィルタを用いた映像カット点検出」、電子情報通信学会秋期大会、D−501(1994)の「フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出」、特開平07−059108号公報、特開平09−083864号公報等に記載されている周知の技術を用いて、チャプター分けを行うことができる。チャプター分割部23は、前記閾値を修正する等して更新処理することができる。
【0025】
次に、前記映像特徴量抽出部24、特徴量比較処理部26およびメタデータ作成部27の動作を、図4のフローチャートを参照して説明する。以下では、前記チャプター分け画面間の映像を「チャプター映像」と呼ぶ。
【0026】
ステップS1では、映像特徴量抽出部24はチャプター映像から特徴量(映像の特徴となっている部分を定量化したもの)、例えば、動物体などの対象物の面積、周囲長、円形度、重心など及び/又は色特徴、顔特徴などを抽出する。該特徴量は、動物体に限らず、静止物体や背景画像の対象物からも抽出するのが好ましい。一例として、2007年3月15日 CQ出版株式会社発行「改訂版ディジタル画像処理の基礎と応用」の第60〜62頁に記されている方法を用いて前記特徴量を抽出することができる。ステップS2では、特徴量比較処理部26が、前記特徴量を特徴量DB25内の情報と比較(例えば、パターン認識)し、分類カテゴリ候補と分類度を取得する。分類カテゴリ候補の例としては、赤ちゃん、ハイハイ、歩き、誕生日などがあり、分類度の例は、0〜1までの値とすることができる。分類度は、例えば赤ちゃん、ハイハイ、歩き、誕生日などの映像が、特徴量DB25内の情報と比較し、その分類カテゴリ候補との一致度合いの値と、該分類カテゴリーが映っているフレーム数をチャプター映像のフレーム数で割り算することにより求めた値を掛けた値により表現することができる。また、該値に重み係数を掛けた値を分類度としてもよい。誕生日は大事な行事であるので、重み係数は大きくなる。また、前記チャプター映像に赤ちゃんの顔が映っている場合には、特徴量比較処理部26は特徴量DB25の個別データベースに予め登録されている顔情報にアクセスし、顔認識ができた場合にはこの顔情報とリンクしている名前を読み出し、該チャプター映像の分類カテゴリ候補のひとつとすることができる。
【0027】
ステップS3では、メタデータ作成部27がチャプター映像に対応したメタデータ(以下、チャプターメタと呼ぶ)を作成する。チャプターメタの例としては、対象ファイル名、チャプター画面の時刻情報、前記分類カテゴリ候補と分類度とからなる分類メタなどがある。また、他の分類カテゴリと合成したメタデータを生成することも可能である。例えば、はるかちゃんのハイハイとか、だいきくんの誕生日とかのメタデータとすると、より良好にチャプター映像を識別することができるようになる。図12に、個別データベースへの顔情報の登録画面の概念図を示す。ステップS4では、全てのチャプター映像に対して分類付けが行われたか否かの判断がなされ、否定の場合には、ステップS5に進んで、次のチャプター映像が映像特徴量抽出部24に送られる。そして、前記ステップS1〜S4の処理が繰り返される。
【0028】
その後、ステップS4の判断が肯定になると、ステップS6に進んで、メタデータ作成部27において全体の映像コンテンツについての分類カテゴリ候補(以下、タイトル候補と呼ぶ)を、演算により求める処理が行われる。この処理例を図5に示す。例えば各チャプター映像の始めから終わりまでの時間をTn(n=1,2,・・・)とし、各チャプター映像で得られた各分類カテゴリ候補の分類度をPni(i=1,2,・・・)とすると、Tn×Pniが一番大きい値の分類カテゴリをタイトルの第1候補、二番目に大きい値の分類カテゴリをタイトルの第2候補とする。図示の例では、ハイハイが第1候補、赤ちゃんが第2候補となる。他の処理例として、映像コンテンツ全体で、同じ分類カテゴリ候補のTn×Pniの和を求め、該和の値が一番大きい分類カテゴリをタイトルの第1候補、二番目に大きい値の分類カテゴリをタイトルの第2候補としてもよい。次に、ステップS7では、前記タイトル候補を、全体の映像コンテンツすなわち映像ファイル全体のメタ(以下、タイトルメタと呼ぶ)として登録する。
【0029】
次に、EPG作成部28は、図6に示されているように、前記タイトルメタと各チャプターメタを含むEPG(電子番組表)情報を作成する。例えば、タイトル:ハイハイ、内容:(0〜1分)赤ちゃん、ハイハイ、歩き、(1〜3分)ハイハイ、赤ちゃん、歩きといったEPG情報を作成する。
【0030】
次に、前記BML・HTML作成部29および映像ファイル作成部30の機能を図7を参照して説明する。
【0031】
ステップS11で、BML・HTML作成部29はタイトルメタおよびチャプターメタを利用して、BMLまたはHTMLデータを作成する。ステップS12では、全部のチャプター映像のチャプターメタに対して、BMLまたはHTMLデータを作成したかどうかの判断がなされ、該判断が否定の場合にはステップS11に戻って次のチャプター映像のBMLまたはHTMLデータを作成する。ステップS12の判断が肯定になると、ステップS13に進んで、前記映像ファイル作成部30は、前記BMLまたはHTMLデータと、前記EPGおよび映像コンテンツとを多重させ、映像ファイルを作成する。なお、該映像ファイルは、VoDコンテンツ保存部に送付され、メタデータ作成部27からVoDコンテンツ保存部に送付される前記タイトルメタおよびチャプターメタと関連付けられて保存される。前記タイトルメタおよびチャプターメタのBMLまたはHTMLデータは、後で詳述するタイトルや分類カテゴリを修正するのに使用されるデータであり、図8にVoD視聴装置6の修正画面の概念図を示す。分類カテゴリ候補は前記Tn×Pniの値の大きさ順にプルダウン方式にてユーザに選択可能に表示される。
【0032】
図9は、前記VoDコンテンツ保存部31に格納されるデータの概念図である。該VoDコンテンツ保存部31には、図示されているように、映像ファイル(映像、BML・HTMLデータ、EPG)31aとメタデータ31bとが関連付けられて格納される。該メタデータ31bは、主に、ユーザによるVoD視聴要求時の検索処理の際に用いられることができる。
【0033】
次に、図10を参照して、VoD視聴装置6でなされるフィードバック(修正)機能の概要を説明する。
【0034】
ステップS21では、ユーザがIDおよびパスワードを入力してVoD視聴の操作をする。ここでユーザは、視聴したい映像の検索をすることもできる。ステップS22では、視聴要求された映像ファイルがVoDコンテンツ保存部31から読み出され、VoD視聴装置6は該読み出された映像ファイルを受信する。ステップS23では、ユーザによって修正機能が選択されたか否かの判断がなされ、肯定の場合には、ステップS24に進み、各映像ファイルの代表チャプター映像(前記Tn×Pniが最大の映像)をタイトルメタと共に表示する。S24の右側の表示例では、赤ちゃん、ハイハイ、歩き、誕生日などが各映像ファイルのタイトルメタに相当し、A,B,C,D,E,Fなどが各映像ファイルの代表チャプター映像に相当する。この表示は、VoD視聴装置6の映像画面の一部の領域になされるのが好適である。以下に述べる表示についても同様である。
【0035】
ステップS25では、映像ファイルA〜Fの内のいずれか一つが選択されたか否かの判断がなされ、この判断が肯定の場合には、ステップS26に進んで、タイトル候補をプルダウン方式で表示する。S26の右側の表示例では、映像ファイルAが選択され、そのタイトル候補が赤ちゃん、ハイハイ、歩きの順にプルダウン方式で表示された例を示す。ステップS27では、タイトルの第1候補から他の候補への修正がなかったかどうかの判断がなされ、なかった場合にはステップS29に進み、あった場合にはステップS28で修正内容を前記VoDプラットフォーム4にフィードバックした後、再表示のためにステップS26に戻る。なお、該フィードバックを受けたVoDプラットフォーム4の動作は、図11を参照して後述する。
【0036】
ステップS29では、選択された映像コンテンツ内のチャプター映像を、対応する分類カテゴリ候補と共に表示する。S29の右の表示例では、前記チャプター映像がチャプター1,チャプター2の映像であり、それぞれに対応する分類カテゴリ候補が赤ちゃん、ハイハイ、歩き、誕生日などである。次いで、分類カテゴリの第1候補から他候補への修正がなかったかどうかの判断がなされ、なかった場合にはステップS32に進み、あった場合にはステップS31で修正内容を前記VoDプラットフォーム4にフィードバックした後再表示のためにステップS29に戻る。ステップS32では、チャプター分けの修正がなかったかどうかの判断がなされ、なかった場合にはステップS34に進み、あった場合にはステップS33で修正内容を前記VoDプラットフォーム4にフィードバックした後再表示のためにステップS29に戻る。ステップS34では、修正操作が終了したかどうかの判断がなされ、否定の場合にはステップS24に戻って、再度各映像ファイルの代表チャプター映像をタイトルと共に表示する。以下、前記したステップS24〜S34の処理が繰り返される。この繰り返しの結果、ステップS34の判断が肯定になると、修正処理は終了する。
【0037】
次に、前記フィードバック情報を受信したVoDプラットフォーム4の動作について図11を参照して説明する。前記フィードバック処理部42は、ステップS41でフィードバック(修正)情報を受信したか否かの判断をし、肯定の場合にはステップS42に進んで、修正内容がチャプター分けであるか否かの判断をする。この判断が肯定の場合にはステップS44に進んで、チャプター分割部23へ修正内容を通知する。そうすると、チャプター分割部23は、チャプター分けを修正すると共にチャプター分けに使用されるパラメータなどを更新してその精度を高めるように学習する。
【0038】
ステップS43では、修正内容が映像コンテンツのタイトル又はチャプターの分類カテゴリであるか否かの判断がなされる。この判断が肯定の場合にはステップS45に進んで特徴量DB25、メタデータ作成部27へ通知する。これにより、メタデータ作成部27は、タイトルメタ又はチャプターメタを修正する。また、特徴DB25の個人認識用データベースまたは一般データベースは更新され、メタデータ作成の精度を高めるように更新される。
【0039】
なお、フィードバック処理部42が更新処理要求を通知する際には、VoDコンテンツ保存部から、該当する映像コンテンツを得てチャプター分割部23に送付し、チャプター分割、映像特徴量抽出、特徴量比較、メタデータ作成、映像ファイル作成を再度行うことになる。また、フィードバック処理部42がVoDコンテンツ保存部から映像コンテンツを得る代わりに、別途、映像入力部21、映像規格変換部22、チャプター分割部23のどこかに、映像コンテンツを保存し必要時にオリジナルの映像ファイルを呼び出せるようなデータベースを設けて対処してもよい。
【0040】
本発明によれば、ユーザは自分で撮影した動画像や静止画像をネットを介してVoDプラットフォームに送信するだけで、自動的にタイトルや分類カテゴリが付けられた映像コンテンツをVoDコンテンツ保存部に保管することができる。そして、必要な時に、VoD受信要求をすれば、VoDコンテンツ保存部から自分の映像コンテンツを読み出してVoD視聴装置に再生して楽しむことができる。また、前記自動的に付けられたタイトルや分類カテゴリを自分の好みに合わせて修正することができるので、満足のいくタイトルや分類カテゴリの付いた映像コンテンツをVoDコンテンツ保存部に保存することができる。また、自分が撮影した映像をVoDコンテンツ保存部に保存、管理できるので、自分で映像コンテンツを管理するといった煩わしさや、映像コンテンツを紛失したりすることから開放される。
【0041】
以上、本発明を好ましい実施形態により説明したが、本発明の趣旨を逸脱しない範囲で、種々の変形ができることは明らかである。
【符号の説明】
【0042】
4・・・VoDプラットフォーム、6・・・VoD視聴装置、11、22・・・映像規格変換部、12・・・映像分割部、13・・・分類カテゴリ付与部、14、27・・・メタデータ作成部、15・・・コンテンツ保存部、16・・・送出部、17・・・フィードバック処理部、23・・・チャプター分割部、24・・・映像特徴量抽出部、25・・・特徴量DB、26・・・特徴量比較処理部、28・・・EPG作成部、29・・・BML・HTML作成部、30・・・映像ファイル(TS)作成部、31・・・VoDコンテンツ保存部、32・・・VoD送出部、41・・・VoD受信部、42・・・フィードバック処理部。
【特許請求の範囲】
【請求項1】
ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、
該映像規格変換部で変換された映像コンテンツに分類カテゴリを自動的に付与する分類カテゴリ付与部と、
前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、
受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、
前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする映像コンテンツ保管視聴システム。
【請求項2】
ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、
該映像規格変換部で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部と、
該分割部で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部と、
前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、
受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、
前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする映像コンテンツ保管視聴システム。
【請求項3】
請求項1または2に記載の映像コンテンツ保管視聴システムにおいて、
前記分類カテゴリ付与部は、前記映像区間の特徴量を抽出する映像特徴量抽出部と、映像の特徴量と分類カテゴリとの関連を記憶する特徴量データベースと、前記特徴量と前記特徴量データベースとを比較して、該特徴量データベース中の類似する特徴量の分類カテゴリを該映像区間の分類カテゴリとする特徴量比較処理部とを含むことを特徴とする映像コンテンツ保管視聴システム。
【請求項4】
請求項1または2に記載の映像コンテンツ保管視聴システムにおいて、
前記分類カテゴリ付与部は、前記映像区間に付与した分類カテゴリを基に、前記映像コンテンツのタイトルを自動的に付与する機能を有することを特徴とする映像コンテンツ保管視聴システム。
【請求項5】
請求項1または2に記載の映像コンテンツ保管視聴システムにおいて、
前記メタデータ作成部は、前記映像コンテンツのタイトルと前記映像区間の分類カテゴリを含む前記映像コンテンツのメタデータを作成することを特徴とする映像コンテンツ保管視聴システム。
【請求項6】
請求項5に記載の映像コンテンツ保管視聴システムにおいて、
前記映像コンテンツのタイトルおよび前記映像区間の分類カテゴリを用いて、電子番組表(EPG)を作成するEPG作成部と、
前記映像コンテンツのタイトルおよび前記映像区間の分類カテゴリのメタデータをBMLまたはHTML言語で記述するBML・HTML作成部とを具備することを特徴とする映像コンテンツ保管視聴システム。
【請求項7】
請求項1または2に記載の映像コンテンツ保管視聴システムにおいて、
前記フィードバック処理部からの更新処理要求は前記映像区間の修正情報であり、
前記映像分割部は、該修正情報に従って映像区間の修正を行うことを特徴とする映像コンテンツ保管視聴システム。
【請求項8】
請求項3に記載の映像コンテンツ保管視聴システムにおいて、
前記フィードバック処理部からの更新処理要求は前記分類カテゴリの修正情報であり、
前記特徴量データベースは、該修正情報に従って、前記映像の特徴量と分類カテゴリとの関連の修正を行うことを特徴とする映像コンテンツ保管視聴システム。
【請求項9】
請求項5に記載の映像コンテンツ保管視聴システムにおいて、
前記フィードバック処理部からの更新処理要求は前記分類カテゴリの修正情報であり、
前記メタデータ作成部は、該修正情報に従って前記映像コンテンツのタイトルまたは前記映像区間の分類カテゴリの修正を行うことを特徴とする映像コンテンツ保管視聴システム。
【請求項10】
ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する工程と、
該映像規格に変換された映像コンテンツに分類カテゴリを自動的に付与する工程と、
前記分類カテゴリを含むメタデータを作成する工程と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存する工程と、
受信された修正フィードバック情報を処理する工程と、
前記修正フィードバック情報の内容に応じて、前記映像分割、分類カテゴリ付与およびメタデータ作成の内の少なくとも一つを更新処理する工程とからなる映像コンテンツ保管視聴方法。
【請求項11】
ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する工程と、
該映像規格変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する工程と、
該分割された映像区間に分類カテゴリを自動的に付与する工程と、
前記分類カテゴリを含むメタデータを作成する工程と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存する工程と、
受信された修正フィードバック情報を処理する工程と、
前記修正フィードバック情報の内容に応じて、前記映像分割、分類カテゴリ付与およびメタデータ作成の内の少なくとも一つを更新処理する工程とからなる映像コンテンツ保管視聴方法。
【請求項12】
請求項10または11に記載の映像コンテンツ保管視聴方法において、
前記メタデータを基に電子番組表(EPG)を作成する工程と、
前記メタデータをBMLまたはHTMLで記述する工程とをさらに有することを特徴とする映像コンテンツ保管視聴方法。
【請求項13】
請求項10ないし12のいずれかに記載の映像コンテンツ保管視聴方法において、
前記映像コンテンツの分類カテゴリは、該映像区間の特徴量を予め格納された映像の特徴量と比較し、類似度の高い特徴量に対応する分類カテゴリが用いられることを特徴とする映像コンテンツ保管視聴方法。
【請求項1】
ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、
該映像規格変換部で変換された映像コンテンツに分類カテゴリを自動的に付与する分類カテゴリ付与部と、
前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、
受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、
前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする映像コンテンツ保管視聴システム。
【請求項2】
ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する映像規格変換部と、
該映像規格変換部で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部と、
該分割部で分割された映像区間に分類カテゴリを自動的に付与する分類カテゴリ付与部と、
前記分類カテゴリを含むメタデータを作成するメタデータ作成部と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存するコンテンツ保存部と、
受信された修正フィードバック情報を処理するフィードバック処理部とを具備し、
前記フィードバック処理部は、修正フィードバック情報の内容に応じて、前記映像分割部、分類カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする映像コンテンツ保管視聴システム。
【請求項3】
請求項1または2に記載の映像コンテンツ保管視聴システムにおいて、
前記分類カテゴリ付与部は、前記映像区間の特徴量を抽出する映像特徴量抽出部と、映像の特徴量と分類カテゴリとの関連を記憶する特徴量データベースと、前記特徴量と前記特徴量データベースとを比較して、該特徴量データベース中の類似する特徴量の分類カテゴリを該映像区間の分類カテゴリとする特徴量比較処理部とを含むことを特徴とする映像コンテンツ保管視聴システム。
【請求項4】
請求項1または2に記載の映像コンテンツ保管視聴システムにおいて、
前記分類カテゴリ付与部は、前記映像区間に付与した分類カテゴリを基に、前記映像コンテンツのタイトルを自動的に付与する機能を有することを特徴とする映像コンテンツ保管視聴システム。
【請求項5】
請求項1または2に記載の映像コンテンツ保管視聴システムにおいて、
前記メタデータ作成部は、前記映像コンテンツのタイトルと前記映像区間の分類カテゴリを含む前記映像コンテンツのメタデータを作成することを特徴とする映像コンテンツ保管視聴システム。
【請求項6】
請求項5に記載の映像コンテンツ保管視聴システムにおいて、
前記映像コンテンツのタイトルおよび前記映像区間の分類カテゴリを用いて、電子番組表(EPG)を作成するEPG作成部と、
前記映像コンテンツのタイトルおよび前記映像区間の分類カテゴリのメタデータをBMLまたはHTML言語で記述するBML・HTML作成部とを具備することを特徴とする映像コンテンツ保管視聴システム。
【請求項7】
請求項1または2に記載の映像コンテンツ保管視聴システムにおいて、
前記フィードバック処理部からの更新処理要求は前記映像区間の修正情報であり、
前記映像分割部は、該修正情報に従って映像区間の修正を行うことを特徴とする映像コンテンツ保管視聴システム。
【請求項8】
請求項3に記載の映像コンテンツ保管視聴システムにおいて、
前記フィードバック処理部からの更新処理要求は前記分類カテゴリの修正情報であり、
前記特徴量データベースは、該修正情報に従って、前記映像の特徴量と分類カテゴリとの関連の修正を行うことを特徴とする映像コンテンツ保管視聴システム。
【請求項9】
請求項5に記載の映像コンテンツ保管視聴システムにおいて、
前記フィードバック処理部からの更新処理要求は前記分類カテゴリの修正情報であり、
前記メタデータ作成部は、該修正情報に従って前記映像コンテンツのタイトルまたは前記映像区間の分類カテゴリの修正を行うことを特徴とする映像コンテンツ保管視聴システム。
【請求項10】
ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する工程と、
該映像規格に変換された映像コンテンツに分類カテゴリを自動的に付与する工程と、
前記分類カテゴリを含むメタデータを作成する工程と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存する工程と、
受信された修正フィードバック情報を処理する工程と、
前記修正フィードバック情報の内容に応じて、前記映像分割、分類カテゴリ付与およびメタデータ作成の内の少なくとも一つを更新処理する工程とからなる映像コンテンツ保管視聴方法。
【請求項11】
ネットワーク経由でアップロードされた映像コンテンツを予め定められた映像規格に変換する工程と、
該映像規格変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する工程と、
該分割された映像区間に分類カテゴリを自動的に付与する工程と、
前記分類カテゴリを含むメタデータを作成する工程と、
前記映像コンテンツの映像ファイルを前記メタデータと関連付けて保存する工程と、
受信された修正フィードバック情報を処理する工程と、
前記修正フィードバック情報の内容に応じて、前記映像分割、分類カテゴリ付与およびメタデータ作成の内の少なくとも一つを更新処理する工程とからなる映像コンテンツ保管視聴方法。
【請求項12】
請求項10または11に記載の映像コンテンツ保管視聴方法において、
前記メタデータを基に電子番組表(EPG)を作成する工程と、
前記メタデータをBMLまたはHTMLで記述する工程とをさらに有することを特徴とする映像コンテンツ保管視聴方法。
【請求項13】
請求項10ないし12のいずれかに記載の映像コンテンツ保管視聴方法において、
前記映像コンテンツの分類カテゴリは、該映像区間の特徴量を予め格納された映像の特徴量と比較し、類似度の高い特徴量に対応する分類カテゴリが用いられることを特徴とする映像コンテンツ保管視聴方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−187185(P2010−187185A)
【公開日】平成22年8月26日(2010.8.26)
【国際特許分類】
【出願番号】特願2009−29688(P2009−29688)
【出願日】平成21年2月12日(2009.2.12)
【出願人】(000208891)KDDI株式会社 (2,700)
【Fターム(参考)】
【公開日】平成22年8月26日(2010.8.26)
【国際特許分類】
【出願日】平成21年2月12日(2009.2.12)
【出願人】(000208891)KDDI株式会社 (2,700)
【Fターム(参考)】
[ Back to top ]