デジタルコンテンツのメタデータを生成するための方法および装置
【課題】メタデータの生成が行われている最中に、すでに生成されたメタデータをレビューできるようにする、デジタルコンテンツのメタデータを生成する。
【解決手段】メタデータ生成は、複数の処理タスクに分割されて（３０）、その処理タスクは、２以上の処理ノードに割り振られる（３１）。２以上の処理ノードによって生成されたメタデータは、収集されて（３６）、そして出力ユニット上で可視化される（３６）。
【解決手段】メタデータ生成は、複数の処理タスクに分割されて（３０）、その処理タスクは、２以上の処理ノードに割り振られる（３１）。２以上の処理ノードによって生成されたメタデータは、収集されて（３６）、そして出力ユニット上で可視化される（３６）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像シーケンスのような、デジタルコンテンツのメタデータを生成するための方法および装置に関する。より詳細には、メタデータの生成が行われている最中に、すでに生成されたメタデータをレビューできるようにする、デジタルコンテンツのメタデータを生成するための方法および装置を説明する。
【背景技術】
【０００２】
映画フィルムは、我々の文化遺産の一部である。残念ながら、映画フィルムは、擦り傷、埃、泥、染み、磨耗その他の、好ましくないものによって影響を受けることが多い。これらは、通常、フィルム映像の現像、処理、保存、および映写または走査を行う技術的プロセスから生じる。いくつかの稀なケースではあるが、例えば、レンズの綿毛やスキャナガラス面の泥などの、静止した対象物を捕まえる際にも引き起こされる恐れがある。以下におけるこのようなすべての欠点を、単に「擦り傷および泥」と呼ぶこととする。
【０００３】
擦り傷および泥は、映画鑑賞の質や楽しみを損なう。これは、ほとんどの場合、視覚情報の相当量が失われるからではない。実際には、その反対が当てはまり、擦り傷および泥は、余分な量の情報を提供するが、その情報は、全く関連がない。人間の脳は、その視覚の日常経験に基づいて、欠落した関連情報の代わりをするのに非常に有効である。しかし、世の中の物理的な物事に対する脳の経験による通常の見え方や振る舞い方は、影響を受けた映像を見る時にいつも侵害される。例えば、走査または映写中、フィルムに付着した泥は、一方のフレーム内では現れ、他方のフレーム内では消えている。これは、通常、滑らかに現れて、移動し、そして消える対象物についての人間の経験と相反し、異常な視覚的刺激を例外として脳に対処させる。従って、関連がない情報と関連情報とをこのようにして区別することは、視聴者のストレスを増やし、疲れさせる。擦り傷および泥の除去は、視聴者がリラックスして映画の内容に集中するのを保つのに必要であり、従って、どの修復プロセスでも重要な部分である。
【０００４】
好適には、修復は、走査した後、デジタル処理で実行されることである。走査の前に、泥および潜在的な擦り傷を減らすために化学洗浄処理で溶剤を注入する、湿式走査技術があるが、その技術は、とても費用がかかるいくつかの技術的な問題があるために広く使用されていない。さらに、多くの映像はすでに、走査されてデジタル処理でテープに保管されている。
【０００５】
多くの作業面でアーティストを手助けするソフトウェアが市場に出ているが、擦り傷および泥がついた対象物をそれぞれ見つけて除去することによって、デジタルフィルムを手作業で修復するのは、明らかに時間のかかる仕事である。特に、大量の擦り傷か、または泥が付いた古いコンテンツを手で修復するのは、経済的に実行不可能である。これは、商品価値が未知である映像を大量に保管する場合、なおさら不可能である。
【０００６】
擦り傷および泥の検出および除去を試みるアルゴリズムを有する自動修復ソフトウェアの適用は、手による処理の唯一実行可能な代替手段である。今のところ、擦り傷および泥の検出および除去をほぼ自動的に行う、いくつかのソフトウェアおよびハードウェア製品が市販されている。通常、あるパラメータを手で調整することは、検出および除去を微調整するのに必要であり、各場面を個々に調整することもある。処理の後、修復された出力またはその一部は、異なるパラメータを用いて修復を再実行するオプションで、受諾か、または拒否を行わなければならない。これは、調整に時間がかかり、まだ特別に適合できていない重大な場面の品質が十分でないので、満足ではない。擦り傷および泥の検出は、現在完全には解決されていない重要な問題である。検出されないか、または誤って検出される対象物がなおも一定の割合で存在する。
【０００７】
最近では、メタデータ自動駆動のワークフローを使用して、修復プロセスを、例えば、擦り傷および泥がついた対象物などの、対象物の検出と除去とに区別することが提案されている。言い換えれば、第１ステップにおいて、アーチファクトが検出されて、検出されたアーチファクトについての情報は、メタデータのデータベースに保存される。保存されたメタデータは、その後、第２ステップの前にオペレータによってレビューされ、第２ステップにおいて、検出されたアーチファクトは、メタデータのデータベースに保存された情報に基づいて画像から除去される。この手法の難点は、検出プロセスが完了するまでレビューを開始することができないことである。
【０００８】
従って、本発明の目的は、デジタルコンテンツのメタデータを生成するための方法を提案することであり、その方法によって、全部のデジタルコンテンツが分析される前に生成されたメタデータをレビューするのを可能にする。
【０００９】
発明に従って、デジタルコンテンツのメタデータを生成するための方法は、
−メタデータ生成を複数の処理タスクに分割するステップと、
−複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り当てるステップと、
−２以上の処理ノードによって生成されたメタデータを収集するステップと、
−収集されたメタデータを出力ユニット上に可視化するステップとを備える。
【００１０】
これによって、デジタルコンテンツのメタデータを生成するための装置は、
−メタデータ生成を複数の処理タスクに分割し、かつ複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り当てるためのプロセッサと、
２以上の処理ノードによって生成されたメタデータを収集するためのデータコレクタと、
収集されたメタデータを出力ユニット上に可視化するための可視化コントローラとを備える。
【発明の概要】
【００１１】
発明に従った解決手段は、デジタルコンテンツの必要な処理を、例えば、ネットワーククラウド内の、複数の処理ノードに分散することによって、メタデータの即時処理および即時レビューの問題を解決する。処理ノードによって得られた結果は、その後、中央ノードにおいて収集されて、可視化される。このようにして、デジタルコンテンツおよび生成されたメタデータは、処理をバックグラウンドで継続している間に、注釈を用いて（処理速度以下で）再生されるか、または単独でレビューされることができる。デジタルコンテンツの処理および適切なメタデータの生成は、幅広いコンテンツか、または入り組んだ処理アルゴリズムのために、極めて複雑で時間がかかることもあるので、処理タスクを複数の処理ノードに分散し、同時レビューを可能にするのに十分な速さでメタデータを使用可能にすることによって時間を節約できる。また、パラメータのセットアップが処理に必要な場合、異なる設定を迅速にテストすることができる。
【００１２】
有利なことに、収集されたメタデータは、後処理される。処理ノードは、デジタルコンテンツのごく一部だけに機能するので、収集されたメタデータの後処理は、デジタルコンテンツの大部分または全部のデジタルコンテンツまでも考慮に入れることが可能になる。もちろん、収集されたメタデータおよび／またはデジタルコンテンツへの手動ナビゲーションも、生成されたメタデータをレビューするのに適している。
【００１３】
好ましくは、さらなる処理タスクは、レポートされる状態に依存する処理ノードに割り振られる。処理ノードが、自身に割り振られた処理タスクを完了したことをシグナルした時、この処理ノードは、さらなる処理に使用可能である。従ってすべての処理ノードが継続して動作することを確実にする。
【００１４】
好適には、収集されたメタデータに加え、処理タスクの割り振りおよび／または割り振られた処理タスクの現在の処理状態も可視化される。これは、分散された処理の幅広いトラッキングをその処理と同時に行うことを可能にする。
【００１５】
好ましくは、収集されたメタデータの可視化は、さらなるメタデータが読み出される時に更新され、処理タスクの割り振りの可視化は、さらなる処理タスクが割り振られる時に更新され、あるいは割り振られた処理タスクの現在の処理状態の可視化は、処理状態が変わる時に更新される。このようにして、中央ノードが現在の処理状態の最新の可視化を常に提供することを確実にする。
【００１６】
有利なことに、異なる色、形またはマークは、割り振られていないまたは処理されていない処理タスク、割り振られた処理タスクの割り振りおよび処理状態、および生成されたメタデータを表示するのに使用される。さらに、メタデータは、好ましくは、出力ユニット上で可視化するためにクラスタ化される。両方の手段は、人間のレビューワ(reviewer)が、どのように処理タスクが割り振られて処理されるか、そしてどんなメタデータがすでに使用可能であるかを容易に把握できることを確実にする。
【００１７】
好適には、処理タスクは、例えば、映画のフレームまたはチャンクなどの、デジタルコンテンツ部、および／またはアルゴリズムの処理ステップに関わる。言い換えれば、処理ノードは、デジタルコンテンツの異なる部分で同じ動作を実行するか、またはデジタルコンテンツの同じ部分で大規模な動作のうちの１または複数のステップを実行するか、またはその両方を混ぜて実行する。
【００１８】
有利なことに、処理ノードの処理速度および／または処理ノードの蓄積された処理速度が決定される。これによって、処理ノードの性能を処理タスクの割り振りの考慮に入れることが可能になる。例えば、処理速度が速い処理ノードを、要求の多い処理タスクに割り当てることができる一方、性能が低い処理ノードは、要求の少ない処理タスクを受信する。このようにして、処理タスクは、スマートに分散されて、使用可能な機器は、非常に効率的に使用される。さらに、蓄積された処理速度は、メタデータのレビュープロセスの再生速度を制御するのに適している。
【００１９】
上記の発明では、メタデータの生成に関して説明しているが、同じく発明は、メタデータのデジタルコンテンツへの適用、例えば、事前に生成されたメタデータに基づくデジタルコンテンツの自動修復に適している。この場合、メタデータの適用は、複数の処理タスクに分割されて、処理タスクは、処理ノードに割り振られる。処理タスクの割り振りに加えて、必要なメタデータならびにデジタルコンテンツも処理ノードに分散される。処理ノードによって生成された変更されたデジタルコンテンツは、その後、メーザによって収集されて、出力ユニット上で可視化される。
【図面の簡単な説明】
【００２０】
さらに理解を深めるために、本発明を、以下の説明において図面を参照しながらより詳細に説明していく。本発明は、この例示的な実施形態に限定されないこと、および指定された特徴は、添付の特許請求の範囲に定義された通りに、本発明の範囲から逸脱することなく便宜上組み合わされ、および／または変更されることもできることを理解されたい。
【図１】データセットを可視化するための方法を示す図である。
【図２】図１の方法に従ってデータセットの可視化を示す図である。
【図３】発明に従って方法を実装するのに適したネットワークアーキテクチャを概略的に示す図である。
【図４】マスタープロセスの実装を概略的に示す図である。
【図５】マスタープロセスのユーザインタフェースを示す図である。
【図６】マスタープロセスの再生速度を調整するための方法を示す図である。
【図７】マスタープロセスを実行するように適合された装置を概略的に示す図である。
【発明を実施するための形態】
【００２１】
まず始めに、大規模なデータセットを可視化するための解決手段を説明していくが、その解決手段は、後で説明するように、好適には、マスタープロセスの監視に使用される。
【００２２】
図１は、データセットを可視化する出力ユニット１の概略的な図である。出力ユニット１は、例えば、ＴＦＴディスプレイなどの画面２を含む。もちろん、同じく出力ユニット１は、グラフィカルユーザインタフェース（ＧＵＩ）のウィンドウであってよい。出力ユニット１は、水平方向に最大解像度Ｘを有し、その解像度は、画面またはＧＵＩのウィンドウの使用可能な水平ピクセルによって定義される。出力ユニット１は、データセットを可視化する出力信号ＯＳを出すための装置３に結合されている。好適には、装置３は、例えば、パーソナルコンピュータまたはワークステーションユニットまたは同様の、コンピュータである。出力信号ＯＳは、好適には、装置３によって画面２に出されるビデオ信号の一部である。
【００２３】
メタデータ情報、即ち、長さＳのメタデータベクトルＭが、装置３に入力される。メタデータベクトルＭの長さＳは、ベクトルが、いくつかのメタデータ要素Ｓを備えるという意味であり、例えば、いくつかのメタデータ要素Ｓから成るメタデータのセットを備える。メタデータ要素は、例えば、フレームのコントラストなどの、単一値、または、例えば、コントラストおよび輝度値などの、データのセットであってよい。装置３は、メタデータベクトルＭを処理して、出力ユニット１上で可視化するように構成される。メタデータベクトルＭは、バー４、５のそれぞれが、例えば、４つの水平ピクセル（２つの黒ピクセルと２つの白ピクセル）を有する、複数のバー４、５として可視化される。一部のバー５は、これらのバー５の基礎を形成するいくつかのメタデータ要素がまだ不足していることを示した、強調表示が使われている（バツ印が付いたピクセルで示す）。
【００２４】
図２は、メタデータベクトルＭを処理して可視化するための方法を概略的に示す。第１ステップ１０において、出力ユニット１の最大水平解像度Ｘが決定される。続いて、ステップ１１において、バー４、５当たりの水平ピクセルの数Ｎが、例えば、ユーザ入力コマンドによって決定される。代替としては、バー４、５当たりの水平ピクセルの数Ｎは、所定の値である。さらにステップ１２において、Ｂ＝ＦＬＯＯＲ（Ｘ／Ｎ）を計算することによって、表示可能な８つのバーの最大数が決定される。そこでのＦＬＯＯＲは、負の無限大方向の丸め演算である。表示可能なバー４，５の最大数Ｂが分かると、ステップ１３において、単一バーにクラスタ化されなければならないメタデータ要素の数は、Ｃ＝ＣＥＬＬ（Ｓ／Ｂ）によって計算される。そこでのＣＥＬＬは、正の無限大方向の丸め演算である。メタデータベクトルＭの第１のメタデータ要素から始まり、各要素は、それぞれのクラスタに割り当てられる。Ｓ／Ｂ＞０の余り（余り（Ｓ，Ｂ）＞０）がある場合、最後のクラスタは、それ以外のクラスタのサイズよりも小さくなる。ステップ１４において、実メタデータが、例えば、レポジトリやネットワークによって、またはオペレータによって読み出されると、ステップ１５において、実データは、決定されたクラスタ数にクラスタ化される。オペレータの入力または一般仕様に依存して、ステップ１６において、所定の関数、例えば、マックス関数などが、それぞれのクラスタの各メタデータ要素に適用される。ステップ１６において関数が適用されると、クラスタ内のまだ使用されていない要素は、無視される。関数の結果はその後、ステップ１７において、それぞれのクラスタに割り当てられる。不足している要素をレビューワに警告するために、ステップ１８において、完了していないクラスタは、例えば、色、テクスチャ、マーカーなどによってマークされる。最後に、ステップ１９において、値がバーの高さで表示される。メタデータベクトルＭの要素が変わるたびに、即ち、不足している要素が使用できるようになった時または要素が新しい値を得た時、所望の関数は再度、対応するクラスタに適用されて、表示が更新される。このため、ステップ２０において、メタデータベクトルＭの要素がモニタされる。有利なことに、要素が変わるたびに表示が更新される。もちろん、例えば、あまりにも頻繁に更新するのを避けるために、要素の定義された最小数が変わった時にのみ、同じく表示を更新することが可能である。また、好適には、方法の残りのステップが実行される前に、要素の最小数が、まず第一に読み出される。このようにして、有意味な表示をオペレータが使用できるようにすることを確実にする。好適には、変更される必要のある要素の最小数および／または最初に読み出される必要のある要素の数は、ユーザによって設定可能である。
【００２５】
以下において、本発明の着想を、フィルム修復プロセスに関連して説明する。もちろん、その着想は、分散したやり方で実行し、しかも表示可能な結果を配信することができる、他のプロセスに同じく適用可能である。
【００２６】
検出とフィルム修復プロセスのレビューステップとを組み合わせるために、受諾可能なレビューに対し検出速度が十分であることを確実にすることが必要である。関連したメタデータを抽出する処理デジタルコンテンツは、コンテンツに適用されるアルゴリズムが高複雑度を有するため、または大量のデジタルコンテンツが原因で、一般にＣＰＵの負担が大きく、時間のかかるタスクである。例えば、毎秒２４フレームの９０分の映画は、１２９，６００の単独フレームで構成され、それに対するメタデータを処理する必要がある。従って、全処理が分割され、一部のタスクは、ネットワーククラウド内の単独のプロセッサに分散されて、並行して処理が実行される。図３は、適したネットワークアーキテクチャを示す。「マスター」プロセス６は、コンテンツのセットアップ、アルゴリズム、処理などを管理する。異なる処理ノードにおける複数の「ワーカ」プロセス７は、その後マスター６によって割り当てられる処理ジョブを実行する。
【００２７】
以下において、デジタルコンテンツを、例えば、映画のフレームのような、単独ユニットに分割することができて、かつ用いられるアルゴリズムを単独の処理ステップに分割することができると仮定する。
【００２８】
ワーカ７によって実装される手順は、とても単純である。ワーカ７は、マスター６による処理ジョブの割り振りを待ち受ける。１または複数の処理ジョブがワーカ７に割り当てられた時、ワーカ７は、ジョブ（複数）を処理する。ワーカ７の処理速度についての指標(indication)を有する肯定応答は、処理ジョブが終わった時または定義されたタイムアウトの期限が切れた時に、マスター６に送信される。後者は、ワーカ７がまだ有効(alive)であることをマスター６に通知する。
【００２９】
マスタープロセス６は、処理ジョブを異なるワーカプロセス７に提供しなければならない。このため、処理を（最小の）処理ユニットに分割するという解決手段が提案される。例えば、映画のフレームなどの、すべてのコンテンツユニットは、アルゴリズムの処理ステップに分割される。分割を組み合わせることで、処理ジョブをワーカ７にスマートに割り振る。処理ジョブを、いくつかの処理ユニットで構成することができる。一方、最小の処理ユニットだけをワーカ７に割り振ることは、管理オーバーヘッドが大きくなるので、処理があまり効率的でないという不利を被る恐れがある。また、映画フレームの長いシーケンスに対し、アルゴリズムがより効率的に機能する見込みがある。例えば、１つのフレームに適用される動き推定は、少なくとも先行フレームと後続フレームを分析する必要があるだろう。従って、１フレームに対して３フレームを分析しなければならないだろうし、連続１０フレームのシーケンスでは、１０フレームに対して１２フレームのみを分析すればよいので、かなり効率がよくなるだろう。一方、大きすぎる処理ジョブは、処理と同時に起こる（レビュー用の)通常の再生がより困難になるという不利を被るだろう。これらの問題の解決手段は、ワーカ２に割り振られる処理ジョブに対して最小の処理ユニットをアジャイル構成することである。処理ジョブの構成およびサイズは、ワーカ２の性能およびコンテンツシーケンスの有用なクラスタリングに重点が置かれる。ワーカ２に割り振られる次の処理ジョブは、常に、再生およびレビューのために次に必要となる、割り振られていない処理ジョブから開始する。
【００３０】
マスタープロセス６の実装を、図４に概略的に示す。第１ステップ３０において、処理は、（最小の）処理ユニットに分割される。このため、デジタルコンテンツ全体は、コンテンツユニットに分割されて、処理アルゴリズムは、（最小の）処理ステップに分割される。同時にメタデータグラフは、すべての処理ユニットを「処理されていない／割り振られていない」とするエントリーで初期化される。次のステップ３１において、最初の処理ジョブは、ワーカ７に割り振られる。処理ジョブを、例えば、処理アルゴリズム全体が映画の一部のフレームに適用されるなどの、いくつかの処理ユニットから構成することができる。最初の処理ジョブのすべての処理ユニットに対応するメタデータグラフのエントリーは、その後、「ワーカに割り振られる、、」に設定される。続いて、ステップ３２において、処理ユニットまたは処理ジョブに対する肯定応答がワーカＸから受信されたかどうかがチェックされる。処理ジョブが全部終わった時、または定義されたタイムフレームの期限が切れた時に、どのワーカも肯定応答を送信する。肯定応答は、現在の処理ジョブの進捗用のエントリーを包含し、それによって、マスタープロセス６がその進捗バーに従って更新するのが可能になる。肯定応答は、ワーカの現在の処理速度用のエントリーも包含する。ワーカＸから肯定応答が受信されて、その後、ステップ３３において、そのすべてのワーカＸの性能値が計算される。マスタープロセス６は、肯定応答のエントリーからおよび／または肯定応答間の自己測定値からすべてのワーカの性能値、例えば、毎秒処理されるフレーム数などを計算する。次のステップ３４において、ワーカＸが新しい処理ジョブを必要とするかどうかを決定する。全部の処理ジョブを終えた後、ステップ３５において、新しい処理ジョブがワーカに割り振られる。ワーカＸに割り振られるジョブのサイズは、ワーカＸの性能で割られたジョブの最大時間から計算される。これは、ジョブが、そのジョブの最大時間の後に終わることを確実にする。新しい処理ジョブがワーカＸに割り振られる時、適切なメッセージがワーカに送信されて、このような処理ジョブのすべての処理ユニットのメタデータグラフのエントリーが「ワーカＸに割り振られた」に設定される。最後に、ステップ３６において、ワーカＸによって提供された新しいメタデータと、マスタープロセス６によって管理されているメタデータのデータベースとが組み合わされる。さらに、メタデータグラフ表現のメタデータ値が決定する。メタデータグラフにおいて、メタデータ値は、例えば、メタデータのプレビュー、メタデータ自体などの、異なる表現を有することができる。決定されたメタデータ表現は、その後、メタデータグラフに挿入される。
【００３１】
マスタープロセスの上記の実装は、メタデータの生成に適しているだけでなく、メタデータのデジタルコンテンツへの適用、例えば、事前に生成されたメタデータに基づくデジタルコンテンツの自動修復にも適している。この場合、メタデータの適用は、処理ノード７に割り振られる、複数の処理タスクに分割される。もちろん、処理タスクの割り振りに加えて、必要なメタデータならびにデジタルコンテンツも、処理ノード７に分散される必要がある。処理ノード７によって生成された変更されたデジタルコンテンツは、その後、マスター６によって収集されて、出力ユニット上で可視化される。
【００３２】
マスタープロセス６のグラフィカルユーザインタフェース４０を図５に示す。そのユーザインタフェースは、破線の長方形で示されている、潜在的メタデータ注釈を含む実ビデオフレームのディスプレイ領域４１を備える。メタデータグラフのディスプレイ領域４２は、フレームの割り振りおよび処理状態ならびにすでに使用可能なメタデータについての情報を与える。情報領域４３は、メタデータグラフのディスプレイ領域４２の凡例ならびに現在実行されているアルゴリズムについての情報、アクティブなワーカの数、処理速度などを包含する。図５の例において、現在表示されているフレームは、メタデータグラフのディスプレイ領域４２において、線で結ばれた人形が強調表示されている。黒いバーは、対応するフレームの実メタデータ値を指し、区切られた(hashed)バーは、まだ割り振られていないフレームを表し、そして白とグレーのバーは、割り振られたフレームを表し、そこでのグレーのバーは、対応する処理ステップが現在実行されていることを意味する。白とグレーのバー内の数字は、処理ステップが割り振られるワーカを指す。
【００３３】
メタデータ処理の結果をトラックするために、コンテンツは、メタデータ注釈を用いて再生される。アルゴリズムによって、コンテンツおよびワーカ速度や処理時間が異なる。従って、再生速度は、再生位置を現在の処理位置近くに保つように調整される必要がある。図６は、再生速度を調整するのに適した方法を示す。第１のステップ５０において、現在表示されているフレームが、指定された表示期間にすでに表示されていたかどうかが繰り返しチェックされる。すでに表示されていた場合、ステップ５１において、メタデータが、次のフレームに使用可能であるかどうかがチェックされる。使用可能な場合、ステップ５２において、次のフレームおよび関連するメタデータが、読み込まれて、表示される。次のステップ５３において、現在の再生位置の後に処理されたフレームの数が増えたかどうかがチェックされる。フレーム数が増えた場合、ステップ５４において、指定された表示期間は、再生を加速するために短縮される。フレーム数が増えていない場合、ステップ５５において、現在の再生位置の後に処理されたフレームの数が減ったかどうかが決定される。フレーム数が減った場合、ステップ５６において、指定された表示期間は、再生を減速するために延長される。
【００３４】
マスタープロセス６を実行するのに適用される装置６０を、図７に概略的に示す。装置６０は、プロセッサ６１を備え、そのプロセッサは、メタデータ生成を複数の処理タスクに分割し、かつインタフェース６２経由で、複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノード７に割り振る。データコレクタ６３は、２以上の処理ノード７によって生成されたメタデータを収集する。可視化コントローラ６４は、さらなるインタフェース６５経由で収集されたメタデータを、接続されている出力ユニット１上で可視化する。プロセッサ６１は、処理ノード７のうちの１または複数が、それらに割り振られたタスクを完了したかどうかを継続してモニタするので、さらなる処理タスクを提供する必要がある。
【技術分野】
【０００１】
本発明は、デジタル画像シーケンスのような、デジタルコンテンツのメタデータを生成するための方法および装置に関する。より詳細には、メタデータの生成が行われている最中に、すでに生成されたメタデータをレビューできるようにする、デジタルコンテンツのメタデータを生成するための方法および装置を説明する。
【背景技術】
【０００２】
映画フィルムは、我々の文化遺産の一部である。残念ながら、映画フィルムは、擦り傷、埃、泥、染み、磨耗その他の、好ましくないものによって影響を受けることが多い。これらは、通常、フィルム映像の現像、処理、保存、および映写または走査を行う技術的プロセスから生じる。いくつかの稀なケースではあるが、例えば、レンズの綿毛やスキャナガラス面の泥などの、静止した対象物を捕まえる際にも引き起こされる恐れがある。以下におけるこのようなすべての欠点を、単に「擦り傷および泥」と呼ぶこととする。
【０００３】
擦り傷および泥は、映画鑑賞の質や楽しみを損なう。これは、ほとんどの場合、視覚情報の相当量が失われるからではない。実際には、その反対が当てはまり、擦り傷および泥は、余分な量の情報を提供するが、その情報は、全く関連がない。人間の脳は、その視覚の日常経験に基づいて、欠落した関連情報の代わりをするのに非常に有効である。しかし、世の中の物理的な物事に対する脳の経験による通常の見え方や振る舞い方は、影響を受けた映像を見る時にいつも侵害される。例えば、走査または映写中、フィルムに付着した泥は、一方のフレーム内では現れ、他方のフレーム内では消えている。これは、通常、滑らかに現れて、移動し、そして消える対象物についての人間の経験と相反し、異常な視覚的刺激を例外として脳に対処させる。従って、関連がない情報と関連情報とをこのようにして区別することは、視聴者のストレスを増やし、疲れさせる。擦り傷および泥の除去は、視聴者がリラックスして映画の内容に集中するのを保つのに必要であり、従って、どの修復プロセスでも重要な部分である。
【０００４】
好適には、修復は、走査した後、デジタル処理で実行されることである。走査の前に、泥および潜在的な擦り傷を減らすために化学洗浄処理で溶剤を注入する、湿式走査技術があるが、その技術は、とても費用がかかるいくつかの技術的な問題があるために広く使用されていない。さらに、多くの映像はすでに、走査されてデジタル処理でテープに保管されている。
【０００５】
多くの作業面でアーティストを手助けするソフトウェアが市場に出ているが、擦り傷および泥がついた対象物をそれぞれ見つけて除去することによって、デジタルフィルムを手作業で修復するのは、明らかに時間のかかる仕事である。特に、大量の擦り傷か、または泥が付いた古いコンテンツを手で修復するのは、経済的に実行不可能である。これは、商品価値が未知である映像を大量に保管する場合、なおさら不可能である。
【０００６】
擦り傷および泥の検出および除去を試みるアルゴリズムを有する自動修復ソフトウェアの適用は、手による処理の唯一実行可能な代替手段である。今のところ、擦り傷および泥の検出および除去をほぼ自動的に行う、いくつかのソフトウェアおよびハードウェア製品が市販されている。通常、あるパラメータを手で調整することは、検出および除去を微調整するのに必要であり、各場面を個々に調整することもある。処理の後、修復された出力またはその一部は、異なるパラメータを用いて修復を再実行するオプションで、受諾か、または拒否を行わなければならない。これは、調整に時間がかかり、まだ特別に適合できていない重大な場面の品質が十分でないので、満足ではない。擦り傷および泥の検出は、現在完全には解決されていない重要な問題である。検出されないか、または誤って検出される対象物がなおも一定の割合で存在する。
【０００７】
最近では、メタデータ自動駆動のワークフローを使用して、修復プロセスを、例えば、擦り傷および泥がついた対象物などの、対象物の検出と除去とに区別することが提案されている。言い換えれば、第１ステップにおいて、アーチファクトが検出されて、検出されたアーチファクトについての情報は、メタデータのデータベースに保存される。保存されたメタデータは、その後、第２ステップの前にオペレータによってレビューされ、第２ステップにおいて、検出されたアーチファクトは、メタデータのデータベースに保存された情報に基づいて画像から除去される。この手法の難点は、検出プロセスが完了するまでレビューを開始することができないことである。
【０００８】
従って、本発明の目的は、デジタルコンテンツのメタデータを生成するための方法を提案することであり、その方法によって、全部のデジタルコンテンツが分析される前に生成されたメタデータをレビューするのを可能にする。
【０００９】
発明に従って、デジタルコンテンツのメタデータを生成するための方法は、
−メタデータ生成を複数の処理タスクに分割するステップと、
−複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り当てるステップと、
−２以上の処理ノードによって生成されたメタデータを収集するステップと、
−収集されたメタデータを出力ユニット上に可視化するステップとを備える。
【００１０】
これによって、デジタルコンテンツのメタデータを生成するための装置は、
−メタデータ生成を複数の処理タスクに分割し、かつ複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り当てるためのプロセッサと、
２以上の処理ノードによって生成されたメタデータを収集するためのデータコレクタと、
収集されたメタデータを出力ユニット上に可視化するための可視化コントローラとを備える。
【発明の概要】
【００１１】
発明に従った解決手段は、デジタルコンテンツの必要な処理を、例えば、ネットワーククラウド内の、複数の処理ノードに分散することによって、メタデータの即時処理および即時レビューの問題を解決する。処理ノードによって得られた結果は、その後、中央ノードにおいて収集されて、可視化される。このようにして、デジタルコンテンツおよび生成されたメタデータは、処理をバックグラウンドで継続している間に、注釈を用いて（処理速度以下で）再生されるか、または単独でレビューされることができる。デジタルコンテンツの処理および適切なメタデータの生成は、幅広いコンテンツか、または入り組んだ処理アルゴリズムのために、極めて複雑で時間がかかることもあるので、処理タスクを複数の処理ノードに分散し、同時レビューを可能にするのに十分な速さでメタデータを使用可能にすることによって時間を節約できる。また、パラメータのセットアップが処理に必要な場合、異なる設定を迅速にテストすることができる。
【００１２】
有利なことに、収集されたメタデータは、後処理される。処理ノードは、デジタルコンテンツのごく一部だけに機能するので、収集されたメタデータの後処理は、デジタルコンテンツの大部分または全部のデジタルコンテンツまでも考慮に入れることが可能になる。もちろん、収集されたメタデータおよび／またはデジタルコンテンツへの手動ナビゲーションも、生成されたメタデータをレビューするのに適している。
【００１３】
好ましくは、さらなる処理タスクは、レポートされる状態に依存する処理ノードに割り振られる。処理ノードが、自身に割り振られた処理タスクを完了したことをシグナルした時、この処理ノードは、さらなる処理に使用可能である。従ってすべての処理ノードが継続して動作することを確実にする。
【００１４】
好適には、収集されたメタデータに加え、処理タスクの割り振りおよび／または割り振られた処理タスクの現在の処理状態も可視化される。これは、分散された処理の幅広いトラッキングをその処理と同時に行うことを可能にする。
【００１５】
好ましくは、収集されたメタデータの可視化は、さらなるメタデータが読み出される時に更新され、処理タスクの割り振りの可視化は、さらなる処理タスクが割り振られる時に更新され、あるいは割り振られた処理タスクの現在の処理状態の可視化は、処理状態が変わる時に更新される。このようにして、中央ノードが現在の処理状態の最新の可視化を常に提供することを確実にする。
【００１６】
有利なことに、異なる色、形またはマークは、割り振られていないまたは処理されていない処理タスク、割り振られた処理タスクの割り振りおよび処理状態、および生成されたメタデータを表示するのに使用される。さらに、メタデータは、好ましくは、出力ユニット上で可視化するためにクラスタ化される。両方の手段は、人間のレビューワ(reviewer)が、どのように処理タスクが割り振られて処理されるか、そしてどんなメタデータがすでに使用可能であるかを容易に把握できることを確実にする。
【００１７】
好適には、処理タスクは、例えば、映画のフレームまたはチャンクなどの、デジタルコンテンツ部、および／またはアルゴリズムの処理ステップに関わる。言い換えれば、処理ノードは、デジタルコンテンツの異なる部分で同じ動作を実行するか、またはデジタルコンテンツの同じ部分で大規模な動作のうちの１または複数のステップを実行するか、またはその両方を混ぜて実行する。
【００１８】
有利なことに、処理ノードの処理速度および／または処理ノードの蓄積された処理速度が決定される。これによって、処理ノードの性能を処理タスクの割り振りの考慮に入れることが可能になる。例えば、処理速度が速い処理ノードを、要求の多い処理タスクに割り当てることができる一方、性能が低い処理ノードは、要求の少ない処理タスクを受信する。このようにして、処理タスクは、スマートに分散されて、使用可能な機器は、非常に効率的に使用される。さらに、蓄積された処理速度は、メタデータのレビュープロセスの再生速度を制御するのに適している。
【００１９】
上記の発明では、メタデータの生成に関して説明しているが、同じく発明は、メタデータのデジタルコンテンツへの適用、例えば、事前に生成されたメタデータに基づくデジタルコンテンツの自動修復に適している。この場合、メタデータの適用は、複数の処理タスクに分割されて、処理タスクは、処理ノードに割り振られる。処理タスクの割り振りに加えて、必要なメタデータならびにデジタルコンテンツも処理ノードに分散される。処理ノードによって生成された変更されたデジタルコンテンツは、その後、メーザによって収集されて、出力ユニット上で可視化される。
【図面の簡単な説明】
【００２０】
さらに理解を深めるために、本発明を、以下の説明において図面を参照しながらより詳細に説明していく。本発明は、この例示的な実施形態に限定されないこと、および指定された特徴は、添付の特許請求の範囲に定義された通りに、本発明の範囲から逸脱することなく便宜上組み合わされ、および／または変更されることもできることを理解されたい。
【図１】データセットを可視化するための方法を示す図である。
【図２】図１の方法に従ってデータセットの可視化を示す図である。
【図３】発明に従って方法を実装するのに適したネットワークアーキテクチャを概略的に示す図である。
【図４】マスタープロセスの実装を概略的に示す図である。
【図５】マスタープロセスのユーザインタフェースを示す図である。
【図６】マスタープロセスの再生速度を調整するための方法を示す図である。
【図７】マスタープロセスを実行するように適合された装置を概略的に示す図である。
【発明を実施するための形態】
【００２１】
まず始めに、大規模なデータセットを可視化するための解決手段を説明していくが、その解決手段は、後で説明するように、好適には、マスタープロセスの監視に使用される。
【００２２】
図１は、データセットを可視化する出力ユニット１の概略的な図である。出力ユニット１は、例えば、ＴＦＴディスプレイなどの画面２を含む。もちろん、同じく出力ユニット１は、グラフィカルユーザインタフェース（ＧＵＩ）のウィンドウであってよい。出力ユニット１は、水平方向に最大解像度Ｘを有し、その解像度は、画面またはＧＵＩのウィンドウの使用可能な水平ピクセルによって定義される。出力ユニット１は、データセットを可視化する出力信号ＯＳを出すための装置３に結合されている。好適には、装置３は、例えば、パーソナルコンピュータまたはワークステーションユニットまたは同様の、コンピュータである。出力信号ＯＳは、好適には、装置３によって画面２に出されるビデオ信号の一部である。
【００２３】
メタデータ情報、即ち、長さＳのメタデータベクトルＭが、装置３に入力される。メタデータベクトルＭの長さＳは、ベクトルが、いくつかのメタデータ要素Ｓを備えるという意味であり、例えば、いくつかのメタデータ要素Ｓから成るメタデータのセットを備える。メタデータ要素は、例えば、フレームのコントラストなどの、単一値、または、例えば、コントラストおよび輝度値などの、データのセットであってよい。装置３は、メタデータベクトルＭを処理して、出力ユニット１上で可視化するように構成される。メタデータベクトルＭは、バー４、５のそれぞれが、例えば、４つの水平ピクセル（２つの黒ピクセルと２つの白ピクセル）を有する、複数のバー４、５として可視化される。一部のバー５は、これらのバー５の基礎を形成するいくつかのメタデータ要素がまだ不足していることを示した、強調表示が使われている（バツ印が付いたピクセルで示す）。
【００２４】
図２は、メタデータベクトルＭを処理して可視化するための方法を概略的に示す。第１ステップ１０において、出力ユニット１の最大水平解像度Ｘが決定される。続いて、ステップ１１において、バー４、５当たりの水平ピクセルの数Ｎが、例えば、ユーザ入力コマンドによって決定される。代替としては、バー４、５当たりの水平ピクセルの数Ｎは、所定の値である。さらにステップ１２において、Ｂ＝ＦＬＯＯＲ（Ｘ／Ｎ）を計算することによって、表示可能な８つのバーの最大数が決定される。そこでのＦＬＯＯＲは、負の無限大方向の丸め演算である。表示可能なバー４，５の最大数Ｂが分かると、ステップ１３において、単一バーにクラスタ化されなければならないメタデータ要素の数は、Ｃ＝ＣＥＬＬ（Ｓ／Ｂ）によって計算される。そこでのＣＥＬＬは、正の無限大方向の丸め演算である。メタデータベクトルＭの第１のメタデータ要素から始まり、各要素は、それぞれのクラスタに割り当てられる。Ｓ／Ｂ＞０の余り（余り（Ｓ，Ｂ）＞０）がある場合、最後のクラスタは、それ以外のクラスタのサイズよりも小さくなる。ステップ１４において、実メタデータが、例えば、レポジトリやネットワークによって、またはオペレータによって読み出されると、ステップ１５において、実データは、決定されたクラスタ数にクラスタ化される。オペレータの入力または一般仕様に依存して、ステップ１６において、所定の関数、例えば、マックス関数などが、それぞれのクラスタの各メタデータ要素に適用される。ステップ１６において関数が適用されると、クラスタ内のまだ使用されていない要素は、無視される。関数の結果はその後、ステップ１７において、それぞれのクラスタに割り当てられる。不足している要素をレビューワに警告するために、ステップ１８において、完了していないクラスタは、例えば、色、テクスチャ、マーカーなどによってマークされる。最後に、ステップ１９において、値がバーの高さで表示される。メタデータベクトルＭの要素が変わるたびに、即ち、不足している要素が使用できるようになった時または要素が新しい値を得た時、所望の関数は再度、対応するクラスタに適用されて、表示が更新される。このため、ステップ２０において、メタデータベクトルＭの要素がモニタされる。有利なことに、要素が変わるたびに表示が更新される。もちろん、例えば、あまりにも頻繁に更新するのを避けるために、要素の定義された最小数が変わった時にのみ、同じく表示を更新することが可能である。また、好適には、方法の残りのステップが実行される前に、要素の最小数が、まず第一に読み出される。このようにして、有意味な表示をオペレータが使用できるようにすることを確実にする。好適には、変更される必要のある要素の最小数および／または最初に読み出される必要のある要素の数は、ユーザによって設定可能である。
【００２５】
以下において、本発明の着想を、フィルム修復プロセスに関連して説明する。もちろん、その着想は、分散したやり方で実行し、しかも表示可能な結果を配信することができる、他のプロセスに同じく適用可能である。
【００２６】
検出とフィルム修復プロセスのレビューステップとを組み合わせるために、受諾可能なレビューに対し検出速度が十分であることを確実にすることが必要である。関連したメタデータを抽出する処理デジタルコンテンツは、コンテンツに適用されるアルゴリズムが高複雑度を有するため、または大量のデジタルコンテンツが原因で、一般にＣＰＵの負担が大きく、時間のかかるタスクである。例えば、毎秒２４フレームの９０分の映画は、１２９，６００の単独フレームで構成され、それに対するメタデータを処理する必要がある。従って、全処理が分割され、一部のタスクは、ネットワーククラウド内の単独のプロセッサに分散されて、並行して処理が実行される。図３は、適したネットワークアーキテクチャを示す。「マスター」プロセス６は、コンテンツのセットアップ、アルゴリズム、処理などを管理する。異なる処理ノードにおける複数の「ワーカ」プロセス７は、その後マスター６によって割り当てられる処理ジョブを実行する。
【００２７】
以下において、デジタルコンテンツを、例えば、映画のフレームのような、単独ユニットに分割することができて、かつ用いられるアルゴリズムを単独の処理ステップに分割することができると仮定する。
【００２８】
ワーカ７によって実装される手順は、とても単純である。ワーカ７は、マスター６による処理ジョブの割り振りを待ち受ける。１または複数の処理ジョブがワーカ７に割り当てられた時、ワーカ７は、ジョブ（複数）を処理する。ワーカ７の処理速度についての指標(indication)を有する肯定応答は、処理ジョブが終わった時または定義されたタイムアウトの期限が切れた時に、マスター６に送信される。後者は、ワーカ７がまだ有効(alive)であることをマスター６に通知する。
【００２９】
マスタープロセス６は、処理ジョブを異なるワーカプロセス７に提供しなければならない。このため、処理を（最小の）処理ユニットに分割するという解決手段が提案される。例えば、映画のフレームなどの、すべてのコンテンツユニットは、アルゴリズムの処理ステップに分割される。分割を組み合わせることで、処理ジョブをワーカ７にスマートに割り振る。処理ジョブを、いくつかの処理ユニットで構成することができる。一方、最小の処理ユニットだけをワーカ７に割り振ることは、管理オーバーヘッドが大きくなるので、処理があまり効率的でないという不利を被る恐れがある。また、映画フレームの長いシーケンスに対し、アルゴリズムがより効率的に機能する見込みがある。例えば、１つのフレームに適用される動き推定は、少なくとも先行フレームと後続フレームを分析する必要があるだろう。従って、１フレームに対して３フレームを分析しなければならないだろうし、連続１０フレームのシーケンスでは、１０フレームに対して１２フレームのみを分析すればよいので、かなり効率がよくなるだろう。一方、大きすぎる処理ジョブは、処理と同時に起こる（レビュー用の)通常の再生がより困難になるという不利を被るだろう。これらの問題の解決手段は、ワーカ２に割り振られる処理ジョブに対して最小の処理ユニットをアジャイル構成することである。処理ジョブの構成およびサイズは、ワーカ２の性能およびコンテンツシーケンスの有用なクラスタリングに重点が置かれる。ワーカ２に割り振られる次の処理ジョブは、常に、再生およびレビューのために次に必要となる、割り振られていない処理ジョブから開始する。
【００３０】
マスタープロセス６の実装を、図４に概略的に示す。第１ステップ３０において、処理は、（最小の）処理ユニットに分割される。このため、デジタルコンテンツ全体は、コンテンツユニットに分割されて、処理アルゴリズムは、（最小の）処理ステップに分割される。同時にメタデータグラフは、すべての処理ユニットを「処理されていない／割り振られていない」とするエントリーで初期化される。次のステップ３１において、最初の処理ジョブは、ワーカ７に割り振られる。処理ジョブを、例えば、処理アルゴリズム全体が映画の一部のフレームに適用されるなどの、いくつかの処理ユニットから構成することができる。最初の処理ジョブのすべての処理ユニットに対応するメタデータグラフのエントリーは、その後、「ワーカに割り振られる、、」に設定される。続いて、ステップ３２において、処理ユニットまたは処理ジョブに対する肯定応答がワーカＸから受信されたかどうかがチェックされる。処理ジョブが全部終わった時、または定義されたタイムフレームの期限が切れた時に、どのワーカも肯定応答を送信する。肯定応答は、現在の処理ジョブの進捗用のエントリーを包含し、それによって、マスタープロセス６がその進捗バーに従って更新するのが可能になる。肯定応答は、ワーカの現在の処理速度用のエントリーも包含する。ワーカＸから肯定応答が受信されて、その後、ステップ３３において、そのすべてのワーカＸの性能値が計算される。マスタープロセス６は、肯定応答のエントリーからおよび／または肯定応答間の自己測定値からすべてのワーカの性能値、例えば、毎秒処理されるフレーム数などを計算する。次のステップ３４において、ワーカＸが新しい処理ジョブを必要とするかどうかを決定する。全部の処理ジョブを終えた後、ステップ３５において、新しい処理ジョブがワーカに割り振られる。ワーカＸに割り振られるジョブのサイズは、ワーカＸの性能で割られたジョブの最大時間から計算される。これは、ジョブが、そのジョブの最大時間の後に終わることを確実にする。新しい処理ジョブがワーカＸに割り振られる時、適切なメッセージがワーカに送信されて、このような処理ジョブのすべての処理ユニットのメタデータグラフのエントリーが「ワーカＸに割り振られた」に設定される。最後に、ステップ３６において、ワーカＸによって提供された新しいメタデータと、マスタープロセス６によって管理されているメタデータのデータベースとが組み合わされる。さらに、メタデータグラフ表現のメタデータ値が決定する。メタデータグラフにおいて、メタデータ値は、例えば、メタデータのプレビュー、メタデータ自体などの、異なる表現を有することができる。決定されたメタデータ表現は、その後、メタデータグラフに挿入される。
【００３１】
マスタープロセスの上記の実装は、メタデータの生成に適しているだけでなく、メタデータのデジタルコンテンツへの適用、例えば、事前に生成されたメタデータに基づくデジタルコンテンツの自動修復にも適している。この場合、メタデータの適用は、処理ノード７に割り振られる、複数の処理タスクに分割される。もちろん、処理タスクの割り振りに加えて、必要なメタデータならびにデジタルコンテンツも、処理ノード７に分散される必要がある。処理ノード７によって生成された変更されたデジタルコンテンツは、その後、マスター６によって収集されて、出力ユニット上で可視化される。
【００３２】
マスタープロセス６のグラフィカルユーザインタフェース４０を図５に示す。そのユーザインタフェースは、破線の長方形で示されている、潜在的メタデータ注釈を含む実ビデオフレームのディスプレイ領域４１を備える。メタデータグラフのディスプレイ領域４２は、フレームの割り振りおよび処理状態ならびにすでに使用可能なメタデータについての情報を与える。情報領域４３は、メタデータグラフのディスプレイ領域４２の凡例ならびに現在実行されているアルゴリズムについての情報、アクティブなワーカの数、処理速度などを包含する。図５の例において、現在表示されているフレームは、メタデータグラフのディスプレイ領域４２において、線で結ばれた人形が強調表示されている。黒いバーは、対応するフレームの実メタデータ値を指し、区切られた(hashed)バーは、まだ割り振られていないフレームを表し、そして白とグレーのバーは、割り振られたフレームを表し、そこでのグレーのバーは、対応する処理ステップが現在実行されていることを意味する。白とグレーのバー内の数字は、処理ステップが割り振られるワーカを指す。
【００３３】
メタデータ処理の結果をトラックするために、コンテンツは、メタデータ注釈を用いて再生される。アルゴリズムによって、コンテンツおよびワーカ速度や処理時間が異なる。従って、再生速度は、再生位置を現在の処理位置近くに保つように調整される必要がある。図６は、再生速度を調整するのに適した方法を示す。第１のステップ５０において、現在表示されているフレームが、指定された表示期間にすでに表示されていたかどうかが繰り返しチェックされる。すでに表示されていた場合、ステップ５１において、メタデータが、次のフレームに使用可能であるかどうかがチェックされる。使用可能な場合、ステップ５２において、次のフレームおよび関連するメタデータが、読み込まれて、表示される。次のステップ５３において、現在の再生位置の後に処理されたフレームの数が増えたかどうかがチェックされる。フレーム数が増えた場合、ステップ５４において、指定された表示期間は、再生を加速するために短縮される。フレーム数が増えていない場合、ステップ５５において、現在の再生位置の後に処理されたフレームの数が減ったかどうかが決定される。フレーム数が減った場合、ステップ５６において、指定された表示期間は、再生を減速するために延長される。
【００３４】
マスタープロセス６を実行するのに適用される装置６０を、図７に概略的に示す。装置６０は、プロセッサ６１を備え、そのプロセッサは、メタデータ生成を複数の処理タスクに分割し、かつインタフェース６２経由で、複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノード７に割り振る。データコレクタ６３は、２以上の処理ノード７によって生成されたメタデータを収集する。可視化コントローラ６４は、さらなるインタフェース６５経由で収集されたメタデータを、接続されている出力ユニット１上で可視化する。プロセッサ６１は、処理ノード７のうちの１または複数が、それらに割り振られたタスクを完了したかどうかを継続してモニタするので、さらなる処理タスクを提供する必要がある。
【特許請求の範囲】
【請求項１】
デジタルコンテンツのメタデータを生成するための方法であって、
−メタデータ生成を複数の処理タスクに分割するステップと、
−前記複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り振るステップと、
−前記２以上の処理ノードによって生成されたメタデータを収集するステップと、
−前記収集されたメタデータを出力ユニット上で可視化するステップと
を備えることを特徴とする方法。
【請求項２】
前記デジタルコンテンツは、デジタルフィルムであり、および前記メタデータは、前記デジタルフィルム内で検出されるアーチファクトについての情報であることを特徴とする請求項１に係る方法。
【請求項３】
処理ノードが、それにレポートされる状態に依存して、さらなる処理タスクを割り振られるステップをさらに備えることを特徴とする請求項１または２に係る方法。
【請求項４】
処理タスクの前記割り振りおよび／または前記割り振られた処理タスクの現在の処理状態を可視化するステップをさらに備えることを特徴とする請求項１乃至３のうちの１つに係る方法。
【請求項５】
さらなるメタデータが読み出される時に前記収集されたメタデータの前記可視化を行うステップと、さらなる処理タスクが割り振られる時に処理タスクの前記割り振りの前記可視化を行うステップと、または処理状態が変わる時に前記割り振られた処理タスクの前記現在の処理状態の前記可視化を行うステップとをさらに備えることを特徴とする請求項１乃至４のいずれかに係る方法。
【請求項６】
異なる色、形またはマークは、割り振られていないまたは処理されていない処理タスク、割り振られた処理タスクの割り振りおよび処理状態、および生成されたメタデータ、を示すのに使用されることを特徴とする先行する請求項のうちの１つに係る方法。
【請求項７】
前記処理タスクは、前記デジタルコンテンツ部および／またはアルゴリズムの処理ステップに関連することを特徴とする先行する請求項のうちの１つに係る方法。
【請求項８】
前記デジタルコンテンツ部は、映画のフレームまたはチャンクであることを特徴とする請求項７に係る方法。
【請求項９】
前記出力ユニット上で可視化するためにメタデータをクラスタ化するステップをさらに備えることを特徴とする先行する請求項のうちの１つに係る方法。
【請求項１０】
前記処理ノードの処理速度および／または前記処理ノードの蓄積された処理速度を決定するステップをさらに備えることを特徴とする先行する請求項のうちの１つに係る方法。
【請求項１１】
前記蓄積された処理速度に基づいてメタデータのレビュープロセスの再生速度を制御するステップをさらに備えることを特徴とする請求項１０に係る方法。
【請求項１２】
前記メタデータをレビューするために前記収集されたメタデータおよび／または前記デジタルコンテンツへの手動ナビゲーションのステップをさらに備えることを特徴とする先行する請求項のうちの１つに係る方法。
【請求項１３】
デジタルコンテンツのメタデータを生成するための装置であって、
−メタデータ生成を複数の処理タスクに分割し、および前記複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り振るためのプロセッサと、
−前記２以上の処理ノードによって生成されたメタデータを収集するためのデータコレクタと、
−前記収集されたメタデータを出力ユニット上で可視化するための可視化コントローラと
を備えることを特徴とする装置。
【請求項１４】
メタデータをデジタルコンテンツに適用するための方法であって、
−メタデータの前記適用を複数の処理タスクに分割するステップと、
−前記複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り振るステップと、
−メタデータを前記２以上の処理ノードに分散するステップと
を備えることを特徴とする方法。
【請求項１５】
−前記２以上の処理ノードによって生成された変更されたデジタルコンテンツを収集するステップと、
−前記変更されたデジタルコンテンツを出力ユニット上で可視化するステップと
をさらに備えることを特徴とする請求項１４に係る方法。
【請求項１】
デジタルコンテンツのメタデータを生成するための方法であって、
−メタデータ生成を複数の処理タスクに分割するステップと、
−前記複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り振るステップと、
−前記２以上の処理ノードによって生成されたメタデータを収集するステップと、
−前記収集されたメタデータを出力ユニット上で可視化するステップと
を備えることを特徴とする方法。
【請求項２】
前記デジタルコンテンツは、デジタルフィルムであり、および前記メタデータは、前記デジタルフィルム内で検出されるアーチファクトについての情報であることを特徴とする請求項１に係る方法。
【請求項３】
処理ノードが、それにレポートされる状態に依存して、さらなる処理タスクを割り振られるステップをさらに備えることを特徴とする請求項１または２に係る方法。
【請求項４】
処理タスクの前記割り振りおよび／または前記割り振られた処理タスクの現在の処理状態を可視化するステップをさらに備えることを特徴とする請求項１乃至３のうちの１つに係る方法。
【請求項５】
さらなるメタデータが読み出される時に前記収集されたメタデータの前記可視化を行うステップと、さらなる処理タスクが割り振られる時に処理タスクの前記割り振りの前記可視化を行うステップと、または処理状態が変わる時に前記割り振られた処理タスクの前記現在の処理状態の前記可視化を行うステップとをさらに備えることを特徴とする請求項１乃至４のいずれかに係る方法。
【請求項６】
異なる色、形またはマークは、割り振られていないまたは処理されていない処理タスク、割り振られた処理タスクの割り振りおよび処理状態、および生成されたメタデータ、を示すのに使用されることを特徴とする先行する請求項のうちの１つに係る方法。
【請求項７】
前記処理タスクは、前記デジタルコンテンツ部および／またはアルゴリズムの処理ステップに関連することを特徴とする先行する請求項のうちの１つに係る方法。
【請求項８】
前記デジタルコンテンツ部は、映画のフレームまたはチャンクであることを特徴とする請求項７に係る方法。
【請求項９】
前記出力ユニット上で可視化するためにメタデータをクラスタ化するステップをさらに備えることを特徴とする先行する請求項のうちの１つに係る方法。
【請求項１０】
前記処理ノードの処理速度および／または前記処理ノードの蓄積された処理速度を決定するステップをさらに備えることを特徴とする先行する請求項のうちの１つに係る方法。
【請求項１１】
前記蓄積された処理速度に基づいてメタデータのレビュープロセスの再生速度を制御するステップをさらに備えることを特徴とする請求項１０に係る方法。
【請求項１２】
前記メタデータをレビューするために前記収集されたメタデータおよび／または前記デジタルコンテンツへの手動ナビゲーションのステップをさらに備えることを特徴とする先行する請求項のうちの１つに係る方法。
【請求項１３】
デジタルコンテンツのメタデータを生成するための装置であって、
−メタデータ生成を複数の処理タスクに分割し、および前記複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り振るためのプロセッサと、
−前記２以上の処理ノードによって生成されたメタデータを収集するためのデータコレクタと、
−前記収集されたメタデータを出力ユニット上で可視化するための可視化コントローラと
を備えることを特徴とする装置。
【請求項１４】
メタデータをデジタルコンテンツに適用するための方法であって、
−メタデータの前記適用を複数の処理タスクに分割するステップと、
−前記複数の処理タスクのうちの２以上の処理タスクを２以上の処理ノードに割り振るステップと、
−メタデータを前記２以上の処理ノードに分散するステップと
を備えることを特徴とする方法。
【請求項１５】
−前記２以上の処理ノードによって生成された変更されたデジタルコンテンツを収集するステップと、
−前記変更されたデジタルコンテンツを出力ユニット上で可視化するステップと
をさらに備えることを特徴とする請求項１４に係る方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１１４６９５（Ｐ２０１３−１１４６９５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２６１４８２（Ｐ２０１２−２６１４８２）
【出願日】平成２４年１１月２９日（２０１２．１１．２９）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１２−２６１４８２（Ｐ２０１２−２６１４８２）
【出願日】平成２４年１１月２９日（２０１２．１１．２９）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]