説明

映像処理装置

【課題】マルチ画面等の複数の映像ファイルを記録再生する装置において、同期記録されたファイルを検索する。
【解決手段】映像処理装置は、同時に表示すべき複数の映像データが入力される入力部と、映像データをファイル化し、映像ファイルとして記録媒体に記録する映像ファイル記録部と、映像データの時間的な位置づけを識別するための時間識別情報と映像データの空間的な位置づけを識別するため空間識別情報とを含む、映像ファイルに対応するファイル単位識別情報を生成するファイル単位識別情報生成部と、映像ファイルとともに、ファイル単位識別情報を記録媒体に記録する管理情報記録部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の映像データを記録し、記録した複数の映像データを同期して再生する映像処理装置に関するものである。
【背景技術】
【0002】
近年、光ディスクや、半導体メモリなどのランダムアクセス可能な記録媒体に、映像や音声データをファイル化して記録する装置が一般的になり、例えば、放送局や映像制作会社などにおいても、このような記録媒体を備えた編集装置を利用して映像編集作業などが行なわれている。このような映像編集作業を行なうため、映像や音声データなどのコンテンツデータは、これらコンテンツの付加情報であるメタデータとともに記録媒体に記録され、メタデータを利用して編集作業等の効率化が図られている。
【0003】
一方、これらの方法により制作された映像を提示する環境として、マルチ画面や超高精細画面に映し出すことが挙げられる。ここで、例えば、マルチ画面において、高精細化するためには、1つのモニタの解像度にあわせた複数の映像を利用することができれば、高精細の観点から言えば最も効果的である。また、超高精細画面においても、複数の高精細映像(例えばハイビジョン映像)を組み合わせることで超高精細映像(ハイビジョン映像より高精細な映像)を生成することが可能である。
【0004】
これらの映像データ群を処理する場合には、マルチ画面や超高精細映像の一部となる映像データを、複数同時に同期再生することで、これらの映像データ群を再生する。すなわち、記録媒体に記録される複数の映像データを同期再生する必要がある。この同期再生において、メタデータの一部である同期時刻情報や空間座標等の情報を用いる方法がある。例えば、特許文献1では映像データにおけるフレーム間で同期をとるためのタイムコードを、分割画像の圧縮画像データに多重して記録し、再生時に多重されたタイムコードを参照することで映像出力の同期を図る技術を開示している。また、特許文献2では同期表示させたいデータを、提示の際の時間的または空間的な位置(空間座標)により指定し、これらの情報を各データと対応づけて記録媒体に記録し、再生する際に参照することで映像と文字等の同期再生を図る技術を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平4−040184号公報
【特許文献2】特開平2−002598号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記従来の構成では、例えばユーザが様々なファイルの中から同一時刻にて同期記録されたファイル群を特定することが困難である課題がある。
【0007】
上記課題に鑑みて本発明の映像処理装置は、様々なファイルの中から同一時刻にて同期記録されたクリップ群を特定し、利便性を向上させる機能を提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、映像処理装置は、同時に表示すべき複数の映像データが入力される入力部と、前記複数の映像データを各々ファイル化し、映像ファイルとして記録媒体に記録する映像ファイル記録部と、前記映像データの時間的な位置づけを識別するための時間識別情報と前記映像データの空間的な位置づけを識別するため空間識別情報とを含む、前記映像ファイルに対応するファイル単位識別情報を生成するファイル単位識別情報生成部と、前記映像ファイルとともに、前記ファイル単位識別情報を前記記録媒体に記録する管理情報記録部と、を備える。
【発明の効果】
【0009】
上記の構成によって、映像処理装置は、記録媒体に記録される様々なクリップの中から同期記録されたクリップ群を特定し、同期再生することが可能になる。
【図面の簡単な説明】
【0010】
【図1】実施の形態1における映像処理装置の構成を示すブロック図
【図2】実施の形態1における複数の映像データの関係と空間的位置づけの具体例を示す図
【図3】実施の形態1における主記録再生部の構成を示すブロック図
【図4】実施の形態1における副記録再生部の構成を示すブロック図
【図5】実施の形態1における同期運転制御部の構成を示すブロック図
【図6】実施の形態1におけるコマンド制御部の構成を示すブロック図
【図7】実施の形態1における記録再生部の構成を示すブロック図
【図8】実施の形態1におけるフレーム単位識別情報の時間的位置づけの具体例を示す図
【図9】実施の形態1におけるファイル単位識別情報の時間位置づけの具体例を示す図
【図10】実施の形態1における同一クリップ群の構成を示す図
【図11】実施の形態1におけるクリップの構成を示す図
【図12】実施の形態1における管理情報の構成を示す図
【図13】実施の形態1における記録媒体のディレクトリ構成を示す図
【図14】実施の形態1におけるコンテンツIDの構成を示す図
【図15】実施の形態1におけるコンテンツIDと同一クリップ群との関係を示す模式図
【図16】実施の形態1におけるコマンドの構成例とコマンドの一例とを示す図
【図17】実施の形態1における同一クリップ群における各クリップの管理情報ファイルを示す図
【図18】実施の形態1における映像処理装置の再生処理の流れを示すフロー図
【図19】実施の形態1におけるコンテンツID取得処理の流れを示すフロー図
【図20】実施の形態1における再生ファイル特定処理の流れを示すフロー図
【図21】実施の形態1における再生位置Seek動作における処理の流れを示すフロー図
【図22】実施の形態1における同一クリップ群のクリップ不整合を通知する表示画面を示す図
【発明を実施するための形態】
【0011】
以下、図面を参照しながら実施の形態について説明する。
(実施の形態1)
(1.構成)
(1−1.映像処理装置の構成)
図1は、実施の形態1における映像処理装置の構成を示すブロック図である。映像処理装置は、主記録再生部12と、副記録再生部13、14と、記録系映像処理部10と、再生系映像処理部11と、操作入力部15とを有する。このような映像処理装置は、映像制作事業者や映像システム事業者などを対象とした業務用を目的とするものであり、音楽コンサートや競技会場での映像提示などに利用されている。例えば、競技会場において、カメラで取得した映像データは、主記録再生部12や副記録部13、14を介して着脱可能な記録媒体に記録される。その後、編集室内において、他の映像データとともに、この記録媒体に記録された映像データを用いて編集作業が行なわれる。さらに、編集作業が完了した映像データ(いわゆる完パケ)を記録媒体から再生し、映像データをスポーツイベント等にて映像提示する。
【0012】
図1に示す映像処理装置において処理される映像データの概要を説明する。図2は、本実施の形態における映像処理装置で扱う複数の映像データの関係を模式的に示した図である。本実施の形態の映像処理装置は、図2に示す映像1、映像2のような空間的位置づけにある複数の映像を同期して処理する装置である。図2(1)のように複数の映像データ(図中では、映像1、2の2つの映像データ)を入力する。入力された映像データは、図2(2)のように映像1と映像2との合成画と、映像1と、映像2と、をそれぞれ別の記録媒体に記録する。本実施の形態では、映像1と映像2との合成画については主記録再生部12に、映像1と映像2との映像データについては2つの副記録再生部13、14にぞれぞれ記録される。また、同様に映像1と映像2との合成画については主記録再生部12を、映像1と映像2との映像データについては2つの副記録再生部13、14を用いて再生し、図2(3)のように映像1と映像2との合成画と、映像1と、映像2と、をユーザに提示する。
【0013】
ここで、空間的位置づけとは、全画面の中での映像データの位置づけであり、例えば、映像1は左半分の映像データであり、映像2は右半分の映像データである各映像データの相互関係を指す。また、空間識別情報とは、空間的位置づけを表すための識別子を指し、例えば、左半分の映像データである映像1を1、右半分の映像データである映像2を2とすればよい。
【0014】
次に、図1に示す映像処理装置を構成する各部について具体的に説明する。
【0015】
記録系映像処理部10は、さらに、図1に示すように映像合成部100と、映像遅延部105、106と、第1コマンド多重部102と、第2コマンド多重部103、104と、から構成される。映像遅延部105と第2コマンド多重部103とが、副記録再生部13に提供される映像データを処理対象とする。映像遅延部106と第2コマンド多重部104とが、副記録再生部14に提供される映像データを処理対象とする。以下、各部の詳細を基本的な記録再生処理の流れに従って説明していく。
【0016】
映像合成部100は、入力される複数の映像データを合成して1つの映像データを作成する。映像遅延部105、106は、映像データを遅延させるものであり、映像合成部100における映像データの遅延量と同じ量の遅延を行う。この遅延により、映像合成部100と映像遅延部105、106との出力時における各映像データの位相が一致することになる。なお、映像合成部100と映像遅延部105、106とには、例えば、業務用として一般的に利用されるSMPTE(Society of Motion Picture and Television Engineers)−292Mにて規格化されているHD−SDI(High Definition Serial Digitail Interface)を用いて映像データを入力すればよい。
【0017】
第1コマンド多重部102は、主記録再生部12に提供するキー操作情報と、主記録再生部12と副記録再生部13、14との動作状態情報としてのコマンドと、を映像データに多重する。一方、第2コマンド多重部103、104は、副記録再生部13、14へ提供する指示情報としてのコマンドを多重する。この指示情報としてのコマンドは、主記録再生部12と副記録再生部13、14との同期動作を行うために利用している。第1コマンド多重部102と第2コマンド多重部103、104とは、多重するコマンドの内容(情報)の差異のみである。ここで、コマンドの映像データへの多重方法は、垂直ブランキング領域等に多重すればよく、一般的に広く利用されている技術であるため具体的な説明は省略する。
【0018】
図1において、操作入力部15は、ユーザからの操作を入力するためのブロックである。ユーザは例えば、「記録釦」、「再生釦」、「停止釦」等の釦操作にて操作を入力すればよい。操作入力部15は、このユーザにより入力された操作情報を第1コマンド多重部102へ提供する。
【0019】
再生系映像処理部11は、さらに、図1に示すように第1コマンド分離部110と第2コマンド分離部111、112とから構成される。
【0020】
第1コマンド分離部110は、主記録再生部12の映像データに多重されているコマンドを分離して、映像データのみを出力する。同様に第2コマンド分離部111、112は、副記録再生部13、14の映像データに多重されているコマンドを分離して、映像データのみを出力する。第2コマンド分離部111は、副記録再生部13から出力される映像データを処理対象とし、第2コマンド分離部112は、副記録再生部14から出力される映像データを処理対象とする。第1コマンド分離部110と第2コマンド分離部111、112との差異は、対応する記録再生部の違いのみである。この分離された動作状態情報としてのコマンドは、再び、主記録再生部12に入力するため第1コマンド多重部102に提供され、第1コマンド多重部102にて映像データに多重し、主記録再生部12に提供されることになる。
【0021】
主記録再生部12は、映像合成部100が出力する、複数の映像データを合成して生成した1つの映像データを、記録する。
【0022】
副記録生成部13、14は、入力された複数の映像データを、映像遅延部105、106で遅延させた後、それぞれの映像データを記録する。
(1−2.主記録再生部の構成)
主記録再生部12のより詳細な構成について説明する。図3は主記録再生部12のより詳細な構成を示すブロック図である。主記録再生部12は、さらに同期運転制御部202と、コマンド制御部201と、コマンド分離部200と、コマンド多重部204と、記録再生部203と、記録媒体210と、から構成される。
【0023】
コマンド分離部200は、主記録再生部12に提供される映像データを処理対象とし、第1コマンド多重部102にて映像データに多重されたコマンドを分離する。この分離した操作情報としてのコマンドと、動作状態情報としてのコマンドと、をコマンド制御部201に提供するとともに、コマンド分離後の映像データを記録再生部203に提供する。
【0024】
コマンド制御部201は、第1コマンド多重部102により供給されたコマンドを同期運転制御部202に提供する。また、同期運転制御部202から副記録再生部13、14への指示情報としてのコマンドを受信し、そのコマンドを記録再生部203に提供する。さらに、記録再生部203の動作状態(例えば、停止中、記録中、再生中等の動作を表すステータス情報)に基づいて動作状態情報としてのコマンドを作成し、コマンド多重部204に提供する。この動作状態情報としてのコマンドは、例えば、指示情報としてのコマンドに基づいて動作した記録再生部203のステータス情報を提供すればよく、例えば、記録時に、指示情報としてのコマンドが記録を示す「REC」であり、記録動作を開始した場合には、動作状態情報としてのコマンドも記録中を示す「STATUS_REC」とすればよい。
【0025】
同期運転制御部202は、映像処理装置としてのモード遷移処理を行うブロックであり、コマンド制御部201から供給されたコマンド(操作情報と動作状態情報としてのコマンド)を解釈し、映像処理装置全体としての次の動作モードを決定する。その後、その決定した動作モードに従って、副記録再生部13、14も同じ動作をさせるために副記録再生部13、14への指示情報としてのコマンドをコマンド制御部201に供給する。ここで、動作モードとは、映像処理装置全体として動作状態を表す。このような動作モード及び動作モード遷移の処理は一般的な映像処理装置にて広く利用されている技術であり、具体的な説明は省略する。
【0026】
記録再生部203は、コマンド分離部200から提供されたコマンド分離後の映像データ及び管理情報を、記録媒体210に映像ファイル及び管理情報ファイルとして記録し、また、記録媒体210に記録されている映像データ及び管理情報を再生するブロックである。また、記録再生部203は、記録時には記録される映像データを、再生時には、再生された映像データをコマンド多重部204に提供する。また、この記録再生部203の動作情報をステータス情報として保持してコマンド制御部201に提供する。
【0027】
なお、記録再生部203は、供給された映像データを圧縮符号化することもできる。圧縮符号化方式としては、例えば、広く利用されているMPEG(Moving Picture Experts Group)−2方式や、MPEG−4/AVC(Advanced Video Coding)方式、あるいは業務用のデジタルVTR(Video Tape Recoder)の規格の一つであるSMPTE(Society of Motion Picture and Television Engineers)−314M(DV−Based 25M)規格が挙げられる。なお、本実施の形態では、圧縮符号化方式に依存しないため、どのような圧縮符号化方式でも用いることができる。また、映像記録媒体210に十分な記録容量が確保できる場合には、映像データに対して圧縮符号化を施さなくてもよい。本実施の形態では、映像データの有効画素の輝度信号と色差信号を順番に並べて1つの映像ファイルとする非圧縮ファイル形式にて記録する形態を説明する。
【0028】
記録媒体210は、映像データ及び管理情報を映像ファイル及び管理情報ファイルとして記録する媒体である。本実施の形態では、記録媒体210は、主記録再生部12に対して着脱可能な形態とする。記録媒体210は、半導体メモリやハードディスクドライブや光ディスク等のランダムアクセス可能な媒体であればよい。本実施の形態では、記録媒体210に半導体メモリを用いた形態を説明する。半導体メモリは、ファイルとして記録再生可能なようにFAT等のファイルシステムにて管理されていればよい(一般的な技術であるため具体的な説明は省略する)。
【0029】
コマンド多重部204は、記録再生部203から提供された映像データに対して、同期運転制御部202からコマンド制御部201を介して提供される指示情報としてのコマンドを多重する。この指示情報としてのコマンドは、引き続き第2コマンド多重部103、104を介して副記録再生部13、14に供給される。
(1−3.副記録再生部の構成)
副記録再生部13、14のより詳細な構成について説明する。図4は、副記録再生部13、14のより詳細な構成を示すブロック図である。副記録再生部13、14は、コマンド制御部301と、コマンド分離部300と、コマンド多重部304と、記録再生部303と、記録媒体310と、から構成される。副記録再生部13、14と主記録再生部12とのブロック構成の差異は、同期運転制御部202を有するか否かのみである。
【0030】
コマンド制御部301とコマンド分離部300とコマンド多重部304と記録再生部303と記録媒体310とは、それぞれ主記録再生部12のコマンド制御部201とコマンド分離部200とコマンド多重部204と記録再生部203と記録媒体210とに対応し、主記録再生部12の各ブロックと同様の処理を行う。ただし、コマンド分離部300とコマンド多重部304にて多重又は分離されるコマンドの種類が異なる。コマンド分離部300では、主記録再生部12におけるコマンド分離部200とは異なり、指示情報としてのコマンドのみを分離し、コマンド多重部304では、動作状態情報としてのコマンドを多重するのみでよい。
(1−4.同期運転制御部の構成)
主記録再生部12を構成する同期運転制御部202のより詳細な構成について説明する。図5は、同期運転制御部202の構成を示すブロック図である。同期運転制御部202は、コマンド受信部500と、全体動作制御部501と、再生位置同期制御部502と、同一クリップ群検索部503と、コマンド発行部504と、基本コンテンツID生成部505と、から構成される。
【0031】
コマンド受信部500は、コマンド分離部200から提供された操作情報としてのコマンドと、動作状態情報としてのコマンドとを受信し、全体動作制御部501に提供する。
【0032】
全体動作制御部501は、コマンド受信部500から提供されたコマンドから映像処理装置全体を制御するための指示情報としてのコマンドを決定し、その決定したコマンドをコマンド発行部504に提供する。全体動作制御部501では、例えば、動作状態情報としてのコマンドがすべての記録再生部において「停止状態」を表す状態(「STATUS_STOP」)であり、操作情報としてのコマンドが記録を表すコマンド(「REC」)を受信した場合には、記録開始(「REC_START」)を表す指示情報としてのコマンドをコマンド発行部504に提供する。このような動作モードの遷移は一般的な映像処理装置に広く利用されている技術であるため具体的な説明は省略する。さらに、全体動作制御部501は、再生準備及び再生時には、同一クリップ群を検索する目的で同一クリップ群検索部503を利用したり、各記録再生部の再生位置を一致させる目的で再生位置同期制御部502を利用したりする。一方、記録時には、全体動作制御部501は、基本コンテンツID生成部505に対して基本コンテンツIDの取得指示を出し、基本コンテンツID生成部505から基本コンテンツIDを取得する。
【0033】
コマンド発行部504は、全体動作制御部501から供給された指示情報としてのコマンドをコマンド制御部201に提供する。
【0034】
基本コンテンツID生成部505は、全体動作制御部501からの指示に基づきコンテンツIDの基本部分を生成し、生成した基本コンテンツIDを全体動作制御部501に提供する。
【0035】
同一クリップ群検索部503は、すべての記録再生部のすべてのスロットに挿入された記録媒体に記録されたクリップから同期再生するために関連付けられたクリップを検索する。そのために、同一クリップ群検索部503は、全体動作制御部501からの指示に基づき、主記録再生部12に記録されたクリップのコンテンツIDを取得する。
【0036】
同一クリップ群検索部503は、主記録再生部12において、記録再生部203から供給される記録媒体210に記録されているクリップの管理情報からコンテンツIDを取得して、全体動作制御部501に提供する。その後、全体動作制御部501は、同一コンテンツIDを検索する指示情報としてのコマンドを発行する。ここで、すべての記録再生部のすべてのスロットに挿入された記録媒体とは、主記録再生部12と副記録再生部13、14とに挿入されているすべての記録媒体210、310を指す。また、同一コンテンツIDを検索する指示情報としてのコマンドにより記録再生部におけるコマンド制御部201、301により同一クリップ群に属するか否かの判断を行うことになる。これら同一クリップ群検索部503とコマンド制御部201、301との連携により同一クリップ群を検索する目的を達成する。
【0037】
再生位置同期制御部502は、全体動作制御部501からの指示に基づき全記録再生部の再生開始位置(映像フレーム)を一致させるために再生開始位置を決定する。再生開始位置は、例えば、再生動作後の場合には主記録再生部12(記録再生部203)における現在の再生停止位置や、初めて再生する場合には先頭クリップの先頭位置などに設定すればよい。これらの再生位置管理は、例えば、クリップの映像データの先頭からのフレーム数で処理を行う。また、これらの再生位置管理はランダムアクセスが可能な記録媒体を用いた一般的な映像再生装置にて利用されている技術であり、具体的な説明は省略する。ここで、全体動作制御部501では、再生開始時あるいは再生開始前に、同一クリップ群検索部503にクリップ検索の指示を行い、その後に再生位置同期制御部502に対して再生位置制御の指示を行う。このことにより、再生時に同一クリップ群に属するクリップを検索し、同じ再生位置(フレーム位置)から再生することが可能である。この再生開始位置は、指示情報としてのコマンドとともにコマンド発行部504を介してコマンド制御部201、301に提供され、コマンド制御部201、301にて、映像データのSeek処理が行われる。すなわち、再生位置同期制御部502とコマンド制御部201、301との連携により全記録再生部の再生開始位置(映像フレーム)を一致させる目的を達成する。
(1−5.コマンド制御部の構成)
主記録再生部12を構成するコマンド制御部201、及び副記録再生部13、14を構成するコマンド制御部301のより詳細な構成について説明する。図6は、コマンド制御部201、301の構成を示すブロック図である。コマンド制御部201、301は、コマンド処理部400と、同一クリップ群判別部401と、記録再生制御部402と、再生位置Seek部403と、から構成される。
【0038】
コマンド処理部400は、同期運転制御部202及びコマンド分離部200から提供されるコマンドを解釈して、同一クリップ群判別部401と記録再生制御部402と再生位置Seek部403とを利用して、記録再生部203、303を制御するブロックである。ただし、同期運転制御部202は、主記録再生部12のみに有するブロックであるため、副記録再生部13、14の場合には、コマンド処理部400は、同期運転制御部202からコマンドを提供されない。
【0039】
記録再生制御部402は、コマンド処理部400からの指示に基づき、記録再生部203、303の記録再生等の動作を制御する。記録再生制御部402は、記録開始、記録停止、再生開始、再生停止等の記録媒体210、310を対象とした記録再生動作を制御する。記録再生制御部402における記録再生動作の制御は、一般的に広く利用されている技術であるため具体的な説明は省略する。
【0040】
同一クリップ群判別部401は、コマンド処理部400からの指示に基づき、コマンドに含まれて提供されるコンテンツIDから、各記録再生部に挿入されている記録媒体210、310において同一クリップ群のクリップの存在有無を判断する。この存在の有無に関する情報と、そのクリップ情報(例えばクリップ番号)をコマンド処理部400に提供する。同一クリップ群判別部401は、主記録再生部12にて使用されない。このため主記録再生部12では不要であり、省略してもよいが、本実施の形態では全記録再生部のコマンド制御部201、301の実装を同一にするために主記録再生部12においても本ブロックを有する形態としている。
【0041】
再生位置Seek部403は、コマンド処理部400からの指示に基づき、記録再生部203、303に対して、コマンドに含まれて提供される再生開始位置(Seek先クリップ情報とその先頭からのフレーム数)にSeekさせる制御を行う。なお、再生位置Seek部403とはランダムアクセス可能な記録媒体を備える一般的な映像記録再生で利用されている技術であり、具体的な説明は省略する。
(1−6.記録生成部の構成)
主記録再生部12を構成する記録生成部203、及び副記録再生部13、14を構成する記録生成部303のより詳細な構成について説明する。図7は、記録再生部203、303の構成を示すブロック図である。記録再生部203、303は、映像ファイル記録部600と、ファイル単位識別情報生成部610と、管理情報記録部612と、映像ファイル再生部620と、ファイル単位識別情報再生部630と、管理情報再生部631と、から構成される。
【0042】
映像ファイル記録部600は、コマンド多重部204、304から供給された映像データを映像ファイルとして記録媒体210、310に記録するブロックであり、さらにフレーム単位識別情報多重部601と映像データ記録部602とから構成される。
【0043】
フレーム単位識別情報多重部601は、映像ファイル記録部600に供給される映像データに対してフレーム単位の時間情報を多重して、映像データ記録部602に提供する。このフレーム単位の時間情報は、例えば、業務用映像記録再生装置で利用されるタイムコードや、H.264規格におけるAUD(Access Unit Delimiter)等のフレーム区切りの識別子を利用すればよい。映像データにおいてフレーム境界の区別ができ、映像データ先頭からのフレーム数が特定できれば本実施の形態における効果を発揮することができる。本実施の形態では、映像データの有効画素の輝度信号と色差信号を順番に並べて映像ファイルとする非圧縮ファイル形式としている。そのため、画素サイズから1フレーム当たりのデータサイズが特定でき、フレームを区別して、映像データの先頭からのフレーム数をカウントすることが可能である。映像データ記録部602は、供給された映像データを映像ファイルとして記録媒体210、310に記録する。
【0044】
映像データ記録部602は、ファイル化して記録媒体に記録する映像記録装置や、それを再生する映像再生装置に広く利用されている技術であるため具体的な説明は省略する。
【0045】
ファイル単位識別情報生成部610は、コマンド制御部201、301からのコマンドに基づきファイル単位の識別情報を生成する処理を行い、コンテンツIDを生成するためのコンテンツID生成部611を含む。ファイル単位の識別情報には、コンテンツID以外にも、例えば、映像の名称や映像データの区間長等のクリップの情報を適宜含めばよい。ファイル単位識別情報生成部610は、この生成されたファイル単位の識別情報を管理情報記録部612に提供する。コンテンツID生成部611の処理の具体的な説明は後述する。
【0046】
管理情報記録部612は、ファイル単位識別情報生成部610にて生成された管理情報を記録媒体210、310に管理情報ファイルとして記録する。
【0047】
映像ファイル再生部620は、記録媒体210、310に記録された映像データとしての映像ファイルを再生して、再生した映像データをコマンド多重部204、304に提供する。映像ファイル再生部620は、さらに、フレーム単位識別情報再生部621と映像データ再生部622とから構成される。まず、記録媒体210、310に記録された映像ファイルとしての映像データは、映像データ再生部622により再生され、再生映像データをコマンド多重部204、304に提供する。次にフレーム単位識別情報再生部621は、フレーム単位識別情報(クリップの映像データ先頭からのフレーム数)に基づいて再生中の現在再生位置(クリップとその先頭からのフレーム数)を管理し、コマンド制御部201、301からのSeek指示に従って映像データ中のSeekアドレスを決定する。このSeekアドレスは、映像データ先頭からのフレーム数により容易に算出され、映像データ再生部622に提供され、指定再生位置(フレーム)にSeekすることになる。
【0048】
管理情報再生部631は、記録媒体210、310に記録された管理情報ファイルを再生する。管理情報再生部631は、コマンド制御部201、301からの再生指示に基づき記録媒体210、310に記録された情報ファイルから管理情報を再生し、ファイル単位識別情報再生部630に提供する。
【0049】
ファイル単位識別情報再生部630は、管理情報に含まれるファイル単位識別情報(コンテンツID等)を再生する。この再生されたファイル単位識別情報は、各記録再生部のクリップ毎に管理され、例えば記録されている記録媒体が挿入されている間に保持しておけばよく、適宜、記録再生部203、303やコマンド制御部201、301により利用される。
(2.関連情報の説明)
(2−1.用語の説明)
ここで、本実施の形態で用いる用語について説明する。本実施の形態におけるショットとは、記録再生装置における各々の映像データの記録開始から終了までの1連続の記録区間に対応するクリップの総称を指す。また、クリップとは、ショットを構成する1要素であり、映像データと管理情報との総称を指す。例えば、1ショットが1クリップで構成される場合や、ファイルサイズの制限等により1ショットが複数のクリップで構成される場合もある。
【0050】
さらに、記録再生装置の同期(同時)記録において、関連付けを行われたすべてのクリップを同一クリップ群と呼ぶ。すなわち、同一(同時)記録で作成された同一クリップ群は、ショットと等価になる。また、これらの同一クリップ群の関連付けを行う識別子をコンテンツIDと呼ぶ。このコンテンツIDは、管理情報の一部として記録される。なお、同時記録されていなくても、例えば記録後にコンテンツIDにより関連付けを行われていれば、同一クリップ群と呼ぶことにする。本実施の形態では、コンテンツIDにより関連付けが行われていれば発明の効果を発揮することが可能である。
(2−2.識別情報の概要)
本実施の形態における空間識別情報(空間的位置づけ)と時間識別情報(時間的位置づけ)とについて具体的に説明する。
【0051】
本実施の形態における空間的位置づけとは、全画面の中で、例えば、図2に示すように映像1は左半分であり、映像2は右半分であることを示す空間的な関係を示す。例えば、超高精細映像を対象とする映像処理装置においては、1つの超高精細映像を空間的に2つに分割して扱う場合の映像データ相互の関係性を表す。また、マルチ画面においては、複数の画面の映像データ相互の関係性を表す。例えば、マルチ画面が左右2つの画面から構成されている場合、左側の画面に提示する映像データであるか、右側の画面で提示する映像データであるかを表す。空間識別情報は、例えば、左側に相当する映像データを1とし、右側に相当する映像データを2として左右の識別を行う。なお、本実施の形態では、映像合成部100にて合成される合成画も合わせて記録するが、この合成画は超高精細映像やマルチ画面全体を表す映像データとして効果を発揮する。例えば、ノンリニア編集機等で利用されているプロキシ編集におけるプロキシ映像として利用する場合や、再生時に所望の映像を検索する場合において、合成画のみの再生によって所望の映像を探し、その後、すべての映像データに対して、合成画と対応する再生位置にSeekすることにより映像検索処理の効率化に大きな効果を発揮する。また、本実施の形態では、これらの合成画の処理に対しても、空間識別情報に含んで処理を行えば、合成画でない映像データに対する処理との共通化が図れるため、空間識別情報に含んで処理を行うものとする。
【0052】
次に時間識別情報(時間的位置づけ)とは、映像データの記録再生における順番や記録再生時刻を識別するための情報である。本実施の形態の時間識別情報は、時間軸のサンプリング精度(粒度)により、映像フレーム単位での識別情報を表すフレーム単位識別情報(例えば記録再生時刻)と、映像ファイル(クリップ)単位での識別情報を表すファイル単位識別情報(例えば記録再生における順番)とに分類することができる。
【0053】
まずフレーム単位識別情報としての時間識別情報(フレーム単位時間識別情報と呼ぶ)について説明する。図8にフレーム単位時間識別情報の一例を示す。例えば、図8において、映像ファイル1−1と映像ファイル2−1とが記録媒体310に記録されており、それぞれの映像ファイルが空間識別情報により関連付けられている(例えば映像ファイル1−1が左側映像、映像ファイル2−1が右側映像)とする。この例において、同期して再生する場合には、映像ファイル1−1のFrame1と、映像ファイル2−1のFrame1とを同時に再生し、同時刻に出力すればよい。このように、フレーム単位識別情報とは、1つのクリップと対応するもう1つのクリップとの間の映像データにおけるフレームの同期を行うために利用される情報である。なお、映像データは、一般的にフレーム単位で区切られており、フレーム単位の時間情報は、例えば、業務用映像記録再生装置で利用されるタイムコードや、H.264規格におけるAUD(Access Unit Delimiter)等のフレーム区切りの識別子を利用すればよい。本実施の形態のように識別子を多重しなくても、映像データにおいてフレーム境界の区別ができ、映像データ先頭からのフレーム数が特定できれば本実施の形態の効果を発揮することができる。
【0054】
次にファイル単位識別情報としての時間識別情報(ファイル単位時間識別情報と呼ぶ)について説明する。図9にファイル単位時間識別情報の一例を示す。例えば、図9において、映像ファイル0−1が記録媒体210に、映像ファイル1−1と映像ファイル2−1とがそれぞれ記録媒体310に記録されており、各映像ファイルが空間識別情報により関連付けられている(例えば映像ファイル0−1が合成画映像、映像ファイル1−1が左側映像、映像ファイル2−1が右側映像)とする。さらに、映像ファイル1−1、映像ファイル1−2、映像ファイル1−3は、時間的に連続的な順番(例えば、連続記録されており、連続して再生することが望ましい場合)であるものとする。ここでファイル単位の時間的位置づけとは、映像ファイルの再生順番を示し、図9の例では、映像ファイル1−1、映像ファイル1−2、映像ファイル1−3の関係を指す。ファイル単位の時間識別情報としては、例えば、時間軸上の先頭から順番に1、2、3のように順番付けを行えばよい。同様に、映像ファイル0−1、映像ファイル0−2、映像ファイル0−3や、映像ファイル2−1、映像ファイル2−2、映像ファイル2−3もファイル単位時間識別情報にて関連付けされる。また、同一クリップ群は、空間識別情報とファイル単位時間識別情報とにより関連付けされるクリップの集合体である。この空間識別情報とファイル単位時間識別情報とをコンテンツIDとして記録することにより、関連性を容易に検出することが可能である。なお、本実施の形態では、ファイル単位識別情報は、ファイル単位時間識別情報と空間識別情報とを含む。また、これらのファイル単位時間識別情報は、例えば、ファイルサイズの制限、記録媒体の容量の制限等により1連続の記録を分割して記録媒体に記録する場合や、編集済みの複数のファイルを同一クリップ群として関連付け、連結して連続再生する場合に利用できる。
【0055】
なお、以上のように精度(粒度)の異なるファイル単位識別情報とフレーム単位識別情報という2つの時間識別情報を持つことにより、時間軸管理や再生同期処理の階層化を実現できる。この階層化により、あるクリップに対して複数の空間的、時間的に関連付けを行われていないクリップを含む記録媒体から同期再生すべきクリップを検索/抽出することが可能になる。最初にファイル単位識別情報を用いて映像ファイル間の関連付けを行い、その後、フレーム単位識別情報を用いて、映像ファイル中の映像データのフレーム単位の関連づけを行うことによって、検索や再生同期処理の効率化を図ることができる。
(2−3.クリップ群の構造)
次に同一クリップ群について具体的に説明する。図10に同一クリップ群の構成の一例を示す。前述したように、同一クリップ群は、空間識別情報とファイル単位時間識別情報と(すなわちコンテンツID)により関連付けされるクリップの集合体であり、図10のような時間軸と空間軸の2つの軸で関連付けられる構成となる。ここで、クリップ0−1、クリップ0−2、クリップ0−3は、映像合成部100にて合成された映像データを記録したクリップであり、直接的に空間的な位置づけを表すものではないが、便宜的に全体像を表す映像データとして空間識別情報にて関連付けを行う。例えば、空間識別情報を0として全体像を示す合成画を識別する。図10の例では、空間識別情報別には、合成画クリップ(クリップ0−1、クリップ0−2、クリップ0−3)と左側映像クリップ(クリップ1−1、クリップ1−2、クリップ1−3)と右側映像クリップ(クリップ2−1、クリップ2−2、クリップ2−3)とから成り、ファイル単位時間識別情報別には、3つの(最後の数字の1、2、3がファイル単位時間識別情報を表す)から成り立っている例を示している。
【0056】
また、それぞれのクリップの構成の具体例を図11に示す。図11に示すように、クリップは管理情報ファイルと映像ファイルとから構成される。管理情報ファイルは、映像データ(ファイル)を管理するための管理情報(例えば、画素サイズや区間長)や、メタデータ等の付加情報を記録するためのファイルである。図12に管理情報の構成例を示す。一方、映像ファイルは、映像データを記録するためのファイルである。例えば、再生する場合には、管理情報ファイルとして記録される管理情報(例えば画素サイズ)を再生し、その管理情報に従って、映像ファイルを再生する。
【0057】
次に本実施の形態における記録媒体210、310への記録形式について説明する。図13に記録媒体210、310におけるディレクトリ構造の一例を示す。本実施の形態では、記録媒体210、310に映像データとしての映像ファイルと、管理情報としての管理情報ファイルを記録する。また、主記録再生部12と副記録再生部13、14における記録形式やディレクトリ構造は共通である。したがって、記録媒体210、310におけるディレクトリ構成は、コンテンツディレクトリ700としての「Content」ディレクトリをトップディレクトリとして、映像ファイルを記録するためのビデオ格納用ディレクトリ701としての「Video」ディレクトリと、管理情報ファイルを記録するためのディレクトリ702としての「Meta」ディレクトリとから構成される。ビデオ格納用ディレクトリ701には、例えば、CLIP0001.yuv、CLIP0002.yuv、CLIP0003.yuvといった映像ファイルを格納する。管理情報格納用ディレクトリ702には、CLIP0001.txt、CLIP0002.txt、CLIP0003.txtといった管理情報ファイルを格納する。管理情報ファイルは、例えば、テキスト形式のファイルとして記録され、それぞれの要素の区切りはカンマで区切られているCSV(Comma Separated Value)形式として説明する。
【0058】
ここで、ファイル名や拡張子は任意の文字列でよく、コンテンツ管理が容易な方法を用いればよい。本実施の形態では、上述したようにファイル名に「CLIP」に番号を付与した文字列で、映像ファイルの拡張子を.yuv、管理情報ファイルの拡張子を.txtとして説明する。また、映像ファイルに対応する管理情報ファイルのファイル名を同じファイル名(拡張子を除く)とすることで、映像ファイルと管理情報ファイルの対応付けを行う。すなわち、例えば、映像ファイルCLIP0001.yuvに対応付ける管理情報ファイルの名前をCLIP0001.txtとする。さらに、本実施の形態では、CLIP0001.yuvとCLIP0001.txtとして記録されるクリップを「クリップ1」と呼び、同様にCLIP0002.yuvとCLIP0002.txtとして記録されるクリップを「クリップ2」、CLIP0003.yuvとCLIP0003.txtとして記録されるクリップを「クリップ3」と呼ぶことにする。
【0059】
これらのファイルは、記録媒体210、310(本実施の形態の場合は3つの記録媒体)に記録される。記録媒体210、310と同一クリップ群との関係の具体例を、図10を用いて説明する。例えば、記録媒体210に記録されるクリップ1(CLIP0001.yuvとCLIP0001.txt)は、図10のクリップ0−1に、記録媒体210に記録されるクリップ2は、図10のクリップ0−2に、記録媒体210に記録されるクリップ3は、図10のクリップ0−3に対応する。同様に、記録媒体310に記録されるクリップ1は、図10のクリップ1−1及び2−1に、記録媒体310に記録されるクリップ2は、図10のクリップ1−2及び2−2に、記録媒体310に記録されるクリップ3は、図10のクリップ1−3及び2−3に対応する。
【0060】
次に本実施の形態におけるコンテンツIDの役割について具体的に説明する。コンテンツIDは、同一クリップ群の関連付けを行うための識別子であり、ファイル単位時間識別情報と空間識別情報とを含む。
【0061】
図14に本実施の形態におけるコンテンツIDの構成の1具体例を示す。コンテンツIDは、図14のように、記録開始時刻情報(Time Snap)、機器固有識別子(Device Node)、ファイル単位時間識別情報(Clip No)、空間識別情報(Video No)から構成される。記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とは同一クリップ群であることを示す識別子として利用する。機器固有識別子(Device Node)が各映像処理装置においてユニークであるため、その記録開始時刻を付与することで、記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とがすべてのショットでユニークであることが保証できる。これは、同機器で同一時刻に記録されるショットが1つであることによる。機器固有識別子(Device Node)と記録開始時刻情報(Time Snap)とを、同一クリップ群のすべてのクリップ(すなわち同じショット)に対して記録する。例えば、記録開始時刻情報(Time Snap)は、主記録再生部12としての記録再生部203において映像ファイルを記録媒体210に記録開始する際の時刻を取得し、その時刻と機器固有識別子(Device Node)とを副記録再生部13、14における記録再生部303に通知し、主記録再生部12と同じ値を記録すればよい。なお、この時刻は、Real Time Clock(RTC)機能を有する集積回路を利用して取得してもよいし、記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とですべてのショットにおいてユニークであれば、クロックカウンタ等を利用して作成してもよい。記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とにより、これらの値が完全一致した場合には、同一クリップ群であると判別することができる。
【0062】
ここで、ファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とは、前述したファイル単位時間識別情報と空間識別情報とに対応する。ファイル単位時間識別情報(Clip No)は、クリップ(映像ファイル)を分割するたびに番号をインクリメントすればよい。また、空間識別番号は、例えば、本実施の形態のように記録再生部毎に決められた番号を記録してもよく、記録系映像処理部10に入力される映像データに空間識別番号を多重しておき、それを検出して記録してもよい。図15に同一クリップ群におけるコンテンツIDの1具体例を示す。図15では、横軸(時間軸)方向にファイル単位時間識別情報(Clip No)の値が変化(インクリメント)されており、縦軸(空間軸)方向に空間識別情報(Video No)の値が変化(インクリメント)していることを示している。ここで、図15における記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とは、すべて同一値であるとする。
【0063】
本実施の形態のコンテンツIDは、SMPTE(Society of Motion Picture and Television Engineers)−330Mにて規格化されているUnique Material Identifier (UMID)を拡張して利用している。UMIDにおいて、ランダム値とする領域(Rnd)にファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とを割り当てれば容易に実現可能である。
(2−4.管理情報ファイルの構造)
次に、本実施の形態の管理情報ファイルの一例について具体的に説明する。図17は同一クリップ群における各クリップの管理情報ファイルの一例を示している。図17の例は、図10における同一クリップ群の例に対応しており、各管理情報ファイルの先頭からコンテンツID、画素サイズ、区間長を表す。コンテンツIDは、16進数のデータを文字列化した表記であり、画素サイズは「水平サイズx垂直サイズ」を表す文字列であり、区間長は、10進数表記である。
【0064】
例えば、クリップ0−1の管理情報ファイルCLIP0001.txtは、コンテンツIDが「20090924170632000000123456789012」で、画素サイズは、水平サイズ1920画素、垂直サイズ1080画素で、区間長が100フレームであることを示している。ここで、コンテンツIDの記録開始時刻情報(Time Snap)は、「2009092417063200」であり、2009年9月24日17時06分32秒を表している。ここで、本実施の形態では、時刻の精度が1秒単位であるためクリップの基本コンテンツIDのユニーク性を確保する目的で1秒以内に複数の記録を開始しないようにしておく。また、機器固有識別子(Device Node)は、「123456789012」であり、機器固有の識別子や番号であればよく、本実施の形態では「123456789012」の例を挙げているが、好ましくはUMIDにて定義されるように、機器の1394ネットワークアドレスやMACアドレスにより決定される全世界でユニークになる識別子がよい。また、ファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とは、ともに00(16進数表記)である。
【0065】
また、本実施の形態では、左右2つの映像データを処理しているため、映像処理装置として、水平サイズ3840(1920の2倍)画素の超解像度映像の記録再生が可能である。さらに、合成画像としては、水平サイズを1/2にして、水平サイズ1920画素の映像データとすればよく、映像合成部100では、例えば、水平サイズのみを1/2に間引くローパスフィルタを用いればよい。映像合成して水平サイズ1920画素、垂直サイズ1080画素と一般的なハイビジョン映像の画素サイズにすることで、本実施の形態以外の一般的なハイビジョン映像を扱うための映像記録再生装置にて再生することも可能である。
なお、管理情報ファイルや映像ファイルのファイル名は、ファイルシステムの制約等により、各記録媒体210、310に対して同じファイル名で記録できない場合がある。このとき、各記録媒体210、310においてファイル名が一致しない。例えば、図17の例ではクリップ0−1とクリップ1−1の管理情報ファイル名が一致しているが、クリップ0−1の管理情報ファイル名がCLIP0001.txtであり、クリップ1−1の管理情報ファイル名がCLIP0123.txtとなるように一致しない場合もある。このような場合にも本実施の形態のコンテンツIDによれば同一クリップ群を特定することが可能である。
(2−5.コマンドの概要)
本実施の形態における映像処理装置は、前述したように映像データに多重されるコマンドにより動作を制御する。そこで、本実施の形態における映像処理装置の動作を具体的に説明する前に、このコマンドの種別や内容を具体的に説明する。図16に本実施の形態におけるコマンドの一例を示す。コマンドは、情報の内容や通信経路により操作情報と指示情報と動作状態情報とに分類される。
【0066】
操作情報は、操作入力部15から第1コマンド多重部102を介して、同期運転制御部202に提供される操作情報を通知するコマンドである。具体的には、例えば、記録「REC」、停止「STOP」、再生「PLAY」のように操作入力部15の各操作キーに対応したコマンドを定義すればよい。
【0067】
指示情報は、同期運転制御部202からコマンド制御部201、301等を介して記録再生部203、303に提供される動作に関する指示情報を通知するコマンドである。具体的には、例えば、記録開始「REC_START」、記録分割「REC_SPLIT」、記録停止「REC_STOP」、再生準備「PLAY_CHECK」、再生Seek「PLAY_SEEK」、再生開始「PLAY_START」、再生停止「PLAY_STOP」のように各記録再生部の動作に関する各イベントに対応したコマンドを定義すればよい。
【0068】
なお、指示情報としてのコマンドには、付加情報を付与して送受信されることがある。具体的には、「REC_START」、「PLAY_CHECK」には付加情報としてコンテンツIDも含んで送受信する。このコンテンツIDは、記録再生処理する対象のクリップを指定するために利用する。さらに、「PLAY_SEEK」には付加情報として再生開始位置も含んで送受信する。
【0069】
動作状態情報は、主記録再生部12や副記録再生部13、14の動作状態を通知するためのコマンドで、主記録再生部12や副記録再生部13、14の記録再生部203、303から同期運転制御部202に提供される。動作状態情報としてコマンドとは、ステータス情報の意味合いが強いが、本実施の形態では、便宜上コマンドと呼んでいる。具体的には、例えば、記録中状態「STATUS_REC」、再生中状態「STATUS_PLAY」、停止中常態「STATUS_STOP」のように各記録再生部の動作状態を表すコマンドを定義すればよい。
(3.動作)
以上のように構成された映像処理装置の動作について、記録時と再生時とに分けて説明する。
(3−1.映像処理装置の記録動作)
映像処理装置の記録時の動作について、説明する。
【0070】
ユーザは、操作入力部15の「記録釦」を押下し、記録操作の開始を指示する。操作入力部15は、第1コマンド多重部102を介して、同期運転制御部202に、記録「REC」コマンドを通知する。
【0071】
同期運転制御部202は、コマンド制御部201、301等を介して記録再生部203、303に、記録開始「REC_START」コマンドを通知する。コンテンツID生成部611は、「REC_START」コマンドを受信すると、コマンドの付加情報として提供される基本コンテンツIDに対して、ファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とを上書きし、生成されたコンテンツIDをメモリに一時的に保持する。コンテンツIDの生成動作については、後述する。
【0072】
ファイル単位時間識別情報(Clip No)は、記録開始からのクリップ数(クリップ分割数)を示し、記録開始時には0を設定する。また、空間識別情報(Video No)は、本実施の形態では、各記録再生部であらかじめ決められた番号(空間的位置づけ)を設定する。例えば、主記録再生部12にて記録されるクリップには、合成画を表す0を、1つ目の副記録再生部13にて記録されるクリップには、左側映像を表す1を、2つ目の副記録再生部14にて記録されるクリップには、右側映像を表す2を設定する。
【0073】
このようにして作成されたコンテンツIDは、管理情報記録部612に供給され、管理情報ファイルとして記録媒体210、310に記録される。ここで、メモリに一時的に保持されたコンテンツIDは記録分割時(「REC_SPLIT」コマンド受信時)に利用され、記録停止コマンド「REC_STOP」の受信の際にメモリから解放すればよい。
【0074】
次に、「REC_SPLIT」コマンドは、記録分割(クリップの分割)時に同期運転制御部202から発行されるコマンドである。コンテンツID生成部611は、「REC_SPLIT」コマンドを受信すると、メモリに一時的に保持されたコンテンツIDを参照し、ファイル単位時間識別情報(Clip No)をインクリメントして再びメモリに一時的に保持するとともに、生成されたコンテンツIDを管理情報記録部612に供給し、管理情報ファイルとして記録媒体210、310に記録される。
【0075】
ユーザは、操作入力部15の「停止釦」を押下し、記録操作の停止を指示する。操作入力部15は、第1コマンド多重部102を介して、同期運転制御部202に、停止「STOP」コマンドを通知する。
【0076】
同期運転制御部202は、コマンド制御部201、301等を介して記録再生部203、303に、記録停止「REC_STOP」コマンドを通知する。コンテンツID生成部611は、「REC_STOP」コマンドを受信すると前述したように一時的にメモリに保持されているコンテンツIDを解放する。
(3−2.コンテンツIDの生成動作)
記録するためのコンテンツIDを生成する具体的な動作を説明する。コンテンツIDは、基本コンテンツID生成部505とコンテンツID生成部611とで生成される。基本コンテンツID生成部505では、記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とを生成し、コンテンツID生成部611にてファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とを生成する(以下、記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とを基本コンテンツIDと呼ぶ)。すなわち、映像処理装置内に1つの基本コンテンツID生成部505にて、同一クリップ群に共通となる基本コンテンツIDを生成し、各記録再生部のコンテンツID生成部611にて、各クリップで異なる値となるそれぞれの空間識別情報に従った空間識別情報(Video No)やファイル単位時間識別情報(Clip No)を生成する。
【0077】
基本コンテンツID生成部505は、全体動作制御部501からの指示に基づいて基本コンテンツIDを生成する。全体動作制御部501は、記録開始時に基本コンテンツIDの生成指示を行う。基本コンテンツID生成部505は、その時の時刻(すなわち記録開始時の時刻)を記録開始時刻情報(Time Snap)として基本コンテンツIDを作成する。この時、機器固有識別子(Device Node)は、基本コンテンツID生成部505にてあらかじめ不揮発性メモリにて保持されているものとし、ファイル単位時間識別情報(Clip No)の値を0、空間識別情報(Video No)の値を0とする。基本コンテンツID生成部505において、Clip NoとVideo Noとの値を0に設定することは情報が無いことを意味する。この基本コンテンツIDは、記録開始「REC_START」コマンドとともに、コマンド制御部201、301等を介してコンテンツID生成部611に提供される。
【0078】
コンテンツID生成部611は、コマンド制御部201、301からのコマンドと基本コンテンツIDとに基づいて記録するためのコンテンツIDを生成する。従って、基本コンテンツIDに対してファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とを付加する処理を行う。コンテンツID生成部611は、コマンドの内容によりコンテンツID生成の処理内容が異なる。例えば、コンテンツID生成部611が処理をする必要があるコマンドは、記録開始「REC_START」と記録分割(クリップの分割)「REC_SPLIT」コマンドと記録停止「REC_STOP」コマンドとに関してのみである。その他のコマンドを受信した場合には処理をする必要がない。
(3−3.映像処理装置の再生動作)
次に本実施の形態における映像処理装置の再生時の動作について具体的に説明する。図18は、再生動作における大まかな処理の流れを示すフロー図である。
【0079】
まず、再生クリップのコンテンツIDを取得する処理(S100)を行う。ここで再生クリップとは、再生する同一クリップ群の代表クリップを指し、例えばユーザから操作入力部15を介して選択される。例えば、合成画を記録再生するための主記録再生部12にて記録されるクリップ(空間識別情報の値が0となるクリップ)を代表クリップとする。
【0080】
次に、S100にて取得された再生クリップのコンテンツIDから再生クリップ群(再生クリップとコンテンツIDで関連付けられる同一クリップ群に属するクリップ群)を特定する処理を行う(S101)。次に、主記録再生部12と、副記録再生部13、14との再生開始位置を同じ位置にするために、副記録再生部13、14においてSeekする処理を行う(S102)。次に、主記録再生部12及び副記録再生部13、14において再生開始処理を行う(S103)。これらの各ステップの処理は、同期運転制御部202にて順番に実行される。以下、これら各ステップの具体的な処理内容を説明する。
(3−4.映像処理装置の再生動作の詳細)
まずS100における再生するコンテンツIDを取得する処理の流れを図19に示す。S200において、操作入力部15は、ユーザからの操作により再生クリップを選択する。この選択は、例えば、一般的に広く行われているGUI(Graphical User Interface)画面上にサムネイル画(映像データの先頭画)を表示して選択すればよい。本実施の形態では、主記録再生部12における先頭画を同一クリップ群の代表画として表示し、選択可能な形態とする。
【0081】
次に、S200にて選択された再生クリップのコンテンツIDを取得する(S201)。これは、全体動作制御部501において、コマンド発行部504を介してコマンド制御部201に対して再生準備「PLAY_CHECK」コマンドを発行する。コマンド制御部201は、さらに記録再生部203に再生準備「PLAY_CHECK」コマンドを提供する。記録再生部203は、管理情報再生部631、ファイル単位識別情報再生部630を利用して管理情報中のコンテンツIDを取得し、再び全体動作制御部501に通知する。以上の処理により選択された再生クリップのコンテンツIDを取得できる。
【0082】
次に、S201にて取得した再生クリップのコンテンツID検索コマンドを発行する(S202)。これは、全体動作制御部501が、副記録再生部13、14に対してS201にて取得されたコンテンツIDとともに再生準備「PLAY_CHECK」コマンドを発行することで実現する。
【0083】
次にS101における再生するクリップ(ファイル)を特定するための処理の流れを図20に示す。図20に示すS300、S301、S302の各処理は各記録再生部のコマンド制御部301にて処理される。まず始めに、コンテンツIDを検索するためのコマンドを受信する(S300)。このコマンドとは、S202においてコンテンツIDとともに発行される再生準備「PLAY_CHECK」コマンドであり、副記録再生部13、14のコマンド制御部301におけるコマンド処理部400にて受信する。
【0084】
次に、再生クリップのコンテンツIDから同一クリップ群に属するクリップを特定する処理を行う(S301)。これは、S300にて受信した再生準備「PLAY_CHECK」コマンドと再生クリップのコンテンツIDとに基づき、コマンド制御部301のコマンド処理部400が、同一クリップ群判別部401に対して判別指示を出すことで処理を開始する。同一クリップ群判別部401は、コマンド処理部400からの指示と再生クリップのコンテンツIDとに基づき、再生クリップの同一クリップ群に属するクリップを判別する。この処理で同一クリップ群に属すると判断されたクリップを再生対象クリップ(再生クリップ群に属するクリップ)として特定する。この判別方法の具体的な処理は後述するが、1つのコンテンツIDに関連付けられる同一クリップ群に属するクリップが複数ある場合(例えば、ファイル単位時間識別情報にて複数のクリップが関連付けられている場合)もあるので、再生対象クリップのデータの保持は、リスト形式や配列等の複数データに対応可能な形式が望ましい。
【0085】
次に、S301にて特定したクリップを各々の記録再生部の再生対象とする処理を行う(S302)。これは、コマンド処理部400において再生対象のクリップ番号あるいは映像ファイル名等のリストを保持しておけばよい。
【0086】
次にS102における再生位置にSeekする処理の流れを図21に示す。まず、主記録再生部12の現在再生位置を取得する処理を行う(S400)。これは、全体動作制御部501の指示に基づき再生位置同期制御部502が処理を行う。再生位置同期制御部502は、再生中に主記録再生部12における記録再生部203の動作を監視し、現在の再生位置を管理すればよい。ここで監視とは、適当な(例えば、1秒)単位で現在の再生位置のサンプリングを行い、現在再生中のクリップと、クリップの先頭からのフレーム数を取得し、保持あるいは更新する構成とすればよい。ここで、クリップとクリップの先頭からのフレーム数とを再生位置と呼び、再生開始位置とは、再生開始時の再生位置であり、再生開始する際の再生するクリップと、映像データ中における開始フレーム位置とを指す。なお、これらの再生位置の管理は、一般的に広く利用される技術であり、どのような方法を実装してもよい。再生位置同期制御部502は、例えば、再生停止中にも再生位置を保持しておけば、再生中以外にも現在の再生位置を取得することが可能となる。この時、再生位置同期制御部502は、その時点で保持している再生位置を全体動作制御部501に提供すればよい。
【0087】
次に、S400にて取得した現在再生位置を再生開始位置として決定する処理を行う(S401)。これは、再生位置同期制御部502から提供された現在の再生位置を、S402の処理が完了するまで一時的に保持しておけばよい。
【0088】
次に、S401にて決定した再生開始位置と、「PLAY_SEEK」コマンドとを発行する処理を行う(S402)。「PLAY_SEEK」コマンドは、主記録再生部12と副記録再生部13、14との再生開始位置を一致させる目的でSeekを行うためのコマンドである。以上のS400、S401、S402の各処理は主記録再生部12における処理であり、次に説明するS403、S404の処理は、副記録再生部13、14における処理である。これは、本実施の形態では、主記録再生部12の現在再生位置に対応する再生位置を副記録再生部13、14の再生開始位置とするため、主記録再生部12では、主記録再生部12と同じ再生位置にSeek処理を行うためのS403、S404の処理は必要ないことによる。
【0089】
次に、S402にて発行された再生Seekコマンド「PLAY_SEEK」を受信する処理を行う(S403)。このコマンドは、コマンド多重部204やコマンド分離部300等を介して副記録再生部13、14におけるコマンド発行部301のコマンド処理部400にて受信される。コマンド処理部400は、受信した「PLAY_SEEK」コマンドと再生開始位置とを再生位置Seek部403に提供する。
【0090】
次に、S403にて受信した再生開始位置にSeekする処理を行う(S404)。これは、再生位置Seek部403に提供された「PLAY_SEEK」コマンドと再生開始位置とに基づいて、再生位置Seek部403は、記録再生部303にSeek動作指示を行う。例えば、図10の例で説明すると、再生開始位置がクリップ0−1の30フレーム目である場合、再生位置Seek部403は、クリップ0−1に対して空間識別情報にて関連付けられるクリップ1−1及びクリップ2−1の30フレーム目にSeekするように制御すればよい。
【0091】
次にS103における再生開始処理について具体的に説明する。まず同期運転制御部202は、S102における処理にてSeek処理を行った後、再生開始処理を実行する指示を出す。これは、操作入力部15が、ユーザの再生操作に基づき、操作コマンドとしての再生「PLAY」コマンドを発行する。この「PLAY」コマンドは、第1コマンド多重部102、コマンド分離部200、コマンド制御部201を介して同期運転制御部202に提供される。同期運転制御部202に提供されたコマンドは、コマンド受信部500を介して全体動作制御部501に提供される。全体動作制御部501は、例えば、すべての記録再生部が停止状態「STATUS_STOP」の場合には、「PLAY」コマンドの受信により、再生開始処理を行うことを決定し、この指示をコマンド発行部504に提供する。
【0092】
次にコマンド発行部504は、この指示情報としての「PLAY_START」コマンドをコマンド制御部201に提供する。次に、この「PLAY_START」コマンドは、コマンド制御部201のコマンド処理部400に提供され、再生開始処理が実行される。すなわち、前述したように記録再生制御部402に再生開始指示を提供し、各記録再生部の再生動作を行うことになる。
【0093】
以上、再生動作における処理について具体的に説明してきた。次に再生準備段階(「PLAY_CHECK」コマンドに対応する)で行われる同一クリップ群の判別処理について具体的に説明する。
【0094】
同一クリップ群判別部401における再生クリップと同一クリップ群に属するクリップであるか否かを判断する方法についてより具体的に説明する。同一クリップ群判別部401は、コマンド処理部400からの指示と再生クリップのコンテンツIDとに基づき、再生クリップと関連付けられるクリップであるか否かを判断する。図14に示すようにコンテンツIDの記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)と(すなわち図14中の(1)として示される部分)が一致していれば、同一クリップ群である(関連付けられている)ことを判断できる。すなわち、再生クリップのコンテンツIDと記録媒体310に記録されている各クリップのコンテンツIDとを比較して、一致すれば、同一クリップ群に属するクリップであり(関連付けられている)、不一致であれば、同一クリップ群に属するクリップではない(関連付けられていない)と判断できる。この時、コンテンツIDのファイル単位時間識別情報(Clip No)、空間識別情報(Video No)に相当する部分(図14中の(2)として示される2byteの部分)をマスク(例えば、0000とする)して比較すればよい。この同一クリップ群判別部401の処理は各記録再生部にて行なわれる。すなわち、すべての記録再生部(映像処理装置全体)でみれば、再生クリップに対応した同一クリップ群(すなわち再生クリップ群)を検索したことになる。
(3−5.クリップ不整合時の動作)
次に記録媒体の挿入誤り等に起因するクリップの不整合の検出とその表示について説明する。本実施の形態では、記録媒体は着脱可能な形態であるため、一部の記録再生装置において、ユーザの誤挿入等の操作により再生時に所望のクリップが記録された記録媒体が挿入されていない場合や、誤った(所望のクリップが記録されていない)記録媒体が挿入されている場合がある。クリップ不整合とはこのような場合に、同一クリップ群を構成するクリップが一部不足している状態を指す。本実施の形態は、このようなクリップ不整合を検出し、その不整合を示す表示を行う際にも効果を発揮する。
【0095】
まずクリップの不整合の表示例について説明する。図10や図17の例のように記録された場合におけるクリップの不整合の表示例を図22に示す。本実施の形態では、図22に示すようにGUI画面上にダイアログと文字を表示することでユーザに提示する。図22の例では、区間長が230フレームを表示しており、これは1番目のクリップと2番目のクリップと3番目のクリップの区間長の総和である。また、クリップの状況としては、関連付けられているクリップが存在する場合には「○」、関連付けられているクリップが存在しない場合には「×」を表示している。ここで、図22における合成画とは、映像合成部100にて合成され、主記録再生部12にて記録されるクリップ(図10の例では空間識別情報が0であるクリップ)を指し、チャンネル1とは、左側の映像データを記録するクリップ(図10の例では空間識別情報が1であるクリップ)を、チャンネル2とは右側の映像データを記録するクリップ(図10の例では空間識別情報が2であるクリップ)を指す。また、図22の例では、クリップ2−2、クリップ1−3、クリップ2−3が存在しないことを表している。
【0096】
次にクリップの不整合の検出処理について説明する。クリップの不整合の検出処理は、前述した同一クリップ群検索部503における同一クリップを検索するための制御処理と、同一クリップ群判別部401における同一クリップ群に属するクリップを判別する処理で実現できる。あるクリップ(以下、検索元クリップと呼ぶ)があるとすると、そのクリップに記録されているコンテンツIDを取得し、記録媒体210、310に記録されている各々のクリップのコンテンツIDと比較することで、同一クリップ群に属するクリップがないこと(すなわち、クリップ不整合)が検出できる。
【0097】
この検索元クリップは、前述した再生処理での同一クリップ群検索における説明では、再生クリップに相当し、本実施の形態では、主記録再生部12に記録されたクリップが最も効率的であるが、その他の任意のクリップであっても同様の効果を発揮する。
【0098】
これらの処理により検出されるクリップ不整合検出結果に基づいて図22に示すような表示を行えばよい。例えば、図22の例では、クリップ1−3、2−2、2−3は存在しない場合の例を示している。この場合、検索元クリップをクリップ0−1とすると、記録媒体210に同一クリップ群に属するクリップであるクリップ0−2とクリップ0−3とを検知ことができる。また、副記録再生部13における記録媒体310には、クリップ0−1と同じ同一クリップ群に属するクリップであるクリップ1−1とクリップ1−2とを検知することができる。同様に、副記録再生部14における記録媒体310について、クリップ2−1とクリップ2−2とが検知することができる。なお、図22の例では、クリップ1−3、2−2、2−3は存在しないので検知できないことになる。ここで、例えば、1番目のクリップは、空間識別情報にて関連付けられるすべての構成要素(すなわち合成画とチャンネル1と2)を満たしているので再生可能であり、その他の2番目、3番目のクリップはこの構成要素を満たしていないので正常に再生することができない(例えば、再生画に一部及び全画面に欠落が生じる可能性がある)。このような場合におけるクリップの不整合表示は、このような再生の可否や不足クリップの特定等において、ユーザの判断基準となる。特に記録媒体が着脱可能な形態である場合には、ユーザが誤操作する可能性があるため、このクリップの不整合の表示機能は、ユーザによる誤操作の検知あるいは解決するために重要な機能となる。
【0099】
なお、本実施の形態では管理情報ファイルはテキストファイルのCSV形式の例を用いて説明したが、マークアップ言語の1つであるXML(eXtensible Markup Language)形式を利用して記録してもよい。
【0100】
なお、本実施の形態では映像データとは別に管理情報ファイルを記録する方法を説明したが、管理情報ファイルを映像ファイルのヘッダに記録する方法でもよい。記録再生部203、303にて、このヘッダ部分のデータと映像データとを別々に記録再生すれば、その他のブロックは本実施の形態で説明した構成で本実施の形態の効果を発揮できる。
【0101】
なお、本実施の形態では映像データにコマンドを多重して送受信する方法を説明したが、コマンド(情報)を送受信できればどのような通信部を用いてもよい。
【0102】
なお、映像処理装置は、主記録再生部12と副記録再生部13、14とを含む1つの装置として説明したが、主記録再生部12及び副記録再生部13、14が、それぞれの別の1つの装置として実現してもよく、どのような装置構成でもよい。また、主記録再生部12及び副記録再生部13、14に限らず、本実施の形態の構成要素の少なくとも一部を別装置とし、映像処理システムとして、構成してもよい。
【0103】
なお、本実施の形態では同期運転制御部202を主記録再生部12に含む構成例を説明したが、主記録再生部12に含まず、別の構成要素(例えば、操作入力部15)にて実現してもよい。この場合には、主記録再生部12のコマンド分離部200は、分離したコマンドを同期運転制御部202に提供するのではなく、コマンド制御部201のみにコマンドを提供するように変更し、副記録再生部13、14と同様に動作させればよい。
【0104】
なお、本実施の形態では左右2つの映像データを用いる例を説明したが、空間識別情報(Video No)の最大値を変更すれば、2つ以上の映像データを扱うこともできる。この場合、本実施の形態では、コンテンツIDにおける空間識別情報(Video No)のサイズを1byteとして説明したが、適宜、サイズを変更してもよい。この空間識別情報(Video No)の最大値の変更により、マルチ画面にそれぞれ1つずつの映像データを提示する映像処理装置や、超高精細映像を複数の映像データを組み合わせて生成する方法に容易に展開可能である。
【0105】
なお、本実施の形態ではファイル単位時間識別情報の値として、0からインクリメントして記録し、その値の番号順に再生する方法を説明したが、例えば、編集済みの映像データに対して再生順番に従ってファイル単位時間識別情報を付与してもよい。この場合には、ファイル単位時間識別情報の対応の番号順、すなわち、再生順番の順に再生されることになる。また、この場合には、記録時には、記録再生部203、303の映像データ記録部において記録される映像データは、本映像処理装置に入力された映像データではなく、各記録再生部に挿入されたそれぞれの記録媒体にあらかじめ記録されている映像ファイルとしての映像データを利用すればよい。再生時には、本実施の形態で説明した処理と同様に再生すればよい。
【産業上の利用可能性】
【0106】
本実施の形態にかかる映像処理装置は、複数の映像データを同時に扱う映像処理装置のユーザの利便性を飛躍的に向上させるもので、半導体メモリや光ディスク等を応用した映像処理装置や、2視点のステレオ画の提示による3次元映像処理装置や、マルチ画面や超高精細映像処理装置等に広く適用可能である。
【符号の説明】
【0107】
10 記録系映像処理部
11 再生系映像処理部
12 主記録再生部
13 副記録再生部
14 副記録再生部
15 操作入力部
100 映像合成部
102 第1コマンド多重部
103 第2コマンド多重部
104 第2コマンド多重部
105 映像遅延部
106 映像遅延部
110 第1コマンド分離部
111 第2コマンド分離部
112 第2コマンド分離部
150 入力映像としての映像データ1
151 入力映像としての映像データ2
152 記録映像としての映像データ1と2の合成画
153 記録映像としての映像データ1
154 記録映像としての映像データ2
155 再生映像としての映像データ1と2の合成画
156 再生映像としての映像データ1と2
200 コマンド分離部
201 コマンド制御部
202 同期運転制御部
203 記録再生部
204 コマンド多重部
210 記録媒体
300 コマンド分離部
301 コマンド制御部
303 記録再生部
304 コマンド多重部
310 記録媒体
400 コマンド処理部
401 同一クリップ群判断部
402 記録再生制御部
403 再生位置Seek部
500 コマンド受信部
501 全体動作制御部
502 再生位置同期制御部
503 同一クリップ群検索部
504 コマンド受信部
505 基本コンテンツID生成部
600 映像ファイル記録部
601 フレーム単位識別情報多重部
602 映像データ記録部
610 ファイル単位識別情報生成部
611 コンテンツID生成部
612 管理情報記録部
620 映像ファイル再生部
621 フレーム単位識別情報再生部
622 映像データ再生部
630 ファイル単位識別情報再生部
631 管理情報再生部
700 コンテンツディレクトリ
701 ビデオ格納用ディレクトリ
702 管理情報格納用ディレクトリ

【特許請求の範囲】
【請求項1】
同時に表示すべき複数の映像データが入力される入力部と、
前記複数の映像データを各々ファイル化し、映像ファイルとして記録媒体に記録する映像ファイル記録部と、
前記映像データの時間的な位置づけを識別するための時間識別情報と前記映像データの空間的な位置づけを識別するため空間識別情報とを含む、前記映像ファイルに対応するファイル単位識別情報を生成するファイル単位識別情報生成部と、
前記映像ファイルとともに、前記ファイル単位識別情報を前記記録媒体に記録する管理情報記録部と、
を備える映像処理装置。
【請求項2】
前記ファイル単位識別情報生成部は、
当該映像処理装置固有の識別子と記録開始時刻とをさらに含む前記ファイル単位識別情報を生成する
請求項1記載の映像処理装置。
【請求項3】
前記入力部で入力された映像データに対して、フレーム区切りを示す時間的位置づけを識別するためのフレーム単位時間識別情報を多重化するフレーム単位識別情報多重部をさらに備え、
前記映像ファイル記録部は、
前記フレーム単位識別情報が多重された映像データを映像ファイルとして記録する
請求項1又は2に記載の映像処理装置。
【請求項4】
記録媒体に記録された同時に表示すべき映像データからなる映像ファイルを再生する映像データ再生部と、
前記記録媒体に記録された前記映像ファイルの時間的な位置づけを識別するための時間識別情報と空間的な位置づけを識別するため空間識別情報とを含むファイル単位識別情報を再生するファイル単位識別情報再生部と、
前記ファイル単位識別情報にて関連付けられたクリップ群を検索するための同一クリップ検索部と、
前記ファイル単位識別情報にて関連付けられたクリップであるか否かを判別するための同一クリップ判別部と、
を備える映像処理装置。
【請求項5】
前記映像データ中のフレーム区切りを示す時間的位置づけを識別するためのフレーム単位時間識別情報を再生するフレーム単位識別情報再生部と、
前記ファイル単位識別情報にて関連付けられたクリップに対して、クリップに対応した映像データの同一フレーム位置に、前記フレーム単位時間識別情報を用いてシークする再生位置Seek部と、
を備える請求項4記載の映像処理装置。
【請求項6】
前記映像データ再生部は、
前記ファイル単位識別情報再生部により再生される時間的識別情報に基づいて前記映像ファイルの再生順番を決定する
請求項5記載の映像処理装置。
【請求項7】
前記ファイル単位識別情報にて関連付けられたクリップの整合性を確認する同一クリップ群検索部と、
前記同一クリップ群検索で検出したクリップの不整合を表示する表示部と、
を備える請求項4から6の何れかに記載の映像処理装置。
【請求項8】
前記映像データを合成して1つの映像データを作成する映像合成部を備える請求項4から7の何れかに記載の映像処理装置。
【請求項9】
前記映像データを合成して1つの映像データを作成する映像合成部と、
前記映像合成部で合成した映像データを再生する第1の映像処理部と、
合成前の映像データを再生する第2の映像処理部と、を備え、
前記第1の映像処理部は、
現在再生位置を取得する再生位置同期制御部を備え、
前記再生位置Seek部は、
前記現在再生位置にシークする
請求項5又は6に記載の映像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate


【公開番号】特開2011−103617(P2011−103617A)
【公開日】平成23年5月26日(2011.5.26)
【国際特許分類】
【出願番号】特願2009−258586(P2009−258586)
【出願日】平成21年11月12日(2009.11.12)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】