説明

映像処理装置、ダビングシステムおよび映像処理方法

【課題】別途の装置を用いず、ユーザの所望するタイミングで所望する内容に映像データを容易に加工する。
【解決手段】映像処理装置110は、ストリーム取得部と、予め定められたタイミングで、加工時点をマーキングして加工時点を示すマーキング情報を生成するマーキング部252と、第1ストリームに関連付けてマーキング情報を保持するストリーム保持部216と、復号部220と、復号部が復号処理を遂行する際に、マーキング情報を参照して加工時点を検知する加工時点検知部254と、加工時点が検知されると、加工時点において復号された映像データを加工する加工処理を遂行する映像加工部236と、符号化部226と、加工時点が検知されると、加工処理が完了するまで符号化処理を開始しないように制御する復号符号化制御部256と、加工したストリームを外部に出力する外部出力部230とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像データを加工する映像処理装置、ダビングシステムおよび映像処理方法に関する。
【背景技術】
【0002】
運動会、楽器や踊りの発表会、または誕生日会等のイベントにおいて、撮像装置(ビデオカメラ)を用いて動画を製作することがある。このとき撮像した動画にタイトル画像を重畳したり、タイトル画面を挿入したり、または文字や図形等のオブジェクト画像を重畳して装飾を施したりする等、映像を加工して、DVD等の記録媒体にダビングしたいという要望がある。そこで、一般的には動画をパーソナルコンピュータ(PC)に一旦取り込み、映像加工専用のソフト等を利用して映像を加工した後に記録媒体に記憶させる手段が採られている。
【0003】
しかし、タイトル画像を重畳する等の加工を試みた場合、映像を加工するためだけに、わざわざ撮像装置からPCに動画データを転送し、PC上で各種ソフトウェアを使用して編集およびダビングしなければならず、ユーザに煩雑な作業を強いることとなっていた。そこで、PCを使用せずに、管理情報に基づいて、シーンとシーンの間に自動的にタイトル表示データを挿入する技術が開示されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−272855号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献1の技術のタイトル表示データは、映像データの管理情報に基づいて生成される、日時、シーン種別、撮像場所に基づいたデータに限定されるため、決まり切ったタイトルしか表示させることができず、ユーザが所望するタイトルを必ずしも表示させることはできない。
【0006】
そこで、本発明は、PC等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを、ユーザの所望するタイミングで所望する内容に、容易に加工することが可能な映像処理装置、ダビングシステムおよび映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の映像処理装置(110)は、第1ストリームを取得するストリーム取得部と、予め定められたタイミングで、前記第1ストリームを加工する加工時点をマーキングして、前記加工時点を示すマーキング情報を生成するマーキング部(252)と、前記第1ストリームに関連付けて前記マーキング情報を保持するストリーム保持部(216)と、前記第1ストリームを復号して映像データを生成する復号処理を遂行する復号部(220)と、前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部(254)と、前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部(236)と、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第2ストリームを生成する符号化処理を遂行する符号化部(226)と、前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部(256)と、前記第2ストリームを外部に出力する外部出力部(230)とを備えることを特徴とする。
【0008】
前記映像加工部は、ユーザ入力に応じて作成された新規の映像データを、復号された映像データに重畳する加工処理を遂行してもよい。
【0009】
前記復号部による復号処理と前記符号化部による符号化処理とは交互に遂行され、前記映像加工部は、前記加工時点検知部が加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始してもよい。
【0010】
前記マーキング部は、所定の時間、所定の撮像シーン、またはユーザの入力に基づいて前記マーキング情報を生成してもよい。
【0011】
前記ストリーム取得部は撮像部(212)を備え、前記撮像部は被写体を撮像した撮像データを取得し、前記ストリーム取得部は前記撮像データに基づき前記第1ストリームを取得してもよい。
【0012】
上記課題を解決するために、本発明のダビングシステム(100)は、ストリームを加工する映像処理装置と、前記映像処理装置に接続され、加工されたストリームを任意の記録媒体に書き込む記録装置(120)とを備えるダビングシステムであって、前記映像処理装置は、第1ストリームを取得するストリーム取得部と、予め定められたタイミングで、前記第1ストリームを加工する加工時点をマーキングしてマーキング情報を生成するマーキング部と、前記第1ストリームに関連付けて前記マーキング情報を保持するストリーム保持部と、前記第1ストリームを復号して映像データを生成する復号処理を遂行する復号部と、前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部と、前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部と、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第2ストリームを生成する符号化処理を遂行する符号化部と、前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部と、前記第2ストリームを前記記録装置に出力する外部出力部と、を備え、前記記録装置は、出力された前記第2ストリームを記録媒体に書き込むストリーム書込部(314)を備えることを備えることを特徴とする。
【0013】
上記課題を解決するために、本発明の映像処理方法は、第1ストリームを取得し、予め定められたタイミングで、前記第1ストリームを加工する加工時点をマーキングしてマーキング情報を生成し、前記第1ストリームに関連付けて前記マーキング情報を保持しておき、前記第1ストリームを復号して映像データを生成する復号処理を遂行し、前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行し、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第2ストリームを生成する符号化処理を遂行し、前記マーキング情報を参照して、前記加工時点を検知すると、前記加工処理が完了するまで前記符号化処理を開始しないように制御し、前記第2ストリームを外部に出力することを特徴とする。
【発明の効果】
【0014】
本発明によれば、PC等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを、ユーザの所望するタイミングで所望する内容に、容易に加工することが可能となる。
【図面の簡単な説明】
【0015】
【図1】ダビングシステムの概略的な関係を説明するための説明図である。
【図2】映像処理装置の概略的な構成を示した機能ブロック図である。
【図3】マーキング部の処理を説明するための説明図である。
【図4】記録装置の概略的な構成を示した機能ブロック図である。
【図5】映像処理方法の処理の流れを説明するためのフローチャートである。
【図6】映像処理方法の処理の流れを説明するためのフローチャートである。
【図7】ダビングモードにおける復号処理、符号化処理および加工処理の全体的な流れを説明するためのタイミングチャートを示す図である。
【図8】映像加工部および表示制御部による具体的な処理を説明するための説明図である。
【図9】映像加工部および表示制御部による具体的な処理を説明するための説明図である。
【発明を実施するための形態】
【0016】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0017】
(ダビングシステム100)
図1は、ダビングシステム100の概略的な関係を説明するための説明図である。図1に示すように、ダビングシステム100は、映像処理装置110と、記録装置120とを含んで構成される。
【0018】
映像処理装置110は、デジタルビデオカメラ、携帯電話、PHS(Personal Handy-phone System)等の電子機器で構成される。例えば、映像処理装置110としてのデジタルビデオカメラは、被写体の撮像機能を有し、撮像により第1ストリームを生成および保持し、外部に出力する際に、その第1ストリームを加工して第2ストリームを生成する。ここでは、映像処理装置110としてデジタルビデオカメラを例に挙げて説明する。
【0019】
記録装置120は、USB(Universal Serial Bus)ケーブル、HDMI(High-Definition Multimedia Interface)ケーブル、LAN(Local Area Network)ケーブル等の接続ケーブル102を介して、映像処理装置110に接続され、映像処理装置110が出力した第2ストリームをDVDやBD(Blu-ray Disc)、フラッシュメモリ等の記録媒体130に書き込む。なお、ここでは、映像処理装置110と記録装置120とが有線(接続ケーブル102)で接続されているが、無線LANや、近距離無線通信(NFC)、赤外線通信等の無線で接続されてもよい。
【0020】
以下、取得した第1ストリームを加工して第2ストリームを生成する映像処理装置110および映像処理装置110が生成した第2ストリームを記録媒体130に書き込む記録装置120の具体的な構成について説明する。
【0021】
(映像処理装置110)
図2は、映像処理装置110の概略的な構成を示した機能ブロック図である。図2に示すように、映像処理装置110は、操作部210と、撮像部212と、符号化部214と、ストリーム保持部216と、ストリーム抽出部218と、復号部220と、復号バッファ222と、符号化バッファ224と、符号化部226と、ストリームバッファ228と、外部出力部230と、装置メモリ232と、表示部234と、映像加工部236と、中央制御部240とを含んで構成される。図2に示すように、中央制御部240は、システム内部バス202を通じて、操作部210、撮像部212、符号化部214、ストリーム保持部216、ストリーム抽出部218、復号部220、復号バッファ222、符号化バッファ224、符号化部226、ストリームバッファ228、外部出力部230、装置メモリ232、表示部234、映像加工部236を制御する。図2中、データの流れを実線の矢印で示し、制御の流れを破線の矢印で示す。
【0022】
本実施形態において映像処理装置110には、加工対象となる第1ストリームを取得して第1ストリームを加工する加工時点をマーキングする「マーキング情報生成モード」と、取得した第1ストリームを加工した第2ストリームを外部の装置、例えば、記録装置120に出力する「ダビングモード」との2つのモードがある。ユーザは、操作部210等の操作入力によりどちらかのモードを選択することで、これらの2つのモードを切り換えることができる。
【0023】
操作部210は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述する表示部234の表示画面に配されたタッチパネル等で構成され、マーキング情報生成モードとダビングモードとの切り換え、ダビングモードにおける映像データの加工等のユーザによる操作入力を受け付ける。
【0024】
撮像部212は、図示しない焦点調整に用いられるフォーカスレンズ、露光調整に用いられる絞り(アイリス)、撮像対象の拡大および縮小に用いられるズームレンズ、各レンズを通じて入射した光を光電変換し映像データに変換する撮像素子、フォーカスレンズ、絞り、ズームレンズ、および、撮像素子を駆動させる駆動回路等を含んで構成され、マーキング情報生成モードにおいて、後述する撮像制御部250の制御に応じ、これらを制御し、撮像データ(映像データ)を生成する。
【0025】
符号化部214は、マーキング情報生成モードにおいて、撮像部212が生成した映像データを順次符号化して、第1ストリームを生成する符号化処理を遂行する。
【0026】
なお、ここでは、撮像部212および符号化部214がストリーム取得部として機能するが、ストリーム取得部は、DVDやBD、フラッシュメモリ等の外部記録媒体から第1ストリームを取得してもよい。
【0027】
ストリーム保持部216は、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable PROM)、不揮発性RAM、フラッシュメモリ、HDD(Hard Disk Drive)等の記憶媒体で構成され、マーキング情報生成モードにおいて、第1ストリームや、後述するマーキング部252による制御指令に応じ、第1ストリームに関連付けて、第1ストリームを加工する加工時点を示すマーキング情報を保持する。
【0028】
ストリーム抽出部218は、ダビングモードにおいて、ストリーム保持部216から、加工対象となる第1ストリームを抽出する。
【0029】
復号部220は、ダビングモードにおいて、ストリーム抽出部218が抽出した第1ストリームを復号して映像データを生成する復号処理を遂行する。復号バッファ222は、SRAMやDRAM等の記憶媒体で構成され、ダビングモードにおいて、復号部220が復号した映像データを一時的に保持する。符号化バッファ224は、SRAMやDRAM等の記憶媒体で構成され、ダビングモードにおいて、復号部220が復号した映像データや、後述する映像加工部236が加工した映像データ(以下、単に「加工データ」と称する)を一時的に保持する。
【0030】
符号化部226は、ダビングモードにおいて、符号化バッファ224に保持された映像データや加工データを順次符号化して第2ストリームを生成する符号化処理を遂行する。ストリームバッファ228は、SRAMやDRAM等の記憶媒体で構成され、ダビングモードにおいて、符号化部226が生成した第2ストリームを一時的に保持する。
【0031】
外部出力部230は、ダビングモードにおいて、ストリームバッファ228が保持した第2ストリームを外部の装置、例えば記録装置120に出力する。
【0032】
装置メモリ232は、EMROM、不揮発性RAM、フラッシュメモリ、HDD等の記憶媒体で構成され、映像加工部236による加工処理の際に利用されるGUI(Graphical User Interface)用の映像データ(以下、単にGUI映像データと称する)や、同じく加工処理にて使用されるテンプレートデータ等を保持する。
【0033】
表示部234は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等で構成され、後述する表示制御部258の制御指令に応じて、様々な映像データを表示する。表示部234は、マーキング情報生成モードにおいて、撮像中の映像を表示したり、ダビングモードにおいて、復号部220が復号した映像データに基づく映像や、映像加工部236による加工処理を案内するためのGUI用の映像(以下、単にGUI映像と称する)や、加工データに基づく映像を表示したりする。
【0034】
映像加工部236は、ダビングモードにおいて、後述する加工時点検知部254が送信する、加工時点を検知したことを示す検知信号を受信すると、加工時点において復号された映像データを、復号バッファ222から抽出して、抽出した映像データを加工する加工処理を遂行する。映像加工部236は、例えば、ユーザ入力に応じて作成された新規の映像データを、復号された映像データに重畳したり、復号された映像データに対して色補正を行ったり、復号された映像データにおけるエッジ部分をシャープにしたりする。そして映像加工部236は、加工処理を施した映像データ(加工データ)を符号化バッファ224や表示部234に出力する。したがって、符号化バッファ224において、加工時点の映像データは、映像加工部236によって加工された加工データに置換されることになる。そして映像加工部236は、加工処理を完了すると、加工処理が完了したことを示す完了信号を後述する復号符号化制御部256に送信する。
【0035】
中央制御部240は、中央処理装置(CPU)、中央制御部240を動作するためのプログラム等を格納したROM、一時的なデータ保存およびワークエリアとして利用されるRAM等を含む半導体集積回路で構成され、装置メモリ232や他の電子回路と協働して映像処理装置110全体を管理および制御する。また、中央制御部240は、撮像制御部250、マーキング部252、加工時点検知部254、復号符号化制御部256、表示制御部258としても機能する。
【0036】
撮像制御部250は、マーキング情報生成モードにおいて、ユーザの操作部210への操作入力に応じ、撮像部212を制御する。例えば、撮像制御部250は、適切な映像データが得られるように、撮像部212を構成するズームレンズ、フォーカスレンズ、絞りおよび撮像素子を駆動回路に駆動させる。また、撮像制御部250は、ズーム機能(倍率変更機能)を遂行させる場合、ズームレンズおよびフォーカスレンズを移動させる。
【0037】
マーキング部252は、マーキング情報生成モードにおいて、予め定められたタイミングで、加工時点をマーキングしてマーキング情報を生成し、生成したマーキング情報を第1ストリームに関連付けてストリーム保持部216に保持させる。図3は、マーキング部252の処理を説明するための説明図である。図3(a)に示すように、マーキング部252は、例えば、ユーザによる操作部210への操作入力に応じたタイミングで、マーキング(図3中、Mで示す)したり、図3(b)に示すように、所定の時間間隔(図3中、tで示す)でマーキングしたり、図3(c)に示すように、所定の撮影シーンごと(例えば、撮影シーンの先頭のタイミング)にマーキングしたりする。
【0038】
ここでは、マーキング部252は、ユーザによる操作部210への操作入力に応じてマーキングする場合を例に挙げて説明する。操作入力に応じてマーキングする構成では、ユーザは、撮像しながらマーキングすることができるので、映像の加工を所望する時点を容易に設定することが可能となる。
【0039】
加工時点検知部254は、ダビングモードにおいて、復号部220による復号処理を監視しており、ストリーム保持部216に保持されたマーキング情報を参照して、第1ストリームにおける加工時点を検知すると、加工時点を検知したことを示す検知信号を、映像加工部236、復号符号化制御部256、表示制御部258に送信する。
【0040】
復号符号化制御部256は、マーキング情報生成モードにおいて、符号化部214を制御して符号化処理を遂行させたり、ダビングモードにおいて、復号部220を制御して復号処理を遂行させたり、符号化部226を制御して符号化処理を遂行させたりする。例えば、復号符号化制御部256は、符号化部226を制御して、加工時点検知部254から送信される検知信号を受信すると、映像加工部236による加工処理が完了するまで符号化処理を開始しないように制御し、映像加工部236が送信する完了信号を受信すると符号化処理を再開する。復号符号化制御部256による復号処理および符号化処理については、後に詳述する。
【0041】
表示制御部258は、マーキング情報生成モードにおいて、撮像中の映像を表示部234に表示させる。また、表示制御部258は、ダビングモードにおいて、加工時点検知部254から送信された検知信号を受信すると、復号部220が復号した映像データに基づく映像や、GUI映像や、加工データに基づく映像を表示部234に表示させたりする。
【0042】
(記録装置120)
図4は、記録装置120の概略的な構成を示した機能ブロック図である。図4に示すように、記録装置120は、中央制御部310と、ストリーム取得部312と、ストリーム書込部314とを含んで構成される。
【0043】
中央制御部310は、中央処理装置(CPU)、中央制御部310を動作するためのプログラム等を格納したROM、一時的なデータ保存およびワークエリアとして利用されるRAM等を含む半導体集積回路で構成され、不図示のメモリや他の電子回路と協働して記録装置120全体を管理および制御する。
【0044】
ストリーム取得部312は、接続ケーブル102を通じて映像処理装置110から第2ストリームを取得する。ストリーム書込部314は、第2ストリームを記録媒体130に書き込む。
【0045】
(映像処理方法)
図5、図6は、ダビングシステム100による映像処理方法の処理の流れを説明するためのフローチャートであり、図5は、マーキング情報生成モードでの処理を説明するためのフローチャートを、図6は、ダビングモードでの処理を説明するためのフローチャートを示す。また、図7は、ダビングモードにおける復号処理、符号化処理および加工処理の全体的な流れを説明するためのタイミングチャートを示す図である。
【0046】
(マーキング情報生成モード)
図5に示すように、ユーザによる操作部210への操作入力に応じて、マーキング情報生成モードが選択されると(S400におけるYES)、撮像部212は、第1ストリームの生成を開始し、符号化部214が符号化した後、第1ストリームをストリーム保持部216に順次保持させる(S402)。
【0047】
第1ストリームの生成中に、操作部210が、ユーザによる加工時点のマーキングを所望する旨の操作入力を受け付けると(S404におけるYES)、マーキング部252は加工時点をマーキングしてマーキング情報を生成し、第1ストリームに関連付けて第1ストリームと共にストリーム保持部216に保持させる(S406)。なお、ユーザによるマーキング情報の生成を所望する旨の操作入力がない場合(S404におけるNO)、マーキング部252は、マーキング情報を生成しない。
【0048】
そして、中央制御部240は、ユーザによる第1ストリームの取得を停止する旨の操作入力があったか否かを判定し(S408)、停止する旨の操作入力があると(S408におけるYES)、マーキング情報生成モードを終了する。
【0049】
(ダビングモード)
図6に示すように、ユーザによる操作部210への操作入力に応じて、ダビングモードが選択されると(S430におけるYES)、ストリーム抽出部218は、ストリーム保持部216に保持された第1ストリームを順次抽出し、復号符号化制御部256は、復号部220を制御して、第1ストリームの復号処理を開始し、復号した映像データを順次復号バッファ222に出力する(S432)。また、加工時点検知部254は、復号部220による復号処理の監視を開始し、加工時点の検知に備える。
【0050】
なお、図7(a)、(b)に示すように、復号符号化制御部256は、復号処理によって、復号バッファ222および符号化バッファ224にある程度映像データが蓄積された後に、符号化処理を遂行する、すなわち、復号処理と符号化処理とが交互に遂行されるように(復号処理が終わってから符号化処理が遂行されるように)、復号部220および符号化部226を制御する。復号符号化制御部256は、復号部220による復号処理が完了してから所定の切り換え時間経過後に符号化部226による符号化処理を開始し、符号化部226による符号化処理が完了してから所定の切り換え時間(図7中「切り換え」で示す)経過後に復号部220による復号処理を開始する。
【0051】
このように、復号符号化制御部256が復号処理と符号化処理とを交互に遂行させることにより、復号バッファ222および符号化バッファ224の容量を小さくすることができる。
【0052】
なお、復号バッファ222および符号化バッファ224が1ストリーム分の映像データを保持できる程度に容量が大きい場合、復号符号化制御部256は、復号部220に第1ストリームをすべて復号させ、続いて符号化部226に第1ストリームを符号化させてもよい。
【0053】
図6に戻って説明すると、加工時点検知部254が、ストリーム保持部216に保持されたマーキング情報を参照して加工時点を検知すると(S434におけるYES)、加工時点検知部254は検知信号を、映像加工部236、復号符号化制御部256、表示制御部258に送信し、映像加工部236、復号符号化制御部256、表示制御部258は、映像加工処理S436を遂行する。
【0054】
(映像加工処理S436)
まず、復号符号化制御部256は、検知信号を受信すると、現在遂行している復号処理の後に遂行される符号化処理の開始を一時停止しておく(図7参照)。次に、映像加工部236は、表示制御部258による表示部234の制御と協働して、加工時点において復号された映像データの加工処理を開始する。
【0055】
図8および図9は、映像加工部236および表示制御部258による具体的な処理を説明するための説明図である。表示制御部258は、検知信号を受信すると、図8(a)に示すように、加工時点において復号された映像データ510に、ユーザに映像の加工を促すことを示すGUI映像データ512を重畳して表示部234に表示させる。
【0056】
そして、ユーザが操作部210を通じて、表示部234に表示されたYESボタン512aを選択決定すると、図8(b)に示すように、表示制御部258は、映像の加工の種類を示すGUI映像データ514を表示部234に表示させる。ここで、例えば、ユーザが操作部210を通じて、映像処理装置110で予め準備されているテンプレートを利用することを示すボタン514aを選択決定すると、図8(c)に示すように、表示制御部258は、テンプレートの一覧を示すGUI映像データ516を表示部234に表示させる。
【0057】
なお、ユーザは、GUI映像データ516における左ボタン516aや右ボタン516bを選択することで、表示部234に表示させるテンプレートのサムネイル516cを変更することができる。そして、ユーザが操作部210を通じて、選択ボタン516dを選択決定すると、図9(a)に示すように、映像加工部236は、復号された映像データ510を復号バッファ222から抽出して、テンプレートを重畳し、加工データ520を生成する。
【0058】
このように、装置メモリ232が予め複数種類のテンプレートデータを保持しておくことで、映像加工部236は、ユーザに複数種類のテンプレートのうちいずれかを選択させて、選択させたテンプレートを重畳して加工データ520を生成できるので、ユーザに容易に加工処理を遂行させることが可能となる。
【0059】
また、例えばユーザが、図8(b)に示すGUI映像データ514を視認して、操作部210を通じて、表示部234に表示された、手書きを利用することを示すボタン514bを選択決定すると、例えば、表示部234に重畳されたタッチパネルが起動し、ユーザは、このタッチパネルを操作することで、図9(b)に示すような新規の映像データ522を生成することができる。そして、この新規の映像データ522の生成が完了すると、図9(c)に示すように、映像加工部236は、復号された映像データ510を復号バッファ222から抽出し、ユーザが生成した新規の映像データ522を重畳して、加工データ524を生成する。
【0060】
このように、映像加工部236は、ユーザ入力に応じて作成された新規の映像データ522を、復号された映像データ510に重畳するため、ユーザが所望する加工処理を施すことが可能となる。
【0061】
そして、ユーザが操作部210を通じて加工処理を完了するための操作入力を行うと、映像加工部236は、完了信号を復号符号化制御部256に送信する。
【0062】
なお、上述したように、本実施形態において、映像加工部236は、復号符号化制御部256による復号処理が完了してから加工処理を開始しているが(図7(a)参照)、復号符号化制御部256による復号処理の完了を待たずに(完了する前から)、加工処理を開始してもよい(図7(b)参照)。このように、映像加工部236が、復号処理が完了する前から加工処理を開始することで、復号処理が完了してから加工処理を開始する場合と比較して、ダビングの総時間を短縮することが可能となる。
【0063】
図6に戻って、映像処理方法についての説明を続けると、加工時点判定ステップS434において、加工時点検知部254が加工時点を検知しない場合(S434におけるNO)、復号ステップS432で復号バッファ222に保持された映像データを符号化バッファ224に出力する(S438)。また、加工時点検知部254が加工時点を検知した場合に、加工ステップS436が完了すると、映像加工部236は、加工データ520を符号化バッファ224に出力する(S438)。
【0064】
そして、符号化バッファ224が予め定められた処理の容量に達すると、復号符号化制御部256は、復号部220に復号処理を停止させ(S440におけるYES)、符号化部226に符号化処理を開始(再開)させて第2ストリームを生成させ、ストリームバッファ228に保持させる(S442)。
【0065】
符号化バッファ224に保持された映像データおよび加工データの符号化処理が完了すると(S444におけるYES)、中央制御部240は、ストリーム保持部216に保持された第1ストリームの復号および符号化がすべて終了したか否かを判定し(S446)、すべて終了していれば(S446におけるYES)、外部出力部230は、ストリームバッファ228に保持された第2ストリームを記録装置120に出力する(S448)。
【0066】
以上説明したように、本実施形態にかかる映像処理装置110および映像処理方法では、映像処理装置110自体に設けられた映像加工部236が映像データを加工するため、PC等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを容易に加工することが可能となる。また、映像加工部236は、操作部210を通じたユーザによる操作入力に応じて、映像データを加工することができるため、ユーザが所望する加工処理を映像データに施すことが可能となる。さらに、マーキング部252は、操作部210を通じたユーザによる操作入力に応じて、マーキング情報を生成するため、ユーザが所望する映像データに加工処理を施すことが可能となる。
【0067】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0068】
例えば、上述した実施形態では、符号化部214が、撮像部212が生成した映像データを符号化し、符号化部226が、復号された映像データや加工データを符号化しているが、符号化部214と符号化部226を1つに纏めることもできる。
【0069】
また、撮像部212および符号化部214がストリーム取得部として機能し、撮像部212および符号化部214による第1ストリームの生成(撮像)と並行して、マーキング部252がユーザによる操作入力に応じてマーキングする場合を例に挙げて説明したが、例えば、撮像部212を有さない構成において、ストリーム取得部が外部記録媒体から第1ストリームを取得する場合、一旦復号部220が第1ストリームを復号して、表示部234に表示させてもよい。こうすることで、ユーザは第1ストリームに基づく映像を視認しながらマーキングすることができる。
【0070】
さらに、上述した実施形態では、記録装置120が記録媒体130へのストリーム書き込み機能を備える構成について説明したが、映像処理装置110がストリーム書き込み機能を備えることもできる。
【0071】
なお、本明細書の映像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【0072】
本発明は、映像データを加工する映像処理装置、ダビングシステムおよび映像処理方法に利用することができる。
【符号の説明】
【0073】
100 …ダビングシステム
110 …映像処理装置
120 …記録装置
130 …記録媒体
212 …撮像部(ストリーム取得部)
214 …符号化部(ストリーム取得部)
216 …ストリーム保持部
220 …復号部
226 …符号化部
230 …外部出力部
236 …映像加工部
252 …マーキング部
254 …加工時点検知部
256 …復号符号化制御部
314 …ストリーム書込部

【特許請求の範囲】
【請求項1】
第1ストリームを取得するストリーム取得部と、
予め定められたタイミングで、前記第1ストリームを加工する加工時点をマーキングして、前記加工時点を示すマーキング情報を生成するマーキング部と、
前記第1ストリームに関連付けて前記マーキング情報を保持するストリーム保持部と、
前記第1ストリームを復号して映像データを生成する復号処理を遂行する復号部と、
前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部と、
前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部と、
前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第2ストリームを生成する符号化処理を遂行する符号化部と、
前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部と、
前記第2ストリームを外部に出力する外部出力部と、
を備えることを特徴とする映像処理装置。
【請求項2】
前記映像加工部は、ユーザ入力に応じて作成された新規の映像データを、復号された映像データに重畳する加工処理を遂行することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記復号部による復号処理と前記符号化部による符号化処理とは交互に遂行され、
前記映像加工部は、前記加工時点検知部が加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始することを特徴とする請求項1または2に記載の映像処理装置。
【請求項4】
前記マーキング部は、所定の時間間隔、所定の撮影シーン、またはユーザの入力に基づいて前記マーキング情報を生成することを特徴とする請求項1から3のいずれか1項に記載の映像処理装置。
【請求項5】
前記ストリーム取得部は撮像部を備え、
前記撮像部は被写体を撮像した撮像データを取得し、
前記ストリーム取得部は前記撮像データに基づき前記第1ストリームを取得することを特徴とする請求項1から4のいずれか1項に記載の映像処理装置。
【請求項6】
ストリームを加工する映像処理装置と、前記映像処理装置に接続され、加工されたストリームを任意の記録媒体に書き込む記録装置とを備えるダビングシステムであって、
前記映像処理装置は、
第1ストリームを取得するストリーム取得部と、
予め定められたタイミングで、前記第1ストリームを加工する加工時点をマーキングしてマーキング情報を生成するマーキング部と、
前記第1ストリームに関連付けて前記マーキング情報を保持するストリーム保持部と、
前記第1ストリームを復号して映像データを生成する復号処理を遂行する復号部と、
前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部と、
前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部と、
前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第2ストリームを生成する符号化処理を遂行する符号化部と、
前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部と、
前記第2ストリームを前記記録装置に出力する外部出力部と、
を備え、
前記記録装置は、
出力された前記第2ストリームを記録媒体に書き込むストリーム書込部を備えることを備えることを特徴とするダビングシステム。
【請求項7】
第1ストリームを取得し、
予め定められたタイミングで、前記第1ストリームを加工する加工時点をマーキングしてマーキング情報を生成し、
前記第1ストリームに関連付けて前記マーキング情報を保持しておき、
前記第1ストリームを復号して映像データを生成する復号処理を遂行し、
前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行し、
前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第2ストリームを生成する符号化処理を遂行し、
前記マーキング情報を参照して、前記加工時点を検知すると、前記加工処理が完了するまで前記符号化処理を開始しないように制御し、
前記第2ストリームを外部に出力することを特徴とする映像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−182659(P2012−182659A)
【公開日】平成24年9月20日(2012.9.20)
【国際特許分類】
【出願番号】特願2011−44264(P2011−44264)
【出願日】平成23年3月1日(2011.3.1)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】