画像編集プログラム、画像編集方法、画像編集装置、記録媒体
【課題】編集対象となる映像素材（例えば動画像データ）について、特定の画像に対するモザイク等の画像処理を短時間で効率よく実行できるようにする。
【解決手段】まず画像データに含まれる画像の中から認識対象画像を設定するとともに、認識対象画像の属性情報を設定する。そして画像データを構成するフレーム毎に、属性情報を用いて、フレーム画像内での認識対象画像を探索する。各フレーム画像については探索した認識対象画像の画像範囲に応じて決定される処理対象領域（例えばその認識対象画像の画像範囲）について、画像処理情報を付与していく。
【解決手段】まず画像データに含まれる画像の中から認識対象画像を設定するとともに、認識対象画像の属性情報を設定する。そして画像データを構成するフレーム毎に、属性情報を用いて、フレーム画像内での認識対象画像を探索する。各フレーム画像については探索した認識対象画像の画像範囲に応じて決定される処理対象領域（例えばその認識対象画像の画像範囲）について、画像処理情報を付与していく。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像編集プログラム、画像編集方法、画像編集装置及び記録媒体に関し、映像コンテンツ等の画像データに対する各種の画像処理を行う画像編集の技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００８−２３６１４１号公報
【背景技術】
【０００３】
映画や放送番組等の映像コンテンツは、制作された作品内容に画像処理を加えて商品化することがある。
例えばコンテンツ映像内に映り込んでいる特定の人の顔や、個人情報を示す表示などをそのまま映像内に残しておくことは適切でない場合がある。また各国の法律、風習、宗教等の違いなどにより、或る国では問題ないが、他の或る国では不適切とされる画像もある。例えばＡ国で制作された映像コンテンツ作品をＢ国で映画上映、ビデオ販売、放送等で利用する場合、該コンテンツ内の或る画像についてはＢ国では公的に露出すべきでないとされることもある。
そのため、映像コンテンツの商品化にあたっては、所定の画像部分にモザイク処理やブラー処理などを行って、該画像部分がコンテンツ内で隠蔽されるようにする画像編集が行われることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、コンテンツ内で或る特定画像について画像処理、例えばモザイク化する編集作業を行うことを考える。この場合、動画を構成する各フレーム毎に、該特定画像の位置や形状が常に変化する。即ちモザイク化したい処理対象領域（モザイク処理を加える画素範囲）はフレーム毎に位置や形状が変動する。
このため正確に特定画像を隠蔽するには、１フレーム毎に特定画像の画素領域を指定して処理し、また確認を行なわなければならず、作業者にとっては莫大な手間となる。
【０００５】
本開示では、このような問題に鑑み、例えば画像データに表れる或る特定画像に画像処理を行う場合に、効率的に画像編集作業を実行できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本開示の画像編集プログラムは、画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップとを演算処理装置に実行させるプログラムである。
また本開示の記録媒体は、上記画像編集プログラムを記録した記録媒体である。
【０００７】
本開示の画像編集方法は、画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップとを有する。
【０００８】
本開示の画像編集装置は、画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定処理部と、上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索処理部と、上記探索処理部によって探索された上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理設定部とを備える。
【０００９】
このような本開示では、認識対象画像を設定することで、その属性情報を用いて、各フレームにおける当該認識対象画像を探索（トラッキング）していく。即ち各フレームで認識対象画像が表れている範囲（画素範囲）を自動的に検出していく。さらに、各フレームで見つけられた認識対象画像の範囲によって決められる処理対象領域（画像処理を行う画素範囲）について、モザイク化等の画像処理情報を与える。
このようにすることで、作業者が各フレーム毎に画像処理を施す画素範囲を設定して画像処理を施していくという面倒な作業は解消される。
【発明の効果】
【００１０】
本開示の技術により、例えば映像コンテンツの動画像データ等の、編集対象となる映像素材について、特定の画像に対するモザイク化等の画像処理を短時間で効率よく実行できるという効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施の形態の画像編集装置のブロック図である。
【図２】実施の形態の画像編集プログラムにより実現される機能構成例の説明図である。
【図３】実施の形態の画像編集作業手順の説明図である。
【図４】実施の形態の画像編集作業の説明図である。
【図５】第１の実施の形態の画像編集処理のフローチャートである。
【図６】実施の形態の認識対象画像設定処理のフローチャートである。
【図７】実施の形態の認識対象画像の画像内への出現例の説明図である。
【図８】実施の形態のトラック毎の画像範囲情報と画像処理情報の説明図である。
【図９】実施の形態の認識対象画像のトラッキングを及び画像処理例の説明図である。
【図１０】実施の形態の顔画像のトラッキングの説明図である。
【図１１】実施の形態の認識対象画像のトラッキングを及び画像処理例の説明図である。
【図１２】実施の形態の修正処理の説明図である。
【図１３】第２の実施の形態の画像編集処理のフローチャートである。
【図１４】実施の形態の画像編集プログラムにより実現される機能構成例の説明図である。
【図１５】第３，第４の実施の形態の画像編集処理のフローチャートである。
【図１６】第５の実施の形態の説明図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態を次の順序で説明する。
＜１．プログラム及び画像処理装置＞
＜２．画像編集作業手順＞
＜３．画像編集処理：第１の実施の形態＞
＜４．画像編集処理：第２の実施の形態＞
＜５．画像編集処理：第３，第４の実施の形態＞
＜６．画像編集処理：第５の実施の形態＞
＜７．変形例＞
【００１３】
＜１．プログラム及び画像処理装置＞
図１は、実施の形態の画像編集装置のブロック図を示している。この図１の構成はコンピュータ装置の構成例であるが、例えばこのようなコンピュータ装置に本実施の形態の画像編集プログラムがインストールされ、該画像編集プログラムに基づく動作が実行されることで、実施の形態の画像編集装置が実現される。
もちろん画像編集装置としては、汎用コンピュータ装置ではなく、画像編集専用の装置として形成されてもよいし、以下説明していく画像処理プログラムに基づく機能動作がハードウエアにより実行される装置とされてもよい。
実施の形態としては、画像処理プログラムをインストールしたコンピュータ装置により画像処理装置が実現される例で説明してく。
【００１４】
図１において、画像編集装置１（コンピュータ装置）は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３を有する。
ＣＰＵ１１（演算処理装置）は、ＲＯＭ１２に記憶されているプログラム、または記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。特にＣＰＵ１１は、画像編集プログラムに基づいて、画像編集作業のための各種処理を実行する。
ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。
【００１５】
入出力インターフェース１５には、ユーザインターフェース部位として、入力部１６や出力部１７が接続される。
入力部１６はキーボード、マウスなどを有し、画像編集作業を行う作業者が各種設定や編集指示等のための入力を行うことができるようにされる。
また、入力部１６として、デジタイザーやフェーダー入力装置を備えて作業者が入力操作できるようにしてもよい。或いは、入力部１６の構成として、外部入力装置としてのデジタイザーやフェーダー入力装置とのインターフェースを備えることも可能である。
出力部１７は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）などよりなるディスプレイ、並びにスピーカなどより構成される。出力部１７によって、編集作業対象の画像データの表示や、各種画像処理後の画像表示、修正作業のための表示などが行われる。
【００１６】
また入出力インターフェース１５には記憶部１８、通信部１９、メディアドライブ２０が接続される。
記憶部１８はＨＤＤ（Hard Disk Drive）やフラッシュメモリなどとして実現される。記憶部１８には各種データやアプリケーションプログラムの格納に用いられる。本例の場合、記憶部１８は編集処理対象となる画像データ（映像コンテンツ等）の格納に用いたり、画像編集プログラムの格納に用いることができる。
【００１７】
通信部１９は、外部機器との間でのデータ、コマンド、制御情報等の通信を行う。この通信部１９は、インターネットやＬＡＮ（Local Area Network）等のネットワークを介しての通信処理を行う構成や、無線ＬＡＮ、ブルートゥースなどの方式で近距離無線通信を行う構成などが考えられる。また、ＵＳＢ（Universal Serial Bus）等の通信方式で機器間通信を行う部位も、通信部１９の一態様となる。いずれにしても通信部１９は、ネットワーク通信又は機器間通信を行う構成とされる。
メディアドライブ２０は、例えば磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が適宜装着され、記録又は再生が行われる。
【００１８】
本例の画像処理装置１では、編集処理対象となる画像データは、通信部１９によって外部機器から受信して、或いはネットワークを介したダウンロードとして取り込むことができる。また或いは画像データはリムーバブルメディア２１によって提供され、メディアドライブ２０によってリムーバブルメディア２１を再生することで画像処理装置１内に取り込むことができる。
さらに画像処理装置１で画像編集を行った編集完了後の画像データ（編集済みコンテンツ）は、通信部１９から外部機器に供給したり、ネットワーク上のサーバ等にアップロードすることができる。また編集完了後の画像データをメディアドライブ２０においてリムーバブルメディア２１に記録し、リムーバブルメディア２１によって顧客等に提供することができる。
【００１９】
この画像編集装置１では、ＣＰＵ１１が画像処理プログラムに基づく処理により、後述する画像編集作業のための各種処理を行う。
画像処理プログラムに基づく処理として実現されるＣＰＵ１１の機能構成を図２に示す。
図２に示すように、ＣＰＵ１１には、認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３、確認・修正処理部３４、作業ファイル分散・統合処理部３５、レンダリング処理部３６が形成されることとなる。
【００２０】
認識対象画像設定処理部３１は、編集作業の対象となる画像データに含まれる画像の中から認識対象画像を設定するとともに、認識対象画像の属性情報を設定する処理を行う。例えば認識対象画像とは、特定の顔画像や特定の物であったり、作業者が範囲指定した画像であったりする。属性情報とは、特定の人や物の画像を識別するための個人識別情報や、個体識別情報を含む。また属性情報には、探索処理に用いる探索補助情報を含む。例えば認識対象画像を構成する輝度情報や色情報が探索補助情報となり得る。
【００２１】
トラッキング処理部３２は、画像データを構成するフレーム毎に、属性情報を用いて、フレーム画像内での認識対象画像を探索する処理を行う。具体的には、認識対象画像として設定された画像についての、各フレーム内での画素範囲を探索する。説明上、この認識対象画像の探索処理のことを「トラッキング」ともいう。
【００２２】
画像処理設定部３３は、トラッキング処理部３２が探索した認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域について、画像処理情報を付与する。処理対象領域とは、例えば各フレーム内での認識対象画像の画素範囲とすること（つまり処理対象領域＝探索された認識対象画像の画素範囲）が考えられるが、後に変形例として述べるように、それには限定されない。
また画像処理情報を付与する処理とは、処理対象領域に或る画像効果処理の種別、例えばモザイク処理、ブラー処理、目線処理などを設定する処理である。なお例えばモザイク処理としても、モザイクのサイズとして複数の種別を設定したり、ブラー処理の度合いにより複数のブラー処理種別を設定することもできる。
画像処理情報が付与されることで、その処理対象領域には、最終的にはその付与された画像効果処理が施される。
【００２３】
確認・修正処理部３４は、各フレームにおける処理対象領域に画像処理情報が付与された後において、作業者に編集状態の画像を表示する処理を行うと共に、作業者の入力に応じて、処理対象領域の範囲（画素範囲やフレーム範囲）を修正したり、画像処理情報を修正する処理を行う。
【００２４】
作業ファイル分散・統合処理部３５は、元々の編集素材の画像データを時間的に分割して作業ファイルを設定したり、或いは認識対象画像毎に別々に分散して編集作業を行うための作業ファイルを設定する処理を行う。
また分散により複数系統で画像編集作業が行われた作業ファイルを統合する処理も行う。
作業ファイル分散・統合処理部３５としての機能を備えない画像編集装置１も考えられる。作業ファイル分散・統合処理を伴わない編集作業も想定されるためである。また作業ファイル分散・統合処理を行う場合でも、例えば作業ファイル分散が外部装置で行われ、画像編集装置１には、その画像編集装置１で編集作業を実行する作業ファイルのみが入力されるようにしてもよい。また外部装置で統合処理を実行するために、画像編集装置１が編集作業を行った作業ファイルを外部装置に出力するものとしてもよい。
或いは画像編集装置１として、分散処理、統合処理の一方の機能を有することも考えられる。
【００２５】
レンダリング処理部３６は、レンダリング処理を行う。即ち外部に提供する画像データとして、編集作業を反映した編集済み画像データを生成する。
レンダリングは外部機器で行うものとして、レンダリング処理部３６を備えない画像編集装置１も想定される。
【００２６】
本実施の形態の画像編集装置１は、インストールされている画像編集プログラムに基づいて、ＣＰＵ１１が図２の機能構成として示した各処理を実行することで、後述する編集作業での各種処理を実行する。
なお、説明上は、本実施の形態の画像編集処理は、主にＣＰＵ１１の処理として実行されるものとするが、ＣＰＵ１１とは独立して画像編集処理を実行する画像処理プロセッサ等を搭載した装置も想定される。その場合は画像処理プロセッサ等が、図２のような機能を備えれば良い。
即ち実施の形態の画像編集プログラムは、ＣＰＵ１１等の演算処理装置に、図２の機能構成の各処理を実行させるプログラムとなる。
【００２７】
なお、このような画像編集プログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、編集処理プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
画像編集プログラムを記録した上記の各種のリムーバブル記録媒体や、或いはＨＤＤ、ＲＯＭ、フラッシュメモリ等、機器内に固定的に装備される記録媒体は、本開示の請求項でいう記録媒体に相当することとなる。
【００２８】
＜２．画像編集作業手順＞
実施の形態の映像コンテンツに対する画像編集作業手順を図３，図４で説明する。なお以下説明する作業手順は、一つの画像編集装置１（画像編集プログラム）によって実行される場合もあるし、複数の画像編集装置１に分散されて実行される場合もある。
【００２９】
図３は編集素材である画像データＯＤが入力される段階から編集後の画像データの完成までの手順（処理工程）を示している。各処理工程について説明する。
【００３０】
［作業ファイル設定工程ＳＴ１］
作業ファイル設定工程ＳＴ１では、画像編集作業を行う作業ファイルＰＦを設定する。
作業ファイルＰＦとは、編集素材の画像データ（ＡＶＩ）を、そのまま１つの作業ファイルＰＦとしてもよいし、図示の例のように複数の作業ファイルＰＦ（ＰＦ−ａ、ＰＦ−ｂ、ＰＦ−ｃ）を設定してもよい。
【００３１】
複数の作業ファイルＰＦ−ａ、ＰＦ−ｂ、ＰＦ−ｃ・・・は、例えば入力された画像データＯＤを時間軸上で分割した画像データファイルとすることが考えられる。例えば３０分の映像コンテンツとしての画像データＯＤを、１０分毎に３つの画像データに分割したものなどである。つまりプロジェクト分散として、複数の作業者が、映像コンテンツの一部ずつを担当して編集作業を行うような場合である。
或いはプロジェクト分散としては、複数の作業者が画像処理の対象毎（例えばモザイク処理をかける画像内容毎）に分担して行うことも考えられる。その場合、例えば複数の作業ファイルＰＦ−ａ、ＰＦ−ｂ、ＰＦ−ｃ・・・は、それぞれ元の画像データＯＤとなる。
もちろん、時間分割と、画像処理の対象毎の複合的なプロジェクト分散も想定される。
【００３２】
いずれにしても、作業ファイル設定工程ＳＴ１では、或る作業者が画像編集装置１を用いて実行する編集処理対象を１つの作業ファイルＰＦとして設定する工程であり、作業ファイルＰＦの設定は、映像コンテンツのサイズ、作業者数、画像編集装置数、納期等の各種の事情に応じて決められれば良い。
なお、この作業ファイルＰＦの設定は、作業ファイル設定機能（例えば図２の作業ファイル分散・統合処理部３５）を有する或る画像編集装置１において行うことができるが、複数の作業ファイルＰＦを設定してプロジェクト分散する場合、他の作業者が使用する他の画像編集装置１において作業ファイル設定を行う必要はない。つまり他の画像編集装置１は、設定された作業ファイルを入力できればよく、その意味で図２の作業ファイル分散・統合処理部３５の機能を有することは必ずしも必要ではない。
【００３３】
［画像編集工程ＳＴ２］
画像編集装置１では、続いて画像編集工程ＳＴ２が行われる。画像編集工程ＳＴ２は、図２の認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３、確認・修正処理部３４の機能に基づく作業となる。
図２では、設定された３つの作業ファイルＰＦ−ａ、ＰＦ−ｂ、ＰＦ−ｃのそれぞれについて画像編集工程ＳＴ２−ａ、ＳＴ２−ｂ、ＳＴ２−ｃを示している。これはプロジェクト分散した場合の例である。画像編集工程ＳＴ２−ａ、ＳＴ２−ｂ、ＳＴ２−ｃはそれぞれ別の画像編集装置１（画像編集プログラムをインストールしたコンピュータ装置等）によって実行されるようにすることができる。
もちろん上述のように、プロジェクト分散せずに、編集素材の画像データを、そのまま１つの作業ファイルＰＦとした場合、１つの画像編集装置１で作業ファイルＰＦに対する画像編集処理を実行すればよい。
【００３４】
画像編集装置１における画像編集工程ＳＴ２の処理内容を図４に示す。
画像編集工程ＳＴ２では、認識対象画像設定工程ＳＴ５０、トラッキング・画像処理工程ＳＴ５１、確認・修正工程ＳＴ５２が行われる。
【００３５】
認識対象画像設定工程ＳＴ５０は、作業ファイルとしての画像データの各フレーム毎にトラッキングを行う対象の画像（認識対象画像）を決定するとともに、当該認識対象画像についての属性情報を設定する処理である。
この認識対象画像設定工程ＳＴ５０では、２種類の手法で認識対象画像を設定できる。作業者の領域指定に基づく設定処理（ＳＴ５０−１）と、個体の自動検出による設定処理（ＳＴ５０−２）である。作業者の指示入力に応じて、これらの一方又は両方が実行される。
【００３６】
まず、作業者の領域指定に基づく設定処理（ＳＴ５０−１）としては、作業ファイルＰＦの或るフレームの画像を表示した状態で、作業者による画面上での領域入力に応じて、その領域内の画像を認識対象画像と設定するものである。
作業者による領域入力としては、画面上で、円形、方形等の固定形状で領域を指定するようにしたり、或いは作業者が画面上をなぞったり、画面上で多数の位置を指定するなどに応じた任意形状の領域を指定できるようにする。
後述するが、例えば図１１Ａのように鳥の画像が表示されているフレームで、作業者が鳥の頭部を囲むように位置指定した場合、その鳥の頭部の領域（画像部分）を、認識対象画像として設定することになる。
【００３７】
また設定した認識対象画像に対しては属性情報を設定する。この場合の属性情報としては、トラッキングに用いるトラッキング補助情報とする。例えば指定された領域の画素の輝度情報や色情報、色の配置情報、画像内容のパターンなどをトラッキング補助情報とし、設定した認識対象画像に関連づけて記憶する。
【００３８】
次に、個体の自動検出による設定処理（ＳＴ５０−２）では、作業ファイルの画像データについて画像解析処理を行うことによる顔認識や特定の個体認識などを行って、その結果により認識対象画像を設定するものである。
例えば画像内容を解析して顔検出を行う。そして顔の画像部分を認識対象画像として設定する。人の顔ではなく、動物の顔部分や、特定の物を認識して、それを認識対象画像として設定することもできる。
【００３９】
また設定した認識対象画像に対しては属性情報を設定する。この場合の属性情報の内容としては、個体（個人）識別情報及びトラッキング補助情報である。
個人識別情報は画像解析処理により検出した顔画像等を識別する情報であり、例えば目、鼻、口の配置の情報などを、特定の個人の顔の情報として属性情報に加え、認識対象画像に関連づけて登録する。
顔ではなく特定の物（特定の商標、商号等を表示した看板等、特定形状の建造物や物品、著作物等）であれば、その形状、模様、色の配置などを総合した画像パターンを、個体識別情報とすることができる。
また、個体（個人）識別情報に加え、トラッキング補助情報として、例えば認識対象画像の領域の画素の輝度情報や色情報、色の配置情報、画像内容のパターンなどを、設定した認識対象画像に関連づけられた属性情報の内容として登録する。
【００４０】
以上のように、認識対象画像設定工程ＳＴ５０では、各フレームでトラッキングさせたい認識対象画像を作業者入力や自動検出により設定し、また設定した認識対象画像に関連づけて属性情報（個体（個人）識別情報やトラッキング補助情報）を登録する。
詳しくは後述するが、設定された認識対象画像は、それぞれが属性情報によって区別される１つの「トラック」として扱われる。
【００４１】
なお、作業者の領域指定に基づく設定処理（ＳＴ５０−１）においても、作業者が指定した領域の画像が、或る特定の個体又は個人などであれば、個体識別情報や個人識別情報を属性情報として加えることもできる。例えば人物の顔であれば、その個人を識別するための目、鼻、口の配置の情報などを個人識別情報とすることができる。或いは作業者が指定した領域の画像が、特定の物であれば、その形状、模様、色の配置などを総合した画像パターンを、個体識別情報とすることができる。
【００４２】
続いてトラッキング・画像処理工程ＳＴ５１が行われる。
トラッキング・画像処理工程ＳＴ５１では、作業ファイルＰＦを構成する各フレームにおいて、認識対象画像に該当する画素範囲の探索（トラッキング）を行う。また探索した認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域について、画像処理情報を付与する処理を行う。つまり上述した図２のトラッキング処理部３２、及び画像処理設定部３３の処理である。これにより編集データＥＤを生成する。
詳しくは後述するが、トラッキング・画像処理工程ＳＴ５１で生成される編集データＥＤは、例えば図８に示すような、各認識対象画像（トラック）についての、各フレームでの画像範囲情報と画像処理情報を含むデータである。
【００４３】
画像範囲情報とは、各フレーム内で画像処理を施す処理対象領域としての画素範囲の情報である。処理対象領域とは、例えば各フレームでの認識対象画像の領域とする。
また画像処理情報とは、そのフレームにおいてどのような画像効果処理を与えるかを示す情報（画像処理の種別の情報）である。例えば「モザイク１」「モザイク２」「モザイク３」「ブラー１」「ブラー２」「目線」等の画像処理内容を示す情報である。「モザイク１」「モザイク２」「モザイク３」は、例えばモザイクの効果レベル（例えばモザイクのサイズ）が異なる処理、「ブラー１」「ブラー２」はぼかしの効果レベル（度合い）が異なる処理などである。
もちろんこれら以外に、例えばソフトフォーカス、輝度反転、モノクロ化、色変更や、それらの効果レベルの異なる処理など、各種の画像効果処理が可能とされてもよいが、それらの種類や効果レベルに応じて画像処理情報が設定される。
【００４４】
続いて行われる。
確認・修正工程ＳＴ５２は、トラッキング・画像処理工程ＳＴ５１で自動編集が行われた後の状態を作業者が確認し、手動で修正を行う工程である。
即ち上述の図２の確認・修正処理部３４の処理として、編集後の画像を表示すると共に、作業者の入力に応じて、処理対象領域の範囲（画素範囲やフレーム範囲）を修正したり、画像処理情報を修正する処理を行う。即ち具体的には、図８のような編集データＥＤを修正する処理である。
必要であれば、トラッキング・画像処理工程ＳＴ５１を再実行することもできる。
また、この確認・修正工程ＳＴ５２においてトラック結合処理も可能である。
特に上述の自動顔認識・設定処理の工程で同一人物の顔画像等が、属性情報の精度から違う人物と認識されてしまった場合に生成されたトラックや、認識対象画像に対して追加で領域を指定したトラックが他のトラックと同じ動きをする場合などにおいて、元となるトラックと追加で生成されたトラックを結合することができる。
この結合処理により、人物毎のトラックを正確に作成することができたり、処理対象となる画像を一つのトラックに集約することも可能である。
以上の確認・修正工程ＳＴ５２を経て、画像編集工程ＳＴ２が終了する。
【００４５】
［編集データファイル生成工程ＳＴ３］
図３に戻る。以上の画像編集工程ＳＴ２によって、作業ファイルＰＦに対しての編集データＥＤが得られる。
作業ファイル分散・統合処理部３５に機能により実行される編集データファイル生成工程ＳＴ３は、プロジェクト分散して実行した画像編集工程ＳＴ２−ａ、ＳＴ２−ｂ、ＳＴ２−ｃ・・・での編集データＥＤを統合して、統合された編集データファイルＥＤＦを生成する処理である。
なお、上述の作業ファイル設定工程ＳＴ１でプロジェクト分散されておらず、画像編集工程ＳＴ２が１系統のみ行われた場合は、その画像編集工程ＳＴ２で得られた編集データＥＤの内容を、そのまま編集データファイルＥＤＦとすればよい。
【００４６】
編集データファイルＥＤＦは、編集素材の画像データＯＤ全体について、必要な編集処理の情報を統合したものとなる。
【００４７】
［確認・修正工程ＳＴ４］
確認・修正工程ＳＴ４は、図２の確認・修正処理部３４の機能により、画像データＯＤの全体について、画像編集の確認及び必要な修正が行われる。
上述した画像編集工程ＳＴ２内での確認・修正工程ＳＴ５２は、作業ファイルＰＦと編集データＥＤに基づいて、作業ファイルＰＦ単位での確認及び編集データＥＤの修正であったが、この確認・修正工程ＳＴ４では、元の画像データＯＤ全体と、統合された編集データファイルＥＤＦの単位での確認及び編集データＥＤの修正を実行するものである。
【００４８】
［レンダリング工程ＳＴ５］
確認・修正工程ＳＴ４によって最終的にＯＫとなったら、レンダリング処理部３６の機能によりレンダリングが実行され、編集済みの画像データとしてのコンテンツが作成される。レンダリングされた画像データは、編集素材の画像データＯＤに対して編集データファイルＥＤＦに示されている、各フレームの画像範囲について指定された画像処理が施された画像データとなる。
この編集済みのコンテンツは、映像内容の審査機関に提出されて上映や販売の認可を受けるが、場合によっては、審査機関の指示に応じて再度の修正（確認・修正工程ＳＴ４の作業）が行われることもある。
認可を受けた後は、映像コンテンツの完成品として納品することができる。
【００４９】
以上、編集作業の手順を示したが、工程ＳＴ１からＳＴ５を、全て１つの画像編集装置１で実行することもできるし、複数の画像編集装置１で実行することもできる。
本実施の形態の画像編集装置１としては、少なくとも画像編集工程ＳＴ２の処理を実行できるものである。
【００５０】
＜３．画像編集処理：第１の実施の形態＞
以下、図４で示したように画像編集装置１が実行する画像編集工程ＳＴ２について、具体的な処理例（第１の実施の形態）を図５，図６で説明する。
図５は図２の機能を有するＣＰＵ１１によって実行される処理を示している。
なお図５において、図４の認識対象画像設定工程ＳＴ５０に該当するのはステップＦ１０１であり、トラッキング・画像処理工程ＳＴ５１に該当するのはステップＦ１０２〜Ｆ１０４であり、確認・修正工程ＳＴ５２に該当するのはステップＦ１０５〜Ｆ１０８である。
【００５１】
まずステップＦ１０１でＣＰＵ１１は認識対象画像の設定処理を行う。
このステップＦ１０１の処理を図６に詳しく示す。
図４で説明したように、認識対象画像設定工程ＳＴ５０では、作業者の領域指定に基づく設定処理（ＳＴ５０−１）と、個体の自動検出による設定処理（ＳＴ５０−２）の一方又は両方が行われる。
ＣＰＵ１１は図６のステップＦ２０１→Ｆ２０８→Ｆ２１３の入力監視処理で作業者の入力を監視し、入力に応じて処理を進めることとなる。
ステップＦ２０１は、個体の自動検出による設定処理の指示入力の監視処理である。
ステップＦ２０８は、領域指定による指示入力の監視処理である。
ステップＦ２１３は、認識対象画像設定の終了操作の監視処理である。
【００５２】
作業者が、個体の自動検出による設定処理（ＳＴ５０−２）を指示する入力を行った場合、ＣＰＵ１１はステップＦ２０１からＦ２０２に進む。ここでは、自動検出として画像内の顔検出を行う例として説明する。
ステップＦ２０２でＣＰＵ１１は、作業ファイルＰＦの或る１つのフレームもしくは複数のフレームについて画像解析を行い、画像内に表れる人の顔画像の検出を行う。例えば目、鼻、口の３要素の存在を画像から判定していき、１又は複数の顔画像を検出する。
【００５３】
１又は複数の顔画像を検出したら、ステップＦ２０３〜Ｆ２０７で、検出したそれぞれの顔画像について設定処理を行う。
まずＣＰＵ１１はステップＦ２０３で、検出した顔画像の１つを、認識対象画像として設定する。
続いてステップＦ２０４でＣＰＵ１１は、その顔画像について属性情報を生成する。上述のように属性情報として個人識別情報及びトラッキング補助情報を生成する。
そしてステップＦ２０５でＣＰＵ１１は属性情報を、認識対象画像に関連づけて登録する。なお、１つの認識対象画像は、以降、１つの「トラック」として取り扱われる。トラックとは、属性情報によって区別される画像内容に相当する。従って認識対象画像に関連づけて属性情報を登録することで、１つのトラックが設定されたこととなる。
【００５４】
またＣＰＵ１１はステップＦ２０６で、当該トラック（認識対象画像）に対する画像処理内容、つまり当該トラックに与える画像効果処理の種別の設定を行う。例えば「モザイク１」等の画像処理内容を設定する。具体的にはＣＰＵ１１は、認識対象画像について、どのような画像処理を行うかを、作業者の入力に応じて設定する。例えば検出した認識対象画像を出力部１７の画面上に提示して作業者に画像処理内容の選択を求める。それに応じた作業者の入力によって、「モザイク１」等の画像処理内容を設定する。
【００５５】
以上のステップＦ２０３〜Ｆ２０６の処理は、検出した各顔画像のそれぞれについて実行する。即ちＣＰＵ１１はステップＦ２０７で、全ての顔画像について処理終了と判断するまでは、ステップＦ２０３に戻って、次の顔画像についてステップＦ２０３〜Ｆ２０６の処理を実行する。
全ての顔画像について処理を終えたら、ステップＦ２０７からＦ２１３に進む。即ちステップＦ２０１→Ｆ２０８→Ｆ２１３の入力監視処理に戻る。
なお、この例では顔検出による認識対象画像設定の処理としたが、顔以外の特定の画像（人の身体、特定の物）を自動検出する場合も、このステップＦ２０１〜Ｆ２０７の処理が行われれば良い。
また、ここでは検出した全ての顔画像のそれぞれについてステップＦ２０３〜Ｆ２０６の処理を実行する例としたが、必ずしも全ての顔画像について行わなくても良い。例えば予め設定した属性情報等に基づき、認識対象画像から除外する機能を持たせることも可能である。例えば属性情報で判別される特定の個人の顔を認識対象画像とはしないようにしたり、顔画像の画像サイズ（顔画像領域の画素数）が所定以下であれば認識対象画像とはしないような処理である。さらには、ステップＦ２０２で検出された顔画像を作業者に提示し、作業者が認識対象画像とする顔画像（もしくは認識対象画像とはしない顔画像）を選択できるようにすることも考えられる。
【００５６】
作業者が、領域指定に基づく設定処理（ＳＴ５０−１）を指示する入力を行った場合、ＣＰＵ１１はステップＦ２０８からＦ２０９に進む。
この場合、作業者が表示画面に対して領域指定の操作入力を行う。ステップＦ２０９でＣＰＵ１１は、作業者が入力した定形又は任意形状の領域を、認識対象画像として設定する。
【００５７】
続いてＣＰＵ１１はステップＦ２１０で、その指定領域の画像について属性情報を生成する。上述のように属性情報としてトラッキング補助情報を生成する。なお、その指定領域の画像が顔であったり特定の物である場合は、属性情報に個体（個人）識別情報を含めることもできる。
そしてステップＦ２１１でＣＰＵ１１は属性情報を、認識対象画像に関連づけて登録する。認識対象画像に関連づけて属性情報を登録することで、１つのトラックが設定されたこととなる。
【００５８】
またＣＰＵ１１はステップＦ２１２で、当該トラック（認識対象画像）に対する画像処理内容、つまり当該トラックに与える画像効果処理の種別の設定を行う。例えば「モザイク１」等の画像処理内容を設定する。ステップＦ２０６と同様、ＣＰＵ１１は作業者の入力に応じて画像処理内容を設定する。
そしてステップＦ２１３に進み、ステップＦ２０１→Ｆ２０８→Ｆ２１３の入力監視処理に戻る。
【００５９】
以上の自動個体認識による認識対象画像設定、又は領域指定による認識対象画像の一方又は両方が１又は複数回、作業者の操作に応じて行われる。
作業者は必要な認識対象画像の設定（トラック設定）を完了したと判断したら、認識対象画像の設定終了の操作入力を行う。それに応じてＣＰＵ１１はステップＦ２１３から処理を終える。つまり図５のステップＦ１０１の処理を終える。
【００６０】
続いてＣＰＵ１１は、図５のステップＦ１０２〜Ｆ１０４として、トラッキング・画像処理工程ＳＴ５１の処理を行う。
ＣＰＵ１１はステップＦ１０２で、作業ファイルＰＦのフレームにつき、フレーム内での認識対象画像の探索（トラッキング）を行う。またステップＦ１０３で、処理対象領域（ここでは処理対象領域＝認識対象画像の画素範囲とする）について、画像処理情報を付与する処理を行う。
これを、ステップＦ１０４で作業する時間軸範囲での全フレームについて実行するまで繰り返す。
【００６１】
例えば作業ファイルＰＦの動画像データを構成するフレームとして、第１フレームＦＲ１〜最終フレームＦＲ（ｎ）が存在するとする。
仮に作業ファイルＰＦの全体を作業する時間軸範囲とすると、ＣＰＵ１１は、まず第１フレームＦＲ１についてステップＦ１０２，Ｆ１０３の処理を行い、次に第２フレームＦＲ２についてステップＦ１０２，Ｆ１０３の処理を行う。これを最終フレームＦＲ（ｎ）まで繰り返す。
なお、作業する時間軸範囲とは、作業ファイルＰＦ内の一部の範囲とすることもできる。その場合は、作業する時間軸範囲として選択した或るフレームから或るフレームまでについて、ステップＦ１０２，Ｆ１０３の処理を繰り返せば良い。
【００６２】
このステップＦ１０２〜Ｆ１０４で実行されるトラッキング・画像処理工程ＳＴ５１の処理を図７〜図１１で説明する。
今、仮に、認識対象画像として３つの画像が設定され、図７に示すように３つのトラックＴＫ１，ＴＫ２，ＴＫ３が設定されたとする。
図７は、各トラックの画像が時間軸上でフレーム画像内に表れる期間を示している。例えばトラックＴＫ１，ＴＫ２が自動顔検出で設定された顔画像、トラックＴＫ３が領域指定で設定された或る物の画像であるとする。
登場人物や物のそれぞれは、映像コンテンツのシーン内容やカメラアングル等によって表れたり表れなかったりする。図７は各トラックについて、このような状態を示したものである。
即ち、作業ファイルＰＦの動画像データのフレームＦＲ１〜ＦＲ（ｎ）について１つ１つ見ると、全てのフレームで全てのトラックが出現するわけではない。
トラッキング処理は、属性情報に基づいて、トラックとされた各画像が、各フレームにおいて存在するか否かを探索し、存在した場合に、その画像範囲を検出する処理となる。
ステップＦ１０２ではこのように各フレームについてトラッキングを行い、ステップＦ１０３では、フレーム内にトラックに該当する画像が存在した場合に、画像処理情報を設定する処理となる。
【００６３】
図８は、ステップＦ１０２〜Ｆ１０４の処理で形成される編集データＥＤの例を示している。
例えばフレームＦＲ１では、トラックＴＫ１，ＴＫ２の画像が存在するとする。この場合ＣＰＵ１１はステップＦ１０２のトラッキング処理により、フレームＦＲ１においてトラックＴＫ１の画像範囲情報Ｐ１−１を検出する。またトラックＴＫ２の画像範囲情報Ｐ２−１を検出する。
なお画像範囲情報Ｐ１−１等の「Ｐｘ−ｙ」とは、トラックＴＫｘについてのフレームＦＲｙにおける画素範囲を示した情報であるという意味としている。
【００６４】
またＣＰＵ１１はステップＦ１０３で、トラックＴＫ１の画像、つまり画像範囲情報Ｐ１−１で示されるフレームＦＲ１内の画素範囲に与える画像処理情報ＥＦ１を設定する。画像処理情報ＥＦ１とは、例えば「モザイク１」など画像処理種別を示す情報である。これは、上述した図６のステップＦ２０６（又はＦ２１２）で当該トラックＴＫ１について設定した画像処理種別の情報となる。
例えばＥＦ１＝「モザイク１」、ＥＦ２＝「モザイク２」、ＥＦ３＝「モザイク３」ＥＦ４＝「ブラー１」、ＥＦ５＝「ブラー２」、ＥＦ６＝「目線」等の処理種別を示すものとする。
またＣＰＵ１１は同様に、トラックＴＫ２の画像、つまり画像範囲情報Ｐ２−１で示されるフレームＦＲ１内の画素範囲に与える画像処理情報（例えばＥＦ１）を設定する。
【００６５】
このようなフレームＦＲ１について処理を終えたら、続いてＣＰＵ１１はフレームＦＲ２についてステップＦ１０２，Ｆ１０３を実行する。以降のフレームについても同様に、出現するトラックの画像に応じて、画像範囲情報、画像処理情報が設定されていく。最終フレームＦＲ（ｎ）までの処理を終えた時点で、図８のような編集データＥＤが形成されることとなる。
例えばフレームＦＲ２０００は、トラックＴＫ１，ＴＫ２，ＴＫ３の画像が存在した場合、トラックＴＫ１，ＴＫ２，ＴＫ３のそれぞれのフレームＦＲ２０００内での画像範囲情報Ｐ１−２０００、Ｐ２−２０００、Ｐ３−２０００と、それぞれの画像処理情報（例えば「ＥＦ１」「ＥＦ１」「ＥＦ２」等）が設定される。
【００６６】
トラッキング及びトラッキングによる画像範囲情報の設定の例を図９〜図１１に示す。
まず顔画像についてのトラッキング処理の例を説明する。
図９Ａ、図９Ｂ、図９Ｃに示す各フレームＦＲ（ｘ）、ＦＲ（ｙ）、ＦＲ（ｚ）に関するトラッキング処理では、それぞれ、まずフレーム画像の解析により顔検出を行う。
図９ＡのフレームＦＲ（ｘ）の場合、顔画像が検出されるが、その顔画像についての個人識別情報（例えば目、鼻、口の配置情報）を生成する。そしてその個人識別情報を、トラックＴＫ１、ＴＫ２について登録された個人識別情報と比較し、一致するか否かを判定する。そしてトラックＴＫ１の個人識別情報と一致した場合、フレームＦＲ（ｘ）で検出された顔画像はトラックＴＫ１の顔画像であるとし、図示する顔画像の範囲を、フレームＦＲ（ｘ）でのトラックＴＫ１の画像範囲情報Ｐ１−ｘと設定する。
【００６７】
図９ＢのフレームＦＲ（ｙ）も同様である。このフレームＦＲ（ｙ）でも顔画像が検出され、その個人識別情報がトラックＴＫ１の個人識別情報と一致した場合、フレームＦＲ（ｙ）で検出された顔画像はトラックＴＫ１の顔画像であるとし、図示する顔画像の範囲を、フレームＦＲ（ｙ）でのトラックＴＫ１の画像範囲情報Ｐ１−ｙと設定する。
【００６８】
図９ＣのフレームＦＲ（ｚ）の場合、顔が横を向いた状態である。これにより顔画像が検出できない、或いは検出できても個人識別情報が生成できないことがあり得る。その場合は、トラッキング補助情報を用いて、トラックＴＫ１の顔画像として認定し、図示する顔画像の範囲を、フレームＦＲ（ｚ）でのトラックＴＫ１の画像範囲情報Ｐ１−ｚと設定する。
【００６９】
図１０には、顔画像のトラッキング手法を示している。まず基本的には、上記のように目、鼻、口の３要素で顔検出を行い、個人識別情報を比較して、認識対象画像（トラック）に相当する顔画像を検出する。多少横を向いた状態のフレームでも、ある程度は同様に行うことが可能であるが、完全に横向きになると、このような処理ではトラッキングが取れなくなることもある。
そこで、トラッキング補助情報として、輝度情報や色情報も利用する。連続するフレームでは、フレーム内の顔画像の画素範囲は徐々に移動したり、拡大・縮小するため、輝度値や色情報が前フレームの顔画像範囲の輝度値や色と同様の範囲を、同じトラックの顔画像と判定することが可能である。
【００７０】
なお図７に示したように、或る認識対象画像は、シーンから消えた後、また登場することがある。例えば或る人物Ａの顔をトラックＴＫ１とすると、図７の例では、最初は映像内に登場しており、その後、映像から消え、再度登場する状態となる。
トラッキングは上記のように個人識別情報を参照することとすれば、このような場合にも対応して１回目の登場となるフレーム期間でも、２回目の登場となるフレーム期間でも、人物Ａの顔をトラックＴＫ１としてトラッキングしていくことができることとなる。
【００７１】
次に領域指定で設定したトラックＴＫ３についてのトラッキングの例を説明する。
図１１Ａ、図１１Ｂ、図１１Ｃに示すような、鳥の頭部の画像領域が認識対象画像（トラックＴＫ３）として設定されたとする。
この場合、トラックＴＫ３の認識対象画像についての属性情報（トラッキング補助情報）として、輝度、色情報、配色パターン、形状パターン等を登録しておく。そして連続するフレームにおいて、変形する画像範囲は、前フレームと同一の画像であると認識してトラッキングを行うことができる。
図１１Ａ、図１１Ｂ、図１１ＣのフレームＦＲ（ｐ）、ＦＲ（ｑ）、ＦＲ（ｒ）については、トラッキング補助情報に基づいて図示する画像範囲がトラッキングでき、各フレームについてのトラックＴＫ３の画像範囲情報Ｐ３−ｐ、Ｐ３−ｑ、Ｐ３−ｒが設定される。
なお、領域指定で設定したトラックについても、属性情報に個体（個人）識別が可能な情報が含まれていれば、いったん映像から消えた後の登場であっても、同じトラックとして認識できる。
【００７２】
以上のようにトラッキングされて判定された各フレームの画像範囲に対しては、上述のようにステップＦ１０３の処理で画像処理情報が設定される。
画像処理情報としてＥＤ１（例えば「モザイク１」）が設定されたとした場合、最終的な編集後の画像データ（レンダリング工程ＳＴ５を経た画像データ）は、図９Ｄ、図９Ｅ、図９Ｆのようなモザイク処理や、図１１Ｄ、図１１Ｅ、図１１Ｆのようなモザイク処理が施された状態となる。
【００７３】
図５に戻って、続いて確認・修正工程ＳＴ５２としてのステップＦ１０５〜Ｆ１０８の処理を説明する。
ステップＦ１０４までの処理で、作業する時間軸範囲（作業ファイルＰＦの全フレーム期間又は作業者が指定した一部のフレーム期間）での自動的なトラッキング及び画像処理情報の付加を行い、図８のような編集データＥＤを生成したら、ＣＰＵ１１はステップＦ１０５に進む。
【００７４】
ステップＦ１０５ではＣＰＵ１１は、編集データＥＤで示される編集内容を元の作業ファイルＰＦの各フレームに反映させ、編集状態の画像を作業者に提示する。つまり各フレーム（例えばフレームＦＲ１〜ＦＲ（ｎ））毎に、編集データＥＤで示される画像範囲情報の画素範囲について、画像処理情報で示されるモザイク等の画像処理を加えた画像を生成し、出力部１７の表示デバイスにフレーム毎の静止画又は動画の状態で表示させる。作業者は、フレーム毎に例えば図９Ｄ、図９Ｅ、図９Ｆ、図１１Ｄ、図１１Ｅ、図１１Ｆのような画像を確認していったり、或いは動画状態で画像を確認できる。
【００７５】
作業者は画像を見て、自動的に行われた編集が適正であるか確認し、必要に応じて修正入力を行う。
作業者が修正入力を行った場合、ＣＰＵ１１はステップＦ１０６からＦ１０７に進み、作業者の指示入力に応じて、編集データＥＤにおける画像範囲情報又は画像処理情報を修正する処理を行う。
【００７６】
例えば、或るフレームＦＲ（ｓ）についての画像範囲情報Ｐ３−ｓが、図１２Ａに示す画素範囲であったとする。この図１２Ａでは示していないが、この画素範囲に画像編集情報で指定されたモザイク処理等が行われるため、この場合、鳥の嘴の先のあたりがモザイク化されないものとなってしまう。このような場合に作業者は、範囲を修正する操作を行うことでＣＰＵ１１は画素範囲情報Ｐ３−ｓの内容を修正する。例えば図１２Ｂのように、画像範囲情報Ｐ３−ｓを、嘴の先の部分を含む画素範囲を示す情報に修正することができる。
【００７７】
また、例えば、或るフレームＦＲ（ａ）についての画像処理情報が「ＥＦ１」であり、これは図１２Ｃに示すように「モザイク１」の処理を指定する情報であったとする。作業者が、この画像処理を他の画像処理に変更したい場合は、他の画像処理内容（種別）に変更する操作を行う。ＣＰＵ１１は指定された画像処理の種別に応じて、該フレームＦＲ（ａ）についての画像処理情報を書き換える。
例えば作業者が「ＥＦ２：モザイク２」に変更する操作を行った場合、ＣＰＵ１１はフレームＦＲ（ａ）についての画像処理情報を「ＥＦ２」に書き換える。例えば図１２Ｄに示すようなモザイク処理の指定に変更することとなる。
また例えば作業者が「ＥＦ６：目線」に変更する操作を行った場合、ＣＰＵ１１はフレームＦＲ（ａ）についての画像処理情報を「ＥＦ６」に書き換える。例えば図１２Ｅに示すような目線処理の指定に変更することとなる。
【００７８】
ＣＰＵ１１は例えば以上の例のように、作業者の入力に応じて編集データＥＤにおける画素範囲情報又は画像処理情報を修正していく。
ＣＰＵ１１は画素範囲情報又は画像処理情報を修正したら、ステップＦ１０５に戻り、修正内容を反映した画像を表示させる。
作業者が修正完了と判断して、確認・修正作業の終了を指示する入力を行った場合は、ＣＰＵ１１はステップＦ１０８から図５の処理を終える。即ち図３の画像編集工程ＳＴ２が終了される。この時点での編集データＥＤが、編集データファイル生成工程ＳＴ３で処理されることとなる。
【００７９】
ここで上記ステップＦ１０５〜Ｆ１０８での確認・修正工程の処理についての具体的な処理例を説明する。
編集データＥＤの内容の修正作業としては、１フレーム毎の修正だけでなく、トラック指定での一括修正や部分修正を可能とする。
【００８０】
１フレーム毎の修正とは、上述したように、作業者が或るフレームを指定し、そのフレームについて画像範囲情報や画像処理情報の変更を行う修正である。
本例では上述のように認識対象画像がトラックとして管理されている。これを利用して、効率的な修正作業を可能とする。
【００８１】
例えば全てのフレームでトラックＴＫ１の画像処理情報を、図８に示す「ＥＦ１：モザイク１」から「ＥＦ４：ブラー１」に変更したいとする。
その場合、作業者はステップＦ１０６の入力の際に、トラックＴＫ１を指定して「ＥＦ４：ブラー１」を選択する操作を行えば良い。ＣＰＵ１１はそれに応じて図８の編集データＥＤにおけるトラックＴＫ１のフレームＦＲ１〜ＦＲ（ｎ）についての画像処理情報を「ＥＦ１」から「ＥＦ４」に更新する。
【００８２】
また例えばトラックＴＫ１のフレームＦＲ１〜ＦＲ５の画像処理情報を、「ＥＦ１：モザイク１」から「ＥＦ４：ブラー１」に変更したいとする。
その場合、作業者はステップＦ１０６の入力の際に、トラックＴＫ１及びフレームＦＲ１〜ＦＲ５を指定して「ＥＦ４：ブラー１」を選択する操作を行えば良い。ＣＰＵ１１はそれに応じて図８の編集データＥＤにおけるトラックＴＫ１のフレームＦＲ１〜ＦＲ５についての画像処理情報を「ＥＦ１」から「ＥＦ４」に更新する。
【００８３】
もちろん、画像処理を外すということも可能である。例えばトラックＴＫ１のモザイク化が不要とする場合、作業者はステップＦ１０６の入力の際に、トラックＴＫ１を指定して例えば「画像処理無し」を選択する操作を行えば良い。ＣＰＵ１１はそれに応じて図８の編集データＥＤにおけるトラックＴＫ１のフレームＦＲ１〜ＦＲ（ｎ）についての画像処理情報を「ＥＦ１」から「ＥＦ０：画像処理無し」に更新する。
もちろんある部分的なフレーム期間のみ、「ＥＦ０：画像処理無し」として、映像上では一時的にモザイクが外れるような指定も可能である。
なお、図６のステップＦ２０６，Ｆ２１２での認識対象画像についての画像処理内容の設定時に、「ＥＦ０：画像処理無し」を設定することを可能としてもよい。
【００８４】
画像範囲情報についてもトラックを利用して修正できる。
例えばトラックＴＫ２について、フレームＦＲ５０〜ＦＲ６０の範囲で画像範囲情報を修正したいとする。
作業者はフレームＦＲ５０でのトラックＴＫ２の画像範囲と、フレームＦＲ６０でのトラックＴＫ２の画像範囲とを修正する入力を行い、当該フレーム範囲の修正を指示する。その場合ＣＰＵ１１は、フレームＦＲ５０、ＦＲ６０で修正された範囲の画素の輝度情報や色情報に基づいて、フレームＦＲ５１〜ＦＲ５９でのトラックＴＫ２の画像範囲も変更する。そしてフレームＦＲ５０〜ＦＲ６０の画像範囲情報Ｐ２−５０、Ｐ２−５１・・・Ｐ２−６０を更新する。
或いはＣＰＵ１１は、画像範囲の形状から補間的な演算を行って中間の画像範囲を変更してもよい。例えばフレームＦＲ５０，ＦＲ６０で作業者によって指示された変更による画像範囲の形状の変化から、フレームＦＲ５１〜ＦＲ５９でのトラックＴＫ２の画像範囲を形状の変更を推定し（変更位置の補間）、それに応じて画像範囲情報Ｐ２−５０、Ｐ２−５１・・・Ｐ２−６０を更新することも可能である。
【００８５】
以上は、画像編集工程ＳＴ２内の確認・修正工程ＳＴ５２における処理として説明したが、同様のトラック単位の修正は、図３の確認・修正工程ＳＴ４においても実行可能である。編集データファイルＥＤＦは、編集データＥＤそのもの、又はプロジェクト分散で作成された複数の編集データＥＤの集合であるため、各認識対象画像がトラック管理されているためである。
【００８６】
以上の第１の実施の形態の画像編集装置１（又は画像処理プログラム）によれば次のような効果が得られる。
まず人物の顔等の特定の画像への画像処理は、ほぼ自動で実行されるので、作業者は主に確認、修正（微調整）のみの作業を行えばよく、画像編集作業の大幅な効率化、時短化が実現できる。
【００８７】
また認識対象画像がトラック管理されていることで、修正作業が容易となる。例えば特定の人物の顔等に対しては画像処理を施さないようにしたい場合や処理内容を変更したい場合なども、顔の属性情報に基づいてトラック管理されているので、トラック指定しての画像処理内容の変更指示により、複数フレームについて一括して画像処理の変更が可能となる。
また処理対象領域の画像範囲の修正も、トラック管理状態を利用することで、その範囲の形状の変更や領域の追加、削除が容易である。
【００８８】
また人物だけでなく、看板（サイン）なども認識対象画像として指定すれば、画像のトラッキングが可能なので、ほぼ自動処理が可能となり、多様な画像に対応して効率の良い編集作業が実現できる。
【００８９】
また認識対象画像を自動検出することで、顔画像等の認識対象画像としての指定も容易である。さらに領域指定して認識対象画像を設定できるため、認識対象画像の形状が複雑であっても、領域自由な形状に領域を指定できるだけでなく、その形状をベースにトラッキングを行うので、処理精度（処理を施す領域の精度）が高い。これは確認・修正工程ＳＴ４、ＳＴ５２で画像範囲の形状、位置の修正は最小限で済むという利点をもたらす。
【００９０】
また画像処理作業の結果として編集データＥＤ、編集データファイルＥＤＦは独立して保存できるので、統合や分割が容易である。さらに編集データＥＤや編集データファイルＥＤＦの内容を、作業ファイルＰＦや画像データＯＤに反映させて確認のための表示を行うことで、確認時にレンダリングは不要であり、その点でも作業が効率化される。
またプロジェクト分散として複数人で作業した画像処理データ（編集データＥＤ）のマージが可能であることで、効率的な作業が可能となる。
【００９１】
＜４．画像編集処理：第２の実施の形態＞
画像編集装置１によって実行される画像編集処理（画像編集工程ＳＴ２）として第２の実施の形態の処理例を図１３で説明する。
なお図１３においては上述の図５と同様の処理は同一のステップ番号を付して説明を省略する。この図１３では、図４のトラッキング・画像処理工程ＳＴ５１に該当するステップＦ１０２、Ｆ１２０，Ｆ１２１が図５とは異なる。
【００９２】
ＣＰＵ１１はステップＦ１０２で、作業ファイルＰＦのフレームにつき、フレーム内での認識対象画像の探索（トラッキング）を行う。
このステップＦ１０２の処理を、ステップＦ１２０で、作業する時間軸範囲での全フレーム（つまり作業ファイルＰＦの全フレーム、又は作業範囲として指定されたフレーム期間）について実行するまで繰り返す。
作業する時間軸範囲での全フレームにつきトラッキングを終えたら、ＣＰＵ１１はステップＦ１２１で、各フレームについてトラッキングにより設定した画像範囲情報に対応する画像処理情報の設定を行う。
以上で編集データＥＤが作成され、ステップＦ１０５〜Ｆ１０８の確認・修正工程ＳＴ５２の処理に移る。
【００９３】
つまり上述の第１の実施の形態では、各フレームについてトラッキングを行って画像範囲情報を設定し、同時に画像処理情報を付与していったところ、この第２の実施の形態は、まず全フレームに付いてのトラッキングを行って画像範囲情報を設定し、その後、各フレームのトラックに対応する画像処理情報を設定するという点が異なるものである。
トラッキングや画像処理設定の具体的手順は多様に考えられるが、その一例を図５との手順の差異として示したものが、この第２の実施の形態の処理である。
第２の実施の形態でも、第１の実施の形態と同様の効果が得られる。
【００９４】
＜５．画像編集処理：第３，第４の実施の形態＞
先にＣＰＵ１１は、画像編集プログラムにより図２の機能を備えるものとした。画像編集プログラムによって実現されるＣＰＵ１１の機能としては、図１４Ａに示すように、認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３を備えるようにしたものでもよい。
この図１４Ａの機能を備えることで、ＣＰＵ１１は図１５Ａ（第３の実施の形態）の画像処理や、図１５Ｂ（第４の実施の形態）の画像処理が実行できる。
【００９５】
図１５Ａの処理では、ＣＰＵ１１はステップＦ１で認識対象画像の決定及び属性情報の設定を行う。認識対象画像についてトラックを設定するものとなる。
ステップＦ２でＣＰＵ１１は、フレーム画像内での認識対象画像のトラッキングを行う。さらにステップＦ３で、認識対象画像の画像範囲に応じて決定される処理対象領域についての画像処理情報の設定を行う。
これをステップＦ４で、作業する時間軸範囲での全フレームについて終了するまで繰り返し、全フレームについて終了した時点で画像編集工程ＳＴ２を終える。
つまり、画像編集工程ＳＴ２を、図４の認識対象画像設定工程ＳＴ５０とトラッキング・画像処理工程ＳＴ５１のみとする処理例である。
【００９６】
図１５Ｂの処理では、ＣＰＵ１１はステップＦ１０で認識対象画像の決定及び属性情報の設定を行い、認識対象画像についてトラックを設定する。
ステップＦ１１でＣＰＵ１１は、フレーム画像内での認識対象画像のトラッキングを行う。
これをステップＦ１２で、作業する時間軸範囲での全フレームについて終了するまで繰り返し、全フレームについてトラッキングを終了した時点でステップＦ１３に進む。
ＣＰＵ１１はステップＦ１３では、各フレームについて、認識対象画像の画像範囲に応じて決定される処理対象領域についての画像処理情報の設定を行う。以上で画像編集工程ＳＴ２を終える。
これも、画像編集工程ＳＴ２を、図４の認識対象画像設定工程ＳＴ５０とトラッキング・画像処理工程ＳＴ５１のみとする処理例である。
【００９７】
この図１５Ａ、図１５Ｂの処理例は、上述の図５、図１３の処理例から、確認・修正工程ＳＴ５２を省略したものである。
このような処理例によっても、自動的なトラッキング及び画像処理情報の付加により、編集作業の効率化が実現できる。
【００９８】
なお図１４Ｂに画像編集プログラムによって実現されるＣＰＵ１１の機能構成例のさらに他の例を示している。図示のように、認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３、確認・修正処理部３４が設けられる。
このような機能構成により、図５，図１３で説明した処理も可能である。
図３で説明した画像編集工程ＳＴ２の処理を行い、他の工程を外部機器などで行う場合、ＣＰＵ１１は図１４Ｂの機能構成を備えるようにすることも想定される。
【００９９】
＜６．画像編集処理：第５の実施の形態＞
第５の実施の形態を図１６で説明する。これはクラウドコンピューティングを利用する例である。
図１６に模式的に示すように、いわゆるクラウド２００内に処理エンジン２０１が配置され、また編集素材としての画像データがアップロードされる。
処理エンジン２０１は、外部の端末装置から有線又は無線の伝送路を介して供給される処理コマンドの入力を検知し、該入力に応じて、少なくとも図１４Ａ又は図１４Ｂに示した機能（認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３、さらには確認・修正処理部３４）の処理を実行できる演算処理装置により形成される。
【０１００】
各作業者は、端末２０２を用いて編集作業を行う。編集素材の画像データは、ストリーミングデータＳＴＤとして端末２０２に配信されることで、作業者は画像の内容を確認できる。
そして各作業者は、端末２０２から処理コマンドＣＭを処理エンジン２０１に送信する。即ち認識対象画像設定時の入力操作、確認・修正時の入力操作としての処理コマンド等が端末２０２から送信される。処理エンジン２０１は、処理コマンドに応じて編集素材の画像データに関する認識対象画像設定、トラッキング、画像処理設定、確認・修正処理を行う。
【０１０１】
このようなシステムにより、クラウド２００に置かれた編集素材に対して、遠隔操作で編集作業ができたり、各端末２０２で分散作業を行うことが容易にでき、全体としての作業効率を著しく向上できる。
【０１０２】
＜７．変形例＞
以上、各種実施の形態を説明してきたが、本開示の技術は多様な変形例が考えられる。以下例示する。
【０１０３】
認識対象画像設定の際には、自動顔検出等の自動検出や、作業者の領域指定によるものとしたが、色の指定による自動設定も可能である。例えば特定の色を作業者が指定することで、該当の色の画像を認識対象画像として設定するなどである。指定する色は単色に限らず、複数の色による特定の模様などでもよい、
【０１０４】
モザイク等の画像処理を行う処理対象領域は、上述の実施の形態では認識対象画像の画像範囲とした。即ち認識対象画像に設定した画像自体が、モザイク等の処理が施されるものとした。これに対し、逆に、認識対象画像に設定した画像部分以外が処理対象領域とされてもよい。
例えば或る人物の顔を認識対象画像（トラック）として、トラッキング処理で各フレームにおける認識対象画像の範囲を検出するが、編集データＥＤにおける画像範囲情報は認識対象画像の範囲以外を示す情報とする。或いは画像範囲情報は、処理対象領域外を示す情報と位置づける。これにより、モザイク処理等を施す処理対象領域は、その人物の顔以外の部分などとする。
例えば映像コンテンツ内で、特定の人の顔以外は、露出させたくないような場合に好適な処理となる。
【０１０５】
画像処理の処理内容としてはモザイク、ブラー、目線、ソフトフォーカス、輝度反転、モノクロ化、色変更以外にも多様に考えられる。例えば、処理対象領域の画像をアニメーション画像などの他の画像に置き換える処理や、低輝度化、絵画調画像化、セピア調化なであっても良い。
【０１０６】
また本開示の技術は動画としての映像コンテンツの編集に用いる例を述べたが、いわゆる動画として構成されていない多数の静止画、例えば連写撮像による多数枚の静止画データなどについての編集処理にも適用できる。
【０１０７】
実施の形態の画像編集装置１は、画像編集プログラムを実行するコンピュータ装置により実現する例としたが、具体的な装置としては多様な例が考えられる。例えばビデオカメラ、デジタルスチルカメラ等の撮像装置、画像再生装置、画像記録装置、ゲーム機器、ビデオ編集機、ＰＤＡ（Personal Digital Assistant）、携帯電話機、その他の各種装置において、本開示の画像編集プログラムが実行されることにより（或いはハードウエアにより）、図２，図１４に示したような処理機能を備えることで、上述のような編集処理が可能となる。
【０１０８】
なお本技術は以下のような構成も採ることができる。
（１）画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、
上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップと、
を演算処理装置に実行させる画像編集プログラム。
（２）上記画像処理ステップでは、探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域は、上記認識対象画像の画像範囲の領域とする上記（１）に記載の画像編集プログラム。
（３）上記画像処理ステップで、各フレームにおける処理対象領域に画像処理情報が付与された後において、入力に応じて、処理対象領域の範囲又は画像処理情報を修正する修正ステップを、さらに演算処理装置に実行させる上記（１）又は（２）に記載の画像編集プログラム。
（４）上記設定ステップ、上記探索ステップ、及び上記画像処理ステップでの処理過程において、上記設定ステップで設定した認識対象画像のそれぞれは、上記属性情報で区別されるトラックとして管理され、各トラックについて、各フレームでの処理対象領域と画像処理情報が設定されるとともに、
上記修正ステップでは、上記トラックを指定する入力に応じて、指定されたトラックの処理対象領域又は画像処理情報の修正を演算処理装置に実行させる上記（３）に記載の画像編集プログラム。
（５）上記設定ステップ、上記探索ステップ、及び上記画像処理ステップでの処理過程において、上記設定ステップで設定した認識対象画像のそれぞれは、上記属性情報で区別されるトラックとして管理され、各トラックについて、各フレームでの処理対象領域と画像処理情報が設定されるとともに、
上記修正ステップでは、上記トラック及び１又は複数のフレームを指定する入力に応じて、指定されたトラックの、指定に該当するフレームについて、処理対象領域又は画像処理情報の修正を演算処理装置に実行させる上記（３）又は（４）に記載の画像編集プログラム。
（６）上記設定ステップでは、画像データに含まれる画像の中から特定種類の画像を自動検出し、検出した画像を認識対象画像と設定し、かつ上記属性情報を設定する処理を演算処理装置に実行させる上記（１）乃至（５）のいずれかに記載の画像編集プログラム。
（７）上記特定種類の画像とは、人の顔の画像であり、上記属性情報として、個人識別情報及び探索補助情報を設定する上記（６）に記載の画像編集プログラム。
（８）上記探索ステップでは、上記画像データを構成するフレーム毎に、顔画像の検出を行い、上記個人識別情報及び上記探索補助情報を用いて、上記認識対象画像とされた特定個人の顔画像をフレーム画像内で探索する処理を、演算処理装置に実行させる上記（７）に記載の画像編集プログラム。
（９）上記設定ステップでは、画像データに含まれる画像に対する入力により指定された範囲の画像を認識対象画像と設定し、かつ属性情報として少なくとも探索補助情報を設定する処理を演算処理装置に実行させる上記（１）乃至（８）のいずれかに記載の画像編集プログラム。
（１０）外部の端末装置から有線又は無線の伝送路を介して供給される処理コマンドの入力を検知し、該入力に応じて、少なくとも上記設定ステップ、上記探索ステップ、及び上記画像処理ステップの処理を演算処理装置に実行させる上記（１）乃至（９）のいずれかに記載の画像編集プログラム。
【符号の説明】
【０１０９】
１ 画像編集装置、１１ ＣＰＵ １２ ＲＯＭ、１３ ＲＡＭ、１６ 入力部、１７ 出力部、１８ 記憶部、１９ 通信部、２０ メディアドライブ、３１ 認識対象画像設定処理部、３２ トラッキング処理部、３３ 画像処理設定部、３４ 確認・修正処理部、３５ 作業ファイル分散・統合処理部、３６ レンダリング処理部
【技術分野】
【０００１】
本開示は画像編集プログラム、画像編集方法、画像編集装置及び記録媒体に関し、映像コンテンツ等の画像データに対する各種の画像処理を行う画像編集の技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００８−２３６１４１号公報
【背景技術】
【０００３】
映画や放送番組等の映像コンテンツは、制作された作品内容に画像処理を加えて商品化することがある。
例えばコンテンツ映像内に映り込んでいる特定の人の顔や、個人情報を示す表示などをそのまま映像内に残しておくことは適切でない場合がある。また各国の法律、風習、宗教等の違いなどにより、或る国では問題ないが、他の或る国では不適切とされる画像もある。例えばＡ国で制作された映像コンテンツ作品をＢ国で映画上映、ビデオ販売、放送等で利用する場合、該コンテンツ内の或る画像についてはＢ国では公的に露出すべきでないとされることもある。
そのため、映像コンテンツの商品化にあたっては、所定の画像部分にモザイク処理やブラー処理などを行って、該画像部分がコンテンツ内で隠蔽されるようにする画像編集が行われることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、コンテンツ内で或る特定画像について画像処理、例えばモザイク化する編集作業を行うことを考える。この場合、動画を構成する各フレーム毎に、該特定画像の位置や形状が常に変化する。即ちモザイク化したい処理対象領域（モザイク処理を加える画素範囲）はフレーム毎に位置や形状が変動する。
このため正確に特定画像を隠蔽するには、１フレーム毎に特定画像の画素領域を指定して処理し、また確認を行なわなければならず、作業者にとっては莫大な手間となる。
【０００５】
本開示では、このような問題に鑑み、例えば画像データに表れる或る特定画像に画像処理を行う場合に、効率的に画像編集作業を実行できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本開示の画像編集プログラムは、画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップとを演算処理装置に実行させるプログラムである。
また本開示の記録媒体は、上記画像編集プログラムを記録した記録媒体である。
【０００７】
本開示の画像編集方法は、画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップとを有する。
【０００８】
本開示の画像編集装置は、画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定処理部と、上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索処理部と、上記探索処理部によって探索された上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理設定部とを備える。
【０００９】
このような本開示では、認識対象画像を設定することで、その属性情報を用いて、各フレームにおける当該認識対象画像を探索（トラッキング）していく。即ち各フレームで認識対象画像が表れている範囲（画素範囲）を自動的に検出していく。さらに、各フレームで見つけられた認識対象画像の範囲によって決められる処理対象領域（画像処理を行う画素範囲）について、モザイク化等の画像処理情報を与える。
このようにすることで、作業者が各フレーム毎に画像処理を施す画素範囲を設定して画像処理を施していくという面倒な作業は解消される。
【発明の効果】
【００１０】
本開示の技術により、例えば映像コンテンツの動画像データ等の、編集対象となる映像素材について、特定の画像に対するモザイク化等の画像処理を短時間で効率よく実行できるという効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施の形態の画像編集装置のブロック図である。
【図２】実施の形態の画像編集プログラムにより実現される機能構成例の説明図である。
【図３】実施の形態の画像編集作業手順の説明図である。
【図４】実施の形態の画像編集作業の説明図である。
【図５】第１の実施の形態の画像編集処理のフローチャートである。
【図６】実施の形態の認識対象画像設定処理のフローチャートである。
【図７】実施の形態の認識対象画像の画像内への出現例の説明図である。
【図８】実施の形態のトラック毎の画像範囲情報と画像処理情報の説明図である。
【図９】実施の形態の認識対象画像のトラッキングを及び画像処理例の説明図である。
【図１０】実施の形態の顔画像のトラッキングの説明図である。
【図１１】実施の形態の認識対象画像のトラッキングを及び画像処理例の説明図である。
【図１２】実施の形態の修正処理の説明図である。
【図１３】第２の実施の形態の画像編集処理のフローチャートである。
【図１４】実施の形態の画像編集プログラムにより実現される機能構成例の説明図である。
【図１５】第３，第４の実施の形態の画像編集処理のフローチャートである。
【図１６】第５の実施の形態の説明図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態を次の順序で説明する。
＜１．プログラム及び画像処理装置＞
＜２．画像編集作業手順＞
＜３．画像編集処理：第１の実施の形態＞
＜４．画像編集処理：第２の実施の形態＞
＜５．画像編集処理：第３，第４の実施の形態＞
＜６．画像編集処理：第５の実施の形態＞
＜７．変形例＞
【００１３】
＜１．プログラム及び画像処理装置＞
図１は、実施の形態の画像編集装置のブロック図を示している。この図１の構成はコンピュータ装置の構成例であるが、例えばこのようなコンピュータ装置に本実施の形態の画像編集プログラムがインストールされ、該画像編集プログラムに基づく動作が実行されることで、実施の形態の画像編集装置が実現される。
もちろん画像編集装置としては、汎用コンピュータ装置ではなく、画像編集専用の装置として形成されてもよいし、以下説明していく画像処理プログラムに基づく機能動作がハードウエアにより実行される装置とされてもよい。
実施の形態としては、画像処理プログラムをインストールしたコンピュータ装置により画像処理装置が実現される例で説明してく。
【００１４】
図１において、画像編集装置１（コンピュータ装置）は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３を有する。
ＣＰＵ１１（演算処理装置）は、ＲＯＭ１２に記憶されているプログラム、または記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。特にＣＰＵ１１は、画像編集プログラムに基づいて、画像編集作業のための各種処理を実行する。
ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。
【００１５】
入出力インターフェース１５には、ユーザインターフェース部位として、入力部１６や出力部１７が接続される。
入力部１６はキーボード、マウスなどを有し、画像編集作業を行う作業者が各種設定や編集指示等のための入力を行うことができるようにされる。
また、入力部１６として、デジタイザーやフェーダー入力装置を備えて作業者が入力操作できるようにしてもよい。或いは、入力部１６の構成として、外部入力装置としてのデジタイザーやフェーダー入力装置とのインターフェースを備えることも可能である。
出力部１７は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）などよりなるディスプレイ、並びにスピーカなどより構成される。出力部１７によって、編集作業対象の画像データの表示や、各種画像処理後の画像表示、修正作業のための表示などが行われる。
【００１６】
また入出力インターフェース１５には記憶部１８、通信部１９、メディアドライブ２０が接続される。
記憶部１８はＨＤＤ（Hard Disk Drive）やフラッシュメモリなどとして実現される。記憶部１８には各種データやアプリケーションプログラムの格納に用いられる。本例の場合、記憶部１８は編集処理対象となる画像データ（映像コンテンツ等）の格納に用いたり、画像編集プログラムの格納に用いることができる。
【００１７】
通信部１９は、外部機器との間でのデータ、コマンド、制御情報等の通信を行う。この通信部１９は、インターネットやＬＡＮ（Local Area Network）等のネットワークを介しての通信処理を行う構成や、無線ＬＡＮ、ブルートゥースなどの方式で近距離無線通信を行う構成などが考えられる。また、ＵＳＢ（Universal Serial Bus）等の通信方式で機器間通信を行う部位も、通信部１９の一態様となる。いずれにしても通信部１９は、ネットワーク通信又は機器間通信を行う構成とされる。
メディアドライブ２０は、例えば磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が適宜装着され、記録又は再生が行われる。
【００１８】
本例の画像処理装置１では、編集処理対象となる画像データは、通信部１９によって外部機器から受信して、或いはネットワークを介したダウンロードとして取り込むことができる。また或いは画像データはリムーバブルメディア２１によって提供され、メディアドライブ２０によってリムーバブルメディア２１を再生することで画像処理装置１内に取り込むことができる。
さらに画像処理装置１で画像編集を行った編集完了後の画像データ（編集済みコンテンツ）は、通信部１９から外部機器に供給したり、ネットワーク上のサーバ等にアップロードすることができる。また編集完了後の画像データをメディアドライブ２０においてリムーバブルメディア２１に記録し、リムーバブルメディア２１によって顧客等に提供することができる。
【００１９】
この画像編集装置１では、ＣＰＵ１１が画像処理プログラムに基づく処理により、後述する画像編集作業のための各種処理を行う。
画像処理プログラムに基づく処理として実現されるＣＰＵ１１の機能構成を図２に示す。
図２に示すように、ＣＰＵ１１には、認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３、確認・修正処理部３４、作業ファイル分散・統合処理部３５、レンダリング処理部３６が形成されることとなる。
【００２０】
認識対象画像設定処理部３１は、編集作業の対象となる画像データに含まれる画像の中から認識対象画像を設定するとともに、認識対象画像の属性情報を設定する処理を行う。例えば認識対象画像とは、特定の顔画像や特定の物であったり、作業者が範囲指定した画像であったりする。属性情報とは、特定の人や物の画像を識別するための個人識別情報や、個体識別情報を含む。また属性情報には、探索処理に用いる探索補助情報を含む。例えば認識対象画像を構成する輝度情報や色情報が探索補助情報となり得る。
【００２１】
トラッキング処理部３２は、画像データを構成するフレーム毎に、属性情報を用いて、フレーム画像内での認識対象画像を探索する処理を行う。具体的には、認識対象画像として設定された画像についての、各フレーム内での画素範囲を探索する。説明上、この認識対象画像の探索処理のことを「トラッキング」ともいう。
【００２２】
画像処理設定部３３は、トラッキング処理部３２が探索した認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域について、画像処理情報を付与する。処理対象領域とは、例えば各フレーム内での認識対象画像の画素範囲とすること（つまり処理対象領域＝探索された認識対象画像の画素範囲）が考えられるが、後に変形例として述べるように、それには限定されない。
また画像処理情報を付与する処理とは、処理対象領域に或る画像効果処理の種別、例えばモザイク処理、ブラー処理、目線処理などを設定する処理である。なお例えばモザイク処理としても、モザイクのサイズとして複数の種別を設定したり、ブラー処理の度合いにより複数のブラー処理種別を設定することもできる。
画像処理情報が付与されることで、その処理対象領域には、最終的にはその付与された画像効果処理が施される。
【００２３】
確認・修正処理部３４は、各フレームにおける処理対象領域に画像処理情報が付与された後において、作業者に編集状態の画像を表示する処理を行うと共に、作業者の入力に応じて、処理対象領域の範囲（画素範囲やフレーム範囲）を修正したり、画像処理情報を修正する処理を行う。
【００２４】
作業ファイル分散・統合処理部３５は、元々の編集素材の画像データを時間的に分割して作業ファイルを設定したり、或いは認識対象画像毎に別々に分散して編集作業を行うための作業ファイルを設定する処理を行う。
また分散により複数系統で画像編集作業が行われた作業ファイルを統合する処理も行う。
作業ファイル分散・統合処理部３５としての機能を備えない画像編集装置１も考えられる。作業ファイル分散・統合処理を伴わない編集作業も想定されるためである。また作業ファイル分散・統合処理を行う場合でも、例えば作業ファイル分散が外部装置で行われ、画像編集装置１には、その画像編集装置１で編集作業を実行する作業ファイルのみが入力されるようにしてもよい。また外部装置で統合処理を実行するために、画像編集装置１が編集作業を行った作業ファイルを外部装置に出力するものとしてもよい。
或いは画像編集装置１として、分散処理、統合処理の一方の機能を有することも考えられる。
【００２５】
レンダリング処理部３６は、レンダリング処理を行う。即ち外部に提供する画像データとして、編集作業を反映した編集済み画像データを生成する。
レンダリングは外部機器で行うものとして、レンダリング処理部３６を備えない画像編集装置１も想定される。
【００２６】
本実施の形態の画像編集装置１は、インストールされている画像編集プログラムに基づいて、ＣＰＵ１１が図２の機能構成として示した各処理を実行することで、後述する編集作業での各種処理を実行する。
なお、説明上は、本実施の形態の画像編集処理は、主にＣＰＵ１１の処理として実行されるものとするが、ＣＰＵ１１とは独立して画像編集処理を実行する画像処理プロセッサ等を搭載した装置も想定される。その場合は画像処理プロセッサ等が、図２のような機能を備えれば良い。
即ち実施の形態の画像編集プログラムは、ＣＰＵ１１等の演算処理装置に、図２の機能構成の各処理を実行させるプログラムとなる。
【００２７】
なお、このような画像編集プログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、編集処理プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
画像編集プログラムを記録した上記の各種のリムーバブル記録媒体や、或いはＨＤＤ、ＲＯＭ、フラッシュメモリ等、機器内に固定的に装備される記録媒体は、本開示の請求項でいう記録媒体に相当することとなる。
【００２８】
＜２．画像編集作業手順＞
実施の形態の映像コンテンツに対する画像編集作業手順を図３，図４で説明する。なお以下説明する作業手順は、一つの画像編集装置１（画像編集プログラム）によって実行される場合もあるし、複数の画像編集装置１に分散されて実行される場合もある。
【００２９】
図３は編集素材である画像データＯＤが入力される段階から編集後の画像データの完成までの手順（処理工程）を示している。各処理工程について説明する。
【００３０】
［作業ファイル設定工程ＳＴ１］
作業ファイル設定工程ＳＴ１では、画像編集作業を行う作業ファイルＰＦを設定する。
作業ファイルＰＦとは、編集素材の画像データ（ＡＶＩ）を、そのまま１つの作業ファイルＰＦとしてもよいし、図示の例のように複数の作業ファイルＰＦ（ＰＦ−ａ、ＰＦ−ｂ、ＰＦ−ｃ）を設定してもよい。
【００３１】
複数の作業ファイルＰＦ−ａ、ＰＦ−ｂ、ＰＦ−ｃ・・・は、例えば入力された画像データＯＤを時間軸上で分割した画像データファイルとすることが考えられる。例えば３０分の映像コンテンツとしての画像データＯＤを、１０分毎に３つの画像データに分割したものなどである。つまりプロジェクト分散として、複数の作業者が、映像コンテンツの一部ずつを担当して編集作業を行うような場合である。
或いはプロジェクト分散としては、複数の作業者が画像処理の対象毎（例えばモザイク処理をかける画像内容毎）に分担して行うことも考えられる。その場合、例えば複数の作業ファイルＰＦ−ａ、ＰＦ−ｂ、ＰＦ−ｃ・・・は、それぞれ元の画像データＯＤとなる。
もちろん、時間分割と、画像処理の対象毎の複合的なプロジェクト分散も想定される。
【００３２】
いずれにしても、作業ファイル設定工程ＳＴ１では、或る作業者が画像編集装置１を用いて実行する編集処理対象を１つの作業ファイルＰＦとして設定する工程であり、作業ファイルＰＦの設定は、映像コンテンツのサイズ、作業者数、画像編集装置数、納期等の各種の事情に応じて決められれば良い。
なお、この作業ファイルＰＦの設定は、作業ファイル設定機能（例えば図２の作業ファイル分散・統合処理部３５）を有する或る画像編集装置１において行うことができるが、複数の作業ファイルＰＦを設定してプロジェクト分散する場合、他の作業者が使用する他の画像編集装置１において作業ファイル設定を行う必要はない。つまり他の画像編集装置１は、設定された作業ファイルを入力できればよく、その意味で図２の作業ファイル分散・統合処理部３５の機能を有することは必ずしも必要ではない。
【００３３】
［画像編集工程ＳＴ２］
画像編集装置１では、続いて画像編集工程ＳＴ２が行われる。画像編集工程ＳＴ２は、図２の認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３、確認・修正処理部３４の機能に基づく作業となる。
図２では、設定された３つの作業ファイルＰＦ−ａ、ＰＦ−ｂ、ＰＦ−ｃのそれぞれについて画像編集工程ＳＴ２−ａ、ＳＴ２−ｂ、ＳＴ２−ｃを示している。これはプロジェクト分散した場合の例である。画像編集工程ＳＴ２−ａ、ＳＴ２−ｂ、ＳＴ２−ｃはそれぞれ別の画像編集装置１（画像編集プログラムをインストールしたコンピュータ装置等）によって実行されるようにすることができる。
もちろん上述のように、プロジェクト分散せずに、編集素材の画像データを、そのまま１つの作業ファイルＰＦとした場合、１つの画像編集装置１で作業ファイルＰＦに対する画像編集処理を実行すればよい。
【００３４】
画像編集装置１における画像編集工程ＳＴ２の処理内容を図４に示す。
画像編集工程ＳＴ２では、認識対象画像設定工程ＳＴ５０、トラッキング・画像処理工程ＳＴ５１、確認・修正工程ＳＴ５２が行われる。
【００３５】
認識対象画像設定工程ＳＴ５０は、作業ファイルとしての画像データの各フレーム毎にトラッキングを行う対象の画像（認識対象画像）を決定するとともに、当該認識対象画像についての属性情報を設定する処理である。
この認識対象画像設定工程ＳＴ５０では、２種類の手法で認識対象画像を設定できる。作業者の領域指定に基づく設定処理（ＳＴ５０−１）と、個体の自動検出による設定処理（ＳＴ５０−２）である。作業者の指示入力に応じて、これらの一方又は両方が実行される。
【００３６】
まず、作業者の領域指定に基づく設定処理（ＳＴ５０−１）としては、作業ファイルＰＦの或るフレームの画像を表示した状態で、作業者による画面上での領域入力に応じて、その領域内の画像を認識対象画像と設定するものである。
作業者による領域入力としては、画面上で、円形、方形等の固定形状で領域を指定するようにしたり、或いは作業者が画面上をなぞったり、画面上で多数の位置を指定するなどに応じた任意形状の領域を指定できるようにする。
後述するが、例えば図１１Ａのように鳥の画像が表示されているフレームで、作業者が鳥の頭部を囲むように位置指定した場合、その鳥の頭部の領域（画像部分）を、認識対象画像として設定することになる。
【００３７】
また設定した認識対象画像に対しては属性情報を設定する。この場合の属性情報としては、トラッキングに用いるトラッキング補助情報とする。例えば指定された領域の画素の輝度情報や色情報、色の配置情報、画像内容のパターンなどをトラッキング補助情報とし、設定した認識対象画像に関連づけて記憶する。
【００３８】
次に、個体の自動検出による設定処理（ＳＴ５０−２）では、作業ファイルの画像データについて画像解析処理を行うことによる顔認識や特定の個体認識などを行って、その結果により認識対象画像を設定するものである。
例えば画像内容を解析して顔検出を行う。そして顔の画像部分を認識対象画像として設定する。人の顔ではなく、動物の顔部分や、特定の物を認識して、それを認識対象画像として設定することもできる。
【００３９】
また設定した認識対象画像に対しては属性情報を設定する。この場合の属性情報の内容としては、個体（個人）識別情報及びトラッキング補助情報である。
個人識別情報は画像解析処理により検出した顔画像等を識別する情報であり、例えば目、鼻、口の配置の情報などを、特定の個人の顔の情報として属性情報に加え、認識対象画像に関連づけて登録する。
顔ではなく特定の物（特定の商標、商号等を表示した看板等、特定形状の建造物や物品、著作物等）であれば、その形状、模様、色の配置などを総合した画像パターンを、個体識別情報とすることができる。
また、個体（個人）識別情報に加え、トラッキング補助情報として、例えば認識対象画像の領域の画素の輝度情報や色情報、色の配置情報、画像内容のパターンなどを、設定した認識対象画像に関連づけられた属性情報の内容として登録する。
【００４０】
以上のように、認識対象画像設定工程ＳＴ５０では、各フレームでトラッキングさせたい認識対象画像を作業者入力や自動検出により設定し、また設定した認識対象画像に関連づけて属性情報（個体（個人）識別情報やトラッキング補助情報）を登録する。
詳しくは後述するが、設定された認識対象画像は、それぞれが属性情報によって区別される１つの「トラック」として扱われる。
【００４１】
なお、作業者の領域指定に基づく設定処理（ＳＴ５０−１）においても、作業者が指定した領域の画像が、或る特定の個体又は個人などであれば、個体識別情報や個人識別情報を属性情報として加えることもできる。例えば人物の顔であれば、その個人を識別するための目、鼻、口の配置の情報などを個人識別情報とすることができる。或いは作業者が指定した領域の画像が、特定の物であれば、その形状、模様、色の配置などを総合した画像パターンを、個体識別情報とすることができる。
【００４２】
続いてトラッキング・画像処理工程ＳＴ５１が行われる。
トラッキング・画像処理工程ＳＴ５１では、作業ファイルＰＦを構成する各フレームにおいて、認識対象画像に該当する画素範囲の探索（トラッキング）を行う。また探索した認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域について、画像処理情報を付与する処理を行う。つまり上述した図２のトラッキング処理部３２、及び画像処理設定部３３の処理である。これにより編集データＥＤを生成する。
詳しくは後述するが、トラッキング・画像処理工程ＳＴ５１で生成される編集データＥＤは、例えば図８に示すような、各認識対象画像（トラック）についての、各フレームでの画像範囲情報と画像処理情報を含むデータである。
【００４３】
画像範囲情報とは、各フレーム内で画像処理を施す処理対象領域としての画素範囲の情報である。処理対象領域とは、例えば各フレームでの認識対象画像の領域とする。
また画像処理情報とは、そのフレームにおいてどのような画像効果処理を与えるかを示す情報（画像処理の種別の情報）である。例えば「モザイク１」「モザイク２」「モザイク３」「ブラー１」「ブラー２」「目線」等の画像処理内容を示す情報である。「モザイク１」「モザイク２」「モザイク３」は、例えばモザイクの効果レベル（例えばモザイクのサイズ）が異なる処理、「ブラー１」「ブラー２」はぼかしの効果レベル（度合い）が異なる処理などである。
もちろんこれら以外に、例えばソフトフォーカス、輝度反転、モノクロ化、色変更や、それらの効果レベルの異なる処理など、各種の画像効果処理が可能とされてもよいが、それらの種類や効果レベルに応じて画像処理情報が設定される。
【００４４】
続いて行われる。
確認・修正工程ＳＴ５２は、トラッキング・画像処理工程ＳＴ５１で自動編集が行われた後の状態を作業者が確認し、手動で修正を行う工程である。
即ち上述の図２の確認・修正処理部３４の処理として、編集後の画像を表示すると共に、作業者の入力に応じて、処理対象領域の範囲（画素範囲やフレーム範囲）を修正したり、画像処理情報を修正する処理を行う。即ち具体的には、図８のような編集データＥＤを修正する処理である。
必要であれば、トラッキング・画像処理工程ＳＴ５１を再実行することもできる。
また、この確認・修正工程ＳＴ５２においてトラック結合処理も可能である。
特に上述の自動顔認識・設定処理の工程で同一人物の顔画像等が、属性情報の精度から違う人物と認識されてしまった場合に生成されたトラックや、認識対象画像に対して追加で領域を指定したトラックが他のトラックと同じ動きをする場合などにおいて、元となるトラックと追加で生成されたトラックを結合することができる。
この結合処理により、人物毎のトラックを正確に作成することができたり、処理対象となる画像を一つのトラックに集約することも可能である。
以上の確認・修正工程ＳＴ５２を経て、画像編集工程ＳＴ２が終了する。
【００４５】
［編集データファイル生成工程ＳＴ３］
図３に戻る。以上の画像編集工程ＳＴ２によって、作業ファイルＰＦに対しての編集データＥＤが得られる。
作業ファイル分散・統合処理部３５に機能により実行される編集データファイル生成工程ＳＴ３は、プロジェクト分散して実行した画像編集工程ＳＴ２−ａ、ＳＴ２−ｂ、ＳＴ２−ｃ・・・での編集データＥＤを統合して、統合された編集データファイルＥＤＦを生成する処理である。
なお、上述の作業ファイル設定工程ＳＴ１でプロジェクト分散されておらず、画像編集工程ＳＴ２が１系統のみ行われた場合は、その画像編集工程ＳＴ２で得られた編集データＥＤの内容を、そのまま編集データファイルＥＤＦとすればよい。
【００４６】
編集データファイルＥＤＦは、編集素材の画像データＯＤ全体について、必要な編集処理の情報を統合したものとなる。
【００４７】
［確認・修正工程ＳＴ４］
確認・修正工程ＳＴ４は、図２の確認・修正処理部３４の機能により、画像データＯＤの全体について、画像編集の確認及び必要な修正が行われる。
上述した画像編集工程ＳＴ２内での確認・修正工程ＳＴ５２は、作業ファイルＰＦと編集データＥＤに基づいて、作業ファイルＰＦ単位での確認及び編集データＥＤの修正であったが、この確認・修正工程ＳＴ４では、元の画像データＯＤ全体と、統合された編集データファイルＥＤＦの単位での確認及び編集データＥＤの修正を実行するものである。
【００４８】
［レンダリング工程ＳＴ５］
確認・修正工程ＳＴ４によって最終的にＯＫとなったら、レンダリング処理部３６の機能によりレンダリングが実行され、編集済みの画像データとしてのコンテンツが作成される。レンダリングされた画像データは、編集素材の画像データＯＤに対して編集データファイルＥＤＦに示されている、各フレームの画像範囲について指定された画像処理が施された画像データとなる。
この編集済みのコンテンツは、映像内容の審査機関に提出されて上映や販売の認可を受けるが、場合によっては、審査機関の指示に応じて再度の修正（確認・修正工程ＳＴ４の作業）が行われることもある。
認可を受けた後は、映像コンテンツの完成品として納品することができる。
【００４９】
以上、編集作業の手順を示したが、工程ＳＴ１からＳＴ５を、全て１つの画像編集装置１で実行することもできるし、複数の画像編集装置１で実行することもできる。
本実施の形態の画像編集装置１としては、少なくとも画像編集工程ＳＴ２の処理を実行できるものである。
【００５０】
＜３．画像編集処理：第１の実施の形態＞
以下、図４で示したように画像編集装置１が実行する画像編集工程ＳＴ２について、具体的な処理例（第１の実施の形態）を図５，図６で説明する。
図５は図２の機能を有するＣＰＵ１１によって実行される処理を示している。
なお図５において、図４の認識対象画像設定工程ＳＴ５０に該当するのはステップＦ１０１であり、トラッキング・画像処理工程ＳＴ５１に該当するのはステップＦ１０２〜Ｆ１０４であり、確認・修正工程ＳＴ５２に該当するのはステップＦ１０５〜Ｆ１０８である。
【００５１】
まずステップＦ１０１でＣＰＵ１１は認識対象画像の設定処理を行う。
このステップＦ１０１の処理を図６に詳しく示す。
図４で説明したように、認識対象画像設定工程ＳＴ５０では、作業者の領域指定に基づく設定処理（ＳＴ５０−１）と、個体の自動検出による設定処理（ＳＴ５０−２）の一方又は両方が行われる。
ＣＰＵ１１は図６のステップＦ２０１→Ｆ２０８→Ｆ２１３の入力監視処理で作業者の入力を監視し、入力に応じて処理を進めることとなる。
ステップＦ２０１は、個体の自動検出による設定処理の指示入力の監視処理である。
ステップＦ２０８は、領域指定による指示入力の監視処理である。
ステップＦ２１３は、認識対象画像設定の終了操作の監視処理である。
【００５２】
作業者が、個体の自動検出による設定処理（ＳＴ５０−２）を指示する入力を行った場合、ＣＰＵ１１はステップＦ２０１からＦ２０２に進む。ここでは、自動検出として画像内の顔検出を行う例として説明する。
ステップＦ２０２でＣＰＵ１１は、作業ファイルＰＦの或る１つのフレームもしくは複数のフレームについて画像解析を行い、画像内に表れる人の顔画像の検出を行う。例えば目、鼻、口の３要素の存在を画像から判定していき、１又は複数の顔画像を検出する。
【００５３】
１又は複数の顔画像を検出したら、ステップＦ２０３〜Ｆ２０７で、検出したそれぞれの顔画像について設定処理を行う。
まずＣＰＵ１１はステップＦ２０３で、検出した顔画像の１つを、認識対象画像として設定する。
続いてステップＦ２０４でＣＰＵ１１は、その顔画像について属性情報を生成する。上述のように属性情報として個人識別情報及びトラッキング補助情報を生成する。
そしてステップＦ２０５でＣＰＵ１１は属性情報を、認識対象画像に関連づけて登録する。なお、１つの認識対象画像は、以降、１つの「トラック」として取り扱われる。トラックとは、属性情報によって区別される画像内容に相当する。従って認識対象画像に関連づけて属性情報を登録することで、１つのトラックが設定されたこととなる。
【００５４】
またＣＰＵ１１はステップＦ２０６で、当該トラック（認識対象画像）に対する画像処理内容、つまり当該トラックに与える画像効果処理の種別の設定を行う。例えば「モザイク１」等の画像処理内容を設定する。具体的にはＣＰＵ１１は、認識対象画像について、どのような画像処理を行うかを、作業者の入力に応じて設定する。例えば検出した認識対象画像を出力部１７の画面上に提示して作業者に画像処理内容の選択を求める。それに応じた作業者の入力によって、「モザイク１」等の画像処理内容を設定する。
【００５５】
以上のステップＦ２０３〜Ｆ２０６の処理は、検出した各顔画像のそれぞれについて実行する。即ちＣＰＵ１１はステップＦ２０７で、全ての顔画像について処理終了と判断するまでは、ステップＦ２０３に戻って、次の顔画像についてステップＦ２０３〜Ｆ２０６の処理を実行する。
全ての顔画像について処理を終えたら、ステップＦ２０７からＦ２１３に進む。即ちステップＦ２０１→Ｆ２０８→Ｆ２１３の入力監視処理に戻る。
なお、この例では顔検出による認識対象画像設定の処理としたが、顔以外の特定の画像（人の身体、特定の物）を自動検出する場合も、このステップＦ２０１〜Ｆ２０７の処理が行われれば良い。
また、ここでは検出した全ての顔画像のそれぞれについてステップＦ２０３〜Ｆ２０６の処理を実行する例としたが、必ずしも全ての顔画像について行わなくても良い。例えば予め設定した属性情報等に基づき、認識対象画像から除外する機能を持たせることも可能である。例えば属性情報で判別される特定の個人の顔を認識対象画像とはしないようにしたり、顔画像の画像サイズ（顔画像領域の画素数）が所定以下であれば認識対象画像とはしないような処理である。さらには、ステップＦ２０２で検出された顔画像を作業者に提示し、作業者が認識対象画像とする顔画像（もしくは認識対象画像とはしない顔画像）を選択できるようにすることも考えられる。
【００５６】
作業者が、領域指定に基づく設定処理（ＳＴ５０−１）を指示する入力を行った場合、ＣＰＵ１１はステップＦ２０８からＦ２０９に進む。
この場合、作業者が表示画面に対して領域指定の操作入力を行う。ステップＦ２０９でＣＰＵ１１は、作業者が入力した定形又は任意形状の領域を、認識対象画像として設定する。
【００５７】
続いてＣＰＵ１１はステップＦ２１０で、その指定領域の画像について属性情報を生成する。上述のように属性情報としてトラッキング補助情報を生成する。なお、その指定領域の画像が顔であったり特定の物である場合は、属性情報に個体（個人）識別情報を含めることもできる。
そしてステップＦ２１１でＣＰＵ１１は属性情報を、認識対象画像に関連づけて登録する。認識対象画像に関連づけて属性情報を登録することで、１つのトラックが設定されたこととなる。
【００５８】
またＣＰＵ１１はステップＦ２１２で、当該トラック（認識対象画像）に対する画像処理内容、つまり当該トラックに与える画像効果処理の種別の設定を行う。例えば「モザイク１」等の画像処理内容を設定する。ステップＦ２０６と同様、ＣＰＵ１１は作業者の入力に応じて画像処理内容を設定する。
そしてステップＦ２１３に進み、ステップＦ２０１→Ｆ２０８→Ｆ２１３の入力監視処理に戻る。
【００５９】
以上の自動個体認識による認識対象画像設定、又は領域指定による認識対象画像の一方又は両方が１又は複数回、作業者の操作に応じて行われる。
作業者は必要な認識対象画像の設定（トラック設定）を完了したと判断したら、認識対象画像の設定終了の操作入力を行う。それに応じてＣＰＵ１１はステップＦ２１３から処理を終える。つまり図５のステップＦ１０１の処理を終える。
【００６０】
続いてＣＰＵ１１は、図５のステップＦ１０２〜Ｆ１０４として、トラッキング・画像処理工程ＳＴ５１の処理を行う。
ＣＰＵ１１はステップＦ１０２で、作業ファイルＰＦのフレームにつき、フレーム内での認識対象画像の探索（トラッキング）を行う。またステップＦ１０３で、処理対象領域（ここでは処理対象領域＝認識対象画像の画素範囲とする）について、画像処理情報を付与する処理を行う。
これを、ステップＦ１０４で作業する時間軸範囲での全フレームについて実行するまで繰り返す。
【００６１】
例えば作業ファイルＰＦの動画像データを構成するフレームとして、第１フレームＦＲ１〜最終フレームＦＲ（ｎ）が存在するとする。
仮に作業ファイルＰＦの全体を作業する時間軸範囲とすると、ＣＰＵ１１は、まず第１フレームＦＲ１についてステップＦ１０２，Ｆ１０３の処理を行い、次に第２フレームＦＲ２についてステップＦ１０２，Ｆ１０３の処理を行う。これを最終フレームＦＲ（ｎ）まで繰り返す。
なお、作業する時間軸範囲とは、作業ファイルＰＦ内の一部の範囲とすることもできる。その場合は、作業する時間軸範囲として選択した或るフレームから或るフレームまでについて、ステップＦ１０２，Ｆ１０３の処理を繰り返せば良い。
【００６２】
このステップＦ１０２〜Ｆ１０４で実行されるトラッキング・画像処理工程ＳＴ５１の処理を図７〜図１１で説明する。
今、仮に、認識対象画像として３つの画像が設定され、図７に示すように３つのトラックＴＫ１，ＴＫ２，ＴＫ３が設定されたとする。
図７は、各トラックの画像が時間軸上でフレーム画像内に表れる期間を示している。例えばトラックＴＫ１，ＴＫ２が自動顔検出で設定された顔画像、トラックＴＫ３が領域指定で設定された或る物の画像であるとする。
登場人物や物のそれぞれは、映像コンテンツのシーン内容やカメラアングル等によって表れたり表れなかったりする。図７は各トラックについて、このような状態を示したものである。
即ち、作業ファイルＰＦの動画像データのフレームＦＲ１〜ＦＲ（ｎ）について１つ１つ見ると、全てのフレームで全てのトラックが出現するわけではない。
トラッキング処理は、属性情報に基づいて、トラックとされた各画像が、各フレームにおいて存在するか否かを探索し、存在した場合に、その画像範囲を検出する処理となる。
ステップＦ１０２ではこのように各フレームについてトラッキングを行い、ステップＦ１０３では、フレーム内にトラックに該当する画像が存在した場合に、画像処理情報を設定する処理となる。
【００６３】
図８は、ステップＦ１０２〜Ｆ１０４の処理で形成される編集データＥＤの例を示している。
例えばフレームＦＲ１では、トラックＴＫ１，ＴＫ２の画像が存在するとする。この場合ＣＰＵ１１はステップＦ１０２のトラッキング処理により、フレームＦＲ１においてトラックＴＫ１の画像範囲情報Ｐ１−１を検出する。またトラックＴＫ２の画像範囲情報Ｐ２−１を検出する。
なお画像範囲情報Ｐ１−１等の「Ｐｘ−ｙ」とは、トラックＴＫｘについてのフレームＦＲｙにおける画素範囲を示した情報であるという意味としている。
【００６４】
またＣＰＵ１１はステップＦ１０３で、トラックＴＫ１の画像、つまり画像範囲情報Ｐ１−１で示されるフレームＦＲ１内の画素範囲に与える画像処理情報ＥＦ１を設定する。画像処理情報ＥＦ１とは、例えば「モザイク１」など画像処理種別を示す情報である。これは、上述した図６のステップＦ２０６（又はＦ２１２）で当該トラックＴＫ１について設定した画像処理種別の情報となる。
例えばＥＦ１＝「モザイク１」、ＥＦ２＝「モザイク２」、ＥＦ３＝「モザイク３」ＥＦ４＝「ブラー１」、ＥＦ５＝「ブラー２」、ＥＦ６＝「目線」等の処理種別を示すものとする。
またＣＰＵ１１は同様に、トラックＴＫ２の画像、つまり画像範囲情報Ｐ２−１で示されるフレームＦＲ１内の画素範囲に与える画像処理情報（例えばＥＦ１）を設定する。
【００６５】
このようなフレームＦＲ１について処理を終えたら、続いてＣＰＵ１１はフレームＦＲ２についてステップＦ１０２，Ｆ１０３を実行する。以降のフレームについても同様に、出現するトラックの画像に応じて、画像範囲情報、画像処理情報が設定されていく。最終フレームＦＲ（ｎ）までの処理を終えた時点で、図８のような編集データＥＤが形成されることとなる。
例えばフレームＦＲ２０００は、トラックＴＫ１，ＴＫ２，ＴＫ３の画像が存在した場合、トラックＴＫ１，ＴＫ２，ＴＫ３のそれぞれのフレームＦＲ２０００内での画像範囲情報Ｐ１−２０００、Ｐ２−２０００、Ｐ３−２０００と、それぞれの画像処理情報（例えば「ＥＦ１」「ＥＦ１」「ＥＦ２」等）が設定される。
【００６６】
トラッキング及びトラッキングによる画像範囲情報の設定の例を図９〜図１１に示す。
まず顔画像についてのトラッキング処理の例を説明する。
図９Ａ、図９Ｂ、図９Ｃに示す各フレームＦＲ（ｘ）、ＦＲ（ｙ）、ＦＲ（ｚ）に関するトラッキング処理では、それぞれ、まずフレーム画像の解析により顔検出を行う。
図９ＡのフレームＦＲ（ｘ）の場合、顔画像が検出されるが、その顔画像についての個人識別情報（例えば目、鼻、口の配置情報）を生成する。そしてその個人識別情報を、トラックＴＫ１、ＴＫ２について登録された個人識別情報と比較し、一致するか否かを判定する。そしてトラックＴＫ１の個人識別情報と一致した場合、フレームＦＲ（ｘ）で検出された顔画像はトラックＴＫ１の顔画像であるとし、図示する顔画像の範囲を、フレームＦＲ（ｘ）でのトラックＴＫ１の画像範囲情報Ｐ１−ｘと設定する。
【００６７】
図９ＢのフレームＦＲ（ｙ）も同様である。このフレームＦＲ（ｙ）でも顔画像が検出され、その個人識別情報がトラックＴＫ１の個人識別情報と一致した場合、フレームＦＲ（ｙ）で検出された顔画像はトラックＴＫ１の顔画像であるとし、図示する顔画像の範囲を、フレームＦＲ（ｙ）でのトラックＴＫ１の画像範囲情報Ｐ１−ｙと設定する。
【００６８】
図９ＣのフレームＦＲ（ｚ）の場合、顔が横を向いた状態である。これにより顔画像が検出できない、或いは検出できても個人識別情報が生成できないことがあり得る。その場合は、トラッキング補助情報を用いて、トラックＴＫ１の顔画像として認定し、図示する顔画像の範囲を、フレームＦＲ（ｚ）でのトラックＴＫ１の画像範囲情報Ｐ１−ｚと設定する。
【００６９】
図１０には、顔画像のトラッキング手法を示している。まず基本的には、上記のように目、鼻、口の３要素で顔検出を行い、個人識別情報を比較して、認識対象画像（トラック）に相当する顔画像を検出する。多少横を向いた状態のフレームでも、ある程度は同様に行うことが可能であるが、完全に横向きになると、このような処理ではトラッキングが取れなくなることもある。
そこで、トラッキング補助情報として、輝度情報や色情報も利用する。連続するフレームでは、フレーム内の顔画像の画素範囲は徐々に移動したり、拡大・縮小するため、輝度値や色情報が前フレームの顔画像範囲の輝度値や色と同様の範囲を、同じトラックの顔画像と判定することが可能である。
【００７０】
なお図７に示したように、或る認識対象画像は、シーンから消えた後、また登場することがある。例えば或る人物Ａの顔をトラックＴＫ１とすると、図７の例では、最初は映像内に登場しており、その後、映像から消え、再度登場する状態となる。
トラッキングは上記のように個人識別情報を参照することとすれば、このような場合にも対応して１回目の登場となるフレーム期間でも、２回目の登場となるフレーム期間でも、人物Ａの顔をトラックＴＫ１としてトラッキングしていくことができることとなる。
【００７１】
次に領域指定で設定したトラックＴＫ３についてのトラッキングの例を説明する。
図１１Ａ、図１１Ｂ、図１１Ｃに示すような、鳥の頭部の画像領域が認識対象画像（トラックＴＫ３）として設定されたとする。
この場合、トラックＴＫ３の認識対象画像についての属性情報（トラッキング補助情報）として、輝度、色情報、配色パターン、形状パターン等を登録しておく。そして連続するフレームにおいて、変形する画像範囲は、前フレームと同一の画像であると認識してトラッキングを行うことができる。
図１１Ａ、図１１Ｂ、図１１ＣのフレームＦＲ（ｐ）、ＦＲ（ｑ）、ＦＲ（ｒ）については、トラッキング補助情報に基づいて図示する画像範囲がトラッキングでき、各フレームについてのトラックＴＫ３の画像範囲情報Ｐ３−ｐ、Ｐ３−ｑ、Ｐ３−ｒが設定される。
なお、領域指定で設定したトラックについても、属性情報に個体（個人）識別が可能な情報が含まれていれば、いったん映像から消えた後の登場であっても、同じトラックとして認識できる。
【００７２】
以上のようにトラッキングされて判定された各フレームの画像範囲に対しては、上述のようにステップＦ１０３の処理で画像処理情報が設定される。
画像処理情報としてＥＤ１（例えば「モザイク１」）が設定されたとした場合、最終的な編集後の画像データ（レンダリング工程ＳＴ５を経た画像データ）は、図９Ｄ、図９Ｅ、図９Ｆのようなモザイク処理や、図１１Ｄ、図１１Ｅ、図１１Ｆのようなモザイク処理が施された状態となる。
【００７３】
図５に戻って、続いて確認・修正工程ＳＴ５２としてのステップＦ１０５〜Ｆ１０８の処理を説明する。
ステップＦ１０４までの処理で、作業する時間軸範囲（作業ファイルＰＦの全フレーム期間又は作業者が指定した一部のフレーム期間）での自動的なトラッキング及び画像処理情報の付加を行い、図８のような編集データＥＤを生成したら、ＣＰＵ１１はステップＦ１０５に進む。
【００７４】
ステップＦ１０５ではＣＰＵ１１は、編集データＥＤで示される編集内容を元の作業ファイルＰＦの各フレームに反映させ、編集状態の画像を作業者に提示する。つまり各フレーム（例えばフレームＦＲ１〜ＦＲ（ｎ））毎に、編集データＥＤで示される画像範囲情報の画素範囲について、画像処理情報で示されるモザイク等の画像処理を加えた画像を生成し、出力部１７の表示デバイスにフレーム毎の静止画又は動画の状態で表示させる。作業者は、フレーム毎に例えば図９Ｄ、図９Ｅ、図９Ｆ、図１１Ｄ、図１１Ｅ、図１１Ｆのような画像を確認していったり、或いは動画状態で画像を確認できる。
【００７５】
作業者は画像を見て、自動的に行われた編集が適正であるか確認し、必要に応じて修正入力を行う。
作業者が修正入力を行った場合、ＣＰＵ１１はステップＦ１０６からＦ１０７に進み、作業者の指示入力に応じて、編集データＥＤにおける画像範囲情報又は画像処理情報を修正する処理を行う。
【００７６】
例えば、或るフレームＦＲ（ｓ）についての画像範囲情報Ｐ３−ｓが、図１２Ａに示す画素範囲であったとする。この図１２Ａでは示していないが、この画素範囲に画像編集情報で指定されたモザイク処理等が行われるため、この場合、鳥の嘴の先のあたりがモザイク化されないものとなってしまう。このような場合に作業者は、範囲を修正する操作を行うことでＣＰＵ１１は画素範囲情報Ｐ３−ｓの内容を修正する。例えば図１２Ｂのように、画像範囲情報Ｐ３−ｓを、嘴の先の部分を含む画素範囲を示す情報に修正することができる。
【００７７】
また、例えば、或るフレームＦＲ（ａ）についての画像処理情報が「ＥＦ１」であり、これは図１２Ｃに示すように「モザイク１」の処理を指定する情報であったとする。作業者が、この画像処理を他の画像処理に変更したい場合は、他の画像処理内容（種別）に変更する操作を行う。ＣＰＵ１１は指定された画像処理の種別に応じて、該フレームＦＲ（ａ）についての画像処理情報を書き換える。
例えば作業者が「ＥＦ２：モザイク２」に変更する操作を行った場合、ＣＰＵ１１はフレームＦＲ（ａ）についての画像処理情報を「ＥＦ２」に書き換える。例えば図１２Ｄに示すようなモザイク処理の指定に変更することとなる。
また例えば作業者が「ＥＦ６：目線」に変更する操作を行った場合、ＣＰＵ１１はフレームＦＲ（ａ）についての画像処理情報を「ＥＦ６」に書き換える。例えば図１２Ｅに示すような目線処理の指定に変更することとなる。
【００７８】
ＣＰＵ１１は例えば以上の例のように、作業者の入力に応じて編集データＥＤにおける画素範囲情報又は画像処理情報を修正していく。
ＣＰＵ１１は画素範囲情報又は画像処理情報を修正したら、ステップＦ１０５に戻り、修正内容を反映した画像を表示させる。
作業者が修正完了と判断して、確認・修正作業の終了を指示する入力を行った場合は、ＣＰＵ１１はステップＦ１０８から図５の処理を終える。即ち図３の画像編集工程ＳＴ２が終了される。この時点での編集データＥＤが、編集データファイル生成工程ＳＴ３で処理されることとなる。
【００７９】
ここで上記ステップＦ１０５〜Ｆ１０８での確認・修正工程の処理についての具体的な処理例を説明する。
編集データＥＤの内容の修正作業としては、１フレーム毎の修正だけでなく、トラック指定での一括修正や部分修正を可能とする。
【００８０】
１フレーム毎の修正とは、上述したように、作業者が或るフレームを指定し、そのフレームについて画像範囲情報や画像処理情報の変更を行う修正である。
本例では上述のように認識対象画像がトラックとして管理されている。これを利用して、効率的な修正作業を可能とする。
【００８１】
例えば全てのフレームでトラックＴＫ１の画像処理情報を、図８に示す「ＥＦ１：モザイク１」から「ＥＦ４：ブラー１」に変更したいとする。
その場合、作業者はステップＦ１０６の入力の際に、トラックＴＫ１を指定して「ＥＦ４：ブラー１」を選択する操作を行えば良い。ＣＰＵ１１はそれに応じて図８の編集データＥＤにおけるトラックＴＫ１のフレームＦＲ１〜ＦＲ（ｎ）についての画像処理情報を「ＥＦ１」から「ＥＦ４」に更新する。
【００８２】
また例えばトラックＴＫ１のフレームＦＲ１〜ＦＲ５の画像処理情報を、「ＥＦ１：モザイク１」から「ＥＦ４：ブラー１」に変更したいとする。
その場合、作業者はステップＦ１０６の入力の際に、トラックＴＫ１及びフレームＦＲ１〜ＦＲ５を指定して「ＥＦ４：ブラー１」を選択する操作を行えば良い。ＣＰＵ１１はそれに応じて図８の編集データＥＤにおけるトラックＴＫ１のフレームＦＲ１〜ＦＲ５についての画像処理情報を「ＥＦ１」から「ＥＦ４」に更新する。
【００８３】
もちろん、画像処理を外すということも可能である。例えばトラックＴＫ１のモザイク化が不要とする場合、作業者はステップＦ１０６の入力の際に、トラックＴＫ１を指定して例えば「画像処理無し」を選択する操作を行えば良い。ＣＰＵ１１はそれに応じて図８の編集データＥＤにおけるトラックＴＫ１のフレームＦＲ１〜ＦＲ（ｎ）についての画像処理情報を「ＥＦ１」から「ＥＦ０：画像処理無し」に更新する。
もちろんある部分的なフレーム期間のみ、「ＥＦ０：画像処理無し」として、映像上では一時的にモザイクが外れるような指定も可能である。
なお、図６のステップＦ２０６，Ｆ２１２での認識対象画像についての画像処理内容の設定時に、「ＥＦ０：画像処理無し」を設定することを可能としてもよい。
【００８４】
画像範囲情報についてもトラックを利用して修正できる。
例えばトラックＴＫ２について、フレームＦＲ５０〜ＦＲ６０の範囲で画像範囲情報を修正したいとする。
作業者はフレームＦＲ５０でのトラックＴＫ２の画像範囲と、フレームＦＲ６０でのトラックＴＫ２の画像範囲とを修正する入力を行い、当該フレーム範囲の修正を指示する。その場合ＣＰＵ１１は、フレームＦＲ５０、ＦＲ６０で修正された範囲の画素の輝度情報や色情報に基づいて、フレームＦＲ５１〜ＦＲ５９でのトラックＴＫ２の画像範囲も変更する。そしてフレームＦＲ５０〜ＦＲ６０の画像範囲情報Ｐ２−５０、Ｐ２−５１・・・Ｐ２−６０を更新する。
或いはＣＰＵ１１は、画像範囲の形状から補間的な演算を行って中間の画像範囲を変更してもよい。例えばフレームＦＲ５０，ＦＲ６０で作業者によって指示された変更による画像範囲の形状の変化から、フレームＦＲ５１〜ＦＲ５９でのトラックＴＫ２の画像範囲を形状の変更を推定し（変更位置の補間）、それに応じて画像範囲情報Ｐ２−５０、Ｐ２−５１・・・Ｐ２−６０を更新することも可能である。
【００８５】
以上は、画像編集工程ＳＴ２内の確認・修正工程ＳＴ５２における処理として説明したが、同様のトラック単位の修正は、図３の確認・修正工程ＳＴ４においても実行可能である。編集データファイルＥＤＦは、編集データＥＤそのもの、又はプロジェクト分散で作成された複数の編集データＥＤの集合であるため、各認識対象画像がトラック管理されているためである。
【００８６】
以上の第１の実施の形態の画像編集装置１（又は画像処理プログラム）によれば次のような効果が得られる。
まず人物の顔等の特定の画像への画像処理は、ほぼ自動で実行されるので、作業者は主に確認、修正（微調整）のみの作業を行えばよく、画像編集作業の大幅な効率化、時短化が実現できる。
【００８７】
また認識対象画像がトラック管理されていることで、修正作業が容易となる。例えば特定の人物の顔等に対しては画像処理を施さないようにしたい場合や処理内容を変更したい場合なども、顔の属性情報に基づいてトラック管理されているので、トラック指定しての画像処理内容の変更指示により、複数フレームについて一括して画像処理の変更が可能となる。
また処理対象領域の画像範囲の修正も、トラック管理状態を利用することで、その範囲の形状の変更や領域の追加、削除が容易である。
【００８８】
また人物だけでなく、看板（サイン）なども認識対象画像として指定すれば、画像のトラッキングが可能なので、ほぼ自動処理が可能となり、多様な画像に対応して効率の良い編集作業が実現できる。
【００８９】
また認識対象画像を自動検出することで、顔画像等の認識対象画像としての指定も容易である。さらに領域指定して認識対象画像を設定できるため、認識対象画像の形状が複雑であっても、領域自由な形状に領域を指定できるだけでなく、その形状をベースにトラッキングを行うので、処理精度（処理を施す領域の精度）が高い。これは確認・修正工程ＳＴ４、ＳＴ５２で画像範囲の形状、位置の修正は最小限で済むという利点をもたらす。
【００９０】
また画像処理作業の結果として編集データＥＤ、編集データファイルＥＤＦは独立して保存できるので、統合や分割が容易である。さらに編集データＥＤや編集データファイルＥＤＦの内容を、作業ファイルＰＦや画像データＯＤに反映させて確認のための表示を行うことで、確認時にレンダリングは不要であり、その点でも作業が効率化される。
またプロジェクト分散として複数人で作業した画像処理データ（編集データＥＤ）のマージが可能であることで、効率的な作業が可能となる。
【００９１】
＜４．画像編集処理：第２の実施の形態＞
画像編集装置１によって実行される画像編集処理（画像編集工程ＳＴ２）として第２の実施の形態の処理例を図１３で説明する。
なお図１３においては上述の図５と同様の処理は同一のステップ番号を付して説明を省略する。この図１３では、図４のトラッキング・画像処理工程ＳＴ５１に該当するステップＦ１０２、Ｆ１２０，Ｆ１２１が図５とは異なる。
【００９２】
ＣＰＵ１１はステップＦ１０２で、作業ファイルＰＦのフレームにつき、フレーム内での認識対象画像の探索（トラッキング）を行う。
このステップＦ１０２の処理を、ステップＦ１２０で、作業する時間軸範囲での全フレーム（つまり作業ファイルＰＦの全フレーム、又は作業範囲として指定されたフレーム期間）について実行するまで繰り返す。
作業する時間軸範囲での全フレームにつきトラッキングを終えたら、ＣＰＵ１１はステップＦ１２１で、各フレームについてトラッキングにより設定した画像範囲情報に対応する画像処理情報の設定を行う。
以上で編集データＥＤが作成され、ステップＦ１０５〜Ｆ１０８の確認・修正工程ＳＴ５２の処理に移る。
【００９３】
つまり上述の第１の実施の形態では、各フレームについてトラッキングを行って画像範囲情報を設定し、同時に画像処理情報を付与していったところ、この第２の実施の形態は、まず全フレームに付いてのトラッキングを行って画像範囲情報を設定し、その後、各フレームのトラックに対応する画像処理情報を設定するという点が異なるものである。
トラッキングや画像処理設定の具体的手順は多様に考えられるが、その一例を図５との手順の差異として示したものが、この第２の実施の形態の処理である。
第２の実施の形態でも、第１の実施の形態と同様の効果が得られる。
【００９４】
＜５．画像編集処理：第３，第４の実施の形態＞
先にＣＰＵ１１は、画像編集プログラムにより図２の機能を備えるものとした。画像編集プログラムによって実現されるＣＰＵ１１の機能としては、図１４Ａに示すように、認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３を備えるようにしたものでもよい。
この図１４Ａの機能を備えることで、ＣＰＵ１１は図１５Ａ（第３の実施の形態）の画像処理や、図１５Ｂ（第４の実施の形態）の画像処理が実行できる。
【００９５】
図１５Ａの処理では、ＣＰＵ１１はステップＦ１で認識対象画像の決定及び属性情報の設定を行う。認識対象画像についてトラックを設定するものとなる。
ステップＦ２でＣＰＵ１１は、フレーム画像内での認識対象画像のトラッキングを行う。さらにステップＦ３で、認識対象画像の画像範囲に応じて決定される処理対象領域についての画像処理情報の設定を行う。
これをステップＦ４で、作業する時間軸範囲での全フレームについて終了するまで繰り返し、全フレームについて終了した時点で画像編集工程ＳＴ２を終える。
つまり、画像編集工程ＳＴ２を、図４の認識対象画像設定工程ＳＴ５０とトラッキング・画像処理工程ＳＴ５１のみとする処理例である。
【００９６】
図１５Ｂの処理では、ＣＰＵ１１はステップＦ１０で認識対象画像の決定及び属性情報の設定を行い、認識対象画像についてトラックを設定する。
ステップＦ１１でＣＰＵ１１は、フレーム画像内での認識対象画像のトラッキングを行う。
これをステップＦ１２で、作業する時間軸範囲での全フレームについて終了するまで繰り返し、全フレームについてトラッキングを終了した時点でステップＦ１３に進む。
ＣＰＵ１１はステップＦ１３では、各フレームについて、認識対象画像の画像範囲に応じて決定される処理対象領域についての画像処理情報の設定を行う。以上で画像編集工程ＳＴ２を終える。
これも、画像編集工程ＳＴ２を、図４の認識対象画像設定工程ＳＴ５０とトラッキング・画像処理工程ＳＴ５１のみとする処理例である。
【００９７】
この図１５Ａ、図１５Ｂの処理例は、上述の図５、図１３の処理例から、確認・修正工程ＳＴ５２を省略したものである。
このような処理例によっても、自動的なトラッキング及び画像処理情報の付加により、編集作業の効率化が実現できる。
【００９８】
なお図１４Ｂに画像編集プログラムによって実現されるＣＰＵ１１の機能構成例のさらに他の例を示している。図示のように、認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３、確認・修正処理部３４が設けられる。
このような機能構成により、図５，図１３で説明した処理も可能である。
図３で説明した画像編集工程ＳＴ２の処理を行い、他の工程を外部機器などで行う場合、ＣＰＵ１１は図１４Ｂの機能構成を備えるようにすることも想定される。
【００９９】
＜６．画像編集処理：第５の実施の形態＞
第５の実施の形態を図１６で説明する。これはクラウドコンピューティングを利用する例である。
図１６に模式的に示すように、いわゆるクラウド２００内に処理エンジン２０１が配置され、また編集素材としての画像データがアップロードされる。
処理エンジン２０１は、外部の端末装置から有線又は無線の伝送路を介して供給される処理コマンドの入力を検知し、該入力に応じて、少なくとも図１４Ａ又は図１４Ｂに示した機能（認識対象画像設定処理部３１、トラッキング処理部３２、画像処理設定部３３、さらには確認・修正処理部３４）の処理を実行できる演算処理装置により形成される。
【０１００】
各作業者は、端末２０２を用いて編集作業を行う。編集素材の画像データは、ストリーミングデータＳＴＤとして端末２０２に配信されることで、作業者は画像の内容を確認できる。
そして各作業者は、端末２０２から処理コマンドＣＭを処理エンジン２０１に送信する。即ち認識対象画像設定時の入力操作、確認・修正時の入力操作としての処理コマンド等が端末２０２から送信される。処理エンジン２０１は、処理コマンドに応じて編集素材の画像データに関する認識対象画像設定、トラッキング、画像処理設定、確認・修正処理を行う。
【０１０１】
このようなシステムにより、クラウド２００に置かれた編集素材に対して、遠隔操作で編集作業ができたり、各端末２０２で分散作業を行うことが容易にでき、全体としての作業効率を著しく向上できる。
【０１０２】
＜７．変形例＞
以上、各種実施の形態を説明してきたが、本開示の技術は多様な変形例が考えられる。以下例示する。
【０１０３】
認識対象画像設定の際には、自動顔検出等の自動検出や、作業者の領域指定によるものとしたが、色の指定による自動設定も可能である。例えば特定の色を作業者が指定することで、該当の色の画像を認識対象画像として設定するなどである。指定する色は単色に限らず、複数の色による特定の模様などでもよい、
【０１０４】
モザイク等の画像処理を行う処理対象領域は、上述の実施の形態では認識対象画像の画像範囲とした。即ち認識対象画像に設定した画像自体が、モザイク等の処理が施されるものとした。これに対し、逆に、認識対象画像に設定した画像部分以外が処理対象領域とされてもよい。
例えば或る人物の顔を認識対象画像（トラック）として、トラッキング処理で各フレームにおける認識対象画像の範囲を検出するが、編集データＥＤにおける画像範囲情報は認識対象画像の範囲以外を示す情報とする。或いは画像範囲情報は、処理対象領域外を示す情報と位置づける。これにより、モザイク処理等を施す処理対象領域は、その人物の顔以外の部分などとする。
例えば映像コンテンツ内で、特定の人の顔以外は、露出させたくないような場合に好適な処理となる。
【０１０５】
画像処理の処理内容としてはモザイク、ブラー、目線、ソフトフォーカス、輝度反転、モノクロ化、色変更以外にも多様に考えられる。例えば、処理対象領域の画像をアニメーション画像などの他の画像に置き換える処理や、低輝度化、絵画調画像化、セピア調化なであっても良い。
【０１０６】
また本開示の技術は動画としての映像コンテンツの編集に用いる例を述べたが、いわゆる動画として構成されていない多数の静止画、例えば連写撮像による多数枚の静止画データなどについての編集処理にも適用できる。
【０１０７】
実施の形態の画像編集装置１は、画像編集プログラムを実行するコンピュータ装置により実現する例としたが、具体的な装置としては多様な例が考えられる。例えばビデオカメラ、デジタルスチルカメラ等の撮像装置、画像再生装置、画像記録装置、ゲーム機器、ビデオ編集機、ＰＤＡ（Personal Digital Assistant）、携帯電話機、その他の各種装置において、本開示の画像編集プログラムが実行されることにより（或いはハードウエアにより）、図２，図１４に示したような処理機能を備えることで、上述のような編集処理が可能となる。
【０１０８】
なお本技術は以下のような構成も採ることができる。
（１）画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、
上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップと、
を演算処理装置に実行させる画像編集プログラム。
（２）上記画像処理ステップでは、探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域は、上記認識対象画像の画像範囲の領域とする上記（１）に記載の画像編集プログラム。
（３）上記画像処理ステップで、各フレームにおける処理対象領域に画像処理情報が付与された後において、入力に応じて、処理対象領域の範囲又は画像処理情報を修正する修正ステップを、さらに演算処理装置に実行させる上記（１）又は（２）に記載の画像編集プログラム。
（４）上記設定ステップ、上記探索ステップ、及び上記画像処理ステップでの処理過程において、上記設定ステップで設定した認識対象画像のそれぞれは、上記属性情報で区別されるトラックとして管理され、各トラックについて、各フレームでの処理対象領域と画像処理情報が設定されるとともに、
上記修正ステップでは、上記トラックを指定する入力に応じて、指定されたトラックの処理対象領域又は画像処理情報の修正を演算処理装置に実行させる上記（３）に記載の画像編集プログラム。
（５）上記設定ステップ、上記探索ステップ、及び上記画像処理ステップでの処理過程において、上記設定ステップで設定した認識対象画像のそれぞれは、上記属性情報で区別されるトラックとして管理され、各トラックについて、各フレームでの処理対象領域と画像処理情報が設定されるとともに、
上記修正ステップでは、上記トラック及び１又は複数のフレームを指定する入力に応じて、指定されたトラックの、指定に該当するフレームについて、処理対象領域又は画像処理情報の修正を演算処理装置に実行させる上記（３）又は（４）に記載の画像編集プログラム。
（６）上記設定ステップでは、画像データに含まれる画像の中から特定種類の画像を自動検出し、検出した画像を認識対象画像と設定し、かつ上記属性情報を設定する処理を演算処理装置に実行させる上記（１）乃至（５）のいずれかに記載の画像編集プログラム。
（７）上記特定種類の画像とは、人の顔の画像であり、上記属性情報として、個人識別情報及び探索補助情報を設定する上記（６）に記載の画像編集プログラム。
（８）上記探索ステップでは、上記画像データを構成するフレーム毎に、顔画像の検出を行い、上記個人識別情報及び上記探索補助情報を用いて、上記認識対象画像とされた特定個人の顔画像をフレーム画像内で探索する処理を、演算処理装置に実行させる上記（７）に記載の画像編集プログラム。
（９）上記設定ステップでは、画像データに含まれる画像に対する入力により指定された範囲の画像を認識対象画像と設定し、かつ属性情報として少なくとも探索補助情報を設定する処理を演算処理装置に実行させる上記（１）乃至（８）のいずれかに記載の画像編集プログラム。
（１０）外部の端末装置から有線又は無線の伝送路を介して供給される処理コマンドの入力を検知し、該入力に応じて、少なくとも上記設定ステップ、上記探索ステップ、及び上記画像処理ステップの処理を演算処理装置に実行させる上記（１）乃至（９）のいずれかに記載の画像編集プログラム。
【符号の説明】
【０１０９】
１ 画像編集装置、１１ ＣＰＵ １２ ＲＯＭ、１３ ＲＡＭ、１６ 入力部、１７ 出力部、１８ 記憶部、１９ 通信部、２０ メディアドライブ、３１ 認識対象画像設定処理部、３２ トラッキング処理部、３３ 画像処理設定部、３４ 確認・修正処理部、３５ 作業ファイル分散・統合処理部、３６ レンダリング処理部
【特許請求の範囲】
【請求項１】
画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、
上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップと、
を演算処理装置に実行させる画像編集プログラム。
【請求項２】
上記画像処理ステップでは、探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域は、上記認識対象画像の画像範囲の領域とする請求項１に記載の画像編集プログラム。
【請求項３】
上記画像処理ステップで、各フレームにおける処理対象領域に画像処理情報が付与された後において、入力に応じて、処理対象領域又は画像処理情報を修正する修正ステップを、さらに演算処理装置に実行させる請求項１に記載の画像編集プログラム。
【請求項４】
上記設定ステップ、上記探索ステップ、及び上記画像処理ステップでの処理過程において、上記設定ステップで設定した認識対象画像のそれぞれは、上記属性情報で区別されるトラックとして管理され、各トラックについて、各フレームでの処理対象領域と画像処理情報が設定されるとともに、
上記修正ステップでは、上記トラックを指定する入力に応じて、指定されたトラックの処理対象領域又は画像処理情報の修正を演算処理装置に実行させる請求項３に記載の画像編集プログラム。
【請求項５】
上記設定ステップ、上記探索ステップ、及び上記画像処理ステップでの処理過程において、上記設定ステップで設定した認識対象画像のそれぞれは、上記属性情報で区別されるトラックとして管理され、各トラックについて、各フレームでの処理対象領域と画像処理情報が設定されるとともに、
上記修正ステップでは、上記トラック及び１又は複数のフレームを指定する入力に応じて、指定されたトラックの、指定に該当するフレームについて、処理対象領域又は画像処理情報の修正を演算処理装置に実行させる請求項３に記載の画像編集プログラム。
【請求項６】
上記設定ステップでは、画像データに含まれる画像の中から特定種類の画像を自動検出し、検出した画像を認識対象画像と設定し、かつ上記属性情報を設定する処理を演算処理装置に実行させる請求項１に記載の画像編集プログラム。
【請求項７】
上記特定種類の画像とは、人の顔の画像であり、上記属性情報として、個人識別情報及び探索補助情報を設定する請求項６に記載の画像編集プログラム。
【請求項８】
上記探索ステップでは、上記画像データを構成するフレーム毎に、顔画像の検出を行い、上記個人識別情報及び上記探索補助情報を用いて、上記認識対象画像とされた特定個人の顔画像をフレーム画像内で探索する処理を、演算処理装置に実行させる請求項７に記載の画像編集プログラム。
【請求項９】
上記設定ステップでは、画像データに含まれる画像に対する入力により指定された範囲の画像を認識対象画像と設定し、かつ属性情報として少なくとも探索補助情報を設定する処理を演算処理装置に実行させる請求項１に記載の画像編集プログラム。
【請求項１０】
外部の端末装置から有線又は無線の伝送路を介して供給される処理コマンドの入力を検知し、該入力に応じて、少なくとも上記設定ステップ、上記探索ステップ、及び上記画像処理ステップの処理を演算処理装置に実行させる請求項１に記載の画像編集プログラム。
【請求項１１】
画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、
上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップと、
を有する画像編集方法。
【請求項１２】
画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定処理部と、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索処理部と、
上記探索処理部によって探索された上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理設定部と、
を備えた画像編集装置。
【請求項１３】
画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、
上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップと、
を演算処理装置に実行させる画像編集プログラムを記録した記録媒体。
【請求項１】
画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、
上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップと、
を演算処理装置に実行させる画像編集プログラム。
【請求項２】
上記画像処理ステップでは、探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域は、上記認識対象画像の画像範囲の領域とする請求項１に記載の画像編集プログラム。
【請求項３】
上記画像処理ステップで、各フレームにおける処理対象領域に画像処理情報が付与された後において、入力に応じて、処理対象領域又は画像処理情報を修正する修正ステップを、さらに演算処理装置に実行させる請求項１に記載の画像編集プログラム。
【請求項４】
上記設定ステップ、上記探索ステップ、及び上記画像処理ステップでの処理過程において、上記設定ステップで設定した認識対象画像のそれぞれは、上記属性情報で区別されるトラックとして管理され、各トラックについて、各フレームでの処理対象領域と画像処理情報が設定されるとともに、
上記修正ステップでは、上記トラックを指定する入力に応じて、指定されたトラックの処理対象領域又は画像処理情報の修正を演算処理装置に実行させる請求項３に記載の画像編集プログラム。
【請求項５】
上記設定ステップ、上記探索ステップ、及び上記画像処理ステップでの処理過程において、上記設定ステップで設定した認識対象画像のそれぞれは、上記属性情報で区別されるトラックとして管理され、各トラックについて、各フレームでの処理対象領域と画像処理情報が設定されるとともに、
上記修正ステップでは、上記トラック及び１又は複数のフレームを指定する入力に応じて、指定されたトラックの、指定に該当するフレームについて、処理対象領域又は画像処理情報の修正を演算処理装置に実行させる請求項３に記載の画像編集プログラム。
【請求項６】
上記設定ステップでは、画像データに含まれる画像の中から特定種類の画像を自動検出し、検出した画像を認識対象画像と設定し、かつ上記属性情報を設定する処理を演算処理装置に実行させる請求項１に記載の画像編集プログラム。
【請求項７】
上記特定種類の画像とは、人の顔の画像であり、上記属性情報として、個人識別情報及び探索補助情報を設定する請求項６に記載の画像編集プログラム。
【請求項８】
上記探索ステップでは、上記画像データを構成するフレーム毎に、顔画像の検出を行い、上記個人識別情報及び上記探索補助情報を用いて、上記認識対象画像とされた特定個人の顔画像をフレーム画像内で探索する処理を、演算処理装置に実行させる請求項７に記載の画像編集プログラム。
【請求項９】
上記設定ステップでは、画像データに含まれる画像に対する入力により指定された範囲の画像を認識対象画像と設定し、かつ属性情報として少なくとも探索補助情報を設定する処理を演算処理装置に実行させる請求項１に記載の画像編集プログラム。
【請求項１０】
外部の端末装置から有線又は無線の伝送路を介して供給される処理コマンドの入力を検知し、該入力に応じて、少なくとも上記設定ステップ、上記探索ステップ、及び上記画像処理ステップの処理を演算処理装置に実行させる請求項１に記載の画像編集プログラム。
【請求項１１】
画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、
上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップと、
を有する画像編集方法。
【請求項１２】
画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定処理部と、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索処理部と、
上記探索処理部によって探索された上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理設定部と、
を備えた画像編集装置。
【請求項１３】
画像データに含まれる画像の中から認識対象画像を設定するとともに、上記認識対象画像の属性情報を設定する設定ステップと、
上記画像データを構成するフレーム毎に、上記属性情報を用いて、フレーム画像内での上記認識対象画像を探索する探索ステップと、
上記探索ステップで探索した上記認識対象画像のフレーム内での画像範囲に応じて決定される処理対象領域についての画像処理情報を付与する画像処理ステップと、
を演算処理装置に実行させる画像編集プログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１０】
【公開番号】特開２０１３−３１０３４（Ｐ２０１３−３１０３４Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６６２４３（Ｐ２０１１−１６６２４３）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]