画像処理装置およびプログラム
【課題】画像に応じて多彩なトランジション効果を持つトランジション画像を生成すること。
【解決手段】画像処理装置は、画像が切り替わるトランジション効果を有するトランジション画像を生成する。画像処理装置は、画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定する位置特定部と、複数の画像領域における位置に応じてトランジション効果が異なるトランジション画像を生成する画像生成部と、を備える。プログラムは、画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定するステップと、複数の画像領域における位置に応じてトランジション効果が異なるトランジション画像を生成するステップと、をコンピュータに実行させる。
【解決手段】画像処理装置は、画像が切り替わるトランジション効果を有するトランジション画像を生成する。画像処理装置は、画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定する位置特定部と、複数の画像領域における位置に応じてトランジション効果が異なるトランジション画像を生成する画像生成部と、を備える。プログラムは、画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定するステップと、複数の画像領域における位置に応じてトランジション効果が異なるトランジション画像を生成するステップと、をコンピュータに実行させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
画像が配置される複数の素材枠と、第１の素材枠に配置された画像から第２の素材枠に配置された画像へ遷移するときの画像の遷移方式が定義されているトランジション枠とを記憶したテンプレートファイルを用いて、トランジションによる効果的な演出が付加された動画データを作成する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特許第４４２４３８９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００３】
フェードイン、フェードアウト等のトランジション効果をテンプレートで定義するだけでは、定義されたトランジション効果が一様に適用されるだけである。多彩なトランジション効果を持つトランジション画像を容易に生成することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像が切り替わるトランジション効果を有するトランジション画像を生成する画像処理装置であって、画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定する位置特定部と、複数の画像領域における位置に応じてトランジション効果が異なるトランジション画像を生成する画像生成部と、を備える。
【０００５】
本発明の第２の態様においては、画像が切り替わるトランジション効果を有するトランジション画像を生成するためのプログラムであって、画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定するステップと、複数の画像領域における位置に応じてトランジション効果が異なるトランジション画像を生成するステップと、をコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置１００の機能ブロック構成の一例を示す。
【図２】２Ｄ画像の付帯情報から特定される距離情報の一例を模式的に示す。
【図３】多視点画像から特定される距離情報の一例を模式的に示す。
【図４】フェードアウト効果を加える場合のトランジション設定の一例を示す。
【図５】フェードアウト効果が加えられたトランジション画像の一例を模式的に示す。
【図６】フェードイン効果を加える場合のトランジション設定の一例を示す。
【図７】フェードイン効果が加えられたトランジション画像の一例を模式的に示す。
【図８】アイリスワイプ効果を持つトランジション画像の生成例を示す。
【図９】複数のアイリス枠を持つトランジション画像の生成例を示す。
【図１０】トランジション効果に用いる仮想光源の位置を模式的に示す図である。
【図１１】仮想光源によるトランジション効果が加えられたトランジション画像の一例を模式的に示す。
【図１２】動画ファイルおよびトランジション設定を指定するためのユーザ設定画面の一例を示す。
【図１３】画像処理装置１００における動作フローの一例を示す。
【図１４】トランジション画像を生成する場合の処理フローを示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、画像処理装置１００の機能ブロック構成の一例を示す。一例として、画像処理装置１００は、パーソナルコンピュータ等のコンピュータによって実現される。画像処理装置１００は、カメラ等から動画を取得して、画像が切り替わるトランジション効果を持つ動画を生成する。特に、画像処理装置１００は、画像内の各オブジェクトの奥行き方向の位置を考慮して視覚効果を加えることで、多彩なトランジション効果を持つトランジション画像を生成する。
【００１０】
画像処理装置１００は、画像取得部１２０、トランジション設定取得部１１０、画像解析部１３０、位置特定部１４０、画像生成部１５０、次元変換部１６０、出力制御部１７０、記録媒体１８０および表示部１９０を備える。画像生成部１５０は、パラメータ設定部１５２および画像加工部１５４を有する。
【００１１】
画像取得部１２０は、カメラによって撮像された動画を取得する。画像取得部１２０は、カメラから通信ケーブル等の通信ＩＦを介して動画を取得してよい。画像取得部１２０は、ハードディスク装置、フラッシュメモリ等の内部または外部の記録媒体から動画を取得してもよい。また、画像取得部１２０は、有線または無線のネットワークを介して、動画を取得してもよい。
【００１２】
トランジション設定取得部１１０は、トランジション効果を加える画像処理を設定するためのトランジション設定を、ユーザから取得する。トランジション設定としては、トランジションの種類およびトランジション期間を指定する情報を含む。トランジションの種類としては、フェードイン、フェードアウト、クロスフェード、ディゾルブ、アイリスワイプ等を例示することができる。後述するように、トランジションの種類として、仮想光源を用いたトランジション効果を含むことができる。トランジション期間は、画像が第１画像から第２画像に切り替わるまでの時間長さを示す。
【００１３】
画像解析部１３０、位置特定部１４０、画像生成部１５０および次元変換部１６０の機能ブロックは、画像処理部１０２として機能する。画像処理部１０２は、画像取得部１２０が取得した動画から、トランジション設定取得部１１０が取得したトランジション設定に従って、トランジション効果を持つ動画を生成する。例えば、トランジションの種類としてフェードアウトが指定された場合、フェードアウトの起点となる第１フレームから、表示順で輝度を高めた複数のトランジション画像を生成する。例えば、トランジション期間として０．５秒が指定され、フレームレートが毎秒３０コマの動画を生成する場合、画像処理装置１００は、１５コマのトランジション画像を生成する。これにより、第１フレームから、各画素が規定の輝度値を持つ第２フレームに切り替わるトランジション画像を生成する。このとき、第１フレームに撮像されている被写体の奥行き方向の位置によって、輝度値が規定値になるまでの時間が異なるトランジション画像を生成する。
【００１４】
画像処理部１０２の各ブロックの機能および動作について説明する。画像解析部１３０は、画像取得部１２０が取得した動画のデータ形式、解像度、デュレーション、フレームレート等のメタ情報を取得する。また、画像解析部１３０は、動画を解析して、トランジション効果を加える処理に要する情報を抽出する。例えば、画像解析部１３０は、動画を構成するフレームから１以上のオブジェクトを抽出する。例えば、人物、動物等の顔等のオブジェクトを検出する。例えば、画像解析部１３０は、トランジションの起点または終点となるフレームから、オブジェクトを抽出する。また、画像解析部１３０は、一の動画においてシーンが切り替わる期間を特定する。
【００１５】
位置特定部１４０は、フレーム内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定する。具体的には、位置特定部１４０は、画像解析部１３０により検出された１以上のオブジェクトが存在する画像領域における奥行き方向の位置を特定する。例えば、奥行き方向の座標やカメラから被写体までの距離等、視線方向の奥行きを示す情報がフレームに付帯されている場合、位置特定部１４０は当該情報に基づき奥行き方向の位置を特定する。奥行き情報が画素毎に設定されている場合、画素毎に奥行き方向の位置を特定することができる。
【００１６】
画像生成部１５０は、複数の画像領域における奥行き方向の位置に応じてトランジション効果が異なるトランジション画像を生成する。パラメータ設定部１５２は、位置特定部１４０により特定された奥行き方向の位置と、トランジション設定取得部１１０で取得されたトランジション設定とに基づき、トランジション効果を加えるための画像加工パラメータを決定する。画像加工部１５４は、パラメータ設定部１５２が決定した画像加工パラメータに基づきトランジション画像を生成することにより、奥行き方向の位置に応じて異なるトランジション効果を持つ動画を生成する。
【００１７】
次元変換部１６０は、パラメータ設定部１５２によって、３Ｄ動画を２Ｄ動画に変換して出力するよう設定された場合、３Ｄ動画から奥行き情報を削除することにより、２Ｄ動画に変換して出力する。出力制御部１７０は、画像処理部１０２によってトランジション効果を持つ動画を、表示部１９０、ハードディスク等の記録媒体１８０、外部機器等に出力する。表示部１９０は、画像取得部１２０が取得した動画、または、画像処理部１０２によってトランジション効果を持つ動画を表示する。
【００１８】
図２は、奥行き方向の距離情報が付帯された２Ｄ画像の一例を模式的に示す。本例の画像ファイルには、２Ｄ画像２００の画素毎の距離を示す距離情報２１０が、２Ｄ画像２００に付帯されている。
【００１９】
位置特定部１４０は、距離情報２１０から、奥行き方向の距離を２Ｄ画像２００の画素毎に特定することができる。例えば、本図の符号２２０に示すように、２Ｄ画像２００における任意のｙ座標について、奥行き方向の距離をｘ座標毎に特定することができる。なお、距離情報２１０は、奥行き方向の距離を示す情報であれば、どのような情報であってよい。例えば、距離情報２１０は、カメラから被写体までの距離そのものであってよい。距離情報２１０としては、カメラが２Ｄ画像２００を撮像する場合の自動焦点調節に用いられたＡＦ情報を含んでよい。
【００２０】
画像取得部１２０が取得した動画に含まれる各フレームに距離情報２１０が付帯されている場合、位置特定部１４０は、フレームの画素毎に奥行き方向の距離を画素毎に特定することができる。各フレームの部分領域毎の距離を示す距離情報が各フレームに付帯されている場合、位置特定部１４０は、奥行き方向の距離を部分領域毎に特定することができる。
【００２１】
図３は、多視点画像の一例を模式的に示す。１つの多視点画像は、左視点画像３００ａおよび右視点画像３００ｂを含む。
【００２２】
位置特定部１４０は、左視点画像３００ａおよび右視点画像３００ｂに対応点マッチングを適用することより、奥行き方向の距離を算出する。例えば、位置特定部１４０は、左視点画像３００ａおよび右視点画像３００ｂから特徴点を抽出する。位置特定部１４０は、左視点画像３００ａと右視点画像３００ｂとの間で対応する特徴点の位置のずれ量を算出して、位置のずれ量に基づき、各特徴点につき奥行き方向の距離を算出することができる。例えば、ボーディング法を適用して、奥行き方向の距離を算出することができる。
【００２３】
位置特定部１４０は、左視点画像３００ａに対して距離情報３１０ａを算出し、右視点画像３００ｂの距離情報３１０ｂを算出する。本図の符号３２０ａに示すように、左視点画像３００ａにおける任意のｙ座標について、奥行き方向の距離をｘ座標毎に特定することができる。また、本図の符号３２０ｂに示すように、右視点画像３００ｂにおける任意のｙ座標について、奥行き方向の距離をｘ座標毎に特定することができる。
【００２４】
画像取得部１２０が取得した動画に含まれる複数のフレームがそれぞれ多視点画像である場合、位置特定部１４０は、上述した対応点マッチングにより、奥行き方向の距離を特定することができる。なお、多視点画像は、立体視用の画像であってよい。例えば、左視点画像３００ａは、左眼に提示されるべき左眼用画像であり、右視点画像３００ｂは右眼に提示されるべき右眼用画像であってよい。しかし、多視点画像は、異なる視点からの画像であればよく、立体視用の画像に限られない。また、多視点画像は、左右の視点からの画像に限られない。多視点画像は、上下の視点からの画像を含んでもよい。また、視点の数も２視点に限られない。多視点画像は、３以上の視点からの画像を含んでよい。
【００２５】
図４は、フェードアウト効果を加える場合のトランジション設定の一例を示す。本トランジション設定では、奥行き方向の距離と切り替え速度との間の関係が対応曲線４００により定められる。対応曲線４００によれば、奥行き方向の距離が短いほど、遅い切り替え速度が定められる。このため、遠距離の画像領域は、比較的早く規定の輝度値に近づくが、近距離の画像領域はゆっくりと変化していく。このため、近距離のオブジェクトを強調したトランジション効果を加えることができる。
【００２６】
図５は、フェードアウト効果が加えられたトランジション画像の一例を模式的に示す。本例では、動画に含まれるフレームから、一面に真っ白なフレームに切り替わるトランジション画像を生成する場合を取り上げて、フェードアウト効果を加える画像処理について説明する。
【００２７】
画像生成部１５０は、トランジション期間に含まれるフレーム５００−１〜１１から、トランジション画像５１０−１〜１１を生成する。例えば、画像加工部１５４は、パラメータ設定部１５２が設定した対応曲線４００に基づき、各フレーム５００の輝度値に乗ずる係数を画像領域毎に設定する。例えば、各フレーム５００の各画像領域に乗ずる係数として、対応曲線４００で定められる切り替え速度に比例してフレーム５００の表示順で増加する値を設定する。画像加工部１５４は、各フレーム５００の各画像領域の輝度値に、設定した係数を乗ずる。
【００２８】
例えば、トランジションの起点となるフレーム５００−１に対する係数は、１に設定される。画像加工部１５４は、トランジションの起点となるフレーム５００−１の輝度値に係数１を乗じることにより、トランジション画像５１０−１を生成する。パラメータ設定部１５２は、フレーム５００−２、３・・・の順に、切り替え速度に応じて増加する係数を設定する。各画像領域に対する係数の増加率は、対応曲線４００で定められる切り替え速度に応じて設定される。すなわち、係数の増加率は近距離の画像領域ほど小さい。本図の例では、右端の動物が最も近距離にあるため、背景の画像領域に対する係数よりも小さい値の係数が、右端の動物の画像領域に設定される。
【００２９】
画像加工部１５４は、フレーム５００−２〜１１の各画像領域の輝度値に、奥行き方向の距離に応じた係数を乗じることにより、トランジション画像５１０−２〜１１を生成する。係数を乗ずることにより既定値を超えた輝度値は、既定値でクリップされる。一例として、ビット数で定まる最大輝度値を、既定値として適用してよい。トランジション画像５１０−１１では、全画像領域の輝度値が一様に最大輝度値となり、真っ白な画像となる。このように、画像生成部１５０は、奥行き方向の距離がより近い画像領域に、切り替わり速度がより遅いフェードアウト効果を加える。このため、近距離のオブジェクトよりも背景の領域が早く白に近づくようなフェードアウト効果を加えることができる。このため、近距離のオブジェクトを強調したトランジション効果を加えることができる。
【００３０】
図６は、フェードイン効果を加える場合のトランジション設定の一例を示す。本トランジション設定では、奥行き方向の距離と切り替え速度との間の関係が対応曲線６００により定められる。対応曲線６００によれば、奥行き方向の距離が短いほど、早い切り替え速度が定められる。このため、遠距離の画像領域は、比較的ゆっくりと現れてくるが、近距離の画像領域は比較的に早く現れる。このため、近距離のオブジェクトを強調したトランジション効果を加えることができる。
【００３１】
図７は、フェードイン効果が加えられたトランジション画像の一例を模式的に示す。本例では、一面に真っ白なフレームから、動画に含まれるフレームに切り替わるトランジション画像を生成する場合を取り上げて、フェードイン効果を加える画像処理について説明する。
【００３２】
画像生成部１５０は、トランジション期間に含まれるフレーム７００−１〜１１から、トランジション画像７１０−１〜１１を生成する。例えば、画像加工部１５４は、パラメータ設定部１５２が設定した対応曲線４００に基づき、各フレーム７００の輝度値に乗ずる係数を画像領域毎に設定する。例えば、各フレーム７００の各画像領域に乗ずる係数として、対応曲線６００で定められる切り替え速度に比例してフレーム７００の表示順で減少する値を設定する。画像加工部１５４は、それぞれのフレーム７００における各画像領域の輝度値に、パラメータ設定部１５２が設定した係数を乗ずる。
【００３３】
例えば、トランジションの起点となるフレーム７００−１に対する係数は、全画像領域で輝度値が既定値になるように設定される。画像加工部１５４は、トランジションの起点となるフレーム７００−１の輝度値に当該係数を乗じることにより、トランジション画像７１０−１を生成する。既定値として最大輝度値を適用した場合、本例に示すようにトランジション画像７１０−１は真っ白な画像となる。パラメータ設定部１５２は、フレーム７００−２、３・・・の順に、切り替え速度に応じて減少する係数を設定する。各画像領域に対する係数の減少率は、対応曲線６００で定められる切り替え速度に応じて設定される。すなわち、係数の減少率は近距離の画像領域ほど大きい。本図の例では、右端の動物が最も近距離にあるため、背景の画像領域に対する係数よりも小さい値の係数が、右端の動物の画像領域に設定される。
【００３４】
画像加工部１５４は、フレーム７００−２〜１１の各画像領域の輝度値に、奥行き方向の距離に応じた係数を乗じることにより、トランジション画像７１０−２〜１１を生成する。トランジション画像７１０−１１は、フレーム７００−１１に係数１を乗じることで生成される。このように、画像加工部１５４は、奥行き方向の距離がより近い画像領域に、切り替わり速度がより早いフェードイン効果を加える。遠距離の背景よりも近距離のオブジェクトが早く現れてくるようなフェードイン効果を加えることができるので、近距離のオブジェクトを強調したトランジション効果を加えることができる。
【００３５】
図４から図７にかけてフェード効果を取り上げて説明したように、画像加工部１５４は、複数の画像領域に、奥行き方向の距離に応じて切り替わり速度が異なるトランジション効果を加える。図４から図７の説明では、距離に応じて異なるパラメータで画像処理することを分かり易く説明するために、輝度値に係数を乗じる画像処理を説明した。しかし、フェードアウト効果、フェードイン効果として、透過度合いを増加または減少させる種々の画像処理手法を適用することができる。また、フェードアウト効果は、主として動画の末尾や、シーンの末尾に適用できる。また、フェードイン効果は、主として動画の先頭や、シーンの先頭に適用できる。
【００３６】
シーンの切り替え部分には、第１のトランジション期間にフェードアウト効果を加えた後、第１のトランジション期間に続く第２のトランジション期間にフェフェードイン効果を加えることで、シーンが切り替わる期間のトランジション画像を生成してもよい。シーンの切り替え部分には、クロスフェード効果を適用してもよい。クロスフェードを適用したトランジション画像は、例えばトランジションの起点となるフレームにフェードアウト効果を加えたトランジション画像と、トランジションの終点となるフレームにフェードイン効果を加えたトランジション画像とを加算することにより、生成することができる。
【００３７】
図４から図７の説明において、トランジション効果としてフェードアウト効果、フェードイン効果を取り上げて説明した。しかし、トランジション効果は、フェードアウト効果、フェードイン効果に限られない。例えば、トランジション効果として、ディゾルブ効果を適用してよい。ディゾルブ効果を適用したトランジション画像は、トランジションの起点となるフレームおよびトランジションの終点となるフレームを用いて生成することができる。この場合、切り替え速度として、トランジションの終点となるフレームから抽出した領域の面積の時間変化率を適用できる。
【００３８】
図４から図７において、トランジション期間に属する複数のフレームから、それぞれ一のトランジション画像を生成するとした。この場合、位置特定部１４０は、動画に含まれる複数のフレーム毎に、複数の画像領域のそれぞれにおける奥行き方向の位置を特定してよい。画像加工部１５４は、複数の画像のそれぞれの複数の画像領域に、奥行き方向の位置に応じて異なるトランジション効果を加えることにより、トランジション画像を生成してもよい。
【００３９】
以上の説明において、奥行き方向の距離に応じて切り替え速度を異ならせる場合のトランジション効果を説明した。しかし、切り替えの開始タイミングを奥行き方向の距離に応じて異ならせてもよい。例えば、フェードアウト効果の場合、遠距離の画像領域よりも後に近距離の画像領域がフェードアウトを開始させるようにしてよい。また、フェードイン効果の場合、遠距離の画像領域よりも先に近距離の画像領域が現れ始めるようにしてよい。
【００４０】
図８は、アイリスワイプ効果を持つトランジション画像を生成する場面の一例を示す。ここでは、フレーム８００、フレーム８５０の順で表示される動画に対して、アイリスワイプ効果を適用する場合を取り上げる。ここでは、フレーム８００はトランジションの起点となる画像であり、フレーム８５０はトランジションの終点となる画像となる。画像解析部１３０により、フレーム８００およびフレーム８５０のタイミングが、シーンの切り替わりタイミングとして検出される。
【００４１】
画像解析部１３０は、フレーム８００から顔領域８０２を抽出する。また、位置特定部１４０は、フレーム８００およびフレーム８５０から、それぞれ距離情報を特定する。パラメータ設定部１５２は、画像解析部１３０により抽出された顔領域８０２およびフレーム８００から特定された距離情報８１０に基づき、アイリスワイプによるワイプ速度を決定する。例えば、パラメータ設定部１５２は、顔領域８０２における奥行き方向の距離が近距離であるほど、遅いワイプ速度を決定する。
【００４２】
画像加工部１５４は、フレーム８００からフレーム８５０までの期間に挿入されるトランジション画像として、フレーム８２０−２〜４を生成する。具体的には、フレーム８００だけを用いて、フレーム８２０−１を生成する。そして、画像加工部１５４は、表示順で後続するフレーム８２０−２には、フレーム８００内の顔領域８０２の位置を中心とし第１の半径を持つアイリス枠８３０−１を設定する。そして、画像加工部１５４は、アイリス枠８３０−１に対応するフレーム８００内の画像領域の画像と、フレーム８５０内の他の画像領域の画像とを組み合わせて、フレーム８２０−２を生成する。
【００４３】
更に、画像加工部１５４は、表示順で後続するフレーム８２０−３には、フレーム８００内の顔領域８０２の位置を中心とし第２の半径を持つアイリス枠８３０−２を設定する。画像加工部１５４は、アイリス枠８３０−３に対応するフレーム８００内の画像領域の画像と、フレーム８５０内の他の画像領域の画像とを組み合わせて、フレーム８２０−３を生成する。ここで、第２の半径は、第１の半径より小さいとする。
【００４４】
同様に、画像加工部１５４は、表示順で後続するフレーム８２０−４には、フレーム８００内の顔領域８０２の位置を中心とし第３の半径を持つアイリス枠８３０−３を設定する。画像加工部１５４は、アイリス枠８３０−３に対応するフレーム８００内の画像領域の画像と、フレーム８５０内の他の画像領域の画像とを組み合わせて、フレーム８２０−４を生成する。ここで、第３の半径は、第２の半径より小さいとする。そして、画像加工部１５４は、フレーム８５０だけを用いて、表示順で後続するフレーム８２０−５を生成する。
【００４５】
このように、画像加工部１５４は、トランジション画像としてのフレーム８２０に、表示順で縮小するアイリス枠８３０を設定して、設定したアイリス枠内に起点となるフレーム内の画像を持ち、設定したアイリス枠外に終点となるフレームの画像を持つトランジション画像を生成する。そして、表示順でアイリス枠を縮小していくことで、アイリスワイプ効果を持つトランジション画像を生成する。画像加工部１５４は、アイリス枠の縮小速度を、検出された顔領域における奥行き方向の距離に応じて決定する。このため、主被写体としての可能性が高いオブジェクトを、ゆっくりとワイプするトランジション効果を加えることができる。
【００４６】
本例では、一つの顔領域を検出したとして説明した。複数の顔領域が検出された場合、パラメータ設定部１５２は、最も近距離の画像領域から検出された顔領域を選択して、当該奥行き方向の距離に基づきアイリスワイプ効果の加工パラメータを決定してよい。画像加工部１５４は、最も近距離の画像領域から検出された顔領域に対応するアイリス枠を設定することにより、トランジション画像を生成してよい。なお、顔検出は、画像解析部１３０において抽出されてよい。トランジション設定取得部１１０が、ユーザから顔の位置の指定を受け付けてもよい。なお、本例ではシーンの切り替わりとして説明したが、２つの動画を結合した場面にも適用できる。
【００４７】
図９は、複数のアイリス枠を持つトランジション画像を生成する場面の一例を示す。ここでは、画像解析部１３０により右端の動物の顔領域と、左端の動物の顔領域とにアイリス枠を設定した場合について説明する。
【００４８】
パラメータ設定部１５２は、右端の動物の顔領域に対応するアイリス枠９３０−１を設定する。アイリス枠９３０−１〜４は、図８に関連して説明したアイリス枠８３０−１〜４と同じであるので、説明を省略する。パラメータ設定部１５２は、左端の動物の顔領域に対応するアイリス枠９４０−１〜４を設定する。アイリス枠９４０の減少速度は、左端の動物の顔領域における奥行き方向の距離に応じて決定される。したがって、アイリス枠９４０の縮小速度は、アイリス枠９３０の縮小速度より速い。このため、フレーム９２０−４において、アイリス枠９４０は存在せず、対応する領域にはフレーム８５０の画像が現れる。
【００４９】
図８および９に関連して説明したように、トランジション効果として、アイリスワイプにより画像を切り替えるトランジション効果を含む場合、画像生成部１５０は、アイリスワイプを開始または終了させる画像領域における奥行き方向の距離に応じて、異なるアイリスワイプを適用する。具体的には、画像生成部１５０は、アイリスワイプを適用する画像領域における奥行き方向の距離に応じて、ワイプ速度が異なるアイリスワイプを適用する。図８および図９に関連して説明したアイリス枠の半径の縮小速度は、ワイプ速度の一例である。ワイプ速度として、アイリス枠で囲まれる領域の面積の縮小速度等、種々の指標を適用できる。
【００５０】
図８および９の例では、丸形のアイリス枠を例示した。アイリス枠の形状は、丸形に限られず、四角形系、楕円形等、種々の形状のアイリス枠を適用できる。また、アイリス枠の形状を、奥行き方向の距離に応じて形状が異ならせてもよい。すなわち、画像生成部１５０は、奥行き方向の距離に応じて形状が異なるアイリスワイプを適用してよい。
【００５１】
図８および９の例では、トランジションの起点とするフレームから顔を検出して、当該顔領域の画像が残るようにワイプするトランジション効果について説明した。しかし、トランジションの終点となるフレームから顔を検出して、当該顔領域の画像から、ワイプするようにアイリスワイプを適用してよい。この場合、アイリス枠内には、トランジションの終点となるフレームの画像を適用し、アイリス枠外には、トランジションの基点となるフレームの画像を適用する。そして、アイリス枠を表示順で拡大させる。この場合、アイリス枠の拡大速度を、ワイプ速度として適用することができる。アイリス枠が拡大するアイリスワイプを適用する場合、パラメータ設定部１５２は、より近距離の画像領域に、より遅い拡大速度を適用してよい。すなわち、より近距離の画像領域に、より遅いワイプ速度を適用してよい。また、拡大するアイリス枠を複数設ける場合、遠距離の画像領域に対応するアイリス枠によるワイプを、近距離の画像領域に対応するアイリス枠でワイプが開始されるタイミングよりも遅いタイミングで開始させてもよい。
【００５２】
図１０は、トランジション効果に用いる仮想光源の位置を模式的に示す図である。画像生成部１５０は、仮想光源を特定の位置に配置した場合の照明効果を奥行き方向の位置に応じて演算して、オブジェクトの明るさに適用する。画像生成部１５０は、仮想光源からの発光強度を表示順で変化させることにより、フェード効果を加える。例えば、仮想光源からの発光強度を表示順で増加させることにより、フェードアウト効果を加える。フェードイン効果を加える場合、仮想光源からの発光強度を表示順で減少させる。いずれの場合でも、距離に応じて異なるフェード効果を加えることができる。
【００５３】
本図は、各被写体の存在範囲を、ｘ座標を横軸とし、奥行き方向の距離を縦軸とした座標系上に模式的に示す。符号１０００は、上述した右端の動物の存在範囲を示す。本例では、右端の動物を主オブジェクトとして強調するトランジション効果を加える場合に、主オブジェクトの背後に仮想光源を設定する。そして、画像生成部１５０は、仮想光源から各位置に入射する単位面積当たりの光束の量を演算して、光束の量に応じてオブジェクトの輝度値を変更することにより、トランジション画像を生成する。このように、画像生成部１５０は、複数の画像領域に、仮想光源からの距離に応じて仮想光源による照明効果が異なるトランジション効果を加える。
【００５４】
図１１は、仮想光源によるトランジション効果が加えられたトランジション画像の一例を模式的に示す。画像生成部１５０は、トランジション期間に含まれるフレーム１１００−１〜６から、トランジション画像１１１０−１〜６を生成する。トランジション画像１１１０−１は、フレーム１１００−１と同一である。
【００５５】
画像生成部１５０は、右端の動物の背後に仮想的に設けた仮想光源から第１強度で発光した場合の照明効果をフレーム１１１０−２内のオブジェクト毎に演算して、トランジション画像１１１０−２を生成する。ここで、各オブジェクトに対する照明効果は、各オブジェクトに対応する被写体の奥行き方向の位置と、仮想光源の位置との間の位置関係によって変化する。例えば、仮想光源より遠くに位置する被写体については、仮想光源からの発光強度を増加させるにつれて、明るくなる。一方、仮想光源より近くに位置する被写体の明るさは、背後の明るさが増加するにつれて、背後と比較して相対的に暗くなる。画像生成部１５０は、背後の明るさを増加させるとともに、明るさを低下させた主オブジェクト１１１２を含むトランジション画像１１１０−２を生成する。
【００５６】
画像生成部１５０は、後続するトランジション画像１１１０−３を生成する場合、仮想光源の発光強度をより高めることで主オブジェクトの背景の画像領域の輝度値を規定値にするとともに、明るさを更に低下させた主オブジェクト１１１３を生成する。このように、画像生成部１５０は、主オブジェクトより遠くに位置する仮想光源の発光強度を時間的に増加させる照明効果を加えることにより、主オブジェクトの背景となる画像領域の明るさを時間的に増加させ、主オブジェクトの画像領域の明るさを時間的に減少させる。この処理によれば、主被写体の背後から放射される光の強度が時間的に増大していく場合に眼でとらえられるようなトランジション効果を加えることができる。このように、画像生成部１５０は、仮想光源の発光強度を時間的に増加させることにより、明るさが時間的に増加する照明効果を含むトランジション効果を加える。
【００５７】
画像生成部１５０は、背景を既定値にした後のトランジション画像１１１０−３〜５において、主オブジェクトをフェードアウトさせる。例えば、トランジション画像１１１０−３〜５にかけて、主オブジェクト１１１３、主オブジェクト１１１４、主オブジェクト１１１５の輝度値を高めてゆき、最終的に輝度値が規定値のトランジション画像１１１０−６を生成する。具体的には、画像生成部１５０は、少なくとも主オブジェクトの画像領域に、図５等に関連して説明したフェードアウト効果の画像処理を適用することで、本例に示すようなトランジション効果を加えることができる。このように、画像生成部１５０は、主オブジェクトの画像領域の明るさを時間的に減少させた後に、主オブジェクトの画像領域の明るさを増加させて、フェードアウト効果を加える。
【００５８】
なお、本図の例では、仮想光源の前後で照明効果が変わることを説明するために、仮想光源より遠くに位置に対する照明効果については特に言及しなかった。しかし、仮想光源より遠くに位置する被写体については、仮想光源から各オブジェクトに対応する被写体までの距離が近いほど、明るさを高めてもよい。
【００５９】
なお、本図の例では、仮想光源を用いて、フェードアウト効果と同様なトランジション効果を加える処理について説明した。しかし、主オブジェクトに対するフェードイン効果と、仮想光源の発光強度を減少させることによる照明効果とを順次に適用して、フェードイン効果に対応するトランジション効果を与えることができる。このように、画像生成部１５０は、仮想光源の発光強度を時間的に減少させることにより、明るさが時間的に減少する照明効果を含むトランジション効果を加える。
【００６０】
図１２は、動画ファイルおよびトランジション設定を指定するためのユーザ画面の一例を示す。本画面は、表示部１９０に表示される。
【００６１】
トランジション設定画面１２００は、動画ファイルを表示する表示メニュー１２１０、動画ファイルを追加するための追加メニュー１２２０、ファイルを追加するための追加ボタン１２３０、トランジション画像を含む動画を生成するための実行ボタン１２４０、トランジション期間の時間長さを設定するための設定メニュー１２５０、トランジションの種別を設定するための設定メニュー１２６０、優先するオブジェクトを設定するための設定メニュー１２７０、シーン変化時にトランジション効果を加えるか否かを設定するための設定メニュー１２８０を含む。
【００６２】
表示メニュー１２１０は、追加メニュー１２２０および追加ボタン１２３０を通じて追加された動画ファイルを表示する。ユーザは、追加メニュー１２２０により動画ファイルを選択した後に追加ボタン１２３０を押すことで、動画ファイルを追加することができる。画像生成部１５０は、実行ボタン１２４０が押された場合に、これらのメニューで選択された１以上の動画ファイルに、設定メニュー１２５０〜１２８０で設定されたトランジション設定に従ってトランジション効果を加える。
【００６３】
設定メニュー１２５０は、トランジションの期間を入力する。例えば、トランジションの期間が０．５秒に設定された場合、毎秒３０フレームの動画を生成するときには、１５フレームのトランジション画像を生成する。トランジションの種別は、設定メニュー１２６０によって設定される。本例では、クロスフェードが選択されている。設定メニュー１２７０により、近距離オブジェクト、遠距離オブジェクトおよび顔のいずれを優先するかを選択できる。「近距離オブジェクト」が選択されている場合、近距離オブジェクトを強調したトランジション効果を加える。「遠距離オブジェクト」が選択されている場合、遠距離オブジェクトを強調したトランジション効果を加える。「顔」が設定されている場合、人物、動物等の顔のオブジェクトを画像解析部１３０で自動検出して、当該オブジェクトを強調するトランジション効果を加える。
【００６４】
設定メニュー１２８０により、１の動画中でシーン変化が検出された場合に、シーン変化が生じた場面でトランジション効果を適用するか否かを設定する。本メニューがチェックされている場合、画像生成部１５０は、シーン変化が検出された場面でトランジション効果を加える。すなわち、画像生成部１５０は、動画を構成する複数のフレームの少なくとも一つのフレームから、シーンが切り替わる期間におけるトランジション画像を生成する。例えば、図８等に関連して説明したように、シーン変化が生じたタイミングで、トランジション画像を挿入する。また、シーン変化が生じたタイミングを含むトランジション期間の複数のフレームに、トランジション効果を加えてもよい。
【００６５】
図１３は、画像処理装置１００における動作フローの一例を示す。本動作フローの処理は、例えばトランジション効果を加える動画編集アプリケーションプログラムによって実装される。本動作フローは、ユーザによって動画編集アプリケーションプログラムを実行する指示がなされた場合に、画像処理装置１００が備えるＣＰＵが当該プログラムを実行することによって開始される。
【００６６】
ステップＳ１３０２において、ユーザ設定を行う。例えば、図１２に関連して説明したメニュー等を通じて、動画ファイルおよびトランジション設定を指定する。指定されたトランジション設定は、画像取得部１２０によって取得される。
【００６７】
ステップＳ１３０４において、画像取得部１２０は、トランジション効果を加える対象となる動画を読み出す。例えば、記録媒体１８０から、追加メニューで追加された動画ファイルを読み出す。
【００６８】
ステップＳ１３０６において、画像解析部１３０は動画を解析する。例えば、画像解析部１３０は、動画を構成する各フレームから顔を検出する。また、画像解析部１３０は、動画を構成する各フレームからシーン変化を検出する。例えば、画像解析部１３０は、連続するフレーム間の差分に基づき、シーン変化を検出する。
【００６９】
ステップＳ１３０８において、パラメータ設定部１５２は、トランジション設定に基づき、加工パラメータを決定する。例えば、パラメータ設定部１５２は、トランジション期間および動画のフレームレートから、生成するトランジション画像のコマ数を決定する。例えばトランジションの種別がフェードイン、フェードアウト、クロスフェード、ディゾルブ等のように、画像の切り替えるトランジション効果を適用する場合、奥行き方向の距離に応じた切り替え速度を選択する。例えば、図４、図６等に例示した対応曲線を、トランジションの種別に応じて選択する。
【００７０】
続いて、ステップＳ１３１０から、トランジションを適用する１以上の期間でトランジション効果を加える処理を含むループを実行する。ステップＳ１３１２において、トランジション期間のフレームに奥行き情報が付帯されているか否かを判断する。奥行き情報が付帯されている場合、奥行き情報を抽出して奥行き方向の位置を特定し（ステップＳ１３１４）、ステップＳ１３１８に処理を移行する。奥行き情報が付帯されていない場合、位置特定部１４０は奥行き方向の位置を算出する（ステップＳ１３１６）。
【００７１】
例えば、図３に関連して説明したように、位置特定部１４０が視差情報から奥行き方向の位置を検出する。他にも、位置特定部１４０は、複数のフレームにわたって動きのある被写体に対応するオブジェクトを追跡して、追跡結果に基づいてオブジェクトの前後関係を特定してよい。例えば、位置特定部１４０は、動くオブジェクトによって他のオブジェクトが隠れるフレームが存在する場合に、動くオブジェクトは、他のオブジェクトに対応する被写体より前に位置する被写体のオブジェクトであると判断することができる。ステップＳ１３１６の処理が完了すると、ステップＳ１３１８に処理を進める。
【００７２】
ステップＳ１３１８では、画像加工部１５４がトランジション画像を生成する。トランジション画像を生成する処理については、図１４に関連して説明する。ステップＳ１３１８の処理が完了すると、ステップＳ１３２０で、トランジション適用区間でループを終了するか否かを判断する。トランジションを適用すべき残りの期間が存在する場合、残りのトランジション期間についてステップＳ１３１２からステップＳ１３１８の処理を実行する。トランジションを適用すべき全期間で処理を完了したと判断された場合、ステップＳ１３２２に処理を進める。
【００７３】
ステップＳ１３２２では、次元変換するか否かを判断する。次元変換しない場合、ステップＳ１３２６でトランジション画像を含む動画を出力する。次元変換を行う場合、トランジション画像を含む動画に次元変換を適用して（ステップＳ１３２４）、ステップＳ１３２６に処理を進める。次元変換をしない場合、入力された動画が３Ｄ動画であるときはトランジション効果が付加された３Ｄ動画が出力され、入力された動画が２Ｄ動画であるときはトランジション効果が付加された２Ｄ動画が出力される。次元変換をする場合、入力された動画が３Ｄ動画であるときはトランジション効果が付加された２Ｄ動画が出力され、入力された動画が２Ｄ動画であるときはトランジション効果が付加された３Ｄ動画が出力される。２Ｄ動画から３Ｄ動画を生成する場合、視点間距離および奥行き方向の距離に応じてオブジェクトの位置をずらすことにより、左視点画像および右視点画像を生成してよい。
【００７４】
図１４は、トランジション画像を生成する場合の処理フローを示す。すなわち、図１３のステップＳ１３１８において実行される詳細な処理フローを示す。
【００７５】
本フローが開始すると、ステップＳ１４０２において、トランジションの種別を判断する。例えば、図１２に関連して説明した画面で設定されたトランジションの種別を特定する。フェードイン、フェードアウト、クロスフェード、ディゾルブ等の切り替え効果を加える種別のトランジションが設定されている場合、画像領域毎に切り替え速度を決定する。そして、画像加工部１５４は、トランジション期間内の複数のフレームのそれぞれについて、切り替え速度に基づき画像領域毎に透過処理の度合いを決定する（ステップＳ１４０６）。例えば、図５、図７等に関連して説明した係数を、各フレームにおける画像領域毎に決定する。
【００７６】
ステップＳ１４０２の判断において、アイリスワイプによるトランジションが設定されている場合、画像加工部１５４は、アイリスワイプの対象とする画像領域毎に、アイリス枠の変化速度を決定する（ステップＳ１４０８）。そして、画像加工部１５４は、アイリスワイプの対象とする画像領域毎に、変化速度に応じた大きさのアイリス枠を設定する（ステップＳ１４０６）。例えば、図８、図９等に関連して説明したアイリス枠を、各フレームにおけるアイリス対象の画像領域毎に設定する。
【００７７】
ステップＳ１４１２の判断において、仮想光源によるトランジションが設定されている場合、画像加工部１５４は、奥行き方向の仮想光源の位置を決定する（ステップＳ１４１２）。そして、画像加工部１５４は、仮想光源に対する位置関係に応じて画像領域毎に照明効果を算出する（ステップＳ１４１４）。例えば、図１０等に関連して説明した照明効果として、各フレームにおける画像領域毎に、仮想光源からの光により加わる明るさを算出する。
【００７８】
ステップＳ１４０６、ステップＳ１４１０、ステップＳ１４１４の処理が完了すると、ステップＳ１４１６に処理を移行する。ステップＳ１４１６において、画像加工部１５４は、トランジション期間に属する各フレームにトランジション効果を付加する。
【００７９】
以上に説明した画像処理装置１００によれば、奥行き方向の位置関係に応じて異なるトランジション効果を加えることができる。したがって、単に予め定められた種類のテンプレートを適用する場合と比較して、奥行き方向の位置関係に応じて多彩なトランジション効果を持つ動画を提供することができる。また、ユーザに煩わしい操作を課すことなく、多彩なトランジション効果を動的に加えることができる。また、画像処理装置１００によれば、立体視用の３Ｄ映像を提供する映画やテレビ放送用等のコンテンツに利用することができる。また、動画の入出力形態として、Ｈ．２６４/ＡＶＣ等の規格だけでなく、３Ｄ映像を取り扱うＨ．２６４／ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の規格を適用できる。このように、画像処理装置１００によれば、奥行き方向の位置関係に応じて多彩なトランジション効果を持つ３Ｄメディアを提供することができる。
【００８０】
以上の説明において、主として動画にトランジション効果を加える場合について説明した。例えば、動画の先頭にフェードイン効果を与えたり、動画の末尾にフェードアウト効果を与えたりすることについて説明した。また、シーンの切り替えや、２つの動画を結合する場合に、切り替わり期間にフェードイン効果、フェードアウト効果またはクロスフェード効果を与えることを説明した。また、シーンの切り替えや２つの動画を結合する場合に、切り替わり期間にアイリスワイプ効果を持つトランジション画像を挿入することについて説明した。しかし、これらの視覚効果を含むトランジション効果は、動画のフレームからだけでなく、１以上の静止画にも加えることができることは言うまでもない。
【００８１】
上記の説明において、画像処理装置１００の動作として説明した処理は、プロセッサがプログラムに従って画像処理装置１００が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態の画像処理装置１００に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。
【００８２】
本実施形態において、パーソナルコンピュータ等のコンピュータを例に挙げて、画像処理装置の一例を説明した。しかし、画像処理装置１００は、撮像装置として組み込まれてよい。撮像装置としては、一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、放送用の撮像機器、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、出力形態についても、動画、静止画等の画像データを記録媒体に記録するだけでなく、ネットワーク等の種々の伝送路に画像データを出力する機器等を、適用の対象とすることができる。また、撮像装置に限らず、デジタルフォトフレーム、放送用の映像機器、テレビジョン装置等、動画、静止画等の画像データを取り込んで画像処理を適用する種々の電子機器を、適用の対象とすることができる。
【００８３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８４】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８５】
１００ 画像処理装置、１０２ 画像処理部、１１０ トランジション設定取得部、１２０ 画像取得部、１３０ 画像解析部、１４０ 位置特定部、１５０ 画像生成部、１５２ パラメータ設定部、１５４ 画像加工部、１６０ 次元変換部、１７０ 出力制御部、１８０ 記録媒体、１９０ 表示部、２００ ２Ｄ画像、２１０ 距離情報、２２０ 符号、３００ 視点画像、３１０ 距離情報、３２０ 符号、４００ 対応曲線、５００ フレーム、６００ 対応曲線、７００ フレーム、７１０ トランジション画像、８００ フレーム、８０２ 顔領域、８１０ 距離情報、８２０ フレーム、８３０ アイリス枠、８５０ フレーム、９３０ アイリス枠、９４０ アイリス枠、１０００ 符号、１１１２ 主オブジェクト、１１１３ 主オブジェクト、１１１４ 主オブジェクト、１１１５ 主オブジェクト、１２１０ 表示メニュー、１２２０ 追加メニュー、１２３０ 追加ボタン、１２４０ 実行ボタン、１２５０ 設定メニュー、１２６０ 設定メニュー、１２７０ 設定メニュー、１２８０ 設定メニュー
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
画像が配置される複数の素材枠と、第１の素材枠に配置された画像から第２の素材枠に配置された画像へ遷移するときの画像の遷移方式が定義されているトランジション枠とを記憶したテンプレートファイルを用いて、トランジションによる効果的な演出が付加された動画データを作成する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特許第４４２４３８９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００３】
フェードイン、フェードアウト等のトランジション効果をテンプレートで定義するだけでは、定義されたトランジション効果が一様に適用されるだけである。多彩なトランジション効果を持つトランジション画像を容易に生成することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像が切り替わるトランジション効果を有するトランジション画像を生成する画像処理装置であって、画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定する位置特定部と、複数の画像領域における位置に応じてトランジション効果が異なるトランジション画像を生成する画像生成部と、を備える。
【０００５】
本発明の第２の態様においては、画像が切り替わるトランジション効果を有するトランジション画像を生成するためのプログラムであって、画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定するステップと、複数の画像領域における位置に応じてトランジション効果が異なるトランジション画像を生成するステップと、をコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置１００の機能ブロック構成の一例を示す。
【図２】２Ｄ画像の付帯情報から特定される距離情報の一例を模式的に示す。
【図３】多視点画像から特定される距離情報の一例を模式的に示す。
【図４】フェードアウト効果を加える場合のトランジション設定の一例を示す。
【図５】フェードアウト効果が加えられたトランジション画像の一例を模式的に示す。
【図６】フェードイン効果を加える場合のトランジション設定の一例を示す。
【図７】フェードイン効果が加えられたトランジション画像の一例を模式的に示す。
【図８】アイリスワイプ効果を持つトランジション画像の生成例を示す。
【図９】複数のアイリス枠を持つトランジション画像の生成例を示す。
【図１０】トランジション効果に用いる仮想光源の位置を模式的に示す図である。
【図１１】仮想光源によるトランジション効果が加えられたトランジション画像の一例を模式的に示す。
【図１２】動画ファイルおよびトランジション設定を指定するためのユーザ設定画面の一例を示す。
【図１３】画像処理装置１００における動作フローの一例を示す。
【図１４】トランジション画像を生成する場合の処理フローを示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、画像処理装置１００の機能ブロック構成の一例を示す。一例として、画像処理装置１００は、パーソナルコンピュータ等のコンピュータによって実現される。画像処理装置１００は、カメラ等から動画を取得して、画像が切り替わるトランジション効果を持つ動画を生成する。特に、画像処理装置１００は、画像内の各オブジェクトの奥行き方向の位置を考慮して視覚効果を加えることで、多彩なトランジション効果を持つトランジション画像を生成する。
【００１０】
画像処理装置１００は、画像取得部１２０、トランジション設定取得部１１０、画像解析部１３０、位置特定部１４０、画像生成部１５０、次元変換部１６０、出力制御部１７０、記録媒体１８０および表示部１９０を備える。画像生成部１５０は、パラメータ設定部１５２および画像加工部１５４を有する。
【００１１】
画像取得部１２０は、カメラによって撮像された動画を取得する。画像取得部１２０は、カメラから通信ケーブル等の通信ＩＦを介して動画を取得してよい。画像取得部１２０は、ハードディスク装置、フラッシュメモリ等の内部または外部の記録媒体から動画を取得してもよい。また、画像取得部１２０は、有線または無線のネットワークを介して、動画を取得してもよい。
【００１２】
トランジション設定取得部１１０は、トランジション効果を加える画像処理を設定するためのトランジション設定を、ユーザから取得する。トランジション設定としては、トランジションの種類およびトランジション期間を指定する情報を含む。トランジションの種類としては、フェードイン、フェードアウト、クロスフェード、ディゾルブ、アイリスワイプ等を例示することができる。後述するように、トランジションの種類として、仮想光源を用いたトランジション効果を含むことができる。トランジション期間は、画像が第１画像から第２画像に切り替わるまでの時間長さを示す。
【００１３】
画像解析部１３０、位置特定部１４０、画像生成部１５０および次元変換部１６０の機能ブロックは、画像処理部１０２として機能する。画像処理部１０２は、画像取得部１２０が取得した動画から、トランジション設定取得部１１０が取得したトランジション設定に従って、トランジション効果を持つ動画を生成する。例えば、トランジションの種類としてフェードアウトが指定された場合、フェードアウトの起点となる第１フレームから、表示順で輝度を高めた複数のトランジション画像を生成する。例えば、トランジション期間として０．５秒が指定され、フレームレートが毎秒３０コマの動画を生成する場合、画像処理装置１００は、１５コマのトランジション画像を生成する。これにより、第１フレームから、各画素が規定の輝度値を持つ第２フレームに切り替わるトランジション画像を生成する。このとき、第１フレームに撮像されている被写体の奥行き方向の位置によって、輝度値が規定値になるまでの時間が異なるトランジション画像を生成する。
【００１４】
画像処理部１０２の各ブロックの機能および動作について説明する。画像解析部１３０は、画像取得部１２０が取得した動画のデータ形式、解像度、デュレーション、フレームレート等のメタ情報を取得する。また、画像解析部１３０は、動画を解析して、トランジション効果を加える処理に要する情報を抽出する。例えば、画像解析部１３０は、動画を構成するフレームから１以上のオブジェクトを抽出する。例えば、人物、動物等の顔等のオブジェクトを検出する。例えば、画像解析部１３０は、トランジションの起点または終点となるフレームから、オブジェクトを抽出する。また、画像解析部１３０は、一の動画においてシーンが切り替わる期間を特定する。
【００１５】
位置特定部１４０は、フレーム内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定する。具体的には、位置特定部１４０は、画像解析部１３０により検出された１以上のオブジェクトが存在する画像領域における奥行き方向の位置を特定する。例えば、奥行き方向の座標やカメラから被写体までの距離等、視線方向の奥行きを示す情報がフレームに付帯されている場合、位置特定部１４０は当該情報に基づき奥行き方向の位置を特定する。奥行き情報が画素毎に設定されている場合、画素毎に奥行き方向の位置を特定することができる。
【００１６】
画像生成部１５０は、複数の画像領域における奥行き方向の位置に応じてトランジション効果が異なるトランジション画像を生成する。パラメータ設定部１５２は、位置特定部１４０により特定された奥行き方向の位置と、トランジション設定取得部１１０で取得されたトランジション設定とに基づき、トランジション効果を加えるための画像加工パラメータを決定する。画像加工部１５４は、パラメータ設定部１５２が決定した画像加工パラメータに基づきトランジション画像を生成することにより、奥行き方向の位置に応じて異なるトランジション効果を持つ動画を生成する。
【００１７】
次元変換部１６０は、パラメータ設定部１５２によって、３Ｄ動画を２Ｄ動画に変換して出力するよう設定された場合、３Ｄ動画から奥行き情報を削除することにより、２Ｄ動画に変換して出力する。出力制御部１７０は、画像処理部１０２によってトランジション効果を持つ動画を、表示部１９０、ハードディスク等の記録媒体１８０、外部機器等に出力する。表示部１９０は、画像取得部１２０が取得した動画、または、画像処理部１０２によってトランジション効果を持つ動画を表示する。
【００１８】
図２は、奥行き方向の距離情報が付帯された２Ｄ画像の一例を模式的に示す。本例の画像ファイルには、２Ｄ画像２００の画素毎の距離を示す距離情報２１０が、２Ｄ画像２００に付帯されている。
【００１９】
位置特定部１４０は、距離情報２１０から、奥行き方向の距離を２Ｄ画像２００の画素毎に特定することができる。例えば、本図の符号２２０に示すように、２Ｄ画像２００における任意のｙ座標について、奥行き方向の距離をｘ座標毎に特定することができる。なお、距離情報２１０は、奥行き方向の距離を示す情報であれば、どのような情報であってよい。例えば、距離情報２１０は、カメラから被写体までの距離そのものであってよい。距離情報２１０としては、カメラが２Ｄ画像２００を撮像する場合の自動焦点調節に用いられたＡＦ情報を含んでよい。
【００２０】
画像取得部１２０が取得した動画に含まれる各フレームに距離情報２１０が付帯されている場合、位置特定部１４０は、フレームの画素毎に奥行き方向の距離を画素毎に特定することができる。各フレームの部分領域毎の距離を示す距離情報が各フレームに付帯されている場合、位置特定部１４０は、奥行き方向の距離を部分領域毎に特定することができる。
【００２１】
図３は、多視点画像の一例を模式的に示す。１つの多視点画像は、左視点画像３００ａおよび右視点画像３００ｂを含む。
【００２２】
位置特定部１４０は、左視点画像３００ａおよび右視点画像３００ｂに対応点マッチングを適用することより、奥行き方向の距離を算出する。例えば、位置特定部１４０は、左視点画像３００ａおよび右視点画像３００ｂから特徴点を抽出する。位置特定部１４０は、左視点画像３００ａと右視点画像３００ｂとの間で対応する特徴点の位置のずれ量を算出して、位置のずれ量に基づき、各特徴点につき奥行き方向の距離を算出することができる。例えば、ボーディング法を適用して、奥行き方向の距離を算出することができる。
【００２３】
位置特定部１４０は、左視点画像３００ａに対して距離情報３１０ａを算出し、右視点画像３００ｂの距離情報３１０ｂを算出する。本図の符号３２０ａに示すように、左視点画像３００ａにおける任意のｙ座標について、奥行き方向の距離をｘ座標毎に特定することができる。また、本図の符号３２０ｂに示すように、右視点画像３００ｂにおける任意のｙ座標について、奥行き方向の距離をｘ座標毎に特定することができる。
【００２４】
画像取得部１２０が取得した動画に含まれる複数のフレームがそれぞれ多視点画像である場合、位置特定部１４０は、上述した対応点マッチングにより、奥行き方向の距離を特定することができる。なお、多視点画像は、立体視用の画像であってよい。例えば、左視点画像３００ａは、左眼に提示されるべき左眼用画像であり、右視点画像３００ｂは右眼に提示されるべき右眼用画像であってよい。しかし、多視点画像は、異なる視点からの画像であればよく、立体視用の画像に限られない。また、多視点画像は、左右の視点からの画像に限られない。多視点画像は、上下の視点からの画像を含んでもよい。また、視点の数も２視点に限られない。多視点画像は、３以上の視点からの画像を含んでよい。
【００２５】
図４は、フェードアウト効果を加える場合のトランジション設定の一例を示す。本トランジション設定では、奥行き方向の距離と切り替え速度との間の関係が対応曲線４００により定められる。対応曲線４００によれば、奥行き方向の距離が短いほど、遅い切り替え速度が定められる。このため、遠距離の画像領域は、比較的早く規定の輝度値に近づくが、近距離の画像領域はゆっくりと変化していく。このため、近距離のオブジェクトを強調したトランジション効果を加えることができる。
【００２６】
図５は、フェードアウト効果が加えられたトランジション画像の一例を模式的に示す。本例では、動画に含まれるフレームから、一面に真っ白なフレームに切り替わるトランジション画像を生成する場合を取り上げて、フェードアウト効果を加える画像処理について説明する。
【００２７】
画像生成部１５０は、トランジション期間に含まれるフレーム５００−１〜１１から、トランジション画像５１０−１〜１１を生成する。例えば、画像加工部１５４は、パラメータ設定部１５２が設定した対応曲線４００に基づき、各フレーム５００の輝度値に乗ずる係数を画像領域毎に設定する。例えば、各フレーム５００の各画像領域に乗ずる係数として、対応曲線４００で定められる切り替え速度に比例してフレーム５００の表示順で増加する値を設定する。画像加工部１５４は、各フレーム５００の各画像領域の輝度値に、設定した係数を乗ずる。
【００２８】
例えば、トランジションの起点となるフレーム５００−１に対する係数は、１に設定される。画像加工部１５４は、トランジションの起点となるフレーム５００−１の輝度値に係数１を乗じることにより、トランジション画像５１０−１を生成する。パラメータ設定部１５２は、フレーム５００−２、３・・・の順に、切り替え速度に応じて増加する係数を設定する。各画像領域に対する係数の増加率は、対応曲線４００で定められる切り替え速度に応じて設定される。すなわち、係数の増加率は近距離の画像領域ほど小さい。本図の例では、右端の動物が最も近距離にあるため、背景の画像領域に対する係数よりも小さい値の係数が、右端の動物の画像領域に設定される。
【００２９】
画像加工部１５４は、フレーム５００−２〜１１の各画像領域の輝度値に、奥行き方向の距離に応じた係数を乗じることにより、トランジション画像５１０−２〜１１を生成する。係数を乗ずることにより既定値を超えた輝度値は、既定値でクリップされる。一例として、ビット数で定まる最大輝度値を、既定値として適用してよい。トランジション画像５１０−１１では、全画像領域の輝度値が一様に最大輝度値となり、真っ白な画像となる。このように、画像生成部１５０は、奥行き方向の距離がより近い画像領域に、切り替わり速度がより遅いフェードアウト効果を加える。このため、近距離のオブジェクトよりも背景の領域が早く白に近づくようなフェードアウト効果を加えることができる。このため、近距離のオブジェクトを強調したトランジション効果を加えることができる。
【００３０】
図６は、フェードイン効果を加える場合のトランジション設定の一例を示す。本トランジション設定では、奥行き方向の距離と切り替え速度との間の関係が対応曲線６００により定められる。対応曲線６００によれば、奥行き方向の距離が短いほど、早い切り替え速度が定められる。このため、遠距離の画像領域は、比較的ゆっくりと現れてくるが、近距離の画像領域は比較的に早く現れる。このため、近距離のオブジェクトを強調したトランジション効果を加えることができる。
【００３１】
図７は、フェードイン効果が加えられたトランジション画像の一例を模式的に示す。本例では、一面に真っ白なフレームから、動画に含まれるフレームに切り替わるトランジション画像を生成する場合を取り上げて、フェードイン効果を加える画像処理について説明する。
【００３２】
画像生成部１５０は、トランジション期間に含まれるフレーム７００−１〜１１から、トランジション画像７１０−１〜１１を生成する。例えば、画像加工部１５４は、パラメータ設定部１５２が設定した対応曲線４００に基づき、各フレーム７００の輝度値に乗ずる係数を画像領域毎に設定する。例えば、各フレーム７００の各画像領域に乗ずる係数として、対応曲線６００で定められる切り替え速度に比例してフレーム７００の表示順で減少する値を設定する。画像加工部１５４は、それぞれのフレーム７００における各画像領域の輝度値に、パラメータ設定部１５２が設定した係数を乗ずる。
【００３３】
例えば、トランジションの起点となるフレーム７００−１に対する係数は、全画像領域で輝度値が既定値になるように設定される。画像加工部１５４は、トランジションの起点となるフレーム７００−１の輝度値に当該係数を乗じることにより、トランジション画像７１０−１を生成する。既定値として最大輝度値を適用した場合、本例に示すようにトランジション画像７１０−１は真っ白な画像となる。パラメータ設定部１５２は、フレーム７００−２、３・・・の順に、切り替え速度に応じて減少する係数を設定する。各画像領域に対する係数の減少率は、対応曲線６００で定められる切り替え速度に応じて設定される。すなわち、係数の減少率は近距離の画像領域ほど大きい。本図の例では、右端の動物が最も近距離にあるため、背景の画像領域に対する係数よりも小さい値の係数が、右端の動物の画像領域に設定される。
【００３４】
画像加工部１５４は、フレーム７００−２〜１１の各画像領域の輝度値に、奥行き方向の距離に応じた係数を乗じることにより、トランジション画像７１０−２〜１１を生成する。トランジション画像７１０−１１は、フレーム７００−１１に係数１を乗じることで生成される。このように、画像加工部１５４は、奥行き方向の距離がより近い画像領域に、切り替わり速度がより早いフェードイン効果を加える。遠距離の背景よりも近距離のオブジェクトが早く現れてくるようなフェードイン効果を加えることができるので、近距離のオブジェクトを強調したトランジション効果を加えることができる。
【００３５】
図４から図７にかけてフェード効果を取り上げて説明したように、画像加工部１５４は、複数の画像領域に、奥行き方向の距離に応じて切り替わり速度が異なるトランジション効果を加える。図４から図７の説明では、距離に応じて異なるパラメータで画像処理することを分かり易く説明するために、輝度値に係数を乗じる画像処理を説明した。しかし、フェードアウト効果、フェードイン効果として、透過度合いを増加または減少させる種々の画像処理手法を適用することができる。また、フェードアウト効果は、主として動画の末尾や、シーンの末尾に適用できる。また、フェードイン効果は、主として動画の先頭や、シーンの先頭に適用できる。
【００３６】
シーンの切り替え部分には、第１のトランジション期間にフェードアウト効果を加えた後、第１のトランジション期間に続く第２のトランジション期間にフェフェードイン効果を加えることで、シーンが切り替わる期間のトランジション画像を生成してもよい。シーンの切り替え部分には、クロスフェード効果を適用してもよい。クロスフェードを適用したトランジション画像は、例えばトランジションの起点となるフレームにフェードアウト効果を加えたトランジション画像と、トランジションの終点となるフレームにフェードイン効果を加えたトランジション画像とを加算することにより、生成することができる。
【００３７】
図４から図７の説明において、トランジション効果としてフェードアウト効果、フェードイン効果を取り上げて説明した。しかし、トランジション効果は、フェードアウト効果、フェードイン効果に限られない。例えば、トランジション効果として、ディゾルブ効果を適用してよい。ディゾルブ効果を適用したトランジション画像は、トランジションの起点となるフレームおよびトランジションの終点となるフレームを用いて生成することができる。この場合、切り替え速度として、トランジションの終点となるフレームから抽出した領域の面積の時間変化率を適用できる。
【００３８】
図４から図７において、トランジション期間に属する複数のフレームから、それぞれ一のトランジション画像を生成するとした。この場合、位置特定部１４０は、動画に含まれる複数のフレーム毎に、複数の画像領域のそれぞれにおける奥行き方向の位置を特定してよい。画像加工部１５４は、複数の画像のそれぞれの複数の画像領域に、奥行き方向の位置に応じて異なるトランジション効果を加えることにより、トランジション画像を生成してもよい。
【００３９】
以上の説明において、奥行き方向の距離に応じて切り替え速度を異ならせる場合のトランジション効果を説明した。しかし、切り替えの開始タイミングを奥行き方向の距離に応じて異ならせてもよい。例えば、フェードアウト効果の場合、遠距離の画像領域よりも後に近距離の画像領域がフェードアウトを開始させるようにしてよい。また、フェードイン効果の場合、遠距離の画像領域よりも先に近距離の画像領域が現れ始めるようにしてよい。
【００４０】
図８は、アイリスワイプ効果を持つトランジション画像を生成する場面の一例を示す。ここでは、フレーム８００、フレーム８５０の順で表示される動画に対して、アイリスワイプ効果を適用する場合を取り上げる。ここでは、フレーム８００はトランジションの起点となる画像であり、フレーム８５０はトランジションの終点となる画像となる。画像解析部１３０により、フレーム８００およびフレーム８５０のタイミングが、シーンの切り替わりタイミングとして検出される。
【００４１】
画像解析部１３０は、フレーム８００から顔領域８０２を抽出する。また、位置特定部１４０は、フレーム８００およびフレーム８５０から、それぞれ距離情報を特定する。パラメータ設定部１５２は、画像解析部１３０により抽出された顔領域８０２およびフレーム８００から特定された距離情報８１０に基づき、アイリスワイプによるワイプ速度を決定する。例えば、パラメータ設定部１５２は、顔領域８０２における奥行き方向の距離が近距離であるほど、遅いワイプ速度を決定する。
【００４２】
画像加工部１５４は、フレーム８００からフレーム８５０までの期間に挿入されるトランジション画像として、フレーム８２０−２〜４を生成する。具体的には、フレーム８００だけを用いて、フレーム８２０−１を生成する。そして、画像加工部１５４は、表示順で後続するフレーム８２０−２には、フレーム８００内の顔領域８０２の位置を中心とし第１の半径を持つアイリス枠８３０−１を設定する。そして、画像加工部１５４は、アイリス枠８３０−１に対応するフレーム８００内の画像領域の画像と、フレーム８５０内の他の画像領域の画像とを組み合わせて、フレーム８２０−２を生成する。
【００４３】
更に、画像加工部１５４は、表示順で後続するフレーム８２０−３には、フレーム８００内の顔領域８０２の位置を中心とし第２の半径を持つアイリス枠８３０−２を設定する。画像加工部１５４は、アイリス枠８３０−３に対応するフレーム８００内の画像領域の画像と、フレーム８５０内の他の画像領域の画像とを組み合わせて、フレーム８２０−３を生成する。ここで、第２の半径は、第１の半径より小さいとする。
【００４４】
同様に、画像加工部１５４は、表示順で後続するフレーム８２０−４には、フレーム８００内の顔領域８０２の位置を中心とし第３の半径を持つアイリス枠８３０−３を設定する。画像加工部１５４は、アイリス枠８３０−３に対応するフレーム８００内の画像領域の画像と、フレーム８５０内の他の画像領域の画像とを組み合わせて、フレーム８２０−４を生成する。ここで、第３の半径は、第２の半径より小さいとする。そして、画像加工部１５４は、フレーム８５０だけを用いて、表示順で後続するフレーム８２０−５を生成する。
【００４５】
このように、画像加工部１５４は、トランジション画像としてのフレーム８２０に、表示順で縮小するアイリス枠８３０を設定して、設定したアイリス枠内に起点となるフレーム内の画像を持ち、設定したアイリス枠外に終点となるフレームの画像を持つトランジション画像を生成する。そして、表示順でアイリス枠を縮小していくことで、アイリスワイプ効果を持つトランジション画像を生成する。画像加工部１５４は、アイリス枠の縮小速度を、検出された顔領域における奥行き方向の距離に応じて決定する。このため、主被写体としての可能性が高いオブジェクトを、ゆっくりとワイプするトランジション効果を加えることができる。
【００４６】
本例では、一つの顔領域を検出したとして説明した。複数の顔領域が検出された場合、パラメータ設定部１５２は、最も近距離の画像領域から検出された顔領域を選択して、当該奥行き方向の距離に基づきアイリスワイプ効果の加工パラメータを決定してよい。画像加工部１５４は、最も近距離の画像領域から検出された顔領域に対応するアイリス枠を設定することにより、トランジション画像を生成してよい。なお、顔検出は、画像解析部１３０において抽出されてよい。トランジション設定取得部１１０が、ユーザから顔の位置の指定を受け付けてもよい。なお、本例ではシーンの切り替わりとして説明したが、２つの動画を結合した場面にも適用できる。
【００４７】
図９は、複数のアイリス枠を持つトランジション画像を生成する場面の一例を示す。ここでは、画像解析部１３０により右端の動物の顔領域と、左端の動物の顔領域とにアイリス枠を設定した場合について説明する。
【００４８】
パラメータ設定部１５２は、右端の動物の顔領域に対応するアイリス枠９３０−１を設定する。アイリス枠９３０−１〜４は、図８に関連して説明したアイリス枠８３０−１〜４と同じであるので、説明を省略する。パラメータ設定部１５２は、左端の動物の顔領域に対応するアイリス枠９４０−１〜４を設定する。アイリス枠９４０の減少速度は、左端の動物の顔領域における奥行き方向の距離に応じて決定される。したがって、アイリス枠９４０の縮小速度は、アイリス枠９３０の縮小速度より速い。このため、フレーム９２０−４において、アイリス枠９４０は存在せず、対応する領域にはフレーム８５０の画像が現れる。
【００４９】
図８および９に関連して説明したように、トランジション効果として、アイリスワイプにより画像を切り替えるトランジション効果を含む場合、画像生成部１５０は、アイリスワイプを開始または終了させる画像領域における奥行き方向の距離に応じて、異なるアイリスワイプを適用する。具体的には、画像生成部１５０は、アイリスワイプを適用する画像領域における奥行き方向の距離に応じて、ワイプ速度が異なるアイリスワイプを適用する。図８および図９に関連して説明したアイリス枠の半径の縮小速度は、ワイプ速度の一例である。ワイプ速度として、アイリス枠で囲まれる領域の面積の縮小速度等、種々の指標を適用できる。
【００５０】
図８および９の例では、丸形のアイリス枠を例示した。アイリス枠の形状は、丸形に限られず、四角形系、楕円形等、種々の形状のアイリス枠を適用できる。また、アイリス枠の形状を、奥行き方向の距離に応じて形状が異ならせてもよい。すなわち、画像生成部１５０は、奥行き方向の距離に応じて形状が異なるアイリスワイプを適用してよい。
【００５１】
図８および９の例では、トランジションの起点とするフレームから顔を検出して、当該顔領域の画像が残るようにワイプするトランジション効果について説明した。しかし、トランジションの終点となるフレームから顔を検出して、当該顔領域の画像から、ワイプするようにアイリスワイプを適用してよい。この場合、アイリス枠内には、トランジションの終点となるフレームの画像を適用し、アイリス枠外には、トランジションの基点となるフレームの画像を適用する。そして、アイリス枠を表示順で拡大させる。この場合、アイリス枠の拡大速度を、ワイプ速度として適用することができる。アイリス枠が拡大するアイリスワイプを適用する場合、パラメータ設定部１５２は、より近距離の画像領域に、より遅い拡大速度を適用してよい。すなわち、より近距離の画像領域に、より遅いワイプ速度を適用してよい。また、拡大するアイリス枠を複数設ける場合、遠距離の画像領域に対応するアイリス枠によるワイプを、近距離の画像領域に対応するアイリス枠でワイプが開始されるタイミングよりも遅いタイミングで開始させてもよい。
【００５２】
図１０は、トランジション効果に用いる仮想光源の位置を模式的に示す図である。画像生成部１５０は、仮想光源を特定の位置に配置した場合の照明効果を奥行き方向の位置に応じて演算して、オブジェクトの明るさに適用する。画像生成部１５０は、仮想光源からの発光強度を表示順で変化させることにより、フェード効果を加える。例えば、仮想光源からの発光強度を表示順で増加させることにより、フェードアウト効果を加える。フェードイン効果を加える場合、仮想光源からの発光強度を表示順で減少させる。いずれの場合でも、距離に応じて異なるフェード効果を加えることができる。
【００５３】
本図は、各被写体の存在範囲を、ｘ座標を横軸とし、奥行き方向の距離を縦軸とした座標系上に模式的に示す。符号１０００は、上述した右端の動物の存在範囲を示す。本例では、右端の動物を主オブジェクトとして強調するトランジション効果を加える場合に、主オブジェクトの背後に仮想光源を設定する。そして、画像生成部１５０は、仮想光源から各位置に入射する単位面積当たりの光束の量を演算して、光束の量に応じてオブジェクトの輝度値を変更することにより、トランジション画像を生成する。このように、画像生成部１５０は、複数の画像領域に、仮想光源からの距離に応じて仮想光源による照明効果が異なるトランジション効果を加える。
【００５４】
図１１は、仮想光源によるトランジション効果が加えられたトランジション画像の一例を模式的に示す。画像生成部１５０は、トランジション期間に含まれるフレーム１１００−１〜６から、トランジション画像１１１０−１〜６を生成する。トランジション画像１１１０−１は、フレーム１１００−１と同一である。
【００５５】
画像生成部１５０は、右端の動物の背後に仮想的に設けた仮想光源から第１強度で発光した場合の照明効果をフレーム１１１０−２内のオブジェクト毎に演算して、トランジション画像１１１０−２を生成する。ここで、各オブジェクトに対する照明効果は、各オブジェクトに対応する被写体の奥行き方向の位置と、仮想光源の位置との間の位置関係によって変化する。例えば、仮想光源より遠くに位置する被写体については、仮想光源からの発光強度を増加させるにつれて、明るくなる。一方、仮想光源より近くに位置する被写体の明るさは、背後の明るさが増加するにつれて、背後と比較して相対的に暗くなる。画像生成部１５０は、背後の明るさを増加させるとともに、明るさを低下させた主オブジェクト１１１２を含むトランジション画像１１１０−２を生成する。
【００５６】
画像生成部１５０は、後続するトランジション画像１１１０−３を生成する場合、仮想光源の発光強度をより高めることで主オブジェクトの背景の画像領域の輝度値を規定値にするとともに、明るさを更に低下させた主オブジェクト１１１３を生成する。このように、画像生成部１５０は、主オブジェクトより遠くに位置する仮想光源の発光強度を時間的に増加させる照明効果を加えることにより、主オブジェクトの背景となる画像領域の明るさを時間的に増加させ、主オブジェクトの画像領域の明るさを時間的に減少させる。この処理によれば、主被写体の背後から放射される光の強度が時間的に増大していく場合に眼でとらえられるようなトランジション効果を加えることができる。このように、画像生成部１５０は、仮想光源の発光強度を時間的に増加させることにより、明るさが時間的に増加する照明効果を含むトランジション効果を加える。
【００５７】
画像生成部１５０は、背景を既定値にした後のトランジション画像１１１０−３〜５において、主オブジェクトをフェードアウトさせる。例えば、トランジション画像１１１０−３〜５にかけて、主オブジェクト１１１３、主オブジェクト１１１４、主オブジェクト１１１５の輝度値を高めてゆき、最終的に輝度値が規定値のトランジション画像１１１０−６を生成する。具体的には、画像生成部１５０は、少なくとも主オブジェクトの画像領域に、図５等に関連して説明したフェードアウト効果の画像処理を適用することで、本例に示すようなトランジション効果を加えることができる。このように、画像生成部１５０は、主オブジェクトの画像領域の明るさを時間的に減少させた後に、主オブジェクトの画像領域の明るさを増加させて、フェードアウト効果を加える。
【００５８】
なお、本図の例では、仮想光源の前後で照明効果が変わることを説明するために、仮想光源より遠くに位置に対する照明効果については特に言及しなかった。しかし、仮想光源より遠くに位置する被写体については、仮想光源から各オブジェクトに対応する被写体までの距離が近いほど、明るさを高めてもよい。
【００５９】
なお、本図の例では、仮想光源を用いて、フェードアウト効果と同様なトランジション効果を加える処理について説明した。しかし、主オブジェクトに対するフェードイン効果と、仮想光源の発光強度を減少させることによる照明効果とを順次に適用して、フェードイン効果に対応するトランジション効果を与えることができる。このように、画像生成部１５０は、仮想光源の発光強度を時間的に減少させることにより、明るさが時間的に減少する照明効果を含むトランジション効果を加える。
【００６０】
図１２は、動画ファイルおよびトランジション設定を指定するためのユーザ画面の一例を示す。本画面は、表示部１９０に表示される。
【００６１】
トランジション設定画面１２００は、動画ファイルを表示する表示メニュー１２１０、動画ファイルを追加するための追加メニュー１２２０、ファイルを追加するための追加ボタン１２３０、トランジション画像を含む動画を生成するための実行ボタン１２４０、トランジション期間の時間長さを設定するための設定メニュー１２５０、トランジションの種別を設定するための設定メニュー１２６０、優先するオブジェクトを設定するための設定メニュー１２７０、シーン変化時にトランジション効果を加えるか否かを設定するための設定メニュー１２８０を含む。
【００６２】
表示メニュー１２１０は、追加メニュー１２２０および追加ボタン１２３０を通じて追加された動画ファイルを表示する。ユーザは、追加メニュー１２２０により動画ファイルを選択した後に追加ボタン１２３０を押すことで、動画ファイルを追加することができる。画像生成部１５０は、実行ボタン１２４０が押された場合に、これらのメニューで選択された１以上の動画ファイルに、設定メニュー１２５０〜１２８０で設定されたトランジション設定に従ってトランジション効果を加える。
【００６３】
設定メニュー１２５０は、トランジションの期間を入力する。例えば、トランジションの期間が０．５秒に設定された場合、毎秒３０フレームの動画を生成するときには、１５フレームのトランジション画像を生成する。トランジションの種別は、設定メニュー１２６０によって設定される。本例では、クロスフェードが選択されている。設定メニュー１２７０により、近距離オブジェクト、遠距離オブジェクトおよび顔のいずれを優先するかを選択できる。「近距離オブジェクト」が選択されている場合、近距離オブジェクトを強調したトランジション効果を加える。「遠距離オブジェクト」が選択されている場合、遠距離オブジェクトを強調したトランジション効果を加える。「顔」が設定されている場合、人物、動物等の顔のオブジェクトを画像解析部１３０で自動検出して、当該オブジェクトを強調するトランジション効果を加える。
【００６４】
設定メニュー１２８０により、１の動画中でシーン変化が検出された場合に、シーン変化が生じた場面でトランジション効果を適用するか否かを設定する。本メニューがチェックされている場合、画像生成部１５０は、シーン変化が検出された場面でトランジション効果を加える。すなわち、画像生成部１５０は、動画を構成する複数のフレームの少なくとも一つのフレームから、シーンが切り替わる期間におけるトランジション画像を生成する。例えば、図８等に関連して説明したように、シーン変化が生じたタイミングで、トランジション画像を挿入する。また、シーン変化が生じたタイミングを含むトランジション期間の複数のフレームに、トランジション効果を加えてもよい。
【００６５】
図１３は、画像処理装置１００における動作フローの一例を示す。本動作フローの処理は、例えばトランジション効果を加える動画編集アプリケーションプログラムによって実装される。本動作フローは、ユーザによって動画編集アプリケーションプログラムを実行する指示がなされた場合に、画像処理装置１００が備えるＣＰＵが当該プログラムを実行することによって開始される。
【００６６】
ステップＳ１３０２において、ユーザ設定を行う。例えば、図１２に関連して説明したメニュー等を通じて、動画ファイルおよびトランジション設定を指定する。指定されたトランジション設定は、画像取得部１２０によって取得される。
【００６７】
ステップＳ１３０４において、画像取得部１２０は、トランジション効果を加える対象となる動画を読み出す。例えば、記録媒体１８０から、追加メニューで追加された動画ファイルを読み出す。
【００６８】
ステップＳ１３０６において、画像解析部１３０は動画を解析する。例えば、画像解析部１３０は、動画を構成する各フレームから顔を検出する。また、画像解析部１３０は、動画を構成する各フレームからシーン変化を検出する。例えば、画像解析部１３０は、連続するフレーム間の差分に基づき、シーン変化を検出する。
【００６９】
ステップＳ１３０８において、パラメータ設定部１５２は、トランジション設定に基づき、加工パラメータを決定する。例えば、パラメータ設定部１５２は、トランジション期間および動画のフレームレートから、生成するトランジション画像のコマ数を決定する。例えばトランジションの種別がフェードイン、フェードアウト、クロスフェード、ディゾルブ等のように、画像の切り替えるトランジション効果を適用する場合、奥行き方向の距離に応じた切り替え速度を選択する。例えば、図４、図６等に例示した対応曲線を、トランジションの種別に応じて選択する。
【００７０】
続いて、ステップＳ１３１０から、トランジションを適用する１以上の期間でトランジション効果を加える処理を含むループを実行する。ステップＳ１３１２において、トランジション期間のフレームに奥行き情報が付帯されているか否かを判断する。奥行き情報が付帯されている場合、奥行き情報を抽出して奥行き方向の位置を特定し（ステップＳ１３１４）、ステップＳ１３１８に処理を移行する。奥行き情報が付帯されていない場合、位置特定部１４０は奥行き方向の位置を算出する（ステップＳ１３１６）。
【００７１】
例えば、図３に関連して説明したように、位置特定部１４０が視差情報から奥行き方向の位置を検出する。他にも、位置特定部１４０は、複数のフレームにわたって動きのある被写体に対応するオブジェクトを追跡して、追跡結果に基づいてオブジェクトの前後関係を特定してよい。例えば、位置特定部１４０は、動くオブジェクトによって他のオブジェクトが隠れるフレームが存在する場合に、動くオブジェクトは、他のオブジェクトに対応する被写体より前に位置する被写体のオブジェクトであると判断することができる。ステップＳ１３１６の処理が完了すると、ステップＳ１３１８に処理を進める。
【００７２】
ステップＳ１３１８では、画像加工部１５４がトランジション画像を生成する。トランジション画像を生成する処理については、図１４に関連して説明する。ステップＳ１３１８の処理が完了すると、ステップＳ１３２０で、トランジション適用区間でループを終了するか否かを判断する。トランジションを適用すべき残りの期間が存在する場合、残りのトランジション期間についてステップＳ１３１２からステップＳ１３１８の処理を実行する。トランジションを適用すべき全期間で処理を完了したと判断された場合、ステップＳ１３２２に処理を進める。
【００７３】
ステップＳ１３２２では、次元変換するか否かを判断する。次元変換しない場合、ステップＳ１３２６でトランジション画像を含む動画を出力する。次元変換を行う場合、トランジション画像を含む動画に次元変換を適用して（ステップＳ１３２４）、ステップＳ１３２６に処理を進める。次元変換をしない場合、入力された動画が３Ｄ動画であるときはトランジション効果が付加された３Ｄ動画が出力され、入力された動画が２Ｄ動画であるときはトランジション効果が付加された２Ｄ動画が出力される。次元変換をする場合、入力された動画が３Ｄ動画であるときはトランジション効果が付加された２Ｄ動画が出力され、入力された動画が２Ｄ動画であるときはトランジション効果が付加された３Ｄ動画が出力される。２Ｄ動画から３Ｄ動画を生成する場合、視点間距離および奥行き方向の距離に応じてオブジェクトの位置をずらすことにより、左視点画像および右視点画像を生成してよい。
【００７４】
図１４は、トランジション画像を生成する場合の処理フローを示す。すなわち、図１３のステップＳ１３１８において実行される詳細な処理フローを示す。
【００７５】
本フローが開始すると、ステップＳ１４０２において、トランジションの種別を判断する。例えば、図１２に関連して説明した画面で設定されたトランジションの種別を特定する。フェードイン、フェードアウト、クロスフェード、ディゾルブ等の切り替え効果を加える種別のトランジションが設定されている場合、画像領域毎に切り替え速度を決定する。そして、画像加工部１５４は、トランジション期間内の複数のフレームのそれぞれについて、切り替え速度に基づき画像領域毎に透過処理の度合いを決定する（ステップＳ１４０６）。例えば、図５、図７等に関連して説明した係数を、各フレームにおける画像領域毎に決定する。
【００７６】
ステップＳ１４０２の判断において、アイリスワイプによるトランジションが設定されている場合、画像加工部１５４は、アイリスワイプの対象とする画像領域毎に、アイリス枠の変化速度を決定する（ステップＳ１４０８）。そして、画像加工部１５４は、アイリスワイプの対象とする画像領域毎に、変化速度に応じた大きさのアイリス枠を設定する（ステップＳ１４０６）。例えば、図８、図９等に関連して説明したアイリス枠を、各フレームにおけるアイリス対象の画像領域毎に設定する。
【００７７】
ステップＳ１４１２の判断において、仮想光源によるトランジションが設定されている場合、画像加工部１５４は、奥行き方向の仮想光源の位置を決定する（ステップＳ１４１２）。そして、画像加工部１５４は、仮想光源に対する位置関係に応じて画像領域毎に照明効果を算出する（ステップＳ１４１４）。例えば、図１０等に関連して説明した照明効果として、各フレームにおける画像領域毎に、仮想光源からの光により加わる明るさを算出する。
【００７８】
ステップＳ１４０６、ステップＳ１４１０、ステップＳ１４１４の処理が完了すると、ステップＳ１４１６に処理を移行する。ステップＳ１４１６において、画像加工部１５４は、トランジション期間に属する各フレームにトランジション効果を付加する。
【００７９】
以上に説明した画像処理装置１００によれば、奥行き方向の位置関係に応じて異なるトランジション効果を加えることができる。したがって、単に予め定められた種類のテンプレートを適用する場合と比較して、奥行き方向の位置関係に応じて多彩なトランジション効果を持つ動画を提供することができる。また、ユーザに煩わしい操作を課すことなく、多彩なトランジション効果を動的に加えることができる。また、画像処理装置１００によれば、立体視用の３Ｄ映像を提供する映画やテレビ放送用等のコンテンツに利用することができる。また、動画の入出力形態として、Ｈ．２６４/ＡＶＣ等の規格だけでなく、３Ｄ映像を取り扱うＨ．２６４／ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の規格を適用できる。このように、画像処理装置１００によれば、奥行き方向の位置関係に応じて多彩なトランジション効果を持つ３Ｄメディアを提供することができる。
【００８０】
以上の説明において、主として動画にトランジション効果を加える場合について説明した。例えば、動画の先頭にフェードイン効果を与えたり、動画の末尾にフェードアウト効果を与えたりすることについて説明した。また、シーンの切り替えや、２つの動画を結合する場合に、切り替わり期間にフェードイン効果、フェードアウト効果またはクロスフェード効果を与えることを説明した。また、シーンの切り替えや２つの動画を結合する場合に、切り替わり期間にアイリスワイプ効果を持つトランジション画像を挿入することについて説明した。しかし、これらの視覚効果を含むトランジション効果は、動画のフレームからだけでなく、１以上の静止画にも加えることができることは言うまでもない。
【００８１】
上記の説明において、画像処理装置１００の動作として説明した処理は、プロセッサがプログラムに従って画像処理装置１００が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態の画像処理装置１００に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。
【００８２】
本実施形態において、パーソナルコンピュータ等のコンピュータを例に挙げて、画像処理装置の一例を説明した。しかし、画像処理装置１００は、撮像装置として組み込まれてよい。撮像装置としては、一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、放送用の撮像機器、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、出力形態についても、動画、静止画等の画像データを記録媒体に記録するだけでなく、ネットワーク等の種々の伝送路に画像データを出力する機器等を、適用の対象とすることができる。また、撮像装置に限らず、デジタルフォトフレーム、放送用の映像機器、テレビジョン装置等、動画、静止画等の画像データを取り込んで画像処理を適用する種々の電子機器を、適用の対象とすることができる。
【００８３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８４】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８５】
１００ 画像処理装置、１０２ 画像処理部、１１０ トランジション設定取得部、１２０ 画像取得部、１３０ 画像解析部、１４０ 位置特定部、１５０ 画像生成部、１５２ パラメータ設定部、１５４ 画像加工部、１６０ 次元変換部、１７０ 出力制御部、１８０ 記録媒体、１９０ 表示部、２００ ２Ｄ画像、２１０ 距離情報、２２０ 符号、３００ 視点画像、３１０ 距離情報、３２０ 符号、４００ 対応曲線、５００ フレーム、６００ 対応曲線、７００ フレーム、７１０ トランジション画像、８００ フレーム、８０２ 顔領域、８１０ 距離情報、８２０ フレーム、８３０ アイリス枠、８５０ フレーム、９３０ アイリス枠、９４０ アイリス枠、１０００ 符号、１１１２ 主オブジェクト、１１１３ 主オブジェクト、１１１４ 主オブジェクト、１１１５ 主オブジェクト、１２１０ 表示メニュー、１２２０ 追加メニュー、１２３０ 追加ボタン、１２４０ 実行ボタン、１２５０ 設定メニュー、１２６０ 設定メニュー、１２７０ 設定メニュー、１２８０ 設定メニュー
【特許請求の範囲】
【請求項１】
画像が切り替わるトランジション効果を有するトランジション画像を生成する画像生成装置であって、
画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定する位置特定部と、
前記複数の画像領域における前記位置に応じてトランジション効果が異なるトランジション画像を生成する画像生成部と、
を備える画像生成装置。
【請求項２】
前記画像生成部は、前記複数の画像領域に、奥行き方向の距離に応じて切り替わり速度が異なるトランジション効果を加える
請求項１に記載の画像生成装置。
【請求項３】
前記画像生成部は、前記奥行き方向の距離がより近い画像領域に、切り替わり速度がより遅いフェードアウト効果を加える
請求項２に記載の画像生成装置。
【請求項４】
前記画像生成部は、前記奥行き方向の距離がより近い画像領域に、切り替わり速度がより遅いフェードイン効果を加える
請求項２または３に記載の画像生成装置。
【請求項５】
前記トランジション効果は、フェードアウト効果、フェードイン効果およびディゾルブ効果の少なくともいずれかを含む
請求項２から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記画像生成部は、前記複数の画像領域に、仮想光源からの距離に応じて前記仮想光源による照明効果が異なるトランジション効果を加える
請求項１から５のいずれか一項に記載の画像生成装置。
【請求項７】
前記画像生成部は、前記仮想光源の発光強度を時間的に増加または減少させることにより、明るさが時間的に増加または減少する照明効果を含むトランジション効果を加える
請求項６に記載の画像生成装置。
【請求項８】
前記画像生成部は、主オブジェクトより遠くに位置する前記仮想光源の発光強度を時間的に増加させる照明効果を加えることにより、前記主オブジェクトの背景となる画像領域の明るさを時間的に増加させ、前記主オブジェクトの画像領域の明るさを時間的に減少させる
請求項７に記載の画像生成装置。
【請求項９】
前記画像生成部は、前記主オブジェクトの画像領域の明るさを時間的に減少させた後に、前記主オブジェクトの画像領域の明るさを増加させて、フェードアウト効果を加える
請求項８に記載の画像生成装置。
【請求項１０】
前記トランジション効果は、アイリスワイプにより画像を切り替えるトランジション効果を含み、
前記画像生成部は、アイリスワイプを開始または終了させる画像領域における奥行き方向の距離に応じて、異なるアイリスワイプを適用する
請求項１から９のいずれか一項に記載の画像生成装置。
【請求項１１】
前記画像生成部は、前記アイリスワイプを適用する画像領域における前記奥行き方向の距離に応じて、ワイプ速度が異なるアイリスワイプを適用する
請求項１０に記載の画像生成装置。
【請求項１２】
前記画像生成部は、前記奥行き方向の距離に応じて形状が異なるアイリスワイプを適用する
請求項１０または１１に記載の画像生成装置。
【請求項１３】
一の動画においてシーンが切り替わる期間を特定する切替期間特定部
をさらに備え、
前記画像生成部は、前記一の動画を構成する複数の画像の少なくとも一つの画像から、前記シーンが切り替わる期間における前記トランジション画像を生成する
請求項１から１２のいずれか一項に記載の画像生成装置。
【請求項１４】
前記位置特定部は、動画に含まれる複数の画像毎に、前記複数の画像領域のそれぞれにおける奥行き方向の位置を特定し、
前記画像生成部は、前記複数の画像のそれぞれの複数の画像領域に、前記奥行き方向の位置に応じて異なるトランジション効果を加えることにより、前記トランジション画像を生成する
請求項１から１３のいずれか一項に記載の画像生成装置。
【請求項１５】
画像が切り替わるトランジション効果を有するトランジション画像を生成するためのプログラムであって、
画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定するステップと、
前記複数の画像領域における前記位置に応じてトランジション効果が異なるトランジション画像を生成するステップと、
をコンピュータに実行させるプログラム。
【請求項１】
画像が切り替わるトランジション効果を有するトランジション画像を生成する画像生成装置であって、
画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定する位置特定部と、
前記複数の画像領域における前記位置に応じてトランジション効果が異なるトランジション画像を生成する画像生成部と、
を備える画像生成装置。
【請求項２】
前記画像生成部は、前記複数の画像領域に、奥行き方向の距離に応じて切り替わり速度が異なるトランジション効果を加える
請求項１に記載の画像生成装置。
【請求項３】
前記画像生成部は、前記奥行き方向の距離がより近い画像領域に、切り替わり速度がより遅いフェードアウト効果を加える
請求項２に記載の画像生成装置。
【請求項４】
前記画像生成部は、前記奥行き方向の距離がより近い画像領域に、切り替わり速度がより遅いフェードイン効果を加える
請求項２または３に記載の画像生成装置。
【請求項５】
前記トランジション効果は、フェードアウト効果、フェードイン効果およびディゾルブ効果の少なくともいずれかを含む
請求項２から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記画像生成部は、前記複数の画像領域に、仮想光源からの距離に応じて前記仮想光源による照明効果が異なるトランジション効果を加える
請求項１から５のいずれか一項に記載の画像生成装置。
【請求項７】
前記画像生成部は、前記仮想光源の発光強度を時間的に増加または減少させることにより、明るさが時間的に増加または減少する照明効果を含むトランジション効果を加える
請求項６に記載の画像生成装置。
【請求項８】
前記画像生成部は、主オブジェクトより遠くに位置する前記仮想光源の発光強度を時間的に増加させる照明効果を加えることにより、前記主オブジェクトの背景となる画像領域の明るさを時間的に増加させ、前記主オブジェクトの画像領域の明るさを時間的に減少させる
請求項７に記載の画像生成装置。
【請求項９】
前記画像生成部は、前記主オブジェクトの画像領域の明るさを時間的に減少させた後に、前記主オブジェクトの画像領域の明るさを増加させて、フェードアウト効果を加える
請求項８に記載の画像生成装置。
【請求項１０】
前記トランジション効果は、アイリスワイプにより画像を切り替えるトランジション効果を含み、
前記画像生成部は、アイリスワイプを開始または終了させる画像領域における奥行き方向の距離に応じて、異なるアイリスワイプを適用する
請求項１から９のいずれか一項に記載の画像生成装置。
【請求項１１】
前記画像生成部は、前記アイリスワイプを適用する画像領域における前記奥行き方向の距離に応じて、ワイプ速度が異なるアイリスワイプを適用する
請求項１０に記載の画像生成装置。
【請求項１２】
前記画像生成部は、前記奥行き方向の距離に応じて形状が異なるアイリスワイプを適用する
請求項１０または１１に記載の画像生成装置。
【請求項１３】
一の動画においてシーンが切り替わる期間を特定する切替期間特定部
をさらに備え、
前記画像生成部は、前記一の動画を構成する複数の画像の少なくとも一つの画像から、前記シーンが切り替わる期間における前記トランジション画像を生成する
請求項１から１２のいずれか一項に記載の画像生成装置。
【請求項１４】
前記位置特定部は、動画に含まれる複数の画像毎に、前記複数の画像領域のそれぞれにおける奥行き方向の位置を特定し、
前記画像生成部は、前記複数の画像のそれぞれの複数の画像領域に、前記奥行き方向の位置に応じて異なるトランジション効果を加えることにより、前記トランジション画像を生成する
請求項１から１３のいずれか一項に記載の画像生成装置。
【請求項１５】
画像が切り替わるトランジション効果を有するトランジション画像を生成するためのプログラムであって、
画像内の複数の画像領域のそれぞれにおける奥行き方向の位置を特定するステップと、
前記複数の画像領域における前記位置に応じてトランジション効果が異なるトランジション画像を生成するステップと、
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−５５４８９（Ｐ２０１３−５５４８９Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９１９４６（Ｐ２０１１−１９１９４６）
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]