画像処理方法、画像処理装置及び画像処理プログラム
【課題】画像中のオブジェクト同士の重ねあわせを許容するイメージリターゲティングを行うことができる画像処理方法を提供する。
【解決手段】画像を入力する画像入力ステップと、所定数のレイヤを定義し、画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、レイヤ構造に基づき、画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定ステップと、生成されたコストマップを参照して、画像を分断するパスをコストマップごとに探索するパス探索ステップと、探索されたパスの中から最良のパスを代表パスとして選択するパス選択ステップと、代表パスに沿って画像のサイズを変更してリサイズ画像を出力する画像リサイズステップとを有する。
【解決手段】画像を入力する画像入力ステップと、所定数のレイヤを定義し、画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、レイヤ構造に基づき、画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定ステップと、生成されたコストマップを参照して、画像を分断するパスをコストマップごとに探索するパス探索ステップと、探索されたパスの中から最良のパスを代表パスとして選択するパス選択ステップと、代表パスに沿って画像のサイズを変更してリサイズ画像を出力する画像リサイズステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
印刷及び表示装置の多様性と汎用性の増加に伴い、装置の画面サイズ、解像度及びアスペクト比の違いに合わせて映像や画像などのマルチメディアコンテンツのサイズを適切に変更する必要性が生じてきている。このようなサイズ変更は、典型的には画像を縮小するスケーリングや画像の一部を切り抜くクロッピングによって実現される。これらのサイズ変更手法は、典型的にはコンテンツの内容によらずに一様に適用され、それによってコンテンツの内容を維持するために必要な視覚情報が失われる場合もある。
【０００３】
より有効なサイズ変更法として、コンテンツ中の重要な特徴を維持しながら画像や映像のサイズ変更を行うイメージリターゲティングという方法がある。重要な特徴は、画像輪郭の検出や、顔検出などのトップダウン法や、視覚的顕著性の検出などのボトムアップ法などの方法によって検出することができる。こうした方法によりコンテンツ中の重要な特徴が含まれる領域を発見し、トリミング、シームカービング、メッシュ変形イメージリターゲティング等の方法で非線形にサイズ変更を行い、重要な特徴を維持したまま画像や映像のサイズを変更することができる。
【０００４】
シームカービングによる画像のサイズ変更では、典型的には、画像の全画素についてその画素が持つエネルギー量を設定し、画像を縦または横に分断するパスを構成する画素の総エネルギー量が最小になるように選択し、選択されたパスを構成する画素を削除／結合／複製／分割することによって画像サイズを横または縦にパスの幅ずつ縮小／拡大していくことができ、このプロセスは画像サイズが所望の値になるまで繰り返される（例えば、非特許文献１参照）。画素のエネルギー量は、前述した画素そのものの特徴量を元に計算するほかに、隣接画素など画像中の他の画素との相関関係、例えば輝度値の差分などを指標として計算される。
【０００５】
メッシュ変形イメージリターゲティングによる画像のサイズ変更では、典型的には、画像にメッシュを割り当てメッシュの変形によって画像変形を制御し、変形後の画像が所望のサイズに収まるようにメッシュ形状を最適化することによって画像のサイズ変更を行う（例えば、非特許文献２参照）。最適化に用いる目的関数は、前述した画素毎のエネルギー量や、画像全体としての尤もらしさを指標として設計する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Avidan S, Shamir A. Seam carving for content-aware image resizing. ACM Transactions on Graphics. 2007;26(3)
【非特許文献２】Wang Y-S, Tai C-L, Sorkine O, Lee T-Y. Optimized scale-and-stretch for image resizing. ACM Transactions on Graphics. 2008;27(5)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、先行技術による画像サイズ変更では、特に重要領域同士が密に存在する構造を持つ画像についてサイズを減少させる場合に、非重要領域を全て削除したとしても所望のサイズを満たさないとき、必然的に重要領域を変形・削除することになる。例えば画像中に２つのオブジェクトが隣り合って存在する場合、これらのオブジェクトが存在する領域は高い重要特徴量をもつ可能性が高く、サイズ変更に伴う変形・削除はオブジェクト領域を回避して行われる可能性が高いが、もし画像の幅をこのオブジェクトの幅よりも小さく変更する場合、変形・削除はオブジェクト領域内に及び、オブジェクトの形状を歪め輪郭を破損してしまう。
【０００８】
単純な例を図７に示す。従来技術を用いて図７（ａ）に示す画像を横方向に縮小する場合、図７（ｂ）に示す画像のようなオブジェクト輪郭の破損した画像が生成されてしまうという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、画像中のオブジェクト輪郭の破損を抑止することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、画像を入力する画像入力ステップと、所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、前記レイヤ構造に基づき、前記画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定ステップと、生成された前記コストマップを参照して、前記画像を分断するパスを前記コストマップごとに探索するパス探索ステップと、探索された前記パスの中から最良のパスを代表パスとして選択するパス選択ステップと、前記代表パスに沿って前記画像のサイズを変更してリサイズ画像を出力する画像リサイズステップとを有することを特徴とする。
【００１１】
本発明は、前記コストマップ設定ステップは、前記画像の全画素または部分領域のもつエネルギー量に基づき、前記画像の全画素または部分領域のもつ縮小または拡張に対するコストを複数のコスト関数に基づき計算して、前記複数のコストマップを生成し、前記パス探索ステップは、前記コストマップに基づき画素または部分領域の集合からなるパスを探索することを特徴とする。
【００１２】
本発明は、前記コストマップ設定ステップは、前記レイヤ構造に基づきコスト算出に用いる画素または部分領域を前記コストマップごとに一部除外したコスト除外領域とし、前記コスト除外領域に相当するコストを新たに設定することを特徴とする。
【００１３】
本発明は、前記パス選択ステップは、前記パスに基づいて画像サイズの変更を実行し画質評価を行い、最良の画質が得られたパスを前記代表パスとすることを特徴とする。
【００１４】
本発明は、前記パス探索部で得られたパスそれぞれについて前記レイヤ構造に基づいた編集を行うパス編集ステップをさらに有することを特徴とする。
【００１５】
本発明は、前記パス編集ステップは、前記パスそれぞれについて、前記レイヤ構造に基づき画素または部分領域を一部パス除外領域とした除外領域内に含まれる前記パスを構成する画素または部分領域を前記パス除外領域輪郭部の画素または部分領域に再設定することを特徴とする。
【００１６】
本発明は、画像を入力する画像入力手段と、所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定手段と、前記レイヤ構造に基づき、前記画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定手段と、生成された前記コストマップを参照して、前記画像を分断するパスを前記コストマップごとに探索するパス探索手段と、探索された前記パスの中から最良のパスを代表パスとして選択するパス選択ステップと、前記代表パスに沿って前記画像のサイズを変更してリサイズ画像を出力する画像リサイズ手段とを備えることを特徴とする。
【００１７】
本発明は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１８】
本発明によれば、入力画像中の全画素について奥行き方向に属するレイヤを決定し、レイヤ構造に基づき画像リサイズに用いるコストのセットを複数パターン設定し、それぞれに基づいたパスから最良のものを選択する画像リサイズを画素単位あるいは部分領域単位で繰り返し行うことで、重要領域が画像中に広く分布し削除領域の選択が難しい場合においても良好なリサイズ結果を得ることができるという効果が得られる。
【００１９】
また、レイヤ構造に基づきコスト一様な領域を設け、その内部を通るパスを領域輪郭部に再配置することで、前景を損ねず後景をリサイズするためのコスト最少の非連結性パスを容易に得ることができ、画像中の異なるレイヤに存在するオブジェクト同士を、破損・歪みを回避し、相互の重ね合わせを許容しながら配置を変更し、画像をリサイズすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の処理動作を示すフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】図３に示す装置の処理動作を示すフローチャートである。
【図５】画像のリサイズ動作を示す説明図である。
【図６】画像のリサイズ結果を示す説明図である。
【図７】従来技術による画像のリサイズ例を示す説明図である。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置によって構成され、画像入力部１０１と、レイヤ構造設定部１０２と、コストマップ設定部１０３と、パス探索部１０４と、パス選択部１０５と、画像リサイズ部１０６と、画像出力部１０７とを備える。
【００２２】
画像入力部１０１は、サイズ変更の対象となる元画像を入力する。レイヤ構造設定部１０２は、任意の数のレイヤを定義し、画像中の各画素に対してその画素が属するレイヤを設定する。コストマップ設定部１０３は、レイヤ構造に基づき、元画像の全画素についてエネルギー量を設定し、複数のコストマップを生成する。パス探索部１０４は、生成された各コストマップを参照して、画像を縦または横に分断するパスをコストマップごとに探索する。パス選択部１０５は、全てのコストマップのパスの中から最良のものを代表パスとして選択する。画像リサイズ部１０６は、選択された代表パスに沿って画素の削除／結合／複製／分割をすることによって画像サイズを横又は縦に縮小／拡大する。画像出力部１０７は、リサイズされた画像を出力する。
【００２３】
次に、図２を参照して、図１に示す画像処理装置１００の処理動作を説明する。図２は図１に示す画像処理装置１００が、画像のサイズ変更を行って出力する処理動作を示すフローチャートである。まず、画像入力部１０１はサイズ変更の対象となる元画像を外部から入力する（ステップＳ１）。次に、レイヤ構造設定部１０１は画像を奥行き方向に分割するレイヤ数を決定し、元画像中のすべての画素について属するレイヤを決定する（ステップＳ２）。この画素とレイヤをそれぞれの固有画素と固有レイヤと定義する。このレイヤ数は固定のものを設定しても構わないし、画像に応じて適切なものを計算し設定しても構わないし、画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作により設定しても構わない。
【００２４】
例えば、画像に応じてレイヤ数を計算する場合、画像中の画素の奥行きを推定し、その奥行きの最大値と最小値との差を任意の定数で割ったものを用いるといった方法を用いることができる。また、画素の属するレイヤは、画素ごとに奥行き推定によって求めても構わないし、画像セグメンテーションによって幾つかの領域に分割しその領域ごとに奥行推定を行っても構わないし、領域同士の前後関係を推定しその順序を示すだけでも構わない。または、画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作により設定しても構わない。またはそれらの方法の組み合わせによって設定しても構わない。例えば、画素ごとに奥行き推定を行い、推定された奥行きを画像セグメンテーションによって求められた領域ごとに平均化するといった方法を用いてもよいし、推定された奥行きを画像として提示し、ユーザの操作によって修正を加えるといった方法でもよい。
【００２５】
次に、コストマップ設定部１０３は、任意のマップ数を決定し、元画像とレイヤ構造に基づき、マップごとにコスト算出に用いる画素を決定し、各画素についてエネルギー量を設定し、またそのエネルギー量から、画素そのものの単体コストと近傍画素との結合コストを算出し、画素ごとの合計コストを記述したコストマップをマップ数分設定する（ステップＳ３）。マップ数は固定のものを設定しても構わないし、画像とレイヤ構造に応じて適切なものを計算し設定しても構わないし、画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作により設定しても構わない。例えば、レイヤ構造に応じて設定する場合は、レイヤ数とマップ数を同数とする方法を用いることができる。
【００２６】
マップごとにコスト算出に用いる画素を決定する方法は、例えばある一つのコストマップは元画像中の全画素を用いて生成し、別の一つのコストマップは元画像中の全画素のうち特定のレイヤの固有画素を除いたものを用いて生成することによって実現できる。また、除かれた画素に相当する部分のコストは、周辺部のコストから補間して設定しても構わないし、固定値を設定しても構わない。
【００２７】
エネルギー量は、各レイヤ画像から輝度／色等の画像特徴を用いて顕著性を算出しても構わないし、顔検出などの特徴検出を用いて算出しても構わないし、ユーザの入力操作により設定しても構わない。単体コストの算出は、エネルギー値をそのまま用いても構わないし、スケーリングしても構わないし、その他の任意の関数を設計しても構わない。結合コストの算出は、ある画素とその近傍画素のエネルギーに関して任意次元のノルムを計算しても構わないし、任意の関数を設計しても構わない。また、近傍画素として隣接４近傍画素や８近傍画素を用いても構わないし、その他の任意の近傍関数を設計しても構わない。
【００２８】
次に、パス探索部１０４は、各コストマップに基づき画像を横又は縦に分断する、コスト最少のパスをそれぞれのコストマップについて探索する（ステップＳ４）。パスを構成する画素群は４近傍連結でも構わないし、８近傍連結でも構わないし、その他の任意の連結規則を用いても構わない。パスとして選択される画素数は、例えば横に分断する場合は各列１画素ずつでも構わないし、複数画素ずつでも構わない。探索法は動的計画法を用いても構わないし、その他の最適化問題の解法を用いても構わないし、全探索を行っても構わない。
【００２９】
次に、パス選択部１０５は、各コストマップに基づき探索されたパスの中から最良のものを代表パスとして選択する（ステップＳ５）。最良のパスの決定方法は、総コストの比較により最少パスを選択する方法でも構わないし、それぞれのパスに基づき画像をリサイズし、入力画像との類似度を比較し最良のものを選択するなどの方法でも構わない。解像度の異なる画像同士の類似度を測る方法としてはBi-Directional Warping(BDW)などが存在する（文献：Michael R, Ariel S, Shai A. Multi-operator Media Retargeting. ACM Transactions on Graphics. 2009;28(3)）。
【００３０】
次に、画像リサイズ部１０６は、選択された代表パスに基づいて画像をリサイズする（ステップＳ６）。リサイズの方法は、縮小の場合は、パスの画素を削除しても構わないし、パスの画素と隣接画素もしくは近傍画素とを結合しても構わないし、複数画素ずつ選択されている場合はそれらの結合でも構わない。拡大の場合は、パスの画素を複製しても構わないし、パスの画素と隣接画素とのブレンドにより新しい画素を生成しても構わないし、複数画素ずつ選択されている場合はそれらのブレンドにより新しい画素を生成しても構わない。または、画像を複数のブロックに分割しておき、パスが含まれるブロックをダウンサンプリングするといった方法でもよい。
【００３１】
次に、画像リサイズ部１０６は、画像が目標のサイズに達しているか否かを判定し（ステップＳ７）、画像が目標のサイズに達していなければステップＳ３へ戻り、処理を繰り返す。一方、画像が目標のサイズに達していれば、画像リサイズ部１０６は、リサイズした画像を画像出力部１０７へ出力する。これを受けて、画像出力部１０７は、リサイズ後の画像を外部へ出力する（ステップＳ８）。目標のサイズは、予め内部に定義されていてもよいし、外部から元画像と一緒に入力されるようにしてもよい。
【００３２】
このように、元画像に対してリサイズを行うことにより、図６に示すように画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティングを実現でき、オブジェクトの歪み・破損を回避することができる。
【００３３】
＜第２の実施形態＞
次に、本発明の第２の実施形態による画像処理装置を説明する。図３は同実施形態の構成を示すブロック図である。図１に示す画像処理装置１００との差異は、新たにパス編集部１０８を備える点である。パス編集部１０８は、パス探索部１０４で決定された各コストマップにおけるパスをレイヤ構造に基づき編集する。
【００３４】
次に、図４を参照して、図３に示す画像処理装置１００の処理動作を説明する。図４は、図３に示す画像処理装置１００が、画像のサイズ変更を行って出力する処理動作を示すフローチャートである。図４に示す処理動作が、図２に示す処理動作と異なる点は、ステップＳ４ｂが新たに設けられている点である。以下、図４に示す処理動作のうち、図２に示す処理動作と同様の処理動作については、簡単に説明する。
【００３５】
まず、画像入力部１０１はサイズ変更の対象となる元画像を外部から入力する（ステップＳ１）。次に、レイヤ構造設定部１０１は画像を奥行き方向に分割するレイヤ数を決定し、元画像中のすべての画素について属するレイヤを決定する（ステップＳ２）。
【００３６】
次に、コストマップ設定部１０３は、任意のマップ数を決定し、元画像とレイヤ構造に基づき、マップごとにコスト算出に用いる画素を決定し、各画素についてエネルギー量を設定し、またそのエネルギー量から、画素そのものの単体コストと近傍画素との結合コストを算出し、画素ごとの合計コストを記述したコストマップをマップ数分設定する（ステップＳ３）。
【００３７】
次に、パス探索部１０４は、各コストマップに基づき画像を横又は縦に分断する、コスト最少のパスをそれぞれのコストマップについて探索する（ステップＳ４）。続いて、パス編集部１０８は、各コストマップに置いて決定されたパスを、レイヤ構造に基づき編集する（ステップＳ４ｂ）。ここで、図５に示す単純な例を参照して、パス編集部１０８の処理動作を説明する。コストマップ設定部１０３は、図５（ａ）に示す領域Ａに当たるレイヤの固有画素を除外してコストマップを生成し、除外領域のコストを図５（ｂ）に示すように除外領域の輪郭部分のコスト値で横方向に一様に補間する。そして、パス探索部１０４が、このコストマップにおいて画像を縦方向に分断するパス探索を行い図５（ｃ）、図５（ｄ）に示すパスＰ１、Ｐ２が決定される。このパスＰ１、Ｐ２が決定されている場合、パス編集部１０８は、図５（ｅ）、図５（ｆ）に示すようにパスを除外領域の輪郭部分へ移動してパスＰ３、Ｐ４とする処理を行う。
【００３８】
この例において、編集前後のパスのコスト値の総和は等しく、編集後のパスを構成する画素群は、図５（ｆ）に示すように必ずしも連結していなくても構わない。この処理により、レイヤ輪郭に沿ったコスト最少の非連結性パスを高速に得ることができる。このパスに沿って画素を削除することで、例えば灰色領域が前景オブジェクトに相当する場合、前景を保存し背景領域のみを削減することができる。同様に、パスに基づく画素の増加においても前景の保存が可能である。
【００３９】
次に、パス選択部１０５は、各コストマップに基づき探索されたパスの中から最良のものを代表パスとして選択する（ステップＳ５）。そして、画像リサイズ部１０６は、選択された代表パスに基づいて画像をリサイズする（ステップＳ６）。
【００４０】
次に、画像リサイズ部１０６は、画像が目標のサイズに達しているか否かを判定し（ステップＳ７）、画像が目標のサイズに達していなければステップＳ３へ戻り、処理を繰り返す。一方、画像が目標のサイズに達していれば、画像リサイズ部１０６は、リサイズした画像を画像出力部１０７へ出力する。これを受けて、画像出力部１０７は、リサイズ後の画像を外部へ出力する（ステップＳ８）。
【００４１】
以上説明したように、画像リサイズに伴うオブジェクトの歪み・破損を回避するために、入力画像にレイヤ構造を設定し、その構造に基づき複数のコストのセットを設定し、それぞれに基づき探索したパスのうち最良のものを選択する画像リサイズを画素単位あるいは部分領域単位で繰り返し行うようにした。コストのセットを複数設定する際の指標として画像の奥行き方向の情報に基づいたレイヤ構造を用いることで、前景と後景を独立にリサイズすることができる。また、複数のパスから最良のものを選択しリサイズしていくため、レイヤ構造が不正確な部分が存在していてもそれによる明確なエラーが生じにくい。したがって被写体を切り取り再配置することによりリサイズする場合のように正確な画像セグメンテーション及びレイヤ構造生成を行う必要はない。
【００４２】
なお、図１、図３における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像のリサイズ処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４４】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００４５】
画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティング方法を取ることで、オブジェクトの歪み・破損を回避ことが不可欠な用途に適用できる。
【符号の説明】
【００４６】
１０１・・・画像入力部、１０２・・・レイヤ構造設定部、１０３・・・コストマップ設定部、１０４・・・パス探索部、１０５・・・パス選択部、１０６・・・画像リサイズ部、１０７・・・画像出力部、１０８・・・パス編集部
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
印刷及び表示装置の多様性と汎用性の増加に伴い、装置の画面サイズ、解像度及びアスペクト比の違いに合わせて映像や画像などのマルチメディアコンテンツのサイズを適切に変更する必要性が生じてきている。このようなサイズ変更は、典型的には画像を縮小するスケーリングや画像の一部を切り抜くクロッピングによって実現される。これらのサイズ変更手法は、典型的にはコンテンツの内容によらずに一様に適用され、それによってコンテンツの内容を維持するために必要な視覚情報が失われる場合もある。
【０００３】
より有効なサイズ変更法として、コンテンツ中の重要な特徴を維持しながら画像や映像のサイズ変更を行うイメージリターゲティングという方法がある。重要な特徴は、画像輪郭の検出や、顔検出などのトップダウン法や、視覚的顕著性の検出などのボトムアップ法などの方法によって検出することができる。こうした方法によりコンテンツ中の重要な特徴が含まれる領域を発見し、トリミング、シームカービング、メッシュ変形イメージリターゲティング等の方法で非線形にサイズ変更を行い、重要な特徴を維持したまま画像や映像のサイズを変更することができる。
【０００４】
シームカービングによる画像のサイズ変更では、典型的には、画像の全画素についてその画素が持つエネルギー量を設定し、画像を縦または横に分断するパスを構成する画素の総エネルギー量が最小になるように選択し、選択されたパスを構成する画素を削除／結合／複製／分割することによって画像サイズを横または縦にパスの幅ずつ縮小／拡大していくことができ、このプロセスは画像サイズが所望の値になるまで繰り返される（例えば、非特許文献１参照）。画素のエネルギー量は、前述した画素そのものの特徴量を元に計算するほかに、隣接画素など画像中の他の画素との相関関係、例えば輝度値の差分などを指標として計算される。
【０００５】
メッシュ変形イメージリターゲティングによる画像のサイズ変更では、典型的には、画像にメッシュを割り当てメッシュの変形によって画像変形を制御し、変形後の画像が所望のサイズに収まるようにメッシュ形状を最適化することによって画像のサイズ変更を行う（例えば、非特許文献２参照）。最適化に用いる目的関数は、前述した画素毎のエネルギー量や、画像全体としての尤もらしさを指標として設計する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Avidan S, Shamir A. Seam carving for content-aware image resizing. ACM Transactions on Graphics. 2007;26(3)
【非特許文献２】Wang Y-S, Tai C-L, Sorkine O, Lee T-Y. Optimized scale-and-stretch for image resizing. ACM Transactions on Graphics. 2008;27(5)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、先行技術による画像サイズ変更では、特に重要領域同士が密に存在する構造を持つ画像についてサイズを減少させる場合に、非重要領域を全て削除したとしても所望のサイズを満たさないとき、必然的に重要領域を変形・削除することになる。例えば画像中に２つのオブジェクトが隣り合って存在する場合、これらのオブジェクトが存在する領域は高い重要特徴量をもつ可能性が高く、サイズ変更に伴う変形・削除はオブジェクト領域を回避して行われる可能性が高いが、もし画像の幅をこのオブジェクトの幅よりも小さく変更する場合、変形・削除はオブジェクト領域内に及び、オブジェクトの形状を歪め輪郭を破損してしまう。
【０００８】
単純な例を図７に示す。従来技術を用いて図７（ａ）に示す画像を横方向に縮小する場合、図７（ｂ）に示す画像のようなオブジェクト輪郭の破損した画像が生成されてしまうという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、画像中のオブジェクト輪郭の破損を抑止することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、画像を入力する画像入力ステップと、所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、前記レイヤ構造に基づき、前記画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定ステップと、生成された前記コストマップを参照して、前記画像を分断するパスを前記コストマップごとに探索するパス探索ステップと、探索された前記パスの中から最良のパスを代表パスとして選択するパス選択ステップと、前記代表パスに沿って前記画像のサイズを変更してリサイズ画像を出力する画像リサイズステップとを有することを特徴とする。
【００１１】
本発明は、前記コストマップ設定ステップは、前記画像の全画素または部分領域のもつエネルギー量に基づき、前記画像の全画素または部分領域のもつ縮小または拡張に対するコストを複数のコスト関数に基づき計算して、前記複数のコストマップを生成し、前記パス探索ステップは、前記コストマップに基づき画素または部分領域の集合からなるパスを探索することを特徴とする。
【００１２】
本発明は、前記コストマップ設定ステップは、前記レイヤ構造に基づきコスト算出に用いる画素または部分領域を前記コストマップごとに一部除外したコスト除外領域とし、前記コスト除外領域に相当するコストを新たに設定することを特徴とする。
【００１３】
本発明は、前記パス選択ステップは、前記パスに基づいて画像サイズの変更を実行し画質評価を行い、最良の画質が得られたパスを前記代表パスとすることを特徴とする。
【００１４】
本発明は、前記パス探索部で得られたパスそれぞれについて前記レイヤ構造に基づいた編集を行うパス編集ステップをさらに有することを特徴とする。
【００１５】
本発明は、前記パス編集ステップは、前記パスそれぞれについて、前記レイヤ構造に基づき画素または部分領域を一部パス除外領域とした除外領域内に含まれる前記パスを構成する画素または部分領域を前記パス除外領域輪郭部の画素または部分領域に再設定することを特徴とする。
【００１６】
本発明は、画像を入力する画像入力手段と、所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定手段と、前記レイヤ構造に基づき、前記画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定手段と、生成された前記コストマップを参照して、前記画像を分断するパスを前記コストマップごとに探索するパス探索手段と、探索された前記パスの中から最良のパスを代表パスとして選択するパス選択ステップと、前記代表パスに沿って前記画像のサイズを変更してリサイズ画像を出力する画像リサイズ手段とを備えることを特徴とする。
【００１７】
本発明は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１８】
本発明によれば、入力画像中の全画素について奥行き方向に属するレイヤを決定し、レイヤ構造に基づき画像リサイズに用いるコストのセットを複数パターン設定し、それぞれに基づいたパスから最良のものを選択する画像リサイズを画素単位あるいは部分領域単位で繰り返し行うことで、重要領域が画像中に広く分布し削除領域の選択が難しい場合においても良好なリサイズ結果を得ることができるという効果が得られる。
【００１９】
また、レイヤ構造に基づきコスト一様な領域を設け、その内部を通るパスを領域輪郭部に再配置することで、前景を損ねず後景をリサイズするためのコスト最少の非連結性パスを容易に得ることができ、画像中の異なるレイヤに存在するオブジェクト同士を、破損・歪みを回避し、相互の重ね合わせを許容しながら配置を変更し、画像をリサイズすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の処理動作を示すフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】図３に示す装置の処理動作を示すフローチャートである。
【図５】画像のリサイズ動作を示す説明図である。
【図６】画像のリサイズ結果を示す説明図である。
【図７】従来技術による画像のリサイズ例を示す説明図である。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置によって構成され、画像入力部１０１と、レイヤ構造設定部１０２と、コストマップ設定部１０３と、パス探索部１０４と、パス選択部１０５と、画像リサイズ部１０６と、画像出力部１０７とを備える。
【００２２】
画像入力部１０１は、サイズ変更の対象となる元画像を入力する。レイヤ構造設定部１０２は、任意の数のレイヤを定義し、画像中の各画素に対してその画素が属するレイヤを設定する。コストマップ設定部１０３は、レイヤ構造に基づき、元画像の全画素についてエネルギー量を設定し、複数のコストマップを生成する。パス探索部１０４は、生成された各コストマップを参照して、画像を縦または横に分断するパスをコストマップごとに探索する。パス選択部１０５は、全てのコストマップのパスの中から最良のものを代表パスとして選択する。画像リサイズ部１０６は、選択された代表パスに沿って画素の削除／結合／複製／分割をすることによって画像サイズを横又は縦に縮小／拡大する。画像出力部１０７は、リサイズされた画像を出力する。
【００２３】
次に、図２を参照して、図１に示す画像処理装置１００の処理動作を説明する。図２は図１に示す画像処理装置１００が、画像のサイズ変更を行って出力する処理動作を示すフローチャートである。まず、画像入力部１０１はサイズ変更の対象となる元画像を外部から入力する（ステップＳ１）。次に、レイヤ構造設定部１０１は画像を奥行き方向に分割するレイヤ数を決定し、元画像中のすべての画素について属するレイヤを決定する（ステップＳ２）。この画素とレイヤをそれぞれの固有画素と固有レイヤと定義する。このレイヤ数は固定のものを設定しても構わないし、画像に応じて適切なものを計算し設定しても構わないし、画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作により設定しても構わない。
【００２４】
例えば、画像に応じてレイヤ数を計算する場合、画像中の画素の奥行きを推定し、その奥行きの最大値と最小値との差を任意の定数で割ったものを用いるといった方法を用いることができる。また、画素の属するレイヤは、画素ごとに奥行き推定によって求めても構わないし、画像セグメンテーションによって幾つかの領域に分割しその領域ごとに奥行推定を行っても構わないし、領域同士の前後関係を推定しその順序を示すだけでも構わない。または、画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作により設定しても構わない。またはそれらの方法の組み合わせによって設定しても構わない。例えば、画素ごとに奥行き推定を行い、推定された奥行きを画像セグメンテーションによって求められた領域ごとに平均化するといった方法を用いてもよいし、推定された奥行きを画像として提示し、ユーザの操作によって修正を加えるといった方法でもよい。
【００２５】
次に、コストマップ設定部１０３は、任意のマップ数を決定し、元画像とレイヤ構造に基づき、マップごとにコスト算出に用いる画素を決定し、各画素についてエネルギー量を設定し、またそのエネルギー量から、画素そのものの単体コストと近傍画素との結合コストを算出し、画素ごとの合計コストを記述したコストマップをマップ数分設定する（ステップＳ３）。マップ数は固定のものを設定しても構わないし、画像とレイヤ構造に応じて適切なものを計算し設定しても構わないし、画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作により設定しても構わない。例えば、レイヤ構造に応じて設定する場合は、レイヤ数とマップ数を同数とする方法を用いることができる。
【００２６】
マップごとにコスト算出に用いる画素を決定する方法は、例えばある一つのコストマップは元画像中の全画素を用いて生成し、別の一つのコストマップは元画像中の全画素のうち特定のレイヤの固有画素を除いたものを用いて生成することによって実現できる。また、除かれた画素に相当する部分のコストは、周辺部のコストから補間して設定しても構わないし、固定値を設定しても構わない。
【００２７】
エネルギー量は、各レイヤ画像から輝度／色等の画像特徴を用いて顕著性を算出しても構わないし、顔検出などの特徴検出を用いて算出しても構わないし、ユーザの入力操作により設定しても構わない。単体コストの算出は、エネルギー値をそのまま用いても構わないし、スケーリングしても構わないし、その他の任意の関数を設計しても構わない。結合コストの算出は、ある画素とその近傍画素のエネルギーに関して任意次元のノルムを計算しても構わないし、任意の関数を設計しても構わない。また、近傍画素として隣接４近傍画素や８近傍画素を用いても構わないし、その他の任意の近傍関数を設計しても構わない。
【００２８】
次に、パス探索部１０４は、各コストマップに基づき画像を横又は縦に分断する、コスト最少のパスをそれぞれのコストマップについて探索する（ステップＳ４）。パスを構成する画素群は４近傍連結でも構わないし、８近傍連結でも構わないし、その他の任意の連結規則を用いても構わない。パスとして選択される画素数は、例えば横に分断する場合は各列１画素ずつでも構わないし、複数画素ずつでも構わない。探索法は動的計画法を用いても構わないし、その他の最適化問題の解法を用いても構わないし、全探索を行っても構わない。
【００２９】
次に、パス選択部１０５は、各コストマップに基づき探索されたパスの中から最良のものを代表パスとして選択する（ステップＳ５）。最良のパスの決定方法は、総コストの比較により最少パスを選択する方法でも構わないし、それぞれのパスに基づき画像をリサイズし、入力画像との類似度を比較し最良のものを選択するなどの方法でも構わない。解像度の異なる画像同士の類似度を測る方法としてはBi-Directional Warping(BDW)などが存在する（文献：Michael R, Ariel S, Shai A. Multi-operator Media Retargeting. ACM Transactions on Graphics. 2009;28(3)）。
【００３０】
次に、画像リサイズ部１０６は、選択された代表パスに基づいて画像をリサイズする（ステップＳ６）。リサイズの方法は、縮小の場合は、パスの画素を削除しても構わないし、パスの画素と隣接画素もしくは近傍画素とを結合しても構わないし、複数画素ずつ選択されている場合はそれらの結合でも構わない。拡大の場合は、パスの画素を複製しても構わないし、パスの画素と隣接画素とのブレンドにより新しい画素を生成しても構わないし、複数画素ずつ選択されている場合はそれらのブレンドにより新しい画素を生成しても構わない。または、画像を複数のブロックに分割しておき、パスが含まれるブロックをダウンサンプリングするといった方法でもよい。
【００３１】
次に、画像リサイズ部１０６は、画像が目標のサイズに達しているか否かを判定し（ステップＳ７）、画像が目標のサイズに達していなければステップＳ３へ戻り、処理を繰り返す。一方、画像が目標のサイズに達していれば、画像リサイズ部１０６は、リサイズした画像を画像出力部１０７へ出力する。これを受けて、画像出力部１０７は、リサイズ後の画像を外部へ出力する（ステップＳ８）。目標のサイズは、予め内部に定義されていてもよいし、外部から元画像と一緒に入力されるようにしてもよい。
【００３２】
このように、元画像に対してリサイズを行うことにより、図６に示すように画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティングを実現でき、オブジェクトの歪み・破損を回避することができる。
【００３３】
＜第２の実施形態＞
次に、本発明の第２の実施形態による画像処理装置を説明する。図３は同実施形態の構成を示すブロック図である。図１に示す画像処理装置１００との差異は、新たにパス編集部１０８を備える点である。パス編集部１０８は、パス探索部１０４で決定された各コストマップにおけるパスをレイヤ構造に基づき編集する。
【００３４】
次に、図４を参照して、図３に示す画像処理装置１００の処理動作を説明する。図４は、図３に示す画像処理装置１００が、画像のサイズ変更を行って出力する処理動作を示すフローチャートである。図４に示す処理動作が、図２に示す処理動作と異なる点は、ステップＳ４ｂが新たに設けられている点である。以下、図４に示す処理動作のうち、図２に示す処理動作と同様の処理動作については、簡単に説明する。
【００３５】
まず、画像入力部１０１はサイズ変更の対象となる元画像を外部から入力する（ステップＳ１）。次に、レイヤ構造設定部１０１は画像を奥行き方向に分割するレイヤ数を決定し、元画像中のすべての画素について属するレイヤを決定する（ステップＳ２）。
【００３６】
次に、コストマップ設定部１０３は、任意のマップ数を決定し、元画像とレイヤ構造に基づき、マップごとにコスト算出に用いる画素を決定し、各画素についてエネルギー量を設定し、またそのエネルギー量から、画素そのものの単体コストと近傍画素との結合コストを算出し、画素ごとの合計コストを記述したコストマップをマップ数分設定する（ステップＳ３）。
【００３７】
次に、パス探索部１０４は、各コストマップに基づき画像を横又は縦に分断する、コスト最少のパスをそれぞれのコストマップについて探索する（ステップＳ４）。続いて、パス編集部１０８は、各コストマップに置いて決定されたパスを、レイヤ構造に基づき編集する（ステップＳ４ｂ）。ここで、図５に示す単純な例を参照して、パス編集部１０８の処理動作を説明する。コストマップ設定部１０３は、図５（ａ）に示す領域Ａに当たるレイヤの固有画素を除外してコストマップを生成し、除外領域のコストを図５（ｂ）に示すように除外領域の輪郭部分のコスト値で横方向に一様に補間する。そして、パス探索部１０４が、このコストマップにおいて画像を縦方向に分断するパス探索を行い図５（ｃ）、図５（ｄ）に示すパスＰ１、Ｐ２が決定される。このパスＰ１、Ｐ２が決定されている場合、パス編集部１０８は、図５（ｅ）、図５（ｆ）に示すようにパスを除外領域の輪郭部分へ移動してパスＰ３、Ｐ４とする処理を行う。
【００３８】
この例において、編集前後のパスのコスト値の総和は等しく、編集後のパスを構成する画素群は、図５（ｆ）に示すように必ずしも連結していなくても構わない。この処理により、レイヤ輪郭に沿ったコスト最少の非連結性パスを高速に得ることができる。このパスに沿って画素を削除することで、例えば灰色領域が前景オブジェクトに相当する場合、前景を保存し背景領域のみを削減することができる。同様に、パスに基づく画素の増加においても前景の保存が可能である。
【００３９】
次に、パス選択部１０５は、各コストマップに基づき探索されたパスの中から最良のものを代表パスとして選択する（ステップＳ５）。そして、画像リサイズ部１０６は、選択された代表パスに基づいて画像をリサイズする（ステップＳ６）。
【００４０】
次に、画像リサイズ部１０６は、画像が目標のサイズに達しているか否かを判定し（ステップＳ７）、画像が目標のサイズに達していなければステップＳ３へ戻り、処理を繰り返す。一方、画像が目標のサイズに達していれば、画像リサイズ部１０６は、リサイズした画像を画像出力部１０７へ出力する。これを受けて、画像出力部１０７は、リサイズ後の画像を外部へ出力する（ステップＳ８）。
【００４１】
以上説明したように、画像リサイズに伴うオブジェクトの歪み・破損を回避するために、入力画像にレイヤ構造を設定し、その構造に基づき複数のコストのセットを設定し、それぞれに基づき探索したパスのうち最良のものを選択する画像リサイズを画素単位あるいは部分領域単位で繰り返し行うようにした。コストのセットを複数設定する際の指標として画像の奥行き方向の情報に基づいたレイヤ構造を用いることで、前景と後景を独立にリサイズすることができる。また、複数のパスから最良のものを選択しリサイズしていくため、レイヤ構造が不正確な部分が存在していてもそれによる明確なエラーが生じにくい。したがって被写体を切り取り再配置することによりリサイズする場合のように正確な画像セグメンテーション及びレイヤ構造生成を行う必要はない。
【００４２】
なお、図１、図３における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像のリサイズ処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４４】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００４５】
画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティング方法を取ることで、オブジェクトの歪み・破損を回避ことが不可欠な用途に適用できる。
【符号の説明】
【００４６】
１０１・・・画像入力部、１０２・・・レイヤ構造設定部、１０３・・・コストマップ設定部、１０４・・・パス探索部、１０５・・・パス選択部、１０６・・・画像リサイズ部、１０７・・・画像出力部、１０８・・・パス編集部
【特許請求の範囲】
【請求項１】
画像を入力する画像入力ステップと、
所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、
前記レイヤ構造に基づき、前記画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定ステップと、
生成された前記コストマップを参照して、前記画像を分断するパスを前記コストマップごとに探索するパス探索ステップと、
探索された前記パスの中から最良のパスを代表パスとして選択するパス選択ステップと、
前記代表パスに基づいて前記画像のサイズを変更してリサイズ画像を出力する画像リサイズステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記コストマップ設定ステップは、前記画像の全画素または部分領域のもつエネルギー量に基づき、前記画像の全画素または部分領域のもつ縮小または拡張に対するコストを複数のコスト関数に基づき計算して、前記複数のコストマップを生成し、
前記パス探索ステップは、前記コストマップに基づき画素または部分領域の集合からなるパスを探索することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記コストマップ設定ステップは、前記レイヤ構造に基づきコスト算出に用いる画素または部分領域を前記コストマップごとに一部除外したコスト除外領域とし、前記コスト除外領域に相当するコストを新たに設定することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記パス選択ステップは、前記パスに基づいて画像サイズの変更を実行し画質評価を行い、最良の画質が得られたパスを前記代表パスとすることを特徴とする請求項１から請求項３のいずれかに記載の画像処理方法。
【請求項５】
前記パス探索部で得られたパスそれぞれについて前記レイヤ構造に基づいた編集を行うパス編集ステップをさらに有することを特徴とする請求項１から請求項４のいずれかに記載の画像処理方法。
【請求項６】
前記パス編集ステップは、前記パスそれぞれについて、前記レイヤ構造に基づき画素または部分領域を一部パス除外領域とした除外領域内に含まれる前記パスを構成する画素または部分領域を前記パス除外領域輪郭部の画素または部分領域に再設定することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
画像を入力する画像入力手段と、
所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定手段と、
前記レイヤ構造に基づき、前記画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定手段と、
生成された前記コストマップを参照して、前記画像を分断するパスを前記コストマップごとに探索するパス探索手段と、
探索された前記パスの中から最良のパスを代表パスとして選択するパス選択ステップと、
前記代表パスに基づいて前記画像のサイズを変更してリサイズ画像を出力する画像リサイズ手段と
を備えることを特徴とする画像処理装置。
【請求項８】
請求項１から請求項６のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【請求項１】
画像を入力する画像入力ステップと、
所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、
前記レイヤ構造に基づき、前記画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定ステップと、
生成された前記コストマップを参照して、前記画像を分断するパスを前記コストマップごとに探索するパス探索ステップと、
探索された前記パスの中から最良のパスを代表パスとして選択するパス選択ステップと、
前記代表パスに基づいて前記画像のサイズを変更してリサイズ画像を出力する画像リサイズステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記コストマップ設定ステップは、前記画像の全画素または部分領域のもつエネルギー量に基づき、前記画像の全画素または部分領域のもつ縮小または拡張に対するコストを複数のコスト関数に基づき計算して、前記複数のコストマップを生成し、
前記パス探索ステップは、前記コストマップに基づき画素または部分領域の集合からなるパスを探索することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記コストマップ設定ステップは、前記レイヤ構造に基づきコスト算出に用いる画素または部分領域を前記コストマップごとに一部除外したコスト除外領域とし、前記コスト除外領域に相当するコストを新たに設定することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記パス選択ステップは、前記パスに基づいて画像サイズの変更を実行し画質評価を行い、最良の画質が得られたパスを前記代表パスとすることを特徴とする請求項１から請求項３のいずれかに記載の画像処理方法。
【請求項５】
前記パス探索部で得られたパスそれぞれについて前記レイヤ構造に基づいた編集を行うパス編集ステップをさらに有することを特徴とする請求項１から請求項４のいずれかに記載の画像処理方法。
【請求項６】
前記パス編集ステップは、前記パスそれぞれについて、前記レイヤ構造に基づき画素または部分領域を一部パス除外領域とした除外領域内に含まれる前記パスを構成する画素または部分領域を前記パス除外領域輪郭部の画素または部分領域に再設定することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
画像を入力する画像入力手段と、
所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定手段と、
前記レイヤ構造に基づき、前記画像の全画素についてエネルギー量を設定し、複数のコストマップを生成するコストマップ設定手段と、
生成された前記コストマップを参照して、前記画像を分断するパスを前記コストマップごとに探索するパス探索手段と、
探索された前記パスの中から最良のパスを代表パスとして選択するパス選択ステップと、
前記代表パスに基づいて前記画像のサイズを変更してリサイズ画像を出力する画像リサイズ手段と
を備えることを特徴とする画像処理装置。
【請求項８】
請求項１から請求項６のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−８４２０２（Ｐ２０１３−８４２０２Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４９１６（Ｐ２０１１−２２４９１６）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]