画像処理プログラム、および画像処理装置
【課題】画像の修正を行うこと。
【解決手段】制御装置１０３は、使用者によって画像内に設定された編集対象領域内の画像から特徴色を抽出し、抽出した特徴色以外の色に基づいて、編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成し、生成した編集用データを用いて、編集対象領域内に含まれる不要な被写体を消去する。
【解決手段】制御装置１０３は、使用者によって画像内に設定された編集対象領域内の画像から特徴色を抽出し、抽出した特徴色以外の色に基づいて、編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成し、生成した編集用データを用いて、編集対象領域内に含まれる不要な被写体を消去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、および画像処理装置に関する。
【背景技術】
【０００２】
次のようなデジタル画像内の不所望なオブジェクト等の消去方法が知られている。この方法では、ユーザが指定した不所望なオブジェクト等を含む領域内の画素を、生成したテクスチャにより置き換えることで、デジタル画像内から不所望なオブジェクト等を消去することによって画像を修正する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６３４３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、使用者が指定した領域内から、必ずしも所望の被写体が消去されるとは限らず、使用者が望む被写体とは異なる被写体が消去されてしまう可能性があった。
【課題を解決するための手段】
【０００５】
本発明による画像処理プログラムは、使用者によって対象画像内に設定された領域を編集対象領域として設定する領域設定手順と、領域設定手順で設定した編集対象領域内の画像、編集対象領域の周辺領域内の画像、または編集対象領域内と編集対象領域の周辺領域内との画像を領域内画像として抽出し、領域内画像から特徴色を抽出する抽出手順と、抽出手順で抽出した特徴色以外の色に基づいて、編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成する生成手順と、生成手順で生成した編集用データを用いて、編集対象領域内に含まれる不要な被写体を消去する画像処理手順とをコンピュータに実行させることを特徴とする。
本発明では、抽出手順は、領域内画像の色相の頻度を算出し、色相の頻度が最も高い色を特徴色として抽出するようにしてもよく、この場合、生成手順は、色相の頻度が２番目に高い色に基づいて編集用データを生成し、画像処理手順は、編集対象領域内における特徴色の画素の画素値を編集用データを用いて補正することにより、編集対象領域内に含まれる不要な被写体を消去するようにしてもよい。
抽出手順は、領域内画像の色相の頻度を算出し、色相の頻度が２番目に高い色を特徴色として抽出するようにしてもよく、この場合、生成手順は、色相の頻度が最も高い色に基づいて編集用データを生成し、画像処理手順は、編集対象領域内における特徴色の画素の画素値を編集用データを用いて補正することにより、編集対象領域内に含まれる不要な被写体を消去するようにしてもよい。
抽出手順は、領域内画像の中央部分に存在する色を特徴色として抽出するようにしてもよい。
抽出手順は、領域内画像内で最も大きな面積を占める色を特徴色として抽出するようにしてもよい。
抽出手順は、領域内画像内に含まれる複数の色をユーザに提示し、その中からユーザによって選択された色を特徴色として特定するようにしてもよい。
生成手順は、領域内画像内における特徴色以外の画素の画素値に基づいて編集用データを生成し、画像処理手順は、領域内画像内における特徴色の画素の画素値を編集用データを用いて補正することにより、編集対象領域内に含まれる不要な被写体を消去するようにしてもよい。
抽出手順は、領域内画像を複数の分割領域に分割し、各分割領域ごとに特徴色を抽出し、生成手順は、各分割領域ごとに編集用データを生成するようにしてもよい。
本発明による画像処理装置は、上記いずれかの画像処理プログラムを実行する実行手段を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、使用者が望む被写体を消去できる可能性を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】パソコンの一実施の形態の構成を示すブロック図である。
【図２】画像内に写り込んでいる電線Ａを消去する場合の具体例を示す図である。
【図３】画像修正処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、パーソナルコンピュータ（パソコン）１００が用いられ、このパソコン１００は、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。
【０００９】
操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、パソコン１００と外部機器とを接続するためのインターフェースである。本実施の形態では、パソコン１００は、この接続ＩＦ１０２を介してデジタルカメラと接続され、デジタルカメラからは撮影によって得られた画像ファイルが取り込まれる。なお、接続ＩＦ１０２としては、パソコン１００とデジタルカメラとを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。
【００１０】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、パソコン１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。
【００１１】
ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像ファイルのデータや、制御装置１０３で実行される種々のプログラムのデータ等を記録するための記録装置である。なお、ＨＤＤ１０４に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されて提供され、使用者が当該記憶媒体を用いてプログラムのデータをＨＤＤ１０４にインストールすることによって、制御装置１０３がプログラムを実行できるようになる。モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される種々の表示用データが表示される。
【００１２】
本実施の形態におけるパソコン１００では、使用者は、画像処理アプリケーションを実行してＨＤＤ１０４に記録されている画像ファイルの画像を表示し、表示中の画像を編集することができる。例えば、図２（ａ）に示すように、画像内に電線Ａが写り込んでいる場合に、使用者は、画像内から電線Ａを消去して画像を修復することができる。具体的には、使用者は、図２（ｂ）に示すように、画像処理アプリケーションが備える編集ツールの１つである矩形ツールを用いて電線Ａを含む領域２ａを指定したり、図２（ｃ）に示すように、画像処理アプリケーションが備える編集ツールの１つである修復ブラシツールを用いて電線Ａを含む領域２ｂを指定したりする。
【００１３】
制御装置１０３は、使用者が指定した領域（２ａまたは２ｂ）を編集対象領域として特定し、当該編集対象領域内に含まれる不要な被写体（この場合は電線Ａ）を消去するための画像処理（以下、「画像修正処理」と呼ぶ）を実行する。具体的な画像修正処理の方法については後述する。
【００１４】
編集対象領域の指定方法として修復ブラシツールを用いる場合には、使用者は、使用するブラシの大きさを選択してから、その大きさのブラシを画像上の消去したい被写体、すなわち上述した電線Ａ等の不要な被写体上で移動させることにより、ブラシが移動した範囲内の領域を編集対象領域として指定することができる。なお、ブラシの大きさは、段階的に大きくなるように複数の大きさが用意されており、使用者は、その中から任意のブラシの大きさを選択する。
【００１５】
このとき、使用者は、消去したい被写体を含むように編集対象領域を設定することになるが、制御装置１０３は、使用者が編集対象領域内のどの被写体を消去しようとしているかを特定することができないと、画像修正処理の結果、使用者が消去したいと考えていた被写体が正しく消去されない可能性がある。
【００１６】
例えば、使用者は、図２（ｄ）に示すように、図２（ａ）に示した画像内の被写体のうち、電線Ａ以外の被写体はそのまま残し、電線Ａのみが消去された画像を得たいと考えて編集対象領域を指定したとする。しかしながら、画像修正処理の結果、図２（ｅ）に示すように、本来消去したかった電線Ａは残ったまま、領域２ｃ内にあった花が消去されてしまう可能性がある。あるいは、図２（ｆ）に示すように、電線Ａと花の両方が消去されてしまう可能性もある。
【００１７】
このような場合には、使用者は、その後、改めて編集対象領域を設定し直して画像修正処理を実行する必要がある。さらに、そのときの画像修正処理の結果が使用者の望むものでない場合には、使用者は、再び編集対象領域を設定し直す必要があり、所望の結果が得られるまでこれを繰り返さなければならない。本実施の形態では、使用者がこのような煩雑な操作を行わなくても、使用者が意図した被写体を画像から消去できるように、制御装置１０３は、以下に示す処理を行う。
【００１８】
具体的には、制御装置１０３は、使用者によってブラシを用いて画像上に編集対象領域が指定された場合には、指定された編集対象領域内の画像を抽出し、抽出した編集対象領域内の画像の色空間、例えばＲＧＢ空間をＬＣＨ空間に変換する。制御装置１０３は、ＬＣＨ空間に変換した後の編集対象領域内の画像を対象として各画素の色相を算出する。そして、制御装置１０３は、色相環を複数の領域に分割する。例えば、制御装置１０３は、色相環を１６度幅で１０分割、または２２．５度幅で１６分割する。
【００１９】
その後、制御装置１０３は、色相環の各分割領域ごとに、編集対象領域内における各画素の色相の出現頻度を算出することにより、編集対象領域内の色相の分布を算出する。そして、制御装置１０３は、算出した色相の分布に基づいて、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出する。また、編集対象領域内において特徴色が算出された画素を編集対象の画素として特定する。
【００２０】
次に、制御装置１０３は、編集対象領域内における上述した特徴色以外の色に基づいて、編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成する。具体的には、制御装置１０３は、編集対象領域内において２番目に出現頻度の高い色相を特定し、編集対象領域内において該２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定する。そして、制御装置１０３は、特定した編集用の画素のそれぞれの画素値を求め、その画素値の平均値を編集用データとして算出する。そして、制御装置１０３は、上述した編集対象領域内で特定した編集対象の画素の画素値を、上記編集用データで置換することによって、編集対象領域内に含まれる不要な被写体を消去する。
【００２１】
このように、使用者によって設定された編集対象領域内において最も出現頻度の高い色相を特徴色として算出し、該特徴色が算出された画素を編集対象の画素として特定することにより、使用者は、消去したい被写体を大きく含むように編集対象領域を設定する可能性が高いことを加味して、使用者が消去したい被写体を精度高く特定することができる。また、編集対象領域内において２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定し、その画素値の平均値を編集用データとして用いて編集対象の画素の画素値を置換することにより、編集対象の画素の周辺画素を用いて、使用者が消去したい被写体を精度高く消去することが可能となる。
【００２２】
図３は、本実施の形態における画像修正処理の流れを示すフローチャートである。この図３に示す処理は、使用者によって画像修正処理用アプリケーションの実行が指示されると起動するプログラムとして、制御装置１０３によって実行される。
【００２３】
ステップＳ１０において、制御装置１０３は、使用者によって画像の編集ツールとして修復ブラシツールが選択され、該修復ブラシツールが操作されて画像内に編集対象領域が指定されたか否かを判断する。ステップＳ１０で肯定判断した場合には、ステップＳ２０へ進み、制御装置１０３は、画像内から編集対象領域内の画像を抽出して、ステップＳ３０へ進む。ステップＳ３０では、制御装置１０３は、ステップＳ２０で抽出した編集対象領域内の画像の色空間、例えばＲＧＢ空間をＬＣＨ空間に変換して、ステップＳ４０へ進む。
【００２４】
ステップＳ４０では、制御装置１０３は、上述したように、ＬＣＨ空間に変換した後の編集対象領域内の画像を対象として各画素の色相を算出する。そして、制御装置１０３は、色相環を複数の領域に分割して、色相環の各分割領域ごとに、編集対象領域内における各画素の色相の出現頻度を算出することにより、編集対象領域内の色相の分布を算出する。さらに、制御装置１０３は、算出した色相の分布に基づいて、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出する。また、制御装置１０３は、編集対象領域内において特徴色が算出された画素を編集対象の画素として特定する。
【００２５】
その後、ステップＳ５０へ進み、制御装置１０３は、上述したように、編集対象領域内において２番目に出現頻度の高い色相を特定し、編集対象領域内において該２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定する。そして、制御装置１０３は、特定した編集用の画素のそれぞれの画素値を求め、その画素値の平均値を編集用データとして算出する。その後、ステップＳ６０へ進む。
【００２６】
ステップＳ６０では、制御装置１０３は、ステップＳ４０で特定した編集対象の画素の画素値を、ステップＳ５０で算出した編集用データで置換することによって、編集対象領域内に含まれる不要な被写体を消去する。その後、処理を終了する。
【００２７】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０３は、使用者によって画像内に設定された編集対象領域内の画像から特徴色を抽出し、抽出した特徴色以外の色に基づいて、編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成し、生成した編集用データを用いて、編集対象領域内に含まれる不要な被写体を消去するようにした。これによって、編集対象領域内における特徴色が使用者が消去したい被写体の色である可能性が高いことを加味して、使用者が消去したい被写体を精度高く特定して消去することができる。
【００２８】
（２）制御装置１０３は、編集対象領域内における各画素の色相の出現頻度を算出し、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出するようにした。これによって、使用者は消去したい被写体を大きく含むように編集対象領域を設定する可能性が高いことから、最も出現頻度が高い色相を特徴色として抽出して編集対象の画素を特定することにより、使用者が消去したい被写体を精度高く特定することができる。
【００２９】
（３）制御装置１０３は、編集対象領域内において２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定し、特定した編集用の画素の画素値の平均値を編集用データとして算出するようにした。そして、制御装置１０３は、編集対象領域内で特定した編集対象の画素の画素値を、編集用データで置換することによって、編集対象領域内に含まれる不要な被写体を消去するようにした。これによって、編集対象の画素の周辺画素を用いて、使用者が消去したい被写体を精度高く消去することが可能となる。
【００３０】
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０３は、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出し、編集対象領域内において該特徴色が算出された画素を編集対象の画素として特定するようにした。また、制御装置１０３は、編集対象領域内において２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定し、特定した編集用の画素の画素値の平均値を編集用データとして算出するようにした。しかしながら、制御装置１０３は、編集対象領域内において２番目に出現頻度の高い色相を編集対象領域における特徴色として抽出し、編集対象領域内において該特徴色が算出された画素を編集対象の画素として特定するようにし、編集対象領域内において最も出現頻度の高い色相が算出された画素を編集用の画素として特定し、特定した編集用の画素の画素値の平均値を編集用データとして算出するようにしてもよい。これによって、使用者が消去したい被写体の領域よりも背景領域を多く含むように編集対象領域を設定した場合でも、使用者が消去したい被写体を精度高く特定し、背景領域の画素を用いて被写体を消去することが可能となる。
【００３１】
（２）また、上述した実施の形態と上記変形例（１）とを組み合わせてもよい。すなわち、制御装置１０３は、上述した実施の形態における画像修正処理を行なって被写体を消去した後の画像と、上記変形例（１）における画像修正処理を行なって被写体を消去した後の画像とをモニタ１０５上に並べて表示し、その中から使用者によって選択された画像を最終的な編集後の画像として採用するようにしてもよい。
【００３２】
（３）上述した実施の形態では、制御装置１０３は、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出する例について説明した。しかしながら、制御装置１０３は、編集対象領域内の画像の色情報に基づいて、編集対象領域内の中央部分に存在する色を特定し、これを編集対象領域における特徴色として特定するようにしてもよい。なお、編集対象領域内の中央部分に存在する色とは、例えば、設定された編集対象領域が円形の場合や縦横比が大きく異ならない矩形の場合には、設定された編集対象領域の中心部分またはその近傍の一部分の色成分を意味する。また、設定された編集対象領域が縦横比が大きく異なる矩形の場合には、設定された編集対象領域の短辺方向の中心、かつ長辺方向の全体に分布する色成分を意味する。
【００３３】
そして、この場合には、制御装置１０３は、画像内の編集対象領域内において特徴色が算出された画素の画素値を、編集対象領域内における特徴色以外の画素の画素値を用いて置き換えることにより、編集対象領域内に含まれる不要な被写体を消去すればよい。これによって、使用者は、消去したい被写体が中央部分に位置するように編集対象領域を指定する可能性が高いことを加味して、使用者が消去したい被写体を精度高く特定し、これを消去することが可能となる。
【００３４】
（４）あるいは、制御装置１０３は、編集対象領域内で最も大きな面積を占める色を特徴的な色として特定するようにしてもよい。これによって、使用者は、消去したい被写体を大きく含むように編集対象領域を設定する可能性が高いことを加味して、使用者が消去したい被写体を精度高く特定し、これを消去することが可能となる。
【００３５】
（５）あるいは、制御装置１０３は、編集対象領域内に含まれる複数の色をユーザに提示し、その中からユーザによって選択された色を特徴的な色として特定するようにするようにしてもよい。これによって、使用者は、消去したい被写体の色を直接指定することができるため、使用者が消去したい被写体を精度高く特定し、これを消去することが可能となる。
【００３６】
（６）上述した実施の形態では、制御装置１０３は、編集対象領域内の画像を抽出し、抽出した編集対象領域内の画像を対象として画像修正処理を行う例について説明した。しかしながら、制御装置１０３は、編集対象領域を複数の分割領域に分割して各分割領域ごとに画像修正処理を行なうようにしてもよい。これによって、例えば使用者によって設定された編集対象領域の面積が大きい場合でも、分割領域ごとに画像修正処理を行なうことができ、処理精度を向上させることができる。
【００３７】
（７）上述した実施の形態では、使用者は、画像処理アプリケーションが備える編集ツールの１つである矩形ツールや修復ブラシツールを用いて編集対象領域を指定する例について説明した。しかしながら、使用者は、その他の方法によって編集対象領域を指定してもよい。例えば、描画ツールを用いてフリーハンドで画像上に編集対象領域を描画することによって指定してもよい。あるいは、使用者がマウスを使用して画像内で消去したい被写体上の１点をクリックしたときに、制御装置１０３は、クリックされた位置の画素と連続し、かつ色が類似している画素が存在する領域を自動的に認識し、認識した領域、または認識した領域とその周辺画素とを含んだ領域を編集対象領域としてもよい。
【００３８】
（８）上述した実施の形態、および変形例では、制御装置１０３は、使用者によって指定された編集対象領域内の画像を抽出し、該編集対象領域内の画像を対象として画像修正処理を行う例について説明した。しかしながら、制御装置１０３は、編集対象領域内の画像の代わりに、編集対象領域の周辺領域内の画像、または編集対象領域内および編集対象領域の周辺領域内の画像を抽出して、これらの画像を対象として画像修正処理を行うようにしてもよい。
【００３９】
（９）上述した実施の形態では、画像処理装置としては、パソコン１００を使用する例について説明したが、これに限定されず、カメラ等の他の機器にも本発明は適用可能である。
【００４０】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００４１】
１００ パソコン、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０４ ＨＤＤ、１０５ モニタ
【技術分野】
【０００１】
本発明は、画像処理プログラム、および画像処理装置に関する。
【背景技術】
【０００２】
次のようなデジタル画像内の不所望なオブジェクト等の消去方法が知られている。この方法では、ユーザが指定した不所望なオブジェクト等を含む領域内の画素を、生成したテクスチャにより置き換えることで、デジタル画像内から不所望なオブジェクト等を消去することによって画像を修正する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６３４３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、使用者が指定した領域内から、必ずしも所望の被写体が消去されるとは限らず、使用者が望む被写体とは異なる被写体が消去されてしまう可能性があった。
【課題を解決するための手段】
【０００５】
本発明による画像処理プログラムは、使用者によって対象画像内に設定された領域を編集対象領域として設定する領域設定手順と、領域設定手順で設定した編集対象領域内の画像、編集対象領域の周辺領域内の画像、または編集対象領域内と編集対象領域の周辺領域内との画像を領域内画像として抽出し、領域内画像から特徴色を抽出する抽出手順と、抽出手順で抽出した特徴色以外の色に基づいて、編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成する生成手順と、生成手順で生成した編集用データを用いて、編集対象領域内に含まれる不要な被写体を消去する画像処理手順とをコンピュータに実行させることを特徴とする。
本発明では、抽出手順は、領域内画像の色相の頻度を算出し、色相の頻度が最も高い色を特徴色として抽出するようにしてもよく、この場合、生成手順は、色相の頻度が２番目に高い色に基づいて編集用データを生成し、画像処理手順は、編集対象領域内における特徴色の画素の画素値を編集用データを用いて補正することにより、編集対象領域内に含まれる不要な被写体を消去するようにしてもよい。
抽出手順は、領域内画像の色相の頻度を算出し、色相の頻度が２番目に高い色を特徴色として抽出するようにしてもよく、この場合、生成手順は、色相の頻度が最も高い色に基づいて編集用データを生成し、画像処理手順は、編集対象領域内における特徴色の画素の画素値を編集用データを用いて補正することにより、編集対象領域内に含まれる不要な被写体を消去するようにしてもよい。
抽出手順は、領域内画像の中央部分に存在する色を特徴色として抽出するようにしてもよい。
抽出手順は、領域内画像内で最も大きな面積を占める色を特徴色として抽出するようにしてもよい。
抽出手順は、領域内画像内に含まれる複数の色をユーザに提示し、その中からユーザによって選択された色を特徴色として特定するようにしてもよい。
生成手順は、領域内画像内における特徴色以外の画素の画素値に基づいて編集用データを生成し、画像処理手順は、領域内画像内における特徴色の画素の画素値を編集用データを用いて補正することにより、編集対象領域内に含まれる不要な被写体を消去するようにしてもよい。
抽出手順は、領域内画像を複数の分割領域に分割し、各分割領域ごとに特徴色を抽出し、生成手順は、各分割領域ごとに編集用データを生成するようにしてもよい。
本発明による画像処理装置は、上記いずれかの画像処理プログラムを実行する実行手段を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、使用者が望む被写体を消去できる可能性を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】パソコンの一実施の形態の構成を示すブロック図である。
【図２】画像内に写り込んでいる電線Ａを消去する場合の具体例を示す図である。
【図３】画像修正処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、パーソナルコンピュータ（パソコン）１００が用いられ、このパソコン１００は、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。
【０００９】
操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、パソコン１００と外部機器とを接続するためのインターフェースである。本実施の形態では、パソコン１００は、この接続ＩＦ１０２を介してデジタルカメラと接続され、デジタルカメラからは撮影によって得られた画像ファイルが取り込まれる。なお、接続ＩＦ１０２としては、パソコン１００とデジタルカメラとを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。
【００１０】
制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、パソコン１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。
【００１１】
ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像ファイルのデータや、制御装置１０３で実行される種々のプログラムのデータ等を記録するための記録装置である。なお、ＨＤＤ１０４に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されて提供され、使用者が当該記憶媒体を用いてプログラムのデータをＨＤＤ１０４にインストールすることによって、制御装置１０３がプログラムを実行できるようになる。モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される種々の表示用データが表示される。
【００１２】
本実施の形態におけるパソコン１００では、使用者は、画像処理アプリケーションを実行してＨＤＤ１０４に記録されている画像ファイルの画像を表示し、表示中の画像を編集することができる。例えば、図２（ａ）に示すように、画像内に電線Ａが写り込んでいる場合に、使用者は、画像内から電線Ａを消去して画像を修復することができる。具体的には、使用者は、図２（ｂ）に示すように、画像処理アプリケーションが備える編集ツールの１つである矩形ツールを用いて電線Ａを含む領域２ａを指定したり、図２（ｃ）に示すように、画像処理アプリケーションが備える編集ツールの１つである修復ブラシツールを用いて電線Ａを含む領域２ｂを指定したりする。
【００１３】
制御装置１０３は、使用者が指定した領域（２ａまたは２ｂ）を編集対象領域として特定し、当該編集対象領域内に含まれる不要な被写体（この場合は電線Ａ）を消去するための画像処理（以下、「画像修正処理」と呼ぶ）を実行する。具体的な画像修正処理の方法については後述する。
【００１４】
編集対象領域の指定方法として修復ブラシツールを用いる場合には、使用者は、使用するブラシの大きさを選択してから、その大きさのブラシを画像上の消去したい被写体、すなわち上述した電線Ａ等の不要な被写体上で移動させることにより、ブラシが移動した範囲内の領域を編集対象領域として指定することができる。なお、ブラシの大きさは、段階的に大きくなるように複数の大きさが用意されており、使用者は、その中から任意のブラシの大きさを選択する。
【００１５】
このとき、使用者は、消去したい被写体を含むように編集対象領域を設定することになるが、制御装置１０３は、使用者が編集対象領域内のどの被写体を消去しようとしているかを特定することができないと、画像修正処理の結果、使用者が消去したいと考えていた被写体が正しく消去されない可能性がある。
【００１６】
例えば、使用者は、図２（ｄ）に示すように、図２（ａ）に示した画像内の被写体のうち、電線Ａ以外の被写体はそのまま残し、電線Ａのみが消去された画像を得たいと考えて編集対象領域を指定したとする。しかしながら、画像修正処理の結果、図２（ｅ）に示すように、本来消去したかった電線Ａは残ったまま、領域２ｃ内にあった花が消去されてしまう可能性がある。あるいは、図２（ｆ）に示すように、電線Ａと花の両方が消去されてしまう可能性もある。
【００１７】
このような場合には、使用者は、その後、改めて編集対象領域を設定し直して画像修正処理を実行する必要がある。さらに、そのときの画像修正処理の結果が使用者の望むものでない場合には、使用者は、再び編集対象領域を設定し直す必要があり、所望の結果が得られるまでこれを繰り返さなければならない。本実施の形態では、使用者がこのような煩雑な操作を行わなくても、使用者が意図した被写体を画像から消去できるように、制御装置１０３は、以下に示す処理を行う。
【００１８】
具体的には、制御装置１０３は、使用者によってブラシを用いて画像上に編集対象領域が指定された場合には、指定された編集対象領域内の画像を抽出し、抽出した編集対象領域内の画像の色空間、例えばＲＧＢ空間をＬＣＨ空間に変換する。制御装置１０３は、ＬＣＨ空間に変換した後の編集対象領域内の画像を対象として各画素の色相を算出する。そして、制御装置１０３は、色相環を複数の領域に分割する。例えば、制御装置１０３は、色相環を１６度幅で１０分割、または２２．５度幅で１６分割する。
【００１９】
その後、制御装置１０３は、色相環の各分割領域ごとに、編集対象領域内における各画素の色相の出現頻度を算出することにより、編集対象領域内の色相の分布を算出する。そして、制御装置１０３は、算出した色相の分布に基づいて、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出する。また、編集対象領域内において特徴色が算出された画素を編集対象の画素として特定する。
【００２０】
次に、制御装置１０３は、編集対象領域内における上述した特徴色以外の色に基づいて、編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成する。具体的には、制御装置１０３は、編集対象領域内において２番目に出現頻度の高い色相を特定し、編集対象領域内において該２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定する。そして、制御装置１０３は、特定した編集用の画素のそれぞれの画素値を求め、その画素値の平均値を編集用データとして算出する。そして、制御装置１０３は、上述した編集対象領域内で特定した編集対象の画素の画素値を、上記編集用データで置換することによって、編集対象領域内に含まれる不要な被写体を消去する。
【００２１】
このように、使用者によって設定された編集対象領域内において最も出現頻度の高い色相を特徴色として算出し、該特徴色が算出された画素を編集対象の画素として特定することにより、使用者は、消去したい被写体を大きく含むように編集対象領域を設定する可能性が高いことを加味して、使用者が消去したい被写体を精度高く特定することができる。また、編集対象領域内において２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定し、その画素値の平均値を編集用データとして用いて編集対象の画素の画素値を置換することにより、編集対象の画素の周辺画素を用いて、使用者が消去したい被写体を精度高く消去することが可能となる。
【００２２】
図３は、本実施の形態における画像修正処理の流れを示すフローチャートである。この図３に示す処理は、使用者によって画像修正処理用アプリケーションの実行が指示されると起動するプログラムとして、制御装置１０３によって実行される。
【００２３】
ステップＳ１０において、制御装置１０３は、使用者によって画像の編集ツールとして修復ブラシツールが選択され、該修復ブラシツールが操作されて画像内に編集対象領域が指定されたか否かを判断する。ステップＳ１０で肯定判断した場合には、ステップＳ２０へ進み、制御装置１０３は、画像内から編集対象領域内の画像を抽出して、ステップＳ３０へ進む。ステップＳ３０では、制御装置１０３は、ステップＳ２０で抽出した編集対象領域内の画像の色空間、例えばＲＧＢ空間をＬＣＨ空間に変換して、ステップＳ４０へ進む。
【００２４】
ステップＳ４０では、制御装置１０３は、上述したように、ＬＣＨ空間に変換した後の編集対象領域内の画像を対象として各画素の色相を算出する。そして、制御装置１０３は、色相環を複数の領域に分割して、色相環の各分割領域ごとに、編集対象領域内における各画素の色相の出現頻度を算出することにより、編集対象領域内の色相の分布を算出する。さらに、制御装置１０３は、算出した色相の分布に基づいて、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出する。また、制御装置１０３は、編集対象領域内において特徴色が算出された画素を編集対象の画素として特定する。
【００２５】
その後、ステップＳ５０へ進み、制御装置１０３は、上述したように、編集対象領域内において２番目に出現頻度の高い色相を特定し、編集対象領域内において該２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定する。そして、制御装置１０３は、特定した編集用の画素のそれぞれの画素値を求め、その画素値の平均値を編集用データとして算出する。その後、ステップＳ６０へ進む。
【００２６】
ステップＳ６０では、制御装置１０３は、ステップＳ４０で特定した編集対象の画素の画素値を、ステップＳ５０で算出した編集用データで置換することによって、編集対象領域内に含まれる不要な被写体を消去する。その後、処理を終了する。
【００２７】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０３は、使用者によって画像内に設定された編集対象領域内の画像から特徴色を抽出し、抽出した特徴色以外の色に基づいて、編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成し、生成した編集用データを用いて、編集対象領域内に含まれる不要な被写体を消去するようにした。これによって、編集対象領域内における特徴色が使用者が消去したい被写体の色である可能性が高いことを加味して、使用者が消去したい被写体を精度高く特定して消去することができる。
【００２８】
（２）制御装置１０３は、編集対象領域内における各画素の色相の出現頻度を算出し、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出するようにした。これによって、使用者は消去したい被写体を大きく含むように編集対象領域を設定する可能性が高いことから、最も出現頻度が高い色相を特徴色として抽出して編集対象の画素を特定することにより、使用者が消去したい被写体を精度高く特定することができる。
【００２９】
（３）制御装置１０３は、編集対象領域内において２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定し、特定した編集用の画素の画素値の平均値を編集用データとして算出するようにした。そして、制御装置１０３は、編集対象領域内で特定した編集対象の画素の画素値を、編集用データで置換することによって、編集対象領域内に含まれる不要な被写体を消去するようにした。これによって、編集対象の画素の周辺画素を用いて、使用者が消去したい被写体を精度高く消去することが可能となる。
【００３０】
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０３は、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出し、編集対象領域内において該特徴色が算出された画素を編集対象の画素として特定するようにした。また、制御装置１０３は、編集対象領域内において２番目に出現頻度の高い色相が算出された画素を編集用の画素として特定し、特定した編集用の画素の画素値の平均値を編集用データとして算出するようにした。しかしながら、制御装置１０３は、編集対象領域内において２番目に出現頻度の高い色相を編集対象領域における特徴色として抽出し、編集対象領域内において該特徴色が算出された画素を編集対象の画素として特定するようにし、編集対象領域内において最も出現頻度の高い色相が算出された画素を編集用の画素として特定し、特定した編集用の画素の画素値の平均値を編集用データとして算出するようにしてもよい。これによって、使用者が消去したい被写体の領域よりも背景領域を多く含むように編集対象領域を設定した場合でも、使用者が消去したい被写体を精度高く特定し、背景領域の画素を用いて被写体を消去することが可能となる。
【００３１】
（２）また、上述した実施の形態と上記変形例（１）とを組み合わせてもよい。すなわち、制御装置１０３は、上述した実施の形態における画像修正処理を行なって被写体を消去した後の画像と、上記変形例（１）における画像修正処理を行なって被写体を消去した後の画像とをモニタ１０５上に並べて表示し、その中から使用者によって選択された画像を最終的な編集後の画像として採用するようにしてもよい。
【００３２】
（３）上述した実施の形態では、制御装置１０３は、編集対象領域内において最も出現頻度の高い色相を編集対象領域における特徴色として抽出する例について説明した。しかしながら、制御装置１０３は、編集対象領域内の画像の色情報に基づいて、編集対象領域内の中央部分に存在する色を特定し、これを編集対象領域における特徴色として特定するようにしてもよい。なお、編集対象領域内の中央部分に存在する色とは、例えば、設定された編集対象領域が円形の場合や縦横比が大きく異ならない矩形の場合には、設定された編集対象領域の中心部分またはその近傍の一部分の色成分を意味する。また、設定された編集対象領域が縦横比が大きく異なる矩形の場合には、設定された編集対象領域の短辺方向の中心、かつ長辺方向の全体に分布する色成分を意味する。
【００３３】
そして、この場合には、制御装置１０３は、画像内の編集対象領域内において特徴色が算出された画素の画素値を、編集対象領域内における特徴色以外の画素の画素値を用いて置き換えることにより、編集対象領域内に含まれる不要な被写体を消去すればよい。これによって、使用者は、消去したい被写体が中央部分に位置するように編集対象領域を指定する可能性が高いことを加味して、使用者が消去したい被写体を精度高く特定し、これを消去することが可能となる。
【００３４】
（４）あるいは、制御装置１０３は、編集対象領域内で最も大きな面積を占める色を特徴的な色として特定するようにしてもよい。これによって、使用者は、消去したい被写体を大きく含むように編集対象領域を設定する可能性が高いことを加味して、使用者が消去したい被写体を精度高く特定し、これを消去することが可能となる。
【００３５】
（５）あるいは、制御装置１０３は、編集対象領域内に含まれる複数の色をユーザに提示し、その中からユーザによって選択された色を特徴的な色として特定するようにするようにしてもよい。これによって、使用者は、消去したい被写体の色を直接指定することができるため、使用者が消去したい被写体を精度高く特定し、これを消去することが可能となる。
【００３６】
（６）上述した実施の形態では、制御装置１０３は、編集対象領域内の画像を抽出し、抽出した編集対象領域内の画像を対象として画像修正処理を行う例について説明した。しかしながら、制御装置１０３は、編集対象領域を複数の分割領域に分割して各分割領域ごとに画像修正処理を行なうようにしてもよい。これによって、例えば使用者によって設定された編集対象領域の面積が大きい場合でも、分割領域ごとに画像修正処理を行なうことができ、処理精度を向上させることができる。
【００３７】
（７）上述した実施の形態では、使用者は、画像処理アプリケーションが備える編集ツールの１つである矩形ツールや修復ブラシツールを用いて編集対象領域を指定する例について説明した。しかしながら、使用者は、その他の方法によって編集対象領域を指定してもよい。例えば、描画ツールを用いてフリーハンドで画像上に編集対象領域を描画することによって指定してもよい。あるいは、使用者がマウスを使用して画像内で消去したい被写体上の１点をクリックしたときに、制御装置１０３は、クリックされた位置の画素と連続し、かつ色が類似している画素が存在する領域を自動的に認識し、認識した領域、または認識した領域とその周辺画素とを含んだ領域を編集対象領域としてもよい。
【００３８】
（８）上述した実施の形態、および変形例では、制御装置１０３は、使用者によって指定された編集対象領域内の画像を抽出し、該編集対象領域内の画像を対象として画像修正処理を行う例について説明した。しかしながら、制御装置１０３は、編集対象領域内の画像の代わりに、編集対象領域の周辺領域内の画像、または編集対象領域内および編集対象領域の周辺領域内の画像を抽出して、これらの画像を対象として画像修正処理を行うようにしてもよい。
【００３９】
（９）上述した実施の形態では、画像処理装置としては、パソコン１００を使用する例について説明したが、これに限定されず、カメラ等の他の機器にも本発明は適用可能である。
【００４０】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００４１】
１００ パソコン、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０４ ＨＤＤ、１０５ モニタ
【特許請求の範囲】
【請求項１】
使用者によって対象画像内に設定された領域を編集対象領域として設定する領域設定手順と、
前記領域設定手順で設定した前記編集対象領域内の画像、前記編集対象領域の周辺領域内の画像、または前記編集対象領域内と前記編集対象領域の周辺領域内との画像を領域内画像として抽出し、前記領域内画像から特徴色を抽出する抽出手順と、
前記抽出手順で抽出した前記特徴色以外の色に基づいて、前記編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成する生成手順と、
前記生成手順で生成した前記編集用データを用いて、前記編集対象領域内に含まれる不要な被写体を消去する画像処理手順とをコンピュータに実行させるための画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像の色相の頻度を算出し、前記色相の頻度が最も高い色を前記特徴色として抽出することを特徴とする画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムにおいて、
前記生成手順は、前記色相の頻度が２番目に高い色に基づいて前記編集用データを生成し、
前記画像処理手順は、前記編集対象領域内における前記特徴色の画素の画素値を前記編集用データを用いて補正することにより、前記編集対象領域内に含まれる不要な被写体を消去することを特徴とする画像処理プログラム。
【請求項４】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像の色相の頻度を算出し、前記色相の頻度が２番目に高い色を前記特徴色として抽出することを特徴とする画像処理プログラム。
【請求項５】
請求項４に記載の画像処理プログラムにおいて、
前記生成手順は、前記色相の頻度が最も高い色に基づいて前記編集用データを生成し、
前記画像処理手順は、前記編集対象領域内における前記特徴色の画素の画素値を前記編集用データを用いて補正することにより、前記編集対象領域内に含まれる不要な被写体を消去することを特徴とする画像処理プログラム。
【請求項６】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像の中央部分に存在する色を前記特徴色として抽出することを特徴とする画像処理プログラム。
【請求項７】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像内で最も大きな面積を占める色を前記特徴色として抽出することを特徴とする画像処理プログラム。
【請求項８】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像内に含まれる複数の色をユーザに提示し、その中からユーザによって選択された色を前記特徴色として特定することを特徴とする画像処理プログラム。
【請求項９】
請求項６〜８のいずれか一項に記載の画像処理プログラムにおいて、
前記生成手順は、前記領域内画像内における前記特徴色以外の画素の画素値に基づいて前記編集用データを生成し、
前記画像処理手順は、前記領域内画像内における前記特徴色の画素の画素値を前記編集用データを用いて補正することにより、前記編集対象領域内に含まれる不要な被写体を消去することを特徴とする画像処理プログラム。
【請求項１０】
請求項１〜９のいずれか一項に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像を複数の分割領域に分割し、各分割領域ごとに前記特徴色を抽出し、
前記生成手順は、各分割領域ごとに前記編集用データを生成することを特徴とする画像処理プログラム。
【請求項１１】
請求項１〜１０のいずれか一項に記載の画像処理プログラムを実行する実行手段を備えることを特徴とする画像処理装置。
【請求項１】
使用者によって対象画像内に設定された領域を編集対象領域として設定する領域設定手順と、
前記領域設定手順で設定した前記編集対象領域内の画像、前記編集対象領域の周辺領域内の画像、または前記編集対象領域内と前記編集対象領域の周辺領域内との画像を領域内画像として抽出し、前記領域内画像から特徴色を抽出する抽出手順と、
前記抽出手順で抽出した前記特徴色以外の色に基づいて、前記編集対象領域内に含まれる不要な被写体を消去するために用いる編集用データを生成する生成手順と、
前記生成手順で生成した前記編集用データを用いて、前記編集対象領域内に含まれる不要な被写体を消去する画像処理手順とをコンピュータに実行させるための画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像の色相の頻度を算出し、前記色相の頻度が最も高い色を前記特徴色として抽出することを特徴とする画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムにおいて、
前記生成手順は、前記色相の頻度が２番目に高い色に基づいて前記編集用データを生成し、
前記画像処理手順は、前記編集対象領域内における前記特徴色の画素の画素値を前記編集用データを用いて補正することにより、前記編集対象領域内に含まれる不要な被写体を消去することを特徴とする画像処理プログラム。
【請求項４】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像の色相の頻度を算出し、前記色相の頻度が２番目に高い色を前記特徴色として抽出することを特徴とする画像処理プログラム。
【請求項５】
請求項４に記載の画像処理プログラムにおいて、
前記生成手順は、前記色相の頻度が最も高い色に基づいて前記編集用データを生成し、
前記画像処理手順は、前記編集対象領域内における前記特徴色の画素の画素値を前記編集用データを用いて補正することにより、前記編集対象領域内に含まれる不要な被写体を消去することを特徴とする画像処理プログラム。
【請求項６】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像の中央部分に存在する色を前記特徴色として抽出することを特徴とする画像処理プログラム。
【請求項７】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像内で最も大きな面積を占める色を前記特徴色として抽出することを特徴とする画像処理プログラム。
【請求項８】
請求項１に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像内に含まれる複数の色をユーザに提示し、その中からユーザによって選択された色を前記特徴色として特定することを特徴とする画像処理プログラム。
【請求項９】
請求項６〜８のいずれか一項に記載の画像処理プログラムにおいて、
前記生成手順は、前記領域内画像内における前記特徴色以外の画素の画素値に基づいて前記編集用データを生成し、
前記画像処理手順は、前記領域内画像内における前記特徴色の画素の画素値を前記編集用データを用いて補正することにより、前記編集対象領域内に含まれる不要な被写体を消去することを特徴とする画像処理プログラム。
【請求項１０】
請求項１〜９のいずれか一項に記載の画像処理プログラムにおいて、
前記抽出手順は、前記領域内画像を複数の分割領域に分割し、各分割領域ごとに前記特徴色を抽出し、
前記生成手順は、各分割領域ごとに前記編集用データを生成することを特徴とする画像処理プログラム。
【請求項１１】
請求項１〜１０のいずれか一項に記載の画像処理プログラムを実行する実行手段を備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−２４９９２６（Ｐ２０１１−２４９９２６Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１８５５０（Ｐ２０１０−１１８５５０）
【出願日】平成２２年５月２４日（２０１０．５．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２４日（２０１０．５．２４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]