画像処理装置及び画像処理方法
【課題】人物の顔が存在するシーンでも、自然な不要物体除去を実現する。
【解決手段】補正処理部は、入力画像３００内の不要領域（３０２）を補正用領域の画像信号を用いて補正することにより、不要領域内の物体（不要物体）を除去する。補正用領域設定部は、入力画像３００における顔領域及び不要領域の位置に基づき補正用領域を設定する。不要領域が顔領域の外側に位置している場合、顔領域以外の画像領域中に補正用領域を設定し、不要領域が顔領域の内側に位置している場合、顔領域中に補正用領域を設定する。
【解決手段】補正処理部は、入力画像３００内の不要領域（３０２）を補正用領域の画像信号を用いて補正することにより、不要領域内の物体（不要物体）を除去する。補正用領域設定部は、入力画像３００における顔領域及び不要領域の位置に基づき補正用領域を設定する。不要領域が顔領域の外側に位置している場合、顔領域以外の画像領域中に補正用領域を設定し、不要領域が顔領域の内側に位置している場合、顔領域中に補正用領域を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラを用いた写真撮影等によって得たデジタル画像に、ユーザが不要と考える不要物体（顔のシミ又はホクロ、背景における電線など）が写りこむことがある。これに対し、入力画像から不要物体を除去する不要物体除去機能が提案されている。不要物体除去機能では、ユーザが指定した不要領域を周辺の画像信号を用いて補正することで不要物体除去を実現する。例えば、不要領域の画像信号を周辺の画像信号にて置き換える、又は、不要領域の画像信号に周辺の画像信号を混合することで、不要領域内の物体（即ち不要物体）を入力画像から除去することができる。
【０００３】
第１従来方法では、ユーザが指定した注目画素に対し、乱数を利用して置換画素を設定し、注目画素と置換画素の輝度差に応じて注目画素を置換画素で置換することにより、不要物体除去を実現しようとしている（例えば下記特許文献１参照）。
【０００４】
また、エッジ強度に基づいて入力画像の全画像領域を注目領域と不要領域に分離し、不要領域を含まない矩形領域を入力画像から切り出すことで、不要物体除去を図る第２従来方法も存在する（例えば下記特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３３１３０６号公報
【特許文献２】特開２００７−１５７０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、第１従来方法を含む従来方法では、補正に用いる画像信号を乱数や輝度差といった単純な基準に基づいて決定しているため、人物の輪郭を歪めるような不自然な処理を行う可能性がある。
【０００７】
これを、図１１（ａ）〜（ｃ）を参照して説明する。人物及び木の画像信号を含む入力画像９００において、人物の顔に隣接する木の画像領域が不要領域９０１として設定された場合を考える。図１１（ｂ）は、不要領域９０１の周辺画素を用いて不要領域９０１が補正される様子を示している（同図中の矢印は、画像信号の置換又は混合の様子を示している）。従来の不要物体除去処理では、例えば、不要領域９０１とそれ以外の領域との境界付近の輝度に基づき、該境界付近の輝度が滑らかに変化するように画像信号の置換又は混合が行われる。この結果、図１１（ｃ）に示す如く、顔領域の画像信号が不要領域内に混入して顔が不要領域側に伸びたような不自然な結果画像が得られることがある。人物の顔に注目して、従来の不要物体除去処理で発生しうる問題を説明したが、人物の顔以外の物体に注目した場合にも同様の問題が発生しうる。
【０００８】
尚、入力画像９００の如く主要被写体（人物）と不要物体（木）が近接している場合、第２従来方法の利用は困難である（主要被写体を含み且つ不要物体を含まない矩形領域を設定し難い）。
【０００９】
そこで本発明は、自然な領域補正を実現する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、入力画像内の補正対象領域を補正用領域の画像信号を用いて補正する補正処理部と、前記入力画像において特定種類の物体が存在する特定物体領域を検出する特定物体領域検出部と、前記補正対象領域及び前記特定物体領域の位置に基づき前記補正用領域を設定する補正用領域設定部と、を備えたことを特徴とする。
【００１１】
これにより、自然な結果が得られるように、特定物体領域の位置をも考慮した上で補正用領域を設定することが可能となる。例えば、特定物体領域を補正対象領域に含めて特定物体領域の画像信号を補正対象領域の補正に用いた方が自然な結果が得られるのか、或いは、特定物体領域の画像信号を補正対象領域の補正に用いない方が自然な結果が得られるのかを、特定物体領域の位置から見た補正対象領域の位置に応じて判断することが可能となる。この判断結果を利用して補正用領域の設定及び補正対象領域の補正を行うことで、自然な補正を実現することができる。
【００１２】
つまり具体的には例えば、前記補正用領域設定部は、前記補正対象領域及び前記特定物体領域の位置関係に基づき、前記特定物体領域の画像信号を前記補正用領域の画像信号として用いるか否かを決定してもよい。
【００１３】
特定物体領域の位置から見た補正対象領域の位置によっては、特定物体領域の画像信号を補正対象領域の補正に用いた方が自然な結果が得られることもあるし、特定物体領域の画像信号を補正対象領域の補正に用いない方が自然な結果が得られることもある。従って、上記位置関係に基づく上記決定は、自然な結果画像の取得に寄与する。
【００１４】
より具体的には例えば、前記補正用領域設定部は、前記補正対象領域が前記特定物体領域の外側に位置している場合、前記入力画像内の前記特定物体領域以外の画像領域中に前記補正用領域を設定してもよい。
【００１５】
或いは具体的には例えば、前記補正用領域設定部は、前記補正対象領域が前記特定物体領域の内側に位置している場合、前記入力画像内の前記特定物体領域中に前記補正用領域を設定してもよい。
【００１６】
また例えば、前記特定種類の物体は、人物の顔を含んでいてもよい。
【００１７】
本発明に係る画像処理方法は、入力画像内の補正対象領域を補正用領域の画像信号を用いて補正する補正処理ステップと、前記入力画像において特定種類の物体が存在する特定物体領域を検出する特定物体領域検出ステップと、前記補正対象領域及び前記特定物体領域の位置に基づき前記補正用領域を設定する補正用領域設定ステップと、を実行することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、自然な領域補正を実現する画像処理装置及び画像処理方法を提供することが可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る電子機器の概略構成ブロック図である。
【図２】本発明の実施形態に係る画像補正部の内部ブロック図である。
【図３】画像補正部への入力画像と、入力画像内の顔領域及び不要領域を示す図である。
【図４】本発明の第１実施例に係る電子機器の動作フローチャートである。
【図５】本発明の第１実施例に係り、入力画像におけるマスク領域と基準領域の例を示す図である。
【図６】本発明の第１実施例に係り、不要領域が補正される様子を示す図（ａ）及び出力画像を示す図（ｂ）である。
【図７】本発明の第２実施例に係る電子機器の動作フローチャートである。
【図８】本発明の第２実施例に係り、入力画像におけるマスク領域と基準領域の例を示す図である。
【図９】本発明の第２実施例に係り、不要領域が補正される様子を示す図（ａ）及び出力画像を示す図（ｂ）である。
【図１０】本発明の第３実施例に係る電子機器の動作フローチャートである。
【図１１】従来の不要物体除去処理を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００２１】
図１は、本発明の実施形態に係る電子機器１の概略構成ブロック図である。電子機器１は、画像処理装置１０を備える任意の電子機器であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話機、情報端末である。電子機器１は、画像処理装置１０に加えて、電子機器１内の各部位の動作を統括的に制御する主制御部１１、ユーザからの各種操作の入力を受ける操作部１２、映像情報を表示する表示部１３、及び、各種情報を記録する記録媒体１４を備え、更に必要な機能部（カメラ部など）を備えうる。
【００２２】
画像処理装置１０は、入力画像を補正する画像補正部３０を有している。図２は画像補正部３０の内部ブロック図であり、画像補正部３０は符号３１〜３４によって参照される各部位を備える。入力画像は、記録媒体１４から読み出された又は電子機器１の外部から供給された二次元画像である。図３（ａ）の画像３００は、入力画像の例である。ユーザは、画像補正部３０を利用して、ユーザが不要と考える物体（以下、不要物体という）を入力画像から除去することができる。不要物体の画像信号が存在する画像領域を不要領域と呼ぶ。
【００２３】
顔領域検出部３１は、入力画像の画像信号に基づき、人物の顔の画像信号が存在する顔領域を入力画像の全画像領域から検出及び抽出し、入力画像上における顔領域の位置、大きさ及び形状を示す顔領域情報を生成及び出力する。図３（ｂ）において、斜線領域３０１は入力画像３００における顔領域である。顔領域の検出方法は公知であるので詳細な説明を割愛する。
【００２４】
不要領域設定部３２は、ユーザが電子機器１に対して成した不要領域指定操作に基づき入力画像上における不要領域を設定し、入力画像上における不要領域の位置、大きさ及び形状を示す不要領域情報を生成及び出力する。図３（ｃ）において、破線で囲まれた領域３０２は入力画像３００上における不要領域の例であり、当該例における不要物体は顔の横に位置している木である。図３（ｄ）において、破線で囲まれた領域３０３は入力画像３００上における不要領域の他の例であり、当該他の例における不要物体は顔のホクロ又はシミである。不要領域指定操作は、操作部１２に対する操作であっても良いし、表示部１３に設けることのできるタッチパネルへの操作であっても良い。
【００２５】
補正用領域設定部３３は、顔領域情報及び不要領域情報に基づき、不要物体の除去に利用される補正用領域を設定する。補正用領域は、不要領域と異なる、入力画像上の画像領域である。例えば、不要領域を取り囲む、不要領域の隣接領域が、補正用領域であっても良いし、不要領域に隣接しない画像領域が補正用領域であっても良い。補正用領域設定部３３の設定結果は、不要領域情報と共に、補正処理部３４に送られる。
【００２６】
補正処理部３４は、不要領域を補正用領域の画像信号を用いて補正する画像処理（以下、不要物体除去処理という）を実行することで入力画像から不要物体を除去し、不要物体の除去が成された入力画像を出力画像として生成する。電子機器１は、出力画像を記録媒体１４に記録することができると共に表示部１３に表示することができる。不要領域以外の画像領域の画像信号を用いて不要物体を除去する任意の画像処理を、不要物体除去処理として利用することができる。例えば、不要領域の画像信号を補正用領域の画像信号にて置き換えることで不要物体を除去しても良いし、不要領域の画像信号に補正用領域の画像信号を混合することで不要物体を除去しても良い。尚、ここにおける除去は、完全なる除去であっても良いし、部分的な除去であっても良い。
【００２７】
以下、電子機器１及び画像補正部３０の具体的動作などを示す実施例として、第１〜第３実施例を示す。矛盾なき限り、或る実施例に記載した事項を他の実施例に適用することが可能である。また、以下では、特に記述無き限り、入力画像が入力画像３００であることを想定する。
【００２８】
＜＜第１実施例＞＞
図４を参照して、第１実施例を説明する。図４は、第１実施例に係る電子機器１の動作フローチャートである。
【００２９】
入力画像３００が画像補正部３０に供給されると、まずステップＳ１１において、電子機器１はユーザによる不要領域指定操作を受け付け、不要領域設定部３２は不要領域指定操作に従って不要領域の設定を行う。不要領域の設定後、ステップＳ１２において、顔領域検出部３１は入力画像３００の画像信号に基づく顔領域の検出処理を実行し、続くステップＳ１３において、入力画像３００中に人物の顔が存在するか否かがチェックされる。
【００３０】
入力画像３００に顔が存在する場合（即ち、入力画像３００から顔領域が検出された場合）、ステップＳ１３からステップＳ１４へ移行する。ステップＳ１４において、補正用領域設定部３３は、不要領域情報及び顔領域情報に基づき（より具体的には、不要領域と顔領域との位置関係に基づき）、不要領域が顔領域の外側に位置しているか否かを判断し、外側判定又は非外側判定を成す。不要領域の全体が顔領域の外側に位置している場合には外側判定が成され、そうでない場合には非外側判定が成される。例えば、図３（ｃ）の領域３０２が不要領域である場合には、外側判定が成される。
【００３１】
ステップＳ１４において非外側判定が成された場合、ステップＳ１１に戻り、電子機器１は、ユーザによる再度の不要領域指定操作を受け付ける（不要領域の再指定を促す）。一方、ステップＳ１４において外側判定が成された場合、ステップＳ１５において、補正用領域設定部３３は、顔領域３０１をマスクした領域、即ち、入力画像３００から顔領域３０１を除外して残った領域を基準領域として設定する。図５において、斜線領域がマスクされる領域に相当し、ドット領域が基準領域に相当する。その後のステップＳ１６において、補正用領域設定部３３は、基準領域の大きさを所定の閾値ＴＨと比較し、基準領域の大きさが閾値ＴＨ以上であるならばステップＳ１６からステップＳ１７への遷移を発生させる。基準領域の大きさは、基準領域の面積又は基準領域内の画素数で表される。基準領域の大きさが閾値ＴＨよりも小さければ、不要物体除去に必要な領域が十分に残らないと判断し、ステップＳ１６からステップＳ１１に戻る。
【００３２】
ステップＳ１７において、補正用領域設定部３３は、基準領域中に補正用領域を設定し（基準領域の中から不要物体の除去に適した補正用領域を抽出し）、補正処理部３４は、補正用領域の画像信号を用いた不要物体除去処理を成す。図６（ａ）に、図３（ｃ）の領域３０２が不要領域に設定された場合において、顔領域を含まない補正用領域の画像信号を用いて不要領域３０２が補正される様子を示す（同図中の矢印は、画像信号の置換又は混合の様子を示している）。図６（ｂ）に、図３（ｃ）の領域３０２が不要領域に設定された場合に得られる出力画像の例を示す。
【００３３】
尚、ステップＳ１３において、入力画像中に顔が存在しないと判断された場合には、入力画像の全画像領域が基準領域に設定され、ステップＳ１６を介してステップＳ１７へ移行する。また、ステップＳ１４において非外側判定が成された場合、ステップＳ１１に戻るのではなく、入力画像の全画像領域を基準領域に設定した上でステップＳ１７の処理を実行するようにしても良い。
【００３４】
図３（ｃ）の不要領域３０２の如く、不要領域が顔領域の外側に位置している場合において、仮に顔領域の画像信号を用いて不要領域の画像信号を補正（置換又は混合等）した場合、図１１（ｃ）に示したような不自然な結果画像が得られることがある。これに対し、図４の動作例では、顔領域をマスクした領域内の画像信号を用いて不要領域を補正するため、自然な出力画像を得ることができる（顔領域３０１の画像信号が不要領域３０２内に混入して顔が不要領域側に伸びるような不自然さが回避される）。
【００３５】
＜＜第２実施例＞＞
図７を参照して、第２実施例を説明する。図７は、第２実施例に係る電子機器１の動作フローチャートである。図７のフローチャートは、図４のフローチャートにおけるステップＳ１４及びＳ１５をステップＳ１４ａ及びＳ１５ａに置き換えたものであり、図７のフローチャートにおけるステップＳ１１〜Ｓ１３、Ｓ１６及びＳ１７の処理は、第１実施例のそれらと同じである。
【００３６】
第２実施例では、入力画像３００に顔が存在する場合、ステップＳ１３からステップＳ１４ａへ移行する。ステップＳ１４ａにおいて、補正用領域設定部３３は、不要領域情報及び顔領域情報に基づき（より具体的には、不要領域と顔領域との位置関係に基づき）、不要領域が顔領域の内側に位置しているか否かを判断し、内側判定又は非内側判定を成す。不要領域の全体が顔領域の内側に位置している場合には内側判定が成され、そうでない場合には非内側判定が成される。例えば、図３（ｄ）の領域３０３が不要領域である場合には、内側判定が成される。
【００３７】
ステップＳ１４ａにおいて非内側判定が成された場合、ステップＳ１１に戻り、電子機器１は、ユーザによる再度の不要領域指定操作を受け付ける（不要領域の再指定を促す）。一方、ステップＳ１４ａにおいて内側判定が成された場合、ステップＳ１５ａにおいて、補正用領域設定部３３は、顔領域３０１以外をマスクした領域を基準領域として設定する、即ち顔領域３０１を基準領域として設定する。図８において、斜線領域がマスクされる領域に相当し、ドット領域が基準領域に相当する。ステップＳ１５ａの処理後、第１実施例と同様、ステップＳ１６及びＳ１７の処理が成される。
【００３８】
図９（ａ）に、図３（ｄ）の領域３０３が不要領域に設定された場合において、顔領域の画像信号を用いて不要領域３０３が補正される様子を示す（同図中の矢印は、画像信号の置換又は混合の様子を示している）。図９（ｂ）に、図３（ｄ）の領域３０３が不要領域に設定された場合に得られる出力画像の例を示す。尚、ステップＳ１４ａにおいて非内側判定が成された場合、ステップＳ１１に戻るのではなく、入力画像の全画像領域を基準領域に設定した上でステップＳ１７の処理を実行するようにしても良い（後述の第３実施例においても同様）。
【００３９】
図３（ｄ）の領域３０３が不要領域に設定された場合、不要領域は顔領域の内側に存在している。この場合において、仮に顔領域以外の画像信号（例えば、背景の画像信号）を用いて不要物体除去処理を成すと、不自然な結果画像が得られることがある（例えば、出力画像の顔領域内に背景の画像信号が混入する）。これに対し、図７の動作例では、顔領域内の画像信号を用いて顔領域内の不要領域の画像信号を補正するため、自然な出力画像を得ることが可能となる。
【００４０】
＜＜第３実施例＞＞
第３実施例を説明する。上述の第１及び第２実施例において、補正用領域設定部３３は、不要領域及び顔領域の位置関係に基づき（不要領域が顔領域の外側にあるのか否か及び不要領域が顔領域の内側にあるのか否かに基づき）、顔領域の画像信号を補正用領域の画像信号として用いるか否かを決定している、と言える。上述の第１及び第２実施例を組み合わせることも可能である。図１０は、この組み合わせの成された、電子機器１の動作フローチャートである。
【００４１】
図１０のフローチャートは、図４のステップＳ１１〜Ｓ１７に図７のステップＳ１４ａ及びＳ１５ａを追加したものであり、基本的な動作は第１実施例（図４）のそれと同じである。以下に、第１実施例（図４）との相違点を説明する。
【００４２】
図１０に対応する第３実施例では、ステップＳ１４において非外側判定が成された場合、ステップＳ１４ａへ移行する。ステップＳ１４ａにおいて、補正用領域設定部３３は、不要領域情報及び顔領域情報に基づき（より具体的には、不要領域と顔領域との位置関係に基づき）、不要領域が顔領域の内側に位置しているか否かを判断し、内側判定又は非内側判定を成す。ステップＳ１４ａにおいて非内側判定が成された場合、ステップＳ１１に戻り、電子機器１は、ユーザによる再度の不要領域指定操作を受け付ける（不要領域の再指定を促す）。一方、ステップＳ１４ａにおいて内側判定が成された場合、ステップＳ１５ａにおいて、補正用領域設定部３３は、顔領域３０１以外をマスクした領域を基準領域として設定する、即ち顔領域３０１を基準領域として設定する。ステップＳ１５ａの処理後、第１実施例と同様、ステップＳ１６及びＳ１７の処理が成される。
【００４３】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００４４】
［注釈１］
上述の実施形態では、不要領域を補正対象領域として捉えた補正処理を行っている。この際、特定種類の物体が存在する特定物体領域として顔領域を検出し、顔領域の位置を利用して補正用領域を設定している。人物の顔は特定種類の物体の例であり、顔領域検出部３１は特定物体領域検出部の例である。特定種類の物体は、人物の顔以外であってもよく、輪郭を定めることのできる任意の物体（例えば、ペットとしての動物の顔）が特定種類の物体であっても良い。
【００４５】
［注釈２］
画像補正部３０を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。画像補正部３０の機能を、汎用の電子機器１上で動作する画像処理ソフトウェアを用いて実現しても良い。即ち、画像補正部３０で実行される各動作をプログラムとして記述し、該プログラムを電子機器１上で実行させることで画像補正部３０の機能を実現するようにしても良い。
【符号の説明】
【００４６】
１ 電子機器
１０ 画像処理装置
３０ 画像補正部
３１ 顔領域検出部
３２ 不要領域設定部
３３ 補正用領域設定部
３４ 補正処理部
【技術分野】
【０００１】
本発明は、画像処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラを用いた写真撮影等によって得たデジタル画像に、ユーザが不要と考える不要物体（顔のシミ又はホクロ、背景における電線など）が写りこむことがある。これに対し、入力画像から不要物体を除去する不要物体除去機能が提案されている。不要物体除去機能では、ユーザが指定した不要領域を周辺の画像信号を用いて補正することで不要物体除去を実現する。例えば、不要領域の画像信号を周辺の画像信号にて置き換える、又は、不要領域の画像信号に周辺の画像信号を混合することで、不要領域内の物体（即ち不要物体）を入力画像から除去することができる。
【０００３】
第１従来方法では、ユーザが指定した注目画素に対し、乱数を利用して置換画素を設定し、注目画素と置換画素の輝度差に応じて注目画素を置換画素で置換することにより、不要物体除去を実現しようとしている（例えば下記特許文献１参照）。
【０００４】
また、エッジ強度に基づいて入力画像の全画像領域を注目領域と不要領域に分離し、不要領域を含まない矩形領域を入力画像から切り出すことで、不要物体除去を図る第２従来方法も存在する（例えば下記特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３３１３０６号公報
【特許文献２】特開２００７−１５７０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、第１従来方法を含む従来方法では、補正に用いる画像信号を乱数や輝度差といった単純な基準に基づいて決定しているため、人物の輪郭を歪めるような不自然な処理を行う可能性がある。
【０００７】
これを、図１１（ａ）〜（ｃ）を参照して説明する。人物及び木の画像信号を含む入力画像９００において、人物の顔に隣接する木の画像領域が不要領域９０１として設定された場合を考える。図１１（ｂ）は、不要領域９０１の周辺画素を用いて不要領域９０１が補正される様子を示している（同図中の矢印は、画像信号の置換又は混合の様子を示している）。従来の不要物体除去処理では、例えば、不要領域９０１とそれ以外の領域との境界付近の輝度に基づき、該境界付近の輝度が滑らかに変化するように画像信号の置換又は混合が行われる。この結果、図１１（ｃ）に示す如く、顔領域の画像信号が不要領域内に混入して顔が不要領域側に伸びたような不自然な結果画像が得られることがある。人物の顔に注目して、従来の不要物体除去処理で発生しうる問題を説明したが、人物の顔以外の物体に注目した場合にも同様の問題が発生しうる。
【０００８】
尚、入力画像９００の如く主要被写体（人物）と不要物体（木）が近接している場合、第２従来方法の利用は困難である（主要被写体を含み且つ不要物体を含まない矩形領域を設定し難い）。
【０００９】
そこで本発明は、自然な領域補正を実現する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、入力画像内の補正対象領域を補正用領域の画像信号を用いて補正する補正処理部と、前記入力画像において特定種類の物体が存在する特定物体領域を検出する特定物体領域検出部と、前記補正対象領域及び前記特定物体領域の位置に基づき前記補正用領域を設定する補正用領域設定部と、を備えたことを特徴とする。
【００１１】
これにより、自然な結果が得られるように、特定物体領域の位置をも考慮した上で補正用領域を設定することが可能となる。例えば、特定物体領域を補正対象領域に含めて特定物体領域の画像信号を補正対象領域の補正に用いた方が自然な結果が得られるのか、或いは、特定物体領域の画像信号を補正対象領域の補正に用いない方が自然な結果が得られるのかを、特定物体領域の位置から見た補正対象領域の位置に応じて判断することが可能となる。この判断結果を利用して補正用領域の設定及び補正対象領域の補正を行うことで、自然な補正を実現することができる。
【００１２】
つまり具体的には例えば、前記補正用領域設定部は、前記補正対象領域及び前記特定物体領域の位置関係に基づき、前記特定物体領域の画像信号を前記補正用領域の画像信号として用いるか否かを決定してもよい。
【００１３】
特定物体領域の位置から見た補正対象領域の位置によっては、特定物体領域の画像信号を補正対象領域の補正に用いた方が自然な結果が得られることもあるし、特定物体領域の画像信号を補正対象領域の補正に用いない方が自然な結果が得られることもある。従って、上記位置関係に基づく上記決定は、自然な結果画像の取得に寄与する。
【００１４】
より具体的には例えば、前記補正用領域設定部は、前記補正対象領域が前記特定物体領域の外側に位置している場合、前記入力画像内の前記特定物体領域以外の画像領域中に前記補正用領域を設定してもよい。
【００１５】
或いは具体的には例えば、前記補正用領域設定部は、前記補正対象領域が前記特定物体領域の内側に位置している場合、前記入力画像内の前記特定物体領域中に前記補正用領域を設定してもよい。
【００１６】
また例えば、前記特定種類の物体は、人物の顔を含んでいてもよい。
【００１７】
本発明に係る画像処理方法は、入力画像内の補正対象領域を補正用領域の画像信号を用いて補正する補正処理ステップと、前記入力画像において特定種類の物体が存在する特定物体領域を検出する特定物体領域検出ステップと、前記補正対象領域及び前記特定物体領域の位置に基づき前記補正用領域を設定する補正用領域設定ステップと、を実行することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、自然な領域補正を実現する画像処理装置及び画像処理方法を提供することが可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る電子機器の概略構成ブロック図である。
【図２】本発明の実施形態に係る画像補正部の内部ブロック図である。
【図３】画像補正部への入力画像と、入力画像内の顔領域及び不要領域を示す図である。
【図４】本発明の第１実施例に係る電子機器の動作フローチャートである。
【図５】本発明の第１実施例に係り、入力画像におけるマスク領域と基準領域の例を示す図である。
【図６】本発明の第１実施例に係り、不要領域が補正される様子を示す図（ａ）及び出力画像を示す図（ｂ）である。
【図７】本発明の第２実施例に係る電子機器の動作フローチャートである。
【図８】本発明の第２実施例に係り、入力画像におけるマスク領域と基準領域の例を示す図である。
【図９】本発明の第２実施例に係り、不要領域が補正される様子を示す図（ａ）及び出力画像を示す図（ｂ）である。
【図１０】本発明の第３実施例に係る電子機器の動作フローチャートである。
【図１１】従来の不要物体除去処理を説明するための図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００２１】
図１は、本発明の実施形態に係る電子機器１の概略構成ブロック図である。電子機器１は、画像処理装置１０を備える任意の電子機器であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、携帯電話機、情報端末である。電子機器１は、画像処理装置１０に加えて、電子機器１内の各部位の動作を統括的に制御する主制御部１１、ユーザからの各種操作の入力を受ける操作部１２、映像情報を表示する表示部１３、及び、各種情報を記録する記録媒体１４を備え、更に必要な機能部（カメラ部など）を備えうる。
【００２２】
画像処理装置１０は、入力画像を補正する画像補正部３０を有している。図２は画像補正部３０の内部ブロック図であり、画像補正部３０は符号３１〜３４によって参照される各部位を備える。入力画像は、記録媒体１４から読み出された又は電子機器１の外部から供給された二次元画像である。図３（ａ）の画像３００は、入力画像の例である。ユーザは、画像補正部３０を利用して、ユーザが不要と考える物体（以下、不要物体という）を入力画像から除去することができる。不要物体の画像信号が存在する画像領域を不要領域と呼ぶ。
【００２３】
顔領域検出部３１は、入力画像の画像信号に基づき、人物の顔の画像信号が存在する顔領域を入力画像の全画像領域から検出及び抽出し、入力画像上における顔領域の位置、大きさ及び形状を示す顔領域情報を生成及び出力する。図３（ｂ）において、斜線領域３０１は入力画像３００における顔領域である。顔領域の検出方法は公知であるので詳細な説明を割愛する。
【００２４】
不要領域設定部３２は、ユーザが電子機器１に対して成した不要領域指定操作に基づき入力画像上における不要領域を設定し、入力画像上における不要領域の位置、大きさ及び形状を示す不要領域情報を生成及び出力する。図３（ｃ）において、破線で囲まれた領域３０２は入力画像３００上における不要領域の例であり、当該例における不要物体は顔の横に位置している木である。図３（ｄ）において、破線で囲まれた領域３０３は入力画像３００上における不要領域の他の例であり、当該他の例における不要物体は顔のホクロ又はシミである。不要領域指定操作は、操作部１２に対する操作であっても良いし、表示部１３に設けることのできるタッチパネルへの操作であっても良い。
【００２５】
補正用領域設定部３３は、顔領域情報及び不要領域情報に基づき、不要物体の除去に利用される補正用領域を設定する。補正用領域は、不要領域と異なる、入力画像上の画像領域である。例えば、不要領域を取り囲む、不要領域の隣接領域が、補正用領域であっても良いし、不要領域に隣接しない画像領域が補正用領域であっても良い。補正用領域設定部３３の設定結果は、不要領域情報と共に、補正処理部３４に送られる。
【００２６】
補正処理部３４は、不要領域を補正用領域の画像信号を用いて補正する画像処理（以下、不要物体除去処理という）を実行することで入力画像から不要物体を除去し、不要物体の除去が成された入力画像を出力画像として生成する。電子機器１は、出力画像を記録媒体１４に記録することができると共に表示部１３に表示することができる。不要領域以外の画像領域の画像信号を用いて不要物体を除去する任意の画像処理を、不要物体除去処理として利用することができる。例えば、不要領域の画像信号を補正用領域の画像信号にて置き換えることで不要物体を除去しても良いし、不要領域の画像信号に補正用領域の画像信号を混合することで不要物体を除去しても良い。尚、ここにおける除去は、完全なる除去であっても良いし、部分的な除去であっても良い。
【００２７】
以下、電子機器１及び画像補正部３０の具体的動作などを示す実施例として、第１〜第３実施例を示す。矛盾なき限り、或る実施例に記載した事項を他の実施例に適用することが可能である。また、以下では、特に記述無き限り、入力画像が入力画像３００であることを想定する。
【００２８】
＜＜第１実施例＞＞
図４を参照して、第１実施例を説明する。図４は、第１実施例に係る電子機器１の動作フローチャートである。
【００２９】
入力画像３００が画像補正部３０に供給されると、まずステップＳ１１において、電子機器１はユーザによる不要領域指定操作を受け付け、不要領域設定部３２は不要領域指定操作に従って不要領域の設定を行う。不要領域の設定後、ステップＳ１２において、顔領域検出部３１は入力画像３００の画像信号に基づく顔領域の検出処理を実行し、続くステップＳ１３において、入力画像３００中に人物の顔が存在するか否かがチェックされる。
【００３０】
入力画像３００に顔が存在する場合（即ち、入力画像３００から顔領域が検出された場合）、ステップＳ１３からステップＳ１４へ移行する。ステップＳ１４において、補正用領域設定部３３は、不要領域情報及び顔領域情報に基づき（より具体的には、不要領域と顔領域との位置関係に基づき）、不要領域が顔領域の外側に位置しているか否かを判断し、外側判定又は非外側判定を成す。不要領域の全体が顔領域の外側に位置している場合には外側判定が成され、そうでない場合には非外側判定が成される。例えば、図３（ｃ）の領域３０２が不要領域である場合には、外側判定が成される。
【００３１】
ステップＳ１４において非外側判定が成された場合、ステップＳ１１に戻り、電子機器１は、ユーザによる再度の不要領域指定操作を受け付ける（不要領域の再指定を促す）。一方、ステップＳ１４において外側判定が成された場合、ステップＳ１５において、補正用領域設定部３３は、顔領域３０１をマスクした領域、即ち、入力画像３００から顔領域３０１を除外して残った領域を基準領域として設定する。図５において、斜線領域がマスクされる領域に相当し、ドット領域が基準領域に相当する。その後のステップＳ１６において、補正用領域設定部３３は、基準領域の大きさを所定の閾値ＴＨと比較し、基準領域の大きさが閾値ＴＨ以上であるならばステップＳ１６からステップＳ１７への遷移を発生させる。基準領域の大きさは、基準領域の面積又は基準領域内の画素数で表される。基準領域の大きさが閾値ＴＨよりも小さければ、不要物体除去に必要な領域が十分に残らないと判断し、ステップＳ１６からステップＳ１１に戻る。
【００３２】
ステップＳ１７において、補正用領域設定部３３は、基準領域中に補正用領域を設定し（基準領域の中から不要物体の除去に適した補正用領域を抽出し）、補正処理部３４は、補正用領域の画像信号を用いた不要物体除去処理を成す。図６（ａ）に、図３（ｃ）の領域３０２が不要領域に設定された場合において、顔領域を含まない補正用領域の画像信号を用いて不要領域３０２が補正される様子を示す（同図中の矢印は、画像信号の置換又は混合の様子を示している）。図６（ｂ）に、図３（ｃ）の領域３０２が不要領域に設定された場合に得られる出力画像の例を示す。
【００３３】
尚、ステップＳ１３において、入力画像中に顔が存在しないと判断された場合には、入力画像の全画像領域が基準領域に設定され、ステップＳ１６を介してステップＳ１７へ移行する。また、ステップＳ１４において非外側判定が成された場合、ステップＳ１１に戻るのではなく、入力画像の全画像領域を基準領域に設定した上でステップＳ１７の処理を実行するようにしても良い。
【００３４】
図３（ｃ）の不要領域３０２の如く、不要領域が顔領域の外側に位置している場合において、仮に顔領域の画像信号を用いて不要領域の画像信号を補正（置換又は混合等）した場合、図１１（ｃ）に示したような不自然な結果画像が得られることがある。これに対し、図４の動作例では、顔領域をマスクした領域内の画像信号を用いて不要領域を補正するため、自然な出力画像を得ることができる（顔領域３０１の画像信号が不要領域３０２内に混入して顔が不要領域側に伸びるような不自然さが回避される）。
【００３５】
＜＜第２実施例＞＞
図７を参照して、第２実施例を説明する。図７は、第２実施例に係る電子機器１の動作フローチャートである。図７のフローチャートは、図４のフローチャートにおけるステップＳ１４及びＳ１５をステップＳ１４ａ及びＳ１５ａに置き換えたものであり、図７のフローチャートにおけるステップＳ１１〜Ｓ１３、Ｓ１６及びＳ１７の処理は、第１実施例のそれらと同じである。
【００３６】
第２実施例では、入力画像３００に顔が存在する場合、ステップＳ１３からステップＳ１４ａへ移行する。ステップＳ１４ａにおいて、補正用領域設定部３３は、不要領域情報及び顔領域情報に基づき（より具体的には、不要領域と顔領域との位置関係に基づき）、不要領域が顔領域の内側に位置しているか否かを判断し、内側判定又は非内側判定を成す。不要領域の全体が顔領域の内側に位置している場合には内側判定が成され、そうでない場合には非内側判定が成される。例えば、図３（ｄ）の領域３０３が不要領域である場合には、内側判定が成される。
【００３７】
ステップＳ１４ａにおいて非内側判定が成された場合、ステップＳ１１に戻り、電子機器１は、ユーザによる再度の不要領域指定操作を受け付ける（不要領域の再指定を促す）。一方、ステップＳ１４ａにおいて内側判定が成された場合、ステップＳ１５ａにおいて、補正用領域設定部３３は、顔領域３０１以外をマスクした領域を基準領域として設定する、即ち顔領域３０１を基準領域として設定する。図８において、斜線領域がマスクされる領域に相当し、ドット領域が基準領域に相当する。ステップＳ１５ａの処理後、第１実施例と同様、ステップＳ１６及びＳ１７の処理が成される。
【００３８】
図９（ａ）に、図３（ｄ）の領域３０３が不要領域に設定された場合において、顔領域の画像信号を用いて不要領域３０３が補正される様子を示す（同図中の矢印は、画像信号の置換又は混合の様子を示している）。図９（ｂ）に、図３（ｄ）の領域３０３が不要領域に設定された場合に得られる出力画像の例を示す。尚、ステップＳ１４ａにおいて非内側判定が成された場合、ステップＳ１１に戻るのではなく、入力画像の全画像領域を基準領域に設定した上でステップＳ１７の処理を実行するようにしても良い（後述の第３実施例においても同様）。
【００３９】
図３（ｄ）の領域３０３が不要領域に設定された場合、不要領域は顔領域の内側に存在している。この場合において、仮に顔領域以外の画像信号（例えば、背景の画像信号）を用いて不要物体除去処理を成すと、不自然な結果画像が得られることがある（例えば、出力画像の顔領域内に背景の画像信号が混入する）。これに対し、図７の動作例では、顔領域内の画像信号を用いて顔領域内の不要領域の画像信号を補正するため、自然な出力画像を得ることが可能となる。
【００４０】
＜＜第３実施例＞＞
第３実施例を説明する。上述の第１及び第２実施例において、補正用領域設定部３３は、不要領域及び顔領域の位置関係に基づき（不要領域が顔領域の外側にあるのか否か及び不要領域が顔領域の内側にあるのか否かに基づき）、顔領域の画像信号を補正用領域の画像信号として用いるか否かを決定している、と言える。上述の第１及び第２実施例を組み合わせることも可能である。図１０は、この組み合わせの成された、電子機器１の動作フローチャートである。
【００４１】
図１０のフローチャートは、図４のステップＳ１１〜Ｓ１７に図７のステップＳ１４ａ及びＳ１５ａを追加したものであり、基本的な動作は第１実施例（図４）のそれと同じである。以下に、第１実施例（図４）との相違点を説明する。
【００４２】
図１０に対応する第３実施例では、ステップＳ１４において非外側判定が成された場合、ステップＳ１４ａへ移行する。ステップＳ１４ａにおいて、補正用領域設定部３３は、不要領域情報及び顔領域情報に基づき（より具体的には、不要領域と顔領域との位置関係に基づき）、不要領域が顔領域の内側に位置しているか否かを判断し、内側判定又は非内側判定を成す。ステップＳ１４ａにおいて非内側判定が成された場合、ステップＳ１１に戻り、電子機器１は、ユーザによる再度の不要領域指定操作を受け付ける（不要領域の再指定を促す）。一方、ステップＳ１４ａにおいて内側判定が成された場合、ステップＳ１５ａにおいて、補正用領域設定部３３は、顔領域３０１以外をマスクした領域を基準領域として設定する、即ち顔領域３０１を基準領域として設定する。ステップＳ１５ａの処理後、第１実施例と同様、ステップＳ１６及びＳ１７の処理が成される。
【００４３】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００４４】
［注釈１］
上述の実施形態では、不要領域を補正対象領域として捉えた補正処理を行っている。この際、特定種類の物体が存在する特定物体領域として顔領域を検出し、顔領域の位置を利用して補正用領域を設定している。人物の顔は特定種類の物体の例であり、顔領域検出部３１は特定物体領域検出部の例である。特定種類の物体は、人物の顔以外であってもよく、輪郭を定めることのできる任意の物体（例えば、ペットとしての動物の顔）が特定種類の物体であっても良い。
【００４５】
［注釈２］
画像補正部３０を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。画像補正部３０の機能を、汎用の電子機器１上で動作する画像処理ソフトウェアを用いて実現しても良い。即ち、画像補正部３０で実行される各動作をプログラムとして記述し、該プログラムを電子機器１上で実行させることで画像補正部３０の機能を実現するようにしても良い。
【符号の説明】
【００４６】
１ 電子機器
１０ 画像処理装置
３０ 画像補正部
３１ 顔領域検出部
３２ 不要領域設定部
３３ 補正用領域設定部
３４ 補正処理部
【特許請求の範囲】
【請求項１】
入力画像内の補正対象領域を補正用領域の画像信号を用いて補正する補正処理部と、
前記入力画像において特定種類の物体が存在する特定物体領域を検出する特定物体領域検出部と、
前記補正対象領域及び前記特定物体領域の位置に基づき前記補正用領域を設定する補正用領域設定部と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記補正用領域設定部は、前記補正対象領域及び前記特定物体領域の位置関係に基づき、前記特定物体領域の画像信号を前記補正用領域の画像信号として用いるか否かを決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正用領域設定部は、前記補正対象領域が前記特定物体領域の外側に位置している場合、前記入力画像内の前記特定物体領域以外の画像領域中に前記補正用領域を設定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正用領域設定部は、前記補正対象領域が前記特定物体領域の内側に位置している場合、前記入力画像内の前記特定物体領域中に前記補正用領域を設定する
ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記特定種類の物体は、人物の顔を含む
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
入力画像内の補正対象領域を補正用領域の画像信号を用いて補正する補正処理ステップと、
前記入力画像において特定種類の物体が存在する特定物体領域を検出する特定物体領域検出ステップと、
前記補正対象領域及び前記特定物体領域の位置に基づき前記補正用領域を設定する補正用領域設定ステップと、を実行する
ことを特徴とする画像処理方法。
【請求項１】
入力画像内の補正対象領域を補正用領域の画像信号を用いて補正する補正処理部と、
前記入力画像において特定種類の物体が存在する特定物体領域を検出する特定物体領域検出部と、
前記補正対象領域及び前記特定物体領域の位置に基づき前記補正用領域を設定する補正用領域設定部と、を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記補正用領域設定部は、前記補正対象領域及び前記特定物体領域の位置関係に基づき、前記特定物体領域の画像信号を前記補正用領域の画像信号として用いるか否かを決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正用領域設定部は、前記補正対象領域が前記特定物体領域の外側に位置している場合、前記入力画像内の前記特定物体領域以外の画像領域中に前記補正用領域を設定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正用領域設定部は、前記補正対象領域が前記特定物体領域の内側に位置している場合、前記入力画像内の前記特定物体領域中に前記補正用領域を設定する
ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記特定種類の物体は、人物の顔を含む
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
入力画像内の補正対象領域を補正用領域の画像信号を用いて補正する補正処理ステップと、
前記入力画像において特定種類の物体が存在する特定物体領域を検出する特定物体領域検出ステップと、
前記補正対象領域及び前記特定物体領域の位置に基づき前記補正用領域を設定する補正用領域設定ステップと、を実行する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図４】
【図７】
【図１０】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１１】
【図２】
【図４】
【図７】
【図１０】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１１】
【公開番号】特開２０１３−４５３１６（Ｐ２０１３−４５３１６Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８３２５２（Ｐ２０１１−１８３２５２）
【出願日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]