画像処理装置及び画像処理方法
【課題】画像処理装置及び画像処理方法を提供する。
【解決手段】本発明の画像処理装置は、元画像の画像データを取得する画像取得手段と、前記元画像の背景画素と前景画素を分離する画像処理手段とを含み、前記画像処理手段は、前記元画像を、前記画像データに基づいて、複数の第一画像セグメントに分割する第一の画像分割手段と、前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントに分割する第二の画像分割手段と、前記第一の画像分割手段により分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割手段により分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定手段と、を含む。
【解決手段】本発明の画像処理装置は、元画像の画像データを取得する画像取得手段と、前記元画像の背景画素と前景画素を分離する画像処理手段とを含み、前記画像処理手段は、前記元画像を、前記画像データに基づいて、複数の第一画像セグメントに分割する第一の画像分割手段と、前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントに分割する第二の画像分割手段と、前記第一の画像分割手段により分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割手段により分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定手段と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に関し、特に、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
コンピュータ、デジタルテレビなどのデジタル製品の性能の向上及び普及範囲の拡大につれ、デジタルカメラ、デジタルビデオカメラなどのデジタル画像撮像装置の応用が迅速に広められ、従来のフィルムカメラに取って代わる勢いである。デジタルカメラなどの撮像装置により撮像された画像がコンピュータ、デジタルテレビ、携帯電話などのデジタル装置に直接表示されることができるのみならず、紙に印刷されることもできるので、人々の生活により多くの楽しみを取り入れている。それと同時に、医療用装置、リモートセンシング装置、通信用装置などの特殊装置のために開発された従来の画像処理技術もより多く人々の生活に入ってきた。今現在、最先端デジタルカメラは、既に百万以上の画素数に達している。
【０００３】
従来のフィルムカメラでは、カメラのパラメータを制御することによって被写界深度を調整し、前景が鮮明で、背景がぼんやりとした写真が得られる。例えば、人物写真を撮影する場合、結像原理に従ってレンズの焦点を被撮影者の目に正確に調整する。すると、被撮影者の後ろにある背景は、被写体距離との差で焦点が合わず鮮明に撮像されない。このような写真を見る人は、すぐに最も鮮明な前景（人物）に目が取られ、ぼやけた背景に気づかないため、人物写真は上手く撮影されたことになる。しかし、デジタルカメラの場合は、CCDのサイズがフィルムより小さいので、被写界深度が従来のフィルムカメラより深くなる。言い換えると、デジタルカメラでは、カメラからやや距離がある物体（人物など）を撮影するときに、前景を強調し、背景やその他の部分をぼやけさせることは、非常に難しい。
【０００４】
従来のフィルムカメラの背景ぼかし機能を再現するために、経験豊富な撮影者は、画像処理ソフトを利用する。しかし、この作業は時間がかかり、仕上がりも撮影者の経験によって差がある。
【０００５】
従来技術の中には、背景ぼかし機能を実現するための方法が幾つかある。例えば、画像シーケンスから１フレームを基本画像として選び、そのほかの画像を利用して背景領域と前景領域を生成し、背景領域をぼかすことで背景をぼかした一枚の画像を生成する方法がある。または、露出値が異なる二つの画像を利用してハイダイナミックレンジ画像を生成し、生成された画像の背景をぼかす方法、画像ぼかし技術により、野球ゲームのシーンを強調することでゲームの効果を向上し、シーンの変化によりぼかし範囲を確定する方法、メモリに幾つかのオーバーレイを予め記憶し、オーバーレイと写真とを合成してぼかした画像を得る方法などがある。これらの方法は、何れも複数の画像を使用して画像のぼかしを実現している。しかし、複数の画像を使用する際には、画像レジストレーションの問題が存在し、かつ画像レジストレーションの精度は画像生成の効果に直接に影響を与える。また、場合によっては、シーンが完全に一致した二つの画像が得られ難い。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、デジタル画像において領域を分割するための画像処理装置および画像処理方法を提供ことにある。
【課題を解決するための手段】
【０００７】
本発明の一側面によれば、画像処理装置が提供される。
【０００８】
前記装置は、元画像の画像データを取得する画像取得手段と、前記元画像の背景画素と前景画素を分離する画像処理手段と、を含み、前記画像処理手段は、前記元画像を、前記画像データに基づいて、複数の第一画像セグメントに分割する第一の画像分割手段と、前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントに分割する第二の画像分割手段と、前記第一の画像分割手段により分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割手段により分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定手段と、を含む。
【０００９】
好ましい前記装置は、前記第一の画像分割手段は、前記元画像に含まれる、異なるオブジェクトにより、前記元画像を前記複数の第一画像セグメントに分割し、前記各第一画像セグメントは、単一オブジェクトの画像又は単一オブジェクトの一部の画像である、画像処理装置である。
【００１０】
好ましい前記装置は、前記第一の画像分割手段は、色彩情報、グレースケール情報又はエッジ情報の少なくとも何れか一つにより、前記元画像を分割する、画像処理装置である。
【００１１】
好ましい前記装置は、前記第二の画像分割手段は、前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、前記各第二画像セグメントの前記画像距離情報により、前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメントと背景セグメントとを取得する分離手段と、を含む、画像処理装置である。
【００１２】
好ましい前記装置は、前記第二の画像分割手段は、前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、前記元画像の焦点領域情報を取得する画像焦点領域情報取得手段と、取得された前記各第二画像セグメントの前記画像距離情報と前記焦点領域情報により前記焦点領域に入った第二画像セグメントの情報を取得し、前記焦点領域に入った前記第二画像セグメントの前記情報により前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定手段と、前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲により、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメントと背景セグメントとを取得する分離手段と、を含む、画像処理装置である。
【００１３】
好ましい前記装置は、前記第二の画像分割手段は、取得された前記前景セグメントと背景セグメントとに対して、孤立点の除去と空洞の最適化を行う最適化手段をさらに含む、画像処理装置である。
【００１４】
好ましい前記装置は、前記複数の第二画像セグメントは、同一又は異なるサイズを有し、単一又は複数の画素を有する、画像処理装置である。
【００１５】
好ましい前記装置は、前記前景オブジェクトフレーム数範囲確定手段は、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報の平均値を計算し、前、後フレームの差をそれぞれ設定することにより前記前景オブジェクトのフレーム数の範囲を確定し、或いは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報のうち最大値と最小値を取得することにより前記前景オブジェクトのフレーム数の範囲を確定する、画像処理装置である。
【００１６】
好ましい前記装置は、前記画像分割確定手段は、前記各第一画像セグメントの中の、前記前景セグメントに入った画素数と前記背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断手段と、前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることにより、前記元画像の前記前景画素領域と背景画素領域とを確定する確定手段と、を含む、画像処理装置である。
【００１７】
好ましい前記装置は、前記画像処理手段は、前記前景画素領域と背景画素領域とにより各背景画素から前景画素領域までの最短距離を計算し、所定の距離閾値を利用して前記最短距離に対して分割を行うことにより、前記背景画素領域を所定の複数の層に分割し、複数の層を有する段階的な前景画素領域と背景画素領域とを生成する段階的背景生成手段をさらに含む、画像処理装置である。
【００１８】
本発明の他の側面によれば、画像処理方法が提供される。
【００１９】
前記方法は、元画像の画像データを取得する画像取得ステップと、前記元画像の背景画素と前景画素を分離する画像処理ステップと、を含み、前記画像処理ステップは、前記元画像を、前記画像データを基づいて、複数の第一画像セグメントに分割する第一の画像分割ステップと、前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントとに分割する第二の画像分割ステップと、前記第一の画像分割ステップにより分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割ステップにより分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定ステップと、を含む、画像処理方法である。
【００２０】
好ましい前記方法は、前記第一の画像分割ステップは、前記元画像に含まれる、異なるオブジェクトにより、前記元画像を前記複数の第一画像セグメントに分割し、前記各第一画像セグメントは、単一オブジェクトの画像又は単一オブジェクトの一部の画像である、画像処理方法である。
【００２１】
好ましい前記方法は、前記第一の画像分割ステップは、色彩情報、グレースケール情報又はエッジ情報の少なくとも何れか一つにより、前記元画像を分割する、画像処理方法である。
【００２２】
好ましい前記方法は、前記第二の画像分割ステップは、前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得ステップと、前記各第二画像セグメントの前記画像距離情報により、前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメントと背景セグメントとを取得する分離ステップと、を含む、画像処理方法である。
【００２３】
好ましい前記方法は、前記第二の画像分割ステップは、前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得ステップと、前記元画像の焦点領域情報を取得する画像焦点領域情報取得ステップと、取得された前記各第二画像セグメントの前記画像距離情報と前記焦点領域情報により前記焦点領域に入った第二画像セグメントの情報を取得し、前記焦点領域に入った前記第二画像セグメントの前記情報により前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定ステップと、前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲により、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメントと背景セグメントとを取得する分離ステップと、を含む、画像処理方法である。
【００２４】
好ましい前記方法は、前記第二の画像分割ステップは、取得された前記前景セグメントと背景セグメントとに対して、孤立点の除去と空洞の最適化を行う最適化ステップをさらに含む、画像処理方法である。
【００２５】
好ましい前記方法は、前記複数の第二画像セグメントは、同一又は異なるサイズを有し、単一又は複数の画素を有する、画像処理方法である。
【００２６】
好ましい前記方法は、前記前景オブジェクトフレーム数範囲確定ステップは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報の平均値を計算し、前、後フレームの差をそれぞれ設定することにより前記前景オブジェクトのフレーム数の範囲を確定し、或いは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報のうち最大値と最小値を取得することにより前記前景オブジェクトのフレーム数の範囲を確定する、画像処理方法である。
【００２７】
好ましい前記方法は、前記画像分割確定ステップは、前記各第一画像セグメントの中の、前記前景セグメントに入った画素数と前記背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断ステップと、前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることにより、前記元画像の前記前景画素領域と背景画素領域とを確定する確定ステップと、を含む、画像処理方法である。
【００２８】
好ましい前記方法は、前記画像処理ステップは、前記前景画素領域と背景画素領域とにより各背景画素から前景画素領域までの最短距離を計算し、所定の距離閾値を利用して前記最短距離に対して分割を行うことにより、前記背景画素領域を所定の複数の層に分割し、複数の層を有する段階的な前景画素領域と背景画素領域とを生成する段階的背景生成ステップをさらに含む、画像処理方法である。
【発明の効果】
【００２９】
本発明の実施例に係る画像処理装置は、元画像の画像データを取得した後に、元画像の背景画素と前景画素を精度よく分離することができる。その分離結果を用いることで、背景情報に対してフィルタリングを行うことによって、背景情報をぼかすことができ、そして、フィルタリング後の背景情報と元の前景情報を合成することによって、前景が鮮明で、背景がぼんやりとした新しい画像を得ることができる。よって、従来の画像撮像装置、例えば伝統のフィルムカメラの被写界深度の調節機能を模擬することができ、これにより、デジタル画像撮像装置により撮像された画像、例えば写真に対して背景をぼかすことができ、デジタル画像の被写界深度の感知効果を向上することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施例における画像処理装置の構成図である。
【図２】本発明の他の実施例における画像処理装置の構成図である。
【図３】本発明の一実施例に利用された分割アルゴリズムのフローチャートである。
【図４】（１）は、取得した元画像の例を示す図であり、（２）は、（１）に示す元画像の前景セグメント／背景セグメントを示す図であり、（３）は、（２）に示す前景セグメント／背景セグメントに対して最適化処理を行った後の前景セグメント／背景セグメントを示す図である。
【図５】本発明の一実施例における画像セグメントを示す図である。
【図６】図５に示す画像セグメントに基づいて得られた理想的な距離情報を示す図である。
【図７】画像の背景に対してぼかし処理を行うプロセスを示す図である。
【図８】（１）は、段階的前景画素領域／背景画素領域を示す図であり、（２）は、画像の段階的な背景に対してぼかし処理を行った後の効果を示す図である。
【図９】本発明の一実施例における画像処理方法のフローチャートである。
【図１０】本発明の他の実施例における画像処理方法のフローチャートである。
【図１１】本発明の他の実施例における画像処理方法のフローチャートである。
【発明を実施するための形態】
【００３１】
以下、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００３２】
まず、本発明の一側面において、画像処理装置が提供される。
【００３３】
図1は、本発明の一実施例における画像処理装置の構成図である。図１に示すように、画像処理装置100は、元画像の画像データを取得するために用いる画像取得手段101と、前記元画像の背景画素と前景画素を分離するために用いる画像処理手段102と、前記背景画素をフィルタリングするために用いる画像フィルタリング手段103と、前記前景画素とフィルタリング後の前記背景画素を合成するために用いる画像合成手段104とを含む。
【００３４】
好ましくは、元画像の画像データを取得した後に、取得された元画像の画像データを記憶手段、例えば内部メモリに記憶する。本発明の一実施例において、入力された画像がカラー画像であることを例にすると、取得された元画像の画像データは、画像の大きさと各画素の三つのチャンネル値を含む。例えば、取得された画像の大きさがM×N画素であるとし、ここで、M、Nは自然数である。各画素は、三つのチャンネル値、即ち、赤（R）チャンネル値、青（B）チャンネル値、緑（G）チャンネル値により表示される。８ビットで各チャンネルの値を記憶すると、各チャンネルの値は0〜255の範囲内になり、赤チャンネル値を例にすると、０は画素が赤成分をほとんど有しないことを示し、255は画素が赤成分の最大量を有することを示す。入力された画像はグレースケール画像であっても良く、この場合でも、処理方法はカラー画像の場合と同じである。
【００３５】
図２は、画像処理手段１０２の構成をより詳細に示した画像処理装置の構成図である。図2に示すように、画像処理装置１００において、画像処理手段１０２は、前記元画像を複数の第一画像セグメントに分割するために用いる第一の画像分割手段201と、前記元画像の前景セグメント／背景セグメントを抽出するために用いる第二の画像分割手段202と、前記第一画像セグメントの各セグメントが前記前景セグメント／背景セグメントの中の前景セグメント又は背景セグメントのどちらに属するかを判断することにより、前記元画像の前景画素領域／背景画素領域を確定するために用いる画像分割確定手段203と、を含む。
【００３６】
元画像の画像データを取得した後、第一の画像分割手段２０１は、まず、取得された元画像の画像データに対してサンプリングを行って、分割画像を得る。本実施例では、分割画像の大きさは、320×240画素である。なお、得られた元画像をサンプリングし画像分割を行うには、当業者にとって公知である複数の技術を利用できる。例えば、最近傍補間法、双線形補間法などの方法を使用することができる。第一の画像分割手段２０１は、分割画像を得た後に、該分割画像に含まれている異なるオブジェクトにより、該分割画像を複数の不規則な第一画像セグメントに分割し、ここで、各第一画像セグメントは、一つのオブジェクトでもよいし、一つのオブジェクトの一部分でもよい。本実施例において、理想的な分割結果とは、画像の過分割であり、分割不足ではないことである。過分割とは、画像にある一つのオブジェクトを複数のセグメントに分割できるが一つのセグメントに複数のオブジェクトが存在することができないとのことである。今まで、多数の研究者が何千件の論文において複数の分割方法を提案してきた。さらに、画像の色彩情報、グレースケール情報又はエッジ情報に基づいて前記元画像を分割することもできる。
【００３７】
図３は、本発明の一実施例に利用された分割アルゴリズムのフローチャートである。図３に示すように、この分割アルゴリズムは、次のステップを含む。
ステップ３００：元画像の画像データに基づいて、第一画像セグメントへの分割を行う分割画像を入力する。
ステップ３０１：バイラテラルフィルタリング法を用いて該分割画像にあるノイズを除去し画像を平滑化する。
ステップ３０２:領域拡張法を用いて分割画像をより小さい画像セグメントに分割する。ここで、領域拡張法は、典型的な画像分割方法である、この方法では、画素間の類似度を用いて任意に設定した開始点より拡張を行い、新画素と該領域の類似度が一定の閾値より大きくなるまで拡張する。次に新たな開始点を選択し、同様の動作を繰り返させ、全ての画素にラベルがついた時点で停止する。
ステップ３０３：領域隣接グラフおよびunion-find（融合−検索）法を用いて初期の分割結果を融合する。
ステップ３０４：画素の数が所定の閾値より小さい画像セグメントを除去し、最終的な分割結果を得る。
【００３８】
例えば、前記分割方法により、図4の（1）に示す画像に対して分割を行った結果は、図７の701に示される。
【００３９】
本発明の一実施例において、第二の画像分割手段２０２は、所定の分割方式により前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を得る画像距離情報取得手段と、前記各第二画像セグメントの画像距離情報に基づいて、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記前景セグメント／背景セグメントを得る分離手段とを含む。前記画像セグメントの画像距離情報とは、画像セグメントが存在する画像データを撮像した際の、該画像セグメントに対応する被写体から撮像装置までの絶対距離又は相対距離とのことである。分割された異なる第二画像セグメントは、同じ又は異なるサイズを有し、単一または複数の画素を有しても良い。
【００４０】
図５は、本発明の一実施例における画像セグメントを示す図であり、具体的には、画像距離情報取得手段により一つのサンプル画像を複数の第二画像セグメントに分割した後のセグメントを示すものである。この実施例においては、元画像を水平と垂直方向にそれぞれ32等分することで、1024個の第二画像セグメントを生成する。各第二画像セグメントに対してその全てのスキャンフレームのうち最も鮮明なフレームの画像距離情報を取得し該第二画像セグメントの距離情報のラベルとする。よって、該画像の距離情報を取得できる。
【００４１】
図６は、図５に示す画像セグメントに基づいて得られた理想的な距離情報を示す図である。図6に示すように、前景オブジェクト、即ち女の子が背景オブジェクトからうまく分離できたとのことがわかる。その中、二つの領域がそれぞれ前景オブジェクト領域601と背景領域602である。図６に示すような、背景に孤立点や空洞がなく、輪郭が鮮明である画像の理想距離情報を取得した場合、該理想距離情報に基づいて前景オブジェクトと背景オブジェクトを直接分離することが可能であり、画像の前景セグメント／背景セグメントを取得できる。勿論、該サンプル図が提供したのは、理想的な距離情報分割図であり、実際応用の場合は、ノイズや撮像装置の精度の制限により、通常、このような理想的な結果が得られないため、その他のステップと合せて最終的な前景と背景の分割図を取得する必要がある。
【００４２】
本発明の他の実施例において、好ましくは、第二の画像分割手段２０２は、所定の分割方法に従い元画像を複数の第二画像セグメントに分割し、各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、元画像の焦点領域情報を取得する画像焦点領域情報取得手段と、取得された各第二画像セグメントの画像距離情報と焦点領域情報に基づいて焦点領域に入った第二画像セグメントの情報を取得し、また、焦点領域に入った第二画像セグメントの情報に基づいて前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定手段と、各第二画像セグメントの画像距離情報と前景オブジェクトのフレーム数の範囲に基づいて元画像の前景オブジェクトと背景オブジェクトを分離し、元画像の前景セグメント／背景セグメントを取得する第二の画像分割手段と、を含む。
【００４３】
この実施例においては、画像距離情報取得手段の機能が前記実施例と同様であり、元画像の分割も前記実施例と同様であるため、ここでは省略する。この実施例において、画像距離情報取得手段は、画像取得手段が画像データを取得すると同時に画像の距離情報を取得することができ、また、画像焦点領域情報取得手段は、画像取得手段が画像データを取得すると同時に画像の焦点領域情報を取得することができる。例えば、デジタルカメラまたはビデオカメラが写真または映像を撮影する際に、撮影された写真の距離情報と焦点領域情報を同時に取得することができる。撮影された写真の距離情報とは、撮影された写真が対応するシーンにおける、各被写体からカメラ又はビデオカメラまでの距離情報とのことである。
【００４４】
この実施例において、焦点領域情報は、焦点領域の位置とサイズの情報を含む。焦点領域情報から焦点領域の座標が得られ、該座標情報及び取得された画像距離情報に基づいて焦点領域に入った各第二画像セグメントの情報を取得できる。そして、焦点領域に入る各第二画像セグメントの画像距離情報により前景オブジェクトのフレーム数の範囲が得られる。具体的には、フレーム数の範囲を計算する際に、焦点領域に入った全第二画像セグメントの距離情報の平均値を計算し、前後フレームの差をそれぞれ設定することによってフレーム数の範囲を得ることができる。即ち、該平均値を基準値dとし、前フレームの差をΔ１とし、後フレームの差をΔ２とする場合、該前景オブジェクトのフレーム数の範囲が［ｄ−Δ１，ｄ＋Δ２］となる。言い換えると、画像距離情報が［ｄ−Δ１，ｄ＋Δ２］に入った全ての第二画像セグメントが前景オブジェクトに属し、その他の第二画像セグメントが背景オブジェクトに属する。ここで、Δ１とΔ２は等しくまたは等しくなくても良い。また、焦点領域に入った第二画像セグメントの距離情報を統計することによって、その最大値dmaxと最小値dminを抽出してフレーム数の範囲とすることもでき、即ち、該フレームの範囲は[dmin, dmax]である。画像距離情報が[dmin, dmax]範囲に入った全ての第二画像セグメントが前景オブジェクトに属し、その他の第二画像セグメントが背景オブジェクトに属する。このようにして、フレーム数の範囲を取得した後に、第二画像セグメントの画像距離情報に基づいて各第二画像セグメントを分割し前景セグメント／背景セグメントを生成する。図4の（２）に示すのは、この方法を利用して得られた図4の（1）に示した画像の前景セグメント／背景セグメントである。その中、二つの領域がそれぞれ前景セグメント領域420と背景セグメント領域410である。また、図4の（2）からわかるように、該前景セグメント／背景セグメントは、背景に孤立した前景点440が多数存在し、前景にも背景点430による空洞が現れ、不完全なものとなっている。これらの孤立点と空洞は、前景と背景の分割結果を誤った方向に導くため、背景ぼかし効果の低下の原因となる。本実施例において、好ましくは、最適化手段を利用してこれらの孤立点と空洞を除去することによって画像の前景セグメント／背景セグメントを最適化する。例えば、形態学的画像処理法、例えば浸食・拡張の方法を用いて孤立点と空洞を除去することができ、その結果は図4の（3）に示される。即ち、図4の（２）に示した初期の前景セグメント／背景セグメントは、形態学的画像処理によって、よりよい前景セグメント／背景セグメントを得ることが可能となる。図4の（２）と比べ、図4の（3）における背景セグメント450及び前景セグメント460は、孤立点や空洞などが取り除かれている。図4の（1）、（2）及び（3）は、元画像の前景セグメント／背景セグメントの処理プロセスを示すものである。
【００４５】
本発明の他の実施例において、画像分割確定手段は、第一の画像分割手段により取得された分割結果（複数の第一画像セグメントへの分割。例えば、図７の701）、及び、取得された元画像の前景セグメント／背景セグメント（例えば、図７の704で、該704は図4-3と同じ）に基づいて、各第一画像セグメントの中の、前景セグメントに入った画素数と、背景セグメントに入った画素数の比を計算することができ、そして、該比に基づいて該第一画像セグメントが前景セグメントと背景セグメントのどちらに属するかを決定し、これにより、図７の702に示すような前景画素領域／背景画素領域を生成する。ここで、図７の７０２にある二つの領域がそれぞれ前景画素領域7022と背景画素領域7021である。好ましくは、画像分割確定手段は、各第一画像セグメントの、前景セグメントに入った画素数と、背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断手段と、前景セグメントに属する各第一画像セグメントの画素を元画像の前景画素とし、背景セグメントに属する各第一画像セグメントの画素を元画像の背景画素とし、元画像の前景画素領域／背景画素領域を確定する確定手段と、を含む。前景画素領域／背景画素領域を取得した後に、取得された元画像の画像データも参照し、元画像の前景画素と背景画素とを分離できる。そして、背景画素に対してフィルタリングにより背景画素をぼかす。例えば、ガウシアンフィルタ或はメディアンフィルタなどの複数のフィルタリング方法を利用できる。そして、分離された前景画素とフィルタリング後の背景画素情報とを合成することによって新たな合成画像を生成する。図4の（1）の背景画素をガウシアンフィルタによりフィルタリングして生成された新たな背景ぼかしの画像は、図７の703に示される。図７は、画像の背景に対してぼかし処理を行うプロセスを示す図である。
【００４６】
本発明の他の実施例において、前景画素と背景画素を取得するまでの処理方法は、前記実施例と同様である。前景画素領域と背景画素領域を得た後に、距離変化方法で各背景画素から前景画素までの距離を計算することによって、段階的な背景ラベルを生成する。該距離変化方法では、前景画素領域と背景画素領域における各背景画素から前景画素領域までの最短距離を計算して、該最短距離情報を取得した後に、この情報に基づいて一定の距離閾値を設け、かつ該設定した距離閾値により背景を複数層の領域に分ける。図7の702に示すような領域は、この処理により処理された後に、図8の（1）に示すような段階的前景画素領域／背景画素領域になる。該段階的前景画素領域／背景画素領域は、画像処理手段に含まれる段階的背景生成手段によって実現されることができる。該実施例において、該段階的背景画素領域にある背景画素が、第一層、第二層及び第三層に分割される。その中、第一層の背景画素が前景画素領域に最も接近し、第三層の背景画素が前景画素領域から最も離れる。図8の（1）に示すように、内から外への領域は、それぞれ、前景画素領域801、第一層の背景画素領域802、第二層の背景画素領域803、第三層の背景画素領域804である。勿論、背景画素は、3層と限らなく、2層又はもっと多い層に分割されることも可能であり、ユーザのニーズによって予め決めればよい。該段階的前景画素領域／背景画素領域を取得した後に、画像フィルタリング手段を通して異なる層にある背景画素に対して、異なるフィルタリング・パラメータによってフィルタリングを行うことにより、前景に離れれば離れるほどぼかし程度が高いという効果が得られる。図8（１）は、段階的前景画素領域／背景画素領域を示す図であり、図８の（２）は、画像の背景に対して段階的なぼかし処理を行った後の効果を示す図である。
【００４７】
次に、本発明の他の側面において、画像処理方法が提供される。
【００４８】
図9は、本発明の一実施例における画像処理方法のフローチャートである。図９に示すように、この方法は、次のステップを含む。
ステップ９０１：元画像の画像データを取得する。
ステップ９０２：前記元画像の背景画素と前景画素を分離する。
ステップ９０３：前記背景画素に対してフィルタリングを行う。
ステップ９０４：前記前景画素と前記フィルタリング後の背景画素とを合成し、背景をぼかした新しい画像を生成する。
【００４９】
また、前述した元画像の背景画素と前景画素を分離するステップは、前記元画像を複数の第一画像セグメントに分割するステップと、前記元画像の前景セグメント／背景セグメントを確定するステップと、前記各第一画像セグメントが前記前景セグメント／背景セグメントの中の前景セグメントと背景セグメントのどちらに属するかを判断することにより、前記元画像の前景画素領域／背景画素領域を確定するステップと、を含む。
【００５０】
好ましい前記方法では、前記元画像の前景セグメント／背景セグメントを確定するステップは、所定の分割方式により前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得するステップと、前記各第二画像セグメントの画像距離情報に基づいて前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメント／背景セグメントを取得するステップと、を含む。
【００５１】
好ましい前記方法では、前記元画像の前景セグメント／背景セグメントを確定するステップは、所定の分割方式により前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得するステップと、元画像の焦点領域情報を取得するステップと、取得された各第二画像セグメントの画像距離情報と前記焦点領域情報に基づいて前記焦点領域に入った第二画像セグメントの情報を取得し、焦点領域に入った前記第二画像セグメントの情報によって前景オブジェクトのフレーム数の範囲を確定するステップと、前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲に基づいて前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメント／背景セグメントを取得するステップと、を含む。
【００５２】
好ましい前記方法では、前記元画像の前景セグメント／背景セグメントを確定するステップの後に、前記前景セグメント／背景セグメントに対して孤立点の除去と空洞の最適化を行うステップをさらに含む。
【００５３】
好ましい前記方法では、前記元画像の前景画素領域／背景画素領域を確定するステップは、各第一画像セグメントの中の、前記前景セグメントに入った画素数と、前記背景セグメントに入った画素数との比を計算し、当該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、当該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断するステップと、前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることで、前記元画像の前景画素領域／背景画素領域を取得するステップと、を含む。
【００５４】
好ましい前記方法では、前記前景画素領域／背景画素領域を確定するステップの後に、前記前景画素領域／背景画素領域により、各背景画素から前景画素領域までの最短距離を計算するステップと、所定の距離閾値により前記最短距離を分割し、前記背景画素領域を所定の複数の層に分け、複数の層を持つ背景画素の段階的前景画素領域／背景画素領域を生成するステップとをさらに含む。また、該段階前景画素領域／背景画素領域を生成した後に、異なるフィルタリング・パラメータにより異なる層にある背景画素に対してフィルタリングを行うステップをさらに含む。
【００５５】
図１０は、本発明の他の実施例における画像処理方法のフローチャートである。図１０に示すように、この方法は、次のステップを含む。
ステップａ：画像取得手段、画像距離情報取得手段及び画像焦点領域情報取得手段により、元画像の画像データ、画像距離情報及び画像焦点領域情報をそれぞれ取得する。ここで、画像距離情報の取得については、所定の分割方法に従って元画像を複数の第二画像セグメントに分割し、各第二画像セグメントの画像距離情報を計算する。具体的には、前記画像距離情報取得手段に関する記述を参照できるので、ここでは省略される。
ステップｂ：元画像の画像データを取得した後に、元画像に基づいて分割しようとする分割画像を取得し、選定された分割アルゴリズムによりこの分割画像を複数の第一画像セグメントに分割する。具体的な画像分割方法は、前記第一の画像分割手段に関する記述を参照できるので、ここでは省略される。
ステップｃ：取得された画像距離情報と焦点領域情報に基づいて前景オブジェクトのフレーム数の範囲、即ち焦点画像のフレーム数の範囲を計算する。具体的な計算方法は前記前景オブジェクトフレーム数範囲確定手段に関する記述を参照できので、ここでは省略される。
ステップｄ：該前景オブジェクトのフレーム数の範囲を算出した後に、取得された画像距離情報に基づいて該元画像の前景セグメント／背景セグメントを求め、そして、形態学的画像処理法を利用してこの前景セグメント／背景セグメントにおける孤立点と空洞を除去する。
ステップe：取得された分割結果と元画像の前景セグメント／背景セグメントに基づいて、各第一画像セグメントの中の、前景セグメントに入った画素数と背景セグメントに入った画素数の比を計算し、そして、この比に基づいて該第一画像セグメントが前景セグメントと背景セグメントのどちらに属するかを判断し、元画像の画素領域を前景画素領域と背景画素領域に分離し、前景画素領域／背景画素領域を生成する。具体的な生成プロセルは、前記画像分割確定手段に関する記述を参照できので、ここでは省略される。
ステップｆ：前景画素領域／背景画素領域を取得した後に、該領域により元画像の背景画素に対してフィルタリングを行い、フィルタリング後の背景画素と元画像の元前景画素を合成することによって新しい画像を生成する。この新しい画像における背景画素は、フィルタリングによってぼかし効果を有する。
【００５６】
該実施例において、前記ステップb、c、dがステップeの前に実行され、ステップｃがステップｄの前に実行される。しかし、ステップｂとステップｃの間には、実行上の前後順序がない。
【００５７】
図１１は、本発明の他の実施例における画像処理方法のフローチャートである。図１１に示すように、この方法は、次のステップを含む。
ステップa〜e：図10に示す実施例と同様である。
ステップｆ’：距離変化方法を用いて各背景画素から前景画素までの距離を計算し、段階的な背景ラベルを生成することによって、背景画素を所定の複数の層に分割し、段階的前景画素領域／背景画素領域を取得する。具体的に利用された距離変化方法は、前文の記述を参照できるので、ここでは省略される。
ステップｇ’：前景画素を保留し、異なるフィルタリング・パラメータを使用して異なる層に属する背景画素に対してフィルタリングを行い、前景画素領域から遠い層の背景画素のぼかし程度をより高くし、前景画素領域により近い層の背景画素のぼかし程度をより低くすることで、フィルタリング後の複数の層における背景画素と、分離された前景画素との合成による新しい画像に段階的なぼかし効果を持たせる。
【００５８】
また、前記方法における全て或は一部のステップは、プログラムにより実現できる。このようなプログラムをコンピュータが読み取り可能な記憶媒体に記憶し実行させる場合は、元画像の画像データを取得するステップと、前記元画像の背景画素と前景画素を分離するステップと、前記背景画素に対してフィルタリングを行うステップと、前記前景画素と前記フィルタリング後の背景画素を合成し、背景をぼかした新しい画像を生成するステップと、を含む。
【００５９】
前記の記憶媒体は、ROM／RAM、磁気ディスク、光ディスク、USBフラッシュメモリなどを含む。
【００６０】
本発明の実施例における画像処理装置は、デジタルカメラ、デジタルビデオカメラなどのデジタル画像撮像装置に使用されることができる。写真或は映像を撮影する場合、撮影された写真或は映像に対して画像処理を行い、背景のぼかし効果がある写真或は映像を取得することができる。これにより、主要な部分を強調し、背景をぼかし、被写界深度の感知効果を向上することができる。
【００６１】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。
【符号の説明】
【００６２】
１００ 画像処理装置
１０１ 画像取得手段
１０２ 画像処理手段
１０３ 画像フィルタリング手段
１０４ 画像合成手段
２０１ 第一の画像分割手段
２０２ 第二の画像分割手段
２０３ 画像分割確定手段
【技術分野】
【０００１】
本発明は画像処理に関し、特に、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
コンピュータ、デジタルテレビなどのデジタル製品の性能の向上及び普及範囲の拡大につれ、デジタルカメラ、デジタルビデオカメラなどのデジタル画像撮像装置の応用が迅速に広められ、従来のフィルムカメラに取って代わる勢いである。デジタルカメラなどの撮像装置により撮像された画像がコンピュータ、デジタルテレビ、携帯電話などのデジタル装置に直接表示されることができるのみならず、紙に印刷されることもできるので、人々の生活により多くの楽しみを取り入れている。それと同時に、医療用装置、リモートセンシング装置、通信用装置などの特殊装置のために開発された従来の画像処理技術もより多く人々の生活に入ってきた。今現在、最先端デジタルカメラは、既に百万以上の画素数に達している。
【０００３】
従来のフィルムカメラでは、カメラのパラメータを制御することによって被写界深度を調整し、前景が鮮明で、背景がぼんやりとした写真が得られる。例えば、人物写真を撮影する場合、結像原理に従ってレンズの焦点を被撮影者の目に正確に調整する。すると、被撮影者の後ろにある背景は、被写体距離との差で焦点が合わず鮮明に撮像されない。このような写真を見る人は、すぐに最も鮮明な前景（人物）に目が取られ、ぼやけた背景に気づかないため、人物写真は上手く撮影されたことになる。しかし、デジタルカメラの場合は、CCDのサイズがフィルムより小さいので、被写界深度が従来のフィルムカメラより深くなる。言い換えると、デジタルカメラでは、カメラからやや距離がある物体（人物など）を撮影するときに、前景を強調し、背景やその他の部分をぼやけさせることは、非常に難しい。
【０００４】
従来のフィルムカメラの背景ぼかし機能を再現するために、経験豊富な撮影者は、画像処理ソフトを利用する。しかし、この作業は時間がかかり、仕上がりも撮影者の経験によって差がある。
【０００５】
従来技術の中には、背景ぼかし機能を実現するための方法が幾つかある。例えば、画像シーケンスから１フレームを基本画像として選び、そのほかの画像を利用して背景領域と前景領域を生成し、背景領域をぼかすことで背景をぼかした一枚の画像を生成する方法がある。または、露出値が異なる二つの画像を利用してハイダイナミックレンジ画像を生成し、生成された画像の背景をぼかす方法、画像ぼかし技術により、野球ゲームのシーンを強調することでゲームの効果を向上し、シーンの変化によりぼかし範囲を確定する方法、メモリに幾つかのオーバーレイを予め記憶し、オーバーレイと写真とを合成してぼかした画像を得る方法などがある。これらの方法は、何れも複数の画像を使用して画像のぼかしを実現している。しかし、複数の画像を使用する際には、画像レジストレーションの問題が存在し、かつ画像レジストレーションの精度は画像生成の効果に直接に影響を与える。また、場合によっては、シーンが完全に一致した二つの画像が得られ難い。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、デジタル画像において領域を分割するための画像処理装置および画像処理方法を提供ことにある。
【課題を解決するための手段】
【０００７】
本発明の一側面によれば、画像処理装置が提供される。
【０００８】
前記装置は、元画像の画像データを取得する画像取得手段と、前記元画像の背景画素と前景画素を分離する画像処理手段と、を含み、前記画像処理手段は、前記元画像を、前記画像データに基づいて、複数の第一画像セグメントに分割する第一の画像分割手段と、前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントに分割する第二の画像分割手段と、前記第一の画像分割手段により分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割手段により分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定手段と、を含む。
【０００９】
好ましい前記装置は、前記第一の画像分割手段は、前記元画像に含まれる、異なるオブジェクトにより、前記元画像を前記複数の第一画像セグメントに分割し、前記各第一画像セグメントは、単一オブジェクトの画像又は単一オブジェクトの一部の画像である、画像処理装置である。
【００１０】
好ましい前記装置は、前記第一の画像分割手段は、色彩情報、グレースケール情報又はエッジ情報の少なくとも何れか一つにより、前記元画像を分割する、画像処理装置である。
【００１１】
好ましい前記装置は、前記第二の画像分割手段は、前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、前記各第二画像セグメントの前記画像距離情報により、前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメントと背景セグメントとを取得する分離手段と、を含む、画像処理装置である。
【００１２】
好ましい前記装置は、前記第二の画像分割手段は、前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、前記元画像の焦点領域情報を取得する画像焦点領域情報取得手段と、取得された前記各第二画像セグメントの前記画像距離情報と前記焦点領域情報により前記焦点領域に入った第二画像セグメントの情報を取得し、前記焦点領域に入った前記第二画像セグメントの前記情報により前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定手段と、前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲により、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメントと背景セグメントとを取得する分離手段と、を含む、画像処理装置である。
【００１３】
好ましい前記装置は、前記第二の画像分割手段は、取得された前記前景セグメントと背景セグメントとに対して、孤立点の除去と空洞の最適化を行う最適化手段をさらに含む、画像処理装置である。
【００１４】
好ましい前記装置は、前記複数の第二画像セグメントは、同一又は異なるサイズを有し、単一又は複数の画素を有する、画像処理装置である。
【００１５】
好ましい前記装置は、前記前景オブジェクトフレーム数範囲確定手段は、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報の平均値を計算し、前、後フレームの差をそれぞれ設定することにより前記前景オブジェクトのフレーム数の範囲を確定し、或いは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報のうち最大値と最小値を取得することにより前記前景オブジェクトのフレーム数の範囲を確定する、画像処理装置である。
【００１６】
好ましい前記装置は、前記画像分割確定手段は、前記各第一画像セグメントの中の、前記前景セグメントに入った画素数と前記背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断手段と、前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることにより、前記元画像の前記前景画素領域と背景画素領域とを確定する確定手段と、を含む、画像処理装置である。
【００１７】
好ましい前記装置は、前記画像処理手段は、前記前景画素領域と背景画素領域とにより各背景画素から前景画素領域までの最短距離を計算し、所定の距離閾値を利用して前記最短距離に対して分割を行うことにより、前記背景画素領域を所定の複数の層に分割し、複数の層を有する段階的な前景画素領域と背景画素領域とを生成する段階的背景生成手段をさらに含む、画像処理装置である。
【００１８】
本発明の他の側面によれば、画像処理方法が提供される。
【００１９】
前記方法は、元画像の画像データを取得する画像取得ステップと、前記元画像の背景画素と前景画素を分離する画像処理ステップと、を含み、前記画像処理ステップは、前記元画像を、前記画像データを基づいて、複数の第一画像セグメントに分割する第一の画像分割ステップと、前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントとに分割する第二の画像分割ステップと、前記第一の画像分割ステップにより分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割ステップにより分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定ステップと、を含む、画像処理方法である。
【００２０】
好ましい前記方法は、前記第一の画像分割ステップは、前記元画像に含まれる、異なるオブジェクトにより、前記元画像を前記複数の第一画像セグメントに分割し、前記各第一画像セグメントは、単一オブジェクトの画像又は単一オブジェクトの一部の画像である、画像処理方法である。
【００２１】
好ましい前記方法は、前記第一の画像分割ステップは、色彩情報、グレースケール情報又はエッジ情報の少なくとも何れか一つにより、前記元画像を分割する、画像処理方法である。
【００２２】
好ましい前記方法は、前記第二の画像分割ステップは、前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得ステップと、前記各第二画像セグメントの前記画像距離情報により、前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメントと背景セグメントとを取得する分離ステップと、を含む、画像処理方法である。
【００２３】
好ましい前記方法は、前記第二の画像分割ステップは、前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得ステップと、前記元画像の焦点領域情報を取得する画像焦点領域情報取得ステップと、取得された前記各第二画像セグメントの前記画像距離情報と前記焦点領域情報により前記焦点領域に入った第二画像セグメントの情報を取得し、前記焦点領域に入った前記第二画像セグメントの前記情報により前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定ステップと、前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲により、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメントと背景セグメントとを取得する分離ステップと、を含む、画像処理方法である。
【００２４】
好ましい前記方法は、前記第二の画像分割ステップは、取得された前記前景セグメントと背景セグメントとに対して、孤立点の除去と空洞の最適化を行う最適化ステップをさらに含む、画像処理方法である。
【００２５】
好ましい前記方法は、前記複数の第二画像セグメントは、同一又は異なるサイズを有し、単一又は複数の画素を有する、画像処理方法である。
【００２６】
好ましい前記方法は、前記前景オブジェクトフレーム数範囲確定ステップは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報の平均値を計算し、前、後フレームの差をそれぞれ設定することにより前記前景オブジェクトのフレーム数の範囲を確定し、或いは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報のうち最大値と最小値を取得することにより前記前景オブジェクトのフレーム数の範囲を確定する、画像処理方法である。
【００２７】
好ましい前記方法は、前記画像分割確定ステップは、前記各第一画像セグメントの中の、前記前景セグメントに入った画素数と前記背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断ステップと、前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることにより、前記元画像の前記前景画素領域と背景画素領域とを確定する確定ステップと、を含む、画像処理方法である。
【００２８】
好ましい前記方法は、前記画像処理ステップは、前記前景画素領域と背景画素領域とにより各背景画素から前景画素領域までの最短距離を計算し、所定の距離閾値を利用して前記最短距離に対して分割を行うことにより、前記背景画素領域を所定の複数の層に分割し、複数の層を有する段階的な前景画素領域と背景画素領域とを生成する段階的背景生成ステップをさらに含む、画像処理方法である。
【発明の効果】
【００２９】
本発明の実施例に係る画像処理装置は、元画像の画像データを取得した後に、元画像の背景画素と前景画素を精度よく分離することができる。その分離結果を用いることで、背景情報に対してフィルタリングを行うことによって、背景情報をぼかすことができ、そして、フィルタリング後の背景情報と元の前景情報を合成することによって、前景が鮮明で、背景がぼんやりとした新しい画像を得ることができる。よって、従来の画像撮像装置、例えば伝統のフィルムカメラの被写界深度の調節機能を模擬することができ、これにより、デジタル画像撮像装置により撮像された画像、例えば写真に対して背景をぼかすことができ、デジタル画像の被写界深度の感知効果を向上することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施例における画像処理装置の構成図である。
【図２】本発明の他の実施例における画像処理装置の構成図である。
【図３】本発明の一実施例に利用された分割アルゴリズムのフローチャートである。
【図４】（１）は、取得した元画像の例を示す図であり、（２）は、（１）に示す元画像の前景セグメント／背景セグメントを示す図であり、（３）は、（２）に示す前景セグメント／背景セグメントに対して最適化処理を行った後の前景セグメント／背景セグメントを示す図である。
【図５】本発明の一実施例における画像セグメントを示す図である。
【図６】図５に示す画像セグメントに基づいて得られた理想的な距離情報を示す図である。
【図７】画像の背景に対してぼかし処理を行うプロセスを示す図である。
【図８】（１）は、段階的前景画素領域／背景画素領域を示す図であり、（２）は、画像の段階的な背景に対してぼかし処理を行った後の効果を示す図である。
【図９】本発明の一実施例における画像処理方法のフローチャートである。
【図１０】本発明の他の実施例における画像処理方法のフローチャートである。
【図１１】本発明の他の実施例における画像処理方法のフローチャートである。
【発明を実施するための形態】
【００３１】
以下、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００３２】
まず、本発明の一側面において、画像処理装置が提供される。
【００３３】
図1は、本発明の一実施例における画像処理装置の構成図である。図１に示すように、画像処理装置100は、元画像の画像データを取得するために用いる画像取得手段101と、前記元画像の背景画素と前景画素を分離するために用いる画像処理手段102と、前記背景画素をフィルタリングするために用いる画像フィルタリング手段103と、前記前景画素とフィルタリング後の前記背景画素を合成するために用いる画像合成手段104とを含む。
【００３４】
好ましくは、元画像の画像データを取得した後に、取得された元画像の画像データを記憶手段、例えば内部メモリに記憶する。本発明の一実施例において、入力された画像がカラー画像であることを例にすると、取得された元画像の画像データは、画像の大きさと各画素の三つのチャンネル値を含む。例えば、取得された画像の大きさがM×N画素であるとし、ここで、M、Nは自然数である。各画素は、三つのチャンネル値、即ち、赤（R）チャンネル値、青（B）チャンネル値、緑（G）チャンネル値により表示される。８ビットで各チャンネルの値を記憶すると、各チャンネルの値は0〜255の範囲内になり、赤チャンネル値を例にすると、０は画素が赤成分をほとんど有しないことを示し、255は画素が赤成分の最大量を有することを示す。入力された画像はグレースケール画像であっても良く、この場合でも、処理方法はカラー画像の場合と同じである。
【００３５】
図２は、画像処理手段１０２の構成をより詳細に示した画像処理装置の構成図である。図2に示すように、画像処理装置１００において、画像処理手段１０２は、前記元画像を複数の第一画像セグメントに分割するために用いる第一の画像分割手段201と、前記元画像の前景セグメント／背景セグメントを抽出するために用いる第二の画像分割手段202と、前記第一画像セグメントの各セグメントが前記前景セグメント／背景セグメントの中の前景セグメント又は背景セグメントのどちらに属するかを判断することにより、前記元画像の前景画素領域／背景画素領域を確定するために用いる画像分割確定手段203と、を含む。
【００３６】
元画像の画像データを取得した後、第一の画像分割手段２０１は、まず、取得された元画像の画像データに対してサンプリングを行って、分割画像を得る。本実施例では、分割画像の大きさは、320×240画素である。なお、得られた元画像をサンプリングし画像分割を行うには、当業者にとって公知である複数の技術を利用できる。例えば、最近傍補間法、双線形補間法などの方法を使用することができる。第一の画像分割手段２０１は、分割画像を得た後に、該分割画像に含まれている異なるオブジェクトにより、該分割画像を複数の不規則な第一画像セグメントに分割し、ここで、各第一画像セグメントは、一つのオブジェクトでもよいし、一つのオブジェクトの一部分でもよい。本実施例において、理想的な分割結果とは、画像の過分割であり、分割不足ではないことである。過分割とは、画像にある一つのオブジェクトを複数のセグメントに分割できるが一つのセグメントに複数のオブジェクトが存在することができないとのことである。今まで、多数の研究者が何千件の論文において複数の分割方法を提案してきた。さらに、画像の色彩情報、グレースケール情報又はエッジ情報に基づいて前記元画像を分割することもできる。
【００３７】
図３は、本発明の一実施例に利用された分割アルゴリズムのフローチャートである。図３に示すように、この分割アルゴリズムは、次のステップを含む。
ステップ３００：元画像の画像データに基づいて、第一画像セグメントへの分割を行う分割画像を入力する。
ステップ３０１：バイラテラルフィルタリング法を用いて該分割画像にあるノイズを除去し画像を平滑化する。
ステップ３０２:領域拡張法を用いて分割画像をより小さい画像セグメントに分割する。ここで、領域拡張法は、典型的な画像分割方法である、この方法では、画素間の類似度を用いて任意に設定した開始点より拡張を行い、新画素と該領域の類似度が一定の閾値より大きくなるまで拡張する。次に新たな開始点を選択し、同様の動作を繰り返させ、全ての画素にラベルがついた時点で停止する。
ステップ３０３：領域隣接グラフおよびunion-find（融合−検索）法を用いて初期の分割結果を融合する。
ステップ３０４：画素の数が所定の閾値より小さい画像セグメントを除去し、最終的な分割結果を得る。
【００３８】
例えば、前記分割方法により、図4の（1）に示す画像に対して分割を行った結果は、図７の701に示される。
【００３９】
本発明の一実施例において、第二の画像分割手段２０２は、所定の分割方式により前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を得る画像距離情報取得手段と、前記各第二画像セグメントの画像距離情報に基づいて、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記前景セグメント／背景セグメントを得る分離手段とを含む。前記画像セグメントの画像距離情報とは、画像セグメントが存在する画像データを撮像した際の、該画像セグメントに対応する被写体から撮像装置までの絶対距離又は相対距離とのことである。分割された異なる第二画像セグメントは、同じ又は異なるサイズを有し、単一または複数の画素を有しても良い。
【００４０】
図５は、本発明の一実施例における画像セグメントを示す図であり、具体的には、画像距離情報取得手段により一つのサンプル画像を複数の第二画像セグメントに分割した後のセグメントを示すものである。この実施例においては、元画像を水平と垂直方向にそれぞれ32等分することで、1024個の第二画像セグメントを生成する。各第二画像セグメントに対してその全てのスキャンフレームのうち最も鮮明なフレームの画像距離情報を取得し該第二画像セグメントの距離情報のラベルとする。よって、該画像の距離情報を取得できる。
【００４１】
図６は、図５に示す画像セグメントに基づいて得られた理想的な距離情報を示す図である。図6に示すように、前景オブジェクト、即ち女の子が背景オブジェクトからうまく分離できたとのことがわかる。その中、二つの領域がそれぞれ前景オブジェクト領域601と背景領域602である。図６に示すような、背景に孤立点や空洞がなく、輪郭が鮮明である画像の理想距離情報を取得した場合、該理想距離情報に基づいて前景オブジェクトと背景オブジェクトを直接分離することが可能であり、画像の前景セグメント／背景セグメントを取得できる。勿論、該サンプル図が提供したのは、理想的な距離情報分割図であり、実際応用の場合は、ノイズや撮像装置の精度の制限により、通常、このような理想的な結果が得られないため、その他のステップと合せて最終的な前景と背景の分割図を取得する必要がある。
【００４２】
本発明の他の実施例において、好ましくは、第二の画像分割手段２０２は、所定の分割方法に従い元画像を複数の第二画像セグメントに分割し、各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、元画像の焦点領域情報を取得する画像焦点領域情報取得手段と、取得された各第二画像セグメントの画像距離情報と焦点領域情報に基づいて焦点領域に入った第二画像セグメントの情報を取得し、また、焦点領域に入った第二画像セグメントの情報に基づいて前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定手段と、各第二画像セグメントの画像距離情報と前景オブジェクトのフレーム数の範囲に基づいて元画像の前景オブジェクトと背景オブジェクトを分離し、元画像の前景セグメント／背景セグメントを取得する第二の画像分割手段と、を含む。
【００４３】
この実施例においては、画像距離情報取得手段の機能が前記実施例と同様であり、元画像の分割も前記実施例と同様であるため、ここでは省略する。この実施例において、画像距離情報取得手段は、画像取得手段が画像データを取得すると同時に画像の距離情報を取得することができ、また、画像焦点領域情報取得手段は、画像取得手段が画像データを取得すると同時に画像の焦点領域情報を取得することができる。例えば、デジタルカメラまたはビデオカメラが写真または映像を撮影する際に、撮影された写真の距離情報と焦点領域情報を同時に取得することができる。撮影された写真の距離情報とは、撮影された写真が対応するシーンにおける、各被写体からカメラ又はビデオカメラまでの距離情報とのことである。
【００４４】
この実施例において、焦点領域情報は、焦点領域の位置とサイズの情報を含む。焦点領域情報から焦点領域の座標が得られ、該座標情報及び取得された画像距離情報に基づいて焦点領域に入った各第二画像セグメントの情報を取得できる。そして、焦点領域に入る各第二画像セグメントの画像距離情報により前景オブジェクトのフレーム数の範囲が得られる。具体的には、フレーム数の範囲を計算する際に、焦点領域に入った全第二画像セグメントの距離情報の平均値を計算し、前後フレームの差をそれぞれ設定することによってフレーム数の範囲を得ることができる。即ち、該平均値を基準値dとし、前フレームの差をΔ１とし、後フレームの差をΔ２とする場合、該前景オブジェクトのフレーム数の範囲が［ｄ−Δ１，ｄ＋Δ２］となる。言い換えると、画像距離情報が［ｄ−Δ１，ｄ＋Δ２］に入った全ての第二画像セグメントが前景オブジェクトに属し、その他の第二画像セグメントが背景オブジェクトに属する。ここで、Δ１とΔ２は等しくまたは等しくなくても良い。また、焦点領域に入った第二画像セグメントの距離情報を統計することによって、その最大値dmaxと最小値dminを抽出してフレーム数の範囲とすることもでき、即ち、該フレームの範囲は[dmin, dmax]である。画像距離情報が[dmin, dmax]範囲に入った全ての第二画像セグメントが前景オブジェクトに属し、その他の第二画像セグメントが背景オブジェクトに属する。このようにして、フレーム数の範囲を取得した後に、第二画像セグメントの画像距離情報に基づいて各第二画像セグメントを分割し前景セグメント／背景セグメントを生成する。図4の（２）に示すのは、この方法を利用して得られた図4の（1）に示した画像の前景セグメント／背景セグメントである。その中、二つの領域がそれぞれ前景セグメント領域420と背景セグメント領域410である。また、図4の（2）からわかるように、該前景セグメント／背景セグメントは、背景に孤立した前景点440が多数存在し、前景にも背景点430による空洞が現れ、不完全なものとなっている。これらの孤立点と空洞は、前景と背景の分割結果を誤った方向に導くため、背景ぼかし効果の低下の原因となる。本実施例において、好ましくは、最適化手段を利用してこれらの孤立点と空洞を除去することによって画像の前景セグメント／背景セグメントを最適化する。例えば、形態学的画像処理法、例えば浸食・拡張の方法を用いて孤立点と空洞を除去することができ、その結果は図4の（3）に示される。即ち、図4の（２）に示した初期の前景セグメント／背景セグメントは、形態学的画像処理によって、よりよい前景セグメント／背景セグメントを得ることが可能となる。図4の（２）と比べ、図4の（3）における背景セグメント450及び前景セグメント460は、孤立点や空洞などが取り除かれている。図4の（1）、（2）及び（3）は、元画像の前景セグメント／背景セグメントの処理プロセスを示すものである。
【００４５】
本発明の他の実施例において、画像分割確定手段は、第一の画像分割手段により取得された分割結果（複数の第一画像セグメントへの分割。例えば、図７の701）、及び、取得された元画像の前景セグメント／背景セグメント（例えば、図７の704で、該704は図4-3と同じ）に基づいて、各第一画像セグメントの中の、前景セグメントに入った画素数と、背景セグメントに入った画素数の比を計算することができ、そして、該比に基づいて該第一画像セグメントが前景セグメントと背景セグメントのどちらに属するかを決定し、これにより、図７の702に示すような前景画素領域／背景画素領域を生成する。ここで、図７の７０２にある二つの領域がそれぞれ前景画素領域7022と背景画素領域7021である。好ましくは、画像分割確定手段は、各第一画像セグメントの、前景セグメントに入った画素数と、背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断手段と、前景セグメントに属する各第一画像セグメントの画素を元画像の前景画素とし、背景セグメントに属する各第一画像セグメントの画素を元画像の背景画素とし、元画像の前景画素領域／背景画素領域を確定する確定手段と、を含む。前景画素領域／背景画素領域を取得した後に、取得された元画像の画像データも参照し、元画像の前景画素と背景画素とを分離できる。そして、背景画素に対してフィルタリングにより背景画素をぼかす。例えば、ガウシアンフィルタ或はメディアンフィルタなどの複数のフィルタリング方法を利用できる。そして、分離された前景画素とフィルタリング後の背景画素情報とを合成することによって新たな合成画像を生成する。図4の（1）の背景画素をガウシアンフィルタによりフィルタリングして生成された新たな背景ぼかしの画像は、図７の703に示される。図７は、画像の背景に対してぼかし処理を行うプロセスを示す図である。
【００４６】
本発明の他の実施例において、前景画素と背景画素を取得するまでの処理方法は、前記実施例と同様である。前景画素領域と背景画素領域を得た後に、距離変化方法で各背景画素から前景画素までの距離を計算することによって、段階的な背景ラベルを生成する。該距離変化方法では、前景画素領域と背景画素領域における各背景画素から前景画素領域までの最短距離を計算して、該最短距離情報を取得した後に、この情報に基づいて一定の距離閾値を設け、かつ該設定した距離閾値により背景を複数層の領域に分ける。図7の702に示すような領域は、この処理により処理された後に、図8の（1）に示すような段階的前景画素領域／背景画素領域になる。該段階的前景画素領域／背景画素領域は、画像処理手段に含まれる段階的背景生成手段によって実現されることができる。該実施例において、該段階的背景画素領域にある背景画素が、第一層、第二層及び第三層に分割される。その中、第一層の背景画素が前景画素領域に最も接近し、第三層の背景画素が前景画素領域から最も離れる。図8の（1）に示すように、内から外への領域は、それぞれ、前景画素領域801、第一層の背景画素領域802、第二層の背景画素領域803、第三層の背景画素領域804である。勿論、背景画素は、3層と限らなく、2層又はもっと多い層に分割されることも可能であり、ユーザのニーズによって予め決めればよい。該段階的前景画素領域／背景画素領域を取得した後に、画像フィルタリング手段を通して異なる層にある背景画素に対して、異なるフィルタリング・パラメータによってフィルタリングを行うことにより、前景に離れれば離れるほどぼかし程度が高いという効果が得られる。図8（１）は、段階的前景画素領域／背景画素領域を示す図であり、図８の（２）は、画像の背景に対して段階的なぼかし処理を行った後の効果を示す図である。
【００４７】
次に、本発明の他の側面において、画像処理方法が提供される。
【００４８】
図9は、本発明の一実施例における画像処理方法のフローチャートである。図９に示すように、この方法は、次のステップを含む。
ステップ９０１：元画像の画像データを取得する。
ステップ９０２：前記元画像の背景画素と前景画素を分離する。
ステップ９０３：前記背景画素に対してフィルタリングを行う。
ステップ９０４：前記前景画素と前記フィルタリング後の背景画素とを合成し、背景をぼかした新しい画像を生成する。
【００４９】
また、前述した元画像の背景画素と前景画素を分離するステップは、前記元画像を複数の第一画像セグメントに分割するステップと、前記元画像の前景セグメント／背景セグメントを確定するステップと、前記各第一画像セグメントが前記前景セグメント／背景セグメントの中の前景セグメントと背景セグメントのどちらに属するかを判断することにより、前記元画像の前景画素領域／背景画素領域を確定するステップと、を含む。
【００５０】
好ましい前記方法では、前記元画像の前景セグメント／背景セグメントを確定するステップは、所定の分割方式により前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得するステップと、前記各第二画像セグメントの画像距離情報に基づいて前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメント／背景セグメントを取得するステップと、を含む。
【００５１】
好ましい前記方法では、前記元画像の前景セグメント／背景セグメントを確定するステップは、所定の分割方式により前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得するステップと、元画像の焦点領域情報を取得するステップと、取得された各第二画像セグメントの画像距離情報と前記焦点領域情報に基づいて前記焦点領域に入った第二画像セグメントの情報を取得し、焦点領域に入った前記第二画像セグメントの情報によって前景オブジェクトのフレーム数の範囲を確定するステップと、前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲に基づいて前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメント／背景セグメントを取得するステップと、を含む。
【００５２】
好ましい前記方法では、前記元画像の前景セグメント／背景セグメントを確定するステップの後に、前記前景セグメント／背景セグメントに対して孤立点の除去と空洞の最適化を行うステップをさらに含む。
【００５３】
好ましい前記方法では、前記元画像の前景画素領域／背景画素領域を確定するステップは、各第一画像セグメントの中の、前記前景セグメントに入った画素数と、前記背景セグメントに入った画素数との比を計算し、当該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、当該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断するステップと、前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることで、前記元画像の前景画素領域／背景画素領域を取得するステップと、を含む。
【００５４】
好ましい前記方法では、前記前景画素領域／背景画素領域を確定するステップの後に、前記前景画素領域／背景画素領域により、各背景画素から前景画素領域までの最短距離を計算するステップと、所定の距離閾値により前記最短距離を分割し、前記背景画素領域を所定の複数の層に分け、複数の層を持つ背景画素の段階的前景画素領域／背景画素領域を生成するステップとをさらに含む。また、該段階前景画素領域／背景画素領域を生成した後に、異なるフィルタリング・パラメータにより異なる層にある背景画素に対してフィルタリングを行うステップをさらに含む。
【００５５】
図１０は、本発明の他の実施例における画像処理方法のフローチャートである。図１０に示すように、この方法は、次のステップを含む。
ステップａ：画像取得手段、画像距離情報取得手段及び画像焦点領域情報取得手段により、元画像の画像データ、画像距離情報及び画像焦点領域情報をそれぞれ取得する。ここで、画像距離情報の取得については、所定の分割方法に従って元画像を複数の第二画像セグメントに分割し、各第二画像セグメントの画像距離情報を計算する。具体的には、前記画像距離情報取得手段に関する記述を参照できるので、ここでは省略される。
ステップｂ：元画像の画像データを取得した後に、元画像に基づいて分割しようとする分割画像を取得し、選定された分割アルゴリズムによりこの分割画像を複数の第一画像セグメントに分割する。具体的な画像分割方法は、前記第一の画像分割手段に関する記述を参照できるので、ここでは省略される。
ステップｃ：取得された画像距離情報と焦点領域情報に基づいて前景オブジェクトのフレーム数の範囲、即ち焦点画像のフレーム数の範囲を計算する。具体的な計算方法は前記前景オブジェクトフレーム数範囲確定手段に関する記述を参照できので、ここでは省略される。
ステップｄ：該前景オブジェクトのフレーム数の範囲を算出した後に、取得された画像距離情報に基づいて該元画像の前景セグメント／背景セグメントを求め、そして、形態学的画像処理法を利用してこの前景セグメント／背景セグメントにおける孤立点と空洞を除去する。
ステップe：取得された分割結果と元画像の前景セグメント／背景セグメントに基づいて、各第一画像セグメントの中の、前景セグメントに入った画素数と背景セグメントに入った画素数の比を計算し、そして、この比に基づいて該第一画像セグメントが前景セグメントと背景セグメントのどちらに属するかを判断し、元画像の画素領域を前景画素領域と背景画素領域に分離し、前景画素領域／背景画素領域を生成する。具体的な生成プロセルは、前記画像分割確定手段に関する記述を参照できので、ここでは省略される。
ステップｆ：前景画素領域／背景画素領域を取得した後に、該領域により元画像の背景画素に対してフィルタリングを行い、フィルタリング後の背景画素と元画像の元前景画素を合成することによって新しい画像を生成する。この新しい画像における背景画素は、フィルタリングによってぼかし効果を有する。
【００５６】
該実施例において、前記ステップb、c、dがステップeの前に実行され、ステップｃがステップｄの前に実行される。しかし、ステップｂとステップｃの間には、実行上の前後順序がない。
【００５７】
図１１は、本発明の他の実施例における画像処理方法のフローチャートである。図１１に示すように、この方法は、次のステップを含む。
ステップa〜e：図10に示す実施例と同様である。
ステップｆ’：距離変化方法を用いて各背景画素から前景画素までの距離を計算し、段階的な背景ラベルを生成することによって、背景画素を所定の複数の層に分割し、段階的前景画素領域／背景画素領域を取得する。具体的に利用された距離変化方法は、前文の記述を参照できるので、ここでは省略される。
ステップｇ’：前景画素を保留し、異なるフィルタリング・パラメータを使用して異なる層に属する背景画素に対してフィルタリングを行い、前景画素領域から遠い層の背景画素のぼかし程度をより高くし、前景画素領域により近い層の背景画素のぼかし程度をより低くすることで、フィルタリング後の複数の層における背景画素と、分離された前景画素との合成による新しい画像に段階的なぼかし効果を持たせる。
【００５８】
また、前記方法における全て或は一部のステップは、プログラムにより実現できる。このようなプログラムをコンピュータが読み取り可能な記憶媒体に記憶し実行させる場合は、元画像の画像データを取得するステップと、前記元画像の背景画素と前景画素を分離するステップと、前記背景画素に対してフィルタリングを行うステップと、前記前景画素と前記フィルタリング後の背景画素を合成し、背景をぼかした新しい画像を生成するステップと、を含む。
【００５９】
前記の記憶媒体は、ROM／RAM、磁気ディスク、光ディスク、USBフラッシュメモリなどを含む。
【００６０】
本発明の実施例における画像処理装置は、デジタルカメラ、デジタルビデオカメラなどのデジタル画像撮像装置に使用されることができる。写真或は映像を撮影する場合、撮影された写真或は映像に対して画像処理を行い、背景のぼかし効果がある写真或は映像を取得することができる。これにより、主要な部分を強調し、背景をぼかし、被写界深度の感知効果を向上することができる。
【００６１】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。
【符号の説明】
【００６２】
１００ 画像処理装置
１０１ 画像取得手段
１０２ 画像処理手段
１０３ 画像フィルタリング手段
１０４ 画像合成手段
２０１ 第一の画像分割手段
２０２ 第二の画像分割手段
２０３ 画像分割確定手段
【特許請求の範囲】
【請求項１】
元画像の画像データを取得する画像取得手段と、
前記元画像の背景画素と前景画素を分離する画像処理手段と、
を含む、画像処理装置であって、
前記画像処理手段は、
前記元画像を、前記画像データに基づいて、複数の第一画像セグメントに分割する第一の画像分割手段と、
前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントに分割する第二の画像分割手段と、
前記第一の画像分割手段により分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割手段により分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定手段と、
を含む、
画像処理装置。
【請求項２】
前記第一の画像分割手段は、前記元画像に含まれる、異なるオブジェクトにより、前記元画像を前記複数の第一画像セグメントに分割し、
前記各第一画像セグメントは、単一オブジェクトの画像又は単一オブジェクトの一部の画像である、
請求項１に記載の画像処理装置。
【請求項３】
前記第一の画像分割手段は、色彩情報、グレースケール情報又はエッジ情報の少なくとも何れか一つにより、前記元画像を分割する、
請求項１に記載に画像処理装置。
【請求項４】
前記第二の画像分割手段は、
前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、
前記各第二画像セグメントの前記画像距離情報により、前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメントと背景セグメントとを取得する分離手段と、
を含む、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第二の画像分割手段は、
前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、
前記元画像の焦点領域情報を取得する画像焦点領域情報取得手段と、
取得された前記各第二画像セグメントの前記画像距離情報と前記焦点領域情報により前記焦点領域に入った第二画像セグメントの情報を取得し、前記焦点領域に入った前記第二画像セグメントの前記情報により前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定手段と、
前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲により、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメントと背景セグメントとを取得する分離手段と、
を含む、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記第二の画像分割手段は、取得された前記前景セグメントと背景セグメントとに対して、孤立点の除去と空洞の最適化を行う最適化手段をさらに含む、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の第二画像セグメントは、同一又は異なるサイズを有し、単一又は複数の画素を有する、
請求項４又は５に記載の画像処理装置。
【請求項８】
前記前景オブジェクトフレーム数範囲確定手段は、
前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報の平均値を計算し、前、後フレームの差をそれぞれ設定することにより前記前景オブジェクトのフレーム数の範囲を確定し、或いは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報のうち最大値と最小値を取得することにより前記前景オブジェクトのフレーム数の範囲を確定する、
請求項５に記載の画像処理装置。
【請求項９】
前記画像分割確定手段は、
前記各第一画像セグメントの中の、前記前景セグメントに入った画素数と前記背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断手段と、
前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることにより、前記元画像の前記前景画素領域と背景画素領域とを確定する確定手段と、
を含む、
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理手段は、前記前景画素領域と背景画素領域とにより各背景画素から前景画素領域までの最短距離を計算し、所定の距離閾値を利用して前記最短距離に対して分割を行うことにより、前記背景画素領域を所定の複数の層に分割し、複数の層を有する段階的な前景画素領域と背景画素領域とを生成する段階的背景生成手段をさらに含む、
請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
元画像の画像データを取得する画像取得ステップと、
前記元画像の背景画素と前景画素を分離する画像処理ステップと、
を含む、画像処理方法であって、
前記画像処理ステップは、
前記元画像を、前記画像データを基づいて、複数の第一画像セグメントに分割する第一の画像分割ステップと、
前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントとに分割する第二の画像分割ステップと、
前記第一の画像分割ステップにより分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割ステップにより分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定ステップと、
を含む、
画像処理方法。
【請求項１２】
前記第一の画像分割ステップは、前記元画像に含まれる、異なるオブジェクトにより、前記元画像を前記複数の第一画像セグメントに分割し、
前記各第一画像セグメントは、単一オブジェクトの画像又は単一オブジェクトの一部の画像である、
請求項１１に記載の画像処理方法。
【請求項１３】
前記第一の画像分割ステップは、色彩情報、グレースケール情報又はエッジ情報の少なくとも何れか一つにより、前記元画像を分割する、
請求項１１に記載に画像処理方法。
【請求項１４】
前記第二の画像分割ステップは、
前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得ステップと、
前記各第二画像セグメントの前記画像距離情報により、前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメントと背景セグメントとを取得する分離ステップと、
を含む、
請求項１１から１３のいずれか１項に記載の画像処理方法。
【請求項１５】
前記第二の画像分割ステップは、
前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得ステップと、
前記元画像の焦点領域情報を取得する画像焦点領域情報取得ステップと、
取得された前記各第二画像セグメントの前記画像距離情報と前記焦点領域情報により前記焦点領域に入った第二画像セグメントの情報を取得し、前記焦点領域に入った前記第二画像セグメントの前記情報により前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定ステップと、
前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲により、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメントと背景セグメントとを取得する分離ステップと、
を含む、
請求項１１から１３のいずれか１項に記載の画像処理方法。
【請求項１６】
前記第二の画像分割ステップは、取得された前記前景セグメントと背景セグメントとに対して、孤立点の除去と空洞の最適化を行う最適化ステップをさらに含む、
請求項１１から１５のいずれか１項に記載の画像処理方法。
【請求項１７】
前記複数の第二画像セグメントは、同一又は異なるサイズを有し、単一又は複数の画素を有する、
請求項１４又は１５に記載の画像処理方法。
【請求項１８】
前記前景オブジェクトフレーム数範囲確定ステップは、
前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報の平均値を計算し、前、後フレームの差をそれぞれ設定することにより前記前景オブジェクトのフレーム数の範囲を確定し、或いは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報のうち最大値と最小値を取得することにより前記前景オブジェクトのフレーム数の範囲を確定する、
請求項１５に記載の画像処理方法。
【請求項１９】
前記画像分割確定ステップは、
前記各第一画像セグメントの中の、前記前景セグメントに入った画素数と前記背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断ステップと、
前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることにより、前記元画像の前記前景画素領域と背景画素領域とを確定する確定ステップと、
を含む、
請求項１１から１８のいずれか１項に記載の画像処理方法。
【請求項２０】
前記画像処理ステップは、前記前景画素領域と背景画素領域とにより各背景画素から前景画素領域までの最短距離を計算し、所定の距離閾値を利用して前記最短距離に対して分割を行うことにより、前記背景画素領域を所定の複数の層に分割し、複数の層を有する段階的な前景画素領域と背景画素領域とを生成する段階的背景生成ステップをさらに含む、
請求項１１から１９のいずれか１項に記載の画像処理方法。
【請求項１】
元画像の画像データを取得する画像取得手段と、
前記元画像の背景画素と前景画素を分離する画像処理手段と、
を含む、画像処理装置であって、
前記画像処理手段は、
前記元画像を、前記画像データに基づいて、複数の第一画像セグメントに分割する第一の画像分割手段と、
前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントに分割する第二の画像分割手段と、
前記第一の画像分割手段により分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割手段により分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定手段と、
を含む、
画像処理装置。
【請求項２】
前記第一の画像分割手段は、前記元画像に含まれる、異なるオブジェクトにより、前記元画像を前記複数の第一画像セグメントに分割し、
前記各第一画像セグメントは、単一オブジェクトの画像又は単一オブジェクトの一部の画像である、
請求項１に記載の画像処理装置。
【請求項３】
前記第一の画像分割手段は、色彩情報、グレースケール情報又はエッジ情報の少なくとも何れか一つにより、前記元画像を分割する、
請求項１に記載に画像処理装置。
【請求項４】
前記第二の画像分割手段は、
前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、
前記各第二画像セグメントの前記画像距離情報により、前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメントと背景セグメントとを取得する分離手段と、
を含む、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第二の画像分割手段は、
前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得手段と、
前記元画像の焦点領域情報を取得する画像焦点領域情報取得手段と、
取得された前記各第二画像セグメントの前記画像距離情報と前記焦点領域情報により前記焦点領域に入った第二画像セグメントの情報を取得し、前記焦点領域に入った前記第二画像セグメントの前記情報により前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定手段と、
前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲により、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメントと背景セグメントとを取得する分離手段と、
を含む、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記第二の画像分割手段は、取得された前記前景セグメントと背景セグメントとに対して、孤立点の除去と空洞の最適化を行う最適化手段をさらに含む、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の第二画像セグメントは、同一又は異なるサイズを有し、単一又は複数の画素を有する、
請求項４又は５に記載の画像処理装置。
【請求項８】
前記前景オブジェクトフレーム数範囲確定手段は、
前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報の平均値を計算し、前、後フレームの差をそれぞれ設定することにより前記前景オブジェクトのフレーム数の範囲を確定し、或いは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報のうち最大値と最小値を取得することにより前記前景オブジェクトのフレーム数の範囲を確定する、
請求項５に記載の画像処理装置。
【請求項９】
前記画像分割確定手段は、
前記各第一画像セグメントの中の、前記前景セグメントに入った画素数と前記背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断手段と、
前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることにより、前記元画像の前記前景画素領域と背景画素領域とを確定する確定手段と、
を含む、
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理手段は、前記前景画素領域と背景画素領域とにより各背景画素から前景画素領域までの最短距離を計算し、所定の距離閾値を利用して前記最短距離に対して分割を行うことにより、前記背景画素領域を所定の複数の層に分割し、複数の層を有する段階的な前景画素領域と背景画素領域とを生成する段階的背景生成手段をさらに含む、
請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
元画像の画像データを取得する画像取得ステップと、
前記元画像の背景画素と前景画素を分離する画像処理ステップと、
を含む、画像処理方法であって、
前記画像処理ステップは、
前記元画像を、前記画像データを基づいて、複数の第一画像セグメントに分割する第一の画像分割ステップと、
前記元画像を、前記画像データの画像距離情報に基づいて、前景セグメントと背景セグメントとに分割する第二の画像分割ステップと、
前記第一の画像分割ステップにより分割された前記複数の第一画像セグメントの各々が、前記第二の画像分割ステップにより分割された前記前景セグメントと背景セグメントとの何れに属するかを判定することにより、前記元画像の前景画素領域と背景画素領域とを確定する画像分割確定ステップと、
を含む、
画像処理方法。
【請求項１２】
前記第一の画像分割ステップは、前記元画像に含まれる、異なるオブジェクトにより、前記元画像を前記複数の第一画像セグメントに分割し、
前記各第一画像セグメントは、単一オブジェクトの画像又は単一オブジェクトの一部の画像である、
請求項１１に記載の画像処理方法。
【請求項１３】
前記第一の画像分割ステップは、色彩情報、グレースケール情報又はエッジ情報の少なくとも何れか一つにより、前記元画像を分割する、
請求項１１に記載に画像処理方法。
【請求項１４】
前記第二の画像分割ステップは、
前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得ステップと、
前記各第二画像セグメントの前記画像距離情報により、前記元画像の前景オブジェクトと背景オブジェクトとを分離し、前記前景セグメントと背景セグメントとを取得する分離ステップと、
を含む、
請求項１１から１３のいずれか１項に記載の画像処理方法。
【請求項１５】
前記第二の画像分割ステップは、
前記元画像を複数の第二画像セグメントに分割し、前記各第二画像セグメントの画像距離情報を取得する画像距離情報取得ステップと、
前記元画像の焦点領域情報を取得する画像焦点領域情報取得ステップと、
取得された前記各第二画像セグメントの前記画像距離情報と前記焦点領域情報により前記焦点領域に入った第二画像セグメントの情報を取得し、前記焦点領域に入った前記第二画像セグメントの前記情報により前景オブジェクトのフレーム数の範囲を確定する前景オブジェクトフレーム数範囲確定ステップと、
前記各第二画像セグメントの画像距離情報と前記前景オブジェクトのフレーム数の範囲により、前記元画像の前景オブジェクトと背景オブジェクトを分離し、前記元画像の前景セグメントと背景セグメントとを取得する分離ステップと、
を含む、
請求項１１から１３のいずれか１項に記載の画像処理方法。
【請求項１６】
前記第二の画像分割ステップは、取得された前記前景セグメントと背景セグメントとに対して、孤立点の除去と空洞の最適化を行う最適化ステップをさらに含む、
請求項１１から１５のいずれか１項に記載の画像処理方法。
【請求項１７】
前記複数の第二画像セグメントは、同一又は異なるサイズを有し、単一又は複数の画素を有する、
請求項１４又は１５に記載の画像処理方法。
【請求項１８】
前記前景オブジェクトフレーム数範囲確定ステップは、
前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報の平均値を計算し、前、後フレームの差をそれぞれ設定することにより前記前景オブジェクトのフレーム数の範囲を確定し、或いは、前記焦点領域に入った全ての前記第二画像セグメントの画像距離情報のうち最大値と最小値を取得することにより前記前景オブジェクトのフレーム数の範囲を確定する、
請求項１５に記載の画像処理方法。
【請求項１９】
前記画像分割確定ステップは、
前記各第一画像セグメントの中の、前記前景セグメントに入った画素数と前記背景セグメントに入った画素数との比を計算し、該比が所定の閾値以上である場合、前記第一画像セグメントが前景セグメントに属すると判断し、該比が前記所定の閾値未満である場合、前記第一画像セグメントが背景セグメントに属すると判断する第一画像セグメント判断ステップと、
前景セグメントに属する前記各第一画像セグメントの画素を前景画素とし、背景セグメントに属する前記各第一画像セグメントの画素を背景画素とすることにより、前記元画像の前記前景画素領域と背景画素領域とを確定する確定ステップと、
を含む、
請求項１１から１８のいずれか１項に記載の画像処理方法。
【請求項２０】
前記画像処理ステップは、前記前景画素領域と背景画素領域とにより各背景画素から前景画素領域までの最短距離を計算し、所定の距離閾値を利用して前記最短距離に対して分割を行うことにより、前記背景画素領域を所定の複数の層に分割し、複数の層を有する段階的な前景画素領域と背景画素領域とを生成する段階的背景生成ステップをさらに含む、
請求項１１から１９のいずれか１項に記載の画像処理方法。
【図１】
【図２】
【図３】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−２８２９７９（Ｐ２００９−２８２９７９Ａ）
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願番号】特願２００９−１２１３３１（Ｐ２００９−１２１３３１）
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]