画像処理装置、画像処理方法、及びプログラム
【課題】ユーザの好みに応じて自由にぼかし処理を施すことが可能で、且つ、通常の一眼レフカメラでの合焦作業に似た手順により、処理後のぼかし画像のイメージをユーザが早い段階で感覚的に捉えることが可能になる画像処理装置を提供する。
【解決手段】画像処理装置１は、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理部１２と、ぼかし処理部１２によりぼかし処理された画像を表示部１５に表示させた状態で、そのぼかし処理された画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択部１３と、領域選択部１３により選択された領域の画素値を、上記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理部１４と、を備える。
【解決手段】画像処理装置１は、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理部１２と、ぼかし処理部１２によりぼかし処理された画像を表示部１５に表示させた状態で、そのぼかし処理された画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択部１３と、領域選択部１３により選択された領域の画素値を、上記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理部１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を施すことで画像のぼかしの程度を変えることが可能な画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から画像処理にぼかし処理を施す技術が利用されている。例えば、特許文献１には、近景から遠景までの広い範囲で焦点が全体に合った画像でも、対象となる被写体に焦点が合い（合焦し）、それ以外の被写体がぼけた、奥行き感のある立体的な画像とする画像処理装置及び画像処理方法が記載されている。
【０００３】
特許文献１に記載の技術では、画面を区分した領域に含まれる被写体までの距離に基づいて領域毎にぼかし処理の度合いを設定することで、近景から遠景まで焦点が全体に合った画像でも、対象となる被写体に焦点が合い、それ以外の被写体がぼけた、奥行き感のある立体的なものとすることができる。また、この技術では、高周波成分や人物の顔を検出することにより、ぼかし処理を行う領域なのか、そうでないのかを、判断することにより、撮影からぼかし処理を施した画像データ生成までの一連の流れを実行している。
【０００４】
また、同様に距離情報に基づいてぼかし処理を行う画像処理装置が、例えば特許文献２に記載されている。特許文献２に記載の技術では、入力した画像の所望の部分を合焦状態とし、他の部分に距離に対応した所望のぼけを加え、これにより、例えば、コンパクトカメラで撮影したような、画面のすべてで合焦しているような画像も、高級な一眼レフカメラで撮影したような、ぼけの感覚を生かした画像に加工することが可能になっている。このように、この技術では、仮想的な光学系を想定しているのでぼけも不自然でなく、さらに、合焦位置を自由に指定できるので、遠景をぼかせたり近景をぼかせたりが自在にでき、任意の仮想光学系でのぼけが再現できる。
【０００５】
また、特許文献２には、入力した画像に、遠方の距離情報をもつ画像の部分より順に、上書きでぼけ効果を付加する技術も記載されており、この技術により、ぼけを付加する処理における「かぶり」の問題を解決している。さらに、特許文献２には、入力した画像の一部分にのみぼけ効果を付加する第１の動作モードと、残りの画像部分にぼけ効果を付加する第２の動作モードとをもち、第１の動作モードから第２の動作モードに切り換える技術も記載されており、この技術により、画面の一部でぼけの効果を確認してから、画面全体にぼけを付加する処理に移ることができるようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９４７８５号公報
【特許文献２】特開２０００−２０７５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の処理方法では、奥行きに応じたぼかし処理をユーザが自由に行うことができず、予め決められたぼかし処理に基づいた画像生成しかなされなかった。つまり、この処理方法では、立体的な画像を提供することは実現できるものの、ユーザが所望とする画像が実現できるとは言い難い。
【０００８】
また、特許文献２の処理方法では、実際の光学レンズによるぼかしと同等のぼかしを考慮しているため、実際にはありえないような大げさなぼかしの表現には適しておらず、自由にユーザがぼかし処理を行える訳ではない。
【０００９】
さらに、この処理方法では、ユーザが所望の部分を合焦状態とし、他の部分に距離に対応した所望のぼけを加えることができるものの、ぼかし画像のイメージを感覚的に捉えるのには、細かな設定をした後に全ての処理を施す必要があった。従って、特許文献２に記載の処理方法では、全体に焦点が合っているものを領域毎にぼかしていき、立体感のある画像を生成するといった手順を踏むため、どの領域をどの程度処理したらよいかは処理に慣れたユーザでないと分かり難く、直感的な操作を行うことは難しい。
【００１０】
分かり難い理由としては、ユーザが、焦点を合わせて表示させたいオブジェクトを判断してから処理を行うことが一般的であるためである。例えば、通常の一眼レフカメラでの合焦作業では、全体的に大まかにピントが合っている状態から所定の被写体に焦点を合わせるが、この処理方法は、この合焦作業とは異なる手順であるため、不慣れなユーザには分かり難くなる。
【００１１】
また、特許文献１に記載の処理方法でも、全体に焦点が合っているものを領域毎にぼかしていき、立体感のある画像を生成するといった手順を踏むため、同様の問題が生じる。
【００１２】
本発明は、上述のような実情に鑑みてなされたものであり、ユーザの好みに応じて自由にぼかし処理を施すことが可能で、且つ、通常の一眼レフカメラでの合焦作業に似た手順により、処理後のぼかし画像のイメージをユーザが早い段階で感覚的に捉えることが可能になる画像処理装置、画像処理方法、及びその画像処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の第１の技術手段は、画像処理装置において、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理部と、前記ぼかし処理部によりぼかし処理された画像を表示させた状態で、該画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択部と、前記領域選択部により選択された領域の画素値を、前記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理部と、を備えたことを特徴としたものである。
【００１４】
第２の技術手段は、第１の技術手段において、前記領域選択部は、前記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得部を有し、前記取得部で取得した視差値又はデプス値をもつ領域を選択して前記合焦処理部に渡すことを特徴としたものである。
【００１５】
第３の技術手段は、第２の技術手段において、前記ぼかし処理部は、前記ぼかし処理に際し、前記入力画像の各画素の視差値又はデプス値に応じてぼかし量を異ならせることを特徴としたものである。
【００１６】
第４の技術手段は、第１又は第２の技術手段において、前記ぼかし処理部は、前記合焦処理部で合焦処理を施した後に、前記領域選択部で選択されなかった領域に対して、ユーザ操作に基づいてぼかし量を変更することを特徴としたものである。
【００１７】
第５の技術手段は、画像処理方法において、ぼかし処理部が、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理ステップと、領域選択部が、前記ぼかし処理ステップによりぼかし処理された画像を表示部に表示させた状態で、該画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択ステップと、合焦処理部が、前記領域選択ステップにより選択された領域の画素値を、前記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理ステップと、を有することを特徴としたものである。
【００１８】
第６の技術手段は、第５の技術手段において、前記領域選択ステップは、前記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得ステップを有し、前記取得ステップで取得した視差値又はデプス値をもつ領域を選択して前記合焦処理ステップに渡すステップであることを特徴としたものである。
【００１９】
第７の技術手段は、第６の技術手段において、前記ぼかし処理ステップは、前記ぼかし処理に際し、前記入力画像の各画素の視差値又はデプス値に応じてぼかし量を異ならせることを特徴としたものである。
【００２０】
第８の技術手段は、プログラムにおいて、第５〜第７のいずれか１の技術手段における画像処理方法を、コンピュータに実行させるためのプログラムであることを特徴としたものである。
【発明の効果】
【００２１】
本発明によれば、近景から遠景まで焦点が全体に合った画像などにぼかし処理を行う際に、ユーザの好みに応じて自由にぼかし処理を施すことが可能で、且つ、通常の一眼レフカメラでの合焦作業に似た手順となり、処理後のぼかし画像のイメージをユーザが早い段階で感覚的に捉えることが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る画像処理装置の一構成例を示すブロック図である。
【図２】本発明の第１の実施形態による画像処理例を説明するためのフロー図である。
【図３】本発明の第１の実施形態による撮影画像の概念図である。
【図４】本発明の第１の実施形態による全領域ぼかし処理を施した画像の概念図である。
【図５】本発明の第１の実施形態による近距離被写体の選択領域に合焦処理を施した画像の概念図である。
【図６】本発明の第２の実施形態による画像処理例を説明するためのフロー図である。
【図７】本発明の第２の実施形態による近距離被写体の選択領域に合焦処理を施した画像の概念図である。
【図８】本発明の第２の実施形態による遠距離被写体の選択領域に合焦処理を施した画像の概念図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明の各実施形態について説明する。本発明に係る画像処理装置は、近景から遠景まで合焦した画像にぼかし処理を施すことが可能な装置であり、以下ではそのことを前提として説明するが、処理対象の画像が「近景から遠景まで合焦した」画像でなくても、つまり処理対象の画像が全領域で合焦したものではなくどのような入力画像に対しても、同様の処理をユーザが望むように施すことができる。
【００２４】
＜第１の実施形態＞
図１は、本発明に係る画像処理装置の一構成例を示すブロック図で、図中、１は画像処理装置である。図１で示す画像処理装置１は、操作部１０、画像選択部１１、ぼかし処理部（全領域ぼかし処理部）１２、領域選択部１３、合焦処理部１４、及び表示部１５を備える。
【００２５】
なお、各部１２〜１４は画像処理装置１の制御部に相当する。この制御部は、ハードウェアとプログラムとにより構成してもよい。ハードウェアとしては、例えばパーソナルコンピュータで代表される汎用コンピュータ、又は例えば画像表示装置や画像撮影装置等の画像処理装置に組み込むためのマイクロコンピュータ、又はプログラム可能なＩＣ（Integrated Circuit）チップ等の汎用の集積回路／チップセットなどが挙げられる。プログラムとしては、各部１２〜１４の処理をそのハードウェアに実行させるためのプログラムが該当する。また、上記制御部は、ハードウェアのみで構成してもよく、その場合、汎用の画像処理装置に、本発明に係るぼかし処理を実行する専用のマイクロコンピュータ又は専用の集積回路／チップセットなどを搭載すればよい。
【００２６】
操作部１０は、ユーザ操作を受け付ける部位であり、画像処理装置１の本体に接続されたポインティングデバイスや、表示部１５と一体に設けられたタッチセンサなどが適用できる。表示部１５は、処理対象の画像や中間段階の処理画像や処理後の画像などを表示する装置であり、液晶パネルや有機ＥＬパネルなど、どのような表示形式の表示装置であってもよい。ここでは画像処理装置１は、表示部１５を内部に備えてもよいし、外部接続により外部に設けておいてもよい。
【００２７】
画像選択部１１は、ユーザが表示部１５で表示された画像一覧の中から操作部１０を用いて選択した画像を、処理対象として選択する。この選択により、内部メモリにその画像のデータを全て読み出すか、若しくはメモリ容量に合った容量分のデータ毎に順次読み出しておく。なお、選択対象の画像は、画像処理装置１の内部のハードディスク等の記憶部に記憶された画像や、外付けの記憶装置に記憶された画像であってもよく、ネットワークを介して画像処理装置１に接続された外部の記憶装置に記憶された画像であってもよい。また、選択対象の画像は、今から撮影するような画像であってもよく、その場合、読み出しは撮影後に行えばよい。
【００２８】
ぼかし処理部（全領域ぼかし処理部）１２は、入力画像の全領域の画素に対し、ぼかし処理を施す。具体的には、ぼかし処理部１２は、内部メモリに読み出された入力画像の全領域の画素値（つまり入力画像の全座標の画素値）に対してぼかし処理を施し、同じ内部メモリの空き領域に書き出すか、別途設けた内部メモリに書き出す。ぼかし処理部１２におけるぼかし処理自体は、既存の技術を用いればよい。
【００２９】
領域選択部１３は、ぼかし処理部１２によりぼかし処理された画像を表示部１５に表示させた状態で、そのぼかし処理された画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う。より具体的には、ユーザが表示部１５で表示された対象の画像上で操作部１０を用いて一部を選択する操作を行い、領域選択部１３がその操作信号を受けてその操作に合った領域を選択する。そして、領域選択部１３は、この選択した領域がメモリ上のどの領域にあるのかを合焦処理部１４に渡す。
【００３０】
合焦処理部１４は、領域選択部１３により選択された領域の画素値（選択された領域に対応する画素値）を、ぼかし処理前の入力画像（つまり近景から遠景まで合焦した画像）が示す画素値に置き換える。つまり、置き換えた部分の領域における各座標に対応する画素値は、それぞれ、ぼかし処理前の入力画像における各座標に対応する画素値となっている。
【００３１】
上述した構成の画像処理装置１における画像処理例について、図２を参照しながら説明する。図２は、本発明の第１の実施形態における画像処理例を説明するためのフロー図である。
【００３２】
まず、ユーザは、ぼかし処理を施したい画像をファイル管理アプリケーションなどで選択することで入力画像を準備し、表示部１５に表示させたぼかし処理実行ボタン等の選択によりぼかし処理を実行させる操作を行う。これにより、上記制御部がぼかし処理の実行を選択する（ステップＳ１）。以下の処理の主体については特に説明しないが、図１を参照しながら説明した通りである。
【００３３】
ステップＳ１では、例えば、事前に撮影した画像を準備しぼかし処理の実行を選択操作してもよいし、現在撮影しようとプレビュー表示をしている画像に対してぼかし処理の実行を選択操作し、撮影したときに後述のステップＳ２の処理が自動的に実行されるようにしてもよい。また逆に、ぼかし処理の実行を選択操作してから処理したい画像を選択操作するようにしてもよいし、ぼかし処理の実行を撮影直前の選択操作で受け付けたりや事前設定により設定しておいて、撮影実行により対象となる画像を取得するようにしてもよい。
【００３４】
このようにしてステップＳ１でぼかし処理の実行が選択されることにより、まず、全領域の画像に対しぼかし処理を行う（ステップＳ２）。ぼかし処理自体は、上述したように既存の技術を用いればよく、例えば、簡単な処理としては近接する画素の平均を取るものでもよいし、画素毎に重み付けを行い平均加算してもよい。また、ガウス分布などを用いぼかし処理を行ってもよいし、光学的なぼけを考慮したぼかし処理を行ってもよい。この時点でのぼかし処理を施した結果をユーザに視認させ、直感的に理解させることが可能である。なお、このぼかし処理の領域がこの時点でユーザの好みでなくても、後述のステップＳ４〜Ｓ７で変更できる。また、第２の実施形態で後述するように、視差値又はデプス値を取得する構成にしておけば、第１の実施形態におけるぼかし処理自体として、視差値又はデプス値に応じてぼかし量を異ならせるような処理を適用することも可能である。
【００３５】
次にここまでのぼかし処理（つまり全領域ぼかし処理のみ）で終了するか、さらに処理を続けるかを、この時点で受け付けたユーザ操作又は事前のユーザ操作による設定に基づき選択する（ステップＳ３）。終了するのであれば（ステップＳ３でＹＥＳの場合）、このフローを抜け出て終了する。終了しないのであれば（ステップＳ３でＮＯの場合）、処理を続けるコマンドを選択してもよいし、次のステップを選択することでぼかし処理を終了しないとみなしてもよい。
【００３６】
次のステップとなる合焦領域選択操作の受付では、ステップＳ２でぼかし処理を施した後の画像を表示させながら、ステップＳ２で全領域をぼかした処理をキャンセルするかのようにぼかしていない画像にしたい領域、つまり合焦領域をユーザ操作により選択させ、それを受け付ける（ステップＳ４）。また、ステップＳ４で選択された領域は表示部１５に逐次反映させるようにしておけばよい。なお、ぼかし処理された画像の全ての領域（つまり元の入力画像の全領域）について合焦領域として選択することもできるが、ユーザはぼかし処理された画像の少なくとも一部の領域を選択すればよい。
【００３７】
この選択手法としては、十字キーなどによるキー入力でもよいし、タッチパネル対応の表示装置に表示しているのであれば指でタッチして領域を選択してもよい。そして、ステップＳ４でユーザ選択された位置の座標を取得することで、領域選択が実行される（ステップＳ５）。タッチパネルではタッチした位置の座標を取得するために座標取得が必要であるが、十字キーなどのキー操作ではカーソールが表示されており、常に座標が取得できているため、特別に必要とならないこともある。
【００３８】
次いで、ステップＳ５で取得した座標に対応する画像のぼかしをキャンセルするかのように、選択した領域をぼかしていない画像にする処理を施す（ステップＳ６）。具体的には、ステップＳ６では、選択された合焦させる領域の画素値について、入力画像の画素値に戻す処理（つまり、元画像である全領域で合焦した画像に戻す）処理を行う。無論、ステップＳ６では、このような処理後の画像を表示部１５に反映させるようにしておけばよい。
【００３９】
ここで、この一連のステップＳ４〜Ｓ６でぼかした画像を元の焦点の合った画像に戻す処理が実施されるが、この選択領域が誤って選択されてしまう可能性もあるため、これら一連の処理をキャンセルできるよう、Ｕｎｄｏ（やり直し）の表示を行う（ステップＳ７）。Ｕｎｄｏが選択されればステップＳ６の処理をキャンセルし（ステップＳ８）、ステップＳ３へ戻る。一方で、Ｕｎｄｏを選択しない場合はそのままステップＳ３に戻り、ぼかし処理を継続するか終了するかを選択する。以降、上述した処理と同様な処理を繰り返し行う。
【００４０】
次に図３〜図５を併せて参照しながら具体的な処理例について説明する。図３〜図５は、図２の画像処理における画像の変化を説明するための概念図を示している。図３で例示するように、表示部１５の表示画面２には撮影等により得た画像（入力画像）をそのまま表示している。ここでは、遠景である遠距離被写体２１である山と中距離被写体２２であるキリンと近距離被写体２３であるライオンの全てに焦点が合っている状態とする。また、表示画面２の右下にはぼかし処理を実行させるためのアイコン２４を表示させている。
【００４１】
このアイコン２４がユーザ選択されることで、本発明に係るぼかし処理が実行されるが、そのはじめの処理として、表示中の画像に対してステップＳ２の全領域ぼかし処理が施される。この全領域ぼかし処理により、図４の表示画面２ａで例示するように、遠距離被写体２１ｖである山と中距離被写体２２ｖであるキリンと近距離被写体２３ｖであるライオンの全てがぼけた画像となる。また、表示画面２ａの右下には合焦領域の選択をユーザに促すメッセージ２５を表示している。このメッセージ２５の指示に従い、ステップＳ４により合焦領域の選択操作がなされる。
【００４２】
以下、ユーザが例えば近距離被写体２３であるライオンを選択したい場合について説明する。ステップＳ４でライオン（実際にはライオンの一部）が選択されると、ステップＳ５ではその選択された位置の座標を取得し、ステップＳ６ではその座標位置の画像を合焦する合焦処理（画素値を元に戻す処理）を施し、処理後の画像を表示部１５に反映させる。実際には、この操作の一回で近距離被写体２３であるライオン全てを選択することはできないので、この選択する作業を繰り返すことで、最終的に、近距離被写体２３であるライオン全てを選択及び合焦し表示を更新すればよい。例えば筆で塗りつぶすように選択領域を増やしていき、ライオンの一部から順にライオンの全体に至るまで徐々に合焦させていくようなことも可能である。
【００４３】
これにより、図５の表示画面２ｂで示すように、遠距離被写体２１ｖである山と中距離被写体２２ｖであるキリンはぼかした画像、近距離被写体２３ｃであるライオンは合焦した画像となり、より効果的な立体画像とすることができる。このように、本発明では、被写体（オブジェクト）の配置に応じたぼかし処理が可能となり、オブジェクト毎にユーザの望むようにぼかし処理を施すことが可能になる。
【００４４】
また、図５の表示画面２ｂの右下には、続けてぼかし処理を促すメッセージ２５とともに、このぼかし処理をＵｎｄｏするためのステップＳ７の処理を選択するＵｎｄｏのアイコン２６を表示している。なお、その他、一回の選択操作に対するＵｎｄｏのアイコンを別途、若しくはその入力画像に対して今回の処理で行った全ての選択操作に対するＵｎｄｏのアイコンと併せて、表示させておいてもよい。
【００４５】
また、ステップＳ５，Ｓ６では、取得した座標について焦点を合わせる処理を施すものとして説明しているが、例えばライオンに該当する全ての部分を少ない操作回数で選択できるようにするために、実際には取得した座標を含む一定範囲、若しくはある程度同じ色情報をもつ範囲に対して焦点を合わせることが好ましい。つまり、選択された位置だけでなくその周辺も合焦処理対象として選択できることが好ましい。一定範囲の決め方の一例としては、ビットマップ画像用の描画アプリケーションにおける筆の太さを決めるかのように、太いものから細いものまで選択できるように構成しておいてもよい。
【００４６】
また、図２の処理では、ステップＳ２で施した全領域ぼかし処理は常に反映されることとなるが、そのような事態を避けることが好ましい。そのため、図示しないフローにより、図２の処理後の画像を名前を付けて保存するか、上書き保存するか、破棄するかをユーザ操作により選択可能としておけばよい。
【００４７】
以上のようにして、近景から遠景まで全領域で合焦している画像に対してぼかし処理を実行するに際し、まず全領域の画素にぼかし処理を施し、その後合焦領域を選択していく。このような処理により、オブジェクト毎などに指定することもできるため、ユーザの好みに応じて自由にぼかし処理を施し、奥行き感のある画像を提供することが可能となる。
【００４８】
さらに、このような手順の処理は、全体的に大まかにピントが合っている状態から所定の被写体に焦点を合わせるといった通常の一眼レフカメラでの合焦作業に似た手順となるため、処理後のぼかし画像のイメージをユーザが早い段階で感覚的に捉えることが可能になる。
【００４９】
より具体的にこの効果を説明する。まず、特許文献１，２に記載された処理方法では、全体に焦点が合っているものを領域毎にぼかしていき、立体感のある画像を生成するといった手順を踏むため、どの領域をどの程度処理したらよいかは処理に慣れたユーザでないと分かり難く、直感的な操作を行うことは難しい。これに対し、本発明では、このような処理方法とは順序が異なり、最初に大雑把ながらも全体にぼかし処理を施すため、ぼかし機能なるものを使うとこんな画像処理ができる、というのをまずユーザに一目で感覚的に分からせることが可能となる。そして、本発明では、その後にぼかし処理が不要な部分を元に戻すなどの処理を施して奥行き感のある画像をユーザに提供することになる。従って、本発明では、特許文献１，２に記載された処理方法に比べて、操作性としては直感的に分かり易くなる。すなわち、本発明では、適当ではあるもののぼかし処理を施し、焦点の合うところだけを選択すればそれなりの画像になり、最後にぼかしの程度を調整するのみ、といった処理となるため、ユーザは直感的な操作を行うことができる。
【００５０】
＜第２の実施形態＞
本実施形態に係る画像処理装置は、上述した第１の実施形態の機能に加え、以下に説明するように領域選択に係る機能を有するように構成されている。本実施形態について、主に第１の実施形態との相違点について、図１を参照しながら説明する。
【００５１】
本実施形態に係る領域選択部１３は、ユーザによる選択操作に基づき選択された領域の画素に対応する視差値を取得する取得部（図示せず）を有し、この取得部で取得した視差値をもつ領域を選択して合焦処理部１４に渡す。つまり、合焦処理部１４は、上記取得部により取得された視差値をもつ領域の画素値を、入力画像が示す画素値に置き換えるといった処理を行うことになる。画素の視差値は、入力画像に画像の位置情報に対応させてもたせておけばよく、マップとしてもたせておいてもよい。
【００５２】
また、選択操作に基づき選択された領域の画素に対応する視差値は、選択された領域によっては複数の値を含むことになるが、この場合には、これら複数の視差値のそれぞれをもつ領域全てについて置き換えの対象としてもよいし、これら複数の視差値の最小値以上で最大値以下の視差値をもつ全ての領域について置き換えの対象としてもよいし、選択された領域の画素の視差値のうち選択画素数に対する存在個数が少ない視差値については置き換え対象としない（好ましくは、実際に選択された領域については置き換え対象とすればよい）ようにしてもよい。
【００５３】
また、本実施形態では、最終的に視差量に応じて合焦領域が選択（決定）されるため、ぼかし処理部１２も、全領域ぼかし処理に際し、入力画像の各画素の視差値に応じてぼかし量を異ならせるように構成してもよい。また、ぼかし処理部１２は、合焦処理部１４で合焦処理を施した後に、領域選択部１３で選択されなかった領域に対してユーザ操作に基づいてぼかし量を変更するようにしてもよい。
【００５４】
本実施形態に係る画像処理装置１での画像処理例について、図６〜図８を参照しながら説明する。図６は、本発明の第２の実施形態における画像処理例を説明するためのフロー図である。図７及び図８は、図６の画像処理における画像の変化を説明するための概念図を示している。
【００５５】
まず、図２のステップＳ１と同様にぼかし処理の実行を選択する（ステップＳ１１）。この選択により、まず、図２のステップＳ２と同様に、全領域の画像に対しぼかし処理を行い、このぼかし処理により画像をぼかすことができるという機能をユーザに視認させる（ステップＳ１２）。また、ステップＳ１２では、ステップＳ２のように一定のぼかし量でのぼかし処理を施してもよいが、入力画像の各画素の視差値に応じてぼかし量を異ならせるようにしてもよい。なお、このぼかし処理のぼかす領域、ぼけの程度がこの時点でユーザの好みでなくても、それぞれ後述のステップＳ１４〜Ｓ１７、ステップＳ２０〜２４の処理で変更できる。
【００５６】
次に、図２のステップＳ３と同様に、ここまでのぼかし処理で終了するか、さらに処理を続けるかを選択する（ステップＳ１３）。終了するのであれば、ステップＳ１４から続く後述のフローを抜け出て後述のステップＳ２０へ進む。終了しないのであれば、処理を続けるコマンドを選択してもよいし、次のステップを選択した時点で処理を終了しないとみなしてもよい。
【００５７】
次のステップとなる合焦領域選択操作の受付では、図２のステップＳ４と同様に合焦領域をユーザ操作で受け付ける（ステップＳ１４）。そして、図２のステップＳ５と同様に、ステップＳ１４でユーザ選択された位置の座標を取得することで、領域選択が実行される（ステップＳ１５）。
【００５８】
本実施形態では以上の処理で領域選択が完了ではなく、さらに、この選択位置の座標での視差値ｄを取得する（ステップＳ１６）。この視差値ｄについて詳述する。視差値とは例えば平行に配置した２つのカメラにより撮影した被写体のカメラ位置の違いによるずれ量である。例えば、カメラに近い被写体はカメラ位置による違いは顕著で視差値が大きくなるのに対し、カメラから遠い被写体はカメラ位置による違いは軽微で視差値が小さくなる。つまり、この視差値は被写体との距離に相関があるものである。視差値と同様に被写体までの距離であるデプス値でも以下の効果には同様に作用するため、視差値の代わりにデプス値を採用しても構わない。デプス値は、例えばＴＯＦ（Time of Flight）という、光源から出た光が被写体で反射し、センサに届くまでの光の飛行時間と光の速度とから、被写体までの距離を得る装置などでも得られる。
【００５９】
この取得した座標に対応する視差値ｄをステップＳ１６により取得し、この視差値ｄに対応する画像のぼかしをキャンセルするかのように、「選択した視差値ｄ」をもっている領域を元画像であるぼかしていない画像に戻す処理を行う（ステップＳ１７）。第１の実施形態と大きく異なるのが、選択した領域の画像だけでなく、選択した領域と同じ視差値、つまり同じ距離の被写体を一括して元画像であるぼかしていない画像に戻す処理を施すことにある。例えば、図３で示した近距離被写体２３であるライオンの視差値がライオンのどの部分でも同じであったならば、ライオンの一部を選択するだけで近距離被写体２３であるライオン全てが選択されることになる。
【００６０】
なお、視差値ｄの選択では、選択した領域が一点だけに限らないために視差値のばらつきがある可能性もあるため、それら選択領域の視差値の最大値や最頻値や平均値など、何らかのルールに従って取得する。また、その取得した視差値に幅を持たせ、例えば視差値２０を取得したら１８から２２までの±２の視差の範囲で視差値が同じとみなし、選択範囲としてもよい。
【００６１】
ここで、この一連のステップＳ１４〜Ｓ１７でぼかした画像を元の焦点の合った画像に戻す処理が実施されるが、この選択領域が誤って選択されてしまう可能性もあるため、これら一連の処理をキャンセルできるよう、Ｕｎｄｏの表示を行う（ステップＳ１８）。Ｕｎｄｏが選択されればステップＳ１７の処理をキャンセルし（ステップＳ１９）、ステップＳ１３へ戻る。一方で、Ｕｎｄｏを選択しない場合はそのままステップＳ１３に戻り、ぼかし処理を継続するか終了するかを選択する。以降、上述した処理と同様な処理を繰り返し行う。
【００６２】
このような処理により、図３〜図５で例示したような同様の画面遷移を行うことができる。また、図６の処理でも、図２の処理と同様に、ステップＳ１２で施した全領域ぼかし処理は常に反映されることとなるが、そのような事態を避けるような処理を付加することが好ましい。
【００６３】
また、本実施形態では視差値を用い選択領域を抽出しているが、上述したように視差値の使い方はこれだけなく、例えばステップＳ１２で全領域をぼかし処理する際にぼかしの程度を一律にするのではなく、視差値に応じてぼかしの程度を変化させてもよい。
【００６４】
このような処理により、図７の表示画面２ｃで示すように、例えば手前の近距離被写体２３ｃであるライオンに合焦させ、奥に配置される中距離被写体２２ｖであるキリンや遠距離被写体２１ｖｖである山をぼかすときに、より遠くに配置する遠距離被写体２１ｖｖである山は中距離被写体２２ｖであるキリンと比べ大きくぼかし処理を施し、距離によるぼかし程度を変化させることで、より効果的な画像とすることが可能となる。
【００６５】
また、図６の処理では、一番近い側か遠い側のいずれかしか合焦できないものではない。例えば図８の表示画面２ｄで示すように、例えば手前の近距離被写体であるライオンに合焦させるのではなく、奥に配置される中距離被写体２２ｃであるキリンに合焦させ、近距離被写体２３ｖであるライオンや遠距離被写体２１ｖである山をぼかしてから元に戻さないように処理することもできる。また、画像中のオブジェクトを３つで例示しているが、この例に限ったものではないことは言うまでもない。なお、これらの点は、図２の処理でも同様に適用できる。
【００６６】
次にステップＳ１３によりぼかし処理を終了した時の流れを説明する。第１の実施形態ではこのまま終了する処理しか触れていなかったが、本実施形態では引き続きぼかしの程度を調整する処理を行う。なお、ここで説明する変更処理は、第１の実施形態でも適用することもでき、その場合、図２のステップＳ３でＹＥＳとなった後に施すようにすればよい。
【００６７】
ステップＳ１３でＹＥＳの場合、ぼかす領域、逆にいえば合焦する領域を選択し終えた後、ぼかしの程度であるぼかし量を変化させる領域、があるか否かをユーザ操作に基づき選択する（ステップＳ２０）。ぼかし量を変化させない場合、ここで処理を終了する。
【００６８】
ここで説明する例では、ぼかし量を変化させる場合、ぼかし量を視差値などに拘わらず所定量だけ増加させるように変化させるのか、ぼかし量を視差値などに拘わらず所定量だけ低減させるように変化させるのかを、ユーザ操作に従って選択する（ステップＳ２１）。なお、ステップＳ２１のユーザ操作によりステップＳ２０のユーザ操作を省くこともできる。ぼかし量を低減するのであれば（ステップＳ２１でＮＯの場合）、現在表示しているぼかし画像よりぼかし量の小さい画像を、原画像（入力画像）のぼけのない画像から再生成する（ステップＳ２２）。ぼかし量を増加するのであれば（ステップＳ２１でＹＥＳの場合）、現在表示しているぼかし画像よりぼかし量の大きい画像を、原画像のぼけのない画像から再生成してもよいし、現在表示している画像を更にぼかし処理を施してもよい（ステップＳ２３）。
【００６９】
ステップＳ２２又はステップＳ２３の処理後、満足するぼかし量が得られたか否か（つまりここで処理を終了させて保存させてもよいか、再度ぼかし量を変化させるか）をユーザに問い合わせ、受け付けたユーザ操作に基づき選択する（ステップＳ２４）。ステップＳ２４で終了する旨の操作を受け付けた場合（ＹＥＳの場合）には処理を終了し、さらにぼかし量を変化させるユーザ操作を受けた場合（ＮＯの場合）にはステップＳ２０へ戻る。
【００７０】
ステップＳ２０〜Ｓ２４で説明した変更処理は、例えば、表示部１５にぼかし量を調節するつまみなどを表示させて、そのつまみを移動させるなどのユーザ操作を受け付け、その受け付けた結果に従って上記所定量を決めるなどすればよい。これにより、焦点が合っていない領域についてのぼかし量を、ユーザが後で変更したい場合にも対応できる。例えば、焦点が合っている場所はそのままに、ぼけた場所はよりボケる、若しくはボケが弱くなるように変更することができる。
【００７１】
また、ステップＳ１２における全領域ぼかし処理において、（ｉ）ある係数αで表される一定のぼかし量でのぼかし処理を施した場合でも、（ｉｉ）入力画像の各画素の視差値に応じてぼかし量を異ならせるようにぼかし処理を施した場合でも、ステップＳ２０〜Ｓ２４の処理は独立の処理として施すことができる。
【００７２】
例えば、上記（ｉ）の場合、合焦処理を施した後に、領域選択部１３で選択されなかった領域に対して、（ｉ−１）上記係数αを上下させるようなユーザ操作に基づいて、ぼかし量を一定分だけ上下させるようにしてもよい。若しくは、上記（ｉ）の場合、合焦処理を施した後に、領域選択部１３で選択されなかった領域に対して、（ｉ−２）視差値（合焦領域に対して与えられた視差値との差）に応じたぼかし量にするユーザ操作に基づいて、ぼかし量を変化させるようにしてもよい。上記（ｉ−２）の処理では、合焦領域が中距離被写体である場合、（ａ）その前方にある被写体か後方にある被写体かによってぼかし量が減る領域と増える領域が生じてくるように、ぼかし量の変更を行ってもよいし、（ｂ）合焦領域の前であるか後ろであるかに拘わらず、上記視差値の差の絶対値に応じてぼかし量の増加分（又は減少分）を変更させるようにしてもよい（増加又は減少、その度合についてはユーザ操作で決定すればよい）。また、上記（ｉｉ）の場合でも、（ｉ）の場合と同様に、上記（ｉ−１）、上記（ｉ−２）、上記（ａ）、上記（ｂ）のいずれの変更処理も適用できる。
【００７３】
また、図６におけるステップＳ２０〜Ｓ２４の処理では、合焦処理部１４で合焦処理を施した後に、領域選択部１３で選択されなかった領域に対してユーザ操作に基づいてぼかし量を変更するようにしているが、この処理を適用せずに、ステップＳ１３でＹＥＳの場合、処理を終了させるようにしてもよい。
【００７４】
＜その他の応用例＞
以上、第１、第２の実施形態において、上述した本発明に係るぼかし処理が重く処理時間がかかる場合には、例えば画像を確認するためのプレビュー時などはぼかし処理を簡易的なものとし、最終的にぼかしの程度などをフィックスさせたときに実際の指示に従った処理を行ってもよい。
【００７５】
また、この応用例や第１、第２の実施形態では、説明の簡略化のため、処理対象の画像が静止画像であることを前提として説明したが、これに限らず、動画像であってもよい。動画像を処理対象とする場合、例えばシーン毎の代表画像（例えばキーフレーム全て、若しくはユーザが選んだキーフレーム、サムネイル画像からユーザが選んだフレームなど）に、上述したぼかし処理（全領域ぼかし処理と選択領域について元に戻す処理とを含む）を施し、その他のフレームについてはそのぼかし処理を施したフレームと同じようにぼかし処理を施すなどすればよい。例えば同じオブジェクトに対して同じぼかし処理を施し、全く異なるオブジェクトに対してはそのまま若しくは最初のぼかし処理だけを施すなどすればよい。
【００７６】
また、本発明は、画像処理装置の処理例を説明したように画像処理方法としての形態も採用することができる。簡単に説明すると、本発明に係る画像処理方法は、ぼかし処理部が、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理ステップと、領域選択部が、ぼかし処理ステップによりぼかし処理された画像を表示部に表示させた状態で、その画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択ステップと、合焦処理部が、領域選択ステップにより選択された領域の画素値を、ぼかし処理前の入力画像が示す画素値に置き換える合焦処理ステップと、を有する。また、上記領域選択ステップは、上記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得ステップを有し、ここで取得した視差値又はデプス値をもつ領域を選択して合焦処理ステップに渡すようにしてもよい。その他の応用例については、画像処理装置について説明した通りであり、その説明を省略する。
【００７７】
また、本発明は、このような画像処理方法をコンピュータに実行させるためのプログラムとしての形態も採り得る。このコンピュータとしては、上述したように汎用コンピュータに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路／チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、インターネット等のネットワークを介して、また放送波を介して、さらには可搬の記録媒体を介して流通させることができる。
【符号の説明】
【００７８】
１…画像処理装置、２，２ａ，２ｂ，２ｃ，２ｄ…表示画面、１０…操作部、１１…画像選択部、１２…ぼかし処理部、１３…領域選択部、１４…合焦処理部、１５…表示部、２１…遠距離被写体、２１ｖ…ぼかした遠距離被写体、２１ｖｖ…ぼかし量を増加させた遠距離被写体、２２…中距離被写体、２２ｃ…ぼかした後に戻した中距離被写体、２２ｖ…ぼかした中距離被写体、２３…近距離被写体、２３ｖ…ぼかした近距離被写体、２３ｃ…ぼかした後に戻した近距離被写体、２４…ぼかし処理実行のためのアイコン、２５…メッセージ、２６…合焦処理を元に戻すためのアイコン。
【技術分野】
【０００１】
本発明は、画像処理を施すことで画像のぼかしの程度を変えることが可能な画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から画像処理にぼかし処理を施す技術が利用されている。例えば、特許文献１には、近景から遠景までの広い範囲で焦点が全体に合った画像でも、対象となる被写体に焦点が合い（合焦し）、それ以外の被写体がぼけた、奥行き感のある立体的な画像とする画像処理装置及び画像処理方法が記載されている。
【０００３】
特許文献１に記載の技術では、画面を区分した領域に含まれる被写体までの距離に基づいて領域毎にぼかし処理の度合いを設定することで、近景から遠景まで焦点が全体に合った画像でも、対象となる被写体に焦点が合い、それ以外の被写体がぼけた、奥行き感のある立体的なものとすることができる。また、この技術では、高周波成分や人物の顔を検出することにより、ぼかし処理を行う領域なのか、そうでないのかを、判断することにより、撮影からぼかし処理を施した画像データ生成までの一連の流れを実行している。
【０００４】
また、同様に距離情報に基づいてぼかし処理を行う画像処理装置が、例えば特許文献２に記載されている。特許文献２に記載の技術では、入力した画像の所望の部分を合焦状態とし、他の部分に距離に対応した所望のぼけを加え、これにより、例えば、コンパクトカメラで撮影したような、画面のすべてで合焦しているような画像も、高級な一眼レフカメラで撮影したような、ぼけの感覚を生かした画像に加工することが可能になっている。このように、この技術では、仮想的な光学系を想定しているのでぼけも不自然でなく、さらに、合焦位置を自由に指定できるので、遠景をぼかせたり近景をぼかせたりが自在にでき、任意の仮想光学系でのぼけが再現できる。
【０００５】
また、特許文献２には、入力した画像に、遠方の距離情報をもつ画像の部分より順に、上書きでぼけ効果を付加する技術も記載されており、この技術により、ぼけを付加する処理における「かぶり」の問題を解決している。さらに、特許文献２には、入力した画像の一部分にのみぼけ効果を付加する第１の動作モードと、残りの画像部分にぼけ効果を付加する第２の動作モードとをもち、第１の動作モードから第２の動作モードに切り換える技術も記載されており、この技術により、画面の一部でぼけの効果を確認してから、画面全体にぼけを付加する処理に移ることができるようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９４７８５号公報
【特許文献２】特開２０００−２０７５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の処理方法では、奥行きに応じたぼかし処理をユーザが自由に行うことができず、予め決められたぼかし処理に基づいた画像生成しかなされなかった。つまり、この処理方法では、立体的な画像を提供することは実現できるものの、ユーザが所望とする画像が実現できるとは言い難い。
【０００８】
また、特許文献２の処理方法では、実際の光学レンズによるぼかしと同等のぼかしを考慮しているため、実際にはありえないような大げさなぼかしの表現には適しておらず、自由にユーザがぼかし処理を行える訳ではない。
【０００９】
さらに、この処理方法では、ユーザが所望の部分を合焦状態とし、他の部分に距離に対応した所望のぼけを加えることができるものの、ぼかし画像のイメージを感覚的に捉えるのには、細かな設定をした後に全ての処理を施す必要があった。従って、特許文献２に記載の処理方法では、全体に焦点が合っているものを領域毎にぼかしていき、立体感のある画像を生成するといった手順を踏むため、どの領域をどの程度処理したらよいかは処理に慣れたユーザでないと分かり難く、直感的な操作を行うことは難しい。
【００１０】
分かり難い理由としては、ユーザが、焦点を合わせて表示させたいオブジェクトを判断してから処理を行うことが一般的であるためである。例えば、通常の一眼レフカメラでの合焦作業では、全体的に大まかにピントが合っている状態から所定の被写体に焦点を合わせるが、この処理方法は、この合焦作業とは異なる手順であるため、不慣れなユーザには分かり難くなる。
【００１１】
また、特許文献１に記載の処理方法でも、全体に焦点が合っているものを領域毎にぼかしていき、立体感のある画像を生成するといった手順を踏むため、同様の問題が生じる。
【００１２】
本発明は、上述のような実情に鑑みてなされたものであり、ユーザの好みに応じて自由にぼかし処理を施すことが可能で、且つ、通常の一眼レフカメラでの合焦作業に似た手順により、処理後のぼかし画像のイメージをユーザが早い段階で感覚的に捉えることが可能になる画像処理装置、画像処理方法、及びその画像処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の第１の技術手段は、画像処理装置において、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理部と、前記ぼかし処理部によりぼかし処理された画像を表示させた状態で、該画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択部と、前記領域選択部により選択された領域の画素値を、前記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理部と、を備えたことを特徴としたものである。
【００１４】
第２の技術手段は、第１の技術手段において、前記領域選択部は、前記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得部を有し、前記取得部で取得した視差値又はデプス値をもつ領域を選択して前記合焦処理部に渡すことを特徴としたものである。
【００１５】
第３の技術手段は、第２の技術手段において、前記ぼかし処理部は、前記ぼかし処理に際し、前記入力画像の各画素の視差値又はデプス値に応じてぼかし量を異ならせることを特徴としたものである。
【００１６】
第４の技術手段は、第１又は第２の技術手段において、前記ぼかし処理部は、前記合焦処理部で合焦処理を施した後に、前記領域選択部で選択されなかった領域に対して、ユーザ操作に基づいてぼかし量を変更することを特徴としたものである。
【００１７】
第５の技術手段は、画像処理方法において、ぼかし処理部が、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理ステップと、領域選択部が、前記ぼかし処理ステップによりぼかし処理された画像を表示部に表示させた状態で、該画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択ステップと、合焦処理部が、前記領域選択ステップにより選択された領域の画素値を、前記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理ステップと、を有することを特徴としたものである。
【００１８】
第６の技術手段は、第５の技術手段において、前記領域選択ステップは、前記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得ステップを有し、前記取得ステップで取得した視差値又はデプス値をもつ領域を選択して前記合焦処理ステップに渡すステップであることを特徴としたものである。
【００１９】
第７の技術手段は、第６の技術手段において、前記ぼかし処理ステップは、前記ぼかし処理に際し、前記入力画像の各画素の視差値又はデプス値に応じてぼかし量を異ならせることを特徴としたものである。
【００２０】
第８の技術手段は、プログラムにおいて、第５〜第７のいずれか１の技術手段における画像処理方法を、コンピュータに実行させるためのプログラムであることを特徴としたものである。
【発明の効果】
【００２１】
本発明によれば、近景から遠景まで焦点が全体に合った画像などにぼかし処理を行う際に、ユーザの好みに応じて自由にぼかし処理を施すことが可能で、且つ、通常の一眼レフカメラでの合焦作業に似た手順となり、処理後のぼかし画像のイメージをユーザが早い段階で感覚的に捉えることが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る画像処理装置の一構成例を示すブロック図である。
【図２】本発明の第１の実施形態による画像処理例を説明するためのフロー図である。
【図３】本発明の第１の実施形態による撮影画像の概念図である。
【図４】本発明の第１の実施形態による全領域ぼかし処理を施した画像の概念図である。
【図５】本発明の第１の実施形態による近距離被写体の選択領域に合焦処理を施した画像の概念図である。
【図６】本発明の第２の実施形態による画像処理例を説明するためのフロー図である。
【図７】本発明の第２の実施形態による近距離被写体の選択領域に合焦処理を施した画像の概念図である。
【図８】本発明の第２の実施形態による遠距離被写体の選択領域に合焦処理を施した画像の概念図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明の各実施形態について説明する。本発明に係る画像処理装置は、近景から遠景まで合焦した画像にぼかし処理を施すことが可能な装置であり、以下ではそのことを前提として説明するが、処理対象の画像が「近景から遠景まで合焦した」画像でなくても、つまり処理対象の画像が全領域で合焦したものではなくどのような入力画像に対しても、同様の処理をユーザが望むように施すことができる。
【００２４】
＜第１の実施形態＞
図１は、本発明に係る画像処理装置の一構成例を示すブロック図で、図中、１は画像処理装置である。図１で示す画像処理装置１は、操作部１０、画像選択部１１、ぼかし処理部（全領域ぼかし処理部）１２、領域選択部１３、合焦処理部１４、及び表示部１５を備える。
【００２５】
なお、各部１２〜１４は画像処理装置１の制御部に相当する。この制御部は、ハードウェアとプログラムとにより構成してもよい。ハードウェアとしては、例えばパーソナルコンピュータで代表される汎用コンピュータ、又は例えば画像表示装置や画像撮影装置等の画像処理装置に組み込むためのマイクロコンピュータ、又はプログラム可能なＩＣ（Integrated Circuit）チップ等の汎用の集積回路／チップセットなどが挙げられる。プログラムとしては、各部１２〜１４の処理をそのハードウェアに実行させるためのプログラムが該当する。また、上記制御部は、ハードウェアのみで構成してもよく、その場合、汎用の画像処理装置に、本発明に係るぼかし処理を実行する専用のマイクロコンピュータ又は専用の集積回路／チップセットなどを搭載すればよい。
【００２６】
操作部１０は、ユーザ操作を受け付ける部位であり、画像処理装置１の本体に接続されたポインティングデバイスや、表示部１５と一体に設けられたタッチセンサなどが適用できる。表示部１５は、処理対象の画像や中間段階の処理画像や処理後の画像などを表示する装置であり、液晶パネルや有機ＥＬパネルなど、どのような表示形式の表示装置であってもよい。ここでは画像処理装置１は、表示部１５を内部に備えてもよいし、外部接続により外部に設けておいてもよい。
【００２７】
画像選択部１１は、ユーザが表示部１５で表示された画像一覧の中から操作部１０を用いて選択した画像を、処理対象として選択する。この選択により、内部メモリにその画像のデータを全て読み出すか、若しくはメモリ容量に合った容量分のデータ毎に順次読み出しておく。なお、選択対象の画像は、画像処理装置１の内部のハードディスク等の記憶部に記憶された画像や、外付けの記憶装置に記憶された画像であってもよく、ネットワークを介して画像処理装置１に接続された外部の記憶装置に記憶された画像であってもよい。また、選択対象の画像は、今から撮影するような画像であってもよく、その場合、読み出しは撮影後に行えばよい。
【００２８】
ぼかし処理部（全領域ぼかし処理部）１２は、入力画像の全領域の画素に対し、ぼかし処理を施す。具体的には、ぼかし処理部１２は、内部メモリに読み出された入力画像の全領域の画素値（つまり入力画像の全座標の画素値）に対してぼかし処理を施し、同じ内部メモリの空き領域に書き出すか、別途設けた内部メモリに書き出す。ぼかし処理部１２におけるぼかし処理自体は、既存の技術を用いればよい。
【００２９】
領域選択部１３は、ぼかし処理部１２によりぼかし処理された画像を表示部１５に表示させた状態で、そのぼかし処理された画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う。より具体的には、ユーザが表示部１５で表示された対象の画像上で操作部１０を用いて一部を選択する操作を行い、領域選択部１３がその操作信号を受けてその操作に合った領域を選択する。そして、領域選択部１３は、この選択した領域がメモリ上のどの領域にあるのかを合焦処理部１４に渡す。
【００３０】
合焦処理部１４は、領域選択部１３により選択された領域の画素値（選択された領域に対応する画素値）を、ぼかし処理前の入力画像（つまり近景から遠景まで合焦した画像）が示す画素値に置き換える。つまり、置き換えた部分の領域における各座標に対応する画素値は、それぞれ、ぼかし処理前の入力画像における各座標に対応する画素値となっている。
【００３１】
上述した構成の画像処理装置１における画像処理例について、図２を参照しながら説明する。図２は、本発明の第１の実施形態における画像処理例を説明するためのフロー図である。
【００３２】
まず、ユーザは、ぼかし処理を施したい画像をファイル管理アプリケーションなどで選択することで入力画像を準備し、表示部１５に表示させたぼかし処理実行ボタン等の選択によりぼかし処理を実行させる操作を行う。これにより、上記制御部がぼかし処理の実行を選択する（ステップＳ１）。以下の処理の主体については特に説明しないが、図１を参照しながら説明した通りである。
【００３３】
ステップＳ１では、例えば、事前に撮影した画像を準備しぼかし処理の実行を選択操作してもよいし、現在撮影しようとプレビュー表示をしている画像に対してぼかし処理の実行を選択操作し、撮影したときに後述のステップＳ２の処理が自動的に実行されるようにしてもよい。また逆に、ぼかし処理の実行を選択操作してから処理したい画像を選択操作するようにしてもよいし、ぼかし処理の実行を撮影直前の選択操作で受け付けたりや事前設定により設定しておいて、撮影実行により対象となる画像を取得するようにしてもよい。
【００３４】
このようにしてステップＳ１でぼかし処理の実行が選択されることにより、まず、全領域の画像に対しぼかし処理を行う（ステップＳ２）。ぼかし処理自体は、上述したように既存の技術を用いればよく、例えば、簡単な処理としては近接する画素の平均を取るものでもよいし、画素毎に重み付けを行い平均加算してもよい。また、ガウス分布などを用いぼかし処理を行ってもよいし、光学的なぼけを考慮したぼかし処理を行ってもよい。この時点でのぼかし処理を施した結果をユーザに視認させ、直感的に理解させることが可能である。なお、このぼかし処理の領域がこの時点でユーザの好みでなくても、後述のステップＳ４〜Ｓ７で変更できる。また、第２の実施形態で後述するように、視差値又はデプス値を取得する構成にしておけば、第１の実施形態におけるぼかし処理自体として、視差値又はデプス値に応じてぼかし量を異ならせるような処理を適用することも可能である。
【００３５】
次にここまでのぼかし処理（つまり全領域ぼかし処理のみ）で終了するか、さらに処理を続けるかを、この時点で受け付けたユーザ操作又は事前のユーザ操作による設定に基づき選択する（ステップＳ３）。終了するのであれば（ステップＳ３でＹＥＳの場合）、このフローを抜け出て終了する。終了しないのであれば（ステップＳ３でＮＯの場合）、処理を続けるコマンドを選択してもよいし、次のステップを選択することでぼかし処理を終了しないとみなしてもよい。
【００３６】
次のステップとなる合焦領域選択操作の受付では、ステップＳ２でぼかし処理を施した後の画像を表示させながら、ステップＳ２で全領域をぼかした処理をキャンセルするかのようにぼかしていない画像にしたい領域、つまり合焦領域をユーザ操作により選択させ、それを受け付ける（ステップＳ４）。また、ステップＳ４で選択された領域は表示部１５に逐次反映させるようにしておけばよい。なお、ぼかし処理された画像の全ての領域（つまり元の入力画像の全領域）について合焦領域として選択することもできるが、ユーザはぼかし処理された画像の少なくとも一部の領域を選択すればよい。
【００３７】
この選択手法としては、十字キーなどによるキー入力でもよいし、タッチパネル対応の表示装置に表示しているのであれば指でタッチして領域を選択してもよい。そして、ステップＳ４でユーザ選択された位置の座標を取得することで、領域選択が実行される（ステップＳ５）。タッチパネルではタッチした位置の座標を取得するために座標取得が必要であるが、十字キーなどのキー操作ではカーソールが表示されており、常に座標が取得できているため、特別に必要とならないこともある。
【００３８】
次いで、ステップＳ５で取得した座標に対応する画像のぼかしをキャンセルするかのように、選択した領域をぼかしていない画像にする処理を施す（ステップＳ６）。具体的には、ステップＳ６では、選択された合焦させる領域の画素値について、入力画像の画素値に戻す処理（つまり、元画像である全領域で合焦した画像に戻す）処理を行う。無論、ステップＳ６では、このような処理後の画像を表示部１５に反映させるようにしておけばよい。
【００３９】
ここで、この一連のステップＳ４〜Ｓ６でぼかした画像を元の焦点の合った画像に戻す処理が実施されるが、この選択領域が誤って選択されてしまう可能性もあるため、これら一連の処理をキャンセルできるよう、Ｕｎｄｏ（やり直し）の表示を行う（ステップＳ７）。Ｕｎｄｏが選択されればステップＳ６の処理をキャンセルし（ステップＳ８）、ステップＳ３へ戻る。一方で、Ｕｎｄｏを選択しない場合はそのままステップＳ３に戻り、ぼかし処理を継続するか終了するかを選択する。以降、上述した処理と同様な処理を繰り返し行う。
【００４０】
次に図３〜図５を併せて参照しながら具体的な処理例について説明する。図３〜図５は、図２の画像処理における画像の変化を説明するための概念図を示している。図３で例示するように、表示部１５の表示画面２には撮影等により得た画像（入力画像）をそのまま表示している。ここでは、遠景である遠距離被写体２１である山と中距離被写体２２であるキリンと近距離被写体２３であるライオンの全てに焦点が合っている状態とする。また、表示画面２の右下にはぼかし処理を実行させるためのアイコン２４を表示させている。
【００４１】
このアイコン２４がユーザ選択されることで、本発明に係るぼかし処理が実行されるが、そのはじめの処理として、表示中の画像に対してステップＳ２の全領域ぼかし処理が施される。この全領域ぼかし処理により、図４の表示画面２ａで例示するように、遠距離被写体２１ｖである山と中距離被写体２２ｖであるキリンと近距離被写体２３ｖであるライオンの全てがぼけた画像となる。また、表示画面２ａの右下には合焦領域の選択をユーザに促すメッセージ２５を表示している。このメッセージ２５の指示に従い、ステップＳ４により合焦領域の選択操作がなされる。
【００４２】
以下、ユーザが例えば近距離被写体２３であるライオンを選択したい場合について説明する。ステップＳ４でライオン（実際にはライオンの一部）が選択されると、ステップＳ５ではその選択された位置の座標を取得し、ステップＳ６ではその座標位置の画像を合焦する合焦処理（画素値を元に戻す処理）を施し、処理後の画像を表示部１５に反映させる。実際には、この操作の一回で近距離被写体２３であるライオン全てを選択することはできないので、この選択する作業を繰り返すことで、最終的に、近距離被写体２３であるライオン全てを選択及び合焦し表示を更新すればよい。例えば筆で塗りつぶすように選択領域を増やしていき、ライオンの一部から順にライオンの全体に至るまで徐々に合焦させていくようなことも可能である。
【００４３】
これにより、図５の表示画面２ｂで示すように、遠距離被写体２１ｖである山と中距離被写体２２ｖであるキリンはぼかした画像、近距離被写体２３ｃであるライオンは合焦した画像となり、より効果的な立体画像とすることができる。このように、本発明では、被写体（オブジェクト）の配置に応じたぼかし処理が可能となり、オブジェクト毎にユーザの望むようにぼかし処理を施すことが可能になる。
【００４４】
また、図５の表示画面２ｂの右下には、続けてぼかし処理を促すメッセージ２５とともに、このぼかし処理をＵｎｄｏするためのステップＳ７の処理を選択するＵｎｄｏのアイコン２６を表示している。なお、その他、一回の選択操作に対するＵｎｄｏのアイコンを別途、若しくはその入力画像に対して今回の処理で行った全ての選択操作に対するＵｎｄｏのアイコンと併せて、表示させておいてもよい。
【００４５】
また、ステップＳ５，Ｓ６では、取得した座標について焦点を合わせる処理を施すものとして説明しているが、例えばライオンに該当する全ての部分を少ない操作回数で選択できるようにするために、実際には取得した座標を含む一定範囲、若しくはある程度同じ色情報をもつ範囲に対して焦点を合わせることが好ましい。つまり、選択された位置だけでなくその周辺も合焦処理対象として選択できることが好ましい。一定範囲の決め方の一例としては、ビットマップ画像用の描画アプリケーションにおける筆の太さを決めるかのように、太いものから細いものまで選択できるように構成しておいてもよい。
【００４６】
また、図２の処理では、ステップＳ２で施した全領域ぼかし処理は常に反映されることとなるが、そのような事態を避けることが好ましい。そのため、図示しないフローにより、図２の処理後の画像を名前を付けて保存するか、上書き保存するか、破棄するかをユーザ操作により選択可能としておけばよい。
【００４７】
以上のようにして、近景から遠景まで全領域で合焦している画像に対してぼかし処理を実行するに際し、まず全領域の画素にぼかし処理を施し、その後合焦領域を選択していく。このような処理により、オブジェクト毎などに指定することもできるため、ユーザの好みに応じて自由にぼかし処理を施し、奥行き感のある画像を提供することが可能となる。
【００４８】
さらに、このような手順の処理は、全体的に大まかにピントが合っている状態から所定の被写体に焦点を合わせるといった通常の一眼レフカメラでの合焦作業に似た手順となるため、処理後のぼかし画像のイメージをユーザが早い段階で感覚的に捉えることが可能になる。
【００４９】
より具体的にこの効果を説明する。まず、特許文献１，２に記載された処理方法では、全体に焦点が合っているものを領域毎にぼかしていき、立体感のある画像を生成するといった手順を踏むため、どの領域をどの程度処理したらよいかは処理に慣れたユーザでないと分かり難く、直感的な操作を行うことは難しい。これに対し、本発明では、このような処理方法とは順序が異なり、最初に大雑把ながらも全体にぼかし処理を施すため、ぼかし機能なるものを使うとこんな画像処理ができる、というのをまずユーザに一目で感覚的に分からせることが可能となる。そして、本発明では、その後にぼかし処理が不要な部分を元に戻すなどの処理を施して奥行き感のある画像をユーザに提供することになる。従って、本発明では、特許文献１，２に記載された処理方法に比べて、操作性としては直感的に分かり易くなる。すなわち、本発明では、適当ではあるもののぼかし処理を施し、焦点の合うところだけを選択すればそれなりの画像になり、最後にぼかしの程度を調整するのみ、といった処理となるため、ユーザは直感的な操作を行うことができる。
【００５０】
＜第２の実施形態＞
本実施形態に係る画像処理装置は、上述した第１の実施形態の機能に加え、以下に説明するように領域選択に係る機能を有するように構成されている。本実施形態について、主に第１の実施形態との相違点について、図１を参照しながら説明する。
【００５１】
本実施形態に係る領域選択部１３は、ユーザによる選択操作に基づき選択された領域の画素に対応する視差値を取得する取得部（図示せず）を有し、この取得部で取得した視差値をもつ領域を選択して合焦処理部１４に渡す。つまり、合焦処理部１４は、上記取得部により取得された視差値をもつ領域の画素値を、入力画像が示す画素値に置き換えるといった処理を行うことになる。画素の視差値は、入力画像に画像の位置情報に対応させてもたせておけばよく、マップとしてもたせておいてもよい。
【００５２】
また、選択操作に基づき選択された領域の画素に対応する視差値は、選択された領域によっては複数の値を含むことになるが、この場合には、これら複数の視差値のそれぞれをもつ領域全てについて置き換えの対象としてもよいし、これら複数の視差値の最小値以上で最大値以下の視差値をもつ全ての領域について置き換えの対象としてもよいし、選択された領域の画素の視差値のうち選択画素数に対する存在個数が少ない視差値については置き換え対象としない（好ましくは、実際に選択された領域については置き換え対象とすればよい）ようにしてもよい。
【００５３】
また、本実施形態では、最終的に視差量に応じて合焦領域が選択（決定）されるため、ぼかし処理部１２も、全領域ぼかし処理に際し、入力画像の各画素の視差値に応じてぼかし量を異ならせるように構成してもよい。また、ぼかし処理部１２は、合焦処理部１４で合焦処理を施した後に、領域選択部１３で選択されなかった領域に対してユーザ操作に基づいてぼかし量を変更するようにしてもよい。
【００５４】
本実施形態に係る画像処理装置１での画像処理例について、図６〜図８を参照しながら説明する。図６は、本発明の第２の実施形態における画像処理例を説明するためのフロー図である。図７及び図８は、図６の画像処理における画像の変化を説明するための概念図を示している。
【００５５】
まず、図２のステップＳ１と同様にぼかし処理の実行を選択する（ステップＳ１１）。この選択により、まず、図２のステップＳ２と同様に、全領域の画像に対しぼかし処理を行い、このぼかし処理により画像をぼかすことができるという機能をユーザに視認させる（ステップＳ１２）。また、ステップＳ１２では、ステップＳ２のように一定のぼかし量でのぼかし処理を施してもよいが、入力画像の各画素の視差値に応じてぼかし量を異ならせるようにしてもよい。なお、このぼかし処理のぼかす領域、ぼけの程度がこの時点でユーザの好みでなくても、それぞれ後述のステップＳ１４〜Ｓ１７、ステップＳ２０〜２４の処理で変更できる。
【００５６】
次に、図２のステップＳ３と同様に、ここまでのぼかし処理で終了するか、さらに処理を続けるかを選択する（ステップＳ１３）。終了するのであれば、ステップＳ１４から続く後述のフローを抜け出て後述のステップＳ２０へ進む。終了しないのであれば、処理を続けるコマンドを選択してもよいし、次のステップを選択した時点で処理を終了しないとみなしてもよい。
【００５７】
次のステップとなる合焦領域選択操作の受付では、図２のステップＳ４と同様に合焦領域をユーザ操作で受け付ける（ステップＳ１４）。そして、図２のステップＳ５と同様に、ステップＳ１４でユーザ選択された位置の座標を取得することで、領域選択が実行される（ステップＳ１５）。
【００５８】
本実施形態では以上の処理で領域選択が完了ではなく、さらに、この選択位置の座標での視差値ｄを取得する（ステップＳ１６）。この視差値ｄについて詳述する。視差値とは例えば平行に配置した２つのカメラにより撮影した被写体のカメラ位置の違いによるずれ量である。例えば、カメラに近い被写体はカメラ位置による違いは顕著で視差値が大きくなるのに対し、カメラから遠い被写体はカメラ位置による違いは軽微で視差値が小さくなる。つまり、この視差値は被写体との距離に相関があるものである。視差値と同様に被写体までの距離であるデプス値でも以下の効果には同様に作用するため、視差値の代わりにデプス値を採用しても構わない。デプス値は、例えばＴＯＦ（Time of Flight）という、光源から出た光が被写体で反射し、センサに届くまでの光の飛行時間と光の速度とから、被写体までの距離を得る装置などでも得られる。
【００５９】
この取得した座標に対応する視差値ｄをステップＳ１６により取得し、この視差値ｄに対応する画像のぼかしをキャンセルするかのように、「選択した視差値ｄ」をもっている領域を元画像であるぼかしていない画像に戻す処理を行う（ステップＳ１７）。第１の実施形態と大きく異なるのが、選択した領域の画像だけでなく、選択した領域と同じ視差値、つまり同じ距離の被写体を一括して元画像であるぼかしていない画像に戻す処理を施すことにある。例えば、図３で示した近距離被写体２３であるライオンの視差値がライオンのどの部分でも同じであったならば、ライオンの一部を選択するだけで近距離被写体２３であるライオン全てが選択されることになる。
【００６０】
なお、視差値ｄの選択では、選択した領域が一点だけに限らないために視差値のばらつきがある可能性もあるため、それら選択領域の視差値の最大値や最頻値や平均値など、何らかのルールに従って取得する。また、その取得した視差値に幅を持たせ、例えば視差値２０を取得したら１８から２２までの±２の視差の範囲で視差値が同じとみなし、選択範囲としてもよい。
【００６１】
ここで、この一連のステップＳ１４〜Ｓ１７でぼかした画像を元の焦点の合った画像に戻す処理が実施されるが、この選択領域が誤って選択されてしまう可能性もあるため、これら一連の処理をキャンセルできるよう、Ｕｎｄｏの表示を行う（ステップＳ１８）。Ｕｎｄｏが選択されればステップＳ１７の処理をキャンセルし（ステップＳ１９）、ステップＳ１３へ戻る。一方で、Ｕｎｄｏを選択しない場合はそのままステップＳ１３に戻り、ぼかし処理を継続するか終了するかを選択する。以降、上述した処理と同様な処理を繰り返し行う。
【００６２】
このような処理により、図３〜図５で例示したような同様の画面遷移を行うことができる。また、図６の処理でも、図２の処理と同様に、ステップＳ１２で施した全領域ぼかし処理は常に反映されることとなるが、そのような事態を避けるような処理を付加することが好ましい。
【００６３】
また、本実施形態では視差値を用い選択領域を抽出しているが、上述したように視差値の使い方はこれだけなく、例えばステップＳ１２で全領域をぼかし処理する際にぼかしの程度を一律にするのではなく、視差値に応じてぼかしの程度を変化させてもよい。
【００６４】
このような処理により、図７の表示画面２ｃで示すように、例えば手前の近距離被写体２３ｃであるライオンに合焦させ、奥に配置される中距離被写体２２ｖであるキリンや遠距離被写体２１ｖｖである山をぼかすときに、より遠くに配置する遠距離被写体２１ｖｖである山は中距離被写体２２ｖであるキリンと比べ大きくぼかし処理を施し、距離によるぼかし程度を変化させることで、より効果的な画像とすることが可能となる。
【００６５】
また、図６の処理では、一番近い側か遠い側のいずれかしか合焦できないものではない。例えば図８の表示画面２ｄで示すように、例えば手前の近距離被写体であるライオンに合焦させるのではなく、奥に配置される中距離被写体２２ｃであるキリンに合焦させ、近距離被写体２３ｖであるライオンや遠距離被写体２１ｖである山をぼかしてから元に戻さないように処理することもできる。また、画像中のオブジェクトを３つで例示しているが、この例に限ったものではないことは言うまでもない。なお、これらの点は、図２の処理でも同様に適用できる。
【００６６】
次にステップＳ１３によりぼかし処理を終了した時の流れを説明する。第１の実施形態ではこのまま終了する処理しか触れていなかったが、本実施形態では引き続きぼかしの程度を調整する処理を行う。なお、ここで説明する変更処理は、第１の実施形態でも適用することもでき、その場合、図２のステップＳ３でＹＥＳとなった後に施すようにすればよい。
【００６７】
ステップＳ１３でＹＥＳの場合、ぼかす領域、逆にいえば合焦する領域を選択し終えた後、ぼかしの程度であるぼかし量を変化させる領域、があるか否かをユーザ操作に基づき選択する（ステップＳ２０）。ぼかし量を変化させない場合、ここで処理を終了する。
【００６８】
ここで説明する例では、ぼかし量を変化させる場合、ぼかし量を視差値などに拘わらず所定量だけ増加させるように変化させるのか、ぼかし量を視差値などに拘わらず所定量だけ低減させるように変化させるのかを、ユーザ操作に従って選択する（ステップＳ２１）。なお、ステップＳ２１のユーザ操作によりステップＳ２０のユーザ操作を省くこともできる。ぼかし量を低減するのであれば（ステップＳ２１でＮＯの場合）、現在表示しているぼかし画像よりぼかし量の小さい画像を、原画像（入力画像）のぼけのない画像から再生成する（ステップＳ２２）。ぼかし量を増加するのであれば（ステップＳ２１でＹＥＳの場合）、現在表示しているぼかし画像よりぼかし量の大きい画像を、原画像のぼけのない画像から再生成してもよいし、現在表示している画像を更にぼかし処理を施してもよい（ステップＳ２３）。
【００６９】
ステップＳ２２又はステップＳ２３の処理後、満足するぼかし量が得られたか否か（つまりここで処理を終了させて保存させてもよいか、再度ぼかし量を変化させるか）をユーザに問い合わせ、受け付けたユーザ操作に基づき選択する（ステップＳ２４）。ステップＳ２４で終了する旨の操作を受け付けた場合（ＹＥＳの場合）には処理を終了し、さらにぼかし量を変化させるユーザ操作を受けた場合（ＮＯの場合）にはステップＳ２０へ戻る。
【００７０】
ステップＳ２０〜Ｓ２４で説明した変更処理は、例えば、表示部１５にぼかし量を調節するつまみなどを表示させて、そのつまみを移動させるなどのユーザ操作を受け付け、その受け付けた結果に従って上記所定量を決めるなどすればよい。これにより、焦点が合っていない領域についてのぼかし量を、ユーザが後で変更したい場合にも対応できる。例えば、焦点が合っている場所はそのままに、ぼけた場所はよりボケる、若しくはボケが弱くなるように変更することができる。
【００７１】
また、ステップＳ１２における全領域ぼかし処理において、（ｉ）ある係数αで表される一定のぼかし量でのぼかし処理を施した場合でも、（ｉｉ）入力画像の各画素の視差値に応じてぼかし量を異ならせるようにぼかし処理を施した場合でも、ステップＳ２０〜Ｓ２４の処理は独立の処理として施すことができる。
【００７２】
例えば、上記（ｉ）の場合、合焦処理を施した後に、領域選択部１３で選択されなかった領域に対して、（ｉ−１）上記係数αを上下させるようなユーザ操作に基づいて、ぼかし量を一定分だけ上下させるようにしてもよい。若しくは、上記（ｉ）の場合、合焦処理を施した後に、領域選択部１３で選択されなかった領域に対して、（ｉ−２）視差値（合焦領域に対して与えられた視差値との差）に応じたぼかし量にするユーザ操作に基づいて、ぼかし量を変化させるようにしてもよい。上記（ｉ−２）の処理では、合焦領域が中距離被写体である場合、（ａ）その前方にある被写体か後方にある被写体かによってぼかし量が減る領域と増える領域が生じてくるように、ぼかし量の変更を行ってもよいし、（ｂ）合焦領域の前であるか後ろであるかに拘わらず、上記視差値の差の絶対値に応じてぼかし量の増加分（又は減少分）を変更させるようにしてもよい（増加又は減少、その度合についてはユーザ操作で決定すればよい）。また、上記（ｉｉ）の場合でも、（ｉ）の場合と同様に、上記（ｉ−１）、上記（ｉ−２）、上記（ａ）、上記（ｂ）のいずれの変更処理も適用できる。
【００７３】
また、図６におけるステップＳ２０〜Ｓ２４の処理では、合焦処理部１４で合焦処理を施した後に、領域選択部１３で選択されなかった領域に対してユーザ操作に基づいてぼかし量を変更するようにしているが、この処理を適用せずに、ステップＳ１３でＹＥＳの場合、処理を終了させるようにしてもよい。
【００７４】
＜その他の応用例＞
以上、第１、第２の実施形態において、上述した本発明に係るぼかし処理が重く処理時間がかかる場合には、例えば画像を確認するためのプレビュー時などはぼかし処理を簡易的なものとし、最終的にぼかしの程度などをフィックスさせたときに実際の指示に従った処理を行ってもよい。
【００７５】
また、この応用例や第１、第２の実施形態では、説明の簡略化のため、処理対象の画像が静止画像であることを前提として説明したが、これに限らず、動画像であってもよい。動画像を処理対象とする場合、例えばシーン毎の代表画像（例えばキーフレーム全て、若しくはユーザが選んだキーフレーム、サムネイル画像からユーザが選んだフレームなど）に、上述したぼかし処理（全領域ぼかし処理と選択領域について元に戻す処理とを含む）を施し、その他のフレームについてはそのぼかし処理を施したフレームと同じようにぼかし処理を施すなどすればよい。例えば同じオブジェクトに対して同じぼかし処理を施し、全く異なるオブジェクトに対してはそのまま若しくは最初のぼかし処理だけを施すなどすればよい。
【００７６】
また、本発明は、画像処理装置の処理例を説明したように画像処理方法としての形態も採用することができる。簡単に説明すると、本発明に係る画像処理方法は、ぼかし処理部が、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理ステップと、領域選択部が、ぼかし処理ステップによりぼかし処理された画像を表示部に表示させた状態で、その画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択ステップと、合焦処理部が、領域選択ステップにより選択された領域の画素値を、ぼかし処理前の入力画像が示す画素値に置き換える合焦処理ステップと、を有する。また、上記領域選択ステップは、上記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得ステップを有し、ここで取得した視差値又はデプス値をもつ領域を選択して合焦処理ステップに渡すようにしてもよい。その他の応用例については、画像処理装置について説明した通りであり、その説明を省略する。
【００７７】
また、本発明は、このような画像処理方法をコンピュータに実行させるためのプログラムとしての形態も採り得る。このコンピュータとしては、上述したように汎用コンピュータに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路／チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、インターネット等のネットワークを介して、また放送波を介して、さらには可搬の記録媒体を介して流通させることができる。
【符号の説明】
【００７８】
１…画像処理装置、２，２ａ，２ｂ，２ｃ，２ｄ…表示画面、１０…操作部、１１…画像選択部、１２…ぼかし処理部、１３…領域選択部、１４…合焦処理部、１５…表示部、２１…遠距離被写体、２１ｖ…ぼかした遠距離被写体、２１ｖｖ…ぼかし量を増加させた遠距離被写体、２２…中距離被写体、２２ｃ…ぼかした後に戻した中距離被写体、２２ｖ…ぼかした中距離被写体、２３…近距離被写体、２３ｖ…ぼかした近距離被写体、２３ｃ…ぼかした後に戻した近距離被写体、２４…ぼかし処理実行のためのアイコン、２５…メッセージ、２６…合焦処理を元に戻すためのアイコン。
【特許請求の範囲】
【請求項１】
入力画像の全領域の画素に対しぼかし処理を施すぼかし処理部と、
前記ぼかし処理部によりぼかし処理された画像を表示させた状態で、該画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択部と、
前記領域選択部により選択された領域の画素値を、前記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記領域選択部は、前記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得部を有し、前記取得部で取得した視差値又はデプス値をもつ領域を選択して前記合焦処理部に渡すことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記ぼかし処理部は、前記ぼかし処理に際し、前記入力画像の各画素の視差値又はデプス値に応じてぼかし量を異ならせることを特徴とする画像処理装置。
【請求項４】
請求項１又は２に記載の画像処理装置において、
前記ぼかし処理部は、前記合焦処理部で合焦処理を施した後に、前記領域選択部で選択されなかった領域に対して、ユーザ操作に基づいてぼかし量を変更することを特徴とする画像処理装置。
【請求項５】
ぼかし処理部が、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理ステップと、
領域選択部が、前記ぼかし処理ステップによりぼかし処理された画像を表示部に表示させた状態で、該画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択ステップと、
合焦処理部が、前記領域選択ステップにより選択された領域の画素値を、前記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理ステップと、
を有することを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
前記領域選択ステップは、前記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得ステップを有し、前記取得ステップで取得した視差値又はデプス値をもつ領域を選択して前記合焦処理ステップに渡すステップであることを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法において、
前記ぼかし処理ステップは、前記ぼかし処理に際し、前記入力画像の各画素の視差値又はデプス値に応じてぼかし量を異ならせることを特徴とする画像処理方法。
【請求項８】
請求項５〜７のいずれか１項に記載の画像処理方法を、コンピュータに実行させるためのプログラム。
【請求項１】
入力画像の全領域の画素に対しぼかし処理を施すぼかし処理部と、
前記ぼかし処理部によりぼかし処理された画像を表示させた状態で、該画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択部と、
前記領域選択部により選択された領域の画素値を、前記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記領域選択部は、前記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得部を有し、前記取得部で取得した視差値又はデプス値をもつ領域を選択して前記合焦処理部に渡すことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記ぼかし処理部は、前記ぼかし処理に際し、前記入力画像の各画素の視差値又はデプス値に応じてぼかし量を異ならせることを特徴とする画像処理装置。
【請求項４】
請求項１又は２に記載の画像処理装置において、
前記ぼかし処理部は、前記合焦処理部で合焦処理を施した後に、前記領域選択部で選択されなかった領域に対して、ユーザ操作に基づいてぼかし量を変更することを特徴とする画像処理装置。
【請求項５】
ぼかし処理部が、入力画像の全領域の画素に対しぼかし処理を施すぼかし処理ステップと、
領域選択部が、前記ぼかし処理ステップによりぼかし処理された画像を表示部に表示させた状態で、該画像の少なくとも一部の領域の選択操作をユーザから受け付けることで、領域の選択を行う領域選択ステップと、
合焦処理部が、前記領域選択ステップにより選択された領域の画素値を、前記ぼかし処理前の入力画像が示す画素値に置き換える合焦処理ステップと、
を有することを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
前記領域選択ステップは、前記選択操作に基づき選択された領域の画素に対応する視差値又はデプス値を取得する取得ステップを有し、前記取得ステップで取得した視差値又はデプス値をもつ領域を選択して前記合焦処理ステップに渡すステップであることを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法において、
前記ぼかし処理ステップは、前記ぼかし処理に際し、前記入力画像の各画素の視差値又はデプス値に応じてぼかし量を異ならせることを特徴とする画像処理方法。
【請求項８】
請求項５〜７のいずれか１項に記載の画像処理方法を、コンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１７３８３０（Ｐ２０１２−１７３８３０Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２７４６（Ｐ２０１１−３２７４６）
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]