撮像装置及びその制御方法、並びにプログラム
【課題】本発明は、ジオラマ風の特殊効果画像をどんなユーザでも容易に撮影することができる撮像装置を提供する。
【解決手段】電子式ファインダに表示された撮影画像中の動きのあった領域を検出し、撮影画像の元画像及び縮小された画像に対して縮小処理を行い、元画像及び縮小された画像から帯状の領域を切り出す。そして、縮小された画像を拡大し、拡大された画像に切り出された帯状の領域画像を貼り付けて画像合成を行う。合成画像生成部２０３は、動き検出部１１１にて検出された領域を含む帯状の領域をくっきり領域として切り出し、画像合成部２０７にて処理を複数回繰り返すことによりくっきり領域以外の領域をぼかし領域として画像処理する。
【解決手段】電子式ファインダに表示された撮影画像中の動きのあった領域を検出し、撮影画像の元画像及び縮小された画像に対して縮小処理を行い、元画像及び縮小された画像から帯状の領域を切り出す。そして、縮小された画像を拡大し、拡大された画像に切り出された帯状の領域画像を貼り付けて画像合成を行う。合成画像生成部２０３は、動き検出部１１１にて検出された領域を含む帯状の領域をくっきり領域として切り出し、画像合成部２０７にて処理を複数回繰り返すことによりくっきり領域以外の領域をぼかし領域として画像処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から得られた画像データに対して画像処理を行い特殊な画像を生成する技術に関する。
【背景技術】
【０００２】
従来の撮像装置において特殊な画像を生成する場合、例えば、レンズ前に各種専用フィルタを設置するソフトフォーカスやクロスフィルターなどが利用されていた。近年は、撮影画像に画像処理を施して特殊な画像を生成することが可能である。
【０００３】
ティルトシフトレンズは、ピント面を撮像素子面と非平行にすることが可能なため、ジオラマを撮影したような効果（以下、「ジオラマ風効果」と呼ぶ）を得ることができる。このジオラマ風効果を画像処理で実現する場合には、所定の帯状領域では解像感を残し、帯状領域から離れるにつれてぼかす内容の処理が考えられる。
【０００４】
通常、撮影画像に画像処理を施して特殊効果を得るには、例えば以下の手法がある。特許文献１では、元の撮影画像と撮影画像をボカシた画像とをある比率で混合して合成することによりソフトフォーカスのような効果が得られる点が記載されている。また、特許文献２では、撮影画像を縮小→フィルタ→拡大することにより、良好なボケ画像を得られる点が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−６９２７７号公報
【特許文献２】特開２００４−１０２９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ジオラマ風の特殊効果画像をどんなユーザでも容易に撮影することができる撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、被写体を撮影する撮像手段と、前記撮像手段による撮影画像について一部の領域にぼかしの画像処理を行う画像処理手段とを備える撮像装置において、前記撮影画像中の被写体の動きを検出する動き検出手段を備え、前記画像処理手段は、前記撮影画像に対して、前記動き検出手段により検出された領域を含む所定の領域をくっきり領域とし、当該くっきり領域以外の領域を前記ぼかしの画像処理を行うぼかし領域として画像処理することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ジオラマ風の特殊な画像をどんなユーザでも容易に撮影することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】図１におけるデジタル信号処理部の概略構成を示すブロック図である。
【図３】図１の撮像装置における画像合成処理の流れを示すフローチャートである。
【図４】図３の画像合成処理の具体例を示す図である。
【図５】図３のステップＳ３０１における画像合成処理の領域設定処理の詳細を示すフローチャートである。
【図６】動き検出領域を元にした画像合成領域設定を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１１】
図１は、本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。
【００１２】
光学系１０１は、被写体から入射した光を撮像素子１０３上に結像させる光学レンズユニットであり、露出機構やズーム機構、フォーカス機構、光学式手振れ補正機構等を備える。光学系制御部１０２は、光学系１０１内の露出機構やズーム機構、フォーカス機構、光学式ブレ補正機構等を駆動制御する制御部である。
【００１３】
撮像素子１０３は、結像させた光学像を電気信号に変換して、アナログ信号処理部１０５に出力する。撮像系制御部１０４は、撮像素子１０３を駆動制御する制御部である。
【００１４】
アナログ信号処理部１０５は、撮像素子１０３からの出力信号に対してクランプ、ゲイン等の処理を行い、アナログ／デジタル（Ａ／Ｄ）変換部１０６に出力する。Ａ／Ｄ変換部１０６は、アナログ信号処理部１０５から入力されたアナログ信号をデジタル信号に変換してデジタル信号処理部１０７に出力する。本実施形態では、光学系１０１からＡ／Ｄ変換部１０６までを含めて撮像手段とし、撮像装置は、撮像手段から出力された画像データを単独または連続して複数フレーム記録することで静止画及び動画を撮影可能としている。
【００１５】
デジタル信号処理部１０７は、Ａ／Ｄ変換されたデジタル信号から画像データを生成し、現像処理を行う。デジタル信号処理部１０７では、後述するが、撮影画像について一部の領域にぼかしの画像処理を行う機能を有する。
【００１６】
内部記憶部１０８は、デジタル信号処理部１０７にて画像データを生成する際に一時的に画像データを格納する。
【００１７】
インターフェース（Ｉ／Ｆ）部１０９は、デジタル信号処理部１０７で生成された画像データを保存するための外部記憶装置（不図示）と接続するインターフェースである。画像表示部１１０は、生成された画像データを表示する電子式ファインダ（ＥＶＦ）としての機能を有する。
【００１８】
動き検出部１１１は、ＥＶＦ表示画像において、連続する複数フレーム間の差分を取るなどにより、撮影画像中の動きのあった領域を検出する。なお、図示例では、本発明に関連する機能部のみを記載しており、他の機能部については省略されている。
【００１９】
図２は、図１におけるデジタル信号処理部１０７の概略構成を示すブロック図である。
【００２０】
デジタル信号処理部１０７において、入力された画像データは、輝度信号処理を施す輝度信号処理部２０１と色信号処理を施す色信号処理部２０２を経て合成画像生成部２０３に入力される。内部記憶部１０８は、合成画像生成時の画像データの一時記憶等に使われるほか、ライブ画像を画像表示部１１０に表示するＥＶＦ動作時においても使われる。また、画像圧縮部２０４にて圧縮して出力された画像データは、Ｉ／Ｆ部１０９を介して外部記憶装置（不図示）に保存される。
【００２１】
合成画像生成部２０３は、入力された画像データに対して画像の縮小処理をする画像縮小部２０５と、縮小処理された画像データに対して拡大処理をする画像拡大部２０６と、複数の処理画像を合成するための画像合成部２０７から構成される。合成画像生成部２０３は、縮小処理時、拡大処理時、画像合成処理時に必要に応じて内部記憶部１０８に画像データを一時記憶する。
【００２２】
次に、図１の撮像装置の撮影モード時における画像合成処理の流れについて説明する。
【００２３】
図３は、図１の撮像装置における画像合成処理の流れを示すフローチャートである。図４は、図３の画像合成処理の具体例を示す図である。
【００２４】
本実施形態では、一例として、画像上の解像感のあるくっきりした領域（ボケていない領域。以下、「くっきり領域」と呼ぶ）から離れるにつれてボケていく画像を生成する場合の画像合成処理について説明する。
【００２５】
ステップＳ３０１では、合成画像生成部２０３による画像合成処理の領域設定処理が実行される。本処理の詳細については図５のフローを参照して詳細に説明する。
【００２６】
ステップＳ３０２では、合成画像生成部２０３は、ステップＳ３０１で設定されたぼかし量に応じて、縮小処理のループ回数を設定する。
【００２７】
次に、ステップＳ３０３では、合成画像生成部２０３は、縮小前の画像データを内部記憶部１０８へ一時的に記憶すると共に、画像縮小部２０５により所定の縮小率で画像データの縮小処理を行う。
【００２８】
ステップＳ３０４では、合成画像生成部２０３は、ステップＳ３０２で設定されたループ回数に達したか否かを判定し、設定されたループ回数を満たすまでステップＳ３０３の縮小処理を繰り返し行う。これにより、例えば、図４に示すように、元画像Ａとループ回数枚の画像サイズの異なる縮小画像ａ１，ａ２，ａ３が生成される。なお、図４に示す例では、画像中央部の帯状の領域がくっきり領域と設定され、処理ループ回数が３回、画像の縮小率が１／２に設定されているものとする。
【００２９】
ステップＳ３０５では、合成画像生成部２０３は、画像拡大部２０６により、最も縮小された画像、若しくはステップＳ３０６で貼り付け処理された画像に対して、ステップＳ３０３の縮小処理における画像の縮小率の逆数となる拡大率にて画像の拡大処理を行う。
【００３０】
次に、ステップＳ３０６では、合成画像生成部２０３は、拡大処理された画像（例えば図４の拡大画像ｂ１）と同サイズの縮小画像（例えば図４の縮小画像ａ２）を内部記憶部１０８から読み出す。そして、合成画像生成部２０３は、ステップＳ３０１で縮小画像別に設定された切り出し幅で同サイズの縮小画像から帯状の領域画像を切り出し、拡大処理された画像に貼り付ける。このとき、合成画像生成部２０３は画像切り出し手段として機能する。切り出された画像の貼り付け処理は、くっきり領域を中心として行われる（図４参照）。例えば、拡大画像ｂ１に切り出し画像ｂ２が貼り付けられて画像ｂ３が生成される。
【００３１】
ステップＳ３０７では、合成画像生成部２０３は、ステップＳ３０２で設定されたループ回数に達したか否かを判定し、設定されたループ回数を満たすまでステップＳ３０５の拡大処理及びステップＳ３０６の切り出し＆貼り付け処理を繰り返し行う。これにより、例えば、図４に示すように、元画像Ａと同じ画像サイズの合成画像Ｂが得られる。
【００３２】
上記処理により画像の縮小処理及び画像の拡大処理と画像の貼り付けをそれぞれ複数回繰り返し行い、その処理回数によってぼかし量を変化させた画像を得ることができる。例えば、図４に示す合成画像Ｂでは、元画像上の解像感のあるくっきり領域が領域４０１であり、領域４０１から離れるにつれて、ややぼかした領域４０２、さらにぼかした領域４０３、最もぼかした領域４０４となる。これにより、くっきり領域以外の領域がぼかし領域として画像処理される。
【００３３】
なお、図４では、簡略化のために、各領域の境界部がはっきりとした単純な貼り付け処理による合成画像を示しているが、境界部が目立たないように重み付けを考慮して貼り付け処理を行うことが好ましい。
【００３４】
図５は、図３のステップＳ３０１における画像合成処理の領域設定処理の詳細を示すフローチャートである。図６は、動き検出領域を元にした画像合成領域設定を説明するための図である。
【００３５】
ステップＳ５０１では、合成画像生成部２０３は、画像合成時の領域設定がなされているか否かを判定する。領域設定では、例えば、ユーザにより画像上のどの領域をくっきり領域とするか等が設定される。ステップＳ５０１の判定結果から領域設定がされていないと判定した場合にはステップＳ５０２へ進み、合成画像生成部２０３は、画像合成時の領域設定をデフォルト設定にする。デフォルト設定は、例えば、くっきり領域の中心位置は画像中央、くっきり領域幅は画像の高さ（縦方向）の１／５などとして、予め保存されている。
【００３６】
ステップＳ５０３では、合成画像生成部２０３は、動き検出部１１１により撮影画像から動きが検出されたか否かを判定する。その結果、動きが検出されたと判定したときは、ステップＳ５０６へ進む一方、動きが検出されていないと判定したときは、ステップＳ５０４へ進む。
【００３７】
ステップＳ５０４では、合成画像生成部２０３は、所定の回数連続して動きが検出されていないか否かを判定する。その結果、所定回数連続して動きが検出されていないと判定した場合、シーン変化の可能性などを考慮してステップＳ５０２へ進み、合成画像生成部２０３は領域設定をデフォルト設定に変更する。一方、撮影画像から動きが検出されていない状態が所定の回数未満の場合には、合成画像生成部２０３は、領域設定を維持する（ステップＳ５０５）。
【００３８】
ステップＳ５０６では、合成画像生成部２０３は、動き検出部１１１により検出された動き検出領域が所定のサイズよりも大きいか否かを判定し、大きいと判定した場合はステップＳ５０２へ進み、領域設定をデフォルト設定に変更する。これは、動き検出領域に基づいて領域設定を行っても、画面いっぱい大写しで被写体を写している場合やぶれなどにより効果的な画像の撮影が困難になると考えられるためである。
【００３９】
ステップＳ５０７では、合成画像生成部２０３は、動き検出部１１１により検出された動き検出領域を元に画像合成処理に関する領域設定を行う。例えば、図６に示すように、動き検出領域６０１を含むようにくっきり領域６０２の位置と幅が設定される。
【００４０】
ステップＳ５０８では、合成画像生成部２０３は、設定されたくっきり領域６０２の位置と幅及び図４のステップＳ３０２で設定されるループ回数に応じて、ぼかし領域の幅即ちステップＳ３０６おける各縮小画像から切り出す帯状の領域の切り出し幅を決定する。なお、切り出し幅の設定により、ぼかし処理領域の急峻さを変化させることができる。
【００４１】
動き検出領域をくっきり領域として撮影する理由としては以下がある。すなわち、俯瞰シーンなどの逆ティルト撮影効果に適したシーンでは、人物や乗り物などの動きがある（小さな）被写体をくっきり領域に設定して主被写体として撮影すると、より効果的なジオラマ風の特殊効果画像を撮影することができるためである。
【００４２】
以上説明したように、本発明を適用した撮像装置によれば、ジオラマ風の特殊効果画像を、ティルトシフトレンズを使用することなく、どんなユーザでも容易に撮影することが可能となる。
【００４３】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４４】
１０１ 光学系
１０２ 光学系制御部
１０３ 撮像素子
１０４ 撮像系制御部
１０５ アナログ信号処理部
１０６ Ａ／Ｄ変換部
１０７ デジタル信号処理部
１０８ 内部記憶部
１０９ Ｉ／Ｆ
１１０ 画像表示部
１１１ 動き検出部
【技術分野】
【０００１】
本発明は、撮像素子から得られた画像データに対して画像処理を行い特殊な画像を生成する技術に関する。
【背景技術】
【０００２】
従来の撮像装置において特殊な画像を生成する場合、例えば、レンズ前に各種専用フィルタを設置するソフトフォーカスやクロスフィルターなどが利用されていた。近年は、撮影画像に画像処理を施して特殊な画像を生成することが可能である。
【０００３】
ティルトシフトレンズは、ピント面を撮像素子面と非平行にすることが可能なため、ジオラマを撮影したような効果（以下、「ジオラマ風効果」と呼ぶ）を得ることができる。このジオラマ風効果を画像処理で実現する場合には、所定の帯状領域では解像感を残し、帯状領域から離れるにつれてぼかす内容の処理が考えられる。
【０００４】
通常、撮影画像に画像処理を施して特殊効果を得るには、例えば以下の手法がある。特許文献１では、元の撮影画像と撮影画像をボカシた画像とをある比率で混合して合成することによりソフトフォーカスのような効果が得られる点が記載されている。また、特許文献２では、撮影画像を縮小→フィルタ→拡大することにより、良好なボケ画像を得られる点が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−６９２７７号公報
【特許文献２】特開２００４−１０２９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ジオラマ風の特殊効果画像をどんなユーザでも容易に撮影することができる撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、被写体を撮影する撮像手段と、前記撮像手段による撮影画像について一部の領域にぼかしの画像処理を行う画像処理手段とを備える撮像装置において、前記撮影画像中の被写体の動きを検出する動き検出手段を備え、前記画像処理手段は、前記撮影画像に対して、前記動き検出手段により検出された領域を含む所定の領域をくっきり領域とし、当該くっきり領域以外の領域を前記ぼかしの画像処理を行うぼかし領域として画像処理することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ジオラマ風の特殊な画像をどんなユーザでも容易に撮影することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】図１におけるデジタル信号処理部の概略構成を示すブロック図である。
【図３】図１の撮像装置における画像合成処理の流れを示すフローチャートである。
【図４】図３の画像合成処理の具体例を示す図である。
【図５】図３のステップＳ３０１における画像合成処理の領域設定処理の詳細を示すフローチャートである。
【図６】動き検出領域を元にした画像合成領域設定を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１１】
図１は、本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。
【００１２】
光学系１０１は、被写体から入射した光を撮像素子１０３上に結像させる光学レンズユニットであり、露出機構やズーム機構、フォーカス機構、光学式手振れ補正機構等を備える。光学系制御部１０２は、光学系１０１内の露出機構やズーム機構、フォーカス機構、光学式ブレ補正機構等を駆動制御する制御部である。
【００１３】
撮像素子１０３は、結像させた光学像を電気信号に変換して、アナログ信号処理部１０５に出力する。撮像系制御部１０４は、撮像素子１０３を駆動制御する制御部である。
【００１４】
アナログ信号処理部１０５は、撮像素子１０３からの出力信号に対してクランプ、ゲイン等の処理を行い、アナログ／デジタル（Ａ／Ｄ）変換部１０６に出力する。Ａ／Ｄ変換部１０６は、アナログ信号処理部１０５から入力されたアナログ信号をデジタル信号に変換してデジタル信号処理部１０７に出力する。本実施形態では、光学系１０１からＡ／Ｄ変換部１０６までを含めて撮像手段とし、撮像装置は、撮像手段から出力された画像データを単独または連続して複数フレーム記録することで静止画及び動画を撮影可能としている。
【００１５】
デジタル信号処理部１０７は、Ａ／Ｄ変換されたデジタル信号から画像データを生成し、現像処理を行う。デジタル信号処理部１０７では、後述するが、撮影画像について一部の領域にぼかしの画像処理を行う機能を有する。
【００１６】
内部記憶部１０８は、デジタル信号処理部１０７にて画像データを生成する際に一時的に画像データを格納する。
【００１７】
インターフェース（Ｉ／Ｆ）部１０９は、デジタル信号処理部１０７で生成された画像データを保存するための外部記憶装置（不図示）と接続するインターフェースである。画像表示部１１０は、生成された画像データを表示する電子式ファインダ（ＥＶＦ）としての機能を有する。
【００１８】
動き検出部１１１は、ＥＶＦ表示画像において、連続する複数フレーム間の差分を取るなどにより、撮影画像中の動きのあった領域を検出する。なお、図示例では、本発明に関連する機能部のみを記載しており、他の機能部については省略されている。
【００１９】
図２は、図１におけるデジタル信号処理部１０７の概略構成を示すブロック図である。
【００２０】
デジタル信号処理部１０７において、入力された画像データは、輝度信号処理を施す輝度信号処理部２０１と色信号処理を施す色信号処理部２０２を経て合成画像生成部２０３に入力される。内部記憶部１０８は、合成画像生成時の画像データの一時記憶等に使われるほか、ライブ画像を画像表示部１１０に表示するＥＶＦ動作時においても使われる。また、画像圧縮部２０４にて圧縮して出力された画像データは、Ｉ／Ｆ部１０９を介して外部記憶装置（不図示）に保存される。
【００２１】
合成画像生成部２０３は、入力された画像データに対して画像の縮小処理をする画像縮小部２０５と、縮小処理された画像データに対して拡大処理をする画像拡大部２０６と、複数の処理画像を合成するための画像合成部２０７から構成される。合成画像生成部２０３は、縮小処理時、拡大処理時、画像合成処理時に必要に応じて内部記憶部１０８に画像データを一時記憶する。
【００２２】
次に、図１の撮像装置の撮影モード時における画像合成処理の流れについて説明する。
【００２３】
図３は、図１の撮像装置における画像合成処理の流れを示すフローチャートである。図４は、図３の画像合成処理の具体例を示す図である。
【００２４】
本実施形態では、一例として、画像上の解像感のあるくっきりした領域（ボケていない領域。以下、「くっきり領域」と呼ぶ）から離れるにつれてボケていく画像を生成する場合の画像合成処理について説明する。
【００２５】
ステップＳ３０１では、合成画像生成部２０３による画像合成処理の領域設定処理が実行される。本処理の詳細については図５のフローを参照して詳細に説明する。
【００２６】
ステップＳ３０２では、合成画像生成部２０３は、ステップＳ３０１で設定されたぼかし量に応じて、縮小処理のループ回数を設定する。
【００２７】
次に、ステップＳ３０３では、合成画像生成部２０３は、縮小前の画像データを内部記憶部１０８へ一時的に記憶すると共に、画像縮小部２０５により所定の縮小率で画像データの縮小処理を行う。
【００２８】
ステップＳ３０４では、合成画像生成部２０３は、ステップＳ３０２で設定されたループ回数に達したか否かを判定し、設定されたループ回数を満たすまでステップＳ３０３の縮小処理を繰り返し行う。これにより、例えば、図４に示すように、元画像Ａとループ回数枚の画像サイズの異なる縮小画像ａ１，ａ２，ａ３が生成される。なお、図４に示す例では、画像中央部の帯状の領域がくっきり領域と設定され、処理ループ回数が３回、画像の縮小率が１／２に設定されているものとする。
【００２９】
ステップＳ３０５では、合成画像生成部２０３は、画像拡大部２０６により、最も縮小された画像、若しくはステップＳ３０６で貼り付け処理された画像に対して、ステップＳ３０３の縮小処理における画像の縮小率の逆数となる拡大率にて画像の拡大処理を行う。
【００３０】
次に、ステップＳ３０６では、合成画像生成部２０３は、拡大処理された画像（例えば図４の拡大画像ｂ１）と同サイズの縮小画像（例えば図４の縮小画像ａ２）を内部記憶部１０８から読み出す。そして、合成画像生成部２０３は、ステップＳ３０１で縮小画像別に設定された切り出し幅で同サイズの縮小画像から帯状の領域画像を切り出し、拡大処理された画像に貼り付ける。このとき、合成画像生成部２０３は画像切り出し手段として機能する。切り出された画像の貼り付け処理は、くっきり領域を中心として行われる（図４参照）。例えば、拡大画像ｂ１に切り出し画像ｂ２が貼り付けられて画像ｂ３が生成される。
【００３１】
ステップＳ３０７では、合成画像生成部２０３は、ステップＳ３０２で設定されたループ回数に達したか否かを判定し、設定されたループ回数を満たすまでステップＳ３０５の拡大処理及びステップＳ３０６の切り出し＆貼り付け処理を繰り返し行う。これにより、例えば、図４に示すように、元画像Ａと同じ画像サイズの合成画像Ｂが得られる。
【００３２】
上記処理により画像の縮小処理及び画像の拡大処理と画像の貼り付けをそれぞれ複数回繰り返し行い、その処理回数によってぼかし量を変化させた画像を得ることができる。例えば、図４に示す合成画像Ｂでは、元画像上の解像感のあるくっきり領域が領域４０１であり、領域４０１から離れるにつれて、ややぼかした領域４０２、さらにぼかした領域４０３、最もぼかした領域４０４となる。これにより、くっきり領域以外の領域がぼかし領域として画像処理される。
【００３３】
なお、図４では、簡略化のために、各領域の境界部がはっきりとした単純な貼り付け処理による合成画像を示しているが、境界部が目立たないように重み付けを考慮して貼り付け処理を行うことが好ましい。
【００３４】
図５は、図３のステップＳ３０１における画像合成処理の領域設定処理の詳細を示すフローチャートである。図６は、動き検出領域を元にした画像合成領域設定を説明するための図である。
【００３５】
ステップＳ５０１では、合成画像生成部２０３は、画像合成時の領域設定がなされているか否かを判定する。領域設定では、例えば、ユーザにより画像上のどの領域をくっきり領域とするか等が設定される。ステップＳ５０１の判定結果から領域設定がされていないと判定した場合にはステップＳ５０２へ進み、合成画像生成部２０３は、画像合成時の領域設定をデフォルト設定にする。デフォルト設定は、例えば、くっきり領域の中心位置は画像中央、くっきり領域幅は画像の高さ（縦方向）の１／５などとして、予め保存されている。
【００３６】
ステップＳ５０３では、合成画像生成部２０３は、動き検出部１１１により撮影画像から動きが検出されたか否かを判定する。その結果、動きが検出されたと判定したときは、ステップＳ５０６へ進む一方、動きが検出されていないと判定したときは、ステップＳ５０４へ進む。
【００３７】
ステップＳ５０４では、合成画像生成部２０３は、所定の回数連続して動きが検出されていないか否かを判定する。その結果、所定回数連続して動きが検出されていないと判定した場合、シーン変化の可能性などを考慮してステップＳ５０２へ進み、合成画像生成部２０３は領域設定をデフォルト設定に変更する。一方、撮影画像から動きが検出されていない状態が所定の回数未満の場合には、合成画像生成部２０３は、領域設定を維持する（ステップＳ５０５）。
【００３８】
ステップＳ５０６では、合成画像生成部２０３は、動き検出部１１１により検出された動き検出領域が所定のサイズよりも大きいか否かを判定し、大きいと判定した場合はステップＳ５０２へ進み、領域設定をデフォルト設定に変更する。これは、動き検出領域に基づいて領域設定を行っても、画面いっぱい大写しで被写体を写している場合やぶれなどにより効果的な画像の撮影が困難になると考えられるためである。
【００３９】
ステップＳ５０７では、合成画像生成部２０３は、動き検出部１１１により検出された動き検出領域を元に画像合成処理に関する領域設定を行う。例えば、図６に示すように、動き検出領域６０１を含むようにくっきり領域６０２の位置と幅が設定される。
【００４０】
ステップＳ５０８では、合成画像生成部２０３は、設定されたくっきり領域６０２の位置と幅及び図４のステップＳ３０２で設定されるループ回数に応じて、ぼかし領域の幅即ちステップＳ３０６おける各縮小画像から切り出す帯状の領域の切り出し幅を決定する。なお、切り出し幅の設定により、ぼかし処理領域の急峻さを変化させることができる。
【００４１】
動き検出領域をくっきり領域として撮影する理由としては以下がある。すなわち、俯瞰シーンなどの逆ティルト撮影効果に適したシーンでは、人物や乗り物などの動きがある（小さな）被写体をくっきり領域に設定して主被写体として撮影すると、より効果的なジオラマ風の特殊効果画像を撮影することができるためである。
【００４２】
以上説明したように、本発明を適用した撮像装置によれば、ジオラマ風の特殊効果画像を、ティルトシフトレンズを使用することなく、どんなユーザでも容易に撮影することが可能となる。
【００４３】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４４】
１０１ 光学系
１０２ 光学系制御部
１０３ 撮像素子
１０４ 撮像系制御部
１０５ アナログ信号処理部
１０６ Ａ／Ｄ変換部
１０７ デジタル信号処理部
１０８ 内部記憶部
１０９ Ｉ／Ｆ
１１０ 画像表示部
１１１ 動き検出部
【特許請求の範囲】
【請求項１】
被写体を撮影する撮像手段と、前記撮像手段による撮影画像について一部の領域にぼかしの画像処理を行う画像処理手段とを備える撮像装置において、
前記撮影画像中の被写体の動きを検出する動き検出手段を備え、
前記画像処理手段は、前記撮影画像に対して、前記動き検出手段により検出された領域を含む所定の領域をくっきり領域とし、当該くっきり領域以外の領域を前記ぼかしの画像処理を行うぼかし領域として画像処理することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記動き検出手段により検出された領域の位置およびサイズにより、前記くっきり領域の位置および幅を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、
前記撮影画像の元画像及び縮小された画像に対して縮小処理を行う画像縮小手段と、
前記元画像及び縮小された画像から帯状の領域を切り出す画像切り出し手段と、
前記縮小された画像を拡大する画像拡大手段と、
前記拡大された画像に前記切り出された帯状の領域画像を貼り付けて画像合成を行う画像合成手段とを備え、
前記画像合成手段は、画像合成の処理回数によって前記ぼかし領域のぼかし量を変化させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
被写体を撮影する撮像手段と、前記撮像手段による撮影画像について一部の領域にぼかしの画像処理を行う画像処理手段とを備える撮像装置の制御方法において、
前記撮影画像中の被写体の動きを検出する動き検出工程と、
前記撮影画像の元画像及び縮小された画像に対して縮小処理を行う画像縮小工程と、
前記元画像及び縮小された画像から帯状の領域を切り出す画像切り出し工程と、
前記縮小された画像を拡大する画像拡大工程と、
前記拡大された画像に前記切り出された帯状の領域画像を貼り付けて画像合成を行う画像合成工程と、
前記動き検出工程にて検出された領域を含む帯状の領域をくっきり領域として切り出し、前記画像合成工程にて処理を複数回繰り返すことにより前記くっきり領域以外の領域を前記ぼかしの画像処理を行うぼかし領域として画像処理する画像処理工程とを備えることを特徴とする制御方法。
【請求項５】
請求項４記載の制御方法を撮像装置に実行させるためのコンピュータに読み取り可能なプログラム。
【請求項１】
被写体を撮影する撮像手段と、前記撮像手段による撮影画像について一部の領域にぼかしの画像処理を行う画像処理手段とを備える撮像装置において、
前記撮影画像中の被写体の動きを検出する動き検出手段を備え、
前記画像処理手段は、前記撮影画像に対して、前記動き検出手段により検出された領域を含む所定の領域をくっきり領域とし、当該くっきり領域以外の領域を前記ぼかしの画像処理を行うぼかし領域として画像処理することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記動き検出手段により検出された領域の位置およびサイズにより、前記くっきり領域の位置および幅を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、
前記撮影画像の元画像及び縮小された画像に対して縮小処理を行う画像縮小手段と、
前記元画像及び縮小された画像から帯状の領域を切り出す画像切り出し手段と、
前記縮小された画像を拡大する画像拡大手段と、
前記拡大された画像に前記切り出された帯状の領域画像を貼り付けて画像合成を行う画像合成手段とを備え、
前記画像合成手段は、画像合成の処理回数によって前記ぼかし領域のぼかし量を変化させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
被写体を撮影する撮像手段と、前記撮像手段による撮影画像について一部の領域にぼかしの画像処理を行う画像処理手段とを備える撮像装置の制御方法において、
前記撮影画像中の被写体の動きを検出する動き検出工程と、
前記撮影画像の元画像及び縮小された画像に対して縮小処理を行う画像縮小工程と、
前記元画像及び縮小された画像から帯状の領域を切り出す画像切り出し工程と、
前記縮小された画像を拡大する画像拡大工程と、
前記拡大された画像に前記切り出された帯状の領域画像を貼り付けて画像合成を行う画像合成工程と、
前記動き検出工程にて検出された領域を含む帯状の領域をくっきり領域として切り出し、前記画像合成工程にて処理を複数回繰り返すことにより前記くっきり領域以外の領域を前記ぼかしの画像処理を行うぼかし領域として画像処理する画像処理工程とを備えることを特徴とする制御方法。
【請求項５】
請求項４記載の制御方法を撮像装置に実行させるためのコンピュータに読み取り可能なプログラム。
【図１】
【図２】
【図３】
【図５】
【図４】
【図６】
【図２】
【図３】
【図５】
【図４】
【図６】
【公開番号】特開２０１２−１１４６３３（Ｐ２０１２−１１４６３３Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６１２０７（Ｐ２０１０−２６１２０７）
【出願日】平成２２年１１月２４日（２０１０．１１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２４日（２０１０．１１．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]