撮像装置及び画像処理方法
【課題】 撮像装置の姿勢を変化させても、期待したジオラマ風の効果が表れた画像を得ることができる。
【解決手段】 前記撮像装置の姿勢を判断し（Ｓ３０１）、判断した姿勢に応じてジオラマ風画像処理のぼけの方向を決定し（Ｓ３０４）、決定したぼけの方向によりジオラマ風画像処理を撮影画像に対して施す（Ｓ３０５）
【解決手段】 前記撮像装置の姿勢を判断し（Ｓ３０１）、判断した姿勢に応じてジオラマ風画像処理のぼけの方向を決定し（Ｓ３０４）、決定したぼけの方向によりジオラマ風画像処理を撮影画像に対して施す（Ｓ３０５）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた撮像装置により得られた画像に対するボカし処理に関する。
【背景技術】
【０００２】
従来、画像の上下をぼかしたジオラマ風の撮影は、光学的に実現されていた。光学的に実現するには、例えば、特殊レンズであるチルトシフトレンズを用いて俯瞰撮影を行う。また、ジオラマ風に限らず、画像のぼかし効果は通常の撮影画像に対する画像処理で実現することもできる。特許文献１では、通常の撮影画像をぼかした画像と元画像をある比率で混合して合成することによりソフトフォーカスのような効果が得られる技術が開示されている。また、特許文献２では、車載カメラによる車両周辺の撮像画像をモニタ画面に表示するとき、撮像画像の一部エリアと前記一部エリアを除いた他エリアとで画像表示の鮮鋭度を異ならせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−６９２７７
【特許文献２】特許第３９４１９２６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理でジオラマ風の静止画像を実現するためには、ぼけの度合いを所定方向に変化させた複数の段階のぼかし処理が必要となる。そして、このぼかし処理の領域及び方向と撮影画像の構図との関係が適正であれば、ジオラマ風の効果が視認できる良好な画像が得られる。しかし、ぼかし処理の領域及び方向を固定したままカメラの姿勢を変化させると、撮影画像のぼかし効果の方向や構図も変化するので、期待したジオラマ風の効果が表れない画像となるおそれがある。
【０００５】
本発明は上述した問題点を解決するためのものであり、撮像装置の姿勢を変化させても、期待したジオラマ風の効果が表れた画像を得ることができるようにする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の撮像装置は、撮像手段から入力された撮影画像に対して画像処理を行う撮像装置であって、前記撮影画像に対してジオラマ風画像処理を施す画像処理手段と、前記撮像装置の姿勢を検知する判断手段と、前記判断手段により判断した姿勢に応じて、前記画像処理手段によるジオラマ風画像処理のぼけの方向を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像装置の姿勢を変化させても、期待したジオラマ風の効果が表れた画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を示す図
【図２】本発明の実施形態のジオラマ風画像処理を説明する動作フロー
【図３】本発明の実施形態の撮影動作を説明する動作フロー
【図４】撮像装置の姿勢とジオラマ風処理の関係を示す模式図１
【図５】撮像装置の姿勢とジオラマ風処理の関係を示す模式図２
【発明を実施するための形態】
【０００９】
以下、本発明に係る実施の形態を図面を用いて詳細に説明する。
【００１０】
（第１の実施形態）
図１は第１の実施形態の撮像装置の構成を示す図である。
【００１１】
光学系１０１は、入射した光を撮像素子１０２上に結像させることで被写体を撮像する。光学制御部１１１は、光学系１０１の露出やズーム、フォーカス、光学式ブレ補正等を制御する。撮像素子１０２は、結像させた光学像を電気信号に変換する。撮像制御部１１２は、撮像素子を駆動するための制御系である。アナログ信号処理部１０３は、固体撮像素子の出力にクランプ、ゲインをかける等の処理を行なう。アナログ／デジタル（Ａ／Ｄ）変換部１０４は、アナログ信号にデジタル変換を行ない画像データとして出力する。本実施形態では、光学系１０１からＡ／Ｄ変換部１０４までを含めて撮像手段とする。また、撮像装置は、撮像手段から出力された撮影画像の画像データを記録媒体１０８に単独フレームで記録することで静止画撮影を可能としている。また、連続して複数フレーム記録することで動画撮影を可能としている。信号処理部１０５は、Ａ／Ｄ変換したデジタル信号の撮影画像に対して後述の画像処理を行い出力画像を生成する。内部記憶部１０６は、出力画像を生成する際に画像データを一時的に記憶する。信号処理部１０５は、システム制御部１１３の指示により内部記憶部１０６に記憶された画像データを読み出し可能な構成となっており、ぼけ画像の生成、トリミング処理、画像合成処理などのジオラマ風画像処理を行う。ジオラマ風画像処理の詳細については、後述する。
【００１２】
記録再生部１０７は、生成した画像データを記録媒体１０８に記録する。記録媒体１０８は、光デイスク記録媒体、半導体記録媒体等、各種の取り外し可能な記録媒体が使用できる。画像表示装置１１０は、表示制御部１０９を介し、生成された画像データをライブ画像として表示する。電子ファインダとしての機能を有する表示装置１１０は、システム制御部１１３でのプログラムの実行にしたがって、合焦枠表示、合焦表示、非合焦の警告の表示なども行う。システム制御部１１３は、基本的に、撮像装置の全体の動作を制御するものであって、通常内部にＣＰＵを備える。たとえば、上記撮像手段により得られる画像データを用いて予め定めた演算処理を信号処理部１０５で実行し、その演算結果に基づいて、光学制御部１１１及び撮像制御部１１２を制御する。光学制御部１１１が制御を行ない自動焦点制御（ＡＦ）を実行する。光学制御部１１１が絞り及びシャッタ、さらには撮像制御部１１２が撮像素子１０２の電子シャッタに対して制御を行い、自動露出制御（ＡＥ）を実行する。
【００１３】
姿勢検知部１１５は、加速度センサ及びまたは、前記光学式ブレ補正に用いるジャイロセンサを用いて撮像装置の姿勢を検知する。システム制御部１１３は、姿勢検知部１１５から出力された姿勢検知結果により撮像装置の姿勢を判別し、姿勢に応じた設定情報などの表示や、姿勢に応じてカーソルキーの入力方向の変更を行う。１１４は操作部である。操作部１１４には、撮影前の予備動作を撮像装置に指示を行うシャッターＳＷ１および、撮影動作を撮像装置に指示を行うシャッターＳＷ２、画像処理を行う位置などを指示するカーソルキーなどを備える。システム制御部１１３は、前記シャッターＳＷ１の検出により、ＡＦ、ＡＥを行い、前記シャッターＳＷ２の検出により撮影動作を行う。なお、図１に示して説明した撮像装置の構成は１例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。
【００１４】
図２を用いて、本実施形態のジオラマ風画像処理について説明する。本実施形態では静止画撮影、動画撮影、ライブ表示のいずれの撮影動作においてもジオラマ風画像処理を行うことにより、ジオラマ風の効果が視認できる画像を生成することができる。本実施形態では上記撮影動作において共通のジオラマ風画像処理を行うものとする。ただし、それぞれの撮影動作において必要とされる画質やフレームレートは異なるので、撮影動作に応じて、ジオラマ風画像処理の内容を変化させるように構成してもよい。
【００１５】
図２において、画像２００は、信号処理部１０５に入力される撮影画像の全体を示す。本実施形態では、建物、人物、樹木等が含まれるシーンにおいて、主に人物に対してジオラマ風の効果が表れた画像を得ることを目的とする。枠２０１は、撮影画像の画角中に指定されたピントを合わせる範囲及び位置を表示している。枠２０１に人物が含まれ、その上下の領域をぼかす処理を行うことによりジオラマ風の効果が表れた画像が得られる。領域をぼかす強さは、信号処理部１０５により任意に設定可能であり、なだらかにぼかすことも可能である。
【００１６】
本実施形態において、枠２０１は表示装置１１０に表示されるライブ画像上にも表示され、その上下位置は中心ライン２０２よりも少し下の位置で固定されており、幅の広さ２０３も一定になっている。信号処理部１０５はこの枠２０１の位置と幅に応じて各フレームに対して連続的にジオラマ風画像処理を実行し、ライブ画像を更新するようにする。
【００１７】
次に、図２（ｂ）を用いてジオラマ風画像処理の動作フローを説明する。本動作フローはシステム制御部１１３が各処理ブロックを制御することにより実現される。
【００１８】
まず、システム制御部１１３は、撮像手段により入力された画像データであってホワイトバランス等の現像処理を行うことにより１フレームの処理対象の撮影画像が得られたことに応答して、本動作フローを開始する（Ｓ２０１）。ここで動作フローの開始時には既に枠２０１の位置と広さの固定値が設定されている。
【００１９】
システム制御部１１３は、ユーザにより設定されたぼけの度合いに基き、枠２０１以外の領域のぼけ量を決定する（Ｓ２０２）。本実施形態では、撮影動作中においてもぼけの度合いは「強」と「弱」から選択できる。
【００２０】
次に、システム制御部１１３は、撮像手段により入力された画像データであってホワイトバランス等の現像処理を行うことにより得られた撮影画像の画像データを内部記憶部１０６に記憶させる（Ｓ２０３）。これは通常モードで撮影した場合の撮影画像と同じものである。
【００２１】
そして、信号処理部１０５は、撮影画像の画像データから画像全体をぼかした画像を作る（Ｓ２０４）。本実施形態では、ぼけ画像は、撮影画像をまびき処理により縮小処理し、再度、もとのサイズに拡大処理することで生成される。例えば、選択したぼけ度合いが「強」であれば縮小処理の縮小率を１／８とし、「弱」であれば縮小処理の縮小率を１／４とする。本発明はこの方法に限定せず、予め光学的に非合焦位置で撮影した画像を用いてぼけ画像を生成してもよい。
【００２２】
信号処理部１０５は、内部記憶部１０６に記憶された撮影画像の画像データから枠２０１の部分をトリミングする（Ｓ２０５）。そして、信号処理部１０５は、ステップＳ２０４で作られたぼけ画像にトリミングした画像を位置合わせして貼り付けることにより、上下がボケて中心部に解像感が残った画像を生成する（Ｓ２０６）。尚、撮影画像の画像データを貼り付ける際に、ぼけ画像とトリミングした撮影画像をなだらかに混合することにより貼付境界部を目立たなくさせる。すなわち、枠２０１の境界部分で丁度、撮影画像とぼけ画像との合成比率を０：１とし、枠２０１の中心ラインに向かうに従って撮影画像の合成比率を上げていく処理を行う。
【００２３】
図３（ａ）は、撮像装置の姿勢変化に応じてジオラマ風画像処理の内容を変更する動作フローである。本動作フローはシステム制御部１１３が各処理ブロックを制御することにより実現される。内容変更の動作フローは、動画撮影、静止画撮影においても適用可能であるが、ここでは、ライブ画像の表示動作を行っている状態から静止画撮影を行うまでの動作で説明する。
【００２４】
ライブ画像を表示している状態において、ユーザのモード指定によりジオラマ風の撮影モードが設定されたことに応答して本動作フローが開始される。動作フローの開始後、システム制御部１１３は、姿勢検知部１１５の出力信号に基づき撮像装置の姿勢を判断する（Ｓ３０１）。システム制御部１１３は、次にステップＳ３０１で検出した現在の姿勢と記憶しておいたそれ以前の姿勢を比較する。ここで現在の姿勢は次回の姿勢比較のときに以前の姿勢として用いるために記憶する（Ｓ３０２）。次に、システム制御部１１３は、この比較結果に応じて姿勢が変更されたかを判断する（Ｓ３０３）。ステップＳ３０３で姿勢が変更されていないと判断された場合は、ステップＳ３０５へ進む。一方、姿勢が変更されたと判断した場合は、ステップＳ３０４へ進む。
【００２５】
ステップＳ３０４では、図３（ａ）、図３（ｂ）、図３（ｃ）に示す様に、ステップＳ３０１で判断した撮像装置の姿勢に応じて、枠２０１の表示方向及び、ジオラマ風画像処理の方向を切り替える。
【００２６】
そして、姿勢が変換していない場合は（ステップＳ３０３：Ｎｏ）そのままの方向で、姿勢が変換している場合は（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０４で切り替えた方向で、図２（ｂ）で説明したジオラマ風画像処理を行う（Ｓ３０５）。
【００２７】
そして、シャッタボタンが押されたか否かを判断し（Ｓ３０６）、押されていないと判断した場合はステップＳ３０１に戻りライブ画像の表示とそれに基づく姿勢検出を続け、押されていると判断した場合は、静止画の撮影処理を行う（Ｓ３０７）。そして、得られた静止画の撮影画像に対して、図２（ｂ）で説明したジオラマ風画像処理を行う（Ｓ３０５）。ここで、静止画はフレームレートよりは画質を優先すべきであるので、１つのぼけ画像を用いて行ったステップＳ２０４〜Ｓ２０６の処理を２つ以上のぼけ画像を用いて行うことにより、よりジオラマ風の効果が得られた静止画像を得るようにしてもよい。
【００２８】
図３（ａ）のステップＳ３０４の処理方向の変更処理について詳細に説明する。図３（ｂ）は、ユーザが撮像装置を正位置に構えた時に表示装置１１０に表示されるジオラマ風の画像である。図２（ａ）で説明したのと同様なものであり、ピントが合う範囲及び表示枠の位置は枠２０１になる。ここで正位置とは、ユーザが図４（ａ）の様に撮像装置を構えている位置である。
【００２９】
図３（ｃ）は、ユーザが図４（ｂ）の様に撮像装置のグリップ位置を下に構え、正位置に対し右９０°回転している位置である。図４（ｂ）は、この時の処理方向と枠２０１が正位置に対して左９０°回転していることを示している。
【００３０】
図３（ｄ）は、正位置に対し左に９０°回転している位置である。この時の枠２０１の位置は図３（ｃ）と左右対称の関係になる。
【００３１】
撮像装置を左右９０度方向に回転させても枠を固定していたならば、図２（ａ）の２００のシーンに対して構図が変化するとともに枠が縦方向に表示されてジオラマ風処理がされてしまうため、期待したジオラマ風の効果が得られない。これに対して、本実施形態のように、姿勢変化に対応させて図３（ｃ）及び（ｄ）のように枠の方向も回転させることにより、構図は変化したとしてもジオラマ風の効果の方向は回転前の状態に保つことができるので、良好な画像を得ることができる。
【００３２】
（第２の実施形態）
本実施形態では、ライブ画像の表示動作中において、ユーザは操作部１１４を用いて、枠２０１の上下位置及び幅の広さを設定できるようになっている。信号処理部１０５は設定された枠２０１の位置と広さに応じてジオラマ風画像処理を実行し、ライブ画像を更新するようにする。
【００３３】
このとき、姿勢変化によりジオラマ風の画像処理の方向が変化した場合、引き続きユーザが設定した枠２０１の位置と幅の広さでジオラマ風の画像を表示させることが好ましい。
【００３４】
図４を用いて、図４（ａ）正位置から図４（ｂ）右９０°回転した時の枠２０１（ピントが合う範囲及び位置）の設定方法について説明する。左９０°回転した場合についての説明は省略するが、同じ構成にて実現可能であるため、以下の説明においては、右９０°回転または、左９０°回転して構えていることを縦位置と表現する。
【００３５】
第１の実施形態と同様な図４（ｃ）に示すシーンを撮影してジオラマ風の効果を得る場合に、ユーザーは、正位置または、縦位置のいずれかの構図で撮影する。ピントが合う範囲及び位置（枠２０１）は主被写体である人物に合わせて設定するため、正位置（４０２）、縦位置（４０１）に関わらず、ユーザの指定を反映させてほぼ同じ幅の広さを設定する必要がある。さらに、構図のバランスが崩れないように、上下のバランスも正位置（４０２）、縦位置（４０１）に関わらず一定領域内になる様に枠の位置も設定する。
【００３６】
図５は、姿勢の変化に応じて、以上の設定を行った例を示す図である。
【００３７】
図５（ａ）は、正位置での枠２０１の幅の広さをＭに設定した例であり、図４（ｃ）の４０２の構図の場合を示したものである。正位置 図５（ａ）から図５（ｂ）に示す縦位置に姿勢が変更された場合は、正位置における図５（ａ）の幅Ｍに応じて縦位置における図５（ｂ）の幅Ｐを設定する。ここで、幅Ｍ：撮影画像の縦方向の幅Ｘ＝幅Ｐ：撮影画像の横方向の幅Ｙの関係を有する。同様の比率関係を用いて、正位置における図５（ａ）の幅Ｌ、幅Ｎに応じて縦位置における図５（ｂ）の幅Ｏ、幅Ｑを設定する。縦位置 図５（ｂ）から正位置図５（ａ）に姿勢を変更した場合も、幅Ｏ、幅Ｐ、幅Ｑに応じて、幅Ｌ、幅Ｍ、幅Ｎを設定する。
【００３８】
図５（ｃ）は、正位置での枠２０１の位置を中心位置Ｓに設定した例であり、図４（ｃ）の４０２の構図の場合を示したものである。正位置における図５（ｃ）で枠２０１の中心位置Ｓを、画面全体の高さＸに対する比率で設定している。図５（ｃ）から縦位置における図５（ｄ）に姿勢を変更した場合、枠２０１の中心位置Ｕは、画面全体の幅Ｙから式：Ｕ＝Ｙ×Ｓ÷Ｘで容易に求めることが可能である。また、縦位置における図５（ｄ）から、正位置における図５（ｃ）に姿勢を変更した場合は式Ｓ＝Ｘ×Ｕ÷Ｙより算出する。ここでは、中心位置Ｕ及び中心位置Ｓ等を比率で引き継ぐ例を示したが、画面上端または、画面中心からの画素数により、位置を算出するようにしてもよい。
【００３９】
以上、枠２０１の設定を幅と位置とで別々に説明したが、図５（ｃ）の枠２０１の中心位置Ｓから図５（ａ）の幅Ｍを設定するのであれば、図５（ｄ）の中心位置Ｕから図５（ｂ）の幅Ｐを設定できる。この場合、図４（ｄ）に示す様に、ユーザーが縦位置４０４で画面下端付近に枠２０１を設定し、正位置４０５に構え直すと、設定した幅Ｐが広いと、枠の中心位置ＵとＳとを対応させることはできても、枠の範囲Ｐが構図からはみ出てしまうことがある。したがって、下端に接する位置に枠が設定されていた場合は、姿勢変更を行っても中心位置の関係はそのまま引き継がず、枠の幅を保ったまま下端位置になるよう中心位置を設定する様にする。図示しないが、上端付近に枠２０１を設定した場合も同様な処理を行う。
【００４０】
以上説明したように、本実施形態では、ジオラマ風処理を行うための枠の位置と幅をユーザが設定できるような仕様において、撮像装置の姿勢変化が生じた場合においても、期待したジオラマ風の効果が表れた画像を得ることができる。
【００４１】
（他の実施形態）
上記実施形態では、ライブ画像の表示と、静止画記録についてのジオラマ風画像処理について説明したが、本発明は、これに限らず、動画記録を行う場合におけるライブ表示や記録される動画に対しても適用可能である。
【００４２】
上記実施形態では、特殊効果としてジオラマ風の画像処理という文言を使用したが、これは便宜的なものであり、撮影画像と１枚以上のボケ画像とを方向性を持たせそれぞれ領域を変えて合成する処理を含むものあれば、他の特殊効果の処理においても、本発明は適用できる。
【００４３】
また、上記実施形態では、本発明を撮像装置に適用した場合について説明したが、本発明はこれに限るものではなく、外部接続した撮像装置から撮影画像を入力可能なパーソナルコンピュータやデジタルテレビ等の画像処理装置において、実現されても良い。この場合、撮影画像の画像ファイルにおけるヘッダ情報に含まれている姿勢検知情報から姿勢を判断して、その姿勢に応じたジオラマ風画像処理を行う。なお、パーソナルコンピュータの場合は、上記図３に示した各ステップを実行するアプリケーションソフトウェアをＣＤ−ＲＯＭ等の記憶媒体やネットワーク上のサーバから取得してインストールすることにより実現される。
【符号の説明】
【００４４】
１０５ 信号処理部
１０６ 内部記憶部
１１３ システム制御部
１１５ 姿勢検知部
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた撮像装置により得られた画像に対するボカし処理に関する。
【背景技術】
【０００２】
従来、画像の上下をぼかしたジオラマ風の撮影は、光学的に実現されていた。光学的に実現するには、例えば、特殊レンズであるチルトシフトレンズを用いて俯瞰撮影を行う。また、ジオラマ風に限らず、画像のぼかし効果は通常の撮影画像に対する画像処理で実現することもできる。特許文献１では、通常の撮影画像をぼかした画像と元画像をある比率で混合して合成することによりソフトフォーカスのような効果が得られる技術が開示されている。また、特許文献２では、車載カメラによる車両周辺の撮像画像をモニタ画面に表示するとき、撮像画像の一部エリアと前記一部エリアを除いた他エリアとで画像表示の鮮鋭度を異ならせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−６９２７７
【特許文献２】特許第３９４１９２６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理でジオラマ風の静止画像を実現するためには、ぼけの度合いを所定方向に変化させた複数の段階のぼかし処理が必要となる。そして、このぼかし処理の領域及び方向と撮影画像の構図との関係が適正であれば、ジオラマ風の効果が視認できる良好な画像が得られる。しかし、ぼかし処理の領域及び方向を固定したままカメラの姿勢を変化させると、撮影画像のぼかし効果の方向や構図も変化するので、期待したジオラマ風の効果が表れない画像となるおそれがある。
【０００５】
本発明は上述した問題点を解決するためのものであり、撮像装置の姿勢を変化させても、期待したジオラマ風の効果が表れた画像を得ることができるようにする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の撮像装置は、撮像手段から入力された撮影画像に対して画像処理を行う撮像装置であって、前記撮影画像に対してジオラマ風画像処理を施す画像処理手段と、前記撮像装置の姿勢を検知する判断手段と、前記判断手段により判断した姿勢に応じて、前記画像処理手段によるジオラマ風画像処理のぼけの方向を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像装置の姿勢を変化させても、期待したジオラマ風の効果が表れた画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を示す図
【図２】本発明の実施形態のジオラマ風画像処理を説明する動作フロー
【図３】本発明の実施形態の撮影動作を説明する動作フロー
【図４】撮像装置の姿勢とジオラマ風処理の関係を示す模式図１
【図５】撮像装置の姿勢とジオラマ風処理の関係を示す模式図２
【発明を実施するための形態】
【０００９】
以下、本発明に係る実施の形態を図面を用いて詳細に説明する。
【００１０】
（第１の実施形態）
図１は第１の実施形態の撮像装置の構成を示す図である。
【００１１】
光学系１０１は、入射した光を撮像素子１０２上に結像させることで被写体を撮像する。光学制御部１１１は、光学系１０１の露出やズーム、フォーカス、光学式ブレ補正等を制御する。撮像素子１０２は、結像させた光学像を電気信号に変換する。撮像制御部１１２は、撮像素子を駆動するための制御系である。アナログ信号処理部１０３は、固体撮像素子の出力にクランプ、ゲインをかける等の処理を行なう。アナログ／デジタル（Ａ／Ｄ）変換部１０４は、アナログ信号にデジタル変換を行ない画像データとして出力する。本実施形態では、光学系１０１からＡ／Ｄ変換部１０４までを含めて撮像手段とする。また、撮像装置は、撮像手段から出力された撮影画像の画像データを記録媒体１０８に単独フレームで記録することで静止画撮影を可能としている。また、連続して複数フレーム記録することで動画撮影を可能としている。信号処理部１０５は、Ａ／Ｄ変換したデジタル信号の撮影画像に対して後述の画像処理を行い出力画像を生成する。内部記憶部１０６は、出力画像を生成する際に画像データを一時的に記憶する。信号処理部１０５は、システム制御部１１３の指示により内部記憶部１０６に記憶された画像データを読み出し可能な構成となっており、ぼけ画像の生成、トリミング処理、画像合成処理などのジオラマ風画像処理を行う。ジオラマ風画像処理の詳細については、後述する。
【００１２】
記録再生部１０７は、生成した画像データを記録媒体１０８に記録する。記録媒体１０８は、光デイスク記録媒体、半導体記録媒体等、各種の取り外し可能な記録媒体が使用できる。画像表示装置１１０は、表示制御部１０９を介し、生成された画像データをライブ画像として表示する。電子ファインダとしての機能を有する表示装置１１０は、システム制御部１１３でのプログラムの実行にしたがって、合焦枠表示、合焦表示、非合焦の警告の表示なども行う。システム制御部１１３は、基本的に、撮像装置の全体の動作を制御するものであって、通常内部にＣＰＵを備える。たとえば、上記撮像手段により得られる画像データを用いて予め定めた演算処理を信号処理部１０５で実行し、その演算結果に基づいて、光学制御部１１１及び撮像制御部１１２を制御する。光学制御部１１１が制御を行ない自動焦点制御（ＡＦ）を実行する。光学制御部１１１が絞り及びシャッタ、さらには撮像制御部１１２が撮像素子１０２の電子シャッタに対して制御を行い、自動露出制御（ＡＥ）を実行する。
【００１３】
姿勢検知部１１５は、加速度センサ及びまたは、前記光学式ブレ補正に用いるジャイロセンサを用いて撮像装置の姿勢を検知する。システム制御部１１３は、姿勢検知部１１５から出力された姿勢検知結果により撮像装置の姿勢を判別し、姿勢に応じた設定情報などの表示や、姿勢に応じてカーソルキーの入力方向の変更を行う。１１４は操作部である。操作部１１４には、撮影前の予備動作を撮像装置に指示を行うシャッターＳＷ１および、撮影動作を撮像装置に指示を行うシャッターＳＷ２、画像処理を行う位置などを指示するカーソルキーなどを備える。システム制御部１１３は、前記シャッターＳＷ１の検出により、ＡＦ、ＡＥを行い、前記シャッターＳＷ２の検出により撮影動作を行う。なお、図１に示して説明した撮像装置の構成は１例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。
【００１４】
図２を用いて、本実施形態のジオラマ風画像処理について説明する。本実施形態では静止画撮影、動画撮影、ライブ表示のいずれの撮影動作においてもジオラマ風画像処理を行うことにより、ジオラマ風の効果が視認できる画像を生成することができる。本実施形態では上記撮影動作において共通のジオラマ風画像処理を行うものとする。ただし、それぞれの撮影動作において必要とされる画質やフレームレートは異なるので、撮影動作に応じて、ジオラマ風画像処理の内容を変化させるように構成してもよい。
【００１５】
図２において、画像２００は、信号処理部１０５に入力される撮影画像の全体を示す。本実施形態では、建物、人物、樹木等が含まれるシーンにおいて、主に人物に対してジオラマ風の効果が表れた画像を得ることを目的とする。枠２０１は、撮影画像の画角中に指定されたピントを合わせる範囲及び位置を表示している。枠２０１に人物が含まれ、その上下の領域をぼかす処理を行うことによりジオラマ風の効果が表れた画像が得られる。領域をぼかす強さは、信号処理部１０５により任意に設定可能であり、なだらかにぼかすことも可能である。
【００１６】
本実施形態において、枠２０１は表示装置１１０に表示されるライブ画像上にも表示され、その上下位置は中心ライン２０２よりも少し下の位置で固定されており、幅の広さ２０３も一定になっている。信号処理部１０５はこの枠２０１の位置と幅に応じて各フレームに対して連続的にジオラマ風画像処理を実行し、ライブ画像を更新するようにする。
【００１７】
次に、図２（ｂ）を用いてジオラマ風画像処理の動作フローを説明する。本動作フローはシステム制御部１１３が各処理ブロックを制御することにより実現される。
【００１８】
まず、システム制御部１１３は、撮像手段により入力された画像データであってホワイトバランス等の現像処理を行うことにより１フレームの処理対象の撮影画像が得られたことに応答して、本動作フローを開始する（Ｓ２０１）。ここで動作フローの開始時には既に枠２０１の位置と広さの固定値が設定されている。
【００１９】
システム制御部１１３は、ユーザにより設定されたぼけの度合いに基き、枠２０１以外の領域のぼけ量を決定する（Ｓ２０２）。本実施形態では、撮影動作中においてもぼけの度合いは「強」と「弱」から選択できる。
【００２０】
次に、システム制御部１１３は、撮像手段により入力された画像データであってホワイトバランス等の現像処理を行うことにより得られた撮影画像の画像データを内部記憶部１０６に記憶させる（Ｓ２０３）。これは通常モードで撮影した場合の撮影画像と同じものである。
【００２１】
そして、信号処理部１０５は、撮影画像の画像データから画像全体をぼかした画像を作る（Ｓ２０４）。本実施形態では、ぼけ画像は、撮影画像をまびき処理により縮小処理し、再度、もとのサイズに拡大処理することで生成される。例えば、選択したぼけ度合いが「強」であれば縮小処理の縮小率を１／８とし、「弱」であれば縮小処理の縮小率を１／４とする。本発明はこの方法に限定せず、予め光学的に非合焦位置で撮影した画像を用いてぼけ画像を生成してもよい。
【００２２】
信号処理部１０５は、内部記憶部１０６に記憶された撮影画像の画像データから枠２０１の部分をトリミングする（Ｓ２０５）。そして、信号処理部１０５は、ステップＳ２０４で作られたぼけ画像にトリミングした画像を位置合わせして貼り付けることにより、上下がボケて中心部に解像感が残った画像を生成する（Ｓ２０６）。尚、撮影画像の画像データを貼り付ける際に、ぼけ画像とトリミングした撮影画像をなだらかに混合することにより貼付境界部を目立たなくさせる。すなわち、枠２０１の境界部分で丁度、撮影画像とぼけ画像との合成比率を０：１とし、枠２０１の中心ラインに向かうに従って撮影画像の合成比率を上げていく処理を行う。
【００２３】
図３（ａ）は、撮像装置の姿勢変化に応じてジオラマ風画像処理の内容を変更する動作フローである。本動作フローはシステム制御部１１３が各処理ブロックを制御することにより実現される。内容変更の動作フローは、動画撮影、静止画撮影においても適用可能であるが、ここでは、ライブ画像の表示動作を行っている状態から静止画撮影を行うまでの動作で説明する。
【００２４】
ライブ画像を表示している状態において、ユーザのモード指定によりジオラマ風の撮影モードが設定されたことに応答して本動作フローが開始される。動作フローの開始後、システム制御部１１３は、姿勢検知部１１５の出力信号に基づき撮像装置の姿勢を判断する（Ｓ３０１）。システム制御部１１３は、次にステップＳ３０１で検出した現在の姿勢と記憶しておいたそれ以前の姿勢を比較する。ここで現在の姿勢は次回の姿勢比較のときに以前の姿勢として用いるために記憶する（Ｓ３０２）。次に、システム制御部１１３は、この比較結果に応じて姿勢が変更されたかを判断する（Ｓ３０３）。ステップＳ３０３で姿勢が変更されていないと判断された場合は、ステップＳ３０５へ進む。一方、姿勢が変更されたと判断した場合は、ステップＳ３０４へ進む。
【００２５】
ステップＳ３０４では、図３（ａ）、図３（ｂ）、図３（ｃ）に示す様に、ステップＳ３０１で判断した撮像装置の姿勢に応じて、枠２０１の表示方向及び、ジオラマ風画像処理の方向を切り替える。
【００２６】
そして、姿勢が変換していない場合は（ステップＳ３０３：Ｎｏ）そのままの方向で、姿勢が変換している場合は（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０４で切り替えた方向で、図２（ｂ）で説明したジオラマ風画像処理を行う（Ｓ３０５）。
【００２７】
そして、シャッタボタンが押されたか否かを判断し（Ｓ３０６）、押されていないと判断した場合はステップＳ３０１に戻りライブ画像の表示とそれに基づく姿勢検出を続け、押されていると判断した場合は、静止画の撮影処理を行う（Ｓ３０７）。そして、得られた静止画の撮影画像に対して、図２（ｂ）で説明したジオラマ風画像処理を行う（Ｓ３０５）。ここで、静止画はフレームレートよりは画質を優先すべきであるので、１つのぼけ画像を用いて行ったステップＳ２０４〜Ｓ２０６の処理を２つ以上のぼけ画像を用いて行うことにより、よりジオラマ風の効果が得られた静止画像を得るようにしてもよい。
【００２８】
図３（ａ）のステップＳ３０４の処理方向の変更処理について詳細に説明する。図３（ｂ）は、ユーザが撮像装置を正位置に構えた時に表示装置１１０に表示されるジオラマ風の画像である。図２（ａ）で説明したのと同様なものであり、ピントが合う範囲及び表示枠の位置は枠２０１になる。ここで正位置とは、ユーザが図４（ａ）の様に撮像装置を構えている位置である。
【００２９】
図３（ｃ）は、ユーザが図４（ｂ）の様に撮像装置のグリップ位置を下に構え、正位置に対し右９０°回転している位置である。図４（ｂ）は、この時の処理方向と枠２０１が正位置に対して左９０°回転していることを示している。
【００３０】
図３（ｄ）は、正位置に対し左に９０°回転している位置である。この時の枠２０１の位置は図３（ｃ）と左右対称の関係になる。
【００３１】
撮像装置を左右９０度方向に回転させても枠を固定していたならば、図２（ａ）の２００のシーンに対して構図が変化するとともに枠が縦方向に表示されてジオラマ風処理がされてしまうため、期待したジオラマ風の効果が得られない。これに対して、本実施形態のように、姿勢変化に対応させて図３（ｃ）及び（ｄ）のように枠の方向も回転させることにより、構図は変化したとしてもジオラマ風の効果の方向は回転前の状態に保つことができるので、良好な画像を得ることができる。
【００３２】
（第２の実施形態）
本実施形態では、ライブ画像の表示動作中において、ユーザは操作部１１４を用いて、枠２０１の上下位置及び幅の広さを設定できるようになっている。信号処理部１０５は設定された枠２０１の位置と広さに応じてジオラマ風画像処理を実行し、ライブ画像を更新するようにする。
【００３３】
このとき、姿勢変化によりジオラマ風の画像処理の方向が変化した場合、引き続きユーザが設定した枠２０１の位置と幅の広さでジオラマ風の画像を表示させることが好ましい。
【００３４】
図４を用いて、図４（ａ）正位置から図４（ｂ）右９０°回転した時の枠２０１（ピントが合う範囲及び位置）の設定方法について説明する。左９０°回転した場合についての説明は省略するが、同じ構成にて実現可能であるため、以下の説明においては、右９０°回転または、左９０°回転して構えていることを縦位置と表現する。
【００３５】
第１の実施形態と同様な図４（ｃ）に示すシーンを撮影してジオラマ風の効果を得る場合に、ユーザーは、正位置または、縦位置のいずれかの構図で撮影する。ピントが合う範囲及び位置（枠２０１）は主被写体である人物に合わせて設定するため、正位置（４０２）、縦位置（４０１）に関わらず、ユーザの指定を反映させてほぼ同じ幅の広さを設定する必要がある。さらに、構図のバランスが崩れないように、上下のバランスも正位置（４０２）、縦位置（４０１）に関わらず一定領域内になる様に枠の位置も設定する。
【００３６】
図５は、姿勢の変化に応じて、以上の設定を行った例を示す図である。
【００３７】
図５（ａ）は、正位置での枠２０１の幅の広さをＭに設定した例であり、図４（ｃ）の４０２の構図の場合を示したものである。正位置 図５（ａ）から図５（ｂ）に示す縦位置に姿勢が変更された場合は、正位置における図５（ａ）の幅Ｍに応じて縦位置における図５（ｂ）の幅Ｐを設定する。ここで、幅Ｍ：撮影画像の縦方向の幅Ｘ＝幅Ｐ：撮影画像の横方向の幅Ｙの関係を有する。同様の比率関係を用いて、正位置における図５（ａ）の幅Ｌ、幅Ｎに応じて縦位置における図５（ｂ）の幅Ｏ、幅Ｑを設定する。縦位置 図５（ｂ）から正位置図５（ａ）に姿勢を変更した場合も、幅Ｏ、幅Ｐ、幅Ｑに応じて、幅Ｌ、幅Ｍ、幅Ｎを設定する。
【００３８】
図５（ｃ）は、正位置での枠２０１の位置を中心位置Ｓに設定した例であり、図４（ｃ）の４０２の構図の場合を示したものである。正位置における図５（ｃ）で枠２０１の中心位置Ｓを、画面全体の高さＸに対する比率で設定している。図５（ｃ）から縦位置における図５（ｄ）に姿勢を変更した場合、枠２０１の中心位置Ｕは、画面全体の幅Ｙから式：Ｕ＝Ｙ×Ｓ÷Ｘで容易に求めることが可能である。また、縦位置における図５（ｄ）から、正位置における図５（ｃ）に姿勢を変更した場合は式Ｓ＝Ｘ×Ｕ÷Ｙより算出する。ここでは、中心位置Ｕ及び中心位置Ｓ等を比率で引き継ぐ例を示したが、画面上端または、画面中心からの画素数により、位置を算出するようにしてもよい。
【００３９】
以上、枠２０１の設定を幅と位置とで別々に説明したが、図５（ｃ）の枠２０１の中心位置Ｓから図５（ａ）の幅Ｍを設定するのであれば、図５（ｄ）の中心位置Ｕから図５（ｂ）の幅Ｐを設定できる。この場合、図４（ｄ）に示す様に、ユーザーが縦位置４０４で画面下端付近に枠２０１を設定し、正位置４０５に構え直すと、設定した幅Ｐが広いと、枠の中心位置ＵとＳとを対応させることはできても、枠の範囲Ｐが構図からはみ出てしまうことがある。したがって、下端に接する位置に枠が設定されていた場合は、姿勢変更を行っても中心位置の関係はそのまま引き継がず、枠の幅を保ったまま下端位置になるよう中心位置を設定する様にする。図示しないが、上端付近に枠２０１を設定した場合も同様な処理を行う。
【００４０】
以上説明したように、本実施形態では、ジオラマ風処理を行うための枠の位置と幅をユーザが設定できるような仕様において、撮像装置の姿勢変化が生じた場合においても、期待したジオラマ風の効果が表れた画像を得ることができる。
【００４１】
（他の実施形態）
上記実施形態では、ライブ画像の表示と、静止画記録についてのジオラマ風画像処理について説明したが、本発明は、これに限らず、動画記録を行う場合におけるライブ表示や記録される動画に対しても適用可能である。
【００４２】
上記実施形態では、特殊効果としてジオラマ風の画像処理という文言を使用したが、これは便宜的なものであり、撮影画像と１枚以上のボケ画像とを方向性を持たせそれぞれ領域を変えて合成する処理を含むものあれば、他の特殊効果の処理においても、本発明は適用できる。
【００４３】
また、上記実施形態では、本発明を撮像装置に適用した場合について説明したが、本発明はこれに限るものではなく、外部接続した撮像装置から撮影画像を入力可能なパーソナルコンピュータやデジタルテレビ等の画像処理装置において、実現されても良い。この場合、撮影画像の画像ファイルにおけるヘッダ情報に含まれている姿勢検知情報から姿勢を判断して、その姿勢に応じたジオラマ風画像処理を行う。なお、パーソナルコンピュータの場合は、上記図３に示した各ステップを実行するアプリケーションソフトウェアをＣＤ−ＲＯＭ等の記憶媒体やネットワーク上のサーバから取得してインストールすることにより実現される。
【符号の説明】
【００４４】
１０５ 信号処理部
１０６ 内部記憶部
１１３ システム制御部
１１５ 姿勢検知部
【特許請求の範囲】
【請求項１】
撮像手段から入力された撮影画像に対して画像処理を行う撮像装置であって、
前記撮影画像に対してジオラマ風画像処理を施す画像処理手段と、
前記撮像装置の姿勢を検知する判断手段と、
前記判断手段により判断した姿勢に応じて、前記画像処理手段によるジオラマ風画像処理のぼけの方向を決定する決定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、撮影画像のうちピントを合わせた画像とする領域とぼけ画像とする領域を生成することでジオラマ風の効果を生じさせることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ジオラマ風画像処理が施された画像と前記ピントを合わせた画像とする領域に対応する枠を表示する表示手段をさらに有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、前記判断手段により判断した姿勢に応じて、撮影画像における前記枠の位置と幅の広さを決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記枠の位置と幅の広さは、前記撮像装置の正位置における撮影画像の縦方向の長さと撮像装置の縦位置における撮影画像の横方向の長さとの関係に基づき算出されることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記枠の位置と幅を設定する操作手段をさらに有することを特徴とする請求項３〜５のいずれかに記載の撮像装置。
【請求項７】
前記枠の位置と幅を設定する操作手段をさらに有し、前記位置と幅の設定により前記枠が撮影画像の端に接する状態において姿勢の変更が生じた場合、前記決定手段は、姿勢を変更した後において、前記枠の位置を引き続き撮影画像の端に位置するように決定することを特徴とする請求項５に記載の撮像装置。
【請求項８】
撮像装置により得られた撮影画像に対して画像処理を行う画像処理方法であって、
前記撮像装置の姿勢を判断する判断ステップと、
前記判断ステップにより判断した姿勢に応じて、ジオラマ風画像処理のぼけの方向を決定する決定ステップと、
前記決定ステップにより決定したぼけの方向により、撮影画像に対してジオラマ風画像処理を施す画像処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１】
撮像手段から入力された撮影画像に対して画像処理を行う撮像装置であって、
前記撮影画像に対してジオラマ風画像処理を施す画像処理手段と、
前記撮像装置の姿勢を検知する判断手段と、
前記判断手段により判断した姿勢に応じて、前記画像処理手段によるジオラマ風画像処理のぼけの方向を決定する決定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、撮影画像のうちピントを合わせた画像とする領域とぼけ画像とする領域を生成することでジオラマ風の効果を生じさせることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ジオラマ風画像処理が施された画像と前記ピントを合わせた画像とする領域に対応する枠を表示する表示手段をさらに有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、前記判断手段により判断した姿勢に応じて、撮影画像における前記枠の位置と幅の広さを決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記枠の位置と幅の広さは、前記撮像装置の正位置における撮影画像の縦方向の長さと撮像装置の縦位置における撮影画像の横方向の長さとの関係に基づき算出されることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記枠の位置と幅を設定する操作手段をさらに有することを特徴とする請求項３〜５のいずれかに記載の撮像装置。
【請求項７】
前記枠の位置と幅を設定する操作手段をさらに有し、前記位置と幅の設定により前記枠が撮影画像の端に接する状態において姿勢の変更が生じた場合、前記決定手段は、姿勢を変更した後において、前記枠の位置を引き続き撮影画像の端に位置するように決定することを特徴とする請求項５に記載の撮像装置。
【請求項８】
撮像装置により得られた撮影画像に対して画像処理を行う画像処理方法であって、
前記撮像装置の姿勢を判断する判断ステップと、
前記判断ステップにより判断した姿勢に応じて、ジオラマ風画像処理のぼけの方向を決定する決定ステップと、
前記決定ステップにより決定したぼけの方向により、撮影画像に対してジオラマ風画像処理を施す画像処理ステップと、
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１６６３０２（Ｐ２０１１−１６６３０２Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２４６０２（Ｐ２０１０−２４６０２）
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]