【課題】関心物体のフレームアウトを防ぐようにユーザを誘導する画像を作成する。
【解決手段】画像処理装置１１０は、画像データＤを入力する。関心物体検出部１１２は、画像データＤが表す画像における、関心物体の位置を特定する。フレームアウト確度判定部１１４は、関心物体検出部１１２が特定した関心物体の位置に基づいて、表示部１２６に表示させる画像の画像範囲から、関心物体がフレームアウトする確度と、フレームアウトする方向を算出する。変更値決定部１１６は、フレームアウト確度判定部１１４が算出したフレームアウトする確度及び方向に基づいて、画像データＤが表す画像中の変更を施す領域である処理領域と、処理領域に施す変更とを決定する。表示画像処理部１１８は、変更値決定部１１６が決定した処理領域と処理領域に施す変更とに基づいて、画像データＤが表す画像の処理領域に変更処理を施し、変更画像データＤ´を生成する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラムに関する。
【背景技術】
【０００２】
例えばデジタルカメラを用いて関心物体を撮像する場合、この関心物体が撮像範囲内に収まっていなければ、当然ながら関心物体を撮像することができない。そこで、撮像範囲内に関心物体が位置するようにユーザを誘導する表示を行う技術が知られている。
【０００３】
例えば、特許文献１には、次のような技術を採用したカメラが開示されている。すなわち、この技術では、カメラは、撮像しようとする被写体に当該カメラが向けられたときに得られる画像の輝度分布に基づいて、関心物体の輪郭の一部を抽出し、当該輪郭の位置と所定の適正範囲とを対比して、構図の良否を判断する。構図が不良であると判断された場合、カメラは、警告を出力し、適正な構図にするために当該カメラを上下左右どちらの方向に向けたらよいかを示す表示を画像表示装置とは別に設けた表示器に表示させる。
【０００４】
また、例えば特許文献２には、次のような技術を採用した撮影装置が開示されている。すなわち、この技術では、撮像装置は、広角画像とその一部を拡大した撮像範囲を示す画像とを並べて表示する。この装置は、関心物体の位置を検出して、上記の拡大画像内に関心物体が収まるように、ユーザに当該撮影装置を向けるべき方向を報知する。
【０００５】
また、例えば特許文献３には、次のような技術を採用した撮像装置が開示されている。すなわち、この技術では、撮像装置は、表示手段の画面に撮影中の動画像を表示している。この装置は、関心物体の動きを追跡し、表示手段の画面の範囲から追跡している関心物体が外れた場合、当該画面外に移動した関心物体がいる方向を案内する例えば矢印模様のガイドを、前記動画像に重ね合わせて前記表示手段に表示させる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４０２９１７４号公報
【特許文献２】特開２００８−２７８４８０号公報
【特許文献３】特開２００７−１２９４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１においては、カメラを上下左右どちらの方向に向けたらよいかを示す表示器が、現在撮影している画像を表示する画像表示装置の外側に設けられている。また、特許文献２においては、広角画像と拡大画像とが並べて表示されている。したがって、特許文献１及び２の技術において、ユーザは、現在の撮影画像を表示する表示画面のみならず、その周辺にも注意を向ける必要がある。
【０００８】
また、特許文献３においては、撮像中の動画像を表示する表示手段の画面上に、画面外に移動した関心物体がいる方向を案内する矢印模様を表示している。このように特許文献３では、観察している画面上に撮像している画像以外の矢印という画像を表示しているため、表示が煩雑になる。また、関心物体がフレームアウトした後のことは考慮されているが、関心物体がフレームアウトすることは考慮されていない。
【０００９】
そこで本発明は、表示を煩雑にすることなく、取得した画像に基づいて、所定の範囲内に関心物体が位置するようにユーザを誘導するような表示画像を作成する画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を果たすため、本発明の画像処理装置の一態様は、画像信号が入力され、該画像信号に基づく画像から表示装置の表示領域に応じた画像範囲を有する表示画像を生成する画像処理装置であって、前記画像信号に基づく画像における関心物体の位置である関心位置を算出する関心位置算出部と、前記関心位置と前記画像範囲とに基づいて、前記関心位置が前記画像範囲から外れる確度を表すフレームアウト確度を算出するフレームアウト確度算出部と、前記フレームアウト確度に基づいて、前記画像信号に基づく画像に施す改変処理の処理変数を決定する改変変数決定部と、決定した前記処理変数に基づいて前記画像信号に基づく画像に前記改変処理を施して前記表示画像の信号を生成する画像変更部と、を具備することを特徴とする。
【００１１】
また、前記目的を果たすため、本発明の画像処理装置を備えた画像表示装置の一態様は、上記の画像処理装置と、上記の画像処理装置が生成した画像を表示する前記表示装置と、を具備することを特徴とする。
【００１２】
また、前記目的を果たすため、本発明の画像処理装置を備えた撮像装置の一態様は、上記の画像処理装置と、撮像を実施して上記の画像処理装置に入力する画像信号を生成する撮像部と、を具備することを特徴とする。
【００１３】
また、前記目的を果たすため、本発明の画像処理方法の一態様は、入力された画像信号に基づく画像から、表示装置の表示領域に応じた画像範囲を有する表示画像を生成する画像処理方法であって、前記画像信号に基づく画像における関心物体の位置である関心位置を算出することと、前記関心位置と前記画像範囲とに基づいて、前記関心位置が前記画像範囲から外れる確度を表すフレームアウト確度を算出することと、前記フレームアウト確度に基づいて、前記画像信号に基づく画像に施す改変処理の処理変数を決定することと、決定した前記処理変数に基づいて前記画像信号に基づく画像に前記改変処理を施して前記表示画像の信号を生成することと、を具備することを特徴とする。
【００１４】
また、前記目的を果たすため、本発明の画像処理プログラムの一態様は、入力された画像信号に基づく画像から、表示装置の表示領域に応じた画像範囲を有する表示画像を生成する画像処理プログラムであって、前記画像信号に基づく画像における関心物体の位置である関心位置を算出する関心位置算出ステップと、前記関心位置と前記画像範囲とに基づいて、前記関心位置が前記画像範囲から外れる確度を表すフレームアウト確度を算出するフレームアウト確度算出ステップと、前記フレームアウト確度に基づいて、前記画像信号に基づく画像に施す改変処理の処理変数を決定する改変変数決定ステップと、決定した前記処理変数に基づいて前記画像信号に基づく画像に前記改変処理を施して前記表示画像の信号を生成する画像変更ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、関心物体が画像範囲から外れる確度に基づいて、画像に処理を施すので、取得した画像に基づいて、所定の範囲内に関心物体が位置するようにユーザを誘導するような表示画像を作成する画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラムを提供できる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る画像処理装置を備えた撮像装置としてのデジタルカメラの構成例を示すブロック図。
【図２】本発明の第１の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図３】本発明の第１の実施形態に係る画像処理装置による変更処理後の画像例を示す図。
【図４】本発明の第１の実施形態に係る画像処理装置による変更処理後の画像例を示す図であり、関心物体の位置により画像に施す変更処理が異なることを説明する為の図。
【図５】本発明の第１の実施形態に係る画像処理装置により作成される画像例を示す図であり、関心物体が中央にある場合、画像に変更処理を施さないことを説明する為の図。
【図６】本発明の第１の実施形態に係る画像処理装置により作成される変更処理後の画像例であり、関心物体の逸脱が大きい状態に対応する表示状態を示す図。
【図７】本発明の第１の実施形態に係る画像処理装置により作成される変更処理後の画像例であり、図６の表示例に対して、関心物体が更に逸脱している状況における変更処理後の画像例を示す図。
【図８】本発明の第１の実施形態の第１の変形例に係る画像処理装置により作成される変更処理後の画像例を示す図。
【図９】本発明の第１の実施形態の第１の変形例に係る画像処理装置により作成される変更処理後の画像の別の例を示す図。
【図１０】本発明の第１の実施形態の第１の変形例に係る画像処理装置により作成される変更処理後の画像の更に別の例を示す図。
【図１１】本発明の第１の実施形態の第１の変形例に係る画像処理装置により作成される変更処理後の画像の別の例を示す図。
【図１２】本発明の第１の実施形態の第２の変形例に係る画像処理装置により作成される変更処理後の画像例であり、関心物体の状態に対応した変更処理を示す図。
【図１３】本発明の第１の実施形態の第３の変形例に係る画像処理装置の処理例を示すフローチャート。
【図１４】本発明の第１の実施形態の第３の変形例に係る画像処理装置により作成される変更処理後の画像例を示す図。
【図１５】本発明の第２の実施形態に係る画像処理装置を備えた撮像装置としてのデジタルカメラの構成例を示すブロック図。
【図１６】本発明の第２の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図１７】本発明の第２の実施形態に係る画像処理装置により作成されるエフェクト付加後の画像例を示す図。
【図１８】本発明の第２の実施形態に係る画像処理装置により作成される画像例を示す図であり、関心物体が中央付近にある場合、画像にエフェクトが付加されないことを説明する為の図。
【図１９】本発明の第２の実施形態に係る画像処理装置により作成される別の状況におけるエフェクト付加後の画像例を示す図。
【図２０】本発明の第２の実施形態の第１の変形例に係る画像処理装置により作成されるエフェクト付加後の画像例を示す図。
【図２１】本発明の第２の実施形態の第２の変形例に係る画像処理装置により作成されるエフェクト付加後の画像例を示す図。
【図２２】本発明の第２の実施形態の第２の変形例に係る画像処理装置により作成されるエフェクト付加後の画像の別の例を示す図。
【図２３】本発明の第２の実施形態の第３の変形例に係る画像処理装置により作成されるエフェクト付加後の画像例を示す図。
【図２４】本発明の第２の実施形態の第３の変形例に係る画像処理装置により作成されるエフェクト付加後の画像の別の例を示す図。
【図２５】本発明の第２の実施形態の第３の変形例に係る画像処理装置により作成されるエフェクト付加後の画像の更に別の例を示す図。
【図２６】本発明の第１の実施形態と第２の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図。
【図２７】本発明の第３の実施形態に係る画像処理装置を備えた撮像装置としてのデジタルカメラの構成例を示すブロック図。
【図２８】本発明の第３の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図２９】本発明の第３の実施形態に係る画像処理装置による変形処理前後の画像例を示す図。
【図３０】本発明の第３の実施形態に係る画像処理装置により作成される変形処理後の画像例を示す図であり、関心物体の位置により画像に施す変形処理が異なることを説明する為の図。
【図３１】本発明の第３の実施形態に係る画像処理装置により作成される別の状況における変形処理後の画像例を示す図。
【図３２】本発明の第３の実施形態の第１の変形例に係る画像処理装置による変形処理前後の画像例を示す図。
【図３３】本発明の第３の実施形態の第２の変形例に係る画像処理装置により作成される変形処理後の画像例を示す図。
【図３４】本発明の第１の実施形態と第３の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図。
【図３５】本発明の第２の実施形態と第３の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図。
【図３６】本発明の第１の実施形態と第２の実施形態と第３の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図。
【図３７】本発明の第４の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図３８】本発明の第４の実施形態に係る画像処理装置により作成される変更処理後の画像例を示す図。
【図３９】本発明の第５の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図４０】本発明の第５の実施形態に係る画像処理装置により作成されるエフェクト付加後の画像例を示す図。
【図４１】本発明の第５の実施形態の第１の変形例に係る画像処理装置により作成されるエフェクト付加後の画像例を示す図。
【図４２】本発明の第５の実施形態の第２の変形例に係る画像処理装置により作成されるエフェクト付加後の画像例を示す図。
【図４３】本発明の第５の実施形態の第２の変形例に係る画像処理装置により作成されるエフェクト付加後の画像の別の例を示す図。
【図４４】本発明の第６の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図４５】本発明の第６の実施形態に係る画像処理装置により作成される変形処理後の画像例を示す図。
【図４６】本発明の第７の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図４７】本発明の第７の実施形態に係る画像処理装置により作成される変更処理後の画像例を示す図。
【図４８】本発明の第７の実施形態に係る画像処理装置により作成される変更処理後の画像の別の例を示す図。
【図４９】本発明の第８の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図５０】本発明の第８の実施形態に係る画像処理装置により作成されるエフェクト付加後の画像例を示す図。
【図５１】本発明の第９の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図５２】本発明の第９の実施形態に係る画像処理装置により作成される変形処理後の画像例を示す図。
【図５３】本発明の第１０の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図５４】本発明の第１０の実施形態に係る画像処理装置により作成される変更処理後の画像の例を示す図。
【図５５】本発明の第１１の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図５６】本発明の第１１の実施形態に係る画像処理装置により作成されるエフェクト付加後の画像の例を示す図。
【図５７】本発明の第１０の実施形態と第１１の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図。
【図５８】本発明の第１２の実施形態に係る画像処理装置の処理例を示すフローチャート。
【図５９】本発明の第１２の実施形態に係る画像処理装置により作成される変形処理後の画像の例を示す図。
【図６０】本発明の第１０の実施形態と第１２の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図であり、変更領域を黒色に塗り潰す変更処理も施した例を示す図。
【図６１】本発明の第１０の実施形態と第１２の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図であり、変更領域の輝度を変化させる変更処理も施した例を示す図。
【図６２】本発明の第１０の実施形態と第１２の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図であり、変更領域の輝度を変化させる変更処理も施した例を示す図。
【図６３】本発明の第１０の実施形態と第１２の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図であり、変更領域の解像度を変化させる変更処理も施した例を示す図。
【図６４】本発明の第１０の実施形態と第１２の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図であり、変更領域の先鋭度を変化させる変更処理も施した例を示す図。
【図６５】本発明の第１０の実施形態と第１２の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図であり、変更領域のコントラストを変化させる変更処理も施した例を示す図。
【図６６】本発明の第１１の実施形態と第１２の実施形態とを組み合わせた場合に、画像処理装置により作成される画像例を示す図。
【図６７】本発明の第１３の実施形態に係る画像処理装置を備えた撮像装置としてのデジタルカメラの構成例を示すブロック図。
【図６８】本発明の第１３の実施形態に係るデジタルカメラの別の構成例を示すブロック図。
【図６９】本発明の第１３の実施形態に係るデジタルカメラの更に別の構成例を示すブロック図。
【図７０】本発明の第１４の実施形態に係る画像処理装置を備えた撮像装置としてのデジタルカメラの構成例を示すブロック図。
【図７１】本発明の第１４の実施形態に係るメインコントローラの処理例を示すフローチャート。
【図７２】本発明の第１４の実施形態に係る画像処理装置により作成される変更処理後の画像例を示す図。
【図７３】本発明の第１４の実施形態の変形例に係るメインコントローラの処理例を示すフローチャート。
【図７４】本発明の第１５の実施形態に係る画像処理装置を備えた撮像装置としての内視鏡の構成例を示すブロック図。
【図７５】本発明の第１５の実施形態に係る画像処理装置を備えた撮像装置としての内視鏡の別の構成例を示すブロック図。
【図７６】本発明の第１５の実施形態に係る画像処理装置を備えた撮像装置としての内視鏡の更に別の構成例を示すブロック図。
【図７７】本発明の第１６の実施形態に係る画像処理装置を備えた撮像装置としての顕微鏡の構成例を示すブロック図。
【図７８】本発明の第１６の実施形態に係る画像処理装置を備えた撮像装置としての顕微鏡の別の構成例を示すブロック図。
【図７９】本発明の第１６の実施形態に係る画像処理装置を備えた撮像装置としての顕微鏡の更に別の構成例を示すブロック図。
【発明を実施するための形態】
【００１７】
［第１の実施形態］
まず、本発明の第１の実施形態について図面を参照して説明する。本実施形態は、本発明に係る画像処理装置をデジタルカメラに適用したものである。
本実施形態に係る画像処理装置を備えた撮像装置としてのデジタルカメラの構成を図１に示す。この図に示すように本デジタルカメラは、本実施形態に係る画像処理装置１１０を備える。画像処理装置１１０は、関心物体検出部１１２と、フレームアウト確度判定部１１４と、変更値決定部１１６と、表示画像処理部１１８とを有する。また、本デジタルカメラは、撮像部１２２と、画像信号生成部１２４と、表示部１２６と、メインコントローラ１２８とを備える。なお、特に図示はしていないが、一般的なデジタルカメラと同様の操作部及び記録部等を備えることは勿論である。
【００１８】
撮像部１２２は、図示しないレンズ等によって結像された被写体像を光電変換によって電気信号に変換し、この電気信号をデジタル変換してＲａｗデータを作成する。撮像部１２２は、作成したＲａｗデータを画像信号生成部１２４に出力する。画像信号生成部１２４は、撮像部１２２が作成したＲａｗデータに対して、フルカラー化、色バランス調整、階調調整、ノイズ除去、エッジ強調、増幅等の処理を施し、画像信号（画像データＤ）を生成する。
【００１９】
画像処理装置１１０には、画像信号生成部１２４が生成した画像データＤが入力される。画像処理装置１１０内の関心物体検出部１１２は、画像データＤが表す画像における、関心物体の位置を特定する。ここで、関心物体検出部１１２は、例えば、公知のテンプレートマッチングの技術を用いて関心物体の位置を特定すること、例えば、顔や人物を認識し、関心物体である顔や人物の位置を特定することができる。また、画像中で輪郭を抽出し、その動きベクトルを求めることで、関心物体の位置を追尾することができる。関心物体検出部１１２は、特定した関心物体の位置を、フレームアウト確度判定部１１４に出力する。
【００２０】
フレームアウト確度判定部１１４には、関心物体検出部１１２が特定した関心物体の位置が入力される。フレームアウト確度判定部１１４は、関心物体検出部１１２から入力された関心物体の位置の情報に基づいて、例えば、撮像部１２２が撮像する撮像範囲内であり、表示部１２６が表示する画像の領域である画像範囲から、関心物体がフレームアウトする確度と、フレームアウトする方向を算出する。フレームアウト確度判定部１１４は、算出した関心物体がフレームアウトする確度及び方向を、変更値決定部１１６に出力する。
【００２１】
変更値決定部１１６には、フレームアウト確度判定部１１４から、関心物体が画像範囲からフレームアウトする確度及び方向が入力される。変更値決定部１１６は、フレームアウト確度判定部１１４から入力された関心物体が画像範囲からフレームアウトする確度及び方向に基づいて、表示画像中の変更を施す領域である処理領域と、処理領域に施す変更とを決定する。変更値決定部１１６は、決定した処理領域と処理領域に施す変更とを、表示画像処理部１１８に出力する。
【００２２】
表示画像処理部１１８には、変更値決定部１１６から入力された処理領域と処理領域に施す変更とが入力される。また、表示画像処理部１１８には、画像信号生成部１２４から、画像データＤが入力される。表示画像処理部１１８は、処理領域に変更処理を施し、変更画像データＤ´を作成する。表示画像処理部１１８は、変更画像データＤ´を、表示部１２６に出力する。
【００２３】
表示部１２６は、表示画像処理部１１８から出力された変更画像データＤ´に基づくビデオ信号に従って、ライブビュー表示用の画像を表示する。表示部１２６は、その他操作に係る表示等の各種の画像も表示する。メインコントローラ１２８は、本デジタルカメラの各部と接続しており、各部の制御を行う。
【００２４】
このように、例えば関心物体検出部１１２は、関心位置算出部として機能し、例えばフレームアウト確度判定部１１４は、フレームアウト確度算出部として機能し、例えば変更値決定部１１６は、改変変数決定部及び変更処理決定部として機能し、例えば表示画像処理部１１８は、画像変更部として機能する。また、例えば撮像部１２２及び画像信号生成部１２４は、撮像を実施して画像処理装置に入力する画像信号を生成する撮像部として機能し、例えば表示部１２６は、画像処理装置が生成した表示画像を表示する表示装置として機能する。また、例えば画像データＤは画像信号として機能し、変更画像データＤ´は表示画像として機能する。
【００２５】
次に本実施形態の動作を図面を参照して説明する。まず、本実施形態の動作の概略を説明する。本実施形態では、関心物体を人物とする。画像における当該人物の重心を、関心物体の位置とする。この関心物体の位置に基づいて、本画像処理装置１１０は、表示部１２６に表示させる画像範囲から関心物体がフレームアウトする可能性を判定する。画像処理装置１１０は、関心物体がフレームアウトする可能性の判定を、画像範囲の中心と関心物体の位置との距離に基づいて行う。すなわち、本実施形態では、画像処理装置１１０は、関心物体の重心が画像範囲の中心から離れる程、フレームアウトする確度が高いと判定する。また、本実施形態では、画像処理装置１１０は、画像範囲の中心から関心物体の重心へ向かう方向に、関心物体がフレームアウトする可能性があると判断する。関心物体である人物が、フレームアウトする確度が高いと判定された場合、画像処理装置１１０は、表示画像に変更処理を施す。本実施形態では、変更処理として、画像範囲の中心に対して関心物体の位置と対称な位置の近辺を、黒色に塗り潰す変更処理を行う。
【００２６】
次に各動作について詳細に説明する。まず、撮像部１２２は、図示しないレンズ等によって結像された被写体像を光電変換によって電気信号に変換し、この電気信号をデジタル変換してＲａｗデータを作成する。撮像部１２２は、作成したＲａｗデータを、画像信号生成部１２４に出力する。画像信号生成部１２４は、撮像部１２２から入力されたＲａｗデータに対して、フルカラー化、色バランス調整、階調調整、ノイズ除去、エッジ強調、増幅等の処理を施し、画像信号（画像データＤ）を生成する。画像信号生成部１２４は、生成した画像データＤを、画像処理装置１１０に出力する。
【００２７】
画像処理装置１１０の処理を、図２に示すフローチャートを参照して説明する。関心物体検出部１１２は、ステップＳ１０１において、画像信号生成部１２４が作成した画像データＤが入力され、当該画像データＤが表す画像における、注目する被写体である関心物体の位置を特定する。本実施形態では、関心物体は人物であるので、関心物体検出部１１２は、公知のテンプレートマッチングの手法を用いて、人物を認識する。関心物体検出部１１２は、画像中における当該人物の重心を、関心物体の位置として特定する。関心物体検出部１１２は、特定した関心物体の位置を、フレームアウト確度判定部１１４に出力する。
【００２８】
フレームアウト確度判定部１１４は、ステップＳ１０２において関心物体検出部１１２が特定した関心物体の位置に基づいて、画像データＤが表す画像における、表示部１２６が表示する画像の領域である画像範囲の中心と関心物体の重心との距離を算出する。
【００２９】
フレームアウト確度判定部１１４は、ステップＳ１０３において、画像範囲の中心と関心物体の重心との距離が所定の値以下であるか否かを判定する。画像範囲の中心と関心物体の重心との距離が所定の値以下である場合、フレームアウト確度判定部１１４は、フレームアウトしないと判定し、その判定結果を変更値決定部１１６に出力する。ステップＳ１０４において、変更値決定部１１６は、その判定結果に従って、入力された画像データＤに変更処理を施さない決定をする。この決定を受けて、表示画像処理部１１８は、画像データＤをそのまま変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【００３０】
一方、ステップＳ１０３において、画像範囲の中心と関心物体の重心との距離が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、画像範囲の中心と関心物体の重心との距離、及び関心物体の位置を、変更値決定部１１６に出力する。変更値決定部１１６は、ステップＳ１０５において、表示画像を黒色に塗り潰す領域である処理領域を決定する。ここで、処理領域は、表示画像の中心に対して、関心物体の位置と対称な位置と関連付けられた領域とする。また、処理領域の面積は、画像範囲の中心と関心物体の重心との距離が離れている程大きくする。変更値決定部１１６は、決定した処理領域と、変更処理が黒色に塗り潰すことであることとを、表示画像処理部１１８に出力する。このように、例えば画像範囲の中心と関心物体の重心との距離は、関心物体が画像範囲から外れる確度を表すフレームアウト確度として機能する。
【００３１】
表示画像処理部１１８は、ステップＳ１０６において、入力された画像データＤに対して、表示画像中の変更値決定部１１６が算出した処理領域内を黒色に塗り潰すように、画像に変更処理を施す。表示画像処理部１１８は、変更処理後の画像のデータである変更画像データＤ´を、表示部１２６に出力する。
表示部１２６は、表示画像処理部１１８から入力された変更画像データＤ´に基づいて、変更処理後の画像を表示する。
【００３２】
変更処理後の画像例を図３に示す。図３に示す画像では、関心物体ＯＩである人物は、表示領域ＤＡの左端に偏っている。関心物体ＯＩと、表示領域ＤＡ、すなわち画像範囲の中心との距離は、所定の値より大きい。このとき、画像範囲の中心に対して関心物体ＯＩと対称な位置である、表示領域ＤＡの右側に、関心物体ＯＩと表示画像の中心との距離に応じた処理領域ＰＲが設定され、処理領域ＰＲが黒色に塗り潰される変更が施されている。この処理領域ＰＲは、前記のとおり、画像範囲の中心と関心物体ＯＩの重心との距離が離れている程大きく設定される。したがって、関心物体ＯＩが、図３の場合よりも画像範囲の中心に近い場合は、例えば図４に示すように、処理領域ＰＲは狭くなる。
【００３３】
例えば、ユーザが当該デジタルカメラを、関心物体ＯＩが表示画面の中心となるように向けなおすと、関心物体ＯＩと表示画像の中心との距離は、所定の値以下となる。その結果、表示画像処理部１１８は、ステップＳ１０４において、入力された画像データに変更処理を施さずに、表示部１２６に出力する。このとき、表示部１２６には、例えば図５に示すような、黒色に塗り潰された部分がない画像が表示される。
【００３４】
ユーザが本デジタルカメラを構えて表示部１２６を観察しながら、フレーミングを確認している状況を考える。上記のように本実施形態によれば、例えば人物など、関心物体が表示領域の端に偏ると、表示部１２６には、表示領域の関心物体と反対側が黒色に変更された画像が表示される。このような黒色に変更される部分を有する画像を観察しているユーザは、黒色に変更されている部分をなくすように、関心物体側に本デジタルカメラをパンする。その結果、表示部１２６に表示されている画像は、変更処理が加えられていない状態になる。
【００３５】
このように、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。この際、表示部１２６に表示される撮像画像に変更処理を施した表示画像によって、当該デジタルカメラを向ける向きが示されるので、ユーザは、表示部１２６以外に視点を向ける必要は無い。また、表示部１２６に表示される画像が煩雑になることもない。すなわち、ユーザは、表示部を注視しながら撮影が出来る。なお、ここで表示される表示画像は、関心物体がフレームアウトするか否かを予測した結果を示している。したがって、本実施形態によれば、関心物体がフレームアウトすることが未然に防がれる。
【００３６】
なお、本実施形態の説明では、関心物体の全体が表示画像範囲内にある状態を説明したが、例えば図６に示すように、関心物体ＯＩが表示領域ＤＡの内側になくてもよい。すなわち、関心物体検出部１１２が表示部１２６に表示する画像範囲の外部まで関心物体の位置を特定することができる場合、本画像処理装置１１０は、表示画像範囲外の関心物体の位置に応じて同様の処理を行うことができる。表示部１２６に表示させる領域よりも、撮像部１２２で取得する画像の範囲の方が広い場合などが、この場合に該当する。すなわち、関心物体の全体が表示画像範囲内になくとも、関心物体の全体が撮像部１２２で取得する画像の範囲に収まっている場合、関心物体検出部１１２は、前記と同様に、関心物体の位置を特定することができる。また、関心物体検出部１１２が、画像データＤに関心物体の一部が含まれていれば、関心物体を追尾し、その位置を特定できる場合などが、この場合に該当する。また、上記のように、関心物体が画像範囲外に出た場合に、図７に示すように、処理領域ＰＲの形状によって、関心物体ＯＩの位置を指示するようにしてもよい。
【００３７】
また、本実施形態の説明では、関心物体検出部１１２には、画像信号生成部１２４によって処理された画像信号（画像データＤ）が入力される構成として説明したが、撮像部１２２から出力されたＲａｗデータをそのまま画像信号として関心物体検出部１１２が入力されてもよい。この場合、関心物体検出部１１２は、当該Ｒａｗデータに基づいて関心物体の位置を特定するように構成されてもよい。
【００３８】
また、本実施形態では、画像範囲と関心物体の位置との位置関係を求める基準として、画像範囲の中心を利用しているが、中心に限らず、その他の部分を基準としてもよい。例えば、画像範囲の中心を含む四角形を規定し、当該四角形の各辺を基準として、対象物体との距離を算出してもよい。また、画像範囲の中心を含む円を規定し、当該円の円周を基準として、対象物体との距離を算出してもよい。また、対象物体の位置を対象物体の重心の位置としたが、これに限らない。例えば、対象物体が人物であるときは、顔の位置を対象物体の位置としたり、画像における人物の縁を対象物の位置としたり、その他どのような基準を位置として設けてもよい。また、関心物体は、人物に限らず動物、乗り物等その他のものでも勿論よい。また、本実施形態の説明では、関心物体検出部１１２が関心物体を検出する方法として、テンプレートマッチングを例に挙げたが、画像中から関心物体を抽出できる方法ならば、どの様な方法でもよい。
【００３９】
また、本実施形態では、処理領域の塗り潰しの色は、黒色としたが、白色やその他の色でもよいことは勿論である。また、ステップＳ１０３の判定において用いる所定の値を０として、変更処理を施すか施さないかの判定に閾値を設けない構成としてもよい。
【００４０】
［第１の実施形態の第１の変形例］
本発明の第１の実施形態の第１の変形例について説明する。ここで本変形例の説明では、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態においては、図３に示すように、ステップＳ１０６において表示画像処理部１１８が加える画像の変更は、変更値決定部１１６が算出した処理領域内を黒色に塗り潰す変更である。これに対して本変形例では、処理領域内にその他の変更を施す。
【００４１】
例えば、本変形例の一例としては、図８に示すように、表示画像における処理領域ＰＲの輝度を所定量低下させる。また、本変形例の別の一例としては、図９に示すように、処理領域ＰＲの解像度を所定量低下させる。解像度を低下させるためには、例えば、隣り合う４個の画素値を平均してその値を当該４画素の画素値に割当てる等すればよい。また、本変形例の別の一例としては、図１０に示すように、処理領域ＰＲの鮮鋭度を所定量低下させる。先鋭度を低下させるためには、例えば、ローパスフィルタの強さを変更するぼかし処理等を行えばよい。また、本変形例の別の一例としては、図１１に示すように、処理領域ＰＲのコントラストを所定量低下させる。コントラストを低下させるためには、例えば高輝度信号と低輝度信号との差を減少させればよい。また、本変形例の別の一例としては、彩度を所定量低下させ、グレーに近づけた表示にする。また、本変形例の別の一例としては、色相を所定量変化させる。
【００４２】
上記の通り、表示画像に施す変更の種類としては、輝度の低下、解像度の低下、鮮鋭度の低下、コントラストの低下、彩度の低下、色相の変化など、様々な可能性がある。用いる変更の種類は、予め決めておいてもよいし、例えばユーザから入力された変更の種類を用いるように構成してもよい。また、所定の判定基準に基づいて、変更の種類を変更値決定部１１６が決定するように構成してもよい。
【００４３】
本変形例では、ステップＳ１０５において、変更値決定部１１６は、第１の実施形態の場合と同様に、処理領域を算出する。変更値決定部１１６は、算出した処理領域を、表示画像処理部１１８に出力する。また、変更値決定部１１６は、第１の実施形態においては変更処理が黒色に塗り潰すことであることを出力するが、これに代えて、変更の種類と、例えば予め決められている輝度の低下量などの変更量とを、表示画像処理部１１８に出力する。ステップＳ１０６において、表示画像処理部１１８は、変更値決定部１１６から入力された処理領域、変更の種類及び変更量に基づいて、表示画像に変更処理を施す。例えば、ステップＳ１０６において、表示画像処理部１１８は、処理領域内の輝度を変更量だけ低下させる処理を実施する。ステップＳ１０５における変更値決定部１１６による処理、及びステップＳ１０６における表示画像処理部１１８による処理以外の処理は、第１の実施形態の処理と同様である。
【００４４】
本変形例によっても、関心物体が画像範囲の中心から遠ざかると、表示領域の画像が変更される。その結果、本デジタルカメラを構えて、表示部１２６を観察しながらフレーミングを確認しているユーザは、画像が変更されている部分をなくすように、関心物体が表示領域の中心に来る方向に、画像処理装置１１０を有する本デジタルカメラをパンする。その結果、表示部１２６に表示されている画像は、変更処理が加えられていない状態になる。以上のとおり、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。
【００４５】
なお、輝度、解像度、先鋭度、コントラスト、彩度、色相などは、画像に施す変更処理の一例であって、これ以外でもよい。また、輝度、解像度、先鋭度、コントラスト、彩度は、低下させずに、上昇させてもよい。また、処理領域内の輝度等の変更は、均一でなくともよい。例えば、場所によって変更度合いが異なる、グラデーション状の変更を画像に施してもよい。
【００４６】
更に、変化の種類は、上記の１種類に限らず、２種以上の組み合わせてもよい。すなわち、例えば処理領域内の輝度を低下させつつ解像度も低下させてもよい。このように、輝度、解像度、先鋭度、コントラスト、彩度及び色相等のうち、任意の２つ以上を、同時に変化させることもできる。
【００４７】
［第１の実施形態の第２の変形例］
本発明の第１の実施形態の第２の変形例について説明する。ここで本変形例の説明では、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態において、変更値決定部１１６は、ステップＳ１０５における表示画像を黒色に塗り潰す処理領域を決定するに際して、処理領域を、表示画像の中心に対して、関心物体と対称な位置と関連付けられた領域として決定している。これに対して本変形例では、処理領域を、関心物体からの距離が一定となるように決定する。
【００４８】
本変形例では、変更値決定部１１６は、例えば図１２に示すように、関心物体ＯＩである人物の重心から処理領域ＰＲの縁までの距離が、所定の距離ｄｉｓ＿１で一定となるように、処理領域を決定する。ステップＳ１０５における変更値決定部１１６の処理領域の決定の動作以外の動作は、第１の実施形態のそれと同様である。
本変形例によっても、第１の実施形態及びその第１の変形例と同様の効果を得ることができる。
【００４９】
また、本変形例と、第１の実施形態の第１の変形例を組み合わせることもできる。すなわち、本変形例のように、ステップＳ１０５において、フレームアウト確度判定部１１４が関心物体からの距離に基づいて決定した処理領域において、第１の変形例と同様に、輝度を低下又は上昇させたり、解像度を低下又は上昇させたり、先鋭度を低下又は上昇させたり、コントラストを低下又は上昇させたり、彩度を低下又は上昇させたり、色相を変化させたりしてもよいし、それらを組み合わせてもよい。
【００５０】
［第１の実施形態の第３の変形例］
本発明の第１の実施形態の第３の変形例について説明する。ここで本変形例の説明では、第１の実施形態の第１の変形例との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態の第１の変形例においては、変更値決定部１１６は、ステップＳ１０５において、画像範囲の中心に対する関心物体の位置に応じて、処理領域を算出している。表示画像処理部１１８は、ステップＳ１０６において、処理領域内の輝度、解像度、先鋭度、コントラスト、彩度、又は色相を、変更値決定部１１６が決定した所定量だけ変更している。これに対して本実施形態では、変更値決定部１１６は、処理領域の面積は一定とし、処理領域内の輝度、解像度、先鋭度、コントラスト、彩度、又は色相の変更量を、画像範囲の中心に対する関心物体の位置に応じて、変化させる。
【００５１】
ここでは、処理領域内の輝度を変化させる場合を例に挙げて説明する。本変形例において、画像処理装置１１０の動作は、図１３に示すフローチャートのようになる。ここで、ステップＳ２０１からステップＳ２０４の処理は、図２を参照して説明した第１の実施形態及びその第１の変形例におけるステップＳ１０１からステップＳ１０４の処理とそれぞれ同じである。
【００５２】
本変形例では、ステップＳ２０３で、所定値以下でないと判定した場合、変更値決定部１１６は、ステップＳ２０５において、画像範囲の中心に対する関心物体の位置に応じて、輝度低下量を算出する。例えば本変形例では、画像範囲の中心から関心物体の重心までの距離が遠い程、輝度低下量を大きくする。変更値決定部１１６は、算出した輝度低下量を、表示画像処理部１１８に出力する。処理領域は、表示画像の中心に対して、関心物体の位置と対称な位置と関連付けられた領域とし、その面積は、所定の値とする。変更値決定部１１６は、決定した処理領域も、表示画像処理部１１８に出力する。
【００５３】
表示画像処理部１１８は、ステップＳ２０６において、画像データＤが表す画像における、変更値決定部１１６から入力された処理領域に対して、変更値決定部１１６から入力された輝度低下量だけ、輝度を低下させる処理を行う。表示画像処理部１１８は、処理領域の輝度を低下させた変更画像データＤ´を表示部１２６に出力する。
【００５４】
上記の動作により、例えば、表示部１２６には、図１４に示す様な画像が表示される。すなわち、関心物体ＯＩが、表示領域ＤＡの中心に近い程、図１４（ａ）に示すように、処理領域ＰＲの輝度の低下は小さい。一方、関心物体ＯＩが、表示領域の中心から遠く離れる程、図１４（ｂ）に示すように、処理領域ＰＲの輝度は大きく低下し、暗く表示される。
【００５５】
本変形例の説明では、処理領域の輝度を低下させる例を示したが、輝度を上昇させてもよい。また同様に、解像度、先鋭度、コントラスト、彩度、又は色相を変更させてもよい。また、それらを組み合わせてもよい。
【００５６】
本変形例によっても、関心物体が表示領域の中心から遠ざかると、処理領域の画像が変更され、例えばその画像の輝度が低下する。その結果、本デジタルカメラを構えて表示部１２６を観察しながらフレーミングを確認しているユーザは、画像の変更が弱くなるように、関心物体が表示領域の中心に来る方向に本デジタルカメラをパンする。関心物体が表示領域の中心に近づけば、表示部１２６に表示されている画像は、変更処理が加えられていない状態になる。以上のとおり、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。
【００５７】
［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラには、その構成を図１５に示すように、変更値決定部１１６の代わりに、エフェクト決定部１１５が設けられている。その他の構成は、第１の実施形態の場合と同様である。このエフェクト決定部１１５は、例えば改変変数決定部である加工決定部として機能し、関心被写体の位置に関連する領域に施す画像の加工、すなわち、画像に付加するエフェクトに関する情報を決定する。
【００５８】
以下、第１の実施形態と異なる構成について説明する。フレームアウト確度判定部１１４には、関心物体検出部１１２が特定した関心物体の位置が入力される。フレームアウト確度判定部１１４は、関心物体検出部１１２から入力された関心物体の位置の情報に基づいて、例えば、撮像部１２２が撮像する撮像範囲内であり、表示部１２６が表示する画像の領域である画像範囲から、関心物体がフレームアウトする確度を算出する。フレームアウト確度判定部１１４は、算出した関心物体がフレームアウトする確度を、エフェクト決定部１１５に出力する。
【００５９】
エフェクト決定部１１５には、フレームアウト確度判定部１１４から、関心物体が画像範囲からフレームアウトする確度が入力される。エフェクト決定部１１５は、フレームアウト確度判定部１１４から入力された関心物体が画像範囲からフレームアウトする確度に基づいて、ユーザに関心物体が画像範囲からフレームアウトする可能性があることを認識させるための画像の加工、すなわち、画像に付加するエフェクトを決定する。エフェクト決定部１１５は、決定したエフェクトの情報を、表示画像処理部１１８に出力する。
【００６０】
表示画像処理部１１８には、エフェクト決定部１１５から、決定されたエフェクトの情報が入力される。また、表示画像処理部１１８には、画像信号生成部１２４から、画像データＤが入力される。表示画像処理部１１８は、画像データＤに基づく画像に前記エフェクトを付加し、変更画像データＤ´を作成する。表示画像処理部１１８は、変更画像データＤ´を、表示部１２６に出力する。
【００６１】
このように、例えばエフェクト決定部１１５は、画像信号に基づく画像における関心物体の代表点の周囲に変更領域を設定し、該変更領域に対して行う画像の加工を決定する加工決定部として機能する。また、例えばエフェクト決定部１１５は、画像信号に基づく画像に施す改変処理の処理変数を決定する改変変数決定部として機能する。
【００６２】
本実施形態の動作の概略を説明する。本実施形態でも、第１の実施形態と同様に、例として関心物体を人物とし、画像における関心物体である人物の重心を、関心物体の位置とする。この関心物体の位置に基づいて、画像処理装置１１０は、表示部１２６に表示させる画像範囲から関心物体がフレームアウトする可能性を判定する。画像処理装置１１０は、関心物体がフレームアウトする可能性の判定を、画像範囲の中心と関心物体の位置との距離に基づいて行う。画像範囲の中心と関心物体の位置との距離が大きく、関心物体である人物が、フレームアウトする確度が高いと判定された場合、画像処理装置１１０は、表示画像にエフェクトを付加する。本実施形態では、例として、エフェクトは、関心物体の重心座標を中心として関心物体を囲む楕円線とする。より具体的には、当該画像において、前記楕円線に相当する画素の輝度や彩度を変更したり、前記楕円線に相当する画素を所定の色に変換したりして、変更画像データＤ´を作成する。また予め用意された前記楕円線に相当するテンプレート画像を、その中心が関心物体の重心座標と一致するように重畳してもよい。
【００６３】
各動作について詳細に説明する。第１の実施形態の場合と同様に、撮像部１２２は、被写体像を光電変換によって電気信号に変換し、この電気信号をデジタル変換してＲａｗデータを作成し、そのデータを画像信号生成部１２４に出力する。画像信号生成部１２４は、撮像部１２２から入力されたＲａｗデータより、画像信号（画像データＤ）を生成し、その画像データＤを画像処理装置１１０に出力する。
【００６４】
画像処理装置１１０の処理を、図１６に示すフローチャートを参照して説明する。ここでステップＳ３０１乃至ステップＳ３０３の処理は、図２を参照して説明した第１の実施形態におけるステップＳ１０１乃至ステップＳ１０３とそれぞれ同様である。
【００６５】
ステップＳ３０３において、フレームアウト確度判定部１１４が画像範囲の中心と関心物体の重心との距離が所定の値以下であると判定した場合、ステップＳ３０４において、エフェクト決定部１１５は、その判定結果に従って、入力された画像データＤにエフェクトを付加しない決定をする。この決定を受けて、表示画像処理部１１８は、画像データＤをそのまま変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【００６６】
ステップＳ３０３において、画像範囲の中心と関心物体の重心との距離が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトすると判定し、その旨をエフェクト決定部１１５に出力する。エフェクト決定部１１５は、その判定結果を受けて、ステップＳ３０５において、表示画像にエフェクトを付加することを決定する。ここで、エフェクトは、関心物体の重心座標を中心として関心物体を囲む楕円線とする。エフェクト決定部１１５は、エフェクトを付加することと、付加するエフェクトである楕円線の情報とを、表示画像処理部１１８に出力する。このように、例えば画像範囲の中心と関心物体の重心との距離は、関心物体が画像範囲から外れる確度を表すフレームアウト確度として機能する。
【００６７】
表示画像処理部１１８は、ステップＳ３０６において、入力された画像データＤに対して、エフェクト決定部１１５から入力された情報に基づいて、エフェクトを付加して、変更画像データＤ´を作成する。表示画像処理部１１８は、作成した変更画像データＤ´を、表示部１２６に出力する。
表示部１２６は、表示画像処理部１１８から入力された変更画像データＤ´に基づいて、エフェクトを付加した画像を表示する。
【００６８】
エフェクトを付加した画像例を図１７に示す。図１７に示す画像では、関心物体ＯＩである人物は、表示部１２６の表示領域ＤＡの左端に偏っている。関心物体ＯＩの重心と表示領域ＤＡ、すなわち画像範囲の中心との距離は、所定の値より大きい。このとき、関心物体ＯＩの重心座標を中心として関心物体ＯＩを囲む楕円線であるエフェクトＥＦが付加される。図１７に示す例では、エフェクトＥＦは、３本の黒い楕円線であり、その真中の線は、他の線よりも太くなっている。すなわち、ステップＳ３０５において、エフェクト決定部１１５は、上記の様な楕円線に相当する画素を変更領域として特定し、その画素を黒くするという情報を、表示画像処理部１１８に出力する。楕円線は黒色と前記したが、他の色でも勿論よいし、画像データＤの情報を一部残した状態で変更する、いわゆる半透明状の効果を表示するようにしても勿論よい。このように、エフェクト決定部１１５は、楕円線に相当する画素、すなわち画像における変更領域を設定し、この変更領域に対して行う、例えば黒色に変更する等の加工を決定する。
【００６９】
例えば、ユーザが当該デジタルカメラを、関心物体ＯＩが表示領域ＤＡの中心に位置するように向けなおすと、関心物体ＯＩの重心と表示領域ＤＡの中心との距離は、所定の値以下となる。その結果、表示画像処理部１１８は、ステップＳ３０４において、入力された画像データにエフェクトを付加せずに、画像データを表示部１２６に出力する。このとき、表示部１２６の表示領域ＤＡには、例えば図１８に示すような、エフェクトが付加されていない画像が表示される。
【００７０】
ユーザが本デジタルカメラを構えて表示部１２６を観察しながら、フレーミングを確認している状況を考える。上記のように本実施形態によれば、例えば人物など、関心物体が表示領域の端に偏ると、表示部１２６には、関心物体の周囲に楕円が表示される。このような関心物体が楕円によって強調された画像を観察しているユーザは、関心物体側に本デジタルカメラをパンすることができる。その結果、表示部１２６に表示されている画像は、楕円が表示されていない状態になる。
【００７１】
このように、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。この際、表示部１２６に表示される撮像画像にエフェクトが付加された表示画像によって、関心物体がフレームアウトする可能性があることを示されるので、ユーザは、表示部１２６以外に視点を向ける必要はない。例えば、様々な被写体が画像範囲内に存在し、ユーザが関心物体に注意を払いにくい場合などでは、関心物体が画像範囲の端に位置すると関心物体がエフェクトによって強調され、ユーザの注意が関心物体に向くという効果もある。なお、ここで表示される表示画像は、関心物体がフレームアウトするか否かを予測した結果を示している。したがって、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体がフレームアウトすることを未然に防ぐことができる。
【００７２】
第１の実施形態において図６及び図７を参照して説明した状況と同様に、関心物体ＯＩの一部しか表示領域ＤＡ、すなわち画像範囲の範囲内にない状態でも、本実施形態に係る画像処理装置１１０が機能するように構成されてもよい。この状態では、例えば図１９に示すように、エフェクトＥＦは、その一部のみが表示領域ＤＡに表示される。関心物体検出部１１２が画像範囲の外部まで関心物体の位置を特定することができる場合、本画像処理装置１１０は、画像範囲外の関心物体の位置に応じて同様の処理を行うことができる。また、第１の実施形態の場合と同様に、撮像部１２２から出力されたＲａｗデータがそのまま画像信号として関心物体検出部１１２に入力され、関心物体検出部１１２は、当該Ｒａｗデータに基づいて関心物体の位置を特定するように構成されてもよい。また、本実施形態では、画像範囲と関心物体の位置との位置関係を求める基準として、画像範囲の中心を利用しているが、中心に限らず、その他の部分を基準としてもよい。また、本実施形態では、フレームアウトする確度については、所定値以下か否か、すなわち、２値化しているが、閾値を２つ以上設けて、３つ以上の条件分けによって、それぞれの場合に、異なるエフェクトを加えるように構成してもよい。
【００７３】
［第２の実施形態の第１の変形例］
本発明の第２の実施形態の第１の変形例について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第２の実施形態においては、関心物体の重心と、画像範囲の中心との距離に基づいてエフェクトが付加されている。これに対して本変形例では、関心物体の重心と画像範囲の中心との距離に加えて、画像範囲の中心に対する関心物体の重心の方向に基づいてエフェクトが付加される。例えば、本変形例の一例として、図２０に示すように、エフェクトＥＦである楕円の長軸は、関心物体ＯＩの重心と画像範囲（表示領域ＤＡ）の中心とを結ぶ線と一致する。
【００７４】
上記のようにエフェクトである楕円の長軸を、関心物体の重心と画像範囲の中心とを結ぶ線と一致させるため、本変形例では、以下のように処理が行われる。ステップＳ３０３の判定において、画像範囲の中心と関心物体の重心との距離が所定の値以下でない場合、フレームアウト確度判定部１１４は、フレームアウトするという判定結果をエフェクト決定部１１５に出力する。フレームアウト確度判定部１１４は、さらに、関心物体の位置をエフェクト決定部１１５に出力する。
【００７５】
エフェクト決定部１１５は、ステップＳ３０５において、表示画像にエフェクトを付加することを決定する。また、エフェクト決定部１１５は、エフェクトである楕円を次のように決定する。エフェクトの楕円の長軸を、関心物体と画像範囲の中心とを結ぶ線と一致させる。ステップＳ３０５においてエフェクト決定部１１５は、このように決定したエフェクトに関する情報を、表示画像処理部１１８に出力する。
【００７６】
表示画像処理部１１８は、ステップＳ３０６において、入力された画像データＤに対して、エフェクト決定部１１５から入力された情報に基づいて、その長軸が関心物体の重心と画像範囲の中心とを結ぶ線と一致させた楕円のエフェクトを付加する。表示画像処理部１１８は、エフェクトを付加した画像のデータである変更画像データＤ´を、表示部１２６に出力する。その他の処理は、第１の実施形態の処理と同様である。
【００７７】
本変形例によっても、関心物体が表示領域ＤＡの端に偏ると、表示部１２６には、関心物体ＯＩの周囲に楕円がエフェクトＥＦとして表示される。また、この楕円は、画像範囲の中心を指し示している。したがって、関心物体がこのような楕円によって強調された画像を観察しているユーザは、関心物体が画像範囲の中心に対してどの方向にずれているかを認識することができる。その結果、ユーザは、関心物体が画像範囲の中心に移動するように本デジタルカメラをパンすることができる。このように、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。
【００７８】
［第２の実施形態の第２の変形例］
本発明の第２の実施形態の第２の変形例について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第２の実施形態において、表示画像に付加するエフェクトは、楕円である。これに対して本変形例では、関心物体の形状に応じた線のエフェクトを付加する。例えば、本変形例の一例としては、図２１に示すように、関心物体ＯＩの周囲に、関心物体ＯＩの輪郭線と平行な線及び／又は輪郭線に沿った線をエフェクトＥＦとして表示させる。
【００７９】
上記のような線のエフェクトを表示させるため、関心物体検出部１１２は、図１５に示すように、輪郭抽出部１１２２を有する。この輪郭抽出部１１２２は、画像データＤが表す画像における関心物体の輪郭を抽出する。関心物体検出部１１２は、検出した関心物体の位置、又は輪郭抽出部１１２２で抽出した輪郭の時系列変化に基づいて、フレーム間でのその輪郭の動きベクトルを求めることで、関心物体の位置を追尾することができるように構成されてもよい。このように、例えば輪郭抽出部１１２２は、関心物体の輪郭を抽出する輪郭抽出部として機能する。
【００８０】
本変形例では、画像処理装置１１０は、以下のように処理を行う。ステップＳ３０１において、関心物体検出部１１２は、画像データＤが表す画像における、関心物体の位置を特定する。さらに、関心物体検出部１１２内の輪郭抽出部１１２２は、公知のエッジ抽出に係る技術を用いてその関心物体の輪郭を抽出する。関心物体検出部１１２は、特定した関心物体の位置と輪郭とを、フレームアウト確度判定部１１４に出力する。
【００８１】
ステップＳ３０３において、画像範囲の中心と関心物体の重心との距離が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトするという判定結果をエフェクト決定部１１５に出力する。さらに、フレームアウト確度判定部１１４は、関心物体の輪郭の情報を、エフェクト決定部１１５に出力する。エフェクト決定部１１５は、ステップＳ３０５において、表示画像にエフェクトを付加することを決定する。ここで、エフェクトは、関心物体の周囲に位置する、複数の関心物体の輪郭線と平行な線及び／又は輪郭線に沿った線とする。エフェクト決定部１１５は、エフェクトを付加することと、付加するエフェクトである複数の線の情報とを、表示画像処理部１１８に出力する。
【００８２】
表示画像処理部１１８は、ステップＳ３０６において、入力された画像データＤに対して、エフェクト決定部１１５から入力されたエフェクトを付加する。表示画像処理部１１８は、エフェクトを付加した画像のデータである変更画像データＤ´を、表示部１２６に出力する。その他の処理は、第１の実施形態の処理と同様である。
【００８３】
本変形例によっても、関心物体が表示領域の端に偏ると、表示部１２６には、関心物体の周囲に、その輪郭線と平行な線及び／又は輪郭線に沿った線が表示される。したがって、関心物体がこのように強調された画像を観察しているユーザは、関心物体が画像範囲の中心に移動するように本デジタルカメラをパンすることができる。本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。
【００８４】
なお、関心物体の周囲に表示される関心物体の輪郭線と平行な線及び／又は輪郭線に沿った線であるエフェクトは、時間的に変化するものでもよい。図２２に、関心物体ＯＩの周囲のエフェクトＥＦが周期的に強弱を変化させる場合の例を模式的に示す。このようなエフェクトの時間的に変化は、本変形例に限らず、楕円やその他の形状等のエフェクトでも同様に用いることができる。このようにエフェクトを時間的に変化させると、関心物体の位置がより強調され、ユーザの注意がより向きやすいという効果がある。
【００８５】
［第２の実施形態の第３の変形例］
本発明の第２の実施形態の第３の変形例について説明する。ここでは、第２の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第２の実施形態においては、表示画像に付加するエフェクトは、関心物体の位置が画像範囲の中心から所定値以上離れているときは、関心物体の位置に関わらず同一である。これに対して本変形例では、関心物体の位置と画像範囲の中心との距離に応じて、エフェクトの楕円の面積が変化する。本変形例によって表示される画像の例を、図２３に示す。図２３（ａ）に示すように、関心物体ＯＩの位置が比較的画像範囲（表示領域ＤＡ）の中心に近いときは、エフェクトＥＦの楕円の面積は比較的小さく設定され、図２３（ｂ）に示すように、関心物体ＯＩの位置が比較的画像範囲の中心から遠いときは、エフェクトＥＦの楕円の面積は、比較的大きく設定される。言い換えると、エフェクトＥＦである楕円によって囲まれる部分の面積が、図２３（ａ）では小さく、図２３（ｂ）では大きい。
【００８６】
上記のような関心物体の位置と画像範囲の中心との距離に応じて面積が変化するエフェクトを表示させるため、本変形例では、以下のように処理する。ステップＳ３０３において、関心物体の重心と画像範囲の中心との距離が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトするという判定結果と、関心物体の重心と画像範囲の中心との距離とをエフェクト決定部１１５に出力する。
【００８７】
エフェクト決定部１１５は、ステップＳ３０５において、表示画像にエフェクトを付加することを決定する。ここで、エフェクトは、関心物体の重心座標を中心として関心物体を囲む楕円線とする。その楕円によって囲まれる部分の面積は、画像範囲の中心と関心物体の重心との距離が大きい程、大きい。エフェクト決定部１１５は、エフェクトを付加することと、付加するエフェクトである楕円線の情報とを、表示画像処理部１１８に出力する。
【００８８】
表示画像処理部１１８は、ステップＳ３０６において、入力された画像データＤに対して、エフェクト決定部１１５から入力されたエフェクトを付加する。表示画像処理部１１８は、エフェクトを付加した画像のデータである変更画像データＤ´を、表示部１２６に出力する。その他の処理は、第１の実施形態の処理と同様である。
【００８９】
本変形例によっても、関心物体が表示領域の端に偏ると、表示部１２６には、関心物体の周囲に楕円が表示される。このような関心物体が楕円によって強調された画像を観察しているユーザは、関心物体が画像範囲の中心に移動するように本デジタルカメラをパンすることができる。ここで、この楕円によって囲まれる部分の面積は、画像範囲の中心から関心物体の重心までの距離を示している。画像範囲の中心から関心物体の重心までの距離が大きい程、関心物体がフレームアウトする確率は大きい。したがって、楕円によって囲まれる部分の面積によって、画像範囲の中心から関心物体の重心がどれほど離れているか、すなわち関心物体がフレームアウトする確率がどれほど高いかを、ユーザは直感的に知ることが出来る。このように、本変形例によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。なお、楕円の大きさは、距離に応じて線形に変化させてもよいし、所定距離毎に段階的に変化させてもよいし、連続的かつ非線形に変化させてもよい。
【００９０】
また、関心物体の位置と画像範囲の中心との距離に応じて、エフェクトの楕円によって囲まれる部分の面積を変化させるのではなく、エフェクトのパターンを変化させてもよい。例えば、エフェクトの線の太さや種類を変えてもよい。エフェクトの線の太さと種類を変化させる例を図２４に示す。この例では、図２４（ａ）に示すように、関心物体ＯＩの位置が比較的画像範囲の中心に近いときは、エフェクトＥＦの楕円の線を比較的細く、図２４（ｂ）に示すように、関心物体ＯＩの位置が比較的画像範囲の中心から遠いときは、エフェクトＥＦの楕円の線を比較的太い。言い換えると、楕円線に相当する画素、すなわち、画像を変更させる変更領域の面積が、図２４（ａ）では小さく、図２４（ｂ）では大きい。
【００９１】
また、楕円線の太さや種類等を変化させるのではなく、線の色や濃さを変化させてもよい。すなわち、エフェクト決定部１１５は、例えば所定の楕円線に相当する画素を決定し、その画素について、関心物体の位置が比較的画像範囲の中心に近いときは、例えば薄い色とする加工を行うことを決定し、関心物体の位置が比較的画像範囲の中心から遠いときは、濃い色とする加工を行うことを決定する。言い換えると、エフェクト決定部１１５は、関心物体の位置と画像範囲の中心との距離に応じて、加工の程度を変化させる。また、関心物体の位置と画像範囲の中心との距離に応じて、線の太さと線の色や濃さとが共に変更されてもよい。上記のような線の太さや種類と色や濃さをまとめて、以降線のパターンと称する。
【００９２】
また、図２５に一例を示すように、関心物体ＯＩの位置と画像範囲の中心との距離に応じて、エフェクトＥＦの楕円によって囲まれる部分の面積と線のパターンとの両者を変化させてもよい。図２５（ａ）に示すように、関心物体ＯＩの位置が比較的画像範囲の中心に近いときは、エフェクトＥＦの楕円によって囲まれる部分の面積は比較的小さく、かつ線の太さ及び種類は比較的細い。図２５（ｂ）に示すように、関心物体ＯＩの位置が比較的画像範囲の中心から遠いときは、エフェクトＥＦの楕円によって囲まれる部分の面積は比較的大きく、かつ線の太さ及び種類は比較的太い。このようにエフェクトＥＦが設定されることで、関心物体ＯＩが画像範囲の中心近くに位置しておりパンする必要が少ないときには、エフェクトの効果が小さくなるので、関心物体ＯＩが見やすく、ユーザはシャッタチャンスに集中することができる。
【００９３】
なお、ステップＳ３０３の判定において用いる所定の値を０として、変更処理を施すか施さないかの判定に閾値を設けない構成としてもよい。すなわち、閾値を設けずに、画像範囲の中心と関心物体の位置との距離に応じて、エフェクトによって囲まれる部分の面積や線のパターンを変化させるようにしてもよい。
【００９４】
本変形例は、前記した第１の変形例と組み合わせされ得る。すなわち、画像範囲に対する関心物体の位置を示しつつ、画像範囲の中心と関心物体の重心との距離を示すエフェクトが表示されるようにしてもよい。また、本変形例は、前記した第２の変形例と組み合わされ得る。すなわち、関心物体の輪郭線と平行な線及び／又は輪郭線に沿った線によって囲まれる部分の面積やその線の太さなどのパターンが変化させられるようにしてもよい。
【００９５】
また、本実施形態とその各種変形例は、第１の実施形態と組み合わせて用いられ得る。すなわち、第１の実施形態のように、画像の一部に変更処理が施され、かつエフェクトを付加され得る。その場合、第１の実施形態における変更値決定部１１６又は本実施形態に係るエフェクト決定部１１５が、変更値決定部１１６及びエフェクト決定部１１５の両方の機能を有し、表示画像処理部１１８が第１の実施形態に係る画像の変更と、第２の実施形態に係るエフェクトの付加とを、画像データＤに施す。その結果、例えば、図２６に示すような画像が作成される。
【００９６】
［第３の実施形態］
本発明の第３の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラには、図２７に示すように、第１の実施形態における変更値決定部１１６の代わりに、変形パラメータ決定部１１７が設けられている。その他の構成は、第１の実施形態の場合と同様である。
【００９７】
以下、第１の実施形態と異なる構成について説明する。フレームアウト確度判定部１１４には、関心物体検出部１１２が特定した関心物体の位置が入力される。フレームアウト確度判定部１１４は、関心物体検出部１１２から入力された関心物体の位置の情報に基づいて、例えば、撮像部１２２が撮像する撮像範囲内であり、表示部１２６が表示する画像の領域である画像範囲から、関心物体がフレームアウトする確度と、フレームアウトする方向を算出する。フレームアウト確度判定部１１４は、算出した関心物体がフレームアウトする確度及び方向、並びに関心物体の位置を、変形パラメータ決定部１１７に出力する。
【００９８】
変形パラメータ決定部１１７には、フレームアウト確度判定部１１４から、関心物体が画像範囲からフレームアウトする確度及び方向、並びに関心物体の位置が入力される。変形パラメータ決定部１１７は、フレームアウト確度判定部１１４から入力された関心物体が画像範囲からフレームアウトする確度及び方向、並びに関心物体の位置に基づいて、表示画像に施す変形の変形パラメータを決定する。変形パラメータ決定部１１７は、決定した変形パラメータを、表示画像処理部１１８に出力する。
【００９９】
表示画像処理部１１８には、変形パラメータ決定部１１７から変形パラメータが入力される。また、表示画像処理部１１８には、画像信号生成部１２４から、画像データＤが入力される。表示画像処理部１１８は、画像データＤに変形処理を施し、変形画像データＤ´を作成する。表示画像処理部１１８は、変形画像データＤ´を、表示部１２６に出力する。
【０１００】
このように、例えば変形パラメータ決定部１１７は、フレームアウト確度に基づいて、画像信号に基づく画像を幾何変換するための変形パラメータを決定する変形パラメータ決定部として機能する。また、変形パラメータ決定部１１７は、フレームアウト確度に基づいて、画像信号に基づく画像に施す改変処理の処理変数を決定する改変変数決定部として機能する。
【０１０１】
本実施形態の動作を説明する。本実施形態でも、第１の実施形態と同様に、例として関心物体を人物とし、画像における関心物体である人物の重心を、関心物体の位置とする。この関心物体の位置に基づいて、画像処理装置１１０は、表示部１２６に表示させる画像範囲から関心物体がフレームアウトする可能性を判定する。画像処理装置１１０は、関心物体がフレームアウトする可能性の判定を、画像範囲の中心と関心物体の位置との距離に基づいて行う。すなわち、本実施形態では、画像処理装置１１０は、関心物体の重心が画像範囲の中心から離れる程、フレームアウトする確度が高いと判定する。関心物体である人物が、フレームアウトする確度が高いと判定された場合、画像処理装置１１０は、表示画像に変形処理を施す。本実施形態では、変形処理として、長方形である表示画像の輪郭のうち、関心物体から最も近い辺と対向する辺を短くして、表示画像を台形に歪ませる幾何変換、すなわち変形処理を行う。
【０１０２】
各動作について、図面を参照して詳細に説明する。第１の実施形態の場合と同様に、撮像部１２２は、被写体像を光電変換によって電気信号に変換し、この電気信号をデジタル変換してＲａｗデータを作成し、そのデータを画像信号生成部１２４に出力する。画像信号生成部１２４は、撮像部１２２から入力されたＲａｗデータより、画像信号（画像データＤ）を生成し、その画像データＤを、画像処理装置１１０に出力する。
【０１０３】
画像処理装置１１０の処理を、図２８に示すフローチャートを参照して説明する。ここでステップＳ４０１乃至ステップＳ４０３の処理は、図２を参照して説明した第１の実施形態におけるステップＳ１０１乃至ステップＳ１０３の処理とそれぞれ同様である。
【０１０４】
ステップＳ４０３において、フレームアウト確度判定部１１４が画像範囲の中心と関心物体の重心との距離が所定の値以下であると判定した場合、ステップＳ４０４において、変形パラメータ決定部１１７は、その判定結果に従って、入力された画像データＤに変形処理を施さない決定をする。この決定を受けて、表示画像処理部１１８は、画像データＤをそのまま変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【０１０５】
ステップＳ４０３において、画像範囲の中心と関心物体の重心との距離が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトすると判定し、その旨を変形パラメータ決定部１１７に出力する。また、フレームアウト確度判定部１１４は、画像範囲の中心と関心物体の重心との距離、及び関心物体の位置を、変形パラメータ決定部１１７に出力する。変形パラメータ決定部１１７は、その判定結果を受けて、ステップＳ４０５において、表示画像に施す変形処理の変形パラメータを決定する。変形パラメータ決定部１１７は、決定した変形パラメータを、表示画像処理部１１８に出力する。本実施形態では、表示画像処理部１１８は、長方形である表示画像を、台形に変形する変形処理を実施する。ここで、表示画像は、その輪郭のうち関心物体から最も近い辺と対向する辺を短くするような幾何変換、すなわち変形が施される。また、短くなる辺の長さは、画像範囲の中心と関心物体の重心との距離が離れている程短くなるように設定される。すなわち、ステップＳ４０５において、変形パラメータ決定部１１７は、変形パラメータとして、短くする辺は上下左右の４辺のうち何れの辺であるかと、短くする辺の短縮させる割合とを決定し、その決定結果を、表示画像処理部１１８に出力する。このように、例えば画像範囲の中心と関心物体の重心との距離は、関心物体が画像範囲から外れる確度を表すフレームアウト確度として機能する。
【０１０６】
表示画像処理部１１８は、ステップＳ４０６において、入力された画像データＤに対して、表示画像中の変形パラメータ決定部１１７が決定した変形パラメータに基づいて、画像を幾何変換する変形処理を施す。すなわち、表示画像処理部１１８は、長方形である画像データＤに基づく画像に対して、変形パラメータ決定部１１７が決定した短くする辺を、変形パラメータ決定部１１７が決定した短縮割合だけ短くして、画像全体を台形に歪ませるように変形させる。この台形の外側は、画像情報が含まれない領域とし、例えば黒色や白色にする。このようにして表示画像処理部１１８は、その画像を表す変形画像データＤ´を作成する。表示画像処理部１１８は、作成した変形画像データＤ´を、表示部１２６に出力する。
表示部１２６は、表示画像処理部１１８から入力された変形画像データＤ´に基づいて、変形処理後の画像を表示する。
【０１０７】
ここで、変形処理前後の画像例を図２９に示す。図２９（ａ）は、変形処理前の画像データＤに基づく画像を示す。この図において、関心物体ＯＩである人物は、表示領域ＤＡの左端に偏っており、関心物体ＯＩと表示領域ＤＡ、すなわち画像範囲の中心との距離は、所定の値より大きい。このとき、表示画像処理部１１８は、変形パラメータ決定部１１７の決定に基づいて、変形処理を行う。ここで、変形パラメータ決定部１１７は、関心物体から最も近い辺である画像の左側の辺と対向する辺である右側の辺を短縮させる決定をしている。また、変形パラメータ決定部１１７は、関心物体ＯＩと画像範囲の中心との距離に基づいて、短縮させる右側の辺の短縮割合を決定している。すなわち、表示画像処理部１１８は、図２９（ａ）の画像の右側の辺を短縮割合だけ縮めるように画像全体を歪ませて、画像の縁ＦＲを台形とする幾何変換を行い、図２９（ｂ）に示すような画像を作成する。このようにして、表示画像処理部１１８は、変形画像データＤ´を作成する。すなわち、画像処理装置１１０は、入力された画像データＤに基づく画像の縁の形状を台形に変化させている。なお、図２９（ａ）及び（ｂ）において、画像を縦横にそれぞれ３分割する線は、画像の変形をわかりやすく示すための線であり、画像処理装置１１０に係る画像に含まれるものではない。以下の例でも同様である。
【０１０８】
変形パラメータ決定部１１７が決定する短縮割合は、画像範囲の中心と関心物体の重心との距離が離れている程大きく、すなわち、その辺を短くする。したがって、関心物体ＯＩが、画像範囲の中心に近い程、表示画像の歪みは小さくなる。例えば、図３０（ａ）に示すように、関心物体ＯＩが画像範囲の左側に偏っているとき、画像の縁ＦＲの形状は、平行な２辺（左の辺と右の辺）の長さが大きく異なる状態となる。この状態から、ユーザが当該デジタルカメラを、関心物体ＯＩが表示画面の中心となるように向けなおす。その結果、関心物体ＯＩが図３０（ａ）の状態よりも画像範囲の中心に近寄ると、図３０（ｂ）に示すように、画像の縁ＦＲの平行な２辺の長さの差は、図３０（ａ）の場合よりも小さくなる。更に、関心物体ＯＩが表示画面の中心となるようにすると、図３０（ｃ）に示すように、表示画像には、変形処理が行われていない状態となる。
【０１０９】
ユーザが本デジタルカメラを構えて表示部１２６を観察しながら、フレーミングを確認している状況を考える。上記のように本実施形態によれば、例えば人物など、関心物体が表示領域の端に偏ると、表示部１２６には、台形に歪んだ画像が表示される。このような歪んだ画像を観察しているユーザは、画像の歪みをなくすように、関心物体側に本デジタルカメラをパンする。その結果、表示部１２６に表示されている画像は、変形処理が加えられていない状態になる。このように、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。この際、表示部１２６に表示される画像によって、すなわち、撮像画像に変形処理が施された表示画像によって、当該デジタルカメラを向けるべき方向が示されるので、ユーザは、表示部１２６以外に視点を向ける必要は無い。また、表示部１２６に表示される画像が煩雑になることもない。すなわち、ユーザは、表示部を注視しながら撮影が出来る。なお、ここで表示される表示画像は、関心物体がフレームアウトするか否かを予測した結果を示している。したがって、本実施形態によれば、関心物体がフレームアウトすることを未然に防ぐことができる。
【０１１０】
本実施形態の説明では、関心物体から最も近い辺と対向する辺を短くするように画像が台形に変形させられるとして説明したが、関心物体から最も近い辺が短くなるように画像が台形に変形させられてもよい。また、台形にする変形に限らず、例えば上下の辺のうち関心物体から遠い方の辺を短くし、同時に左右の辺のうち関心物体から遠い方の辺を短くする等の変形処理が施されるようにしてもよい。
【０１１１】
第１の実施形態において図６及び図７を参照して説明した状況と同様に、関心物体ＯＩの一部しか表示領域ＤＡ、すなわち画像範囲の範囲内にない状態でもよい。例えば図３１に示すように、関心物体検出部１１２が表示部１２６に表示する画像範囲の外部まで関心物体の位置を特定することができる場合、画像処理装置１１０は、表示画像範囲外の関心物体ＯＩの位置に応じて同様の処理を行うことができる。
【０１１２】
また、第１及び第２の実施形態の場合と同様に、撮像部１２２から出力されたＲａｗデータがそのまま画像信号として関心物体検出部１１２に入力され、関心物体検出部１１２は、当該Ｒａｗデータに基づいて関心物体の位置を特定するように構成されてもよい。また、本実施形態では、画像範囲と関心物体の位置との位置関係を求める基準として、画像範囲の中心を利用しているが、中心に限らず、その他の部分を基準としてもよい。また、関心物体は、人物に限らず動物、乗り物等その他のものでも勿論よい。また、本実施形態の説明では、関心物体検出部１１２が関心物体を検出する方法として、テンプレートマッチングを例に挙げたが、画像中から関心物体を抽出できる方法ならば、どの様な方法でもよい。また、本実施形態では、フレームアウトする確度については、所定値以下か否か、すなわち、２値化しているが、閾値を２つ以上設けて、３つ以上の条件分けによって、それぞれの場合に、異なる変形処理を施すように構成してもよい。また、ステップＳ４０３の判定において用いる所定の値を０として、変形処理を施すか施さないかの判定に閾値を設けない構成としてもよい。
【０１１３】
［第３の実施形態の第１の変形例］
本発明の第３の実施形態の第１の変形例について説明する。ここでは、第３の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。図２９（ｂ）に示すように、ステップＳ４０６において、表示画像処理部１１８が施す画像の変形は、第３の実施形態においては、変形パラメータ決定部１１７が決定した変形パラメータに基づいて、表示画像の輪郭のうち、関心物体から最も近い辺と対向する辺を短くして、表示画像を台形に変形させる変形処理である。これに対して本変形例では、表示画像の縁は変形させられず、表示画像を伸縮させて歪ませられる。
【０１１４】
例えば、本変形例では、表示画像の輪郭のうち、関心物体から最も近い辺の垂線方向について、当該関心物体から最も近い辺からの距離に応じて画像を伸縮させる。ここで、本変形例では、関心物体から最も近い辺に近い程、当該辺の垂線方向に画像を収縮させられ、当該辺から遠い程、当該辺の垂線方向に画像を伸張させられる。例えば、図３２（ａ）に示すような画像において、関心物体ＯＩが表示領域ＤＡの左側に偏っている場合を考える。このとき、関心物体ＯＩから最も近い辺は、この図３２（ａ）における左側の辺である。したがって、本画像処理装置は、左側の辺の垂線方向、すなわち左右方向に、画像の左側程画像を収縮させ、右側程画像を伸張させ、図３２（ｂ）のような画像を作成する。このように、画像処理装置１１０は、入力された画像データＤに基づく画像を伸縮させており、当該画像の一部を収縮させ他の部分を伸張させている。
【０１１５】
この例のような変形に限らず、関心物体から最も近い辺に近い程、当該辺の垂線方向に画像を伸張させ、関心物体から最も近い辺から遠い程、当該辺の垂線方向に画像を収縮させてもよい。また、左右方向又は上下方向に画像を伸縮させるに限らず、左右方向にも上下方向にも同時に画像を収縮させるように変形させてもよい。また、関心物体から最も近い辺からの距離に応じて伸縮させずに、例えば、関心物体から最も近い辺から所定の距離の領域のみ画像を伸縮させてもよい。また、関心物体と関心物体から最も近い辺との距離に応じて、前記の伸縮の割合を変化させるようにしてもよい。
【０１１６】
例えば図３２（ｂ）のような画像を表示部１２６に表示させるために、本変形例では、ステップＳ４０５において、変形パラメータ決定部１１７は、フレームアウト確度判定部１１４から入力された、画像範囲の中心と関心物体の重心との距離、及び関心物体の位置に基づいて、画像を伸縮させる領域と、伸縮させる向き及び割合とを含む変形パラメータを決定する。変形パラメータ決定部１１７は、その決定した結果を、表示画像処理部１１８に出力する。
【０１１７】
表示画像処理部１１８は、ステップＳ４０６において、入力された画像データＤに対して、表示画像中の変形パラメータ決定部１１７が決定した変形パラメータに基づいて、画像に変形処理を施す。すなわち、表示画像処理部１１８は、画像データＤに基づく画像における画像を伸縮させる領域毎に、変形パラメータ決定部１１７が決定した伸縮させる向き及び割合に応じて画像を伸縮させる。このようにして、表示画像処理部１１８は、その画像を表す変形画像データＤ´を作成する。表示画像処理部１１８は、作成した変形画像データＤ´を、表示部１２６に出力する。その他の動作は、第３の実施形態と同様である。
【０１１８】
本変形例によっても、関心物体が画像範囲の中心から遠ざかると、表示領域の画像が変形する。その結果、本デジタルカメラを構えて、表示部１２６を観察しながらフレーミングを確認しているユーザは、画像の変形がなくなるように、関心物体が表示領域の中心に来る方向に、画像処理装置１１０を有する本デジタルカメラをパンする。その結果、表示部１２６に表示されている画像は、変形処理が施されていない状態になる。以上のとおり、本変形例によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。
【０１１９】
［第３の実施形態の第２の変形例］
本発明の第３の実施形態の第２の変形例について説明する。本変形例では、第１の実施形態の場合の画像の変形と、その第１の変形例の場合の画像の変形とを組み合わせた画像の変形を行う。すなわち、本変形例においては、関心物体から最も近い辺と対向する辺を短くして、表示画像の輪郭を台形に変形させるとともに、関心物体から最も近い辺の垂線方向について、当該関心物体に最も近い辺からの距離に応じて伸縮させる。すなわち、画像処理装置１１０は、例えば、図３３に示すような画像を作成する。
【０１２０】
本変形例においては、第３の実施形態及びその第１の変形例と同様に、ステップＳ４０５において、変形パラメータ決定部１１７は、表示画像の輪郭を変形させるためのパラメータ、すなわち、輪郭のうち、短くする辺は上下左右の４辺のうち何れの辺であるかと、短くする辺の短縮させる割合とを決定する。更に、変形パラメータ決定部１１７は、画像を伸縮させるためのパラメータ、すなわち、画像を伸縮させる領域と、伸縮させる向き及び割合とを決定する。表示画像処理部１１８は、ステップＳ４０６において、入力された画像データＤに対して、表示画像中の変形パラメータ決定部１１７が決定した変形パラメータに基づいて、画像に変形処理を施し、変形画像データＤ´を作成する。その他の動作は、第３の実施形態と同様である。また、表示画像の変形に関しては、射影変形の様に線形変換で定義できる様に変形させても良い。
本変形例によっても、第３の実施形態及びその第１の変形例と同様の効果を得ることができる。
【０１２１】
本実施形態とその各種変形例は、第１の実施形態及び／又は第２の実施形態と組み合わせて用いられ得る。すなわち、第１の実施形態のように、画像の一部に変更処理が施され、かつ変形処理が施され得る。その場合、第１の実施形態における変更値決定部１１６又は本実施形態における変形パラメータ決定部１１７が、変更値決定部１１６及び変形パラメータ決定部１１７の両方の機能を有し、表示画像処理部１１８が第１の実施形態に係る画像の変更と、本実施形態に係る変形処理とを、画像データＤに施す。その結果、例えば、図３４に示すような画像が作成される。同様に本実施形態と第２の実施形態と組み合わせて、エフェクト決定部１１５又は変形パラメータ決定部１１７が、エフェクト決定部１１５と変形パラメータ決定部１１７との両方の機能を有するように構成され得る。すなわち、画像に変形処理が施されるとともにエフェクトが付加され、図３５に示すような画像が作成されるように、画像処理装置１１０が構成されてもよい。また、第１の実施形態に係る変更処理と、第２の実施形態に係るエフェクトの付加と、本実施形態に係る変形処理とを組み合わせてもよい。すなわち、エフェクト決定部１１５と変更値決定部１１６と変形パラメータ決定部１１７との機能を有し、例えば図３６に示すような画像を作成するように、画像処理装置１１０が構成されてもよい。
【０１２２】
［第４の実施形態］
本発明の第４の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、第１の実施形態と同様に、図１に示す構成を有する。本実施形態に係る変更値決定部１１６は、フレームアウト確度判定部１１４が求めるフレームアウト確度に基づいて、第１の実施形態と同様に、画像データＤに施す変更処理の各種パラメータを決定する。表示画像処理部１１８は、変更値決定部１１６の決定に基づいて、画像データＤに変更処理を施す。
【０１２３】
第１の実施形態では、フレームアウト確度判定部１１４は、画像範囲の中心と関心物体の重心との距離を算出し、当該距離を基準として、関心物体が画像範囲からフレームアウトする確度を決定している。これに対して本実施形態では、フレームアウト確度判定部１１４は、画像データＤが表す画像を基準とした関心物体の位置の時間変化、すなわち画像中における関心物体の相対的な移動速度を算出し、関心物体位置の時間変化（相対移動速度Ｖ）が大きい程、フレームアウトする確度が高いと判定する。また、本実施形態では、関心物体の移動方向が、関心物体がフレームアウトする可能性がある方向とする。
【０１２４】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図３７に示す。この図に示すように、第１の実施形態のステップＳ１０１と同様に、関心物体検出部１１２には、ステップＳ５０１において、画像信号生成部１２４が作成した画像データＤが入力される。関心物体検出部１１２は、当該画像データＤが表す画像中における、注目する被写体である関心物体の位置を特定する。関心物体検出部１１２は、特定した関心物体の位置を、フレームアウト確度判定部１１４に出力する。
【０１２５】
フレームアウト確度判定部１１４は、ステップＳ５０２において、関心物体検出部１１２が特定した関心物体の位置に基づいて、画像における関心物体の位置の時間変化、すなわち関心物体の相対的な移動速度（以下、単に移動速度と記載する）を算出する。そのために、フレームアウト確度判定部１１４は、前回の画像データにおける関心物体の位置を記憶するメモリを備えるか、メインコントローラ１２８が前回の画像データにおける関心物体の位置の情報を保持していて、フレームアウト確度判定部１１４に与えるような構成とする必要がある。
【０１２６】
フレームアウト確度判定部１１４は、ステップＳ５０３において、関心物体の移動速度が所定の値以下であるか否かを判定する。関心物体の移動速度が所定の値以下である場合、フレームアウト確度判定部１１４は、フレームアウトしないと判定し、その判定結果を変更値決定部１１６に出力する。第１の実施形態のステップＳ１０４と同様に、ステップＳ５０４において、変更値決定部１１６は、入力された画像データＤに変更処理を施さない決定をする。表示画像処理部１１８は、変更を施していない画像データＤを、変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【０１２７】
一方、ステップＳ５０３において、関心物体の位置の時間変化が所定の値以下でないと判定した場合、変更値決定部１１６は、ステップＳ５０５において、表示画像を黒色に塗り潰す処理領域を決定する。ここで、処理領域は、表示画像の中心に対して、関心物体の移動方向と反対側と関連付けられた領域とする。例えば、関心物体が左方向に移動している場合は、表示画像の右側を処理領域とし、関心物体が右方向に移動している場合は、表示画像の左側を処理領域とする。同様に、関心物体が上方向に移動している場合は、表示画像の下側を処理領域とし、同様に関心物体が斜めに方向に移動している場合も、表示画像の中心に対して関心物体の移動方向と反対側を処理領域とする。処理領域の面積は、関心物体の移動速度が大きい程、大きくする。変更値決定部１１６は、決定した処理領域を、表示画像処理部１１８に出力する。また、変更値決定部１１６は、変更処理が黒色に塗り潰すことであることを表示画像処理部１１８に出力する。このように、例えば関心物体の位置の時間変化は、関心物体が画像範囲から外れる確度を表すフレームアウト確度として機能する。
【０１２８】
第１の実施形態のステップＳ１０６と同様に、表示画像処理部１１８は、ステップＳ５０６において、入力された画像データに対して、変更値決定部１１６が算出した表示画像中の処理領域内を黒色に塗り潰すように、画像に変更処理を施し、変更処理後の画像のデータである変更画像データＤ´を作成する。表示画像処理部１１８は、変更画像データＤ´を、表示部１２６に出力する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第１の実施形態のそれと同様である。
【０１２９】
本実施形態によれば、表示部１２６には、例えば図３８のような画像が表示される。すなわち、関心物体ＯＩが左方向に移動している場合、表示領域の右側が、処理領域ＰＲに設定され、黒色に塗り潰されている。なお、図３８において、実線で描かれた関心物体ＯＩである人物と、破線で描かれた人物との距離の大きさが、速度の大きさを表すものとする。以下についても同じである。関心物体ＯＩの移動速度が比較的遅い場合、図３８（ａ）に示すように、処理領域ＰＲの面積は、比較的小さい。それに対して、関心物体ＯＩの移動速度が比較的速い場合、図３８（ｂ）に示すように、処理領域ＰＲの面積は、比較的大きい。
【０１３０】
本実施形態によっても、関心物体が移動している場合、その速度に応じて、処理領域の画像が変更される。その結果、本デジタルカメラを構えて、表示部１２６を観察しながら、フレーミングを確認しているユーザは、画像の変更が弱くなるように、関心物体の移動を追うように本デジタルカメラをパンする。表示画像に対する関心物体の相対的移動が小さくなれば、表示部１２６に表示されている画像は、変更処理が施されていない状態になる。以上のとおり、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、移動する関心物体を追うように、ユーザを誘導することができる。なお、本デジタルカメラに表示される表示画像は、関心物体がフレームアウトするか否かを予測した結果を示している。したがって、本実施形態によれば、関心物体がフレームアウトすることを未然に防ぐことができる。
【０１３１】
また、第１の実施形態の第１の変形例と同様に、画像処理装置１１０は、処理領域を黒色ではなく他の色に塗り潰すように構成され得るし、輝度、解像度、先鋭度、コントラスト、彩度、及び色相のうち１つ又は複数の組み合わせを変更するように構成され得る。また、第１の実施形態の第２の変形例と同様に、処理領域は、表示画像の中心に対して、関心物体の移動方向と反対側と関連付けられた領域とせずに、関心物体からの距離と関連付けてもよい。例えば、関心物体の移動速度が速い場合は、関心物体から処理領域の縁までの距離を短くし、関心物体の移動速度が遅い場合は、関心物体から処理領域の縁までの距離を長くするなどしてもよい。
【０１３２】
また、第１の実施形態の第３の変形例と同様に、関心物体の移動速度に応じて、処理領域の輝度、解像度、先鋭度、コントラスト、彩度、及び色相の変更量が変化させられるようにしてもよい。この場合、ステップＳ５０５において、変更値決定部１１６は、処理領域を算出するのではなく、代わりに関心物体の移動速度に基づいて、処理領域に施す変更の変更量を算出する。ステップＳ５０６において、表示画像処理部１１８は、変更値決定部１１６が算出した変更量だけ、輝度、解像度、先鋭度、コントラスト、彩度、及び色相のうち１つ又は複数の組み合わせについて変更する。また、ステップＳ５０３の判定において用いる所定の値を０として、変更処理を施すか施さないかの判定に閾値を設けない構成としてもよい。
上記の何れの場合においても、第１の実施形態の各変形例の場合と同様の効果が得られる。
【０１３３】
［第５の実施形態］
本発明の第５の実施形態について説明する。ここでは、第２及び第４の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、第２の実施形態と同様に、図１５に示す構成を有する。本実施形態に係るエフェクト決定部１１５は、フレームアウト確度判定部１１４が求めるフレームアウト確度に基づいて、第２の実施形態と同様に、画像データＤに付加するエフェクトの各種パラメータを決定する。表示画像処理部１１８は、エフェクト決定部１１５の決定に基づいて、画像データＤにエフェクトを付加する。
【０１３４】
本実施形態においてフレームアウト確度判定部１１４は、第４の実施形態と同様に、画像データＤが表す画像範囲における、関心物体の位置の時間変化、すなわち画像範囲における関心物体の相対的な移動速度を算出し、関心物体の位置の時間変化が大きい程、フレームアウトする確度が高いと判定する。
【０１３５】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図３９に示す。この図に示すように、本実施形態に係るステップＳ６０１乃至ステップＳ６０３の処理は、第４の実施形態のステップＳ５０１乃至ステップＳ５０３と、それぞれ同様である。ただし、第４の実施形態における変更値決定部１１６は、本実施形態では、エフェクト決定部１１５と読み替えるものとする。
【０１３６】
ステップＳ６０３において、フレームアウト確度判定部１１４が画像範囲の中心と関心物体の重心との距離が所定の値以下であると判定した場合、ステップＳ６０４において、エフェクト決定部１１５は、その判定結果に従って、入力された画像データＤにエフェクトを付加しない決定をする。この決定を受けて、表示画像処理部１１８は、画像データＤをそのまま変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【０１３７】
ステップＳ６０３において、関心物体の位置の時間変化が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトすると判定し、その判定結果をエフェクト決定部１１５に出力する。エフェクト決定部１１５は、その判定結果に従って、ステップＳ６０５において、表示画像にエフェクトを付加することを決定する。ここで、エフェクトは、関心物体の重心座標を中心として関心物体を囲む楕円線とする。エフェクト決定部１１５は、エフェクトを付加することと、付加するエフェクトである楕円線の情報とを、表示画像処理部１１８に出力する。このように、例えば関心物体の位置の時間変化は、関心物体が画像範囲から外れる確度を表すフレームアウト確度として機能する。
【０１３８】
第２の実施形態のステップＳ３０６と同様に、表示画像処理部１１８は、ステップＳ６０６において、入力された画像データに対して、エフェクト決定部１１５から入力されたエフェクトを付加し、変更画像データＤ´を作成する。表示画像処理部１１８は、変更画像データＤ´を、表示部１２６に出力する。表示部１２６は、表示画像処理部１１８から入力された変更画像データＤ´に基づいて、エフェクトを付加した画像を表示する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第２の実施形態のそれと同様である。
【０１３９】
本実施形態によれば、表示部１２６には、例えば図４０のような画像が表示される。すなわち、関心物体ＯＩである人物が所定の速度より速く移動していると、図４０（ａ）に示すように関心物体ＯＩの周囲にエフェクトＥＦである楕円が表示される。一方、関心物体ＯＩの移動速度が所定値以下である場合、図４０（ｂ）に示すように、エフェクトＥＦは表示されない。なお、図中の白抜き矢印は、関心物体ＯＩが移動していることを示すために付したものであり、表示される画像を構成するものではない。また、この白抜き矢印の太さは移動速度の大きさを表すものとし、矢印が太い程移動速度が大きいものとする。以降の図においても同じとする。このエフェクトの表示の有無により、関心物体が画像範囲からフレームアウトする確率が高くなったことを撮影者は直感的に知ることが出来る。例えば、様々な被写体が画像範囲内に存在し、ユーザが関心物体の動きに注意を払いにくい場合などでは、関心物体が移動するとエフェクトによって強調された関心物体に、ユーザの注意が向くという効果もある。
【０１４０】
本実施形態によっても、関心物体が移動している場合、その速度に応じて、表示画像にエフェクトが付加される。その結果、本デジタルカメラを構えて、表示部１２６を観察しながら、フレーミングを確認しているユーザは、エフェクトがなくなるように、関心物体の移動を追う方向に本デジタルカメラをパンすることができる。表示画像に対する関心物体の相対的移動が小さくなれば、表示部１２６に表示されている画像は、変更処理が施されていない状態になる。以上のとおり、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、すなわち、移動する関心物体を追うように、ユーザを誘導することができる。なお、本デジタルカメラに表示される表示画像は、関心物体がフレームアウトするか否かを予測した結果を示している。したがって、本実施形態によれば、関心物体がフレームアウトすることを未然に防ぐことができる。
【０１４１】
なお、本実施形態の説明では、表示画像に付加するエフェクトは楕円であるとしたが、第２の実施形態の第２の変形例と同様に、関心物体の周囲に関心物体の輪郭線と平行な線及び／又は輪郭線に沿った線を表示させる等、関心物体の形状に応じた線のエフェクトでもよい。この場合、ステップＳ６０１において、関心物体検出部１１２は、画像データＤが表す画像における、関心物体の位置を特定するとともに、関心物体検出部１１２内の輪郭抽出部１１２２は、その関心物体の輪郭を抽出する。関心物体検出部１１２は、特定した関心物体の位置と輪郭とを、フレームアウト確度判定部１１４に出力する。また、ステップＳ６０３の判定において、関心物体の移動速度が所定の値以下でない場合、フレームアウト確度判定部１１４は、フレームアウトすると判定し、その判定結果と、関心物体の輪郭の情報とを、エフェクト決定部１１５に出力する。エフェクト決定部１１５は、ステップＳ６０５において、関心物体の周囲の関心物体の輪郭線と平行な線及び／又は輪郭線に沿った線とするエフェクトを表示画像に付加することを決定する。
【０１４２】
［第５の実施形態の第１の変形例］
本発明の第５の実施形態の第１の変形例について説明する。ここでは、第５の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第５の実施形態においては、表示画像に付加するエフェクトは、関心物体の移動速度が所定値より大きければ、その大小に関わらず、同一である。これに対して本変形例では、関心物体の移動速度に応じて、エフェクトが変更される。
【０１４３】
このような関心物体の移動速度に応じて、エフェクトを変更したときの、表示画像の例を図４１に示す。例えば、図４１（ａ）に示す場合よりも関心物体ＯＩの移動速度が小さいとき、図４１（ｂ）に示すようにエフェクトＥＦである楕円によって囲まれる部分の面積を小さくする。或いは、例えば、図４１（ａ）に示す場合よりも関心物体ＯＩの移動速度が小さいとき、図４１（ｃ）に示すように、エフェクトＥＦである楕円のパターンを変化させ、例えば線を細くするなどエフェクトの面積を変化させる、及び／又は、線の色を薄くするなどエフェクトの加工の程度を変化させる。また、関心物体の移動速度に応じて、エフェクトの楕円によって囲まれる部分の面積と線のパターンとの両者を変化させてもよい。
【０１４４】
上記のような関心物体の移動速度に応じて異なるエフェクトを表示させるため、本変形例では、以下のように処理する。ステップＳ６０３において、関心物体の移動速度が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトすると判定し、その判定結果と、関心物体の移動速度とをエフェクト決定部１１５に出力する。
【０１４５】
エフェクト決定部１１５は、ステップＳ６０５において、表示画像にエフェクトを付加することを決定する。ここで、エフェクトは、関心物体の移動速度に応じた面積やパターンとする。エフェクト決定部１１５は、エフェクトを付加することと、付加するエフェクトである楕円線の情報とを、表示画像処理部１１８に出力する。
【０１４６】
表示画像処理部１１８は、ステップＳ６０６において、入力された画像データＤに対して、エフェクト決定部１１５から入力されたエフェクトを付加する。表示画像処理部１１８は、エフェクトを付加した画像のデータである変更画像データＤ´を、表示部１２６に出力する。その他の処理は、第２の実施形態の処理と同様である。
【０１４７】
本変形例によっても、関心物体が移動している場合、その速度に応じて、表示画像にエフェクトが付加される。ここで、この楕円の面積やパターンは、関心物体の移動速度を示している。楕円によって囲まれる部分の面積や楕円線のパターンによって、関心物体の移動速度、すなわち関心物体がフレームアウトする確率がどれほど高いかを、ユーザは直感的に知ることが出来る。その結果、本デジタルカメラを構えて、表示部１２６を観察しながら、フレーミングを確認しているユーザは、エフェクトが弱くなるように、関心物体の移動を追う方向に本デジタルカメラをパンすることができる。表示画像に対する関心物体の相対的移動が小さくなれば、表示部１２６に表示されている画像は、変更処理が施されていない状態になる。以上のとおり、本変形例によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、移動する関心物体を追うように、ユーザを誘導することができる。
【０１４８】
なお、ステップＳ６０３の判定において用いる所定の値を０として、変更処理を施すか施さないかの判定に閾値を設けない構成としてもよい。すなわち、閾値を設けずに、関心物体の移動速度に応じて、エフェクトの面積を変化させるようにしてもよい。
【０１４９】
［第５の実施形態の第２の変形例］
本発明の第５の実施形態の第２の変形例について説明する。ここで変形例の説明では、第５の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第５の実施形態においては、関心物体の移動速度に応じたエフェクトが付加されており、移動方向は考慮されていない。本変形例では、関心物体の移動方向を示すエフェクトが付加される。本変形例の一例としては、図４２に示すように、エフェクトＥＦを、関心物体ＯＩの重心位置に対して関心物体ＯＩの移動方向と反対側、すなわち関心物体ＯＩの移動方向についての後方の面積が大きい楕円とする。
【０１５０】
上記のようにエフェクトである楕円の形状を、関心物体の移動方向によって変化させるため、本変形例では、以下のように処理を行う。ステップＳ６０３において、関心物体の移動速度が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトすると判定し、その判定結果と共に、関心物体の移動方向をエフェクト決定部１１５に出力する。エフェクト決定部１１５は、ステップＳ６０５において、表示画像にエフェクトを付加することを決定する。また、ステップＳ６０５においてエフェクト決定部１１５は、関心物体の移動方向に応じて、付加するエフェクトの形状を決定し、その情報を表示画像処理部１１８に出力する。表示画像処理部１１８は、ステップＳ６０６において、入力された画像データＤに対して、エフェクト決定部１１５から入力されたエフェクトの情報に基づいて、エフェクトを付加する。表示画像処理部１１８は、エフェクトを付加した画像のデータである変更画像データＤ´を、表示部１２６に出力する。その他の処理は、第２の実施形態の処理と同様である。
【０１５１】
本変形例によっても、関心物体が移動している場合、その速度に応じて、表示画像にエフェクトが付加される。ここで、付加されるエフェクトの形状によってユーザは、関心物体の移動方向を認識できる。これによりユーザは直感的に被写体の速度・移動方向の状態を知ることができ、デジタルカメラを被写体方向へ自然と向けることができる。その結果、本デジタルカメラを構えて、表示部１２６を観察しながら、フレーミングを確認しているユーザは、エフェクトによって関心物体の移動方向を認識しながら、エフェクトが弱くなるように、すなわち、関心物体の移動を追う方向に本デジタルカメラをパンすることができる。表示画像に対する関心物体の相対的移動が小さくなれば、表示部１２６に表示されている画像は、変更処理が施されていない状態になる。以上のとおり、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、移動する関心物体を追うように、ユーザを誘導することができる。
【０１５２】
また、本変形例は、前記第５の実施形態の第１の変形例と組み合わせることもできる。例えば、図４３に示すように、関心物体ＯＩの移動速度に応じてエフェクトＥＦによって囲まれる部分の面積を変化させ、かつ移動方向に応じてエフェクトＥＦの形状を変化させてもよい。この場合、第５の実施形態の第１の変形例と第２の変形例との動作を組み合わせるようにすればよい。すなわち、ステップＳ６０３において、関心物体の移動速度が所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトすると判定し、その判定結果と、関心物体の移動速度と、関心物体の移動方向とをエフェクト決定部１１５に出力する。エフェクト決定部１１５は、ステップＳ６０５において、表示画像にエフェクトを付加することを決定する。ここで、エフェクトは、関心物体の移動速度に応じた面積やパターンとし、かつ移動方向に応じた形状とする。エフェクト決定部１１５は、エフェクトを付加することと、付加するエフェクトである楕円線の情報とを、表示画像処理部１１８に出力する。このように、第１の変形例と第２の変形例とを組み合わせれば、画像処理装置１１０を有するデジタルカメラは、関心物体の移動速度と移動方向とを認識できるエフェクトを付加した表示を行うことができる。
なお、第６の実施形態及びその何れの変形例においても、エフェクトは、時間的に変化するものとしてもよい。
【０１５３】
また、本実施形態とその各種変形例は、第４の実施形態と組み合わせて用いられ得る。すなわち、第４の実施形態のように、画像の一部に変更処理が施され、かつ本実施形態のようにエフェクトが付加されるようにしてもよい。その場合、第４の実施形態における変更値決定部１１６又は本実施形態におけるエフェクト決定部１１５が、エフェクト決定部１１５と変更値決定部１１６との両方の機能を有し、表示画像処理部１１８が第４の実施形態に係る画像の変更と、第５の実施形態に係るエフェクトの付加とを、画像データＤに施す。その結果、例えば、上述の図２６に示すような画像が作成される。
【０１５４】
［第６の実施形態］
本発明の第６の実施形態について説明する。ここでは、第３及び第４の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、第３の実施形態と同様に、図２７に示す構成を有する。本実施形態に係る変形パラメータ決定部１１７は、フレームアウト確度判定部１１４が求めるフレームアウト確度に基づいて、第３の実施形態と同様に、画像データＤに施す変形処理の各種パラメータを決定する。表示画像処理部１１８は、変形パラメータ決定部１１７の決定に基づいて、画像データＤに変形処理を施す。
【０１５５】
本実施形態においてフレームアウト確度判定部１１４は、第４の実施形態と同様に、画像データＤが表す画像範囲における、関心物体の位置の時間変化、すなわち画像範囲における関心物体の相対的な移動速度を算出し、関心物体の位置の時間変化が大きい程、フレームアウトする確度が高いと判定する。また、本実施形態では、関心物体の移動方向が、関心物体がフレームアウトする可能性がある方向とする。
【０１５６】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図４４に示す。この図に示すように、本実施形態に係るステップＳ７０１乃至ステップＳ７０３の処理は、第４の実施形態のステップＳ５０１乃至ステップＳ５０３の処理と、それぞれ同様である。ただし、第４の実施形態における変更値決定部１１６は、本実施形態では、変形パラメータ決定部１１７と読み替えるものとする。
【０１５７】
ステップＳ７０３において、フレームアウト確度判定部１１４が画像範囲の中心と関心物体の重心との距離が所定の値以下であると判定した場合、ステップＳ７０４において、変形パラメータ決定部１１７は、その判定結果に従って、入力された画像データＤに変形処理を施さない決定をする。この決定を受けて、表示画像処理部１１８は、画像データＤをそのまま変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【０１５８】
ステップＳ７０３において、関心物体の位置の時間変化が所定の値以下でないと判定した場合、変形パラメータ決定部１１７は、ステップＳ７０５において、表示画像に施す変形処理の変形パラメータを決定する。本実施形態では、第３の実施形態の場合と同様に、変形処理として、長方形である表示画像の輪郭のうち、関心物体が移動している方向の後方側の辺を短くして、表示画像を台形に変形させる処理が行われる。また、短くする辺の長さは、関心物体の移動速度が速い程短くされる。すなわち、変形パラメータ決定部１１７は、変形パラメータとして、短くする辺は、上下左右の４辺のうち何れの辺であるかと、短くする辺の短縮させる割合とを決定し、その決定結果を、表示画像処理部１１８に出力する。このように、例えば関心物体の位置の時間変化は、関心物体が画像範囲から外れる確度を表すフレームアウト確度として機能する。
【０１５９】
第３の実施形態のステップＳ４０６と同様に、表示画像処理部１１８は、ステップＳ７０６において、入力された画像データＤに対して、表示画像中の変形パラメータ決定部１１７が決定した変形パラメータに基づいて、画像に変形処理を施す。すなわち、表示画像処理部１１８は、長方形である画像データＤに基づく画像に対して、変形パラメータ決定部１１７が決定した短くする辺を、変形パラメータ決定部１１７が決定した短縮割合だけ短くして、画像全体を台形に歪ませるように変形させる。このようにして表示画像処理部１１８は、その画像を表す変形画像データＤ´を作成する。表示画像処理部１１８は、作成した変形画像データＤ´を、表示部１２６に出力する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第１の実施形態のそれと同様である。
【０１６０】
本実施形態によれば、表示部１２６には、例えば図４５のような画像が表示される。すなわち、関心物体ＯＩが左方向に移動している場合、その後方に相当する右側の辺を短くし、画像の縁ＦＲが台形になるように画像全体が歪められた画像が表示される。ここで、関心物体ＯＩの移動速度が比較的速い場合、図４５（ａ）に示すように、画像の縁ＦＲの形状は、平行な２辺の長さが大きく異なる状態となる。それに対して、関心物体ＯＩの移動速度が比較的遅い場合、図４５（ｂ）に示すように、画像の縁ＦＲの平行な２辺の長さの差は、図４５（ａ）の場合よりも小さくなる。
【０１６１】
本実施形態によっても、関心物体が移動している場合、その速度に応じて、画像の輪郭が変形される。その結果、本デジタルカメラを構えて、表示部１２６を観察しながら、フレーミングを確認しているユーザは、画像の変形、すなわち画像の伸縮に伴う歪みが小さくなるように、関心物体の移動を追うように本デジタルカメラをパンする。表示画像に対する関心物体の相対的移動が小さくなれば、表示部１２６に表示されている画像は、変形処理が施されていない状態になる。以上のとおり、本実施形態によれば、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、移動する関心物体を追うように、ユーザを誘導することができる。なお、本デジタルカメラに表示される表示画像は、関心物体がフレームアウトするか否かを予測した結果を示している。したがって、本実施形態によれば、関心物体がフレームアウトすることが未然に防がれる。
【０１６２】
また、本実施形態においても、関心物体の移動速度に応じて、第３の実施形態の第１の変形例と同様に、前記した図３２（ｂ）のように画像が所定の方向に伸縮され得る。また、関心物体の移動速度に応じて、第３の実施形態の第２の変形例と同様に、前記した図３３のように画像の輪郭が変形させられつつ、画像が所定の方向に伸縮させられてもよい。何れの場合においても、第３の実施形態の各変形例の場合と同様の効果が得られる。
【０１６３】
また、本実施形態とその各種変形例は、第４の実施形態及び／又は第５の実施形態と組み合わせて用いられ得る。すなわち、第４の実施形態のように、画像の一部に変更処理が施され、かつ本実施形態のように変形処理が施されるようにしてもよい。その場合、第４の実施形態における変更値決定部１１６又は本実施形態における変形パラメータ決定部１１７が、変更値決定部１１６と変形パラメータ決定部１１７との両方の機能を有し、表示画像処理部１１８が第４の実施形態に係る画像の変更と、本実施形態に係る変形処理とを、画像データＤに施す。その結果、例えば、前記した図３４に示すような画像が作成される。同様に本実施形態と第５の実施形態と組み合わせて、画像に変形処理を施すとともにエフェクトを付加するようにし、前記した図３５に示すような画像が作成されるように、画像処理装置１１０が構成され得る。また、第４の実施形態に係る変更処理と、第５の実施形態に係るエフェクトの付加と、本実施形態に係る変形処理とを組み合わせて、例えば前記した図３６に示すような画像を作成するように、画像処理装置１１０が構成されてもよい。
【０１６４】
［第７の実施形態］
本発明の第７の実施形態について説明する。ここでは、第１及び第４の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、第１の実施形態と同様に、図１に示す構成を有する。本実施形態に係る変更値決定部１１６は、フレームアウト確度判定部１１４が求めるフレームアウト確度に基づいて、第１の実施形態と同様に、画像データＤに施す変更処理の各種パラメータを決定する。表示画像処理部１１８は、変更値決定部１１６の決定に基づいて、画像データＤに変更処理を施す。
【０１６５】
第１の実施形態では、画像範囲の中心と関心物体の重心との距離を基準として、関心物体が画像範囲からフレームアウトする確度が決定されている。また、第４の実施形態では、表示画像を基準とした関心物体の相対的な移動速度を基準として、関心物体が画像範囲からフレームアウトする確度が決定されている。これに対して、本実施形態では、画像範囲の中心と関心物体の重心との距離、及び表示画像を基準とした関心物体の相対的な移動速度の両者を含むパラメータを基準として、関心物体が画像範囲からフレームアウトする確度を決定する。
【０１６６】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図４６に示す。この図に示すように、第１の実施形態のステップＳ１０１と同様に、関心物体検出部１１２には、ステップＳ８０１において、画像信号生成部１２４が作成した画像データＤが入力される。関心物体検出部１１２は、当該画像データＤが表す画像における、関心物体の位置を特定し、特定した関心物体の位置を、フレームアウト確度判定部１１４に出力する。
【０１６７】
フレームアウト確度判定部１１４は、ステップＳ８０２において、関心物体検出部１１２が特定した関心物体の位置に基づいて、画像における画像範囲の中心と関心物体の重心との距離Ｌを算出する。また、フレームアウト確度判定部１１４は、ステップＳ８０３において、関心物体検出部１１２が特定した関心物体の位置に基づいて、画像における関心物体の位置の時間変化、すなわち関心物体の相対的な移動速度Ｖ（以下、単に移動速度Ｖと記載する）を算出する。
フレームアウト確度判定部１１４は、ステップＳ８０４において、関心物体が画像範囲からフレームアウトする確度Ｗを算出した距離Ｌと移動速度Ｖとの積、Ｗ＝Ｌ×Ｖとして算出する。
【０１６８】
フレームアウト確度判定部１１４は、ステップＳ８０５において、フレームアウトする確度Ｗが所定の値以下であるか否かを判定する。フレームアウトする確度Ｗが所定の値以下である場合、フレームアウト確度判定部１１４は、フレームアウトしないと判定し、その判定結果を変更値決定部１１６に出力する。第１の実施形態のステップＳ１０４と同様に、ステップＳ８０６において、変更値決定部１１６は、入力された画像データＤに変更処理を施さない決定をする。表示画像処理部１１８は、変更を施していない画像データＤを変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【０１６９】
一方、ステップＳ８０５において、フレームアウトする確度Ｗが所定の値以下でないと判定した場合、変更値決定部１１６は、ステップＳ８０７において、表示画像に変更を施す処理領域の、変更に係るパラメータを設定する。ここでは、例として、表示画像において、画像範囲の中心に対して関心物体の位置と対称な位置に係る処理領域の輝度を低下させる場合を例に挙げて説明する。ここでは、フレームアウトする確度Ｗが大きい程、表示画像の輝度を低下させる処理領域の面積を大きくするものとする。この場合、変更値決定部１１６は、ステップＳ８０７において、表示画像の輝度を低下させる処理領域を決定する。変更値決定部１１６は、決定した処理領域を、表示画像処理部１１８に出力する。また、変更値決定部１１６は、変更の種類と変更量とを、すなわち例えば、変更の種類としての輝度を低下させることと輝度の低下量である所定量とを、表示画像処理部１１８に出力する。
【０１７０】
表示画像処理部１１８は、ステップＳ８０８において、入力された画像データに対して、変更処理を施す。例えば、変更値決定部１１６が決定した処理領域の輝度を低下させる。この例では、画像範囲の端側の輝度が特に低く画像範囲の中心側の輝度が比較的高い、グラデーション状に処理領域の輝度を低下させる場合を示す。変更処理後の変更画像データＤ´を、表示部１２６に出力する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第１の実施形態のそれと同様である。
【０１７１】
本実施形態によれば、表示部１２６には、例えば図４７のような画像が表示される。すなわち、表示画像中で、画像範囲の中心と関心物体との距離Ｌが大きく、関心物体の移動速度Ｖが大きいときは、関心物体が画像範囲からフレームアウトする確度Ｗは、大きくなるので、表示画像中で輝度を低下させる処理領域は広くなっている。また、距離Ｌが小さく、移動速度Ｖが小さいときは、確度Ｗは小さくなるので、輝度を低下させる処理領域は狭くなっている。距離Ｌが小さく、移動速度Ｖが大きいときは、確度Ｗは中程度となるので、輝度を低下させる処理領域は中程度となっている。また、距離Ｌが大きく、移動速度Ｖが小さいときも、確度Ｗは中程度となるので、輝度を低下させる処理領域は中程度となっている。
【０１７２】
本実施形態によれば、関心物体の位置に係る値と移動速度に係る値との積に応じて処理領域の画像が変更される。その結果、本デジタルカメラを構えて、表示部１２６を観察しながら、フレーミングを確認しているユーザは、画像の変更が弱くなるように、関心物体が表示領域の中心に来る方向に、かつ表示画像に対する関心物体の相対的移動が小さくなる方向に、本デジタルカメラをパンするように誘導される。関心物体の位置に係る値と移動速度に係る値との積を、関心物体が画像範囲からフレームアウトする確度としているため、関心物体の位置のみによって、又は関心物体の移動速度のみによって関心物体が画像範囲からフレームアウトする確度を評価する場合に比べて、当該確度をより正確に評価することができる。
【０１７３】
なお、前記説明では、関心物体が画像範囲からフレームアウトする確度Ｗを、距離Ｌと移動速度Ｖとの単純な積（Ｗ＝Ｌ×Ｖ）として算出するとしたが、それ以外にもＬ，Ｖを引数とした演算で確度Ｗが距離Ｌ及び移動速度Ｖと正の相関を有する関数であれば、どのような形でも構わない。例えばＷ＝Ａ×Ｌ^Ｔ×Ｖ^Ｓ（Ａ，Ｔ，Ｓは、それぞれ定数）や、Ｌ，Ｖの多項式等とすることができる。
【０１７４】
また、ステップＳ８０５の判定において用いる所定の値を０として、変更処理を施すか施さないかの判定に閾値を設けない構成としてもよい。
また、前記の説明では、表示画像に施す処理を、輝度の変更とし、フレームアウトする確度Ｗに応じて変更する値を処理領域の面積として説明したが、表示画像に施す処理を、黒色の塗り潰し、解像度、先鋭度、コントラスト、彩度、及び色相の変更、及びそれらの組み合わせでもよいし、フレームアウトする確度Ｗに応じて変更する値を、輝度、解像度、先鋭度、コントラスト、彩度、及び色相の変更量としてもよい。
【０１７５】
例として、確度Ｗに応じて輝度の変更量を変化させる場合の表示画像例を、図４８に示す。この図では、表示画像中で、画像範囲の中心と関心物体との距離Ｌが大きく、関心物体の移動速度Ｖが大きいときは、関心物体が画像範囲からフレームアウトする確度Ｗは、大きくなるので、表示画像中の処理領域の輝度の低下量は大きくなっている。また、距離Ｌが小さく、移動速度Ｖが小さいときは、確度Ｗは小さくなるので、処理領域の輝度の低下量は小さくなっている。距離Ｌが小さく、移動速度Ｖが大きいとき、及び、距離Ｌが大きく、移動速度Ｖが小さいときは、確度Ｗは中程度となるので、処理領域の輝度の低下量は中程度となっている。
【０１７６】
［第８の実施形態］
本発明の第８の実施形態について説明する。ここでは、第２及び第７の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、第２の実施形態と同様に、図１５に示す構成を有する。本実施形態に係るエフェクト決定部１１５は、フレームアウト確度判定部１１４が求めるフレームアウト確度に基づいて、第２の実施形態と同様に、画像データＤに付加するエフェクトの各種パラメータを決定する。表示画像処理部１１８は、エフェクト決定部１１５の決定に基づいて、画像データＤにエフェクトを付加する。
【０１７７】
本実施形態においてフレームアウト確度判定部１１４は、第７の実施形態と同様に、画像データＤが表す画像範囲における、関心物体の重心と画像範囲の中心との距離、及び関心物体の移動速度の両者を含むパラメータを基準として、関心物体が画像範囲からフレームアウトする確度を決定する。
【０１７８】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図４９に示す。この図に示すように、本実施形態に係るステップＳ９０１乃至ステップＳ９０５の処理は、第７の実施形態のステップＳ８０１乃至ステップＳ８０５と、それぞれ同様である。ただし、第７の実施形態における変更値決定部１１６は、本実施形態では、エフェクト決定部１１５と読み替えるものとする。
【０１７９】
ステップＳ９０５において、フレームアウト確度判定部１１４が画像範囲の中心と関心物体の重心との距離が所定の値以下であると判定した場合、ステップＳ９０６において、エフェクト決定部１１５は、その判定結果に従って、入力された画像データＤにエフェクトを付加しない決定をする。この決定を受けて、表示画像処理部１１８は、画像データＤをそのまま変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【０１８０】
ステップＳ９０５において、フレームアウトする確度Ｗが所定の値以下でないと判定した場合、フレームアウト確度判定部１１４は、フレームアウトすると判定し、その判定結果をエフェクト決定部１１５に出力する。エフェクト決定部１１５は、その判定結果に従って、ステップＳ９０７において、表示画像に付加するエフェクトを決定する。ここでは、関心物体の重心を中心とした楕円を表示するものとし、その線のパターンをフレームアウトする確度Ｗに応じて変化させるものとする。エフェクト決定部１１５は、決定したエフェクトを、表示画像処理部１１８に出力する。
【０１８１】
表示画像処理部１１８は、ステップＳ９０８において、入力された画像データに対して、エフェクトを付加する。エフェクトを付加した変更画像データＤ´を、表示部１２６に出力する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第２の実施形態のそれと同様である。
【０１８２】
本実施形態によれば、表示部１２６には、例えば図５０のような画像が表示される。すなわち、表示画像中で、画像範囲の中心と関心物体ＯＩとの距離Ｌが大きく、関心物体ＯＩの移動速度Ｖが大きいときは、関心物体ＯＩが画像範囲からフレームアウトする確度Ｗは、大きくなるので、表示画像中において、エフェクトＥＦである楕円は太い線で表示されている。また、距離Ｌが小さく、移動速度Ｖが小さいときは、確度Ｗは小さくなるので、エフェクトＥＦである楕円は細い線で表示されている。距離Ｌが小さく、移動速度Ｖが大きいときは、確度Ｗは中程度となるので、エフェクトＥＦである楕円の線は中程度となっている。また、距離Ｌが大きく、移動速度Ｖが小さいときも、確度Ｗは中程度となるので、エフェクトＥＦである楕円の線は中程度となっている。
【０１８３】
本実施形態によれば、関心物体の位置に係る値と移動速度に係る値との積に応じて画像に表示されるエフェクトが変化する。本デジタルカメラを構えて、表示部１２６を観察しながらフレーミングを確認しているユーザは、エフェクトが弱くなるように、関心物体が表示領域の中心に来る方向に、かつ表示画像に対する関心物体の相対的移動が小さくなる方向に、本デジタルカメラをパンするように誘導される。関心物体の位置に係る値と移動速度に係る値との積を、関心物体が画像範囲からフレームアウトする確度としているため、画像処理装置１１０は、関心物体の位置のみによって、又は関心物体の移動速度のみによって関心物体が画像範囲からフレームアウトする確度を評価する場合に比べて、当該確度をより正確に評価することができる。
【０１８４】
なお、第７の実施形態と同様に、関心物体が画像範囲からフレームアウトする確度Ｗは、Ｌ，Ｖを引数とした演算で確度Ｗが距離Ｌ及び移動速度Ｖと正の相関を有する関数であれば、どのような形でも構わない。また、ステップＳ９０５の判定において用いる所定の値を０として、変更処理を施すか施さないかの判定に閾値を設けない構成としてもよい。
【０１８５】
また、確度Ｗに応じて、エフェクトである楕円の線の色や濃さ等のパターンを変化させるように構成されてもよいし、エフェクトである楕円によって囲まれる部分の面積を変化させるように構成されてもよい。また、エフェクトは、楕円に限らず、関心物体の輪郭線と平行な線及び／又は輪郭線に沿った線としてもよいし、その他の形状としてもよい。また、時間と共に変化するようにしてもよい。
【０１８６】
また、本実施形態とその各種変形例は、第７の実施形態と組み合わせて用いられ得る。すなわち、第７の実施形態のように画像の一部に変更処理が施され、かつエフェクトが付加されるようにしてもよい。その場合、第７の実施形態における変更値決定部１１６又は本実施形態におけるエフェクト決定部１１５が、エフェクト決定部１１５と変更値決定部１１６との両方の機能を有し、表示画像処理部１１８が第７の実施形態に係る画像の変更と、第８の実施形態に係るエフェクトの付加とを、画像データＤに施す。その結果、例えば、上述の図２６に示すように、エフェクトＥＦが付加され、処理領域ＰＲに変更処理が施された画像が作成される。
【０１８７】
［第９の実施形態］
本発明の第９の実施形態について説明する。ここでは、第３及び第７の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、第３の実施形態と同様に、図２７に示す構成を有する。本実施形態に係る変形パラメータ決定部１１７は、フレームアウト確度判定部１１４が求めるフレームアウト確度に基づいて、第３の実施形態と同様に、画像データＤに施す変形処理の各種パラメータを決定する。表示画像処理部１１８は、変形パラメータ決定部１１７の決定に基づいて、画像データＤに変形処理を施す。
【０１８８】
本実施形態においてフレームアウト確度判定部１１４は、第７の実施形態と同様に、画像データＤが表す画像範囲における、関心物体の重心と画像範囲の中心との距離、及び関心物体の移動速度の両者を含むパラメータを基準として、関心物体が画像範囲からフレームアウトする確度を決定する。
【０１８９】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図５１に示す。この図に示すように、本実施形態に係るステップＳ１００１乃至ステップＳ１００５の処理は、第７の実施形態のステップＳ８０１乃至ステップＳ８０５の処理と、それぞれ同様である。ただし、第７の実施形態における変更値決定部１１６は、本実施形態では、変形パラメータ決定部１１７と読み替えるものとする。
【０１９０】
ステップＳ１００５において、フレームアウト確度判定部１１４が画像範囲の中心と関心物体の重心との距離が所定の値以下であると判定した場合、ステップＳ１００６において、変形パラメータ決定部１１７は、その判定結果に従って、入力された画像データＤに変形処理を施さない決定をする。この決定を受けて、表示画像処理部１１８は、画像データＤをそのまま変更画像データＤ´として表示部１２６に出力する。その結果、表示部１２６は、画像データＤである変更画像データＤ´に基づく画像を表示する。
【０１９１】
ステップＳ１００５の判定において、フレームアウトする確度Ｗが所定の値以下でないと判定した場合、変形パラメータ決定部１１７は、ステップＳ１００７において、表示画像に施す変形に係る変形パラメータを設定する。ここでは、第３の実施形態の場合と同様に、変形処理として、長方形である表示画像の輪郭のうち、関心物体から最も近い辺と対向する辺を短くして、表示画像全体を台形に変形させる処理が行われる。また、短くする辺の長さは、フレームアウトする確度Ｗが大きい程短くする。すなわち、変形パラメータ決定部１１７は、変形パラメータとして、短くする辺は、上下左右の４辺のうち何れの辺であるかと、短くする辺の短縮させる割合を決定する。変形パラメータ決定部１１７は、決定した変形パラメータを、表示画像処理部１１８に出力する。
【０１９２】
表示画像処理部１１８は、ステップＳ１００８において、入力された画像データに対して、変形処理を施す。表示画像処理部１１８は、変形処理後の変形画像データＤ´を、表示部１２６に出力する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第３の実施形態のそれと同様である。
【０１９３】
本実施形態によれば、表示部１２６には、例えば図５２のような画像が表示される。すなわち、表示画像中で、画像範囲の中心と関心物体との距離Ｌが大きく、関心物体の移動速度Ｖが大きいときは、関心物体が画像範囲からフレームアウトする確度Ｗは、大きくなるので、画像の歪みは大きくなっている。また、距離Ｌが小さく、移動速度Ｖが小さいときは、確度Ｗは小さくなるので、画像の歪みは小さくなっている。距離Ｌが小さく、移動速度Ｖが大きいときは、確度Ｗは中程度となるので、画像の歪みは中程度となっている。また、距離Ｌが大きく、移動速度Ｖが小さいときも、確度Ｗは中程度となるので、画像の歪みは中程度となっている。
【０１９４】
本実施形態によれば、関心物体の位置に係る値と移動速度に係る値との積に応じて画像が変形される。その結果、本デジタルカメラを構えて、表示部１２６を観察しながらフレーミングを確認しているユーザは、画像の変形が弱くなるように、関心物体が表示領域の中心に来る方向に、かつ表示画像に対する関心物体の相対的移動が小さくなる方向に、本デジタルカメラをパンするように誘導される。関心物体の位置に係る値と移動速度に係る値との積を、関心物体が画像範囲からフレームアウトする確度としているため、画像処理装置１１０は、関心物体の位置のみによって、又は関心物体の移動速度のみによって関心物体が画像範囲からフレームアウトする確度を評価する場合に比べて、当該確度をより正確に評価することができる。
【０１９５】
なお、第７の実施形態と同様に、関心物体が画像範囲からフレームアウトする確度Ｗは、Ｌ，Ｖを引数とした演算で確度Ｗが距離Ｌ及び移動速度Ｖと正の相関を有する関数であれば、どのような形でも構わない。また、ステップＳ１００５の判定において用いる所定の値を０として、変更処理を施すか施さないかの判定に閾値を設けない構成としてもよい。
【０１９６】
また、前記の説明では、表示画像に施す変形を、第３の実施形態の場合と同様に、長方形である表示画像の輪郭のうち、関心物体から最も近い辺と対向する辺が短くされ、表示画像全体が台形に変形させられることとした。これに限らず、関心物体の移動方向の後側に相当する辺が短くされ、表示画像が台形に変形させられてもよい。また、第３の実施形態の第１の変形例と同様に、関心物体の位置に応じて画像が所定の方向に伸縮させられてもよいし、移動方向に応じて画像が所定の方向に伸縮させられてもよい。また、関心物体の位置又は移動方向に応じて、第３の実施形態の第２の変形例と同様に、画像の輪郭が変形させられつつ、画像が所定の方向に伸縮させられてもよい。
【０１９７】
また、本実施形態とその各種変形例は、第７の実施形態及び／又は第８の実施形態と組み合わせて用いられ得る。すなわち、第７の実施形態のように、画像の一部に変更処理が施され、かつ本実施形態のように変形処理が施されるようにしてもよい。その場合、第７の実施形態における変更値決定部１１６又は本実施形態における変形パラメータ決定部１１７が、変更値決定部１１６と変形パラメータ決定部１１７との両方の機能を有し、表示画像処理部１１８が第７の実施形態に係る画像の変更と、本実施形態に係る変形処理とを、画像データＤに施す。その結果、例えば、前記した図３４に示すような画像が作成される。同様に本実施形態と第８の実施形態と組み合わせて、画像に変形処理を施すとともにエフェクトを付加するようにし、前記した図３５に示すような画像が作成されるように、画像処理装置１１０が構成されてもよい。また、第７の実施形態に係る変更処理と、第８の実施形態に係るエフェクトの付加と、第９の実施形態に係る変形処理とを組み合わせて、例えば前記した図３６に示すような画像を作成するように、画像処理装置１１０が構成されてもよい。
【０１９８】
［第１０の実施形態］
本発明の第１０の実施形態について説明する。ここでは、第７の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第７の実施形態では、画像範囲の中心と関心物体の重心との距離Ｌ、及び表示画像を基準とした関心物体の相対的な移動速度Ｖの両者のパラメータを包含する１つのパラメータである関心物体が画像範囲からフレームアウトする確度Ｗが、画像範囲に画像の変更処理を施すころで表されている。これに対して本実施形態では、距離Ｌに対して第１のパラメータを割当て、相対的な移動速度Ｖに対して第２のパラメータを割当てる。
【０１９９】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図５３に示す。この図に示すように、第７の実施形態のステップＳ８０１と同様に、関心物体検出部１１２には、ステップＳ１１０１において、画像信号生成部１２４が作成した画像データＤが入力される。関心物体検出部１１２は、当該画像データＤが表す画像における関心物体の位置を特定し、特定した関心物体の位置を、フレームアウト確度判定部１１４に出力する。
【０２００】
フレームアウト確度判定部１１４は、ステップＳ１１０２において、第７の実施形態のステップＳ８０２と同様に、関心物体検出部１１２が特定した関心物体の位置に基づいて、画像における画像範囲の中心と関心物体の重心との距離Ｌを算出する。また、フレームアウト確度判定部１１４は、ステップＳ１１０３において、第７の実施形態のステップＳ８０３と同様に、関心物体検出部１１２が特定した関心物体の位置に基づいて、画像における関心物体の位置の時間変化Ｖ、すなわち関心物体の相対的な移動速度Ｖ（以下、単に移動速度Ｖと記載する）を算出する。
【０２０１】
変更値決定部１１６は、ステップＳ１１０４において、算出した距離Ｌに基づいて、表示画像の処理領域に施す変更に係る第１のパラメータを設定する。また、変更値決定部１１６は、ステップＳ１１０５において、算出した移動速度Ｖに基づいて、表示画像の処理領域に施す変更に係る第２のパラメータを設定する。変更値決定部１１６は、設定した第１のパラメータ及び第２のパラメータを、表示画像処理部１１８に出力する。
【０２０２】
表示画像処理部１１８は、ステップＳ１１０６において、入力された画像データＤに対して、第１のパラメータ及び第２のパラメータに基づいた変更処理を施す。表示画像処理部１１８は、変更処理後の変更画像データＤ´を、表示部１２６に出力する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第７の実施形態のそれと同様である。
【０２０３】
ここでは、例として、表示画像に施す変更は、表示画像の輝度であるとし、距離Ｌに応じて変化させる第１のパラメータは、輝度を低下させる処理領域の面積であり、移動速度Ｖに応じて変化させる第２のパラメータは、低下させる輝度の変更量であるとする。この場合、ステップＳ１１０４では、距離Ｌが大きくなる程処理領域の面積を大きくするように、処理領域の面積を設定する。また、ステップＳ１１０５では、移動速度Ｖが大きくなる程、変更する輝度の低下量を大きくする。その結果、例えば図５４のような表示画像が作成される。すなわち、距離Ｌが比較的大きいとき、処理領域の面積は比較的大きく、距離Ｌが比較的小さいとき、処理領域の面積は比較的小さい。また、移動速度Ｖが比較的大きいとき、変更量は比較的大きく（暗く）、移動速度Ｖが比較的小さいとき、変更量は比較的小さく（明るく）なる。
【０２０４】
本実施形態によれば、表示画像に、距離Ｌに基づく変更と、移動速度Ｖに基づく変更とが施されているので、ユーザは、表示画像を観察することで、距離Ｌに関する情報と、移動速度Ｖに関する情報とを同時に知覚することができる。
【０２０５】
前記の例では、第１のパラメータに係る変更と第２のパラメータに係る変更とは、共に表示画像の輝度の変更として説明したが、解像度、先鋭度、コントラスト、彩度、及び色相の何れの変更でもよい。また、第１のパラメータに係る変更と第２のパラメータに係る変更とは、同じ種類の変更でなく、黒色の塗り潰し、並びに輝度、解像度、先鋭度、コントラスト、彩度、及び色相の変更のうちから選択することができる。その場合、第１のパラメータ及び第２のパラメータは、それぞれ処理領域の面積と変更量との何れを用いてもよい。
【０２０６】
例えば、第１のパラメータに係る変更が、黒色の塗り潰し、輝度、解像度、先鋭度、コントラスト、彩度、及び色相の変更であって、第２のパラメータに係る変更が、黒色への変更、輝度、解像度、先鋭度、コントラスト、彩度、及び色相の変更のうち、第１のパラメータに係る変更を除くものであるときに、第１のパラメータと第２のパラメータの組み合わせは、次の何れでもよい。すなわち、第１のパラメータが処理領域の面積であり、第２のパラメータが処理領域の面積であってもよい。また、第１のパラメータが処理領域の面積であり、第２のパラメータが変更量であってもよい。また、第１のパラメータが変更量であり、第２のパラメータが処理領域の面積であってもよい。また、第１のパラメータが変更量であり、第２のパラメータが変更量であってもよい。一例として、第１のパラメータに係る変更を輝度、第１のパラメータを処理領域の面積、第２のパラメータに係る変更を解像度、第２のパラメータを解像度の低下量とすることができる。すなわち、距離Ｌに応じて面積が変化する処理領域の輝度が所定量低下さられ、所定の処理領域の解像度が移動速度Ｖに応じた変更量だけ低下させられることができる。他の組み合わせについても同様である。
【０２０７】
ただし、黒色の塗り潰しを施すと、その部分の画像情報が失われるので、その部分に変更を施してもユーザは認識できない。したがって、黒色に塗り潰す処理領域が広い場合には、他のパラメータと組み合わせても、ユーザがもう一方の変更を認識できないおそれがある。また、例えば解像度と先鋭度の違いは、ユーザが識別しにくいので、第１のパラメータと第２のパラメータとに、それぞれ解像度と先鋭度とを用いるのは避けることが望ましい。このように、上記の変更のパラメータは、組み合わせによって、表示画像上で、ユーザの認識のしやすさに違いが現れる。このため、ユーザが認識しやすい変更のパラメータの組み合わせとすることが望ましい。例えば、輝度と先鋭度、彩度と先鋭度、輝度と解像度、彩度と解像度、コントラストと解像度、彩度とコントラストなど、ユーザが認識しやすい組み合わせを用いることが望ましい。
【０２０８】
［第１１の実施形態］
本発明の第１１の実施形態について説明する。ここでは、第２及び第１０の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、第２の実施形態と同様に、図１５に示す構成を有する。本実施形態に係るエフェクト決定部１１５は、フレームアウト確度判定部１１４が求めるフレームアウト確度に基づいて、第２の実施形態と同様に、画像データＤに付加するエフェクトの各種パラメータを決定する。表示画像処理部１１８は、エフェクト決定部１１５の決定に基づいて、画像データＤにエフェクトを付加する。
【０２０９】
本実施形態においてフレームアウト確度判定部１１４は、第１０の実施形態と同様に、画像データＤが表す画像範囲における、関心物体の重心と画像範囲の中心との距離Ｌに対して第１のパラメータを割当て、関心物体の移動速度Ｖに対して第２のパラメータを割当てる。
【０２１０】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図５５に示す。この図に示すように、本実施形態に係るステップＳ１２０１乃至ステップＳ１２０３の処理は、第１０の実施形態のステップＳ１１０１乃至ステップＳ１１０３の処理と、それぞれ同様である。ただし、第１０の実施形態における変更値決定部１１６は、本実施形態では、エフェクト決定部１１５と読み替えるものとする。
【０２１１】
エフェクト決定部１１５は、ステップＳ１２０４において、算出した距離Ｌに基づいて、表示画像の処理領域に施す変更に係る第１のパラメータを設定する。また、エフェクト決定部１１５は、ステップＳ１２０５において、算出した移動速度Ｖに基づいて、表示画像の処理領域に施す変更に係る第２のパラメータを設定する。エフェクト決定部１１５は、設定した第１のパラメータ及び第２のパラメータ、すなわち、エフェクトに係る情報を、表示画像処理部１１８に出力する。このように、例えば関心物体の重心と画像範囲の中心との距離Ｌと、関心物体の移動速度Ｖとは、関心位置が画像範囲から外れる確度を表すフレームアウト確度として機能する。
【０２１２】
表示画像処理部１１８は、ステップＳ１２０６において、入力された画像データに対して、第１のパラメータ及び第２のパラメータを含むエフェクトに係る情報に基づいて表示画像にエフェクトを付加し、変更画像データＤ´を作成する。表示画像処理部１１８は、変更処理後の変更画像データＤ´を、表示部１２６に出力する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第２の実施形態のそれと同様である。
【０２１３】
ここでは、例として、エフェクトは、楕円であるとし、距離Ｌに応じて変化させる第１のパラメータは、楕円の線の太さであり、移動速度Ｖに応じて変化させる第２のパラメータは、楕円によって囲まれる部分の面積であるとする。この場合、ステップＳ１２０４では、距離Ｌが大きくなる程楕円の線が太くなるように設定される。また、ステップＳ１２０５では、移動速度Ｖが大きくなる程、楕円によって囲まれる部分の面積が大きくなるように設定される。その結果、例えば図５６のような表示画像が作成される。すなわち、距離Ｌが比較的大きいとき、エフェクトＥＦの楕円の線は比較的太く、距離Ｌが比較的小さいとき、楕円の線は比較的細くなる。また、移動速度Ｖが比較的大きいとき、楕円によって囲まれる部分の面積は比較的大きく、移動速度Ｖが比較的小さいとき、楕円によって囲まれる部分の面積は比較的小さくなる。
【０２１４】
本実施形態によれば、関心物体の位置に係る値と移動速度に係る値とに応じて画像に表示されるエフェクトが変化する。本デジタルカメラを構えて、表示部１２６を観察しながら、フレーミングを確認しているユーザは、エフェクトが弱くなるように、関心物体が表示領域の中心に来る方向に、かつ表示画像に対する関心物体の相対的移動が小さくなる方向に、本デジタルカメラをパンするように誘導される。ここで、表示画像に表示されるエフェクトが、距離Ｌに基づくパラメータと、移動速度Ｖに基づくパラメータとが異なるので、ユーザは、表示画像を観察することで、距離Ｌに関する情報と、移動速度Ｖに関する情報とを同時に知覚することができる。
第１のパラメータ及び第２のパラメータはどのようなものでもよい。また、エフェクトは楕円に限らずどのような形状でもよい。
【０２１５】
また、本実施形態とその各種変形例は、第１０の実施形態と組み合わせて用いられ得る。すなわち、第１０の実施形態のように画像の一部に変更処理を施し、かつエフェクトを付加するようにしてもよい。その場合、第１０の実施形態における変更値決定部１１６又は本実施形態におけるエフェクト決定部１１５が、エフェクト決定部１１５と変更値決定部１１６との両方の機能を有し、表示画像処理部１１８が第１の実施形態に係る画像の変更と、第２の実施形態に係るエフェクトの付加とを、画像データＤに施す。
【０２１６】
例えば、表示画像に施す変更は、表示画像の輝度であるとし、距離Ｌに応じて変化させる第１のパラメータは、輝度を低下させる処理領域の面積であるものとする。また、エフェクトは楕円であるとし、移動速度Ｖに応じて変化させる第２のパラメータは、楕円によって囲まれる部分の面積であるとする。この場合、ステップＳ１２０４では、距離Ｌが大きくなる程処理領域の面積を大きくするように、処理領域の面積が設定される。また、ステップＳ１２０５では、移動速度Ｖが大きくなる程、楕円によって囲まれる部分の面積が大きくなるように設定される。その結果、例えば図５７のような表示画像が作成される。すなわち、距離Ｌが比較的大きいとき、処理領域の面積は比較的大きく、距離Ｌが比較的小さいとき、処理領域の面積は比較的小さい。また、移動速度Ｖが比較的大きいとき、楕円によって囲まれる部分の面積は比較的大きく、移動速度Ｖが比較的小さいとき、楕円によって囲まれる部分の面積は比較的小さくなる。
【０２１７】
［第１２の実施形態］
本発明の第１２の実施形態について説明する。ここでは、第３及び第１０の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、第３の実施形態と同様に、図２７に示す構成を有する。本実施形態に係る変形パラメータ決定部１１７は、フレームアウト確度判定部１１４が求めるフレームアウト確度に基づいて、第３の実施形態と同様に、画像データＤに施す変形処理の各種パラメータを決定する。表示画像処理部１１８は、変形パラメータ決定部１１７の決定に基づいて、画像データＤに変形処理を施す。
【０２１８】
本実施形態においてフレームアウト確度判定部１１４は、第１０の実施形態と同様に、画像データＤが表す画像範囲における、関心物体の重心と画像範囲の中心との距離Ｌに対して第１のパラメータを割当て、関心物体の移動速度Ｖに対して第２のパラメータを割当てる。
【０２１９】
本実施形態に係る画像処理装置１１０の動作を説明するためのフローチャートを図５８に示す。この図に示すように、本実施形態に係るステップＳ１３０１乃至ステップＳ１３０３の処理は、第１０の実施形態のステップＳ１１０１乃至ステップＳ１１０３の処理と、それぞれ同様である。ただし、第１０の実施形態における変更値決定部１１６は、本実施形態では、変形パラメータ決定部１１７と読み替えるものとする。
【０２２０】
変形パラメータ決定部１１７は、ステップＳ１３０４において、算出した距離Ｌに基づいて、表示画像の処理領域に施す変形に係る第１のパラメータを設定する。また、変形パラメータ決定部１１７は、ステップＳ１３０５において、算出した移動速度Ｖに基づいて、表示画像の処理領域に施す変形に係る第２のパラメータを設定する。変形パラメータ決定部１１７は、設定した第１のパラメータ及び第２のパラメータを、表示画像処理部１１８に出力する。
【０２２１】
表示画像処理部１１８は、ステップＳ１３０６において、入力された画像データに対して、第１のパラメータ及び第２のパラメータに基づいた変形処理を施す。表示画像処理部１１８は、変形処理後の変形画像データＤ´を、表示部１２６に出力する。本実施形態に係るデジタルカメラのその他の構成及び動作は、第３の実施形態のそれと同様である。
【０２２２】
ここでは、例として、表示画像に施す変形は、画像の輪郭を台形に変化させる変形と、画像を所定の方向へ伸縮させる変形とする。距離Ｌに応じて変化させる第１のパラメータは、表示画像の輪郭のうち関心物体から最も近い辺の垂線方向に画像を伸縮させる伸縮率とその方向であり、移動速度Ｖに応じて変化させる第２の変形パラメータは、表示画像の輪郭のうち関心物体から最も近い辺と対向する辺とその辺を短く割合であるとする。この場合、ステップＳ１３０４では、距離Ｌが大きくなる程、画像の伸縮率が大きくされ、画像の歪みが大きくされる。また、ステップＳ１３０５では、移動速度Ｖが大きくなる程、画像の輪郭の一辺が短くされ、画像の輪郭の歪みが大きくされる。
【０２２３】
その結果、例えば図５９のような表示画像が作成される。すなわち、距離Ｌが比較的大きいとき、画像の伸縮率は比較的大きく、距離Ｌが比較的小さいとき、画像の伸縮率は比較的小さい。また、移動速度Ｖが比較的大きいとき、輪郭の変形量は比較的大きく、移動速度Ｖが比較的小さいとき、輪郭の変形量は比較的小さくなる。
【０２２４】
本実施形態によれば、表示画像に、距離Ｌに基づく変形と、移動速度Ｖに基づく変形とが施されているので、ユーザは、表示画像を観察することで、距離Ｌに関する情報と、移動速度Ｖに関する情報とを同時に知覚することができる。
【０２２５】
前記の例では、第１のパラメータに係る変形は、表示画像における画像の伸縮率であり、第２のパラメータに係る変形は、表示画像の輪郭のうち関心物体から最も近い辺と対向する辺を短く割合であるとして説明したが、第１のパラメータと第２のパラメータとは、逆に対応付けてもよい。
【０２２６】
また、本実施形態は、第１０の実施形態及び／又は第１１の実施形態と組み合わせて用いられ得る。すなわち、第１０の実施形態のように、画像の一部に変更処理が施され、かつ本実施形態のように変形処理が施されるようにしてもよい。その場合、第１０の実施形態における変更値決定部１１６又は本実施形態における変形パラメータ決定部１１７が、変更値決定部１１６と変形パラメータ決定部１１７との両方の機能を有し、表示画像処理部１１８が第７の実施形態に係る画像の変更と、本実施形態に係る変形処理とを、画像データＤに施す。
【０２２７】
第１のパラメータに係るものを前記したような画像の変形とする。そして、第１のパラメータの値を、画像の輪郭を台形に変化させる変形における、表示画像の輪郭のうち関心物体から最も近い辺と対向する辺と、その辺を短く割合に係る値とする。このとき第２のパラメータを以下のような画像に施す変更処理が考えられる。
【０２２８】
例えば、図６０に示すように、変更処理として、画像範囲の中心に対して関心物体の位置と対称な位置に係る部分を処理領域ＰＲとして特定し、その処理領域ＰＲを、黒色に塗り潰す変更処理が考えられる。この際、移動速度Ｖの大きさに応じて、変更処理、すなわち黒色に塗りつぶす処理を施す処理領域ＰＲの面積を変化させる。
【０２２９】
また、例えば、図６１に示すように、変更処理として、画像範囲の中心に対して関心物体の位置と対称な位置に係る部分を処理領域ＰＲとして特定し、その処理領域ＰＲの輝度を所定量低下させる変更処理が考えられる。この際、移動速度Ｖの大きさに応じて、処理領域ＰＲの面積を変化させる。また、図６２に示すように、移動速度Ｖの大きさに応じて、処理領域ＰＲにおける低下させる輝度の程度を変更するようにしてもよい。
【０２３０】
また、例えば、図６３に示すように、処理領域ＰＲの解像度を所定量低下させる変更処理が考えられる。この際、移動速度Ｖの大きさに応じて、処理領域ＰＲの面積を変化させる。また、移動速度Ｖの大きさに応じて、処理領域ＰＲにおける低下させる解像度の程度を変更するようにしてもよい。
【０２３１】
また、例えば、図６４に示すように、処理領域ＰＲの鮮鋭度を所定量低下させる変更処理が考えられる。この際、移動速度Ｖの大きさに応じて、処理領域ＰＲの面積を変化させる。また、移動速度Ｖの大きさに応じて、処理領域ＰＲにおける低下させる先鋭度の程度を変更するようにしてもよい。
【０２３２】
また、例えば、図６５に示すように、処理領域ＰＲのコントラストを所定量低下させる変更処理が考えられる。この際、移動速度Ｖの大きさに応じて、処理領域ＰＲの面積を変化させる。また、移動速度Ｖの大きさに応じて、処理領域ＰＲにおける低下させるコントラストの程度を変更するようにしてもよい。
【０２３３】
また、例えば、処理領域ＰＲの彩度を所定量低下させグレーに近づけた表示にする変更処理が考えられる。この際、移動速度Ｖの大きさに応じて、処理領域ＰＲの面積を変化させる。また、移動速度Ｖの大きさに応じて、処理領域ＰＲにおける低下させる彩度の程度を変更するようにしてもよい。
【０２３４】
また、例えば、処理領域ＰＲの色相を所定量変化させる変更処理が考えられる。この際、移動速度Ｖの大きさに応じて、処理領域ＰＲの面積を変化させる。また、移動速度Ｖの大きさに応じて、処理領域ＰＲにおける変化させる色相の程度を変更するようにしてもよい。
【０２３５】
また、黒色の塗り潰し、並びに輝度、解像度、先鋭度、コントラスト、彩度、及び色相の変更のうち複数のものを組み合わせてもよい。また、前記の場合のそれぞれについて、第１のパラメータによる変形に、例えば図３２（ｂ）を参照して説明したような、関心物体の位置に応じて画像を所定の方向に伸縮させることを割当ててもよい。また、第１のパラメータに、黒色の塗り潰し、並びに輝度、解像度、先鋭度、コントラスト、彩度、及び色相の変更のうち少なくとも何れか１つの画像の変更を割当て、第２のパラメータに、画像の輪郭を台形に変化させる変形、又は画像を所定の方向に伸縮させることといった画像の変形を割当ててもよい。
【０２３６】
また、本実施形態と第１１の実施形態と組み合わせて用いてもよい。すなわち、本実施形態のように画像に変形処理を施し、かつ第１１の実施形態のようにエフェクトを付加するようにしてもよい。例えば、第１のパラメータを前記したような画像の変形とし、画像の輪郭を台形に変化させる変形における、表示画像の輪郭のうち関心物体から最も近い辺と対向する辺と、その辺を短く割合とする。また、エフェクトは楕円であるとし、移動速度Ｖに応じて変化させる第２のパラメータは、楕円によって囲まれる部分の面積であるとする。
【０２３７】
この場合、例えば図６６のような表示画像が作成される。すなわち、距離Ｌが比較的大きいとき、変形の割合は比較的大きく、距離Ｌが比較的小さいとき、変形の割合は比較的小さい。また、移動速度Ｖが比較的大きいとき、エフェクトＥＦである楕円によって囲まれる部分の面積は比較的大きく、移動速度Ｖが比較的小さいとき、楕円によって囲まれる部分の面積は比較的小さくなる。
【０２３８】
また、エフェクトの付加について、第２のパラメータによってエフェクトＥＦの楕円の線の太さを変化させるようにしてもよい。また、第１のパラメータによる変形に、関心物体の位置に応じて画像を所定の方向に伸縮させることを割当ててもよい。また、第１のパラメータに、エフェクトの付加を割当て、第２のパラメータに、画像の変形を割当ててもよい。
【０２３９】
何れの場合も、表示画像に、距離Ｌに基づく変形又は変更と、移動速度Ｖに基づく変形又は変更とが施されているので、ユーザは、表示画像を観察することで、距離Ｌに関する情報と、移動速度Ｖに関する情報とを同時に知覚することができる。
【０２４０】
なお、第４乃至第１２の実施形態の場合も、第１の実施形態の場合と同様に、関心物体は画像範囲内になくてもよく、関心物体検出部１１２が、画像範囲の外部でも関心物体の位置を特定することができる場合、画像範囲外の関心物体の位置の時間変化に応じて同様の処理を行うことができる。また、上記のように、関心物体が画像範囲外にある場合に、画像処理によって、関心物体の位置を指示するようにしてもよい。また、関心物体検出部１１２には、撮像部１２２から出力されたＲａｗデータがそのまま入力され、Ｒａｗデータに基づいて関心物体の位置が特定されるように構成されてもよい。また、画像範囲と関心物体の位置との位置関係を求める基準として、画像範囲の中心を利用するに限らず、その他の部分を基準としてもよい。また、対象物体の位置は、対象物体の重心に限らず、例えば対象物体が人物であるときは、顔にしたり、画像における人物の縁にしたりでき、その他どのような基準を設けてもよい。また、関心物体は、人物に限らずその他のものでも勿論よい。また、関心物体検出部１１２が関心物体を検出する方法は、どの様な方法でもよい。
【０２４１】
［第１３の実施形態］
本発明の第１３の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１の実施形態では、関心物体検出部１１２は、画像信号生成部から、画像データＤが入力され、画像データＤが表す画像に基づいて、関心物体の位置を特定している。これに対して、本実施形態では、関心物体の位置を特定するために、追尾センサを別途備えている。
【０２４２】
本実施形態に係るデジタルカメラの構成の概略を、図６７に示す。この図に示すように、本デジタルカメラが第１の実施形態に係るデジタルカメラと異なる点は、追尾センサ１３０を有している点である。追尾センサ１３０は、例えば撮像部１２２と異なる追尾用撮像部を有するカメラでもよい。追尾センサ１３０がカメラである場合、基本的な構成は、第１の実施形態と同様であり、関心物体検出部１１２は、追尾用撮像部を有するカメラから画像データが入力され、第１の実施形態と同様に当該画像データが表す画像に基づいて、関心物体の位置を特定する。
【０２４３】
この場合、本デジタルカメラの撮像部１２２と、追尾センサ１３０として機能する追尾用撮像部とは、異なる画角の画像を取得するように構成することができる。例えば、追尾センサ１３０として機能する追尾用撮像部の撮像範囲を、撮像部１２２の撮像範囲よりも広くすることで、撮像部１２２の撮像範囲外の関心物体も、追尾センサ１３０として機能する追尾用撮像部で撮影することができる。その結果、関心物体検出部１１２は、撮像部１２２の画角外の関心物体の位置も特定することができる。
【０２４４】
また、追尾センサ１３０は、関心物体に電波源を配置し、当該電波源からの電波を検出する受信装置でもよい。この場合、関心物体検出部１１２は、追尾センサ１３０として機能する受信装置から、電波源から放射され電波の受信信号を取得する。関心物体検出部１１２は、受信信号に基づいて、画像範囲に対する電波源の位置を特定する。
【０２４５】
また、追尾センサ１３０は、関心物体に配置した赤外線源から放射される赤外線を検出する赤外線センサでもよいし、関心物体の温度を感知する温度センサでもよいし、その他、関心物体からの信号を感知できる各種センサでもよい。
【０２４６】
これら電波、赤外線、温度等の関心物体からの信号を感知するセンサを追尾センサ１３０として用いれば、撮像部１２２の焦点距離・画角と無関係に、関心物体の位置を取得することができる。また、これらセンサを追尾センサ１３０として用いれば、画像上で関心物体の特徴点を抽出しにくい場合など、画像に基づいて関心物体の位置を特定することが困難な場合にも、関心物体の位置を特定することができる。
【０２４７】
本実施形態では、関心物体検出部１１２は、追尾センサ１３０から入力された情報に基づいて、画像範囲に対する関心物体の位置を特定し、それをフレームアウト確度判定部１１４に出力する。本実施形態では、関心物体検出部１１２が関心物体の位置を特定するにあたって追尾センサ１３０が取得した情報を用いる点以外は、第１、第４、第７、及び第１０の実施形態の構成及び動作と同様である。
【０２４８】
本実施形態によっても、本デジタルカメラは、表示部１２６に画像処理装置１１０による処理後の表示画像を表示することで、当該表示画像を観察しながらフレーミングを調整しているユーザに対して、関心物体が撮影範囲の適度な位置に収まるようにフレーミングすることを誘導することができる。画像に施す変更は、第１、第４、第７、及び第１０の実施形態及びその変形例で説明した何れの変更を用いてもよい。
【０２４９】
なお、本実施形態では、関心物体が表示画像範囲内になくてもよい。すなわち、追尾センサ１３０を、表示部１２６に表示する画像範囲の外部まで関心物体の位置を特定できるように構成すれば、本画像処理装置１１０は、表示画像範囲外の関心物体についても、その位置に応じて同様の処理を行うことができる。このため、追尾センサ１３０として、例えば前記のように、表示画像範囲よりも広い範囲を撮像できる追尾用撮像部を用いることができる。また、追尾センサ１３０として、例えば表示画像範囲よりも広い範囲からの信号を受信できる、電波受信装置、赤外線センサ、温度センサ、その他の各種センサ等を用いることができる。また、上記のように、関心物体が画像範囲外に出た場合に、図７に示したように、処理領域の形状によって、関心物体の位置を指示するようにしてもよい。
【０２５０】
また、本実施形態は、第２、第５、第８、及び第１１の実施形態及びその変形例に適用してもよい。この場合、本デジタルカメラの構成の概略は、図６８のようになる。すなわち、本デジタルカメラは、追尾センサ１３０を備え、関心物体検出部１１２は、この追尾センサ１３０から入力された情報に基づいて、関心物体の位置を特定する。その他については、第２、第５、第８、及び第１１の実施形態及びその変形例と同様である。
【０２５１】
また、本実施形態は、第３、第６、第９、及び第１２の実施形態及びその変形例に適用してもよい。この場合、本デジタルカメラの構成の概略は、図６９のようになる。すなわち、本デジタルカメラは、追尾センサ１３０を備え、関心物体検出部１１２は、この追尾センサ１３０から入力された情報に基づいて、関心物体の位置を特定する。その他については、第３、第６、第９、及び第１２の実施形態及びその変形例と同様である。
【０２５２】
また、前記した第１乃至第１２の実施形態の場合と同様に、各実施形態に係る変更値決定部１１６、エフェクト決定部１１５、及び変形パラメータ決定部１１７を互いに組み合わせてもよい。
【０２５３】
［第１４の実施形態］
本発明の第１４の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。本実施形態に係るデジタルカメラは、ズーム光学系を有する。本実施形態に係るデジタルカメラは、ズームイン／アウトの動作に連動して画像処理装置１１０を動作させる。
【０２５４】
本実施形態に係るデジタルカメラの構成の概略を、図７０に示す。この図に示すように、本デジタルカメラは、撮像部１２２内にズーム光学系１４２を有する。また、本デジタルカメラは、メインコントローラ１２８に接続するズームスイッチ１４４を有する。ズーム光学系１４２は、例えばデジタルカメラに用いられる一般的なズーム光学系である。このズーム光学系１４２の動作は、メインコントローラ１２８によって制御される。すなわち、ズーム光学系１４２は、メインコントローラ１２８の制御の下、その焦点距離をワイド側及びテレ側に変化させる。
【０２５５】
ズームスイッチ１４４は、ズーム光学系１４２の動作に係るユーザの指示が入力される入力部として機能する。ズームスイッチ１４４は、例えばズーム光学系１４２のワイド側への動作とテレ側への動作とをそれぞれ入力するための２つのボタンスイッチである。また、ズームスイッチ１４４は、スライダや、表示部１２６上に設けられたタッチパネルでもよい。
【０２５６】
ズームスイッチ１４４は、ユーザから入力されたズーム光学系の焦点距離の変化に係る指示を、メインコントローラ１２８に出力する。メインコントローラ１２８は、ズームスイッチ１４４から入力されたユーザの指示に基づいて、ズーム光学系１４２の動作を制御する。すなわち、メインコントローラ１２８は、ズーム光学系１４２の焦点距離を変化させる。
【０２５７】
本実施形態では、メインコントローラ１２８は、ズームスイッチ１４４からの入力に応じて画像処理装置１１０の動作の開始及び終了を制御する。本実施形態におけるメインコントローラ１２８の動作を図７１に示すフローチャートを参照して説明する。
【０２５８】
ステップＳ１４０１においてメインコントローラ１２８は、ズーム動作が開始したか否かを判定する。ステップＳ１４０１においてズーム動作が開始していると判定されたら、処理はステップＳ１４０２に移される。
【０２５９】
ステップＳ１４０２においてメインコントローラ１２８は、画像処理装置１１０を機能させて、入力された画像データＤに基づく画像に変更処理を施した変更画像データＤ´を作成させる。ここで、画像処理装置１１０による変更画像データＤ´の作成は、第１の実施形態の説明において図２を参照して説明したとおりである。すなわち簡単に説明すると、画像処理装置１１０は、関心物体の位置を特定し、表示領域の中心と関心物体の中心との位置関係に応じて処理領域を決定し、処理領域内を変更するように画像に変更処理を施し、処理後の変更画像データＤ´を表示部１２６に出力する。その結果、表示部１２６は、画像処理装置１１０の表示画像処理部１１８から入力された変更画像データＤ´に基づいて、変更処理後の画像を表示する。
【０２６０】
ステップＳ１４０３においてメインコントローラ１２８は、ズーム動作が停止されたか否かを判定する。ステップＳ１４０４においてズーム動作が停止されたと判定されたら、処理はステップＳ１４０１に戻される。一方、ステップＳ１４０３においてズーム動作が停止されていないと判定されたら、処理はステップＳ１４０２に戻され、メインコントローラ１２８は、画像処理装置１１０に変更画像の作成を繰り返させる。
【０２６１】
ステップＳ１４０１においてズーム動作が開始されていないと判定されたら、処理はステップＳ１４０４に移される。ステップＳ１４０４においてメインコントローラ１２８は、画像処理装置１１０に変更処理を施させない。すなわち、メインコントローラ１２８は、画像処理装置１１０の表示画像処理部１１８に、入力された画像データＤをそのまま変更画像データＤ´として表示部１２６に出力させる。その結果、表示部１２６は、画像処理装置１１０の表示画像処理部１１８から入力された変更処理を施していない画像データＤに基づく画像をそのまま変更画像データＤ´に基づく画像として表示する。
【０２６２】
ステップＳ１４０５においてメインコントローラ１２８は、処理が終了か否かを判定する。ステップＳ１４０５において、処理が終了でないと判定されたら、処理はステップＳ１４０１に戻される。一方、ステップＳ１４０５において、処理が終了と判定されたら、処理は終了される。
【０２６３】
以上のように動作する本実施形態では、ズームイン／アウトしていないときは、変更処理が行われない。一方、ズームイン／アウトしているときは、第１の実施形態と同様に変更処理が行われる。ズームインの際には例えば図７２のような画像が表示される。図７２の上図に示すように、広角で取得した画像においては、関心物体ＯＩの中心と表示領域ＤＡの中心との距離は短い。これに対して、図７２の中図及び左下図のようにズームインするに従って、関心物体ＯＩの中心と表示領域ＤＡの中心とは徐々に離れていく。
【０２６４】
関心物体ＯＩの中心と表示領域ＤＡの中心とが離れると、図７２の左下図のように、画像処理装置１１０によって、表示領域ＤＡの中心に対して関心物体ＯＩと対称な位置に処理領域ＰＲが設定され、処理領域ＰＲが黒色に塗り潰される画像処理が行われる。ここで、ユーザが本デジタルカメラを左にパンすると、関心物体ＯＩが表示領域ＤＡの中心付近に位置する。その結果、図７２の右下図のように、黒色に塗り潰された部分がない画像が表示される。このように、例えばメインコントローラ１２８は、撮像部がズーム機能を発揮し始めたか否かを判定し、ズーム機能を発揮し始めたら画像処理装置に改変処理を実行させるように構成された制御部として機能する。
【０２６５】
本実施形態によっても、画像処理装置１１０を有するデジタルカメラは、関心物体が常に表示領域内に収まるように、ユーザを誘導することができる。ズームイン／アウトするときは、画角が変化するので関心物体が表示領域から外れやすい。特に、ズームインするときは、その画角が狭くなるので、関心物体が表示領域から外れやすい。したがって、本実施形態のようにズームイン／アウトするときに画像処理装置１１０を機能させることは、関心物体が常に表示領域内に収まるようにユーザを誘導することにとって効果的である。
【０２６６】
なお、本実施形態では、ズームイン／アウトするときに画像処理装置１１０を機能させ、それ以外のときは、画像処理装置１１０を機能させていない。これは、メインコントローラ１２８や画像処理装置１１０としての演算装置の処理量を考慮したためである。一般にズームイン／アウトするときは、撮影が行われない場合が多い。このときは、演算装置の処理に余裕がある。一方で、ズームイン／アウトするときは、関心物体が表示領域内から外れやすい。そこで本実施形態では、演算装置は、ズームイン／アウトするときに変更処理が行われるよう構成されている。演算装置の処理量に余裕がある場合、ズームイン／アウトするときに限らず画像処理装置１１０を機能させるように本デジタルカメラを構成してもよい。
【０２６７】
本実施形態では、ステップＳ１４０２において第１の実施形態と同様の処理を行うものとして説明したが、これに限らない。画像処理装置１１０を第２乃至第１２の実施形態と同様に構成すれば、メインコントローラ１２８は、ステップＳ１４０２において画像処理装置１１０に第２乃至第１２の実施形態のような画像処理をさせることができる。
【０２６８】
また、第１３の実施形態のように本デジタルカメラが追尾センサ１３０を有していれば、ステップＳ１４０２において、画像処理装置１１０に第１３の実施形態と同様の画像処理を行わせることができる。
【０２６９】
また、本実施形態では、撮像部１２２がズーム光学系を有しているものとしたが、光学系を利用したズームに限らず、いわゆるデジタルズームを用いても同様に機能し同様の効果を得ることができる。
【０２７０】
［第１４の実施形態の変形例］
第１４の実施形態の変形例について第１４の実施形態と異なる部分を説明する。本変形例では、ズームスイッチ１４４にさらに表示リセットスイッチが設けられている。本変形例によるメインコントローラ１２８の動作を図７３に示すフローチャートを参照して説明する。
【０２７１】
ステップＳ１５０１においてメインコントローラ１２８は、ズーム動作が開始したか否かを判定する。ステップＳ１５０１においてズーム動作が開始していると判定されたら、処理はステップＳ１５０２に移される。
【０２７２】
ステップＳ１５０２においてメインコントローラ１２８は、画像処理装置１１０を動作させて、画像処理装置１１０に変更画像を作成させる。その結果、表示部１２６は、画像処理装置１１０の表示画像処理部１１８から入力された変更処理後の変更画像データＤ´に基づいて、変更処理後の画像を表示する。
【０２７３】
ステップＳ１５０３においてメインコントローラ１２８は、表示リセットスイッチが押されたか否かを判定する。ステップＳ１５０４において表示リセットスイッチが押されたと判定されたら、処理はステップＳ１５０１に戻される。一方、ステップＳ１５０３において表示リセットスイッチが押されていないと判定されたら、処理はステップＳ１５０２に戻され、画像処理装置１１０による変更画像の作成を繰り返させる。
【０２７４】
ステップＳ１５０１においてズーム動作が開始されていないと判定されたら、処理はステップＳ１５０４に移される。ステップＳ１５０４においてメインコントローラ１２８は、画像処理装置１１０に変更処理を施させない。すなわち、メインコントローラ１２８は、画像処理装置１１０の表示画像処理部１１８に、入力された画像データＤをそのまま変更画像データＤ´として表示部１２６に出力させる。その結果、表示部１２６は、画像処理装置１１０の表示画像処理部１１８から入力された変更処理を施していない画像データＤに基づく画像をそのまま変更画像データＤ´に基づく画像として表示する。
【０２７５】
ステップＳ１５０５においてメインコントローラ１２８は、処理が終了か否かを判定する。ステップＳ１５０５において、処理が終了でないと判定されたら、処理はステップＳ１５０１に戻される。一方、ステップＳ１５０５において、処理が終了と判定されたら、処理は終了される。
【０２７６】
本変形例によれば、ズームイン／アウトが開始されたら表示リセットスイッチが押されるまで画像処理装置１１０が機能させられる。すなわち、ズームイン／アウトが停止した後も、表示リセットスイッチが押されるまで画像処理装置１１０が機能させられる。その結果、例えばズームインした際に関心物体が表示領域の端に移動し、その後ズームイン動作が停止されても、表示部１２６には、図７２の左下図のように変更処理が施された画像が表示される。本変形例によれば、画像処理装置１１０を有するデジタルカメラは、例えばズームインした後まで関心物体が表示領域内に収まるように、ユーザを誘導することができる。
【０２７７】
［第１５の実施形態］
本発明の第１５の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付して、その説明は省略する。第１乃至第１３の実施形態は、画像処理装置１１０をデジタルカメラに適用した場合を説明をしたが、本発明に係る画像処理装置は、デジタルカメラに限らず、関心物体を含む画像を扱う様々なものに用いることができる。
【０２７８】
例えば、第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を、図７４示すように、撮像装置としての内視鏡に適用することができる。図７４に示す内視鏡は、被検体の体内に挿入する挿入部２３２を有する。挿入部２３２について、被検体の体内に挿入する側を先端側と被検体の体外側を基端側と称することにする。挿入部２３２の先端側の端部付近には、撮像部２２２が配置されている。挿入部２３２の先端付近の、撮像部２２２が配置されている部分より基端側は、操作部２３４を用いた操作によって、自在に屈曲するように構成されている。本内視鏡は、撮像部２２２の撮像範囲を照らすため、光源部２３６を有する。撮像部２２２は、画像信号生成部２２４と接続している。画像信号生成部２２４は、第１の実施形態と同様の、関心物体検出部１１２、フレームアウト確度判定部１１４、変更値決定部１１６、及び表示画像処理部１１８を有する画像処理装置１１０に接続している。画像処理装置１１０内の表示画像処理部１１８は、表示部２２６に接続している。
【０２７９】
撮像部２２２は、内視鏡画像として、図示しないレンズ等によって結像された被写体像を光電変換によって電気信号に変換し、この電気信号をＲａｗデータに変換して、画像信号生成部２２４に出力する。すなわち、内視鏡撮影を行う。画像信号生成部２２４は、第１の実施形態における画像信号生成部１２４と同様に、撮像部２２２から入力されたＲａｗデータに基づいて、各種処理を施し、画像信号（画像データ）を作成する。画像信号生成部２２４は、画像データを、画像処理装置１１０内の関心物体検出部１１２及び表示画像処理部１１８に出力する。
【０２８０】
画像処理装置１１０は、第１の実施形態等と同様に動作する。すなわち、簡単に説明すると、関心物体検出部１１２は、画像信号生成部２２４から入力された画像データが表す画像における、関心物体の位置を特定する。関心物体検出部１１２は、特定した関心物体の位置を、フレームアウト確度判定部１１４に出力する。フレームアウト確度判定部１１４は、関心物体検出部１１２が特定した関心物体の位置に基づいて、表示部１２６に表示させる画像の画像範囲から、関心物体がフレームアウトする確度と、フレームアウトする方向を算出する。フレームアウト確度判定部１１４は、算出した関心物体がフレームアウトする確度及び方向を、変更値決定部１１６に出力する。変更値決定部１１６は、フレームアウト確度判定部１１４から入力された関心物体が表示範囲からフレームアウトする確度及び方向に基づいて、表示画像に施す変更処理の変更領域、変更の種類、変更の程度等の変更処理のパラメータを決定する。変更値決定部１１６は、決定した変更処理のパラメータを表示画像処理部１１８に出力する。表示画像処理部１１８は、画像信号生成部２２４から入力された画像データＤに対して、変更値決定部１１６から入力された変更処理のパラメータに基づいて、変更処理を施す。表示画像処理部１１８は、変更処理を施した変更画像データを、表示部２２６に出力する。表示部２２６は、表示画像処理部１１８から出力された変更画像データに基づいて画像を表示する。
【０２８１】
この際、例えば撮像部２２２は１８０度の撮像画角を有しており、関心物体検出部１１２は、１８０度の画角を利用して関心物体の位置を特定し、一方で、表示画像処理部１１８が作成する表示画像の画角は、６０度として、細部を拡大した画像を表示部２２６に表示させるように構成してもよい。
【０２８２】
本実施形態においても、第１、第４、第７、及び第１０の実施形態及びその変形例と同様に、変更値決定部１１６は、関心物体の表示画像における位置や、移動速度に基づいて、様々な表示画像の変更処理のパラメータを設定することができる。また、表示画像処理部１１８は、変更値決定部１１６が決定した設定に基づいて、表示画像に前記第１、第４、第７、及び第１０の実施形態及びその変形例と同様に、各種変更を施すことができる。
【０２８３】
本実施形態によれば、本内視鏡の操作者は、表示部２２６に表示される表示画像を確認しながら、関心物体を追尾するように、挿入部２３２を出し入れしたり、操作部２３４を用いて挿入部２３２の先端を屈曲させたりして、本内視鏡を操作することができる。
【０２８４】
また、本実施形態の内視鏡に、第２、第５、第８、及び第１１の実施形態及びその変形例に係る画像処理装置１１０を適用してもよい。第２、第５、第８、及び第１１の実施形態に係る画像処理装置１１０を、内視鏡に適用すると、例えば図７５にその概略を示すような構成になる。この内視鏡は、上述の第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を用いた内視鏡において、画像処理装置１１０が、第２、第５、第８、及び第１１の実施形態及びその変形例について説明したように動作する。その他については、上述の第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を用いた内視鏡と同様である。その結果、上記と同様の効果が得られる。
【０２８５】
また、本実施形態の内視鏡に、第３、第６、第９、及び第１２の実施形態及びその変形例に係る画像処理装置１１０を適用してもよい。第３、第６、第９、及び第１２の実施形態に係る画像処理装置１１０を、内視鏡に適用すると、例えば図７６にその概略を示すような構成になる。この内視鏡は、上述の第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を用いた内視鏡において、画像処理装置１１０が、第３、第６、第９、及び第１２の実施形態及びその変形例について説明したように動作する。その他については、上述の第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を用いた内視鏡と同様である。その結果、上記と同様の効果が得られる。
【０２８６】
また、前記した第１乃至第１２の実施形態の場合と同様に、各実施形態に係る変更値決定部１１６、エフェクト決定部１１５、及び変形パラメータ決定部１１７を互いに組み合わせて、内視鏡を構成してもよい。
【０２８７】
［第１６の実施形態］
第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を、図７７に示すように、撮像装置としての顕微鏡に適用することができる。図７７に示す顕微鏡鏡は、移動ステージ３３２上に設置したサンプルを観察する顕微鏡である。本顕微鏡は、サンプルを照らすための光源３３６と、移動ステージ３３２を移動させるために用いるステージ位置操作部３３４とを有する。観察者は、接眼レンズ３３８を介して、顕微鏡による拡大像を肉眼によって観察することができる。
【０２８８】
また、本顕微鏡は、撮像部３２２を有しており、顕微鏡拡大画像を光電変換して電気信号を生成し、当該電気信号をＲａｗデータに変換して画像信号生成部３２４に出力する。画像信号生成部３２４は、第１の実施形態における画像信号生成部１２４と同様に、画像信号（画像データ）を作成し、本顕微鏡に接続された画像処理装置１１０に出力する。画像処理装置１１０は、前記内視鏡の場合と同様に、第１の実施形態と同様に動作する。その結果、表示部３２６には、関心物体の、画像範囲からフレームアウトする確度に応じた変更処理を施された、変更画像が表示される。
【０２８９】
本実施形態においても、前記第１、第４、第７、及び第１０の実施形態及びその変形例と同様に、変更値決定部１１６は、関心物体の表示画像における位置や、移動速度に基づいて、様々な表示画像の変更処理のパラメータを設定することができる。また、表示画像処理部１１８は、変更値決定部１１６が決定した設定に基づいて、表示画像に前記第１、第４、第７、及び第１０の実施形態及びその変形例と同様に、各種変更を施すことができる。
【０２９０】
本実施形態によれば、本顕微鏡の操作者は、表示部３２６に表示される表示画像を確認しながら、関心物体を追尾するように、ステージ位置操作部３３４を用いて移動ステージ３３２の位置を操作することができる。
【０２９１】
また、本実施形態の顕微鏡に、第２、第５、第８、及び第１１の実施形態及びその変形例に係る画像処理装置１１０を適用してもよい。第２、第５、第８、及び第１１の実施形態に係る画像処理装置１１０を、顕微鏡に適用すると、例えば図７８にその概略を示すような構成になる。この顕微鏡は、上述の第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を用いた顕微鏡において、画像処理装置１１０が、第２、第５、第８、及び第１１の実施形態及びその変形例について説明したように動作する。その他については、上述の第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を用いた顕微鏡と同様である。その結果、上記と同様の効果が得られる。
【０２９２】
また、本実施形態の顕微鏡に、第３、第６、第９、及び第１２の実施形態及びその変形例に係る画像処理装置１１０を適用してもよい。第３、第６、第９、及び第１２の実施形態に係る画像処理装置１１０を、顕微鏡に適用すると、例えば図７９にその概略を示すような構成になる。この顕微鏡は、上述の第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を用いた顕微鏡において、画像処理装置１１０が、第３、第６、第９、及び第１２の実施形態及びその変形例について説明したように動作する。その他については、上述の第１、第４、第７、及び第１０の実施形態に係る画像処理装置１１０を用いた顕微鏡と同様である。その結果、上記と同様の効果が得られる。
【０２９３】
また、前記した第１乃至第１２の実施形態の場合と同様に、各実施形態に係る変更値決定部１１６、エフェクト決定部１１５、及び変形パラメータ決定部１１７を互いに組み合わせて、顕微鏡を構成してもよい。
【０２９４】
また、各実施形態の画像処理装置１１０は、内視鏡や顕微鏡等の撮像装置に限らず、種々のＡＶ機器やテレビゲーム等に応用することもできる。また、画像処理装置１１０の機能をコンピュータプログラムとし、各フローチャートを参照して説明した動作をコンピュータに実行させてもよい。このコンピュータプログラムを例えば持続性記録媒体に記録しておくことができる。コンピュータは、この記録媒体から記録されたプログラムを読み取り、このプログラムに応じた処理を実行することができる。
【符号の説明】
【０２９５】
１１０…画像処理装置、１１２…関心物体検出部、１１４…フレームアウト確度判定部、１１５…エフェクト決定部、１１６…変更値決定部、１１７…変形パラメータ決定部、１１８…表示画像処理部、１２２…撮像部、１２４…画像信号生成部、１２６…表示部、１２８…メインコントローラ、１３０…追尾センサ、１４２…ズーム光学系、１４４…ズームスイッチ、２２２…撮像部、２２４…画像信号生成部、２２６…表示部、２３２…挿入部、２３４…操作部、２３６…光源部、３２２…撮像部、３２４…画像信号生成部、３２６…表示部、３３２…移動ステージ、３３４…ステージ位置操作部、３３６…光源、３３８…接眼レンズ。

【特許請求の範囲】
【請求項１】
画像信号が入力され、該画像信号に基づく画像から表示装置の表示領域に応じた画像範囲を有する表示画像を生成する画像処理装置であって、
前記画像信号に基づく画像における関心物体の位置である関心位置を算出する関心位置算出部と、
前記関心位置と前記画像範囲とに基づいて、前記関心位置が前記画像範囲から外れる確度を表すフレームアウト確度を算出するフレームアウト確度算出部と、
前記フレームアウト確度に基づいて、前記画像信号に基づく画像に施す改変処理の処理変数を決定する改変変数決定部と、
決定した前記処理変数に基づいて前記画像信号に基づく画像に前記改変処理を施して前記表示画像の信号を生成する画像変更部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記改変変数決定部は、前記フレームアウト確度に基づいて、前記画像信号に基づく画像に変更処理を施す領域である変更領域と、該変更処理の変更の程度とを決定する変更処理決定部を含み、
前記画像変更部は、前記決定した変更の程度の前記変更処理を、前記画像信号に基づく画像の前記決定した変更領域に施す、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変更領域は、前記画像範囲の中心に関して前記関心位置と対向する位置に係る表示画像領域であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記変更領域は、前記関心位置から所定量離れた位置に係る表示画像領域であることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記変更処理決定部は、前記フレームアウト確度に応じて、前記変更領域の面積を変化させることを特徴とする請求項２乃至４のうち何れか１項に記載の画像処理装置。
【請求項６】
前記変更処理の種類は、画像の塗り潰し、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更、のうち少なくとも一つであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記変更処理の種類は、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更、のうち少なくとも一つであり、
前記変更処理決定部は、前記フレームアウト確度に応じて、前記変更の程度としての前記増減の量又は変更の量を変化させる、
ことを特徴とする請求項２乃至４のうち何れか１項に記載の画像処理装置。
【請求項８】
前記改変変数決定部は、前記フレームアウト確度に基づいて、前記画像信号に基づく画像における前記関心物体の代表点の周囲に変更領域を設定し、該変更領域に対して行う画像の加工を決定する加工決定部を含み、
前記画像変更部は、前記画像信号に基づく画像の前記変更領域に対して前記加工を施す、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記関心位置算出部は、前記関心物体の輪郭を抽出する輪郭抽出部を含み、
前記加工決定部は、前記輪郭に基づいて前記変更領域を決定する、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記加工決定部は、前記フレームアウト確度に応じて、前記変更領域の面積及び／又は前記加工の程度を変化させることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記加工決定部は、前記フレームアウト確度に応じて、前記画像信号に基づく画像における前記変更領域によって囲まれる部分の面積を変化させることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１２】
前記変更領域及び／又は前記加工は、時間経過と共に変化することを特徴とする請求項８乃至１１のうち何れか１項に記載の画像処理装置。
【請求項１３】
前記改変変数決定部は、前記フレームアウト確度に基づいて、前記画像信号に基づく画像を幾何変換するための変形パラメータを決定する変形パラメータ決定部を含み、
前記画像変更部は、前記変形パラメータに基づいて、前記画像信号に基づく画像に前記幾何変換を含む変形処理を施す、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記幾何変換は、前記画像範囲内の画像の縁の形状を変化させることを含む変換であることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記幾何変換は、前記画像範囲内の画像の縁の一部を短縮させて変形させるものであり、
前記変形パラメータ決定部は、前記フレームアウト確度に応じて、前記縁の一部を短縮させる割合を決定する、
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記幾何変換は、前記画像範囲内の画像の一部を収縮させ他の部分を伸張させることを含む変換であること特徴とする請求項１３に記載の画像処理装置。
【請求項１７】
前記変形パラメータ決定部は、前記フレームアウト確度に応じて、前記収縮及び前記伸長させる割合を決定することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記フレームアウト確度算出部は、前記画像範囲に対する前記関心位置の位置関係に応じて、前記フレームアウト確度を算出することを特徴とする請求項１乃至１７のうち何れか１項に記載の画像処理装置。
【請求項１９】
前記フレームアウト確度算出部は、前記画像範囲に対する前記関心位置の位置関係の変化に応じて、前記フレームアウト確度を算出することを特徴とする請求項１乃至１７のうち何れか１項に記載の画像処理装置。
【請求項２０】
前記フレームアウト確度算出部は、前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とに応じて、前記フレームアウト確度を算出することを特徴とする請求項１乃至１７のうち何れか１項に記載の画像処理装置。
【請求項２１】
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係の変化に応じて、第２のフレームアウト確度を算出し、
前記変更処理決定部は、
前記画像信号に基づく画像に第１の変更処理を施す領域である第１の変更領域であって、前記第１のフレームアウト確度に応じて面積が異なる該第１の変更領域を、該第１のフレームアウト確度に基づいて決定し、
前記画像信号に基づく画像に第２の変更処理を施す領域である第２の変更領域であって、前記第２のフレームアウト確度に応じて面積が異なる該第２の変更領域を、該第２のフレームアウト確度に基づいて決定し、
画像の塗り潰し、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更のうち少なくとも一つである前記第１の変更処理の変更の程度を決定し、
画像の塗り潰し、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更のうち少なくとも一つである前記第２の変更処理の変更の程度を決定し、
前記画像変更部は、
前記決定した変更の程度の前記第１の変更処理を前記決定した第１の変更領域に施し、
前記決定した変更の程度の前記第２の変更処理を前記決定した第２の変更領域に施す、
ことを特徴とする請求項２乃至４のうち何れか１項に記載の画像処理装置。
【請求項２２】
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係の変化に応じて、第２のフレームアウト確度を算出し、
前記変更処理決定部は、
解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更のうち少なくとも一つである第１の変更処理の、前記第１のフレームアウト確度に応じて異なる変更の程度を、該第１のフレームアウト確度に基づいて決定し、
解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更のうち少なくとも一つである第２の変更処理の、前記第２のフレームアウト確度に応じて異なる変更の程度を、該第２のフレームアウト確度に基づいて決定し、
前記画像信号に基づく画像に前記第１の変更処理を施す第１の変更領域を決定し、
前記画像信号に基づく画像に前記第２の変更処理を施す第２の変更領域を決定し、
前記画像変更部は、
前記決定した変更の程度の前記第１の変更処理を前記決定した第１の変更領域に施し、
前記決定した変更の程度の前記第２の変更処理を前記決定した第２の変更領域に施す、
ことを特徴とする請求項２乃至４のうち何れか１項に記載の画像処理装置。
【請求項２３】
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち一方に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち他方に応じて、第２のフレームアウト確度を算出し、
前記変更処理決定部は、
前記画像信号に基づく画像に第１の変更処理を施す領域である第１の変更領域であって、前記第１のフレームアウト確度と前記第２のフレームアウト確度とのうち一方に応じて面積が異なる該第１の変更領域を、該第１のフレームアウト確度と第２のフレームアウト確度とのうち前記一方に基づいて決定し、
画像の塗り潰し、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更のうち少なくとも一つである前記第１の変更処理の変更の程度を決定し、
解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更のうち少なくとも一つである第２の変更処理の、前記第１のフレームアウト確度と前記第２のフレームアウト確度とのうち他方に応じて異なる変更の程度を、該第１のフレームアウト確度と第２のフレームアウト確度とのうち前記他方に基づいて決定し、
前記画像信号に基づく画像に前記第２の変更処理を施す領域である第２の変更領域を決定し、
前記画像変更部は、
前記決定した変更の程度の前記第１の変更処理を前記決定した第１の変更領域に施し、
前記決定した変更の程度の前記第２の変更処理を前記決定した第２の変更領域に施す、
ことを特徴とする請求項２乃至４のうち何れか１項に記載の画像処理装置。
【請求項２４】
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち一方に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち他方に応じて、第２のフレームアウト確度を算出し、
前記加工決定部は、
前記第１のフレームアウト確度に基づいて、前記画像信号に基づく画像における前記代表点の周囲に第１の変更領域を設定し、該第１の変更領域に対して行う第１の加工を決定し、
前記第２のフレームアウト確度に基づいて、前記画像信号に基づく画像における前記代表点の周囲に第２の変更領域を設定し、該第２の変更領域に対して行う第２の加工を決定し、
前記画像変更部は、
前記画像信号に基づく画像の前記第１の変更領域に対して前記第１の加工を施し、
前記画像信号に基づく画像の前記第２の変更領域に対して前記第２の加工を施す、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項２５】
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち一方に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち他方に応じて、第２のフレームアウト確度を算出し、
前記加工決定部は、
前記第１のフレームアウト確度に応じて、前記変更領域の面積及び／又は前記加工の程度を変化するように、かつ前記第２のフレームアウト確度に応じて、前記変更領域によって囲まれる部分の面積を変化させるように、前記変更領域を決定し、
前記第１のフレームアウト確度及び前記第２のフレームアウト確度に基づいて、前記変更領域に対して行う加工を決定し、
前記画像変更部は、
前記画像信号に基づく画像の前記変更領域に対して前記加工を施す、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項２６】
前記フレームアウト確度算出部は、前記画像範囲に対する前記関心位置の位置関係に応じて、前記フレームアウト確度を算出し、
前記加工決定部は、前記変更領域として、前記関心位置と前記画像範囲との前記位置関係を示す領域を設定する、
ことを特徴とする請求項８乃至１２のうち何れか１項に記載の画像処理装置。
【請求項２７】
前記フレームアウト確度算出部は、前記画像範囲に対する前記関心位置の位置関係の変化に応じて、前記フレームアウト確度を算出し、
前記加工決定部は、前記変更領域として、前記関心位置と前記画像範囲との前記位置関係の変化の向きを示す領域を設定する、
ことを特徴とする請求項８乃至１２のうち何れか１項に記載の画像処理装置。
【請求項２８】
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち一方に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち他方に応じて、第２のフレームアウト確度を算出し、
前記変形パラメータ決定部は、
前記第１のフレームアウト確度に応じた方向及び割合で、前記画像信号に基づく画像の縁の形状を変化させることを含む幾何変換のための第１のパラメータを決定し、
前記第２のフレームアウト確度に応じた方向及び割合で、前記画像信号に基づく画像の一部を収縮させ他の部分を伸張させることを含む幾何変換のための第２のパラメータを決定し、
前記画像変更部は、前記第１の変形パラメータ及び第２の変形パラメータに基づいて、前記画像信号に基づく画像に前記幾何変換を含む変形処理を施す、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項２９】
前記改変変数決定部は、変更処理決定部と、加工決定部とを含み、
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち一方に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち他方に応じて、第２のフレームアウト確度を算出し、
前記変更処理決定部は、前記第１のフレームアウト確度に基づいて、前記画像信号に基づく画像において第１の変更領域と、該第１の変更領域に対して行う変更処理とを決定し、
前記加工決定部は、前記第２のフレームアウト確度に基づいて、前記画像信号に基づく画像における前記関心物体の代表点の周囲の第２の変更領域と、該第２の変更領域に対して行う画像の加工とを決定し、
前記画像変更部は、前記画像信号に基づく画像の前記第１の変更領域に前記変更処理を施すとともに、前記画像信号に基づく画像の前記第２の変更領域に対して前記加工を行い、前記表示画像の信号を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３０】
前記変更処理決定部は、前記第１のフレームアウト確度に応じて、前記第１の変更領域の面積を変化させ、前記変更処理の種類は、画像の塗り潰し、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更、のうち少なくとも一つであることを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】
前記変更処理の種類は、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更、のうち少なくとも一つであり、
前記変更処理決定部は、前記フレームアウト確度に応じて、前記変更の程度である、前記増減の量又は前記変更の量を変化させる、
ことを特徴とする請求項２９に記載の画像処理装置。
【請求項３２】
前記加工決定部は、前記第２のフレームアウト確度に応じて、前記第２の変更領域の面積及び／又は前記加工の程度を変化させることを特徴とする請求項２９乃至３１のうち何れか１項に記載の画像処理装置。
【請求項３３】
前記加工決定部は、前記第２のフレームアウト確度に応じて、前記画像信号に基づく画像における前記変更領域によって囲まれる部分の面積を変化させることを特徴とする請求項２９乃至３１のうち何れか１項に記載の画像処理装置。
【請求項３４】
前記改変変数決定部は、変更処理決定部と、変形パラメータ決定部とを含み、
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち一方に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち他方に応じて、第２のフレームアウト確度を算出し、
前記変更処理決定部は、前記第１のフレームアウト確度に基づいて、前記画像信号に基づく画像において第１の変更領域と、該第１の変更領域に対して行う変更処理とを決定し、
前記変形パラメータ決定部は、前記第２のフレームアウト確度に基づいて、前記画像信号に基づく画像を幾何変換するための情報を表す変形パラメータを決定し、
前記画像変更部は、前記画像信号に基づく画像の前記第１の変更領域に前記変更処理を施すとともに、前記画像信号に基づく画像に前記変形パラメータに基づいて前記変形処理を施し、前記表示画像の信号を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３５】
前記変更処理決定部は、前記第１のフレームアウト確度に応じて、前記第１の変更領域の面積を変化させ、前記変更処理の種類は、画像の塗り潰し、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更、のうち少なくとも一つであることを特徴とする請求項３４に記載の画像処理装置。
【請求項３６】
前記変更処理の種類は、解像度の増減、鮮鋭度の増減、コントラストの増減、輝度の増減、採度の増減、及び色相の変更、のうち少なくとも一つであり、
前記変更処理決定部は、前記フレームアウト確度に応じて、前記変更の程度である、前記増減の量又は変更の量を変化させる、
ことを特徴とする請求項３４に記載の画像処理装置。
【請求項３７】
前記幾何変換は、前記画像範囲内の画像の縁の一部を短縮させて、該縁の形状を変化させることを含み、
前記変形パラメータ決定部は、前記第２のフレームアウト確度に応じて、前記縁の一部を短縮させる割合を決定する、
ことを特徴とする請求項３４乃至３６のうち何れか１項に記載の画像処理装置。
【請求項３８】
前記幾何変換は、前記画像範囲内の画像の一部を収縮させ他の部分を伸張させることを含み、
前記変形パラメータ決定部は、前記第２のフレームアウト確度に応じて、前記収縮及び前記伸長させる割合を決定する、
ことを特徴とする請求項３４乃至３６のうち何れか１項に記載の画像処理装置。
【請求項３９】
前記改変変数決定部は、加工決定部と、変形パラメータ決定部とを含み、
前記フレームアウト確度算出部は、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち一方に応じて、第１のフレームアウト確度を算出し、
前記画像範囲に対する前記関心位置の位置関係と、前記画像範囲に対する前記関心位置の位置関係の変化とのうち他方に応じて、第２のフレームアウト確度を算出し、
前記加工決定部は、前記第１のフレームアウト確度に基づいて、前記画像信号に基づく画像における前記関心物体の代表点の周囲に変更領域と、該変更領域に対して行う画像の加工とを決定し、
前記変形パラメータ決定部は、前記第２のフレームアウト確度に基づいて、前記画像信号に基づく画像を幾何変換するための情報を表す変形パラメータを決定し、
前記画像変更部は、前記画像信号に基づく画像の前記変更領域に対して前記加工を行うとともに、前記画像信号に基づく画像に前記変形パラメータに基づいて前記変形処理を施し、前記表示画像の信号を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４０】
前記加工決定部は、前記第１のフレームアウト確度に応じて、前記変更領域の面積及び／又は前記加工の程度を変化させることを特徴とする請求項３９に記載の画像処理装置。
【請求項４１】
前記加工決定部は、前記第１のフレームアウト確度に応じて、前記画像信号に基づく画像における前記変更領域によって囲まれる部分の面積を変化させることを特徴とする請求項３９に記載の画像処理装置。
【請求項４２】
前記幾何変換は、前記画像範囲内の画像の縁の一部を短縮させて、該縁の形状を変化させることを含み、
前記変形パラメータ決定部は、前記第２のフレームアウト確度に応じて、前記縁の一部を短縮させる割合を決定する、
ことを特徴とする請求項３９乃至４１のうち何れか１項に記載の画像処理装置。
【請求項４３】
前記幾何変換は、前記画像範囲内の画像の一部を収縮させ他の部分を伸張させることを含み、
前記変形パラメータ決定部は、前記第２のフレームアウト確度に応じて、前記収縮及び前記伸長させる割合を決定する、
ことを特徴とする請求項３９乃至４１のうち何れか１項に記載の画像処理装置。
【請求項４４】
請求項１乃至４３のうち何れか１項に記載の画像処理装置と、
前記画像処理装置が生成した前記表示画像を表示する前記表示装置と、
を具備することを特徴とする画像表示装置。
【請求項４５】
請求項１乃至４３のうち何れか１項に記載の画像処理装置と、
撮像を実施して前記画像処理装置に入力する前記画像信号を生成する撮像部と、
を具備することを特徴とする撮像装置。
【請求項４６】
請求項１乃至４３のうち何れか１項に記載の画像処理装置と、
撮像を実施して前記画像処理装置に入力する前記画像信号を生成する撮像部と、
前記画像処理装置が生成した前記表示画像を表示する前記表示装置と、
を具備することを特徴とする撮像装置。
【請求項４７】
前記撮像部は、ズーム機能を有することを特徴とする請求項４５又は４６に記載の撮像装置。
【請求項４８】
前記撮像部がズーム機能を発揮し始めたか否かを判定し、前記ズーム機能を発揮し始めたら前記画像処理装置に前記改変処理を実行させるように構成された制御部をさらに具備することを特徴とする請求項４７に記載の撮像装置。
【請求項４９】
入力された画像信号に基づく画像から、表示装置の表示領域に応じた画像範囲を有する表示画像を生成する画像処理方法であって、
前記画像信号に基づく画像における関心物体の位置である関心位置を算出することと、
前記関心位置と前記画像範囲とに基づいて、前記関心位置が前記画像範囲から外れる確度を表すフレームアウト確度を算出することと、
前記フレームアウト確度に基づいて、前記画像信号に基づく画像に施す改変処理の処理変数を決定することと、
決定した前記処理変数に基づいて前記画像信号に基づく画像に前記改変処理を施して前記表示画像の信号を生成することと、
を具備することを特徴とする画像処理方法。
【請求項５０】
前記処理変数は、前記画像信号に基づく画像に変更処理を施す領域である変更領域と該変更処理の変更の程度とを含み、
前記改変処理は、前記決定した変更の程度の前記変更処理を前記画像信号に基づく画像の前記決定した変更領域に施す処理を含む、
ことを特徴とする請求項４９に記載の画像処理方法。
【請求項５１】
前記処理変数は、前記画像信号に基づく画像における前記関心物体の代表点の周囲の変更領域と、該変更領域に対して行う画像の加工とを含み、
前記改変処理は、前記画像信号に基づく画像の前記変更領域に対して前記加工を施す処理を含む、
ことを特徴とする請求項４９に記載の画像処理方法。
【請求項５２】
前記処理変数は、前記画像信号に基づく画像を幾何変換するための変形パラメータを含み、
前記改変処理は、前記変形パラメータに基づいて前記画像信号に基づく画像に変形処理を施す処理を含む、
ことを特徴とする請求項４９に記載の画像処理方法。
【請求項５３】
入力された画像信号に基づく画像から、表示装置の表示領域に応じた画像範囲を有する表示画像を生成する画像処理プログラムであって、
前記画像信号に基づく画像における関心物体の位置である関心位置を算出する関心位置算出ステップと、
前記関心位置と前記画像範囲とに基づいて、前記関心位置が前記画像範囲から外れる確度を表すフレームアウト確度を算出するフレームアウト確度算出ステップと、
前記フレームアウト確度に基づいて、前記画像信号に基づく画像に施す改変処理の処理変数を決定する改変変数決定ステップと、
決定した前記処理変数に基づいて前記画像信号に基づく画像に前記改変処理を施して前記表示画像の信号を生成する画像変更ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項５４】
前記改変変数決定ステップは、前記フレームアウト確度に基づいて、前記画像信号に基づく画像に変更処理を施す領域である変更領域と該変更処理の変更の程度とを決定する変更処理決定ステップを含み、
前記画像変更ステップは、前記決定した変更の程度の前記変更処理を前記画像信号に基づく画像の前記決定した変更領域に施して前記表示画像の信号を生成する画像変更ステップを含む、
ことを特徴とする請求項５３に記載の画像処理プログラム。
【請求項５５】
前記改変変数決定ステップは、前記フレームアウト確度に基づいて、前記画像信号に基づく画像における前記関心物体の代表点の周囲に変更領域を設定し、該変更領域に対して行う画像の加工を決定する加工決定ステップを含み、
前記画像変更ステップは、前記画像信号に基づく画像の前記変更領域に対して前記加工を施して前記表示画像の信号を生成する画像変更ステップを含む、
ことを特徴とする請求項５３に記載の画像処理プログラム。
【請求項５６】
前記改変変数決定ステップは、前記フレームアウト確度に基づいて、前記画像信号に基づく画像に施す変形の情報を表す変形パラメータを決定する変形パラメータ決定ステップを含み、
前記画像変更ステップは、前記変形パラメータに基づいて前記画像信号に基づく画像に変形処理を施して前記表示画像の信号を生成する画像変更ステップを含む、
ことを特徴とする請求項５３に記載の画像処理プログラム。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６】

【図４７】

【図４８】

【図４９】

【図５０】

【図５１】

【図５２】

【図５３】

【図５４】

【図５５】

【図５６】

【図５７】

【図５８】

【図５９】

【図６０】

【図６１】

【図６２】

【図６３】

【図６４】

【図６５】

【図６６】

【図６７】

【図６８】

【図６９】

【図７０】

【図７１】

【図７２】

【図７３】

【図７４】

【図７５】

【図７６】

【図７７】

【図７８】

【図７９】

【公開番号】特開２０１２−１７００４６（Ｐ２０１２−１７００４６Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２３１８８６（Ｐ２０１１−２３１８８６）
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】