画像処理装置及び画像処理方法、撮像装置及びその制御方法、プログラム、並びに記憶媒体
【課題】補間後の画像に対して、必要最小限の領域にのみぼかし処理を施すことにより、補間画像の違和感を軽減することができる補間処理技術の実現。
【解決手段】画像中の不要なオブジェクトを消去する機能を有する画像処理装置であって、画像を所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、前記画像中の不要なオブジェクトを指定するための指定手段と、前記指定手段により指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間手段と、前記補間手段により補間処理を施した画像を表示する表示手段と、前記画像中の特定の領域に対してぼかし処理を施す画像処理手段と、を有し、前記画像処理手段は、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定する。
【解決手段】画像中の不要なオブジェクトを消去する機能を有する画像処理装置であって、画像を所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、前記画像中の不要なオブジェクトを指定するための指定手段と、前記指定手段により指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間手段と、前記補間手段により補間処理を施した画像を表示する表示手段と、前記画像中の特定の領域に対してぼかし処理を施す画像処理手段と、を有し、前記画像処理手段は、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中から不要なオブジェクトを消去した領域の補間処理技術に関する。
【背景技術】
【０００２】
従来、画像上のシミや汚れの除去や、欠損の補修などが行われている。また、シミや汚れではないが、ユーザが存在してほしくない柱や電線などのオブジェクトを除去してユーザ所望の画像に仕上げる処理なども行われている。これらの処理は、まず、除去や補修などの対象となる領域（以下、補間領域）を手動指定または自動検出により特定し、特定された補間領域の各画素に対して元の画素値の代わりとなる新たな画素値を求めて挿入する（以下、画像補間）ことによって実現される。
【０００３】
画像補間方法としては、例えば、特許文献１のように、補間領域に属さない領域（以下、既知領域）内の画素の画素値を用いて補間領域内の画素の新たな画素値を求めることができる。具体的には、補間領域の縁辺上に所定のサイズ（例えば３画素×３画素）のパッチを配置し、配置されたパッチ内における既知領域の画素値の平均値を求めて、同じパッチ内における補間領域の画素の新たな画素値とするようにしている。
【０００４】
一般的に、補間領域が小さく、補間領域の周辺領域が単純な構造である場合には、画像補間を実施した画像（以下、補間画像）は視覚的に自然である可能性が高い。一方、補間領域が大きく、補間領域の周辺領域における色や構造が複雑である場合には、誤推定する可能性が高くなり、その結果、視覚的に違和感のある画像が生成される可能性がある。
【０００５】
ここで補間領域に対してぼかしなどの画像処理を施すことで、補間画像の違和感を軽減することが可能である。特許文献２では、カメラによる静止画撮影時に、撮影画像の任意の領域に対してカメラからの奥行き距離を求めておき、奥行き距離が閾値以上の領域に対し、ぼかし処理を施す方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−１１４６３９号公報
【特許文献２】特開２０００−２４４８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献２では、どの奥行き距離を基準にぼかし処理を施すかが記述されていないため、ぼかさなくてもよい領域をぼかしたり、ぼかす必要がある領域をぼかし損ねたりするおそれがある。また、ユーザがぼかし結果を確認しながら閾値を決定する方法は、大変煩わしい操作をユーザに強いることになる。
【０００８】
本発明は、上記課題に鑑みてなされ、その目的は、補間後の画像に対して、必要最小限の領域にのみぼかし処理を施すことにより、補間画像の違和感を軽減することができる補間処理技術を実現することである。
【課題を解決するための手段】
【０００９】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、画像中の不要なオブジェクトを消去する機能を有する画像処理装置であって、画像を所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、前記画像中の不要なオブジェクトを指定するための指定手段と、前記指定手段により指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間手段と、前記補間手段により補間処理を施した画像を表示する表示手段と、前記画像中の特定の領域に対してぼかし処理を施す画像処理手段と、を有し、前記画像処理手段は、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定する。
【発明の効果】
【００１０】
本発明によれば、補間後の画像に対して、必要最小限の領域にのみぼかし処理を施すことにより、補間画像の違和感を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施形態の撮像装置のブロック構成図。
【図２】本実施形態の撮像装置の外観を示す背面図（ａ）及び上面図（ｂ）。
【図３】レンズ位置と被写体距離の関係を示す図。
【図４】実施形態１の被写体距離取得までの処理を示すフローチャート。
【図５】実施形態１の被写体距離取得処理の説明図。
【図６】実施形態１の不要オブジェクトを指定・抽出する処理を示すフローチャート。
【図７】図６の不要オブジェクトの指定処理の説明図。
【図８】実施形態１の補間領域に対する画像補間処理を示すフローチャート。
【図９】図８の画像補間処理の説明図。
【図１０】補間画像を例示する図。
【図１１】実施形態１の補間画像に対するぼかし処理を示すフローチャート。
【図１２】図１１のぼかし処理の説明図。
【図１３】実施形態２の補間画像に対するぼかし処理の説明図。
【図１４】実施形態２の補間画像に対するぼかし処理を示すフローチャート（ａ）及び距離とスケールパラメータの関係を示す図（ｂ）、（ｃ）。
【図１５】実施形態３の複数の不要オブジェクトを自動抽出する処理の説明図。
【図１６】実施形態３の複数の不要オブジェクトを自動抽出する処理を示すフローチャート。
【図１７】実施形態４の信頼度算出処理を示すフローチャート。
【図１８】実施形態４の信頼度算出処理の説明図。
【図１９】実施形態４の信頼度算出処理の説明図。
【図２０】実施形態５のシステム構成図（ａ）、撮像装置の構成図（ｂ）、ＧＰＳユニットの構成図（ｃ）、ＧＰＳユニットの出力データフォーマットを例示する図（ｄ）、（ｅ）。
【図２１】実施形態５のサーバのブロック構成図。
【図２２】実施形態５の撮像装置の動作を示すフローチャート。
【図２３】実施形態５の不要オブジェクトを指定・抽出する処理を示すフローチャート。
【図２４】実施形態５の撮像装置の画像補間処理を示すフローチャート。
【図２５】実施形態５のサーバの動作を示すフローチャート。
【図２６】実施形態６の撮像装置の画像補間処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１３】
以下に、本発明の画像処理装置又は撮像装置を、電子シャッター方式のコンパクトデジタルカメラ（以下、カメラ）により実現した例について説明する。
【００１４】
［実施形態１］実施形態１は、画像から物体（不要オブジェクト）を消去するとともに、消去後の領域を周辺領域の画素値を利用して補間する際に、補間結果が自然でない状況を考慮して、カメラからの距離に応じて撮像画像中の特定領域をぼかす処理を行う。
【００１５】
＜カメラの構成＞まず、図１を参照して、本実施形態のカメラの構成について説明する。
【００１６】
図１において、システムコントローラ１００はカメラ全体の制御を司る機能を有し、後述する各部を制御して、ユーザの設定と操作に応じて画像を撮影し処理する。
【００１７】
光学レンズユニット１０１は、絞り、ズーム、フォーカス機能を備える。光学制御ユニット１０２は、システムコントローラ１００からの指示に従い、光学レンズユニット１０１を制御する。具体的には、光学レンズユニット１０１の絞り、ズーム、フォーカスを変更することができる。撮像素子１０３は、光学レンズユニット１０１を通過した光（画像）を電気信号に変換するための、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが適用される。本実施形態では、横３０７２画素、縦２３０４画素の撮像素子を用いる。
【００１８】
撮像制御ユニット１０４は、システムコントローラ１００からの指示に従い、撮像素子１０３を制御する。具体的には、撮像素子１０３の感度調整（ゲインコントロール）、シャッター秒時に従った撮像素子１０３からのデータの読み取りなどを行う。
【００１９】
ここで、光学制御ユニット１０２は、撮像素子１０３から出力されるコントラスト電圧が最大になるようにフォーカスモータを駆動してオートフォーカス（ＡＦ）機能を実現する。詳述すると、このＡＦ機能は、レンズユニット１０１を移動して焦点位置を移動させていくと、撮像される画像のコントラストが変化していき、合焦位置でコントラストが最大になるという性質を利用している。また、光学制御ユニット１０２は、例えば、図３に示すような、レンズユニット１０１のレンズ位置と、被写体距離との関係を示す数式が位置−距離テーブルとして格納している。これにより、撮像素子１０３から出力されるコントラスト電圧が最大となる場合のレンズユニット１０１のレンズ位置に対応する被写体距離を、システムコントローラ１００に出力することが可能である。
【００２０】
記録媒体１０５は、画像データなどを格納するデバイスであり、例えばＳＤメモリカード・コンパクトフラッシュカード（登録商標）やメモリスティックなどのカード型で取り外し可能なメモリが用いられる。記録媒体１０５には、撮像制御ユニット１０４が出力する画像データ（ＲＡＷデータ）や、当該ＲＡＷデータから生成された画像データ（ＪＰＥＧデータあるいはＥＸＩＦデータ）が格納される。
【００２１】
ＲＯＭ１０６は後述する実施形態の処理を実現する制御プログラムやプログラムが使用するデータを格納する不揮発性メモリである。カメラに電源が投入されると、システムコントローラ１００はＲＯＭ１０６からプログラムを読み込み、カメラの制御を開始する。
【００２２】
ＲＡＭ１０７は後述する実施形態の処理を実現する制御プログラムが作業領域として使用するための書き換え可能なメモリである。また、撮像制御ユニット１０４から出力される画像データを一時的に記憶するバッファとしても使用される。
【００２３】
ＮＶＲＡＭ１０８は、後述するＵＩユニット１０９でユーザの指定した設定値や、本実施形態のカメラがパワーサイクルを超えて保持する必要のあるパラメータを保持するための書き換え可能なメモリである。
【００２４】
ＵＩ（ユーザインタフェース）ユニット１０９は、ユーザの操作画面を生成し、ユーザの操作指示をシステムコントローラ１００に伝達する。ＵＩユニット１０９は複数のボタン、ダイヤル、タッチパネルにより構成される。ＵＩユニット１０９を構成するボタン、ダイヤル、タッチパネルについては図２を参照して後述する。
【００２５】
表示ユニット１１０は、システムコントローラ１００からの指示に従い、画像を表示するための液晶表示パネル（ＬＣＤ）のようなディスプレイデバイスとそれをコントロールするディスプレイドライバからなる。本実施形態では、横３２０画素、縦２４０画素のＬＣＤを用いる。タッチパネルの分解能は、表示ユニット１１０の画素数（横３２０画素、縦２４０画素）と一致するものとする。
【００２６】
表示ユニット１１０には、カメラの各種設定を行うためのメニュー、撮像制御ユニット１０４が出力する画像（構図決定用のファインダとしての利用）、撮影画像（撮影画像の確認としての利用）、記録媒体１０５に格納された画像（画像ビューアとしての利用）が表示される。それぞれの画像には任意のグラフィクス画像を重畳して表示することが可能である。本実施形態では、重畳するグラフィクス画像の画素数は、表示ユニット１１０の画素数と同じとする。
【００２７】
＜カメラの外観構成＞図２を参照して、本実施形態のカメラの外観構成について説明する。
【００２８】
図２において、撮影ボタン２０１は、ユーザが半分程度押し込むことによりフォーカスロックを、さらに押し込むことにより撮像処理の開始をカメラに指示をすることができる。
【００２９】
ズームボタン２０２は、ユーザが左右にスライドさせ、それに従って光学制御ユニット１０２がレンズユニット１０１を調整し、所望のズームを実現する。
【００３０】
モードダイヤル２０３は、ユーザがこのダイヤルを回転させることによって、撮影したいシーンに適した動作をするようにカメラに指示することができる。例えば、全自動のオートモード・人物に好適なポートレートモード・風景に好適な風景モード・動きが速いものに好適なスポーツモード・暗い場所での撮影に適した夜景モードなどがある。
【００３１】
表示ユニット１１０の液晶表示パネル２０４はタッチパネル式となっており、ユーザはタッチパネルに表示されたメニュー画像やボタン画像にタッチすることによって、カメラに指示を入力することができる。
【００３２】
メニューボタン２０５は、液晶表示パネル２０４にメニューを表示するためのボタンである。ユーザがメニューボタン２０５を押すことによりメニュー画面を表示し、カメラの設定を行うことができる。
【００３３】
上下左右ボタン２０６は、液晶表示パネル２０４に表示されたメニューを選択したり、記録媒体１０５に格納された画像データの中から、液晶表示パネル２０４に再生する画像を選択したりするための上下左右の各ボタン群からなる。ユーザは、上下左右ボタン２０６を操作することで、メニューから操作したい項目を選択したり、パラメータを入力・選択したりすることができる。
【００３４】
再生ボタン２０７は、カメラを撮像モードから再生モードに切り替えるためのボタンであり、記録媒体１０５に格納された画像を液晶表示パネル２０４に再生させる際に使用する。
【００３５】
他のボタン２０８〜２１２は、フラッシュの設定やマクロモードの設定などの各種動作を迅速に行うためのボタンである。また、メニューボタン２０５で表示するメニュー項目をワンタッチで呼び出すショートカットボタンとしても機能する。これらの機能は、本実施形態との関連性があまりないので、詳細な説明は行わない。
【００３６】
＜動作説明＞次に、図４〜図１２を参照して、本実施形態のカメラの動作について説明する。
【００３７】
以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【００３８】
図４（ａ）は、実施形態１の被写体距離を取得する処理を示すフローチャートである。
【００３９】
図４（ａ）において、ステップＳ４０１では、撮像制御ユニット１０４は、レンズユニット１０１から入力され、撮像素子１０３で光電変換された画像データをシステムコントローラ１００に出力する。
【００４０】
ステップＳ４０２では、システムコントローラ１００は、ステップＳ４０１で取得した画像データを液晶表示パネル２０４に構図決定用（プレビュー用）の画像として表示する。このとき、ステップＳ４０１で撮像制御ユニット１０４から出力した画像データは、液晶表示パネル２０４の解像度（３２０×２４０）に調整して表示することになる。
【００４１】
ステップＳ４０３では、システムコントローラ１００は、合焦指示の有無を確認する。具体的には、ユーザが撮影ボタン２０１を半押しした場合を合焦指示とみなす。合焦指示がなされた場合はステップＳ４０４に進み、撮影指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。
【００４２】
ステップＳ４０４では、システムコントローラ１００は、主被写体に対して合焦する過程において、撮像対象に対する距離情報を取得し、保存する。
【００４３】
（距離情報取得）ここで、図４（ｂ）を参照して、ステップＳ４０４での距離情報取得方法について説明する。まず、撮像素子１０３の画素を、１ブロックＬ×Ｌ画素として、Ｍ（Ｘ座標）×Ｎ（Ｙ座標）のブロックに分割し、これと対応させて取り込んだ画像を図５（ａ）のようにブロック化する（ステップＳ４１５）。次に、レンズユニット１０１を焦点位置が無限遠になる位置に移動させた後（ステップＳ４１６）、焦点位置が小さくなる方向へレンズユニット１０１を１ステップずつ移動させ（ステップＳ４１７）、各ブロックの高周波成分を記憶する（ステップＳ４１８）。主被写体に対する合焦が完了するまで（ステップＳ４１９）、上記ステップＳ４１７〜ステップＳ４１８を繰り返す。その後、ブロックごとに記憶した高周波成分がピークとなるレンズ位置を算出し（ステップＳ４２０）、図３のレンズ位置と被写体距離の関係から各ブロックにおける距離を算出する（ステップＳ４２１）。距離情報は、図５（ｂ）のようにブロックの座標と対応させて記録媒体１０５に格納する（ステップＳ４２２）。この距離情報は、画像データのヘッダ部に格納してもよいし、別ファイルとして、画像データに対応付けて保存してもよい。ここではブロック単位で距離情報を算出したが、Ｌ＝１として画素単位に距離情報を算出してもよい。
【００４４】
図４（ａ）に戻り、システムコントローラ１００は、撮影指示の有無を確認する（ステップＳ４０５）。具体的には、ユーザが撮影ボタン２０１を押下した場合、あるいは、セルフタイマーが完了した場合を撮影指示とみなす。撮影指示がなされた場合はステップＳ４０６に進み、撮影指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。
【００４５】
ステップＳ４０６では、システムコントローラ１００は、撮像制御ユニット１０４を介して撮影指示時の画像データを取得し、ＥＸＩＦファイル形式にして記録媒体１０５に保存する。
【００４６】
＜不要オブジェクトの指定・抽出＞図６を参照して、撮像画像から不要オブジェクトを指定・抽出する処理ついて説明する。
【００４７】
図６において、まず、ユーザの再生ボタン２０７押下により、カメラは再生モードに遷移する（ステップＳ６０１）。再生モードにおいて、システムコントローラ１００は記録媒体１０５に格納された画像データを液晶表示パネル２０４に表示させる。ユーザは、上下左右ボタン２０６を操作して、液晶表示パネル２０４に表示したい画像を選択する（ステップＳ６０２）。次に、ユーザのメニューボタン２０５押下により、システムコントローラ１００は、図７（ａ）のように、液晶表示パネル２０４に現在表示されている画像７００に重畳させて、メニュー群７０１を表示させる。ここで、上下左右ボタン２０６の操作により、メニュー群７０１から物体消去モードボタン７０２を選択することで、カメラは物体消去モードに遷移する（ステップＳ６０３）。物体消去モードでは、液晶表示パネル２０４上でタッチパネルが有効になり、ユーザは画像７００中から消去したい物体（ここでは物体７１０）を指定できる（ステップＳ６０４）。ここで、システムコントローラ１００は、記録媒体１０５に格納された画像７００に対応する画像データを読み出し、ユーザによって指定されたポイントから、当該画像における対応する座標（Ｘ０，Ｙ０）を算出してＲＡＭ１０７に格納する。この座標を元に、画像中から消去対象となる物体の領域、すなわち補間領域を抽出する（ステップＳ６０５）。物体抽出方法については周知の方法を利用する。例えば、画像における座標（Ｘ０，Ｙ０）の画素と、隣接する画素との画素値の差分を計算し、予め定めた閾値以下であれば、同一の物体領域と判定し補間領域に含める。あるいは、記録媒体１０５に格納された距離情報を利用して、画像における座標（Ｘ０，Ｙ０）の画素と隣接する画素の中で、距離が等しい画素を同一の物体領域と判定し補間領域に含める。ここで抽出された領域の座標情報がＲＡＭ１０７に格納される（ステップＳ６０６）。
【００４８】
＜画像補間＞図８を参照して、補間領域に対して実施する画像補間処理について説明する。
【００４９】
図８において、まず、補間領域の最も外側に位置し、多くの既知領域の画素に囲まれている画素ｐを選択する（ステップＳ８０１）。補間領域と既知領域が、例えば、図９（ａ）のような配置であった場合、画素ｐ１１が画素ｐとなる。
【００５０】
次に、画素ｐを含むＮ×ＮブロックＢを作成する（ステップＳ８０２）。図９（ｂ）では、Ｎ＝５とし、画素ｐをブロックＢの中心に配置しているが、Ｎの値、及び画素ｐの配置については任意である。次に、画素ｐの近傍領域Ｒにおいて、先程作成したブロックＢとのブロックマッチングを実施する（ステップＳ８０３）。具体的には、近傍領域Ｒ内にブロックＢを配置し、重なり合う画素の画素値の差分をそれぞれ算出した後、それらの平均値Ｅを算出する。ただし、ブロックＢにおける補間領域に属する画素については、上記の計算の対象に含めない。図９（ｃ）では、近傍領域Ｒを図のように指定しているが、近傍領域Ｒの大きさや位置は任意である。近傍領域Ｒにおいて、全てのブロックマッチングを実施した後、平均値Ｅが最小となるときのブロックＢの位置に対応するブロックをブロックＴする。さらに、ブロックＴにおける、ブロックＢの画素ｐの位置に対応する画素ｑの画素値を画素ｐに与える（ステップＳ８０４）。例えば、図９（ｄ）のようにブロックＴを決定した場合、画素ｑの位置は図９（ｄ）のようになる。次に、画素ｐにおける距離データを画素ｑにおける距離データで更新し、記録媒体１０５に保存する（ステップＳ８０５）。最後に、補間領域から画素ｐを除去する（ステップＳ８０６）。これを、補間領域が存在しなくなるまで繰り返す（ステップＳ８０７）。
【００５１】
このようにして画像補間が完了し、図１０のように、画像中の物体７１０が消去された補間画像が得られ、記録媒体１０５に保存される。このとき、記録媒体１０５のメモリ容量を考慮して、画像補間実施前の画像を記録媒体１０５から消去してもよい。
【００５２】
＜ぼかし処理＞図１１を参照して、補間画像に対するぼかし処理について説明する。
【００５３】
画像補間が完了すると、システムコントローラ１００は、図１２（ａ）のように、補間画像の縮小画像１２００と、選択メニュー１２０１を液晶表示パネル２０４に表示させる（ステップＳ１１０１）。ここで、ユーザは、上下左右ボタン２０６を操作して、補間画像にぼかし処理を施すか否かを決定する（ステップＳ１１０２）。ぼかし処理を実施しない場合（Ｎｏ）、処理を終了する。ぼかし処理をする場合（Ｙｅｓ）、上記画像補間処理において更新された距離データを記録媒体１０５から読み出す（ステップＳ１１０３）。読み出した距離データと補間画像の関係を図１２（ｂ）に示す。図１２（ｂ）では、補間画像に対し、距離データの一部をブロック毎に付記している。また、図１２（ｂ）の太線１２０２は、補間領域を含むブロック群である。本実施形態のぼかし処理では、まず、ブロック群１２０２が有する距離データの中で、ぼかし処理を施す基準となる距離Ｄを決定する（ステップＳ１１０４）。
【００５４】
ここでは、距離Ｄ以上のブロックに対しぼかし処理を施すため、ブロック群１２０２が有する距離データの中から最小の距離（９ｍ）を選択する。この距離Ｄを基準に、ブロック毎にぼかし処理を施す。ブロック毎のぼかし処理では、まず、ブロックの座標（Ｘ，Ｙ）を初期値（０、０）に設定する（ステップＳ１１０５）。次に、距離データＦ（Ｘ，Ｙ）と距離Ｄを比較し（ステップ１１０６）、距離データＦ（Ｘ，Ｙ）が距離Ｄ以上の場合に、座標（Ｘ，Ｙ）のブロックに対し、ぼかし処理を施す（ステップＳ１１０７）。具体的には、座標（Ｘ，Ｙ）のブロックに対し、ローパスフィルタを適用する。このとき、距離が大きいブロックに対しては、ローパスフィルタのスケールパラメータをより大きく設定することにより、ぼかし処理の強度を強くする。これにより、カメラからの距離が遠いほど、ぼかしが強くなり、あたかも被写界深度の浅い画像が生成できる。一方、距離データＦ（Ｘ，Ｙ）が距離Ｄより小さい場合は、ぼかし処理を行わずにステップＳ１１０８へ移行する。ステップＳ１１０８では、被写体のブロック（Ｘ，Ｙ）のＸ座標をインクリメントして次の列に座標を移動する処理を行い、次いで、Ｘの値がＭ未満であるか否かを判断する（ステップＳ１１０９）。Ｘの値がＭ未満である場合はステップＳ１１０６に移行する一方、Ｘの値がＭ以上である場合には、ステップＳ１１１０に移行する。
【００５５】
ステップＳ１１１０では、被写体のブロック（Ｘ，Ｙ）のＹ座標をインクリメントして次の行に座標を移動する処理を行うと共に、Ｘの値を０として座標を列の先頭に指定する処理を行う。ステップＳ１１１１では、Ｙの値がＮ未満であるか否かを判断し、Ｙの値がＮ未満である場合は、ステップＳ１１０６に移行する一方、Ｙの値がＮ以上である場合には、本処理を終了する。
【００５６】
上述したようにぼかし処理を施された画像は、新たに記録媒体１０５に格納される。このとき、記録媒体１０５のメモリ容量を考慮して、補間画像を記録媒体１０５から消去してもよい。
【００５７】
このように、本実施形態によると、補間画像に対して、必要最小限の領域にのみぼかし処理を施すことにより、補間画像の違和感を軽減することが可能である。さらに、画像の距離情報に応じてぼかし処理の強度を変更することにより、あたかも被写界深度の浅い画像が生成可能である。
【００５８】
［実施形態２］次に、実施形態２として、補間画像に対してぼかし処理を実施する例について説明する。
【００５９】
実施形態１では、画像補間により挿入する画素値の算出に利用した領域が有する距離以上の距離を有する領域に対してぼかし処理を施した。一方、図１３の画像１３００のように、消去対象の物体１３１０（自動車）よりもカメラに近い位置に主被写体ではない物体１３２０（噴水）が存在する場合が考えられる。実施形態２では、物体１３２０の領域、つまり、画像補間により挿入する画素値の算出に利用した領域が有する距離以下の距離を有する領域に対してもぼかし処理を施すことで、ぼかし処理による画像の急激な変化を回避可能である。
【００６０】
なお、本実施形態のカメラの構成や外観は、実施形態１と同様である。また、カメラにより撮像した画像から消去対象物体を選択し、その領域に画像補間を実施する方法も実施形態１と同様である。
【００６１】
図１４は、補間画像に対してぼかし処理を実施するフローチャートである。以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【００６２】
図１４のステップＳ１４０１〜Ｓ１４０５は、図１１のステップＳ１１０１〜Ｓ１１０５と同様である。ステップＳ１４０６では、実施形態１における、距離Ｄのブロックに適用するローパスフィルタのスケールパラメータを基準に、図１４（ｂ）のようにスケールパラメータを変化させて各ブロックにローパスフィルタを適用する。ただし、図１４（ｂ）における距離Ｄ０は、主被写体を含むブロックの距離であり、主被写体に対してぼかし処理を実施しないようにする。ここでのスケールパラメータは、図１４（ｃ）のようにステップ状に変化させてもよい。その後の処理ステップＳ１４０７〜Ｓ１４１０は、図１１のステップＳ１１０８〜Ｓ１１１１と同様である。
【００６３】
このように、補間後の画像に対して、ぼかし処理による画像の急激な変化を抑えることにより、画像が不自然になるのを防ぐことが可能である。
【００６４】
［実施形態３］次に、実施形態３として、複数の不要オブジェクトを自動抽出し消去する処理について説明する。
【００６５】
実施形態１では、消去したい物体（不要オブジェクト）が１つであったが、図１５のように、消去したい物体（１５１０、１５１１、１５１２、１５１３）が複数存在する場合も想定される。このため、実施形態３では、消去したい物体１５１０を１つ指定したときに、物体１５１０と同距離に存在する物体を全て消去したい物体として自動抽出することで、ユーザが不要オブジェクトを指定する手間を低減できる。
【００６６】
なお、本実施形態のカメラの構成や外観は、実施形態１と同様である。
【００６７】
図１６は、複数の物体を自動抽出する処理を示すフローチャートである。以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【００６８】
図１６において、まず、１つ目の消去したい物体１５１０をユーザが指定する（ステップＳ１６０１）。この指定方法は、図６におけるステップＳ６０１〜Ｓ６０４と同様である。次に、カメラから物体１５１０までの距離Ｚを記録媒体１０５から読み出す（ステップＳ１６０２）。この距離Ｚと等しいブロックを物体領域として抽出する。物体抽出では、まず、ブロックの座標（Ｘ，Ｙ）を初期値（０、０）に設定する（ステップＳ１６０３）。次に、距離データＦ（Ｘ，Ｙ）と距離Ｚを比較し（ステップ１６０４）、距離データＦ（Ｘ，Ｙ）が距離Ｚと等しい場合に、補間領域としてブロック（Ｘ，Ｙ）の座標をＲＡＭ１０７に格納する（ステップＳ１６０５）。一方、距離データＦ（Ｘ，Ｙ）が距離Ｚと異なる場合には、ステップＳ１６０６へ移行する。ステップＳ１６０６では、被写体のブロック（Ｘ，Ｙ）のＸ座標をインクリメントして次の列に座標を移動する処理を行う。次に、Ｘの値がＭ未満であるか否かを判定する（ステップＳ１６０７）。Ｘの値がＭ未満である場合はステップＳ１６０４に移行する一方、Ｘの値がＭ以上である場合には、ステップＳ１６０８に移行する。ステップＳ１６０８では、被写体のブロック（Ｘ，Ｙ）のＹ座標をインクリトして次の行に座標を移動する処理を行うと共に、Ｘの値を０として座標を列の先頭に指定する処理を行う。次に、ステップＳ１６０９で、Ｙの値がＮ未満であるか否かを判断し、Ｙの値がＮ未満である場合は、ステップＳ１６０４に移行する一方、Ｙの値がＮ以上である場合には、物体抽出を終了する。
【００６９】
このように、同じ距離に存在する物体を全て不要オブジェクトとして抽出することで、ユーザの手間を低減することが可能である。
【００７０】
［実施形態４］次に、実施形態４として、信頼度に応じてぼかし処理の実施の是非を判定する処理について説明する。
【００７１】
実施形態４では、補間画像が視覚的に違和感があるかどうかをユーザに通知することができる。
【００７２】
なお、本実施形態のカメラの構成や外観は、実施形態１と同様である。
【００７３】
図１７は、画像から信頼度を算出する処理を示すフローチャートである。以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【００７４】
図１７において、まず、補間領域の周辺領域の大きさを決定する（ステップＳ１７０１）。一般的に画像補間は、補間領域に隣接する領域の画素値を利用して補間を実施する。また、カメラから補間領域の本来の背景までの距離と、カメラから補間領域に隣接する領域の背景は一致する可能性が高いと考えられるため、画像補間に利用する領域は、補間領域に隣接する領域と同距離の領域であることが望ましい。このことから、本実施形態において特徴量を抽出する補間領域の周辺領域は、補間領域からの距離がＬ画素の範囲に存在し（Ｌは任意）、カメラからの距離が、補間領域に隣接する画素もしくはブロックが有する距離と同距離である領域とする。ここでは、図１８における太線で囲まれた領域から補間領域（車の存在する領域）除いた領域とする。
【００７５】
次に、信頼度算出に用いる特徴量として、補間領域の面積Ｓと、補間領域の周辺領域の乱雑度Ｎを抽出する（ステップＳ１７０２、Ｓ１７０３）。ここでは、補間領域の画素数を面積Ｓとし、補間領域の周辺領域から以下の方法で算出したエントロピーを乱雑度Ｎとする。まず、エッジ強度の閾値Ｔを０とし（ステップＳ１７０４）、補間領域の周辺領域における注目画素を中心とする３×３領域において、入力画像の各画素にガウシアン関数の水平方向１次微分フィルタ
【００７６】
【数１】
【００７７】
と、垂直方向１次微分フィルタ
【００７８】
【数２】
【００７９】
を畳み込み処理することで、エッジ強度とエッジ方向を抽出する（ステップＳ１７０５）。ただし、式１，式２において、ｉは水平方向の画素位置、ｊは垂直方向の画素位置である。次に、注目画素を中心とする３×３領域内で、各画素のエッジ強度が閾値Ｔより大きい場合に、縦軸が頻度値で、横軸が角度であり２２．５度を１単位としている頻度値グラフを生成する（ステップＳ１７０６）。この頻度値グラフの分布の特徴をエントロピー（式３）によって求める（ステップＳ１７０７）。
【００８０】
【数３】
【００８１】
ただし、式３において、Ｈはエントロピー量、ｐ（ｘｉ）はヒストグラムにおける各範囲ｘｉの確率である。次に、エントロピーＨが０か否かを判定し（ステップＳ１７０８）、エントロピーＨが０ではない場合、エントロピーＨと閾値Ｔの値を保存した後、閾値Ｔの値を増加させてステップＳ１７０５に戻る。一方、Ｈが０の場合、縦軸がエントロピー量、横軸が閾値Ｔのグラフを生成し、このグラフに対する積分値を計算する。以上の計算を周辺領域の全画素において行い（ステップＳ１７１１）、各画素に対する積分値の合計を乱雑度Ｎとする（ステップＳ１７１２）。ここで求めた補間領域の面積Ｓと補間領域の周辺領域の乱雑度Ｎから、式４により信頼度Ｃを計算する（ステップＳ１７１３）。信頼度Ｃの値が大きいほど、補間画像が視覚的に自然である可能性が高いとする。
【００８２】
【数４】
【００８３】
式４において、Ｐ（Ｓ）は、図１９（ａ）のように、Ｓの値に反比例する関数である。Ｐ（Ｓ）の関数形状は、補間領域の面積Ｓの値が小さいほど補間画像は視覚的に自然である可能性が高いという性質を考慮している。一方、Ｑ（Ｎ）は、図１９（ｂ）のように、Ｎが所定の値Ｎ０のときにピーク値を取る関数である。Ｑ（Ｎ）の関数形状は、乱雑度Ｎの値が小さい場合には、補間領域の周辺領域が有する色数は少なく、単純な構造で構成されている可能性が高いという性質を考慮している。また、乱雑度Ｎの値が大きい場合には、補間領域の周辺領域が、森や海のような、パターンは複雑ではあるが、一般的に画像補間結果が視覚的に自然になる領域である可能性が高いという性質を考慮している。
【００８４】
最後に、信頼度Ｃが閾値Ｚ以上であれば、補間画像が視覚的に自然なものになると判定する。一方、信頼度Ｃが閾値Ｚ未満であれば、補間画像が視覚的に違和感あるものになると判定する。後者と判定された場合、液晶表示パネル２０４に「補間結果が不自然になる可能性があります」や「撮り直しをお勧めします」等のメッセージを表示する。
【００８５】
ここでは、画素値から乱雑度を算出したが、画素値を輝度成分や彩度成分に分離した上で、各成分に対し乱雑度を算出してもよい。また、上述した例では信頼度算出に用いる画像の特徴量として、補間領域の面積と補間領域の周辺領域の乱雑度を挙げて説明したが、これに限られない。他の例として、補間領域の周辺領域の輝度分布、コントラスト、テクスチャの規則性、補間領域の面積と補間領域の周辺領域におけるテクスチャが規則的な領域の面積の比などを組み合わせて利用することができる。
【００８６】
このように、実施形態４によれば、画像中の補間領域に対して実際に画像補間を実施せずに、画像補間結果が視覚的に違和感ある画像となるか否かをユーザに通知可能となる。
【００８７】
［実施形態５］次に、実施形態５として、カメラ側で生成した補間画像をプレビュー表示するとともに、カメラに通信可能に接続されたサーバが画像処理装置として補間画像を生成し、カメラに送信する処理について説明する。
【００８８】
実施形態５では、カメラ側で素早く補間画像をプレビュー表示できるとともに、補間領域が比較的大きい場合であっても、サーバ側で高品質な補間画像が生成可能となる。
【００８９】
＜システム構成＞まず、図２０を参照して、本実施形態のシステム及びカメラの構成について説明する。
【００９０】
図２０（ａ）において、カメラ２０００が画像サーバ２１００とネットワーク２２００を介して接続され、画像データ等の送受信を行う。画像サーバ２１００は、様々な時刻・場所で撮影された画像を格納すると共に、それらの画像を用いて、複数枚画像による画像補間を実施することが可能である。
【００９１】
なお、本実施形態のカメラの構成や外観は、以下に説明する構成を除き、実施形態１と同様である。
【００９２】
図２０（ｂ）において、通信ユニット１１１は、不図示のアンテナ、ベースバンド部、ＲＦ部からなる。システムコントローラ１００は通信ユニット１１１を制御することにより、無線ＬＡＮ規格に適合したパケットを送受信することが可能である。
【００９３】
ＧＰＳユニット１１２は、ＧＰＳ衛星から送信される信号に基づき、カメラの位置を算出（測位）する。ＧＰＳユニット１１２は、システムコントローラ１００に対し、算出したカメラの緯度・経度・高度・対地速度・移動方向・測位時刻を出力する。
【００９４】
図２０（ｃ）は、ＧＰＳユニットの構成図である。
【００９５】
図２０（ｃ）において、アンテナ部１２１はＧＰＳ衛星からの信号を受信する。ＧＰＳＲＦ処理部１２２はアンテナ部１２１により受信されたＧＰＳ衛星の信号（ＲＦ信号）からノイズ等を取り除き、周波数の高いＲＦ信号を処理に適した低い周波数（ベースバンド）に変換して出力する。ＧＰＳベースバンド処理部１２３はＧＰＳＲＦ処理部１２２が出力するベースバンド信号をデコードし、緯度・経度などの情報を算出する。また、ＧＰＳベースバンド処理部１２３はシステムコントローラ１００と通信するためのインターフェースを搭載し、システムコントローラ１００からの要求に応じてＧＰＳにかかわる情報を出力する。
【００９６】
ＧＰＳベースバンド処理部１２３は上記情報を複数のフォーマットで出力することが可能であり、図２０（ｄ）、（ｅ）はそのフォーマットを例示している。
【００９７】
図２０（ｄ）において、１３１は測位した時刻の世界協定時（ＵＴＣ）を示したもの、１３２は測位データが有効か無効かを示すステータス、１３３は緯度、１３４は経度、１３５は地面に対する移動速度である。また、１３６は真北を基準とした地面に対する進行方向、１３７は測位した日付を世界協定時（ＵＴＣ）で示したもの、１３８はデータ１３１〜１３７が破損していないかどうかを検査するためのチェックサムである。
【００９８】
図２０（ｅ）において、１４１は測位した時刻の世界協定時（ＵＴＣ）を示したもの、１４２は緯度、１４３は経度、１４４は受信不能・単独測位・相対測位（ＤＧＰＳ）の３つで示される測位状態、１４５はＧＰＳ信号を受信している衛星の数である。また、１４６はＨＤＯＰ（Ｈｏｒｉｚｏｎａｌ Ｄｉｌｕｔｉｏｎ ｏｆ ｐｒｅｃｉｓｉｏｎ）と呼ばれる水平誤差を表す値である。さらに、１４７は海抜高度、１４８はジオイド体を基準とした高度、１４９は１４１〜１４８のデータが破損していないかどうかを検査するためのチェックサムである。
【００９９】
図２において、本実施形態のカメラは、ＧＰＳ受信部を有し、ＧＰＳ信号を受信するアンテナ部１２１はＧＰＳ受信部内部に格納されており、ＧＰＳ衛星から送信される信号を受信する。なお、無線ＬＡＮアンテナはカメラに内蔵されており、図示していない。
【０１００】
図２１は画像サーバ２１００の構成図である。
【０１０１】
図２１において、システムコントローラ４０１は画像サーバ２１００全体の制御を司り、後述する各部を制御して、ユーザの設定と操作に応じて画像を処理する。
【０１０２】
記録媒体４０２はハードディスクなどであり、システムコントローラ４０１からの指示に従い、データを保持する。記録媒体４０２には、様々な時刻・場所で撮影された画像が格納されている。
【０１０３】
ＲＡＭ４０３は画像サーバ２１００を制御するプログラムが作業領域として使用するための書き換え可能なメモリである。
【０１０４】
ＲＯＭ４０４は画像サーバ２１００を制御するプログラムとプログラムが使用するデータを格納する。画像サーバ２１００に電源が投入されると、システムコントローラ４０１はＲＯＭ４０４からプログラムを読み込み、画像サーバ２１００の制御を開始する。
【０１０５】
システムコントローラ４０１は、ＲＯＭ４０４に格納されたプログラムに従い、記録媒体４０２に格納された画像データを読み出し、複数枚画像による画像補間処理を実施する。
【０１０６】
ＮＶＲＡＭ４０６は、画像サーバ２１００がパワーサイクルを超えて保持する必要のあるパラメータを保持するための書き換え可能な不揮発性メモリである。
【０１０７】
通信部４０７は、イーサーネット（登録商標）等の有線ＬＡＮネットワークに対し、イーサーネットケーブルを介して接続する。
【０１０８】
＜動作説明（カメラ）＞次に、図２２〜図２４を参照して、本実施形態のカメラの動作について説明する。
【０１０９】
以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【０１１０】
図２２（ａ）において、ステップＳ２２０１では、カメラで被写体を撮影する。ステップＳ２２０２では、液晶表示パネル２０４に表示された画像から、ユーザが不要なオブジェクトを指定する。ステップＳ２２０３では、ステップＳ２２０２において指定された不要オブジェクト領域に対し、画像補間を実施する。
【０１１１】
図２２（ｂ）は、ステップＳ２２０１における画像撮影処理を示すフローチャートであるが、ステップＳ２２１１〜Ｓ２２１４は、図４（ａ）のステップＳ４０１〜Ｓ４０５と同様である。すなわち、ステップＳ２２１４で撮像指示がなされた場合、システムコントローラ１００は、撮像制御ユニット１０４により撮影指示時の画像データを取得するとともに、ＧＰＳユニット１１２からＧＰＳ情報を取得する（ステップＳ２２１５）。その後、画像データとＧＰＳ情報をＥＸＩＦファイル形式にして記録媒体１０５に保存する（ステップＳ２２１６）。
【０１１２】
＜不要オブジェクトの指定＞図２３を参照して、撮像画像から不要オブジェクトを指定する処理について説明する。
【０１１３】
図２３は、図２２（ａ）のステップＳ２２０２における不要オブジェクトを指定する処理を示すフローチャートであるが、ステップＳ２３０１〜Ｓ２３０７は、図６のステップＳ６０１〜Ｓ６０６と同様である。すなわち、システムコントローラ１００は、図７に示す画像７００の縮小前の画像を記録媒体１０５から読み出し、画像７００中の（ｘ０，ｙ０）に対応する座標（Ｘ０，Ｙ０）を算出してＲＡＭ１０７に格納する（ステップＳ２３０８）。具体的には、以下の式により（Ｘ０，Ｙ０）は算出される。
【０１１４】
Ｘ０＝ｘ０×（３７０２／３２０）
Ｙ０＝ｙ０×（２３０４／２４０）
システムコントローラ１００は、この座標を元に、画像７００の縮小前の画像からも、補間領域を抽出し（ステップＳ２３０９）、その座標情報をＲＡＭ１０７に別途格納する（ステップＳ２３１０）。
【０１１５】
＜画像補間＞図２４を参照して、図２２（ａ）の画像補間処理について説明する。
【０１１６】
ここでは、縮小前の画像を画像サーバ２１００側で、縮小後の画像をカメラ２０００側で、それぞれ異なる画像補間手段を用いて画像補間を実施する。
【０１１７】
図２４は、カメラ２０００から画像サーバ２１００へ、補間領域を含む画像を送信する処理を示すフローチャートであり、画像サーバ２１００のＩＰアドレスは既にカメラ２０００側に設定されているものとする。カメラ２０００に画像サーバ２１００のＩＰアドレスを設定する方法としては、カメラのメニューボタン２０５を操作して画像サーバ２１００のＩＰアドレスを設定する画面に遷移し、ボタン２０６でＩＰアドレスを直接入力してもよい。あるいは、画像サーバ２１００の情報が記録されたパーソナルコンピュータ（ＰＣ）を、ＵＳＢケーブルを介してカメラと接続し、画像サーバ２１００のＩＰアドレスをＰＣからカメラへ転送するようにしてもよい。
【０１１８】
ステップＳ２４０１では、カメラ２０００から画像サーバ２１００へ、接続要求を送信する。
【０１１９】
ステップＳ２４０２では、カメラ２０００のシステムコントローラ１００は、画像サーバ２１００から接続許可を受信したか否かを判定する。ここで、カメラ２０００が画像サーバ２１００から接続許可を受信した場合には、ステップＳ２４０３へ、一定時間経過しても接続許可を受信できなかった場合にはステップＳ２４１４へ進む。
【０１２０】
ステップＳ２４０３では、カメラ２０００から画像サーバ２１００へ、補間領域を含む画像を、補間領域の座標情報とともに送信する。画像サーバ側では、これらのデータを受信し、複数枚による画像補間処理を実施する。画像サーバ２１００側の処理については後述する。
【０１２１】
ステップＳ２４０４では、システムコントローラ１００は、表示用に縮小した画像に対し、１枚画像による画像補間を実施する。この１枚画像による画像補間処理は、図８で説明した通りである。なお、縮小前の画像における既知領域の情報は、縮小画像よりも情報量が豊富であるため、記録媒体１０５から縮小前の画像を読み出し、画像補間に利用してもよい。これにより、より視覚的に自然な補間画像が得られる。なお、一枚画像による画像補間は上記の方法のみに限定されず、他の公知の手段を用いても良い。
【０１２２】
ステップＳ２４０５では、ステップＳ２４０４において得られた補間画像を液晶表示パネル２０４に表示する。これにより、不要オブジェクトが削除された画像をユーザが閲覧することが可能になる。
【０１２３】
ステップＳ２４０６では、システムコントローラ１００は、送信した補間画像を含む画像に対し、画像サーバ２１００において複数枚画像による画像補間が実施された画像を、画像サーバ２１００から受信したか否かを判定する。受信が完了している場合にはステップＳ２４０８へ進み、受信が完了していない場合には、ステップＳ２４０７へ進む。
【０１２４】
ステップＳ２４０７では、システムコントローラ１００は補間画像の受信待ちを開始してから一定時間経過したか、または、画像サーバ２１００から、画像補間が完了しなかった旨のメッセージを受信したか否かを判定する。この条件が成立した場合（Ｙｅｓ）には、ステップＳ２４１４へ進み、不成立の場合（Ｎｏ）には、ステップＳ２４０６へ進む。
【０１２５】
ステップＳ２４０８では、システムコントローラ１００は、液晶表示パネル２０４に選択ダイアログを表示するなどして、受信した画像データを液晶表示パネル２０４に表示させるか否かをユーザに問い合わせする。ここで、ユーザがＹｅｓを選択した場合にはステップＳ２４０９へ進み、Ｎｏを選択した場合には本処理を終了する。
【０１２６】
ステップＳ２４０９では、システムコントローラ１００は、受信した画像を、液晶表示パネル２０４に表示可能なサイズ（横３２０画素、縦２４０画素）に縮小する。
【０１２７】
ステップＳ２４１０では、ステップＳ２４０９で縮小した画像を液晶表示パネル２０４に表示することで、１枚画像による画像補間の補間結果を複数枚画像による画像補間の補間結果に置き換える。これにより、複数枚画像による画像補間の結果を、液晶表示パネル２０４を介してユーザに提示することができる。
【０１２８】
ステップＳ２４１１では、カメラは、液晶表示パネル２０４に選択ダイアログを表示するなどして、受信した画像データを記録媒体１０５へ保存するか否かをユーザに問い合わせする。ここで、ユーザがＹｅｓを選択した場合にはステップＳ２４１２へ進み、Ｎｏを選択した場合にはステップＳ２４１３へ進む。
【０１２９】
ステップＳ２４１２では、システムコントローラ１００は、受信した画像データを記録媒体１０５へ保存する。このとき、記録媒体１０５の容量を圧迫しないために、画像サーバ２１００へ送信した補間領域を含む画像を記録媒体１０５から削除してもよい。
【０１３０】
ステップＳ２４１３では、システムコントローラ１００は、ステップＳ２４０４において得られた補間画像を液晶表示パネル２０４に再度表示し、本処理を終了する。
【０１３１】
一方、ステップＳ２４１４では、画像サーバ２１００に接続できなかった旨や、補間画像を受信できなかった旨を液晶表示パネル２０４に表示することでユーザに通知し、本処理を終了する。
【０１３２】
なお、ユーザ負荷を軽減するため、ステップＳ２４０８、Ｓ２４１１におけるユーザの選択を省略し、受信した画像を自動的に表示、保存してもよい。
【０１３３】
＜動作説明（画像サーバ）＞次に、図２５を参照して、本実施形態の画像サーバの動作について説明する。
【０１３４】
以下に述べる処理を行うためのプログラムはＲＯＭ４０４に予め格納されており、システムコントローラ４０１が適宜読み出して実行する。
【０１３５】
図２５において、ステップＳ２５０１では、システムコントローラ４０１はカメラ２０００から接続要求を受信する。
【０１３６】
ステップＳ２５０２では、システムコントローラ４０１はカメラ２０００に対し接続許可を送信する。
【０１３７】
ステップＳ２５０３では、システムコントローラ４０１は、カメラ２０００から、補間領域を含む画像及び補間領域の座標情報を受信したか否かを判定する。ここで情報を受信した場合にはステップＳ２５０４へ進み、受信していない場合には、情報を受信するまで待つ。
【０１３８】
ステップＳ２５０４では、システムコントローラ４０１は、補間領域を含む画像のＥＸＩＦ情報から、撮影日時情報と撮影位置情報を含む属性情報を取得する。
【０１３９】
ステップＳ２５０５では、システムコントローラ４０１は、記録媒体４０２に、ステップＳ２５０４において取得した撮影位置が一致又は重複する画像が存在するか否かを判定する。ここで画像が存在する場合、ステップＳ２５０６へ、存在しない場合、ステップＳ２５１０へ進む。
【０１４０】
ステップＳ２５０６では、システムコントローラ４０１は、ステップＳ２５０５において取得した画像から、更に撮影日時が近似した画像が存在するか否かを判定する。ここで画像が存在する場合、ステップＳ２５０７へ、存在しない場合、ステップＳ２５１０へ進む。
【０１４１】
ステップＳ２５０７では、システムコントローラ４０１は、ステップＳ２５０５、Ｓ２５０６において絞り込まれた画像、すなわち、補間領域を含む画像と撮影位置及び撮影日時が近似した複数枚の画像を用いて画像補間を実施する。複数枚画像による画像補間は、公知の方法を用いて実施する。例えば、複数枚画像から、特開２００８−０４６７５０号公報に記載されているような、一般的な特徴点抽出方法であるＨａｒｒｉｓオペレータ等を用いて特徴点を抽出し、画像間の特徴点の対応付けを行う。その後、特徴点の対応から射影変換行列を推定し、画像を変形することで画像の位置合わせを行う。ここで、補間領域を含まない画像から補間領域の座標に対応する座標の画素値を取得し、補間領域に挿入することで画像補間が実施できる。
【０１４２】
なお、複数枚画像による画像補間は上述した方法のみに限定されず、他の公知の手段を用いても良い。
【０１４３】
ステップＳ２５０８では、システムコントローラ４０１は、ステップＳ２５０７における画像補間の結果、補間領域の全画素に対し、画素値が挿入されたか否かを判定する。補間領域の全画素に画素値が挿入されていればステップＳ２５０９へ、補間領域の全画素に対し画素値が挿入されていなければ、ステップＳ２５１０へ進む。
【０１４４】
ステップＳ２５０９では、システムコントローラ４０１は、補間画像をカメラ２０００へ送信し、本処理を終了する。
【０１４５】
また、ステップＳ２５１０では、システムコントローラ４０１は、現在画像サーバに存在する画像を用いても、画像補間が完了しなかった旨をカメラ２０００へ送信し、本処理を終了する。
【０１４６】
なお、ステップＳ２５０８において、全画素に対する画像補間が完了しなかった場合においても、補間領域が小さくなることで、カメラ側で視覚的に自然な画像補間が達成できる可能性が高まることが考えられる。そのため、一部でも補間領域に画素が挿入された場合には、補間画像をカメラへ送信するようにしてもよい。
【０１４７】
また、本実施形態では、複数枚画像による画像補間に使用する画像を選択する際の条件として、撮影日時と撮影位置を用いたが、季節や天気などの情報も利用することで、より撮影時の環境に近い画像を抽出することが可能になる。これにより、より視覚的に自然な画像補間を実現できる。
【０１４８】
画像サーバから受信した補間画像についてユーザが気に入らなかった場合を考慮し、ステップＳ２４０６の後、補間画像を許容するか否かをユーザに問い合わせるようにしてもよい。またユーザがＮｏを選択した場合には、補間画像を記録媒体１０５に保存しないようにしてもよい。これにより、記録媒体１０５のメモリ容量を節約することができる。
【０１４９】
本実施形態によれば、カメラ側で素早く補間画像を表示できるとともに、不要オブジェクトの領域が比較的大きくても、高品質な補間画像が生成可能となる。
【０１５０】
［実施形態６］次に、実施形態６として、図１７のように算出した信頼度が閾値以上であれば画像サーバへ画像を送信しない処理について説明する。
【０１５１】
実施形態５では、画像中の不要オブジェクトが指定された場合に、当該指定画像を画像サーバへ送信する場合について説明した。実施形態６では、画像中の補間領域が比較的小さく、１枚画像による画像補間でも視覚的に自然な画像が生成可能な場合など、指定画像の画像サーバへの送信を省略できる場合について説明する。
【０１５２】
なお、本実施形態の画像サーバやカメラの構成や外観は、実施形態５と同様である。
【０１５３】
以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【０１５４】
＜動作説明（カメラ）＞図２６を参照して、補間領域を含む画像に対する補間処理について説明する（他の処理は実施形態５と同様であるため省略する）。
【０１５５】
図２６において、補間領域を抽出した後、補間領域を含む画像の、画像サーバへの送信が不要と判定された場合、カメラ側でのみ画像補間を実施する。一方、補間領域を含む画像の、画像サーバへの送信が必要と判定された場合には、実施形態５と同様の処理を実施する。
【０１５６】
ステップＳ２６０１では、システムコントローラ１００は、画像中の補間領域と、その周辺領域から抽出した特徴量を基に信頼度を算出する。画像から信頼度を算出する方法は、図１７〜１９で述べた通りである。
【０１５７】
ステップＳ２６０２ではシステムコントローラ１００は、、ステップＳ２６０１において得られた信頼度と所定の閾値とを比較する。信頼度が所定の閾値以上の場合、１枚画像による画像補間でも視覚的に自然な画像が生成可能と判定し、ステップＳ２６１４へ進む。一方、信頼度が所定の閾値未満の場合、１枚画像による画像補間では、視覚的に自然な画像補間が達成できないと判定し、ステップＳ２６０３へ進む。
【０１５８】
ステップＳ２６０３〜Ｓ２６１６は、図２４のステップＳ２４０１〜Ｓ２４１４と同様である。
【０１５９】
ステップＳ２６１７では、システムコントローラ１００は、表示用に縮小する前の画像に対し、１枚画像による画像補間を実施する。画像補間の方法は実施形態５と同様である。
【０１６０】
ステップＳ２６１８では、システムコントローラ１００は、ステップＳ２６１７において得られた補間画像を、液晶表示パネル２０４に表示可能なサイズ（横３２０画素、縦２４０画素）に縮小する。
【０１６１】
ステップＳ２６１９では、システムコントローラ１００は、ステップＳ２６１８において縮小した画像を液晶表示パネル２０４に表示し、本処理を終了する。
【０１６２】
本実施形態によれば、不要オブジェクトとして指定された補間領域について信頼度を算出することにより、画像サーバへの不要な画像送信を抑制することが可能である。
【０１６３】
上述した各実施形態においては、本発明をカメラなどの撮像装置に適用した例にして説明したが、これに限定されない。すなわち、本発明は、撮像手段を持たず、表示用ディスプレイが小さいスマートフォンやＰＤＡ等の画像処理装置にも適用可能である。この場合には、既にＧＰＳ情報を有する画像がサーバ側に転送されており、図２２のＳ２２０２、Ｓ２２０３の処理を実行することで、実施形態５，６と同等の効果が得られる。
【０１６４】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、画像中から不要なオブジェクトを消去した領域の補間処理技術に関する。
【背景技術】
【０００２】
従来、画像上のシミや汚れの除去や、欠損の補修などが行われている。また、シミや汚れではないが、ユーザが存在してほしくない柱や電線などのオブジェクトを除去してユーザ所望の画像に仕上げる処理なども行われている。これらの処理は、まず、除去や補修などの対象となる領域（以下、補間領域）を手動指定または自動検出により特定し、特定された補間領域の各画素に対して元の画素値の代わりとなる新たな画素値を求めて挿入する（以下、画像補間）ことによって実現される。
【０００３】
画像補間方法としては、例えば、特許文献１のように、補間領域に属さない領域（以下、既知領域）内の画素の画素値を用いて補間領域内の画素の新たな画素値を求めることができる。具体的には、補間領域の縁辺上に所定のサイズ（例えば３画素×３画素）のパッチを配置し、配置されたパッチ内における既知領域の画素値の平均値を求めて、同じパッチ内における補間領域の画素の新たな画素値とするようにしている。
【０００４】
一般的に、補間領域が小さく、補間領域の周辺領域が単純な構造である場合には、画像補間を実施した画像（以下、補間画像）は視覚的に自然である可能性が高い。一方、補間領域が大きく、補間領域の周辺領域における色や構造が複雑である場合には、誤推定する可能性が高くなり、その結果、視覚的に違和感のある画像が生成される可能性がある。
【０００５】
ここで補間領域に対してぼかしなどの画像処理を施すことで、補間画像の違和感を軽減することが可能である。特許文献２では、カメラによる静止画撮影時に、撮影画像の任意の領域に対してカメラからの奥行き距離を求めておき、奥行き距離が閾値以上の領域に対し、ぼかし処理を施す方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−１１４６３９号公報
【特許文献２】特開２０００−２４４８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献２では、どの奥行き距離を基準にぼかし処理を施すかが記述されていないため、ぼかさなくてもよい領域をぼかしたり、ぼかす必要がある領域をぼかし損ねたりするおそれがある。また、ユーザがぼかし結果を確認しながら閾値を決定する方法は、大変煩わしい操作をユーザに強いることになる。
【０００８】
本発明は、上記課題に鑑みてなされ、その目的は、補間後の画像に対して、必要最小限の領域にのみぼかし処理を施すことにより、補間画像の違和感を軽減することができる補間処理技術を実現することである。
【課題を解決するための手段】
【０００９】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、画像中の不要なオブジェクトを消去する機能を有する画像処理装置であって、画像を所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、前記画像中の不要なオブジェクトを指定するための指定手段と、前記指定手段により指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間手段と、前記補間手段により補間処理を施した画像を表示する表示手段と、前記画像中の特定の領域に対してぼかし処理を施す画像処理手段と、を有し、前記画像処理手段は、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定する。
【発明の効果】
【００１０】
本発明によれば、補間後の画像に対して、必要最小限の領域にのみぼかし処理を施すことにより、補間画像の違和感を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施形態の撮像装置のブロック構成図。
【図２】本実施形態の撮像装置の外観を示す背面図（ａ）及び上面図（ｂ）。
【図３】レンズ位置と被写体距離の関係を示す図。
【図４】実施形態１の被写体距離取得までの処理を示すフローチャート。
【図５】実施形態１の被写体距離取得処理の説明図。
【図６】実施形態１の不要オブジェクトを指定・抽出する処理を示すフローチャート。
【図７】図６の不要オブジェクトの指定処理の説明図。
【図８】実施形態１の補間領域に対する画像補間処理を示すフローチャート。
【図９】図８の画像補間処理の説明図。
【図１０】補間画像を例示する図。
【図１１】実施形態１の補間画像に対するぼかし処理を示すフローチャート。
【図１２】図１１のぼかし処理の説明図。
【図１３】実施形態２の補間画像に対するぼかし処理の説明図。
【図１４】実施形態２の補間画像に対するぼかし処理を示すフローチャート（ａ）及び距離とスケールパラメータの関係を示す図（ｂ）、（ｃ）。
【図１５】実施形態３の複数の不要オブジェクトを自動抽出する処理の説明図。
【図１６】実施形態３の複数の不要オブジェクトを自動抽出する処理を示すフローチャート。
【図１７】実施形態４の信頼度算出処理を示すフローチャート。
【図１８】実施形態４の信頼度算出処理の説明図。
【図１９】実施形態４の信頼度算出処理の説明図。
【図２０】実施形態５のシステム構成図（ａ）、撮像装置の構成図（ｂ）、ＧＰＳユニットの構成図（ｃ）、ＧＰＳユニットの出力データフォーマットを例示する図（ｄ）、（ｅ）。
【図２１】実施形態５のサーバのブロック構成図。
【図２２】実施形態５の撮像装置の動作を示すフローチャート。
【図２３】実施形態５の不要オブジェクトを指定・抽出する処理を示すフローチャート。
【図２４】実施形態５の撮像装置の画像補間処理を示すフローチャート。
【図２５】実施形態５のサーバの動作を示すフローチャート。
【図２６】実施形態６の撮像装置の画像補間処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１３】
以下に、本発明の画像処理装置又は撮像装置を、電子シャッター方式のコンパクトデジタルカメラ（以下、カメラ）により実現した例について説明する。
【００１４】
［実施形態１］実施形態１は、画像から物体（不要オブジェクト）を消去するとともに、消去後の領域を周辺領域の画素値を利用して補間する際に、補間結果が自然でない状況を考慮して、カメラからの距離に応じて撮像画像中の特定領域をぼかす処理を行う。
【００１５】
＜カメラの構成＞まず、図１を参照して、本実施形態のカメラの構成について説明する。
【００１６】
図１において、システムコントローラ１００はカメラ全体の制御を司る機能を有し、後述する各部を制御して、ユーザの設定と操作に応じて画像を撮影し処理する。
【００１７】
光学レンズユニット１０１は、絞り、ズーム、フォーカス機能を備える。光学制御ユニット１０２は、システムコントローラ１００からの指示に従い、光学レンズユニット１０１を制御する。具体的には、光学レンズユニット１０１の絞り、ズーム、フォーカスを変更することができる。撮像素子１０３は、光学レンズユニット１０１を通過した光（画像）を電気信号に変換するための、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが適用される。本実施形態では、横３０７２画素、縦２３０４画素の撮像素子を用いる。
【００１８】
撮像制御ユニット１０４は、システムコントローラ１００からの指示に従い、撮像素子１０３を制御する。具体的には、撮像素子１０３の感度調整（ゲインコントロール）、シャッター秒時に従った撮像素子１０３からのデータの読み取りなどを行う。
【００１９】
ここで、光学制御ユニット１０２は、撮像素子１０３から出力されるコントラスト電圧が最大になるようにフォーカスモータを駆動してオートフォーカス（ＡＦ）機能を実現する。詳述すると、このＡＦ機能は、レンズユニット１０１を移動して焦点位置を移動させていくと、撮像される画像のコントラストが変化していき、合焦位置でコントラストが最大になるという性質を利用している。また、光学制御ユニット１０２は、例えば、図３に示すような、レンズユニット１０１のレンズ位置と、被写体距離との関係を示す数式が位置−距離テーブルとして格納している。これにより、撮像素子１０３から出力されるコントラスト電圧が最大となる場合のレンズユニット１０１のレンズ位置に対応する被写体距離を、システムコントローラ１００に出力することが可能である。
【００２０】
記録媒体１０５は、画像データなどを格納するデバイスであり、例えばＳＤメモリカード・コンパクトフラッシュカード（登録商標）やメモリスティックなどのカード型で取り外し可能なメモリが用いられる。記録媒体１０５には、撮像制御ユニット１０４が出力する画像データ（ＲＡＷデータ）や、当該ＲＡＷデータから生成された画像データ（ＪＰＥＧデータあるいはＥＸＩＦデータ）が格納される。
【００２１】
ＲＯＭ１０６は後述する実施形態の処理を実現する制御プログラムやプログラムが使用するデータを格納する不揮発性メモリである。カメラに電源が投入されると、システムコントローラ１００はＲＯＭ１０６からプログラムを読み込み、カメラの制御を開始する。
【００２２】
ＲＡＭ１０７は後述する実施形態の処理を実現する制御プログラムが作業領域として使用するための書き換え可能なメモリである。また、撮像制御ユニット１０４から出力される画像データを一時的に記憶するバッファとしても使用される。
【００２３】
ＮＶＲＡＭ１０８は、後述するＵＩユニット１０９でユーザの指定した設定値や、本実施形態のカメラがパワーサイクルを超えて保持する必要のあるパラメータを保持するための書き換え可能なメモリである。
【００２４】
ＵＩ（ユーザインタフェース）ユニット１０９は、ユーザの操作画面を生成し、ユーザの操作指示をシステムコントローラ１００に伝達する。ＵＩユニット１０９は複数のボタン、ダイヤル、タッチパネルにより構成される。ＵＩユニット１０９を構成するボタン、ダイヤル、タッチパネルについては図２を参照して後述する。
【００２５】
表示ユニット１１０は、システムコントローラ１００からの指示に従い、画像を表示するための液晶表示パネル（ＬＣＤ）のようなディスプレイデバイスとそれをコントロールするディスプレイドライバからなる。本実施形態では、横３２０画素、縦２４０画素のＬＣＤを用いる。タッチパネルの分解能は、表示ユニット１１０の画素数（横３２０画素、縦２４０画素）と一致するものとする。
【００２６】
表示ユニット１１０には、カメラの各種設定を行うためのメニュー、撮像制御ユニット１０４が出力する画像（構図決定用のファインダとしての利用）、撮影画像（撮影画像の確認としての利用）、記録媒体１０５に格納された画像（画像ビューアとしての利用）が表示される。それぞれの画像には任意のグラフィクス画像を重畳して表示することが可能である。本実施形態では、重畳するグラフィクス画像の画素数は、表示ユニット１１０の画素数と同じとする。
【００２７】
＜カメラの外観構成＞図２を参照して、本実施形態のカメラの外観構成について説明する。
【００２８】
図２において、撮影ボタン２０１は、ユーザが半分程度押し込むことによりフォーカスロックを、さらに押し込むことにより撮像処理の開始をカメラに指示をすることができる。
【００２９】
ズームボタン２０２は、ユーザが左右にスライドさせ、それに従って光学制御ユニット１０２がレンズユニット１０１を調整し、所望のズームを実現する。
【００３０】
モードダイヤル２０３は、ユーザがこのダイヤルを回転させることによって、撮影したいシーンに適した動作をするようにカメラに指示することができる。例えば、全自動のオートモード・人物に好適なポートレートモード・風景に好適な風景モード・動きが速いものに好適なスポーツモード・暗い場所での撮影に適した夜景モードなどがある。
【００３１】
表示ユニット１１０の液晶表示パネル２０４はタッチパネル式となっており、ユーザはタッチパネルに表示されたメニュー画像やボタン画像にタッチすることによって、カメラに指示を入力することができる。
【００３２】
メニューボタン２０５は、液晶表示パネル２０４にメニューを表示するためのボタンである。ユーザがメニューボタン２０５を押すことによりメニュー画面を表示し、カメラの設定を行うことができる。
【００３３】
上下左右ボタン２０６は、液晶表示パネル２０４に表示されたメニューを選択したり、記録媒体１０５に格納された画像データの中から、液晶表示パネル２０４に再生する画像を選択したりするための上下左右の各ボタン群からなる。ユーザは、上下左右ボタン２０６を操作することで、メニューから操作したい項目を選択したり、パラメータを入力・選択したりすることができる。
【００３４】
再生ボタン２０７は、カメラを撮像モードから再生モードに切り替えるためのボタンであり、記録媒体１０５に格納された画像を液晶表示パネル２０４に再生させる際に使用する。
【００３５】
他のボタン２０８〜２１２は、フラッシュの設定やマクロモードの設定などの各種動作を迅速に行うためのボタンである。また、メニューボタン２０５で表示するメニュー項目をワンタッチで呼び出すショートカットボタンとしても機能する。これらの機能は、本実施形態との関連性があまりないので、詳細な説明は行わない。
【００３６】
＜動作説明＞次に、図４〜図１２を参照して、本実施形態のカメラの動作について説明する。
【００３７】
以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【００３８】
図４（ａ）は、実施形態１の被写体距離を取得する処理を示すフローチャートである。
【００３９】
図４（ａ）において、ステップＳ４０１では、撮像制御ユニット１０４は、レンズユニット１０１から入力され、撮像素子１０３で光電変換された画像データをシステムコントローラ１００に出力する。
【００４０】
ステップＳ４０２では、システムコントローラ１００は、ステップＳ４０１で取得した画像データを液晶表示パネル２０４に構図決定用（プレビュー用）の画像として表示する。このとき、ステップＳ４０１で撮像制御ユニット１０４から出力した画像データは、液晶表示パネル２０４の解像度（３２０×２４０）に調整して表示することになる。
【００４１】
ステップＳ４０３では、システムコントローラ１００は、合焦指示の有無を確認する。具体的には、ユーザが撮影ボタン２０１を半押しした場合を合焦指示とみなす。合焦指示がなされた場合はステップＳ４０４に進み、撮影指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。
【００４２】
ステップＳ４０４では、システムコントローラ１００は、主被写体に対して合焦する過程において、撮像対象に対する距離情報を取得し、保存する。
【００４３】
（距離情報取得）ここで、図４（ｂ）を参照して、ステップＳ４０４での距離情報取得方法について説明する。まず、撮像素子１０３の画素を、１ブロックＬ×Ｌ画素として、Ｍ（Ｘ座標）×Ｎ（Ｙ座標）のブロックに分割し、これと対応させて取り込んだ画像を図５（ａ）のようにブロック化する（ステップＳ４１５）。次に、レンズユニット１０１を焦点位置が無限遠になる位置に移動させた後（ステップＳ４１６）、焦点位置が小さくなる方向へレンズユニット１０１を１ステップずつ移動させ（ステップＳ４１７）、各ブロックの高周波成分を記憶する（ステップＳ４１８）。主被写体に対する合焦が完了するまで（ステップＳ４１９）、上記ステップＳ４１７〜ステップＳ４１８を繰り返す。その後、ブロックごとに記憶した高周波成分がピークとなるレンズ位置を算出し（ステップＳ４２０）、図３のレンズ位置と被写体距離の関係から各ブロックにおける距離を算出する（ステップＳ４２１）。距離情報は、図５（ｂ）のようにブロックの座標と対応させて記録媒体１０５に格納する（ステップＳ４２２）。この距離情報は、画像データのヘッダ部に格納してもよいし、別ファイルとして、画像データに対応付けて保存してもよい。ここではブロック単位で距離情報を算出したが、Ｌ＝１として画素単位に距離情報を算出してもよい。
【００４４】
図４（ａ）に戻り、システムコントローラ１００は、撮影指示の有無を確認する（ステップＳ４０５）。具体的には、ユーザが撮影ボタン２０１を押下した場合、あるいは、セルフタイマーが完了した場合を撮影指示とみなす。撮影指示がなされた場合はステップＳ４０６に進み、撮影指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。
【００４５】
ステップＳ４０６では、システムコントローラ１００は、撮像制御ユニット１０４を介して撮影指示時の画像データを取得し、ＥＸＩＦファイル形式にして記録媒体１０５に保存する。
【００４６】
＜不要オブジェクトの指定・抽出＞図６を参照して、撮像画像から不要オブジェクトを指定・抽出する処理ついて説明する。
【００４７】
図６において、まず、ユーザの再生ボタン２０７押下により、カメラは再生モードに遷移する（ステップＳ６０１）。再生モードにおいて、システムコントローラ１００は記録媒体１０５に格納された画像データを液晶表示パネル２０４に表示させる。ユーザは、上下左右ボタン２０６を操作して、液晶表示パネル２０４に表示したい画像を選択する（ステップＳ６０２）。次に、ユーザのメニューボタン２０５押下により、システムコントローラ１００は、図７（ａ）のように、液晶表示パネル２０４に現在表示されている画像７００に重畳させて、メニュー群７０１を表示させる。ここで、上下左右ボタン２０６の操作により、メニュー群７０１から物体消去モードボタン７０２を選択することで、カメラは物体消去モードに遷移する（ステップＳ６０３）。物体消去モードでは、液晶表示パネル２０４上でタッチパネルが有効になり、ユーザは画像７００中から消去したい物体（ここでは物体７１０）を指定できる（ステップＳ６０４）。ここで、システムコントローラ１００は、記録媒体１０５に格納された画像７００に対応する画像データを読み出し、ユーザによって指定されたポイントから、当該画像における対応する座標（Ｘ０，Ｙ０）を算出してＲＡＭ１０７に格納する。この座標を元に、画像中から消去対象となる物体の領域、すなわち補間領域を抽出する（ステップＳ６０５）。物体抽出方法については周知の方法を利用する。例えば、画像における座標（Ｘ０，Ｙ０）の画素と、隣接する画素との画素値の差分を計算し、予め定めた閾値以下であれば、同一の物体領域と判定し補間領域に含める。あるいは、記録媒体１０５に格納された距離情報を利用して、画像における座標（Ｘ０，Ｙ０）の画素と隣接する画素の中で、距離が等しい画素を同一の物体領域と判定し補間領域に含める。ここで抽出された領域の座標情報がＲＡＭ１０７に格納される（ステップＳ６０６）。
【００４８】
＜画像補間＞図８を参照して、補間領域に対して実施する画像補間処理について説明する。
【００４９】
図８において、まず、補間領域の最も外側に位置し、多くの既知領域の画素に囲まれている画素ｐを選択する（ステップＳ８０１）。補間領域と既知領域が、例えば、図９（ａ）のような配置であった場合、画素ｐ１１が画素ｐとなる。
【００５０】
次に、画素ｐを含むＮ×ＮブロックＢを作成する（ステップＳ８０２）。図９（ｂ）では、Ｎ＝５とし、画素ｐをブロックＢの中心に配置しているが、Ｎの値、及び画素ｐの配置については任意である。次に、画素ｐの近傍領域Ｒにおいて、先程作成したブロックＢとのブロックマッチングを実施する（ステップＳ８０３）。具体的には、近傍領域Ｒ内にブロックＢを配置し、重なり合う画素の画素値の差分をそれぞれ算出した後、それらの平均値Ｅを算出する。ただし、ブロックＢにおける補間領域に属する画素については、上記の計算の対象に含めない。図９（ｃ）では、近傍領域Ｒを図のように指定しているが、近傍領域Ｒの大きさや位置は任意である。近傍領域Ｒにおいて、全てのブロックマッチングを実施した後、平均値Ｅが最小となるときのブロックＢの位置に対応するブロックをブロックＴする。さらに、ブロックＴにおける、ブロックＢの画素ｐの位置に対応する画素ｑの画素値を画素ｐに与える（ステップＳ８０４）。例えば、図９（ｄ）のようにブロックＴを決定した場合、画素ｑの位置は図９（ｄ）のようになる。次に、画素ｐにおける距離データを画素ｑにおける距離データで更新し、記録媒体１０５に保存する（ステップＳ８０５）。最後に、補間領域から画素ｐを除去する（ステップＳ８０６）。これを、補間領域が存在しなくなるまで繰り返す（ステップＳ８０７）。
【００５１】
このようにして画像補間が完了し、図１０のように、画像中の物体７１０が消去された補間画像が得られ、記録媒体１０５に保存される。このとき、記録媒体１０５のメモリ容量を考慮して、画像補間実施前の画像を記録媒体１０５から消去してもよい。
【００５２】
＜ぼかし処理＞図１１を参照して、補間画像に対するぼかし処理について説明する。
【００５３】
画像補間が完了すると、システムコントローラ１００は、図１２（ａ）のように、補間画像の縮小画像１２００と、選択メニュー１２０１を液晶表示パネル２０４に表示させる（ステップＳ１１０１）。ここで、ユーザは、上下左右ボタン２０６を操作して、補間画像にぼかし処理を施すか否かを決定する（ステップＳ１１０２）。ぼかし処理を実施しない場合（Ｎｏ）、処理を終了する。ぼかし処理をする場合（Ｙｅｓ）、上記画像補間処理において更新された距離データを記録媒体１０５から読み出す（ステップＳ１１０３）。読み出した距離データと補間画像の関係を図１２（ｂ）に示す。図１２（ｂ）では、補間画像に対し、距離データの一部をブロック毎に付記している。また、図１２（ｂ）の太線１２０２は、補間領域を含むブロック群である。本実施形態のぼかし処理では、まず、ブロック群１２０２が有する距離データの中で、ぼかし処理を施す基準となる距離Ｄを決定する（ステップＳ１１０４）。
【００５４】
ここでは、距離Ｄ以上のブロックに対しぼかし処理を施すため、ブロック群１２０２が有する距離データの中から最小の距離（９ｍ）を選択する。この距離Ｄを基準に、ブロック毎にぼかし処理を施す。ブロック毎のぼかし処理では、まず、ブロックの座標（Ｘ，Ｙ）を初期値（０、０）に設定する（ステップＳ１１０５）。次に、距離データＦ（Ｘ，Ｙ）と距離Ｄを比較し（ステップ１１０６）、距離データＦ（Ｘ，Ｙ）が距離Ｄ以上の場合に、座標（Ｘ，Ｙ）のブロックに対し、ぼかし処理を施す（ステップＳ１１０７）。具体的には、座標（Ｘ，Ｙ）のブロックに対し、ローパスフィルタを適用する。このとき、距離が大きいブロックに対しては、ローパスフィルタのスケールパラメータをより大きく設定することにより、ぼかし処理の強度を強くする。これにより、カメラからの距離が遠いほど、ぼかしが強くなり、あたかも被写界深度の浅い画像が生成できる。一方、距離データＦ（Ｘ，Ｙ）が距離Ｄより小さい場合は、ぼかし処理を行わずにステップＳ１１０８へ移行する。ステップＳ１１０８では、被写体のブロック（Ｘ，Ｙ）のＸ座標をインクリメントして次の列に座標を移動する処理を行い、次いで、Ｘの値がＭ未満であるか否かを判断する（ステップＳ１１０９）。Ｘの値がＭ未満である場合はステップＳ１１０６に移行する一方、Ｘの値がＭ以上である場合には、ステップＳ１１１０に移行する。
【００５５】
ステップＳ１１１０では、被写体のブロック（Ｘ，Ｙ）のＹ座標をインクリメントして次の行に座標を移動する処理を行うと共に、Ｘの値を０として座標を列の先頭に指定する処理を行う。ステップＳ１１１１では、Ｙの値がＮ未満であるか否かを判断し、Ｙの値がＮ未満である場合は、ステップＳ１１０６に移行する一方、Ｙの値がＮ以上である場合には、本処理を終了する。
【００５６】
上述したようにぼかし処理を施された画像は、新たに記録媒体１０５に格納される。このとき、記録媒体１０５のメモリ容量を考慮して、補間画像を記録媒体１０５から消去してもよい。
【００５７】
このように、本実施形態によると、補間画像に対して、必要最小限の領域にのみぼかし処理を施すことにより、補間画像の違和感を軽減することが可能である。さらに、画像の距離情報に応じてぼかし処理の強度を変更することにより、あたかも被写界深度の浅い画像が生成可能である。
【００５８】
［実施形態２］次に、実施形態２として、補間画像に対してぼかし処理を実施する例について説明する。
【００５９】
実施形態１では、画像補間により挿入する画素値の算出に利用した領域が有する距離以上の距離を有する領域に対してぼかし処理を施した。一方、図１３の画像１３００のように、消去対象の物体１３１０（自動車）よりもカメラに近い位置に主被写体ではない物体１３２０（噴水）が存在する場合が考えられる。実施形態２では、物体１３２０の領域、つまり、画像補間により挿入する画素値の算出に利用した領域が有する距離以下の距離を有する領域に対してもぼかし処理を施すことで、ぼかし処理による画像の急激な変化を回避可能である。
【００６０】
なお、本実施形態のカメラの構成や外観は、実施形態１と同様である。また、カメラにより撮像した画像から消去対象物体を選択し、その領域に画像補間を実施する方法も実施形態１と同様である。
【００６１】
図１４は、補間画像に対してぼかし処理を実施するフローチャートである。以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【００６２】
図１４のステップＳ１４０１〜Ｓ１４０５は、図１１のステップＳ１１０１〜Ｓ１１０５と同様である。ステップＳ１４０６では、実施形態１における、距離Ｄのブロックに適用するローパスフィルタのスケールパラメータを基準に、図１４（ｂ）のようにスケールパラメータを変化させて各ブロックにローパスフィルタを適用する。ただし、図１４（ｂ）における距離Ｄ０は、主被写体を含むブロックの距離であり、主被写体に対してぼかし処理を実施しないようにする。ここでのスケールパラメータは、図１４（ｃ）のようにステップ状に変化させてもよい。その後の処理ステップＳ１４０７〜Ｓ１４１０は、図１１のステップＳ１１０８〜Ｓ１１１１と同様である。
【００６３】
このように、補間後の画像に対して、ぼかし処理による画像の急激な変化を抑えることにより、画像が不自然になるのを防ぐことが可能である。
【００６４】
［実施形態３］次に、実施形態３として、複数の不要オブジェクトを自動抽出し消去する処理について説明する。
【００６５】
実施形態１では、消去したい物体（不要オブジェクト）が１つであったが、図１５のように、消去したい物体（１５１０、１５１１、１５１２、１５１３）が複数存在する場合も想定される。このため、実施形態３では、消去したい物体１５１０を１つ指定したときに、物体１５１０と同距離に存在する物体を全て消去したい物体として自動抽出することで、ユーザが不要オブジェクトを指定する手間を低減できる。
【００６６】
なお、本実施形態のカメラの構成や外観は、実施形態１と同様である。
【００６７】
図１６は、複数の物体を自動抽出する処理を示すフローチャートである。以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【００６８】
図１６において、まず、１つ目の消去したい物体１５１０をユーザが指定する（ステップＳ１６０１）。この指定方法は、図６におけるステップＳ６０１〜Ｓ６０４と同様である。次に、カメラから物体１５１０までの距離Ｚを記録媒体１０５から読み出す（ステップＳ１６０２）。この距離Ｚと等しいブロックを物体領域として抽出する。物体抽出では、まず、ブロックの座標（Ｘ，Ｙ）を初期値（０、０）に設定する（ステップＳ１６０３）。次に、距離データＦ（Ｘ，Ｙ）と距離Ｚを比較し（ステップ１６０４）、距離データＦ（Ｘ，Ｙ）が距離Ｚと等しい場合に、補間領域としてブロック（Ｘ，Ｙ）の座標をＲＡＭ１０７に格納する（ステップＳ１６０５）。一方、距離データＦ（Ｘ，Ｙ）が距離Ｚと異なる場合には、ステップＳ１６０６へ移行する。ステップＳ１６０６では、被写体のブロック（Ｘ，Ｙ）のＸ座標をインクリメントして次の列に座標を移動する処理を行う。次に、Ｘの値がＭ未満であるか否かを判定する（ステップＳ１６０７）。Ｘの値がＭ未満である場合はステップＳ１６０４に移行する一方、Ｘの値がＭ以上である場合には、ステップＳ１６０８に移行する。ステップＳ１６０８では、被写体のブロック（Ｘ，Ｙ）のＹ座標をインクリトして次の行に座標を移動する処理を行うと共に、Ｘの値を０として座標を列の先頭に指定する処理を行う。次に、ステップＳ１６０９で、Ｙの値がＮ未満であるか否かを判断し、Ｙの値がＮ未満である場合は、ステップＳ１６０４に移行する一方、Ｙの値がＮ以上である場合には、物体抽出を終了する。
【００６９】
このように、同じ距離に存在する物体を全て不要オブジェクトとして抽出することで、ユーザの手間を低減することが可能である。
【００７０】
［実施形態４］次に、実施形態４として、信頼度に応じてぼかし処理の実施の是非を判定する処理について説明する。
【００７１】
実施形態４では、補間画像が視覚的に違和感があるかどうかをユーザに通知することができる。
【００７２】
なお、本実施形態のカメラの構成や外観は、実施形態１と同様である。
【００７３】
図１７は、画像から信頼度を算出する処理を示すフローチャートである。以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【００７４】
図１７において、まず、補間領域の周辺領域の大きさを決定する（ステップＳ１７０１）。一般的に画像補間は、補間領域に隣接する領域の画素値を利用して補間を実施する。また、カメラから補間領域の本来の背景までの距離と、カメラから補間領域に隣接する領域の背景は一致する可能性が高いと考えられるため、画像補間に利用する領域は、補間領域に隣接する領域と同距離の領域であることが望ましい。このことから、本実施形態において特徴量を抽出する補間領域の周辺領域は、補間領域からの距離がＬ画素の範囲に存在し（Ｌは任意）、カメラからの距離が、補間領域に隣接する画素もしくはブロックが有する距離と同距離である領域とする。ここでは、図１８における太線で囲まれた領域から補間領域（車の存在する領域）除いた領域とする。
【００７５】
次に、信頼度算出に用いる特徴量として、補間領域の面積Ｓと、補間領域の周辺領域の乱雑度Ｎを抽出する（ステップＳ１７０２、Ｓ１７０３）。ここでは、補間領域の画素数を面積Ｓとし、補間領域の周辺領域から以下の方法で算出したエントロピーを乱雑度Ｎとする。まず、エッジ強度の閾値Ｔを０とし（ステップＳ１７０４）、補間領域の周辺領域における注目画素を中心とする３×３領域において、入力画像の各画素にガウシアン関数の水平方向１次微分フィルタ
【００７６】
【数１】
【００７７】
と、垂直方向１次微分フィルタ
【００７８】
【数２】
【００７９】
を畳み込み処理することで、エッジ強度とエッジ方向を抽出する（ステップＳ１７０５）。ただし、式１，式２において、ｉは水平方向の画素位置、ｊは垂直方向の画素位置である。次に、注目画素を中心とする３×３領域内で、各画素のエッジ強度が閾値Ｔより大きい場合に、縦軸が頻度値で、横軸が角度であり２２．５度を１単位としている頻度値グラフを生成する（ステップＳ１７０６）。この頻度値グラフの分布の特徴をエントロピー（式３）によって求める（ステップＳ１７０７）。
【００８０】
【数３】
【００８１】
ただし、式３において、Ｈはエントロピー量、ｐ（ｘｉ）はヒストグラムにおける各範囲ｘｉの確率である。次に、エントロピーＨが０か否かを判定し（ステップＳ１７０８）、エントロピーＨが０ではない場合、エントロピーＨと閾値Ｔの値を保存した後、閾値Ｔの値を増加させてステップＳ１７０５に戻る。一方、Ｈが０の場合、縦軸がエントロピー量、横軸が閾値Ｔのグラフを生成し、このグラフに対する積分値を計算する。以上の計算を周辺領域の全画素において行い（ステップＳ１７１１）、各画素に対する積分値の合計を乱雑度Ｎとする（ステップＳ１７１２）。ここで求めた補間領域の面積Ｓと補間領域の周辺領域の乱雑度Ｎから、式４により信頼度Ｃを計算する（ステップＳ１７１３）。信頼度Ｃの値が大きいほど、補間画像が視覚的に自然である可能性が高いとする。
【００８２】
【数４】
【００８３】
式４において、Ｐ（Ｓ）は、図１９（ａ）のように、Ｓの値に反比例する関数である。Ｐ（Ｓ）の関数形状は、補間領域の面積Ｓの値が小さいほど補間画像は視覚的に自然である可能性が高いという性質を考慮している。一方、Ｑ（Ｎ）は、図１９（ｂ）のように、Ｎが所定の値Ｎ０のときにピーク値を取る関数である。Ｑ（Ｎ）の関数形状は、乱雑度Ｎの値が小さい場合には、補間領域の周辺領域が有する色数は少なく、単純な構造で構成されている可能性が高いという性質を考慮している。また、乱雑度Ｎの値が大きい場合には、補間領域の周辺領域が、森や海のような、パターンは複雑ではあるが、一般的に画像補間結果が視覚的に自然になる領域である可能性が高いという性質を考慮している。
【００８４】
最後に、信頼度Ｃが閾値Ｚ以上であれば、補間画像が視覚的に自然なものになると判定する。一方、信頼度Ｃが閾値Ｚ未満であれば、補間画像が視覚的に違和感あるものになると判定する。後者と判定された場合、液晶表示パネル２０４に「補間結果が不自然になる可能性があります」や「撮り直しをお勧めします」等のメッセージを表示する。
【００８５】
ここでは、画素値から乱雑度を算出したが、画素値を輝度成分や彩度成分に分離した上で、各成分に対し乱雑度を算出してもよい。また、上述した例では信頼度算出に用いる画像の特徴量として、補間領域の面積と補間領域の周辺領域の乱雑度を挙げて説明したが、これに限られない。他の例として、補間領域の周辺領域の輝度分布、コントラスト、テクスチャの規則性、補間領域の面積と補間領域の周辺領域におけるテクスチャが規則的な領域の面積の比などを組み合わせて利用することができる。
【００８６】
このように、実施形態４によれば、画像中の補間領域に対して実際に画像補間を実施せずに、画像補間結果が視覚的に違和感ある画像となるか否かをユーザに通知可能となる。
【００８７】
［実施形態５］次に、実施形態５として、カメラ側で生成した補間画像をプレビュー表示するとともに、カメラに通信可能に接続されたサーバが画像処理装置として補間画像を生成し、カメラに送信する処理について説明する。
【００８８】
実施形態５では、カメラ側で素早く補間画像をプレビュー表示できるとともに、補間領域が比較的大きい場合であっても、サーバ側で高品質な補間画像が生成可能となる。
【００８９】
＜システム構成＞まず、図２０を参照して、本実施形態のシステム及びカメラの構成について説明する。
【００９０】
図２０（ａ）において、カメラ２０００が画像サーバ２１００とネットワーク２２００を介して接続され、画像データ等の送受信を行う。画像サーバ２１００は、様々な時刻・場所で撮影された画像を格納すると共に、それらの画像を用いて、複数枚画像による画像補間を実施することが可能である。
【００９１】
なお、本実施形態のカメラの構成や外観は、以下に説明する構成を除き、実施形態１と同様である。
【００９２】
図２０（ｂ）において、通信ユニット１１１は、不図示のアンテナ、ベースバンド部、ＲＦ部からなる。システムコントローラ１００は通信ユニット１１１を制御することにより、無線ＬＡＮ規格に適合したパケットを送受信することが可能である。
【００９３】
ＧＰＳユニット１１２は、ＧＰＳ衛星から送信される信号に基づき、カメラの位置を算出（測位）する。ＧＰＳユニット１１２は、システムコントローラ１００に対し、算出したカメラの緯度・経度・高度・対地速度・移動方向・測位時刻を出力する。
【００９４】
図２０（ｃ）は、ＧＰＳユニットの構成図である。
【００９５】
図２０（ｃ）において、アンテナ部１２１はＧＰＳ衛星からの信号を受信する。ＧＰＳＲＦ処理部１２２はアンテナ部１２１により受信されたＧＰＳ衛星の信号（ＲＦ信号）からノイズ等を取り除き、周波数の高いＲＦ信号を処理に適した低い周波数（ベースバンド）に変換して出力する。ＧＰＳベースバンド処理部１２３はＧＰＳＲＦ処理部１２２が出力するベースバンド信号をデコードし、緯度・経度などの情報を算出する。また、ＧＰＳベースバンド処理部１２３はシステムコントローラ１００と通信するためのインターフェースを搭載し、システムコントローラ１００からの要求に応じてＧＰＳにかかわる情報を出力する。
【００９６】
ＧＰＳベースバンド処理部１２３は上記情報を複数のフォーマットで出力することが可能であり、図２０（ｄ）、（ｅ）はそのフォーマットを例示している。
【００９７】
図２０（ｄ）において、１３１は測位した時刻の世界協定時（ＵＴＣ）を示したもの、１３２は測位データが有効か無効かを示すステータス、１３３は緯度、１３４は経度、１３５は地面に対する移動速度である。また、１３６は真北を基準とした地面に対する進行方向、１３７は測位した日付を世界協定時（ＵＴＣ）で示したもの、１３８はデータ１３１〜１３７が破損していないかどうかを検査するためのチェックサムである。
【００９８】
図２０（ｅ）において、１４１は測位した時刻の世界協定時（ＵＴＣ）を示したもの、１４２は緯度、１４３は経度、１４４は受信不能・単独測位・相対測位（ＤＧＰＳ）の３つで示される測位状態、１４５はＧＰＳ信号を受信している衛星の数である。また、１４６はＨＤＯＰ（Ｈｏｒｉｚｏｎａｌ Ｄｉｌｕｔｉｏｎ ｏｆ ｐｒｅｃｉｓｉｏｎ）と呼ばれる水平誤差を表す値である。さらに、１４７は海抜高度、１４８はジオイド体を基準とした高度、１４９は１４１〜１４８のデータが破損していないかどうかを検査するためのチェックサムである。
【００９９】
図２において、本実施形態のカメラは、ＧＰＳ受信部を有し、ＧＰＳ信号を受信するアンテナ部１２１はＧＰＳ受信部内部に格納されており、ＧＰＳ衛星から送信される信号を受信する。なお、無線ＬＡＮアンテナはカメラに内蔵されており、図示していない。
【０１００】
図２１は画像サーバ２１００の構成図である。
【０１０１】
図２１において、システムコントローラ４０１は画像サーバ２１００全体の制御を司り、後述する各部を制御して、ユーザの設定と操作に応じて画像を処理する。
【０１０２】
記録媒体４０２はハードディスクなどであり、システムコントローラ４０１からの指示に従い、データを保持する。記録媒体４０２には、様々な時刻・場所で撮影された画像が格納されている。
【０１０３】
ＲＡＭ４０３は画像サーバ２１００を制御するプログラムが作業領域として使用するための書き換え可能なメモリである。
【０１０４】
ＲＯＭ４０４は画像サーバ２１００を制御するプログラムとプログラムが使用するデータを格納する。画像サーバ２１００に電源が投入されると、システムコントローラ４０１はＲＯＭ４０４からプログラムを読み込み、画像サーバ２１００の制御を開始する。
【０１０５】
システムコントローラ４０１は、ＲＯＭ４０４に格納されたプログラムに従い、記録媒体４０２に格納された画像データを読み出し、複数枚画像による画像補間処理を実施する。
【０１０６】
ＮＶＲＡＭ４０６は、画像サーバ２１００がパワーサイクルを超えて保持する必要のあるパラメータを保持するための書き換え可能な不揮発性メモリである。
【０１０７】
通信部４０７は、イーサーネット（登録商標）等の有線ＬＡＮネットワークに対し、イーサーネットケーブルを介して接続する。
【０１０８】
＜動作説明（カメラ）＞次に、図２２〜図２４を参照して、本実施形態のカメラの動作について説明する。
【０１０９】
以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【０１１０】
図２２（ａ）において、ステップＳ２２０１では、カメラで被写体を撮影する。ステップＳ２２０２では、液晶表示パネル２０４に表示された画像から、ユーザが不要なオブジェクトを指定する。ステップＳ２２０３では、ステップＳ２２０２において指定された不要オブジェクト領域に対し、画像補間を実施する。
【０１１１】
図２２（ｂ）は、ステップＳ２２０１における画像撮影処理を示すフローチャートであるが、ステップＳ２２１１〜Ｓ２２１４は、図４（ａ）のステップＳ４０１〜Ｓ４０５と同様である。すなわち、ステップＳ２２１４で撮像指示がなされた場合、システムコントローラ１００は、撮像制御ユニット１０４により撮影指示時の画像データを取得するとともに、ＧＰＳユニット１１２からＧＰＳ情報を取得する（ステップＳ２２１５）。その後、画像データとＧＰＳ情報をＥＸＩＦファイル形式にして記録媒体１０５に保存する（ステップＳ２２１６）。
【０１１２】
＜不要オブジェクトの指定＞図２３を参照して、撮像画像から不要オブジェクトを指定する処理について説明する。
【０１１３】
図２３は、図２２（ａ）のステップＳ２２０２における不要オブジェクトを指定する処理を示すフローチャートであるが、ステップＳ２３０１〜Ｓ２３０７は、図６のステップＳ６０１〜Ｓ６０６と同様である。すなわち、システムコントローラ１００は、図７に示す画像７００の縮小前の画像を記録媒体１０５から読み出し、画像７００中の（ｘ０，ｙ０）に対応する座標（Ｘ０，Ｙ０）を算出してＲＡＭ１０７に格納する（ステップＳ２３０８）。具体的には、以下の式により（Ｘ０，Ｙ０）は算出される。
【０１１４】
Ｘ０＝ｘ０×（３７０２／３２０）
Ｙ０＝ｙ０×（２３０４／２４０）
システムコントローラ１００は、この座標を元に、画像７００の縮小前の画像からも、補間領域を抽出し（ステップＳ２３０９）、その座標情報をＲＡＭ１０７に別途格納する（ステップＳ２３１０）。
【０１１５】
＜画像補間＞図２４を参照して、図２２（ａ）の画像補間処理について説明する。
【０１１６】
ここでは、縮小前の画像を画像サーバ２１００側で、縮小後の画像をカメラ２０００側で、それぞれ異なる画像補間手段を用いて画像補間を実施する。
【０１１７】
図２４は、カメラ２０００から画像サーバ２１００へ、補間領域を含む画像を送信する処理を示すフローチャートであり、画像サーバ２１００のＩＰアドレスは既にカメラ２０００側に設定されているものとする。カメラ２０００に画像サーバ２１００のＩＰアドレスを設定する方法としては、カメラのメニューボタン２０５を操作して画像サーバ２１００のＩＰアドレスを設定する画面に遷移し、ボタン２０６でＩＰアドレスを直接入力してもよい。あるいは、画像サーバ２１００の情報が記録されたパーソナルコンピュータ（ＰＣ）を、ＵＳＢケーブルを介してカメラと接続し、画像サーバ２１００のＩＰアドレスをＰＣからカメラへ転送するようにしてもよい。
【０１１８】
ステップＳ２４０１では、カメラ２０００から画像サーバ２１００へ、接続要求を送信する。
【０１１９】
ステップＳ２４０２では、カメラ２０００のシステムコントローラ１００は、画像サーバ２１００から接続許可を受信したか否かを判定する。ここで、カメラ２０００が画像サーバ２１００から接続許可を受信した場合には、ステップＳ２４０３へ、一定時間経過しても接続許可を受信できなかった場合にはステップＳ２４１４へ進む。
【０１２０】
ステップＳ２４０３では、カメラ２０００から画像サーバ２１００へ、補間領域を含む画像を、補間領域の座標情報とともに送信する。画像サーバ側では、これらのデータを受信し、複数枚による画像補間処理を実施する。画像サーバ２１００側の処理については後述する。
【０１２１】
ステップＳ２４０４では、システムコントローラ１００は、表示用に縮小した画像に対し、１枚画像による画像補間を実施する。この１枚画像による画像補間処理は、図８で説明した通りである。なお、縮小前の画像における既知領域の情報は、縮小画像よりも情報量が豊富であるため、記録媒体１０５から縮小前の画像を読み出し、画像補間に利用してもよい。これにより、より視覚的に自然な補間画像が得られる。なお、一枚画像による画像補間は上記の方法のみに限定されず、他の公知の手段を用いても良い。
【０１２２】
ステップＳ２４０５では、ステップＳ２４０４において得られた補間画像を液晶表示パネル２０４に表示する。これにより、不要オブジェクトが削除された画像をユーザが閲覧することが可能になる。
【０１２３】
ステップＳ２４０６では、システムコントローラ１００は、送信した補間画像を含む画像に対し、画像サーバ２１００において複数枚画像による画像補間が実施された画像を、画像サーバ２１００から受信したか否かを判定する。受信が完了している場合にはステップＳ２４０８へ進み、受信が完了していない場合には、ステップＳ２４０７へ進む。
【０１２４】
ステップＳ２４０７では、システムコントローラ１００は補間画像の受信待ちを開始してから一定時間経過したか、または、画像サーバ２１００から、画像補間が完了しなかった旨のメッセージを受信したか否かを判定する。この条件が成立した場合（Ｙｅｓ）には、ステップＳ２４１４へ進み、不成立の場合（Ｎｏ）には、ステップＳ２４０６へ進む。
【０１２５】
ステップＳ２４０８では、システムコントローラ１００は、液晶表示パネル２０４に選択ダイアログを表示するなどして、受信した画像データを液晶表示パネル２０４に表示させるか否かをユーザに問い合わせする。ここで、ユーザがＹｅｓを選択した場合にはステップＳ２４０９へ進み、Ｎｏを選択した場合には本処理を終了する。
【０１２６】
ステップＳ２４０９では、システムコントローラ１００は、受信した画像を、液晶表示パネル２０４に表示可能なサイズ（横３２０画素、縦２４０画素）に縮小する。
【０１２７】
ステップＳ２４１０では、ステップＳ２４０９で縮小した画像を液晶表示パネル２０４に表示することで、１枚画像による画像補間の補間結果を複数枚画像による画像補間の補間結果に置き換える。これにより、複数枚画像による画像補間の結果を、液晶表示パネル２０４を介してユーザに提示することができる。
【０１２８】
ステップＳ２４１１では、カメラは、液晶表示パネル２０４に選択ダイアログを表示するなどして、受信した画像データを記録媒体１０５へ保存するか否かをユーザに問い合わせする。ここで、ユーザがＹｅｓを選択した場合にはステップＳ２４１２へ進み、Ｎｏを選択した場合にはステップＳ２４１３へ進む。
【０１２９】
ステップＳ２４１２では、システムコントローラ１００は、受信した画像データを記録媒体１０５へ保存する。このとき、記録媒体１０５の容量を圧迫しないために、画像サーバ２１００へ送信した補間領域を含む画像を記録媒体１０５から削除してもよい。
【０１３０】
ステップＳ２４１３では、システムコントローラ１００は、ステップＳ２４０４において得られた補間画像を液晶表示パネル２０４に再度表示し、本処理を終了する。
【０１３１】
一方、ステップＳ２４１４では、画像サーバ２１００に接続できなかった旨や、補間画像を受信できなかった旨を液晶表示パネル２０４に表示することでユーザに通知し、本処理を終了する。
【０１３２】
なお、ユーザ負荷を軽減するため、ステップＳ２４０８、Ｓ２４１１におけるユーザの選択を省略し、受信した画像を自動的に表示、保存してもよい。
【０１３３】
＜動作説明（画像サーバ）＞次に、図２５を参照して、本実施形態の画像サーバの動作について説明する。
【０１３４】
以下に述べる処理を行うためのプログラムはＲＯＭ４０４に予め格納されており、システムコントローラ４０１が適宜読み出して実行する。
【０１３５】
図２５において、ステップＳ２５０１では、システムコントローラ４０１はカメラ２０００から接続要求を受信する。
【０１３６】
ステップＳ２５０２では、システムコントローラ４０１はカメラ２０００に対し接続許可を送信する。
【０１３７】
ステップＳ２５０３では、システムコントローラ４０１は、カメラ２０００から、補間領域を含む画像及び補間領域の座標情報を受信したか否かを判定する。ここで情報を受信した場合にはステップＳ２５０４へ進み、受信していない場合には、情報を受信するまで待つ。
【０１３８】
ステップＳ２５０４では、システムコントローラ４０１は、補間領域を含む画像のＥＸＩＦ情報から、撮影日時情報と撮影位置情報を含む属性情報を取得する。
【０１３９】
ステップＳ２５０５では、システムコントローラ４０１は、記録媒体４０２に、ステップＳ２５０４において取得した撮影位置が一致又は重複する画像が存在するか否かを判定する。ここで画像が存在する場合、ステップＳ２５０６へ、存在しない場合、ステップＳ２５１０へ進む。
【０１４０】
ステップＳ２５０６では、システムコントローラ４０１は、ステップＳ２５０５において取得した画像から、更に撮影日時が近似した画像が存在するか否かを判定する。ここで画像が存在する場合、ステップＳ２５０７へ、存在しない場合、ステップＳ２５１０へ進む。
【０１４１】
ステップＳ２５０７では、システムコントローラ４０１は、ステップＳ２５０５、Ｓ２５０６において絞り込まれた画像、すなわち、補間領域を含む画像と撮影位置及び撮影日時が近似した複数枚の画像を用いて画像補間を実施する。複数枚画像による画像補間は、公知の方法を用いて実施する。例えば、複数枚画像から、特開２００８−０４６７５０号公報に記載されているような、一般的な特徴点抽出方法であるＨａｒｒｉｓオペレータ等を用いて特徴点を抽出し、画像間の特徴点の対応付けを行う。その後、特徴点の対応から射影変換行列を推定し、画像を変形することで画像の位置合わせを行う。ここで、補間領域を含まない画像から補間領域の座標に対応する座標の画素値を取得し、補間領域に挿入することで画像補間が実施できる。
【０１４２】
なお、複数枚画像による画像補間は上述した方法のみに限定されず、他の公知の手段を用いても良い。
【０１４３】
ステップＳ２５０８では、システムコントローラ４０１は、ステップＳ２５０７における画像補間の結果、補間領域の全画素に対し、画素値が挿入されたか否かを判定する。補間領域の全画素に画素値が挿入されていればステップＳ２５０９へ、補間領域の全画素に対し画素値が挿入されていなければ、ステップＳ２５１０へ進む。
【０１４４】
ステップＳ２５０９では、システムコントローラ４０１は、補間画像をカメラ２０００へ送信し、本処理を終了する。
【０１４５】
また、ステップＳ２５１０では、システムコントローラ４０１は、現在画像サーバに存在する画像を用いても、画像補間が完了しなかった旨をカメラ２０００へ送信し、本処理を終了する。
【０１４６】
なお、ステップＳ２５０８において、全画素に対する画像補間が完了しなかった場合においても、補間領域が小さくなることで、カメラ側で視覚的に自然な画像補間が達成できる可能性が高まることが考えられる。そのため、一部でも補間領域に画素が挿入された場合には、補間画像をカメラへ送信するようにしてもよい。
【０１４７】
また、本実施形態では、複数枚画像による画像補間に使用する画像を選択する際の条件として、撮影日時と撮影位置を用いたが、季節や天気などの情報も利用することで、より撮影時の環境に近い画像を抽出することが可能になる。これにより、より視覚的に自然な画像補間を実現できる。
【０１４８】
画像サーバから受信した補間画像についてユーザが気に入らなかった場合を考慮し、ステップＳ２４０６の後、補間画像を許容するか否かをユーザに問い合わせるようにしてもよい。またユーザがＮｏを選択した場合には、補間画像を記録媒体１０５に保存しないようにしてもよい。これにより、記録媒体１０５のメモリ容量を節約することができる。
【０１４９】
本実施形態によれば、カメラ側で素早く補間画像を表示できるとともに、不要オブジェクトの領域が比較的大きくても、高品質な補間画像が生成可能となる。
【０１５０】
［実施形態６］次に、実施形態６として、図１７のように算出した信頼度が閾値以上であれば画像サーバへ画像を送信しない処理について説明する。
【０１５１】
実施形態５では、画像中の不要オブジェクトが指定された場合に、当該指定画像を画像サーバへ送信する場合について説明した。実施形態６では、画像中の補間領域が比較的小さく、１枚画像による画像補間でも視覚的に自然な画像が生成可能な場合など、指定画像の画像サーバへの送信を省略できる場合について説明する。
【０１５２】
なお、本実施形態の画像サーバやカメラの構成や外観は、実施形態５と同様である。
【０１５３】
以下に述べる処理を行うためのプログラムはＲＯＭ１０６に予め格納されており、システムコントローラ１００が適宜読み出して実行する。
【０１５４】
＜動作説明（カメラ）＞図２６を参照して、補間領域を含む画像に対する補間処理について説明する（他の処理は実施形態５と同様であるため省略する）。
【０１５５】
図２６において、補間領域を抽出した後、補間領域を含む画像の、画像サーバへの送信が不要と判定された場合、カメラ側でのみ画像補間を実施する。一方、補間領域を含む画像の、画像サーバへの送信が必要と判定された場合には、実施形態５と同様の処理を実施する。
【０１５６】
ステップＳ２６０１では、システムコントローラ１００は、画像中の補間領域と、その周辺領域から抽出した特徴量を基に信頼度を算出する。画像から信頼度を算出する方法は、図１７〜１９で述べた通りである。
【０１５７】
ステップＳ２６０２ではシステムコントローラ１００は、、ステップＳ２６０１において得られた信頼度と所定の閾値とを比較する。信頼度が所定の閾値以上の場合、１枚画像による画像補間でも視覚的に自然な画像が生成可能と判定し、ステップＳ２６１４へ進む。一方、信頼度が所定の閾値未満の場合、１枚画像による画像補間では、視覚的に自然な画像補間が達成できないと判定し、ステップＳ２６０３へ進む。
【０１５８】
ステップＳ２６０３〜Ｓ２６１６は、図２４のステップＳ２４０１〜Ｓ２４１４と同様である。
【０１５９】
ステップＳ２６１７では、システムコントローラ１００は、表示用に縮小する前の画像に対し、１枚画像による画像補間を実施する。画像補間の方法は実施形態５と同様である。
【０１６０】
ステップＳ２６１８では、システムコントローラ１００は、ステップＳ２６１７において得られた補間画像を、液晶表示パネル２０４に表示可能なサイズ（横３２０画素、縦２４０画素）に縮小する。
【０１６１】
ステップＳ２６１９では、システムコントローラ１００は、ステップＳ２６１８において縮小した画像を液晶表示パネル２０４に表示し、本処理を終了する。
【０１６２】
本実施形態によれば、不要オブジェクトとして指定された補間領域について信頼度を算出することにより、画像サーバへの不要な画像送信を抑制することが可能である。
【０１６３】
上述した各実施形態においては、本発明をカメラなどの撮像装置に適用した例にして説明したが、これに限定されない。すなわち、本発明は、撮像手段を持たず、表示用ディスプレイが小さいスマートフォンやＰＤＡ等の画像処理装置にも適用可能である。この場合には、既にＧＰＳ情報を有する画像がサーバ側に転送されており、図２２のＳ２２０２、Ｓ２２０３の処理を実行することで、実施形態５，６と同等の効果が得られる。
【０１６４】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
画像中の不要なオブジェクトを消去する機能を有する画像処理装置であって、
画像を所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、
前記画像中の不要なオブジェクトを指定するための指定手段と、
前記指定手段により指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間手段と、
前記補間手段により補間処理を施した画像を表示する表示手段と、
前記画像中の特定の領域に対してぼかし処理を施す画像処理手段と、を有し、
前記画像処理手段は、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記補間処理に利用した周辺領域の距離以上の距離情報を有する領域を、前記ぼかし処理を施す領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記補間処理に利用した周辺領域の距離以下の距離情報を有する領域を、前記ぼかし処理を施す領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
ユーザによる前記ぼかし処理を実施するか否かの指示を受け付ける操作手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記補間処理を施した領域の特徴量と前記補間処理に利用した周辺領域の特徴量とから前記補間処理を施した画像の信頼度を算出する算出手段と、
前記算出手段により算出された信頼度に応じて前記ぼかし処理を実施するか否かを決定する手段と、を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記指定手段は、前記不要なオブジェクトの領域と同じ距離情報を有する画像中の全てのオブジェクトを不要なオブジェクトとして指定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理手段は、前記ぼかし処理を施す領域の距離情報に応じて、前記ぼかし処理の強度を変更することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データを再生する再生手段と、を更に有し、
前記指定手段は、前記再生手段により再生された画像中から不要なオブジェクトの指定を行い、
前記画像処理手段は、前記ぼかし処理を施した画像データを前記記憶手段に記憶することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
被写体を撮像して画像データを生成する撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から複数の画像データと各画像データの属性情報を受信する受信手段と、
前記受信手段により受信した画像データに前記補間手段により補間処理を施した画像データを前記撮像装置に送信する送信手段と、を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮像装置は、画像中の不要なオブジェクトを消去する機能を有することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記属性情報は、画像の撮影日時情報と撮影位置情報を含み、
前記補間手段は、前記受信手段により受信した画像データのうち、撮影日時と撮影位置が近似している複数の画像データを用いて前記補間処理を実施することを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データを所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、
前記撮像手段により生成された画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データを再生する再生手段と、
前記再生手段により再生された画像中の不要なオブジェクトを指定するための指定手段と、
前記指定手段により指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間手段と、
前記補間手段により補間処理を施した画像を表示する表示手段と、
前記画像中の特定の領域に対してぼかし処理を施す画像処理手段と、を有し、
前記画像処理手段は、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定することを特徴とする撮像装置。
【請求項１３】
画像中の不要なオブジェクトを消去する機能を有する画像処理装置と通信する通信手段と、
前記通信手段を介して前記画像処理装置へ複数の画像データと各画像データの属性情報を送信する送信手段と、
前記通信手段を介して前記画像処理装置から補間処理が施された画像データを受信する受信手段と、を更に有することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記補間処理を施した領域の特徴量と前記補間処理に利用した周辺領域の特徴量とから前記補間処理を施した画像の信頼度を算出する算出手段と、
前記算出手段により算出された信頼度に応じて画像処理装置に補間処理を施すための画像データを送信するか否かを決定する手段と、を更に有することを特徴とする請求項１２又は１３に記載の撮像装置。
【請求項１５】
画像中の不要なオブジェクトを消去する機能を有する画像処理装置における画像処理方法であって、
取得手段が、画像を所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得工程と、
指定手段が、前記画像中の不要なオブジェクトを指定するための指定工程と、
補間手段が、前記指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間工程と、
表示手段が、前記補間処理を施した画像を表示する表示工程と、
画像処理手段が、前記画像中の特定の領域に対してぼかし処理を施す画像処理工程と、を有し、
前記画像処理工程では、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定することを特徴とする画像処理方法。
【請求項１６】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データを所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、
前記撮像手段により生成された画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データを再生する再生手段と、を有する撮像装置の制御方法であって、
前記再生手段により再生された画像中の不要なオブジェクトを指定するための指定工程と、
前記指定工程にて指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間工程と、
前記補間工程にて補間処理を施した画像を表示する表示工程と、
前記画像中の特定の領域に対してぼかし処理を施す画像処理工程と、を有し、
前記画像処理工程では、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定することを特徴とする制御方法。
【請求項１７】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置、もしくは請求項１２乃至１４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１８】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置、もしくは請求項１２乃至１４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【請求項１】
画像中の不要なオブジェクトを消去する機能を有する画像処理装置であって、
画像を所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、
前記画像中の不要なオブジェクトを指定するための指定手段と、
前記指定手段により指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間手段と、
前記補間手段により補間処理を施した画像を表示する表示手段と、
前記画像中の特定の領域に対してぼかし処理を施す画像処理手段と、を有し、
前記画像処理手段は、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記補間処理に利用した周辺領域の距離以上の距離情報を有する領域を、前記ぼかし処理を施す領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記補間処理に利用した周辺領域の距離以下の距離情報を有する領域を、前記ぼかし処理を施す領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
ユーザによる前記ぼかし処理を実施するか否かの指示を受け付ける操作手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記補間処理を施した領域の特徴量と前記補間処理に利用した周辺領域の特徴量とから前記補間処理を施した画像の信頼度を算出する算出手段と、
前記算出手段により算出された信頼度に応じて前記ぼかし処理を実施するか否かを決定する手段と、を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記指定手段は、前記不要なオブジェクトの領域と同じ距離情報を有する画像中の全てのオブジェクトを不要なオブジェクトとして指定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理手段は、前記ぼかし処理を施す領域の距離情報に応じて、前記ぼかし処理の強度を変更することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データを再生する再生手段と、を更に有し、
前記指定手段は、前記再生手段により再生された画像中から不要なオブジェクトの指定を行い、
前記画像処理手段は、前記ぼかし処理を施した画像データを前記記憶手段に記憶することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
被写体を撮像して画像データを生成する撮像装置と通信する通信手段と、
前記通信手段を介して前記撮像装置から複数の画像データと各画像データの属性情報を受信する受信手段と、
前記受信手段により受信した画像データに前記補間手段により補間処理を施した画像データを前記撮像装置に送信する送信手段と、を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮像装置は、画像中の不要なオブジェクトを消去する機能を有することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記属性情報は、画像の撮影日時情報と撮影位置情報を含み、
前記補間手段は、前記受信手段により受信した画像データのうち、撮影日時と撮影位置が近似している複数の画像データを用いて前記補間処理を実施することを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データを所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、
前記撮像手段により生成された画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データを再生する再生手段と、
前記再生手段により再生された画像中の不要なオブジェクトを指定するための指定手段と、
前記指定手段により指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間手段と、
前記補間手段により補間処理を施した画像を表示する表示手段と、
前記画像中の特定の領域に対してぼかし処理を施す画像処理手段と、を有し、
前記画像処理手段は、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定することを特徴とする撮像装置。
【請求項１３】
画像中の不要なオブジェクトを消去する機能を有する画像処理装置と通信する通信手段と、
前記通信手段を介して前記画像処理装置へ複数の画像データと各画像データの属性情報を送信する送信手段と、
前記通信手段を介して前記画像処理装置から補間処理が施された画像データを受信する受信手段と、を更に有することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記補間処理を施した領域の特徴量と前記補間処理に利用した周辺領域の特徴量とから前記補間処理を施した画像の信頼度を算出する算出手段と、
前記算出手段により算出された信頼度に応じて画像処理装置に補間処理を施すための画像データを送信するか否かを決定する手段と、を更に有することを特徴とする請求項１２又は１３に記載の撮像装置。
【請求項１５】
画像中の不要なオブジェクトを消去する機能を有する画像処理装置における画像処理方法であって、
取得手段が、画像を所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得工程と、
指定手段が、前記画像中の不要なオブジェクトを指定するための指定工程と、
補間手段が、前記指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間工程と、
表示手段が、前記補間処理を施した画像を表示する表示工程と、
画像処理手段が、前記画像中の特定の領域に対してぼかし処理を施す画像処理工程と、を有し、
前記画像処理工程では、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定することを特徴とする画像処理方法。
【請求項１６】
被写体を撮像して画像データを生成する撮像手段と、
前記撮像手段により生成された画像データを所定の単位で分割した各領域の撮影位置からの距離情報を取得する取得手段と、
前記撮像手段により生成された画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データを再生する再生手段と、を有する撮像装置の制御方法であって、
前記再生手段により再生された画像中の不要なオブジェクトを指定するための指定工程と、
前記指定工程にて指定された不要なオブジェクトの領域に、周辺領域の画素値を用いて補間処理を施す補間工程と、
前記補間工程にて補間処理を施した画像を表示する表示工程と、
前記画像中の特定の領域に対してぼかし処理を施す画像処理工程と、を有し、
前記画像処理工程では、前記補間処理に利用した周辺領域の距離情報に応じて、前記ぼかし処理を施す領域を決定することを特徴とする制御方法。
【請求項１７】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置、もしくは請求項１２乃至１４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１８】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置、もしくは請求項１２乃至１４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図９】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図９】
【公開番号】特開２０１３−３８４６８（Ｐ２０１３−３８４６８Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７０４４５（Ｐ２０１１−１７０４４５）
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]