画像処理装置、映像機器、画像処理方法およびプログラム
【課題】檻やネット越しに被写体が存在する場合であっても、被写体のみ撮影することができる画像処理装置、撮像装置、画像処理方法およびプログラムを提供する。
【解決手段】画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出部１０３と、パターン検出部１０３が検出した繰り返しパターンを画像から消去するパターン消去部１０４と、パターン消去部１０４が画像から消去した繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間する画像補間部１０５と、を備える。
【解決手段】画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出部１０３と、パターン検出部１０３が検出した繰り返しパターンを画像から消去するパターン消去部１０４と、パターン消去部１０４が画像から消去した繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間する画像補間部１０５と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対応する画像に含まれる特定のパターンを消去する画像処理装置、映像機器、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の映像機器では、動物園等で檻の中にいる被写体（動物）を撮影したり、野球場等でネット越しに被写体（選手）を撮影する際に、被写体にフォーカスを合わせることができる技術が知られている（特許文献１を参照）。この技術では、檻やネットを第１の被写体としてフォーカスさせ、この第１の被写体の部分をマスクした後、被写体にフォーカスを合わせている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５２３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、被写体と撮像装置との間に檻やネット等が介在するため、常に檻やネット等の障害物が被写体の領域に写り込み、被写体のみを撮影することができないという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、檻の中やネット越しに被写体が存在する場合であっても、被写体のみの画像を得ることができる画像処理装置、映像機器、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出部と、前記パターン検出部が検出した前記繰り返しパターンを前記画像から消去するパターン消去部と、前記パターン消去部が前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間部と、を備えたことを特徴とする。
【０００７】
また、本発明にかかる画像処理装置は、上記発明において、前記画像に含まれる被写体の顔を検出する顔検出部をさらに備え、前記パターン消去部は、少なくとも前記顔検出部が検出した前記被写体の顔の領域に含まれる前記繰り返しパターンを消去することを特徴とする。
【０００８】
また、本発明にかかる画像処理装置は、上記発明において、前前記画像補間部は、前記繰り返しパターンの画素と前記周辺画素とを用いて前記繰り返しパターンの領域に対して画素を補間することを特徴とする。
【０００９】
また、本発明にかかる画像処理装置は、上記発明において、前記繰り返しパターンは、金網、檻、柵および網のいずれかであることを特徴とする。
【００１０】
また、本発明にかかる映像機器は、上記した画像処理装置と、所定の視野領域から光を集光する光学系を有し、該光学系を介して前記被写体を撮像して該被写体の画像データを生成する撮像部と、を備え、前記パターン検出部は、前記撮像部が生成した前記画像データに対応する画像から前記繰り返しパターンを検出することを特徴とする。
【００１１】
また、本発明にかかる映像機器は、上記発明において、前記光学系を光軸上に沿って移動させることにより、前記被写体の一部に合焦させる合焦部をさらに備え、前記パターン検出部は、前記合焦部が前記被写体に合焦させた被写体領域に含まれる前記繰り返しパターンを検出し、前記パターン消去部は、前記パターン検出部が検出した前記被写体領域に含まれる前記繰り返しパターンを消去することを特徴とする。
【００１２】
また、本発明にかかる映像機器は、上記発明において、前記パターン消去部は、前記被写体領域の周辺領域を含む前記繰り返しパターンを消去することを特徴とする。
【００１３】
また、本発明にかかる映像機器は、上記発明において、前記繰り返しパターンを検出するパターン検出用テンプレートを記憶するテンプレート記憶部をさらに備え、前記パターン検出部は、前記テンプレート記憶部が記憶する前記パターン検出用テンプレートを用いて前記画像内を走査し、該パターン検出用テンプレートの類似度が所定値以上の領域を前記繰り返しパターンとして検出することを特徴とする。
【００１４】
また、本発明にかかる映像機器は、上記発明において、前記画像データに対応する前記画像を表示する表示部をさらに備え、前記撮像部は、前記画像データを時系列に沿って連続的に生成可能であり、前記パターン検出部は、前記撮像部が前記画像を生成した順に前記繰り返しパターンを検出し、前記表示部は、前記画像補間部が画素を補間した画像を表示することを特徴とする。
【００１５】
また、本発明にかかる画像処理方法は、画像処理装置が実行する画像処理方法であって、画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出ステップと、前記パターン検出ステップが検出した前記繰り返しパターンを前記画像から消去するパターン消去ステップと、前記パターン消去ステップが前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間ステップと、を含むことを特徴とする。
【００１６】
また、本発明にかかるプログラムは、画像処理装置に実行させるプログラムであって、画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出ステップと、前記パターン検出ステップが検出した前記繰り返しパターンを前記画像から消去するパターン消去ステップと、前記パターン消去ステップが前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間ステップと、を含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、パターン検出部が画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出し、パターン消去部がパターン検出部によって画像の中から検出された繰り返しパターンを消去し、画像補間部がパターン消去部によって画像から消去された繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間する。これにより、檻やネット越しに被写体が存在する場合であっても、被写体のみ写る画像にすることができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の一実施の形態にかかる映像機器の構成を示すブロック図である。
【図２】図２は、本発明の一実施の形態にかかる映像機器が行う処理の概要を示すフローチャートである。
【図３】図３は、図２のステップＳ１０３の撮影処理の概要を示すフローチャートである。
【図４】図４は、図３のステップＳ２０７の金網モード処理の概要を示すフローチャートである。
【図５】図５は、図４のステップＳ３０１の金網検知処理の概要を示すフローチャートである。
【図６】図６は、金網検知用テンプレート記憶部が記憶する金網検知用テンプレートの一例を示す図である。
【図７】図７は、金網検知用テンプレート記憶部が記憶する金網検知用テンプレートの別の一例を示す図である。
【図８】図８は、本発明の一実施の形態にかかる映像機器が撮影した画像の一例を示す図である。
【図９】図９は、本発明の一実施の形態にかかる映像機器が撮像した画像と金網検知用テンプレートとの類似度の関係を模式的に示す図である。
【図１０】図１０は、パターン消去部が繰り返しパターンを消去した画像の一例を示す図である。
【図１１】図１１は、画像補間部がパターン消去部によって消去された繰り返しパターンの領域を画素で補間した画像の一例を示す図である。
【図１２】図１２は、図２のステップＳ１０４の再生処理の概要を示すフローチャートである。
【図１３】図１３は、本発明の一実施の形態の変形例にかかるパターン消去部が繰り返しパターンを消去した画像の一例を示す図である。
【図１４】図１４は、本発明の一実施の形態の変形例にかかる画像補間部がパターン消去部によって消去された繰り返しパターンの領域を画素で補間した画像の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、以下においては画像処理装置を備えた映像機器を例に説明する。さらに、図面の記載において、同一の部分には同一の符号を付している。
【００２０】
図１は、本発明の一実施の形態にかかる映像機器の構成を示すブロック図である。図１に示すように、映像機器１は、撮像部２と、発光部３と、姿勢検出部４と、タイマー５と、操作部６と、表示部７と、タッチパネル８と、記憶部９と、制御部１０と、を備える。
【００２１】
撮像部２は、被写体を撮像して被写体の画像データを生成する。撮像部２は、レンズ部２１と、レンズ駆動部２２と、絞り２３と、絞り駆動部２４と、シャッター２５と、シャッター駆動部２６と、撮像素子２７と、撮像駆動部２８と、信号処理部２９と、を有する。
【００２２】
レンズ部２１は、フォーカスおよびズーム可能な複数のレンズ群によって構成され、所定の視野領域から光を集光する。レンズ駆動部２２は、ステッピングモータまたはＤＣモータを用いて構成され、レンズ部２１のレンズ群を光軸Ｌ１上に沿って移動させることにより、レンズ部２１の合焦位置および焦点距離等の変更を行う。
【００２３】
絞り２３は、レンズ部２１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２４は、ステッピングモータ等によって構成され、絞り２３を駆動する。
【００２４】
シャッター２５は、撮像素子２７の状態を露光状態または遮光状態に設定する。シャッター駆動部２６は、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッター２５を駆動する。
【００２５】
撮像素子２７は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって構成される。撮像素子２７は、レンズ部２１が集光した光を受光して光電変換を行うことによって、光を電気信号（アナログ信号）に変換する。撮像駆動部２８は、撮像素子２７を駆動するタイミングパルスを生成し、撮像素子２７が光電変換した電気信号を信号処理部２９に出力させる。
【００２６】
信号処理部２９は、アナログアンプやＡ／Ｄ変換器等によって構成される。信号処理部２９は、撮像素子２７から出力される電気信号に増幅（ゲイン調整）等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部１０に出力する。
【００２７】
発光部３は、キセノンランプまたはＬＥＤ（Light Emitting Diode）等を用いて構成される。発光部３は、映像機器１が撮像する視野領域へ向けて補助光であるストロボ光を照射する。
【００２８】
姿勢検出部４は、加速度センサを用いて構成される。姿勢検出部４は、映像機器１の加速度を検出することにより、映像機器１の姿勢状態を検出する。具体的には、姿勢検出部４は、水平面を基準としたときの映像機器１の姿勢（傾斜角度）を検出する。
【００２９】
タイマー５は、計時機能および撮影日時の判定機能を有する。タイマー５は、撮像された画像データに日時データを付加させるため、制御部１０に日時データを出力する。
【００３０】
操作部６は、映像機器１の電源状態をオン状態またはオフ状態に切換える電源スイッチ６１と、撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチ６２と、映像機器１に設定された各種撮影モードを切換える撮影モード切換スイッチ６３と、映像機器１の各種設定を切換える操作スイッチ６４と、を有する。
【００３１】
表示部７は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。表示部７は、撮像部２が生成した画像データに対応する画像を表示する。表示部７は、映像機器１の操作情報および操作に関する情報を適宜表示する。
【００３２】
タッチパネル８は、表示部７の表示画面上に重ねて設けられ、ユーザが表示部７に表示される情報に基づいて接触（タッチ）した位置を検出し、この接触位置に応じた指示信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【００３３】
記憶部９は、映像機器１の内部に固定的に設けられるフラッシュメモリおよびＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部９は、撮像部２が撮像した画像データを記憶する画像データ記憶部９１と、映像機器１が実行する各種プログラムおよび画像処理プログラムを記憶部するプログラム記憶部９２と、金網を検知するための金網検知用テンプレートや顔を検出するための顔検出テンプレート等を記憶する金網検知用テンプレート記憶部９３と、を有する。
【００３４】
制御部１０は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作部６またはタッチパネル８からの指示信号や切換信号等に応じて映像機器１を構成する各部に対応する指示やデータの転送等を行って映像機器１の動作を統括的に制御する。
【００３５】
制御部１０の詳細な構成について説明する。制御部１０は、画像処理部１０１と、顔検出部１０２と、パターン検出部１０３と、パターン消去部１０４と、画像補間部１０５と、合焦部１０６と、撮影制御部１０７と、表示制御部１０８と、を有する。
【００３６】
画像処理部１０１は、信号処理部２９から入力される画像データに対して各種の画像処理を施す。具体的には、画像処理部１０１は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。画像処理部１０１は、画像データを所定の方式、たとえばＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮して画像データ記憶部９１に出力する。
【００３７】
顔検出部１０２は、画像データに対応する画像に含まれる被写体の顔を検出する。具体的には、顔検出部１０２は、画像に含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部１０２は、人物の顔だけでなく、犬や猫等の動物の顔を検出してもよい。さらに、顔検出部１０２は、パターンマッチング以外の周知技術を用いて人物や動物の顔を検出してもよい。
【００３８】
パターン検出部１０３は、画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出する。具体的には、パターン検出部１０３は、金網検知用テンプレート記憶部９３から金網パターンを示す金網検知用テンプレートを取得し、取得した金網検知用テンプレートを用いてテンプレートマッチング等により、画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出する。パターン検出部１０３は、金網検知用テンプレートを用いて画像内を操作し、この金網検知用テンプレートの類似度が所定値以上の領域を繰り返しパターンの金網として検出する。より具体的には、パターン検出部１０３は、画像の中からテンプレートマッチングによって金網、檻、柵および網等を繰り返しパターンとして検出する。
【００３９】
パターン消去部１０４は、パターン検出部１０３によって画像の中から検出された繰り返しパターンを消去する。具体的には、パターン消去部１０４は、パターン検出部１０３によって画像の中から検出された繰り返しパターンに対応する領域の画素を消去することによって、繰り返しパターンを画像から消去する。
【００４０】
画像補間部１０５は、パターン消去部１０４によって画像から消去された繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間する。具体的には、画像補間部１０５は、バイリニア補間方式またはバイキュービック補間方式等により、パターン消去部１０４が消去した繰り返しパターンの領域に対して画素（画像）を補間する。なお、画像補間部１０５は、バイリニア補間方式またはバイキュービック補間方式以外の周知技術を用いて画素の補完を行ってもよい。
【００４１】
合焦部１０６は、操作部６またはタッチパネル８から入力される指示信号に応じて、撮像部２が合焦する合焦位置を設定する。具体的には、合焦部１０６は、表示部７が表示する画像に対して、タッチパネル８がユーザによってタッチされたタッチ位置に応じた位置信号に基づいて、映像機器１が合焦する合焦位置を設定する。なお、合焦部１０６は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理を行うことによって、映像機器１のＡＦ評価を決定することで映像機器１の合焦位置を自動的に設定してもよい。
【００４２】
撮影制御部１０７は、レリーズ信号が入力された場合、映像機器１における撮影動作を開始する制御を行う。ここで、映像機器１における撮影動作とは、シャッター駆動部２６および撮像駆動部２８の駆動によって撮像素子２７が出力した画像データに対し、信号処理部２９および画像処理部１０１が所定の処理を施す動作をいう。このようにして処理が施された画像データは、撮影制御部１０７によって画像データ記憶部９１に記憶される。
【００４３】
表示制御部１０８は、表示部７の表示態様を制御する。具体的には、表示制御部１０８は、画像データ記憶部９１が記憶する複数の画像データの各々に対応する複数の画像を表示部７に表示させる。
【００４４】
以上の構成を有する映像機器１に対して、音声入出力機能、着脱自在な電子ビューファインダ（ＥＶＦ）、およびインターネットを介してパーソナルコンピュータ等の外部処理装置（図示せず）と双方向に通信可能な通信機能等を具備させてもよい。
【００４５】
つぎに、映像機器１が行う動作について説明する。図２は、本実施の形態にかかる映像機器１が行う処理の概要を示すフローチャートである。
【００４６】
図２に示すように、映像機器１の電源がオン状態であり（ステップＳ１０１：Ｙｅｓ）、映像機器１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）について説明する。この場合、映像機器１は、撮像部２が生成する画像データを画像データ記憶部９１に記憶する撮影処理を実行する（ステップＳ１０３）。なお、撮影処理の内容は、後述する。ステップＳ１０３の後、映像機器１は、ステップＳ１０１へ戻る。
【００４７】
ステップＳ１０２において、映像機器１が撮影モードに設定されていない場合（ステップＳ１０２：Ｎｏ）について説明する。この場合、映像機器１は、記憶部９が記憶する画像データを表示部７に表示させる再生処理を実行する（ステップＳ１０４）。なお、再生処理の内容は、後述する。ステップＳ１０４の後、映像機器１は、ステップＳ１０１へ戻る。
【００４８】
ステップＳ１０１において、映像機器１の電源がオン状態でない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、映像機器１は、本処理を終了する。
【００４９】
つぎに、図２のステップＳ１０３で説明した撮影処理について説明する。図３は、撮影処理の概要を示すフローチャートである。
【００５０】
図３に示すように、表示制御部１０８は、撮像部２が連続的に生成する画像データに対応するライブビュー画像を表示部７に表示させる（ステップＳ２０１）。
【００５１】
続いて、制御部１０は、レリーズスイッチ６２からレリーズ信号が入力されたか否かを判断する（ステップＳ２０２）。レリーズ信号が入力されたと制御部１０が判断した場合（ステップＳ２０２：Ｙｅｓ）、映像機器１は、後述するステップＳ２０３へ移行する。一方、レリーズスイッチ６２を介してレリーズ信号が入力されていないと制御部１０が判断した場合（ステップＳ２０２：Ｎｏ）、映像機器１は、図２のメインルーチンへ戻る。
【００５２】
ステップＳ２０３において、制御部１０は、撮像部２が生成した画像データから輝度を算出し、算出した輝度に基づいて、絞り２３の絞り値（Ｆ値）およびシャッター２５のシャッター速度等を自動的に設定して撮影する際の露出を調整するＡＥ処理を実行する。
【００５３】
続いて、合焦部１０６は、撮像部２が生成した画像データに基づいて、映像機器１の合焦位置の設定を行うＡＦ処理を実行する（ステップＳ２０４）。なお、合焦部１０６は、操作部６またはタッチパネル８を介してユーザによって映像機器１の合焦位置が選択されている場合、この選択された位置に映像機器１の合焦位置を設定する。
【００５４】
その後、映像機器１は、撮影制御部１０７の制御のもと、画像データを取得する（ステップＳ２０５）。
【００５５】
続いて、制御部１０は、映像機器１に金網モードが設定されているか否かを判断する（ステップＳ２０６）。映像機器１に金網モードが設定されていると制御部１０が判断した場合（ステップＳ２０６：Ｙｅｓ）、映像機器１は、画像に写る金網を消去する金網モード処理を実行する（ステップＳ２０７）。なお、金網モードの詳細については、後述する。ステップＳ２０７の後、映像機器１は、ステップＳ２０８へ移行する。一方、映像機器１に金網モードが設定されていないと制御部１０が判断した場合（ステップＳ２０６：Ｎｏ）、映像機器１は、ステップＳ２０８へ移行する。
【００５６】
ステップＳ２０８において、映像機器１は、画像データ記憶部９１に金網モード処理が施された画像データまたは金網モード処理が施されていない画像データを画像データ記憶部９１に記憶する。その後、映像機器１は、図２のメインルーチンへ戻る。
【００５７】
つぎに、図３のステップＳ２０７で説明した金網モード処理について説明する。図４は、金網モード処理の概要を示すフローチャートである。
【００５８】
図４に示すように、パターン検出部１０３は、取得した画像データに対応する画像に対し、画像内に写る金網を検知する金網検知処理を実行する（ステップＳ３０１）。
【００５９】
ここで、図４のステップＳ３０１の金網検知処理について説明する。図５は、金網検知処理の概要を示すフローチャートである。
【００６０】
図５に示すように、パターン検出部１０３は、金網検知用テンプレート記憶部９３から金網検知用テンプレートを取得する（ステップＳ４０１）。具体的には、図６および図７に示すように、パターン検出部１０３は、金網検知用テンプレート記憶部９３から形状が異なる２つの金網検知用テンプレートＴ１，Ｔ２を取得する。金網検知用テンプレートＴ１は、画面上において左右の端または上下の端まで続く直線が所定の間隔で隙間を有する格子状の繰り返しパターンが写る画像である。金網検知用テンプレートＴ２は、画面上において左右の端または上下の端まで続く直線および斜線が所定の間隔で隙間を有する略格子状の繰り返しパターンが写る画像である。なお、金網検知用テンプレートＴ１，Ｔ２における直線または斜線の線幅は、適宜設定することができる。
【００６１】
続いて、パターン検出部１０３は、画像内において画像と金網検知用テンプレートＴ１との類似度が所定値以上の領域があるか否かを判断する（ステップＳ４０２）。画像内において金網検知用テンプレートＴ１との類似度が所定値以上の領域がある場合（ステップＳ４０２：Ｙｅｓ）、パターン検出部１０３は、画像内に金網を検知する（ステップＳ４０３）。その後、映像機器１は、図４の金網モード処理に戻る。
【００６２】
図８は、映像機器１が撮像した画像の一例を示す図である。図９は、映像機器１が撮像した画像と金網検知用テンプレートとの類似度の関係を模式的に示す図である。なお、図８は、動物園で金網越しに被写体Ａ１（猿）を撮影する状況を示す。
【００６３】
図８および図９に示すように、パターン検出部１０３は、画像Ｗ１に対し、金網検知用テンプレートＴ１の位置を画像Ｗ１内において１画素ずつずらしながら画像Ｗ１を走査させて、画像Ｗ１を所定の間隔で分割した各領域と金網検知用テンプレートＴ１との類似度が所定の類似度以上の領域を金網が写る領域として検出する。具体的には、図８および図９において、パターン検出部１０３は、画像Ｗ１の領域Ｒ１を金網検知用テンプレートＴ１との類似度が所定値以上であると判断した場合、画像Ｗ１の領域Ｒ１を金網Ｋ１が写る領域として検出する一方、画像Ｗ１の領域Ｒ２を金網検知用テンプレートＴ１との類似度が所定値未満であると判断した場合、画像Ｗ１の領域Ｒ２を金網Ｋ１がない領域として検出する。また、金網検知用テンプレートＴ１，Ｔ２の大きさは例示にすぎず、画像や金網の大きさに応じて適宜設定することができる。なお、類似度は、公知の技術を用いて設定される。
【００６４】
ステップＳ４０２において、画像内において画像と金網検知用テンプレートＴ１との類似度が所定値以上の領域がない場合（ステップＳ４０２：Ｎｏ）について説明する。この場合、パターン検出部１０３は、画像内において画像と金網検知用テンプレートＴ２との類似度が所定値以上の領域があるか否かを判断する（ステップＳ４０４）。画像内において画像と金網検知用テンプレートＴ２との類似度が所定値以上の領域がある場合（ステップＳ４０４：Ｙｅｓ）、パターン検出部１０３は、画像内に金網を検知する（ステップＳ４０５）。その後、映像機器１は、図４の金網モード処理に戻る。
【００６５】
一方、画像内において画像と金網検知用テンプレートＴ２との類似度が所定値以上の領域がない場合（ステップＳ４０４：Ｎｏ）、映像機器１は、図４の金網モード処理に戻る。
【００６６】
図４に戻り、ステップＳ３０２以降の説明を続ける。ステップＳ３０２において、撮影制御部１０７は、映像機器１の合焦位置が金網Ｋ１であるか否かを判断する。具体的には図８に示すように、撮影制御部１０７は、合焦部１０６が撮像部２の合焦位置を、パターン検出部１０３によって検出された金網Ｋ１に合わせているか否かを判断する。映像機器１の合焦位置が金網Ｋ１であると撮影制御部１０７が判断した場合（ステップＳ３０２：Ｙｅｓ）、映像機器１は、ステップＳ３０３へ移行する。一方、映像機器１の合焦位置が金網Ｋ１でないと撮影制御部１０７が判断した場合（ステップＳ３０２：Ｎｏ）、映像機器１は、上述した図３の撮影処理に戻る。
【００６７】
ステップＳ３０３において、撮影制御部１０７は、合焦部１０６が撮像部２の合焦位置を金網Ｋ１に合わせた画像データ（画像データ１）を画像データ記憶部９１に記憶する（ステップＳ３０３）。
【００６８】
続いて、合焦部１０６は、レンズ駆動部２２を駆動してレンズ部２１を光軸Ｌ上に沿って移動させることにより、一段階奥の被写体に撮像部２の合焦位置を設定する（ステップＳ３０４）。たとえば、合焦部１０６は、一段階奥の被写体Ａ１に撮像部２の合焦位置を設定する。
【００６９】
その後、映像機器１は、撮影制御部１０７の制御のもと、合焦部１０６が一段階奥の被写体Ａ１に撮像部２の合焦位置を調整した画像データを取得し（ステップＳ３０５）、取得した画像データ（画像データ２）を画像データ記憶部９１に記憶する（ステップＳ３０６）。
【００７０】
続いて、パターン消去部１０４は、合焦部１０６によって一段階奥の被写体Ａ１に撮像部２の合焦位置を調整された画像データ（画像データ２）に対応する画像に対し、パターン検出部１０３が金網Ｋ１を検出した画像データ（画像データ１）を用いて金網Ｋ１を消去する（ステップＳ３０７）。たとえば、パターン消去部１０４は、二つの画像を仮想的に重ね合わせたことにより、パターン検出部１０３によって検出された金網Ｋ１の領域に対応する画素を、合焦部１０６によって一段階奥の被写体Ａ１に撮像部２の合焦位置を調整された画像データに対応する画像から消去する。具体的には、図１０に示すように、パターン消去部１０４は、画像Ｗ２内において少なくとも撮像部２の合焦位置の周辺を含む領域の金網Ｋ１を消去する。
【００７１】
その後、画像補間部１０５は、パターン消去部１０４が画像から消去した金網Ｋ１の周辺画素を用いて金網Ｋ１に対応する領域に対して画素を補間する（ステップＳ３０８）。具体的には、図１１の画像Ｗ３に示すように、画像補間部１０５は、パターン消去部１０４が画像Ｗ２から消去した金網Ｋ１の周辺画素を用いて消去した金網Ｋ１の領域に対して画素を補間する。その後、映像機器１は、上述した図３の撮影処理に戻る。
【００７２】
つぎに、図２のステップＳ１０４で説明した再生処理について説明する。図１２は、再生処理の概要を示すフローチャートである。
【００７３】
図１２に示すように、表示制御部１０８は、画像データ記憶部９１が記憶する各画像ファイルの画像データに対応する画像を縮小した縮小画像（サムネイル画像）の一覧を表示部７に表示させる（ステップＳ５０１）。
【００７４】
続いて、制御部１０は、操作部６を介して拡大して表示する画像ファイルの縮小画像が選択されたか否かを判断する（ステップＳ５０２）。縮小画像が選択されたと制御部１０が判断した場合（ステップＳ５０２：Ｙｅｓ）、映像機器１は、ステップＳ５０３へ移行する。一方、縮小画像が選択されていないと制御部１０が判断した場合（ステップＳ５０２：Ｎｏ）、映像機器は、ステップＳ５０１へ戻る。
【００７５】
ステップＳ５０３において、制御部１０は、選択された画像ファイルに格納されたデータが動画データであるか否かを判断する。選択された画像ファイルに格納されたデータが動画データであると制御部１０が判断した場合（ステップＳ５０３：Ｙｅｓ）、映像機器１は、後述するステップＳ５０４へ移行する。一方、選択された画像ファイルに格納されたデータが動画データでないと制御部１０が判断した場合（ステップＳ５０３：Ｎｏ）、映像機器１は、後述するステップＳ５０７へ移行する。
【００７６】
ステップＳ５０４において、表示制御部１０８は、選択された画像ファイルに格納された動画データを表示部７に再生させる。
【００７７】
制御部１０は、動画データが終了したか否かを判断する（ステップＳ５０５）。動画データが終了していないと制御部１０が判断した場合（ステップＳ５０５：Ｎｏ）、制御部１０は、この判断を続ける。一方、動画データが終了していると制御部１０が判断した場合（ステップＳ５０５：Ｙｅｓ）、映像機器１は、ステップＳ５０６へ移行する。
【００７８】
続いて、制御部１０は、再生モードの終了操作が行われたか否かを判断する（ステップＳ５０６）。具体的には、制御部１０は、再生モード切換スイッチ６３が操作されることにより、撮影モードに切換える切換信号が入力されたか否かを判断する。再生モードの終了操作が行われたと制御部１０が判断した場合（ステップＳ５０６：Ｙｅｓ）、映像機器１は、図２のメインルーチンへ戻る。一方、所定時間（たとえば３秒）以内に再生モードの終了操作が行われていないと制御部１０が判断した場合（ステップＳ５０６：Ｎｏ）、映像機器１は、ステップＳ５０１へ戻る。
【００７９】
ステップＳ５０３において、選択された画像ファイルのデータが動画データでないと制御部１０が判断した場合（ステップＳ５０３：Ｎｏ）について説明する。この場合、表示制御部１０８は、画像データに対応する静止画像を表示部７に表示させる（ステップＳ５０７）。
【００８０】
続いて、制御部１０は、表示部７が表示している静止画または動画を切換えるコマ送り操作が行われたか否かを判断する（ステップＳ５０８）。コマ送り操作が行われたと制御部１０が判断した場合（ステップＳ５０８：Ｙｅｓ）、制御部１０は、次の画像ファイルに切換える（ステップＳ５０９）。その後、映像機器１は、ステップＳ５０３へ戻る。一方、所定時間（たとえば３秒）以内にコマ送り操作が行われていないと制御部１０が判断した場合（ステップＳ５０８：Ｎｏ）、映像機器１は、ステップＳ５０６へ移行する。
【００８１】
以上説明した本発明の一実施の形態によれば、パターン検出部１０３が画像の中から繰り返しパターンを検出し、パターン消去部１０４がパターン検出部１０３によって画像の中から検出された繰り返しパターンを消去し、画像補間部１０５がパターン消去部１０４によって画像から消去された繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間する。これにより、檻の中やネット越しに被写体が存在する場合であっても、被写体のみを画像を記憶することができる。
【００８２】
さらに、本発明の一実施の形態によれば、パターン検出部１０３が画像から金網Ｋ１を検出した場合、合焦部１０６が撮像部２の合焦位置を、金網Ｋ１から一段奥の被写体Ａ１に設定するので、被写体Ａ１に合焦した画像を撮影することができる。
【００８３】
さらにまた、本発明の一実施の形態によれば、パターン消去部１０４が少なくとも合焦部１０６によって映像機器１の合焦位置を被写体Ａ１に合焦させた周辺領域に含まれる繰り返しパターンの金網Ｋ１を消去する。これにより、画像内に写る全ての繰り返しパターンである金網を消去しないので、臨場感を損なうことなく、撮影時の撮影シーンを撮影することができる。
【００８４】
なお、本発明の一実施の形態では、パターン消去部１０４が少なくとも合焦部１０６によって映像機器１の合焦位置を被写体Ａ１に合焦させた周辺領域に含まれる繰り返しパターンの金網を消去していたが、たとえば顔検出部１０２によって検出された被写体の顔を含む周辺領域に含まれる繰り返しパターンを消去してもよい。これにより、網または柵越しに撮影を行っても、被写体の顔に網または柵が写りこまない画像を撮影することができる。
【００８５】
また、本発明の一実施の形態では、パターン消去部１０４が少なくとも合焦部１０６によって映像機器１の合焦位置を被写体Ａ１に合焦させた周辺領域に含まれる繰り返しパターンの金網を消去していたが、画像内の繰り返しパターンを全て消去してもよい。具体的には、図１３に示すように、パターン消去部１０４は、パターン検出部１０３が画像Ｗ２の領域Ｒ１１で繰り返しパターンの金網を検出した場合、領域Ｒ１１に写る全ての金網Ｋ１を消去する。その後、画像補間部１０５は、パターン消去部１０４が消去した金網Ｋ１の周辺画素を用いて金網Ｋ１の領域に対して画素を補間する。これにより、被写体Ａ１を撮影する際の障害物になる金網を消去した画像Ｗ４を撮影することができる。
【００８６】
また、本発明の一実施の形態では、画像補間部１０５がパターン消去部１０４によって画像内から消去された繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間していたが、たとえば繰り返しパターンの画素と繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間してもよい。具体的には、図１４に示すように、画像補間部１０５は、金網の画素と金網の周辺画素を用いて、金網Ｋ１を消去した領域に対して画素を補間する。たとえば、画像補間部１０５は、金網Ｋ１の画素と金網Ｋ１の周辺画素との比率を変えながら合成または重畳することにより、金網Ｋ１の領域に対して画素を補間する。これにより、被写体Ａ１を撮影する際にリアリティを持たせた画像Ｗ５を撮影することができる。
【００８７】
また、本発明の一実施の形態では、撮影する画像に対して金網モード処理を行っていたが、たとえば撮像部２が連続的に生成する画像データに対応するライブビュー画像に対しても上述した金網モード処理を行ってもよい。また、映像機器に対して着脱自在な電子ビューファインダが表示する画像に金網モード処理を行ってもよい。
【００８８】
また、上述した実施の形態では、映像機器としてデジタルカメラを説明したが、たとえば、デジタル一眼レフカメラ、デジタルビデオカメラおよび撮影機能と表示機能を有する携帯電話やタブレット型携帯機器等の電子機器にも本発明を適用することができる。
【符号の説明】
【００８９】
１ 映像機器
２ 撮像部
３ 発光部
４ 姿勢検出部
５ タイマー
６ 操作部
７ 表示部
８ タッチパネル
９ 記憶部
１０ 制御部
２１ レンズ部
２２ レンズ駆動部
２３ 絞り
２４ 絞り駆動部
２５ シャッター
２６ シャッター駆動部
２７ 撮像素子
２８ 撮像駆動部
２９ 信号処理部
６１ 電源スイッチ
６２ レリーズスイッチ
６３ 撮影モード切換スイッチ
６４ 操作スイッチ
９１ 画像データ記憶部
９２ プログラム記憶部
９３ 金網検知用テンプレート記憶部
１０１ 画像処理部
１０２ 顔検出部
１０３ パターン検出部
１０４ パターン消去部
１０５ 画像補間部
１０６ 合焦部
１０７ 撮影制御部
１０８ 表示制御部
【技術分野】
【０００１】
本発明は、画像データに対応する画像に含まれる特定のパターンを消去する画像処理装置、映像機器、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の映像機器では、動物園等で檻の中にいる被写体（動物）を撮影したり、野球場等でネット越しに被写体（選手）を撮影する際に、被写体にフォーカスを合わせることができる技術が知られている（特許文献１を参照）。この技術では、檻やネットを第１の被写体としてフォーカスさせ、この第１の被写体の部分をマスクした後、被写体にフォーカスを合わせている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５２３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、被写体と撮像装置との間に檻やネット等が介在するため、常に檻やネット等の障害物が被写体の領域に写り込み、被写体のみを撮影することができないという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、檻の中やネット越しに被写体が存在する場合であっても、被写体のみの画像を得ることができる画像処理装置、映像機器、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出部と、前記パターン検出部が検出した前記繰り返しパターンを前記画像から消去するパターン消去部と、前記パターン消去部が前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間部と、を備えたことを特徴とする。
【０００７】
また、本発明にかかる画像処理装置は、上記発明において、前記画像に含まれる被写体の顔を検出する顔検出部をさらに備え、前記パターン消去部は、少なくとも前記顔検出部が検出した前記被写体の顔の領域に含まれる前記繰り返しパターンを消去することを特徴とする。
【０００８】
また、本発明にかかる画像処理装置は、上記発明において、前前記画像補間部は、前記繰り返しパターンの画素と前記周辺画素とを用いて前記繰り返しパターンの領域に対して画素を補間することを特徴とする。
【０００９】
また、本発明にかかる画像処理装置は、上記発明において、前記繰り返しパターンは、金網、檻、柵および網のいずれかであることを特徴とする。
【００１０】
また、本発明にかかる映像機器は、上記した画像処理装置と、所定の視野領域から光を集光する光学系を有し、該光学系を介して前記被写体を撮像して該被写体の画像データを生成する撮像部と、を備え、前記パターン検出部は、前記撮像部が生成した前記画像データに対応する画像から前記繰り返しパターンを検出することを特徴とする。
【００１１】
また、本発明にかかる映像機器は、上記発明において、前記光学系を光軸上に沿って移動させることにより、前記被写体の一部に合焦させる合焦部をさらに備え、前記パターン検出部は、前記合焦部が前記被写体に合焦させた被写体領域に含まれる前記繰り返しパターンを検出し、前記パターン消去部は、前記パターン検出部が検出した前記被写体領域に含まれる前記繰り返しパターンを消去することを特徴とする。
【００１２】
また、本発明にかかる映像機器は、上記発明において、前記パターン消去部は、前記被写体領域の周辺領域を含む前記繰り返しパターンを消去することを特徴とする。
【００１３】
また、本発明にかかる映像機器は、上記発明において、前記繰り返しパターンを検出するパターン検出用テンプレートを記憶するテンプレート記憶部をさらに備え、前記パターン検出部は、前記テンプレート記憶部が記憶する前記パターン検出用テンプレートを用いて前記画像内を走査し、該パターン検出用テンプレートの類似度が所定値以上の領域を前記繰り返しパターンとして検出することを特徴とする。
【００１４】
また、本発明にかかる映像機器は、上記発明において、前記画像データに対応する前記画像を表示する表示部をさらに備え、前記撮像部は、前記画像データを時系列に沿って連続的に生成可能であり、前記パターン検出部は、前記撮像部が前記画像を生成した順に前記繰り返しパターンを検出し、前記表示部は、前記画像補間部が画素を補間した画像を表示することを特徴とする。
【００１５】
また、本発明にかかる画像処理方法は、画像処理装置が実行する画像処理方法であって、画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出ステップと、前記パターン検出ステップが検出した前記繰り返しパターンを前記画像から消去するパターン消去ステップと、前記パターン消去ステップが前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間ステップと、を含むことを特徴とする。
【００１６】
また、本発明にかかるプログラムは、画像処理装置に実行させるプログラムであって、画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出ステップと、前記パターン検出ステップが検出した前記繰り返しパターンを前記画像から消去するパターン消去ステップと、前記パターン消去ステップが前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間ステップと、を含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、パターン検出部が画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出し、パターン消去部がパターン検出部によって画像の中から検出された繰り返しパターンを消去し、画像補間部がパターン消去部によって画像から消去された繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間する。これにより、檻やネット越しに被写体が存在する場合であっても、被写体のみ写る画像にすることができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の一実施の形態にかかる映像機器の構成を示すブロック図である。
【図２】図２は、本発明の一実施の形態にかかる映像機器が行う処理の概要を示すフローチャートである。
【図３】図３は、図２のステップＳ１０３の撮影処理の概要を示すフローチャートである。
【図４】図４は、図３のステップＳ２０７の金網モード処理の概要を示すフローチャートである。
【図５】図５は、図４のステップＳ３０１の金網検知処理の概要を示すフローチャートである。
【図６】図６は、金網検知用テンプレート記憶部が記憶する金網検知用テンプレートの一例を示す図である。
【図７】図７は、金網検知用テンプレート記憶部が記憶する金網検知用テンプレートの別の一例を示す図である。
【図８】図８は、本発明の一実施の形態にかかる映像機器が撮影した画像の一例を示す図である。
【図９】図９は、本発明の一実施の形態にかかる映像機器が撮像した画像と金網検知用テンプレートとの類似度の関係を模式的に示す図である。
【図１０】図１０は、パターン消去部が繰り返しパターンを消去した画像の一例を示す図である。
【図１１】図１１は、画像補間部がパターン消去部によって消去された繰り返しパターンの領域を画素で補間した画像の一例を示す図である。
【図１２】図１２は、図２のステップＳ１０４の再生処理の概要を示すフローチャートである。
【図１３】図１３は、本発明の一実施の形態の変形例にかかるパターン消去部が繰り返しパターンを消去した画像の一例を示す図である。
【図１４】図１４は、本発明の一実施の形態の変形例にかかる画像補間部がパターン消去部によって消去された繰り返しパターンの領域を画素で補間した画像の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、以下においては画像処理装置を備えた映像機器を例に説明する。さらに、図面の記載において、同一の部分には同一の符号を付している。
【００２０】
図１は、本発明の一実施の形態にかかる映像機器の構成を示すブロック図である。図１に示すように、映像機器１は、撮像部２と、発光部３と、姿勢検出部４と、タイマー５と、操作部６と、表示部７と、タッチパネル８と、記憶部９と、制御部１０と、を備える。
【００２１】
撮像部２は、被写体を撮像して被写体の画像データを生成する。撮像部２は、レンズ部２１と、レンズ駆動部２２と、絞り２３と、絞り駆動部２４と、シャッター２５と、シャッター駆動部２６と、撮像素子２７と、撮像駆動部２８と、信号処理部２９と、を有する。
【００２２】
レンズ部２１は、フォーカスおよびズーム可能な複数のレンズ群によって構成され、所定の視野領域から光を集光する。レンズ駆動部２２は、ステッピングモータまたはＤＣモータを用いて構成され、レンズ部２１のレンズ群を光軸Ｌ１上に沿って移動させることにより、レンズ部２１の合焦位置および焦点距離等の変更を行う。
【００２３】
絞り２３は、レンズ部２１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２４は、ステッピングモータ等によって構成され、絞り２３を駆動する。
【００２４】
シャッター２５は、撮像素子２７の状態を露光状態または遮光状態に設定する。シャッター駆動部２６は、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッター２５を駆動する。
【００２５】
撮像素子２７は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって構成される。撮像素子２７は、レンズ部２１が集光した光を受光して光電変換を行うことによって、光を電気信号（アナログ信号）に変換する。撮像駆動部２８は、撮像素子２７を駆動するタイミングパルスを生成し、撮像素子２７が光電変換した電気信号を信号処理部２９に出力させる。
【００２６】
信号処理部２９は、アナログアンプやＡ／Ｄ変換器等によって構成される。信号処理部２９は、撮像素子２７から出力される電気信号に増幅（ゲイン調整）等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部１０に出力する。
【００２７】
発光部３は、キセノンランプまたはＬＥＤ（Light Emitting Diode）等を用いて構成される。発光部３は、映像機器１が撮像する視野領域へ向けて補助光であるストロボ光を照射する。
【００２８】
姿勢検出部４は、加速度センサを用いて構成される。姿勢検出部４は、映像機器１の加速度を検出することにより、映像機器１の姿勢状態を検出する。具体的には、姿勢検出部４は、水平面を基準としたときの映像機器１の姿勢（傾斜角度）を検出する。
【００２９】
タイマー５は、計時機能および撮影日時の判定機能を有する。タイマー５は、撮像された画像データに日時データを付加させるため、制御部１０に日時データを出力する。
【００３０】
操作部６は、映像機器１の電源状態をオン状態またはオフ状態に切換える電源スイッチ６１と、撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチ６２と、映像機器１に設定された各種撮影モードを切換える撮影モード切換スイッチ６３と、映像機器１の各種設定を切換える操作スイッチ６４と、を有する。
【００３１】
表示部７は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。表示部７は、撮像部２が生成した画像データに対応する画像を表示する。表示部７は、映像機器１の操作情報および操作に関する情報を適宜表示する。
【００３２】
タッチパネル８は、表示部７の表示画面上に重ねて設けられ、ユーザが表示部７に表示される情報に基づいて接触（タッチ）した位置を検出し、この接触位置に応じた指示信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【００３３】
記憶部９は、映像機器１の内部に固定的に設けられるフラッシュメモリおよびＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。記憶部９は、撮像部２が撮像した画像データを記憶する画像データ記憶部９１と、映像機器１が実行する各種プログラムおよび画像処理プログラムを記憶部するプログラム記憶部９２と、金網を検知するための金網検知用テンプレートや顔を検出するための顔検出テンプレート等を記憶する金網検知用テンプレート記憶部９３と、を有する。
【００３４】
制御部１０は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作部６またはタッチパネル８からの指示信号や切換信号等に応じて映像機器１を構成する各部に対応する指示やデータの転送等を行って映像機器１の動作を統括的に制御する。
【００３５】
制御部１０の詳細な構成について説明する。制御部１０は、画像処理部１０１と、顔検出部１０２と、パターン検出部１０３と、パターン消去部１０４と、画像補間部１０５と、合焦部１０６と、撮影制御部１０７と、表示制御部１０８と、を有する。
【００３６】
画像処理部１０１は、信号処理部２９から入力される画像データに対して各種の画像処理を施す。具体的には、画像処理部１０１は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。画像処理部１０１は、画像データを所定の方式、たとえばＪＰＥＧ（Joint Photographic Experts Group）方式で圧縮して画像データ記憶部９１に出力する。
【００３７】
顔検出部１０２は、画像データに対応する画像に含まれる被写体の顔を検出する。具体的には、顔検出部１０２は、画像に含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部１０２は、人物の顔だけでなく、犬や猫等の動物の顔を検出してもよい。さらに、顔検出部１０２は、パターンマッチング以外の周知技術を用いて人物や動物の顔を検出してもよい。
【００３８】
パターン検出部１０３は、画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出する。具体的には、パターン検出部１０３は、金網検知用テンプレート記憶部９３から金網パターンを示す金網検知用テンプレートを取得し、取得した金網検知用テンプレートを用いてテンプレートマッチング等により、画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出する。パターン検出部１０３は、金網検知用テンプレートを用いて画像内を操作し、この金網検知用テンプレートの類似度が所定値以上の領域を繰り返しパターンの金網として検出する。より具体的には、パターン検出部１０３は、画像の中からテンプレートマッチングによって金網、檻、柵および網等を繰り返しパターンとして検出する。
【００３９】
パターン消去部１０４は、パターン検出部１０３によって画像の中から検出された繰り返しパターンを消去する。具体的には、パターン消去部１０４は、パターン検出部１０３によって画像の中から検出された繰り返しパターンに対応する領域の画素を消去することによって、繰り返しパターンを画像から消去する。
【００４０】
画像補間部１０５は、パターン消去部１０４によって画像から消去された繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間する。具体的には、画像補間部１０５は、バイリニア補間方式またはバイキュービック補間方式等により、パターン消去部１０４が消去した繰り返しパターンの領域に対して画素（画像）を補間する。なお、画像補間部１０５は、バイリニア補間方式またはバイキュービック補間方式以外の周知技術を用いて画素の補完を行ってもよい。
【００４１】
合焦部１０６は、操作部６またはタッチパネル８から入力される指示信号に応じて、撮像部２が合焦する合焦位置を設定する。具体的には、合焦部１０６は、表示部７が表示する画像に対して、タッチパネル８がユーザによってタッチされたタッチ位置に応じた位置信号に基づいて、映像機器１が合焦する合焦位置を設定する。なお、合焦部１０６は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理を行うことによって、映像機器１のＡＦ評価を決定することで映像機器１の合焦位置を自動的に設定してもよい。
【００４２】
撮影制御部１０７は、レリーズ信号が入力された場合、映像機器１における撮影動作を開始する制御を行う。ここで、映像機器１における撮影動作とは、シャッター駆動部２６および撮像駆動部２８の駆動によって撮像素子２７が出力した画像データに対し、信号処理部２９および画像処理部１０１が所定の処理を施す動作をいう。このようにして処理が施された画像データは、撮影制御部１０７によって画像データ記憶部９１に記憶される。
【００４３】
表示制御部１０８は、表示部７の表示態様を制御する。具体的には、表示制御部１０８は、画像データ記憶部９１が記憶する複数の画像データの各々に対応する複数の画像を表示部７に表示させる。
【００４４】
以上の構成を有する映像機器１に対して、音声入出力機能、着脱自在な電子ビューファインダ（ＥＶＦ）、およびインターネットを介してパーソナルコンピュータ等の外部処理装置（図示せず）と双方向に通信可能な通信機能等を具備させてもよい。
【００４５】
つぎに、映像機器１が行う動作について説明する。図２は、本実施の形態にかかる映像機器１が行う処理の概要を示すフローチャートである。
【００４６】
図２に示すように、映像機器１の電源がオン状態であり（ステップＳ１０１：Ｙｅｓ）、映像機器１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）について説明する。この場合、映像機器１は、撮像部２が生成する画像データを画像データ記憶部９１に記憶する撮影処理を実行する（ステップＳ１０３）。なお、撮影処理の内容は、後述する。ステップＳ１０３の後、映像機器１は、ステップＳ１０１へ戻る。
【００４７】
ステップＳ１０２において、映像機器１が撮影モードに設定されていない場合（ステップＳ１０２：Ｎｏ）について説明する。この場合、映像機器１は、記憶部９が記憶する画像データを表示部７に表示させる再生処理を実行する（ステップＳ１０４）。なお、再生処理の内容は、後述する。ステップＳ１０４の後、映像機器１は、ステップＳ１０１へ戻る。
【００４８】
ステップＳ１０１において、映像機器１の電源がオン状態でない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、映像機器１は、本処理を終了する。
【００４９】
つぎに、図２のステップＳ１０３で説明した撮影処理について説明する。図３は、撮影処理の概要を示すフローチャートである。
【００５０】
図３に示すように、表示制御部１０８は、撮像部２が連続的に生成する画像データに対応するライブビュー画像を表示部７に表示させる（ステップＳ２０１）。
【００５１】
続いて、制御部１０は、レリーズスイッチ６２からレリーズ信号が入力されたか否かを判断する（ステップＳ２０２）。レリーズ信号が入力されたと制御部１０が判断した場合（ステップＳ２０２：Ｙｅｓ）、映像機器１は、後述するステップＳ２０３へ移行する。一方、レリーズスイッチ６２を介してレリーズ信号が入力されていないと制御部１０が判断した場合（ステップＳ２０２：Ｎｏ）、映像機器１は、図２のメインルーチンへ戻る。
【００５２】
ステップＳ２０３において、制御部１０は、撮像部２が生成した画像データから輝度を算出し、算出した輝度に基づいて、絞り２３の絞り値（Ｆ値）およびシャッター２５のシャッター速度等を自動的に設定して撮影する際の露出を調整するＡＥ処理を実行する。
【００５３】
続いて、合焦部１０６は、撮像部２が生成した画像データに基づいて、映像機器１の合焦位置の設定を行うＡＦ処理を実行する（ステップＳ２０４）。なお、合焦部１０６は、操作部６またはタッチパネル８を介してユーザによって映像機器１の合焦位置が選択されている場合、この選択された位置に映像機器１の合焦位置を設定する。
【００５４】
その後、映像機器１は、撮影制御部１０７の制御のもと、画像データを取得する（ステップＳ２０５）。
【００５５】
続いて、制御部１０は、映像機器１に金網モードが設定されているか否かを判断する（ステップＳ２０６）。映像機器１に金網モードが設定されていると制御部１０が判断した場合（ステップＳ２０６：Ｙｅｓ）、映像機器１は、画像に写る金網を消去する金網モード処理を実行する（ステップＳ２０７）。なお、金網モードの詳細については、後述する。ステップＳ２０７の後、映像機器１は、ステップＳ２０８へ移行する。一方、映像機器１に金網モードが設定されていないと制御部１０が判断した場合（ステップＳ２０６：Ｎｏ）、映像機器１は、ステップＳ２０８へ移行する。
【００５６】
ステップＳ２０８において、映像機器１は、画像データ記憶部９１に金網モード処理が施された画像データまたは金網モード処理が施されていない画像データを画像データ記憶部９１に記憶する。その後、映像機器１は、図２のメインルーチンへ戻る。
【００５７】
つぎに、図３のステップＳ２０７で説明した金網モード処理について説明する。図４は、金網モード処理の概要を示すフローチャートである。
【００５８】
図４に示すように、パターン検出部１０３は、取得した画像データに対応する画像に対し、画像内に写る金網を検知する金網検知処理を実行する（ステップＳ３０１）。
【００５９】
ここで、図４のステップＳ３０１の金網検知処理について説明する。図５は、金網検知処理の概要を示すフローチャートである。
【００６０】
図５に示すように、パターン検出部１０３は、金網検知用テンプレート記憶部９３から金網検知用テンプレートを取得する（ステップＳ４０１）。具体的には、図６および図７に示すように、パターン検出部１０３は、金網検知用テンプレート記憶部９３から形状が異なる２つの金網検知用テンプレートＴ１，Ｔ２を取得する。金網検知用テンプレートＴ１は、画面上において左右の端または上下の端まで続く直線が所定の間隔で隙間を有する格子状の繰り返しパターンが写る画像である。金網検知用テンプレートＴ２は、画面上において左右の端または上下の端まで続く直線および斜線が所定の間隔で隙間を有する略格子状の繰り返しパターンが写る画像である。なお、金網検知用テンプレートＴ１，Ｔ２における直線または斜線の線幅は、適宜設定することができる。
【００６１】
続いて、パターン検出部１０３は、画像内において画像と金網検知用テンプレートＴ１との類似度が所定値以上の領域があるか否かを判断する（ステップＳ４０２）。画像内において金網検知用テンプレートＴ１との類似度が所定値以上の領域がある場合（ステップＳ４０２：Ｙｅｓ）、パターン検出部１０３は、画像内に金網を検知する（ステップＳ４０３）。その後、映像機器１は、図４の金網モード処理に戻る。
【００６２】
図８は、映像機器１が撮像した画像の一例を示す図である。図９は、映像機器１が撮像した画像と金網検知用テンプレートとの類似度の関係を模式的に示す図である。なお、図８は、動物園で金網越しに被写体Ａ１（猿）を撮影する状況を示す。
【００６３】
図８および図９に示すように、パターン検出部１０３は、画像Ｗ１に対し、金網検知用テンプレートＴ１の位置を画像Ｗ１内において１画素ずつずらしながら画像Ｗ１を走査させて、画像Ｗ１を所定の間隔で分割した各領域と金網検知用テンプレートＴ１との類似度が所定の類似度以上の領域を金網が写る領域として検出する。具体的には、図８および図９において、パターン検出部１０３は、画像Ｗ１の領域Ｒ１を金網検知用テンプレートＴ１との類似度が所定値以上であると判断した場合、画像Ｗ１の領域Ｒ１を金網Ｋ１が写る領域として検出する一方、画像Ｗ１の領域Ｒ２を金網検知用テンプレートＴ１との類似度が所定値未満であると判断した場合、画像Ｗ１の領域Ｒ２を金網Ｋ１がない領域として検出する。また、金網検知用テンプレートＴ１，Ｔ２の大きさは例示にすぎず、画像や金網の大きさに応じて適宜設定することができる。なお、類似度は、公知の技術を用いて設定される。
【００６４】
ステップＳ４０２において、画像内において画像と金網検知用テンプレートＴ１との類似度が所定値以上の領域がない場合（ステップＳ４０２：Ｎｏ）について説明する。この場合、パターン検出部１０３は、画像内において画像と金網検知用テンプレートＴ２との類似度が所定値以上の領域があるか否かを判断する（ステップＳ４０４）。画像内において画像と金網検知用テンプレートＴ２との類似度が所定値以上の領域がある場合（ステップＳ４０４：Ｙｅｓ）、パターン検出部１０３は、画像内に金網を検知する（ステップＳ４０５）。その後、映像機器１は、図４の金網モード処理に戻る。
【００６５】
一方、画像内において画像と金網検知用テンプレートＴ２との類似度が所定値以上の領域がない場合（ステップＳ４０４：Ｎｏ）、映像機器１は、図４の金網モード処理に戻る。
【００６６】
図４に戻り、ステップＳ３０２以降の説明を続ける。ステップＳ３０２において、撮影制御部１０７は、映像機器１の合焦位置が金網Ｋ１であるか否かを判断する。具体的には図８に示すように、撮影制御部１０７は、合焦部１０６が撮像部２の合焦位置を、パターン検出部１０３によって検出された金網Ｋ１に合わせているか否かを判断する。映像機器１の合焦位置が金網Ｋ１であると撮影制御部１０７が判断した場合（ステップＳ３０２：Ｙｅｓ）、映像機器１は、ステップＳ３０３へ移行する。一方、映像機器１の合焦位置が金網Ｋ１でないと撮影制御部１０７が判断した場合（ステップＳ３０２：Ｎｏ）、映像機器１は、上述した図３の撮影処理に戻る。
【００６７】
ステップＳ３０３において、撮影制御部１０７は、合焦部１０６が撮像部２の合焦位置を金網Ｋ１に合わせた画像データ（画像データ１）を画像データ記憶部９１に記憶する（ステップＳ３０３）。
【００６８】
続いて、合焦部１０６は、レンズ駆動部２２を駆動してレンズ部２１を光軸Ｌ上に沿って移動させることにより、一段階奥の被写体に撮像部２の合焦位置を設定する（ステップＳ３０４）。たとえば、合焦部１０６は、一段階奥の被写体Ａ１に撮像部２の合焦位置を設定する。
【００６９】
その後、映像機器１は、撮影制御部１０７の制御のもと、合焦部１０６が一段階奥の被写体Ａ１に撮像部２の合焦位置を調整した画像データを取得し（ステップＳ３０５）、取得した画像データ（画像データ２）を画像データ記憶部９１に記憶する（ステップＳ３０６）。
【００７０】
続いて、パターン消去部１０４は、合焦部１０６によって一段階奥の被写体Ａ１に撮像部２の合焦位置を調整された画像データ（画像データ２）に対応する画像に対し、パターン検出部１０３が金網Ｋ１を検出した画像データ（画像データ１）を用いて金網Ｋ１を消去する（ステップＳ３０７）。たとえば、パターン消去部１０４は、二つの画像を仮想的に重ね合わせたことにより、パターン検出部１０３によって検出された金網Ｋ１の領域に対応する画素を、合焦部１０６によって一段階奥の被写体Ａ１に撮像部２の合焦位置を調整された画像データに対応する画像から消去する。具体的には、図１０に示すように、パターン消去部１０４は、画像Ｗ２内において少なくとも撮像部２の合焦位置の周辺を含む領域の金網Ｋ１を消去する。
【００７１】
その後、画像補間部１０５は、パターン消去部１０４が画像から消去した金網Ｋ１の周辺画素を用いて金網Ｋ１に対応する領域に対して画素を補間する（ステップＳ３０８）。具体的には、図１１の画像Ｗ３に示すように、画像補間部１０５は、パターン消去部１０４が画像Ｗ２から消去した金網Ｋ１の周辺画素を用いて消去した金網Ｋ１の領域に対して画素を補間する。その後、映像機器１は、上述した図３の撮影処理に戻る。
【００７２】
つぎに、図２のステップＳ１０４で説明した再生処理について説明する。図１２は、再生処理の概要を示すフローチャートである。
【００７３】
図１２に示すように、表示制御部１０８は、画像データ記憶部９１が記憶する各画像ファイルの画像データに対応する画像を縮小した縮小画像（サムネイル画像）の一覧を表示部７に表示させる（ステップＳ５０１）。
【００７４】
続いて、制御部１０は、操作部６を介して拡大して表示する画像ファイルの縮小画像が選択されたか否かを判断する（ステップＳ５０２）。縮小画像が選択されたと制御部１０が判断した場合（ステップＳ５０２：Ｙｅｓ）、映像機器１は、ステップＳ５０３へ移行する。一方、縮小画像が選択されていないと制御部１０が判断した場合（ステップＳ５０２：Ｎｏ）、映像機器は、ステップＳ５０１へ戻る。
【００７５】
ステップＳ５０３において、制御部１０は、選択された画像ファイルに格納されたデータが動画データであるか否かを判断する。選択された画像ファイルに格納されたデータが動画データであると制御部１０が判断した場合（ステップＳ５０３：Ｙｅｓ）、映像機器１は、後述するステップＳ５０４へ移行する。一方、選択された画像ファイルに格納されたデータが動画データでないと制御部１０が判断した場合（ステップＳ５０３：Ｎｏ）、映像機器１は、後述するステップＳ５０７へ移行する。
【００７６】
ステップＳ５０４において、表示制御部１０８は、選択された画像ファイルに格納された動画データを表示部７に再生させる。
【００７７】
制御部１０は、動画データが終了したか否かを判断する（ステップＳ５０５）。動画データが終了していないと制御部１０が判断した場合（ステップＳ５０５：Ｎｏ）、制御部１０は、この判断を続ける。一方、動画データが終了していると制御部１０が判断した場合（ステップＳ５０５：Ｙｅｓ）、映像機器１は、ステップＳ５０６へ移行する。
【００７８】
続いて、制御部１０は、再生モードの終了操作が行われたか否かを判断する（ステップＳ５０６）。具体的には、制御部１０は、再生モード切換スイッチ６３が操作されることにより、撮影モードに切換える切換信号が入力されたか否かを判断する。再生モードの終了操作が行われたと制御部１０が判断した場合（ステップＳ５０６：Ｙｅｓ）、映像機器１は、図２のメインルーチンへ戻る。一方、所定時間（たとえば３秒）以内に再生モードの終了操作が行われていないと制御部１０が判断した場合（ステップＳ５０６：Ｎｏ）、映像機器１は、ステップＳ５０１へ戻る。
【００７９】
ステップＳ５０３において、選択された画像ファイルのデータが動画データでないと制御部１０が判断した場合（ステップＳ５０３：Ｎｏ）について説明する。この場合、表示制御部１０８は、画像データに対応する静止画像を表示部７に表示させる（ステップＳ５０７）。
【００８０】
続いて、制御部１０は、表示部７が表示している静止画または動画を切換えるコマ送り操作が行われたか否かを判断する（ステップＳ５０８）。コマ送り操作が行われたと制御部１０が判断した場合（ステップＳ５０８：Ｙｅｓ）、制御部１０は、次の画像ファイルに切換える（ステップＳ５０９）。その後、映像機器１は、ステップＳ５０３へ戻る。一方、所定時間（たとえば３秒）以内にコマ送り操作が行われていないと制御部１０が判断した場合（ステップＳ５０８：Ｎｏ）、映像機器１は、ステップＳ５０６へ移行する。
【００８１】
以上説明した本発明の一実施の形態によれば、パターン検出部１０３が画像の中から繰り返しパターンを検出し、パターン消去部１０４がパターン検出部１０３によって画像の中から検出された繰り返しパターンを消去し、画像補間部１０５がパターン消去部１０４によって画像から消去された繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間する。これにより、檻の中やネット越しに被写体が存在する場合であっても、被写体のみを画像を記憶することができる。
【００８２】
さらに、本発明の一実施の形態によれば、パターン検出部１０３が画像から金網Ｋ１を検出した場合、合焦部１０６が撮像部２の合焦位置を、金網Ｋ１から一段奥の被写体Ａ１に設定するので、被写体Ａ１に合焦した画像を撮影することができる。
【００８３】
さらにまた、本発明の一実施の形態によれば、パターン消去部１０４が少なくとも合焦部１０６によって映像機器１の合焦位置を被写体Ａ１に合焦させた周辺領域に含まれる繰り返しパターンの金網Ｋ１を消去する。これにより、画像内に写る全ての繰り返しパターンである金網を消去しないので、臨場感を損なうことなく、撮影時の撮影シーンを撮影することができる。
【００８４】
なお、本発明の一実施の形態では、パターン消去部１０４が少なくとも合焦部１０６によって映像機器１の合焦位置を被写体Ａ１に合焦させた周辺領域に含まれる繰り返しパターンの金網を消去していたが、たとえば顔検出部１０２によって検出された被写体の顔を含む周辺領域に含まれる繰り返しパターンを消去してもよい。これにより、網または柵越しに撮影を行っても、被写体の顔に網または柵が写りこまない画像を撮影することができる。
【００８５】
また、本発明の一実施の形態では、パターン消去部１０４が少なくとも合焦部１０６によって映像機器１の合焦位置を被写体Ａ１に合焦させた周辺領域に含まれる繰り返しパターンの金網を消去していたが、画像内の繰り返しパターンを全て消去してもよい。具体的には、図１３に示すように、パターン消去部１０４は、パターン検出部１０３が画像Ｗ２の領域Ｒ１１で繰り返しパターンの金網を検出した場合、領域Ｒ１１に写る全ての金網Ｋ１を消去する。その後、画像補間部１０５は、パターン消去部１０４が消去した金網Ｋ１の周辺画素を用いて金網Ｋ１の領域に対して画素を補間する。これにより、被写体Ａ１を撮影する際の障害物になる金網を消去した画像Ｗ４を撮影することができる。
【００８６】
また、本発明の一実施の形態では、画像補間部１０５がパターン消去部１０４によって画像内から消去された繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間していたが、たとえば繰り返しパターンの画素と繰り返しパターンの周辺画素を用いて繰り返しパターンの領域に対して画素を補間してもよい。具体的には、図１４に示すように、画像補間部１０５は、金網の画素と金網の周辺画素を用いて、金網Ｋ１を消去した領域に対して画素を補間する。たとえば、画像補間部１０５は、金網Ｋ１の画素と金網Ｋ１の周辺画素との比率を変えながら合成または重畳することにより、金網Ｋ１の領域に対して画素を補間する。これにより、被写体Ａ１を撮影する際にリアリティを持たせた画像Ｗ５を撮影することができる。
【００８７】
また、本発明の一実施の形態では、撮影する画像に対して金網モード処理を行っていたが、たとえば撮像部２が連続的に生成する画像データに対応するライブビュー画像に対しても上述した金網モード処理を行ってもよい。また、映像機器に対して着脱自在な電子ビューファインダが表示する画像に金網モード処理を行ってもよい。
【００８８】
また、上述した実施の形態では、映像機器としてデジタルカメラを説明したが、たとえば、デジタル一眼レフカメラ、デジタルビデオカメラおよび撮影機能と表示機能を有する携帯電話やタブレット型携帯機器等の電子機器にも本発明を適用することができる。
【符号の説明】
【００８９】
１ 映像機器
２ 撮像部
３ 発光部
４ 姿勢検出部
５ タイマー
６ 操作部
７ 表示部
８ タッチパネル
９ 記憶部
１０ 制御部
２１ レンズ部
２２ レンズ駆動部
２３ 絞り
２４ 絞り駆動部
２５ シャッター
２６ シャッター駆動部
２７ 撮像素子
２８ 撮像駆動部
２９ 信号処理部
６１ 電源スイッチ
６２ レリーズスイッチ
６３ 撮影モード切換スイッチ
６４ 操作スイッチ
９１ 画像データ記憶部
９２ プログラム記憶部
９３ 金網検知用テンプレート記憶部
１０１ 画像処理部
１０２ 顔検出部
１０３ パターン検出部
１０４ パターン消去部
１０５ 画像補間部
１０６ 合焦部
１０７ 撮影制御部
１０８ 表示制御部
【特許請求の範囲】
【請求項１】
画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出部と、
前記パターン検出部が検出した前記繰り返しパターンを前記画像から消去するパターン消去部と、
前記パターン消去部が前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像に含まれる被写体の顔を検出する顔検出部をさらに備え、
前記パターン消去部は、少なくとも前記顔検出部が検出した前記被写体の顔の領域に含まれる前記繰り返しパターンを消去することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補間部は、前記繰り返しパターンの画素と前記周辺画素とを用いて前記繰り返しパターンの領域に対して画素を補間することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記繰り返しパターンは、金網、檻、柵および網のいずれかであることを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
請求項１〜４のいずれかに記載の画像処理装置と、
所定の視野領域から光を集光する光学系を有し、該光学系を介して前記被写体を撮像して該被写体の画像データを生成する撮像部と、
を備え、
前記パターン検出部は、前記撮像部が生成した前記画像データに対応する画像から前記繰り返しパターンを検出することを特徴とする映像機器。
【請求項６】
前記光学系を光軸上に沿って移動させることにより、前記被写体の一部に合焦させる合焦部をさらに備え、
前記パターン検出部は、前記合焦部が前記被写体に合焦させた被写体領域に含まれる前記繰り返しパターンを検出し、
前記パターン消去部は、前記パターン検出部が検出した前記被写体領域に含まれる前記繰り返しパターンを消去することを特徴とする請求項５に記載の映像機器。
【請求項７】
前記パターン消去部は、前記被写体領域の周辺領域を含む前記繰り返しパターンを消去することを特徴とする請求項６に記載の映像機器。
【請求項８】
前記繰り返しパターンを検出するパターン検出用テンプレートを記憶するテンプレート記憶部をさらに備え、
前記パターン検出部は、前記テンプレート記憶部が記憶する前記パターン検出用テンプレートを用いて前記画像内を走査し、該パターン検出用テンプレートの類似度が所定値以上の領域を前記繰り返しパターンとして検出することを特徴とする請求項４〜７のいずれか一つに記載の映像機器。
【請求項９】
前記画像データに対応する前記画像を表示する表示部をさらに備え、
前記撮像部は、前記画像データを時系列に沿って連続的に生成可能であり、
前記パターン検出部は、前記撮像部が前記画像を生成した順に前記繰り返しパターンを検出し、
前記表示部は、前記画像補間部が画素を補間した画像を表示することを特徴とする請求項４〜８のいずれか一つに記載の映像機器。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出ステップと、
前記パターン検出ステップが検出した前記繰り返しパターンを前記画像から消去するパターン消去ステップと、
前記パターン消去ステップが前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間ステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
画像処理装置に実行させるプログラムであって、
画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出ステップと、
前記パターン検出ステップが検出した前記繰り返しパターンを前記画像から消去するパターン消去ステップと、
前記パターン消去ステップが前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間ステップと、
を含むことを特徴とするプログラム。
【請求項１】
画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出部と、
前記パターン検出部が検出した前記繰り返しパターンを前記画像から消去するパターン消去部と、
前記パターン消去部が前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像に含まれる被写体の顔を検出する顔検出部をさらに備え、
前記パターン消去部は、少なくとも前記顔検出部が検出した前記被写体の顔の領域に含まれる前記繰り返しパターンを消去することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補間部は、前記繰り返しパターンの画素と前記周辺画素とを用いて前記繰り返しパターンの領域に対して画素を補間することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記繰り返しパターンは、金網、檻、柵および網のいずれかであることを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
請求項１〜４のいずれかに記載の画像処理装置と、
所定の視野領域から光を集光する光学系を有し、該光学系を介して前記被写体を撮像して該被写体の画像データを生成する撮像部と、
を備え、
前記パターン検出部は、前記撮像部が生成した前記画像データに対応する画像から前記繰り返しパターンを検出することを特徴とする映像機器。
【請求項６】
前記光学系を光軸上に沿って移動させることにより、前記被写体の一部に合焦させる合焦部をさらに備え、
前記パターン検出部は、前記合焦部が前記被写体に合焦させた被写体領域に含まれる前記繰り返しパターンを検出し、
前記パターン消去部は、前記パターン検出部が検出した前記被写体領域に含まれる前記繰り返しパターンを消去することを特徴とする請求項５に記載の映像機器。
【請求項７】
前記パターン消去部は、前記被写体領域の周辺領域を含む前記繰り返しパターンを消去することを特徴とする請求項６に記載の映像機器。
【請求項８】
前記繰り返しパターンを検出するパターン検出用テンプレートを記憶するテンプレート記憶部をさらに備え、
前記パターン検出部は、前記テンプレート記憶部が記憶する前記パターン検出用テンプレートを用いて前記画像内を走査し、該パターン検出用テンプレートの類似度が所定値以上の領域を前記繰り返しパターンとして検出することを特徴とする請求項４〜７のいずれか一つに記載の映像機器。
【請求項９】
前記画像データに対応する前記画像を表示する表示部をさらに備え、
前記撮像部は、前記画像データを時系列に沿って連続的に生成可能であり、
前記パターン検出部は、前記撮像部が前記画像を生成した順に前記繰り返しパターンを検出し、
前記表示部は、前記画像補間部が画素を補間した画像を表示することを特徴とする請求項４〜８のいずれか一つに記載の映像機器。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出ステップと、
前記パターン検出ステップが検出した前記繰り返しパターンを前記画像から消去するパターン消去ステップと、
前記パターン消去ステップが前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間ステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
画像処理装置に実行させるプログラムであって、
画像データに対応する画像の中から直線および／または曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出するパターン検出ステップと、
前記パターン検出ステップが検出した前記繰り返しパターンを前記画像から消去するパターン消去ステップと、
前記パターン消去ステップが前記画像から消去した前記繰り返しパターンの周辺画素を用いて前記繰り返しパターンの領域に対して画素を補間する画像補間ステップと、
を含むことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−５５３７８（Ｐ２０１３−５５３７８Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９００８８（Ｐ２０１１−１９００８８）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]