画像処理装置、画像処理方法、及び、プログラム
【課題】ユーザにおいて画像の所望領域を確実かつ簡単に指定して変化させることを可能にする。
【解決手段】スルー画像から、注目点領域を推定して抽出する（ステップＳ１０５）。次に、タッチパネルから供給されるモニタ上におけるユーザのタッチ検出及びタッチ軌跡の検出処理を実行する（ステップＳ１０６）。引き続き、前記ステップＳ１０５で推定抽出された注目点領域と、前記ステップＳ１０６で検出されたタッチ入力軌跡から、スルー画像における処理対象領域（消去処理又は残存処理する対象とする領域）を判別して選択する（ステップＳ１０７）ＳＤＲＡＭ内に保存されている撮影画像の選択領域（ステップＳ１０７で選択された領域）を対象領域とし、その他の領域にマスクを設定し、設定消去処理量（ステップＳ１０９で設定された消去処理量）に応じて、消去処理を施す。
【解決手段】スルー画像から、注目点領域を推定して抽出する（ステップＳ１０５）。次に、タッチパネルから供給されるモニタ上におけるユーザのタッチ検出及びタッチ軌跡の検出処理を実行する（ステップＳ１０６）。引き続き、前記ステップＳ１０５で推定抽出された注目点領域と、前記ステップＳ１０６で検出されたタッチ入力軌跡から、スルー画像における処理対象領域（消去処理又は残存処理する対象とする領域）を判別して選択する（ステップＳ１０７）ＳＤＲＡＭ内に保存されている撮影画像の選択領域（ステップＳ１０７で選択された領域）を対象領域とし、その他の領域にマスクを設定し、設定消去処理量（ステップＳ１０９で設定された消去処理量）に応じて、消去処理を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部からの擦り動作等の継続的な指示に応じて画像の一部のみを処理する技術に関する。
【背景技術】
【０００２】
コンパクトカメラでは一般に、一眼レフのようなＦ値の小さい「明るいレンズ」を搭載しにくい。また、撮像イメージサイズが小さいので、同じ画角を得るには、実際のレンズ焦点距離を短かくする必要があり、被写界深度はどうしても深くなる。このため、前景から背景までピントが合った撮影がしやすい反面、前景や背景をぼかしたり、主要被写体だけにピントを合わせて強調する表現がしにくいなど、問題があった。
【０００３】
そこで、画面上でタッチ選択された領域を処理対象領域として、ピンポイントに平滑化フィルタでボケ処理を施す（特許文献１参照）などの技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０７９１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述したタッチ選択された領域についてピンポイントに処理を施す場合、主要被写体のみを分離することが困難であり、このため主要被写体周囲までも処理対象にされてしまう不都合が生ずる。
【０００６】
本発明は、かかる従来の課題に鑑みなされたものであり、ユーザにおいて画像の所望領域を確実かつ簡単に指定して、この指定された領域を他の領域と分離して処理することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、請求項１記載の発明は、撮像手段と、表示手段と、この表示手段の表示面に対して外部から指示を検出する第１の検出手段と、この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段と、前記撮像手段によって撮像された画像を、前記表示手段に表示するよう制御する第１の表示制御手段と、前記表示される画像の特徴量情報を取得する取得手段と、前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工手段とを備えることを特徴とする。
【０００８】
また、請求項２記載の発明は、請求項１記載の発明において、更に、前記加工手段によって加工された画像を加工前の画像から徐々に変化させて表示するよう制御する第２の表示制御手段を備えることを特徴とする。
【０００９】
また、請求項３記載の発明は、請求項１または２記載の発明において、更に、前記加工手段によって加工された画像を記録媒体に記録する記録制御手段を備えることを特徴とする。
【００１０】
また、請求項４記載の発明は、撮像手段と表示手段とを備える機器が有するコンピュータを、前記表示手段の表示面対して外部から指示を検出する第１の検出手段、この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段、前記撮像手段によって撮像された画像を前記表示手段に表示するよう制御する第１の表示制御手段、前記表示される画像の特徴量情報を取得する取得手段、前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工手段、として機能させることを特徴とする。
【００１１】
また、請求項５記載の発明は、表示手段の表示面対して外部から指示を検出する第１の検出ステップと、この第１の検出ステップによる検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出ステップと、撮像手段によって撮像された画像を前記表示手段に表示するよう制御する第１の表示制御ステップと、前記表示される画像の特徴量情報を取得する取得ステップと、前記第１の検出ステップによって検出された指示位置、前記第２の検出ステップによって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工ステップと、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザにおいて画像の所望領域を確実かつ簡単に指定して、この指定された領域を他の領域と分離して処理することができるようにすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態を適用した電子カメラのブロック図である。
【図２】（不要部分の）消去＆修復撮影処理の手順の一部を示すフローチャートである。
【図３】図２に続くフローチャートである。
【図４】タッチ検出及びタッチ軌跡の検出処理の手順を示すフローチャートである。
【図５】注目点領域の抽出処理（１）の手順を示すフローチャートである。
【図６】第１の実施の形態における表示例を示す図である。
【図７】図６に続く表示例を示す図である。
【図８】注目点領域の抽出処理（２）の手順を示すフローチャートである。
【図９】階層型画像データの作成処理例を示す図である。
【図１０】画像の修復処理のサブルーチンを示すフローチャートである。
【図１１】図１０及び図１２におけるフローチャート内の式の符合の意味を示す説明図である。
【図１２】画像の修復処理のサブルーチンを示すフローチャートである。
【図１３】修復前の画像と修復後の画像とを示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施の形態を図に従って説明する。
図１は、本発明の各実施の形態に共通するデジタルカメラ１の電気的構成を示す回路ブロック図である。このデジタルカメラ１は、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）、ＡＦ（Auto Focus）等の一般的な機能を有するものである。すなわち、レンズブロック１１には、ズームレンズ１１１や図示しないフォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれている。前記ズームレンズ１１１は、駆動機構に設けられているズームモーター１２によって光軸方向に駆動される。
【００１５】
デジタルカメラ１全体を制御するＣＰＵ（Central Processing Unit）１３には、バス１４及びタイミング発生器（ＴＧ：Timing Generator）１５を介してモータードライバ１６が接続されている。モータードライバ１６は、ユーザの操作に応じたＣＰＵ１３の命令に従いタイミング発生器１５が発生するタイミング信号に基づき、ズームモーター１２を駆動する。これにより、ズームレンズ１１１が駆動されて、そのレンズ位置が変化する。
【００１６】
このとき、ＣＰＵ１３は、自己が発生する命令を記憶して管理している。したがって、ＣＰＵ１３は、自己が発生する命令を記憶して管理することにより、自己が発生する命令によりタイミング発生器１５が発生するタイミング信号に応じて変化するズームレンズ１１１のレンズ位置を取得することができる。
【００１７】
また、図示は省略するが、実際には、フォーカスレンズを駆動するためのフォーカスモーター及びモータードライバや、メカシャッタやメカ絞り及びそれらを駆動するためのモーターを有する駆動機構等が設けられている。
【００１８】
また、デジタルカメラ１は、撮像素子としてＣＣＤ（Charge Coupled Device）１８を有している。ＣＣＤ１８は、レンズブロック１１の光軸上に配置されている。被写体は、レンズブロック１１によってＣＣＤ１８の受光面に結像される。ＣＣＤ１８は、ＣＰＵ１３の命令に従いタイミング発生器１５が生成するタイミング信号に基づき垂直及び水平ドライバ１９によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路２０に出力する。ユニット回路２０は、ＣＣＤ１８の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ（Correllated Double Sampling）回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換器等から構成され、デジタル信号をＤＳＰ（Digital Signal Processor）２１へ出力する。
【００１９】
ＤＳＰ２１は、ユニット回路２０から出力されたデジタル信号に対しペデスタルクランプやオートホワイトバランス等の各種画像処理を施すことにより、輝度（Ｙ）信号及び色差（ＵＶ）信号からなる画像データを生成する。ＤＳＰ２１で変換された画像データは順次ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２に格納されるとともに、ＲＥＣ（Record）スルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶のモニタ４へ送られてスルー画像として画面表示される。
【００２０】
そして、静止画撮影モードにおいては、レリーズ釦操作をトリガとして、ＣＰＵ１３は、ＣＣＤ１８、垂直及び水平ドライバ１９、ユニット回路２０、及びＤＳＰ２１に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られＳＤＲＡＭ２２に一時記憶された画像データは、ＣＰＵ１３により圧縮され、最終的には所定のフォーマットの静止画ファイルとして外部メモリ２５に記録される。この外部メモリ２５に記録された静止画ファイルは、ＰＬＡＹ・モードにおいてユーザの選択操作に応じてＣＰＵ１３に読み出されるとともに伸張され、画像データとしてＳＤＲＡＭ２２に展開された後、画像データに基づく画像がモニタ４に表示される。
【００２１】
フラッシュメモリ２６には、ＣＰＵ１３に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。
【００２２】
また、デジタルカメラ１は、半押し操作と全押し操作とが可能なレリーズ釦、ズーム釦、ＯＫ釦等の複数の操作キー及びスイッチを含むキー入力部２７を有している。キー入力部２７は、ユーザによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をＣＰＵ１３へ供給する。
【００２３】
なお、モニタ４には、タッチパネル２３が積層されている。タッチパネル２３は、モニタ４上におけるユーザのタッチ位置および度合（タッチの太さ、面積、強さ）を検出し、検出した位置及び度合位置を示す信号をＣＰＵ１３に供給する。
【００２４】
（第１の実施の形態）
次に、以上の構成にかかるデジタルカメラ１の第１の実施の形態における動作を説明す
る。図２及び図３は、本実施の形態における（不要部分の）消去＆修復撮影処理の手順を示す一連のフローチャートである。ユーザによるキー入力部２７での操作により、消去＆修復撮影モードが設定されるとＣＰＵ１３は前記プログラムに従って、このフローチャートに示す処理を実行する。
【００２５】
すなわち、ＣＰＵ１３は、撮影モードが設定されているか否かを判断し（ステップＳ１）、撮影モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ１０２）。
【００２６】
撮影モードが設定されている場合には、各種撮影条件を設定する（ステップＳ１０３）。また、スルー撮像、スルー表示処理を実行し、レンズブロック１１を介してＣＣＤ１８により所定のフレームレートで撮像したスルー画像を液晶のモニタ４に表示させる（ステップＳ１０４）。次に、タッチ操作による消去撮影が設定されているか否かを判断し（ステップＳ１０５）、設定されていない場合にはステップＳ１０６〜Ｓ１１５の処理を行うことなく、ステップＳ１１６に進む。
【００２７】
タッチ操作による消去撮影が設定されている場合には、液晶表示パネル３に表示されているスルー画像から、注目点領域を推定して抽出する（ステップＳ１０６）。なお、このステップＳ１０６で実行される注目点領域の推定抽出に関しては、図５に示すフローチャートに基づき後述する。次に、タッチパネル２３から供給されるモニタ４上におけるユーザのタッチ検出及びタッチ軌跡の検出処理を実行する（ステップＳ１０７）。このステップＳ１０７で実行されるタッチ検出及びタッチ軌跡の検出処理に関しては、図４に示すフローチャートに基づき後述する。
【００２８】
引き続き、前記ステップＳ１０６で推定抽出された注目点領域と、前記ステップＳ１０７で検出されたタッチ入力軌跡から、スルー画像における処理対象領域（消去、修復処理する対象とする領域）を判別して選択する（ステップＳ１０８）。つまり、前記ステップＳ１０７で検出されたタッチ入力軌跡がある領域であっても、前記ステップＳ１０６で推定抽出された注目点領域である場合には、この領域を処理対象領域とはせずに、タッチ入力軌跡がある領域であって注目点領域でない領域のみを処理対象領域として判別し選択する。
【００２９】
さらに、この処理対象領域に対する処理種別である機能コマンドとして、予め消去処理（ステップＳ１０９）と残存処理（ステップＳ１１２）のいずれが選択設定されているかを判断する。機能コマンドとして消去処理が選択設定されている場合には（ステップＳ１０９→ＹＥＳ）、前記ステップＳ１０８で選択されたスルー画像における選択領域を消去処理の対象領域に設定する（ステップＳ１１０）。また、消去処理を実行すべきことを示す消去処理Ｆｌａｇに「１」を立てる（ステップＳ１１１）。
【００３０】
他方機能コマンドが消去処理でない場合には、機能コマンドが残存処理であるか否かを判断する（ステップＳ１１２）。残存処理である場合には（ステップＳ１１２→ＹＥＳ）、前記ステップＳ１０８で選択されたスルー画像における選択領域を残存処理の対象領域に設定する（ステップＳ１１３）。また、残存処理を実行すべきことを示す残存処理Ｆｌａｇに「１」を立てる（ステップＳ１１４）。さらに、機能コマンドが消去処理と残存処理のいずれでもない場合には、その他のコマンド処理を実行する（ステップＳ１１５）。
【００３１】
そして、ステップＳ１１１、Ｓ１１４、Ｓ１１５のいずれかに続くステップＳ１１６においては、キー入力部２７に設けられたレリーズ釦が半押し操作されたか否か、又はＡＥロックなどの撮影準備操作がなされたか否かを判断する（ステップＳ１１６）。これら操作のいずれかがなされたならば、測光処理を行うとともに、この測光処理により得られた計測露出値と予め設定されている撮影条件に応じてＣＣＤ１８の露出条件を設定する（図３のステップＳ１１７）。
【００３２】
引き続き、レリーズ釦が全押し（又は、撮影指示操作が検出）されたか否か（ステップＳ１１８）、又は半押しされているレリーズ釦から手指が離されて、半押しが解除されたか否か（ステップＳ１１９）を判断する。レリーズ釦の半押しが解除された場合には、ＡＥロックや処理フラグ（消去処理Ｆｌａｇ又は残存処理Ｆｌａｇ）を解除して（ステップＳ１２０）、リターンする。
【００３３】
レリーズ釦が全押し（又は、撮影指示操作が検出）された場合には、前記ステップＳ１１６で設定された設定露出条件などの撮影条件に応じて、ＣＣＤ１８を露出させて撮影処理する（ステップＳ１２１）。そして、この撮影処理により得られた撮影画像データをＳＤＲＡＭ２２に一時的に記憶する（ステップＳ１２２）。
【００３４】
次に、消去処理Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ１２２）。消去処理Ｆｌａｇ＝１の状態にあるならば、前記ステップＳ１２２でＳＤＲＡＭ２２に保存した今回の撮影画像に消去処理を施す（ステップＳ１２４）。具体的には、ＳＤＲＡＭ２２内に保存されている撮影画像の選択領域（ステップＳ１０８で選択された領域）を対象領域とし、例外の領域にマスクを設定することにより、他の領域と選択領域とを分離し、消去処理を施す。したがって、本実施の形態によれば、ユーザにおいて画像の所望領域を確実かつ簡単に指定することができ、画像の指定した領域を消去して表示することができる。
また、対象画像から不要な部分を消去したり、目立たなくしたい場合、消去したい画像の領域を、指やペンでタッチして、アバウトにこすったりするだけで、所望部分のみ消去したり、目立たなくしたりすることができる。さらには、多少はみ出したり、アバウトに入力した場合も、画像中の注目点領域を推定検出して、はみ出し入力を自動補正してくれるので、大雑把なタッチ操作で、操作性良く指定できる。
【００３５】
そして、このステップＳ１２４での消去処理により、画像中に空白部が生ずることから、この空白部を埋める修復処理を行う（ステップＳ１２５）。なお、この修復処理の具体的な例については後述する。さらに、この修復処理を施した撮影画像である処理済み画像をモニタ４にレビュー表示する（ステップＳ１２６）。しかる後に、この処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し、消去処理Ｆｌａｇ＝０に戻す（ステップＳ１２７）。したがって、ユーザにおいて画像の所望領域を確実に消去させた画像を外部メモリ２５に保存することができる。
【００３６】
また、消去処理Ｆｌａｇ＝１の状態でない場合には、残存処理Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ１２８）。残存処理Ｆｌａｇ＝１の状態にあるならば、前記ステップＳ１２２でＳＤＲＡＭ２２に保存された今回の撮影画像に残存処理を施す（ステップＳ１２９）。具体的には、ＳＤＲＡＭ２２内に保存した撮影画像の選択領域（ステップＳ１０８で選択された領域）を残存対象領域としてマスクを設定して、他の領域と選択領域とを分離し、それ以外の領域に消去処理を施す。つまり前述のステップＳ１２４とは逆の領域に消去処理を施す。
【００３７】
また、このステップＳ１２４での消去処理により、画像中に空白部が生ずることから、前述と同様にこの空白部を埋める修復処理を行う（ステップＳ１３０）。さらに、この修復処理を施した撮影画像である処理済み画像をモニタ４にレビュー表示する（ステップＳ１３１）。しかる後に、この処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し、残存処理処理Ｆｌａｇ＝０に戻す（ステップＳ１２７）。したがって、ユーザにおいて画像の所望領域を確実に残存させた画像を外部メモリ２５に保存することができる。
【００３８】
また、消去処理Ｆｌａｇ＝０、かつ、残存処理Ｆｌａｇ＝０の状態にある場合には、前記ステップＳ１２１でＳＤＲＡＭ２２に保存された今回の撮影画像に通常の信号処理（デジタル現像処理）を施す（ステップＳ１３０）。さらに、この通常の信号処理済み画像をモニタ４にレビュー表示した後（ステップＳ１３２）、この通常の信号処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し（ステップＳ１３３）、リターンする。
【００３９】
図４は、前記タッチ検出及びタッチ軌跡の検出処理（ステップＳ１０７）のサブルーチンを示すフローチャートである。すなわち、ＣＰＵ１３は、タッチパネル２３を走査して、モニタ４上におけるユーザのタッチ位置および度合（タッチの太さ、面積、強さ）を検出する（ステップＳ２０１）。また、ユーザによるタッチが継続中であるか否かを判断する（ステップＳ２０２）。タッチが継続中であるならば、タッチ継続中Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ２０３）。
【００４０】
タッチ継続中Ｆｌａｇ＝１の状態でない場合には、タッチ継続中Ｆｌａｇ＝０であって検出されたタッチが新たなタッチであるか否かを判断する（ステップＳ２０４）。新たなタッチであるならば、タッチ検出動作を開始し（ステップＳ２０５）、検出されたタッチ点の位置と度合を開始点としてＳＤＲＡＭ２２にメモリする（ステップＳ２０６）。また、タッチが継続中となったことを示すタッチ継続中Ｆｌａｇを立てて、タッチ継続中Ｆｌａｇ＝１にする（ステップＳ２０７）。
【００４１】
このステップＳ２０７での処理によりタッチ継続中Ｆｌａｇ＝１となると、再度このフローに従ってステップＳ２０１からの処理が実行された際に、ステップＳ２０３の判断がＹＥＳとなる。したがって、ステップＳ２０３からステップＳ２０８に進み、前記ステップＳ２０１で検出されたタッチ点の座標位置、度合を順次ＳＤＲＡＭ２２にメモリして蓄積する。
【００４２】
さらに、このタッチ点の座標位置の蓄積により得られる連続タッチ点から選択された複数点を折れ線（又はスプライン曲線）で連結する（ステップＳ２０９）。つまり、ステップＳ２０１で検出されるタッチ位置は、このフローチャートに従って処理が実行される毎に得られる点的な位置情報（連続タッチ点）である。したがって、これら点的な位置情報（連続タッチ点）から選択された複数点を連結することにより、点的なタッチ情報を線的なタッチ情報に変換する。
【００４３】
さらに、この連結されたタッチ点の軌跡を表示部であるモニタ４にプロット描画し、当該モニタ４に表示されているスルー画像に重畳表示する（ステップＳ２１０）。したがって、ユーザがモニタ４に表示されているスルー画像の所望部分を例えば手指で擦ると、当該所望部分に擦った軌跡が重畳表示されることとなる。
【００４４】
また、ユーザがスルー画像の所望部分を擦るのをやめてモニタ４から手指を離すと、再度ステップＳ２０１からの処理が実行された際にステップＳ２０２の判断がＮＯとなる。したがって、ステップＳ２０２からステップＳ２１１に進みタッチ入力が終了したか否かを判断する。このタッチ入力が終了したか否かの判断は、タッチ継続中Ｆｌａｇ＝１の状態でタッチが不継続となったか否かにより判断することができる。
【００４５】
タッチ入力が終了したならば、タッチ点の座標位置、度合のＳＤＲＡＭ２２へのメモリ処理（ステップＳ２０８）と、モニタ４のスルー画像上へのタッチ点の軌跡描画処理（ステップＳ２１０）とを終了させる（ステップＳ２１２）。引き続き、最後のタッチ点の位置と度合を終了点としてＳＤＲＡＭ２２にメモリする（ステップＳ２１３）。また、前記ステップＳ２１０でモニタ４にプロット描画されているタッチ軌跡の連結プロット線を出力した後（ステップＳ２１４）、タッチ継続中Ｆｌａｇ＝０にする（ステップＳ２１５）。
【００４６】
そして、前記ステップＳ２１４で出力したタッチ位置と軌跡から、機能コマンドの選択か、対象領域の指示かを判別する（ステップＳ２１６）。つまり、本実施の形態においては、以上に説明したスルー画像における対象領域の指示入力のみならず、図２のステップＳ１０９、Ｓ１１２、Ｓ１１５に示した機能コマンドの設定もモニタ４に対するタッチをタッチパネル２３より検出することにより行う。したがって、タッチパネル２３より検出したモニタ４に対するタッチが機能コマンドの選択であるのか、対象領域の指示であるのか判別する必要がある。
【００４７】
また、この判別は機能コマンドの選択であればタッチ位置は固定的であり、タッチ軌跡も短いことから、タッチ位置とタッチ軌跡とから判別することができる。したがって、ステップＳ２１６での判別処理の結果に基づき、タッチが機能コマンドの指示であるか否かを判断する（ステップＳ２１７）。機能コマンドの指示であるならば、機能コマンドの設定・変更処理を実行する（ステップＳ２１８）。
【００４８】
また、機能コマンドの入力でない場合には、対象領域の指定か否かを判断し（ステップＳ２１９）、そうである場合には対象領域の設定処理を実行する（ステップＳ２１０）。対象領域の指定でもない場合には、対象領域の移動又は伸縮か否かを判断し（ステップＳ２２１）、そうである場合には対象領域の移動又は伸縮の設定処理を実行する（ステップＳ２２２）。また、機能コマンドの指示、対象領域の指定、対象領域の移動又は伸縮のいずれでもない場合には、その他の入力処理を実行する（ステップＳ２２３）。
【００４９】
図５は、本発明の第１の実施の形態において前記ステップＳ１０５で実行される注目点領域の抽出処理のサブルーチンを示すフローチャートである。すなわち、モニタ４に表示させているスルー画像を構成するフレーム画像I(x,y)をＳＤＲＡＭ２２に入力する（ステップＳ３０１）。次に、ガウシアン解像度ピラミッドの作成を行う（ステップＳ３０２）。このガウシアン解像度ピラミッドの作成に際しては、下記式（１）及び（２）に示すように、入力画像I(x,y)から、順次、ガウシアンフィルタ処理とダウンサンプリング処理を行って、９枚の階層型のスケール画像 I（L）の組を作成する。
I(０)＝I(x,y)・・・（１）
I(L+1)＝Subsampled(1/2×1/2) ［I(L)*G(5×5)］・・・（２）
【００５０】
引き続き、ステップＳ３０３〜Ｓ３０６の処理で輝度の特徴量マップ(FI)を作成し、ステップＳ３０７〜Ｓ３１０の処理で色の特徴量マップ(FＣ)を作成し、ステップＳ３０１１〜Ｓ３１４の処理で方向性の特徴量マップ(FＯ)を作成する。まず、輝度の特徴量マップ(FI)の作成について説明すると、階層型のスケール画像における２〜４階層のスケール画像の各注目画素c∈{2、3、4}の輝度成分I(c)求める（ステップＳ３０３）。また、階層型のスケール画像における３〜４階層のスケール画像の各注目画素の周辺s=c+δ、δ∈{3、4}の輝度成分I(s)を求める（ステップＳ３０４）。さらに、下記式（３）に示すように、各スケール画像について、輝度IのCenter-Surroundのスケール間差分(輝度コントラスト)を求める（ステップＳ３０５）。
I(c、s)=｜I(c)〔-〕I(s)｜・・・（３）
【００５１】
しかる後に、下記式（４）に示すように、輝度コントラストの特徴量マップを正規化し、c、sの全範囲にわたって結合し、輝度の特徴量マップ(FI)を作成する（ステップＳ３０６）。
FI＝〔+〕c〔+〕sN(I(c,s))・・・（４）
ただし、c=2〜4、s=c+3〜c+4。
【００５２】
他方、色の特徴量マップ(FＣ)は、ステップＳ３０７〜Ｓ３１０の処理により作成する。すなわち、階層型のスケール画像における２〜４階層のスケール画像の各注目画素c∈{2、3、4}の色成分R(c)、G(c)、B(c)、Y(c)を求める（ステップＳ３０７）。また、階層型のスケール画像における３〜４階層のスケール画像の各注目画素の周辺s=c+δ、δ∈{3、4}の色成分R(s)、G(s)、B(s)、Y(s)を求める（ステップＳ３０８）。さらに、下記式（４）（５）により各スケール画像について、色相(R/G,B/Y)のCenter-Surroundのスケール間差分 (色相コントラスト)を求める（ステップＳ３０９）。
RG(c、s)=|(R(c)-G(c))〔-〕(G(s)-R(s))|・・・（４）
BY(c、s)=|(B(c)-Y(c))〔-〕(B(s)-Y(s))|・・・（５）
【００５３】
また、下記式（６）により、色相コントラストの特徴量マップを正規化し、c、sの全範囲にわたって結合し、色の特徴量マップ(FCO)を作成する（ステップＳ３１０）。
FCO＝〔+〕c〔+〕s{N(RG(c,s))+N(BY(c,s))}・・・（６）
ただし、c=2〜4、s=c+3〜c+4。
【００５４】
そして、方向性の特徴量マップ(FＯ)は、ステップＳ３０１１〜Ｓ３１４の処理により作成する。すなわち、階層型のスケール画像における２〜４階層のスケール画像の各注目画素c∈{2、3、4}の方向性成分Ｏ(c,θ)を求める（ステップＳ３１１）。また、階層型のスケール画像における３〜４階層のスケール画像の各注目画素の周辺s=c+δ、δ∈{3、4}の方向性成分Ｏ(s,θ)を求める（Ｓ３１２）。下記式（７）により、各スケール画像について、方向性ＯのCenter-Surroundのスケール間差分 (方向性コントラスト)を求める（ステップＳ３１３）。
Ｏ(c,s,θ)＝｜Ｏ(c,θ)〔-〕Ｏ(s,θ)｜・・・（７）
【００５５】
また、下記式（８）により、方向性コントラストの特徴量マップを正規化し、c、s、θの全範囲にわたって結合し、方向性の特徴量マップ(FO)を作成する（ステップＳ３１４）。
FO＝Σθ〔+〕c〔+〕s{N(Ｏ(c,s,θ))・・・（８）
ただし、θ=0°,45°,90°,135°、
c=2〜4、s=c+3〜c+4
【００５６】
以上の処理により、輝度の特徴量マップ(FI)、色の特徴量マップ(FCO)、方向性の特徴量マップ(FO)が作成されることとなる。したがって、下記式（９）に示すように、これら複数の特徴量マップを、線形和で統合して、顕著性マップ(Saliency Map)Sを求める（ステップＳ３１５）。
S＝w1・N(FI)+w2・N(FCO)+w3・N(FO)・・・（９）
【００５７】
そして、顕著性マップSの所定閾値以上の領域(S≧Sth)を、注目点領域として抽出するのである（ステップＳ３１６）。
【００５８】
図６及び図７は、以上に説明した第１の実施の形態における消去処理、残存処理及び修復処理の表示例を示す図である。スルー画像又は撮影画像を元画像として用いて、モニタ４（図６（Ａ））。この元画像から複数の特徴量マップを生成することにより、特徴量マップFI、特徴量マップFc、及び、特徴量マップFoを得る。そしてこれら特徴量マップを顕著性マップとして統合することにより、単一の顕著性マップSを生成する（図６（Ｂ））。そして、図４のステップＳ３１６においても説明したように、顕著性マップSの所定閾値以上の領域を、注目点領域として抽出する（図６（Ｃ））。
【００５９】
また、元画像を平滑化フィルタで処理し、この平滑化処理された元画像のエッジ検出を検出して、エッジ画像（輪郭線）を得る（図６（Ｄ））。そして、前記得られた注目点に近接する近傍の輪郭をエッジ画像（輪郭線）から抽出して、注目点の近傍抽出画像を得る（図６（Ｅ））。
【００６０】
この後、図２のステップＳ１０７〜Ｓ１１５（詳細には図４）の処理により、図７に示すように、「Ｒｅｍｏｖｅ（消去）」、「Ｒｅｐａｉｒ（修復）」、「Ｌｅａｖｅ（残す）」のいずれかの選択と、表示されている元画像へのタッチ、及び、処理対象領域又はそれ以外の領域のタッチパネルへの描画指示を検出すると（図７（Ｆ））、タッチパネルによりタッチが検出されるとともに、検出されたタッチの位置、タッチの度合、軌跡が順次記憶されていく（図７（Ｇ））。これら記憶されたタッチの位置等を折れ線又はＢスプライン曲線等で結合し、タッチ指示領域を判定する（図７（Ｈ））。
【００６１】
また、前記得られた注目点の近傍抽出画像から、タッチ指示領域に近い注目点領域だけを抽出して、抽出領域を得る（図７（Ｉ））。さらに、画像において指示されたと判断された注目点近傍領域を特定して（図７（Ｊ））、特定した注目点近傍領域に対応するマスクを作成する。
【００６２】
また、「Ｒｅｍｏｖｅ（消去）」が選択された場合には、元画像（スルー画像又は撮影画像、図７（Ｋ））から、前記作成されたマスク部分に相当する画像を部分を消去処理する。これにより、図７（Ｌ）に示すように、パラソル等が消去されて白色部分となった消去処理された画像が生成されて、モニタ４に表示される。
【００６３】
そして、「Ｒｅｐａｉｒ（修復）」が選択されている場合には、消去処理された画像における修復対象領域（点線内）を修復処理する。これにより、図７（Ｍ）に示すように、元画像からパラソル等が消去され、かつ消去による欠損箇所が自動的に修復処理された画像を得ることができ、当該画像がモニタ４に表示されることとなる。
（第２の実施の形態）
図８は、本発明の第２の実施の形態において、前記ステップＳ１０５で実行される注目点領域の抽出処理における他の例を示すサブルーチンである。すなわち、モニタ４に表示させているスルー画像を構成するフレーム画像ＩをＳＤＲＡＭ２２に入力する（ステップＳ４０１）。次に、９枚の階層型のスケール画像の組（ガウシアン解像度ピラミッド）を作成する（ステップＳ４０２）。引き続き、ステップＳ４０３〜Ｓ４１０の処理でコントラストの特徴量マップFC(x,I)、center-surroundの色ヒストグラムの特徴量マップFh(x,I)、色の空間分布の特徴量マップFS(x,I)を求める。
【００６４】
まず、コントラストの特徴量マップFC(x,I)処理について説明すると、下記式（１０）により、マルチ・スケールのコントラストの特徴量マップFC(x,I)を求める（ステップＳ４０３）。
fC(x,I)＝ΣLΣX'||IL(x)-IL(x')||2・・・（１０）
ただし、IL(x)は、ガウシアンピラミッドのＬ番目の階層の画像
【００６５】
また、center-surroundの色ヒストグラムの特徴量マップFh(x,I)を求めるには、矩形を異なるアスペクト比{0.5,0.75,1.0,1.5,2.0}に変えて、各矩形領域の色ヒストグラムR(x)と、周辺輪郭の色ヒストグラムRS(x)とを、それぞれ計算する（ステップＳ４０４）。下記式（１１）により、色ヒストグラムR(x)とRS(x)のカイ２乗距離が最大となる矩形領域のヒストグラムR*(x)を求める（ステップＳ４０５）。
R*(x)＝argmax{X2(R(x),RS(x))}・・・（１１）
【００６６】
さらに、下記式（１２）により、center-surroundの色ヒストグラムの特徴量マップFh(x,I)を求める（ステップＳ４０６）。
Fh(x,I)∝ΣX'{wXX'・X2(R*(x')R*S(x'))}・・・（１２）
【００６７】
また、色の空間分布の特徴量マップFS(x,I)を求めるには、下記式（１３）を用いて、色の空間分布について、水平方向の分散Vh(c)を計算する（ステップＳ４０７）。
Vh(c)＝(1/|X|C)Σx{p(c|Ix)・|xh-Mh(c)|2}・・・（１３）
【００６８】
また、下記式（１４）を用いて、色の垂直方向の分散VV(c)を計算する（ステップＳ４０８）。
VV(c)＝(1/|Y|C)Σy{p(c|Iy)・|yh-Nh(c)|2}・・・（１４）
【００６９】
また、下記式（１５）を用いて、色の空間的な分散V(c)を求める（ステップＳ４０９）。
V(c)＝Vh(c)+VV(c)・・・（１４）
【００７０】
そして、下記式（１５）を用いて、色の空間分布の特徴量マップFS(x,I)を求める(ステップＳ４１０)。
FS(x,I)∝Σcp(c|Ix)・(1-V(c))・・・（１５）
【００７１】
以上の処理により、コントラストの特徴量マップFC(x,I)、center-surroundの色ヒストグラムの特徴量マップFh(x,I)、色の空間分布の特徴量マップFS(x,I)が求められることとなる。したがって、下記式（１６）に示すように、各特徴量マップを線形統合して、顕著性マップS(x,I)を求めて出力する（ステップＳ４１１）。
S(x,I)＝w1・Fc(x,I)+w2・Fh(x,1)+w3・FS(x,1) ・・・（１６）
【００７２】
そして、顕著性マップSの所定閾値以上の領域(S≧Sth)を、注目点領域として抽出するのである（ステップＳ４１２）。
【００７３】
図９は、注目点領域の推定抽出の前処理としての階層型画像データ（ガウシアン解像度ピラミッド）の作成処理の例を示す図である。この図に示すように、画像Ｉ（３）、画像Ｉ（２）、画像Ｉ（１）、画像Ｉ（０）からなる階層型画像データ（ガウシアン解像度ピラミッド）を作成する。
【００７４】
なお、消去処理方法としは、下記（ａ）（ｂ）を挙げることができる。
【００７５】
（ａ）ガウシアン分布フィルタ(Gaussian Filter)を用いる消去処理
【００７６】
【数１】
ただし、上式でＧσ（ｘ）は、ガウシアン分布に従い、
【００７７】
【数２】
つまり、点ｐの近傍領域（Ｓ）内にある各点ｑにおける画素値Ｉｑについて、σ（空間パラメータ）により、ぼかす大きさ（点ｐとの空間的距離に応じた影響の度合）を調整して、任意程度のボケ画像を合成することができる。
【００７８】
（ｂ）バイラテラル・フィルタ(Bilateral Filter)を用いる消去処理
下記式（１９）に示すように、空間フィルタＧσｓ（ｘ）とインテンシティフィルタ（Ｇσｓ（ｘ））とを組み合わせて、任意程度のボケ画像を合成する。
【００７９】
【数３】
つまり、点ｐの近傍領域（Ｓ）内にある各点ｑにおける画素値Ｉｑについて、σｓ（空間パラメータ）により、ぼかす大きさ（点ｐとの空間的距離に応じた影響の度合）をσｒ（強度パラメータ）により、ぼかす強度（点ｐの輝度Ｉｐとの違いに応じた影響の度合をそれぞれ調整して、ぼかし処理ことができる。
【００８０】
図１０及び図１２は、前記ステップＳ１２５及びステップＳ１３０で実行される画像の修復処理のサブルーチン各々を示すフローチャートである。
【００８１】
先ず、図１０のフローチャートは、輝度値を滑らかに補完する方法、又はパターン類似度を用いて「エネルギー関数」を最小化する方法による修復処理の例を示すものである。すなわち、対象画像のフレーム画像Ｉを入力し（ステップＳ５０１）、このフレーム画像Ｉから修復対象となる欠損Ωを含む領域（Ω′）を検出する（ステップＳ５０２）。この検出した欠損領域（Ω′）は無し（ゼロ集合）か、当該フレーム画像Ｉにおける全ての欠損領域（Ω′）の修復処理が終了したか否かを判断する（ステップＳ５０３）。このステップＳ５０３の判断がＹＥＳであるならば、修復処理が終了した修復処理済みの画像データＩ′を出力して（ステップＳ５０４）、メインルーチンにリターンする。
【００８２】
また、ステップＳ５０３の判断がＮＯであるならば、欠損領域（Ω′）内で、修復対象となる画素Ｘの位置等の初期値を設定する（ステップＳ５０５）。そして、輝度勾配が最小となる等照線方向に修復を行う場合には、境界線上の画素の周辺の輝度勾配等に基づいて、輝度勾配が最小となる方向などの修復方向（ベクトル）を決定する（ステップＳ５０６）。
【００８３】
しかる後に、この決定した修復方向に画素の更新パラメータ（平滑化関数）の変化量を算出し（ステップＳ５０７）、隣接画素と処理対象画素との差分から、画素値の更新量、更新情報を算出する（ステップＳ５０８）。この算出した更新情報を用いて各画素値を書き換え、フレーム画像Ｉに修復処理を施す（ステップＳ５０９）。次に、各画素値の変化量を評価し（ステップＳ５１０）、このステップＳ５１０での評価に基づき、
変化量≒０、画素値は十分収束したか、所定回数以上ステップＳ５０６からの処理を繰り返したかの三条件のいずれかが満たされたか否かを判断する（ステップＳ５１１）。そして、これら三条件のいずれも満たされていない場合には、満たされるまでステップＳ５０６からの処理を繰り返す。その結果、前記三条件のいずれかが満たされたならば、次の欠損領域Ω′を修復対象として（ステップＳ５１２）、前述したステップＳ５０２からの処理を繰り返す。
【００８４】
他方、局所形状が類似するよう修復するか、又は、エネルギー巻数が最小化するよう修復を行う場合には、欠陥領域（Ω′）内の画素Ｘと周辺パターンの局所形状が類似するデータ領域（φ）内の画素Ｘｓを探索する（ステップＳ５１３）。
【００８５】
しかる後に、下記式（１８）を用いて、画素値の更新値を算出し、欠損領域内の画素Ｉ（ｘ）を並列的に更新する（ステップＳ５１４）。
I(x)＝Σ｛w(x? p)・I(x-p)-p｝Σ(x+p)・・・（１８）
ただし、領域Ωでは、wx=1/2^d
領域Ω′∩￣Ωではwx=1
【００８６】
（なお、式（１８）及び以下の式における符号の意味については、図１１参照。）
【００８７】
そして、下記式（１９）に示すように、類似パターン位置を更新する（ステップＳ５１５）。
xs＝f(x)=argmin(x′∈φ)Σ｛I(x+p)−I(x′+p)^2・・・（１９）
【００８８】
また、下記式（２０）に示すように、類似度（エネルギー関数）を評価する（ステップＳ５１６）。
E(x)＝Σw(x+ p)・｛I(x)-I(f(x+p)-p)｝^2・・・（２０）
【００８９】
このステップＳ５１６での評価に基づき、
エネルギーが十分小さくなったか、十分収束したか、所定回数以上ステップＳ５１３からの処理を繰り返したかの三条件のいずれかが満たされたか否かを判断する（ステップＳ５１７）。そして、これら三条件のいずれも満たされていない場合には、満たされるまでステップＳ５１３からの処理を繰り返す。その結果、前記三条件のいずれかが満たされたならば、次の欠損領域Ω′を修復対象として（ステップＳ５１２）、前述したステップＳ５１３からの処理を繰り返す。
【００９０】
図１２は、前記ステップＳ１２５及びステップＳ１３０で実行される画像の修復処理の他のサブルーチンを示すフローチャートであり、輝度勾配が最小となる等照線方向に修復する場合の例を示すものである。すなわち、対象画像のフレーム画像Ｉを入力し（ステップＳ６０１）、この画像Ｉ中で、修復対象となる欠損Ωを含む領域Ω′を検出する（ステップＳ６０２）。この検出した領域Ω′の境界δΩｔを識別する（ステップＳ６０３）。このステップＳ６０３の識別結果に基づき、δΩｔ＝０（ゼロ集合）否か、又は全ての修復処理が終了か否かをを判断する（ステップＳ６０４）。このステップＳ６０４の判断がＹＥＳであるならば、修復処理が終了した修復処理済みの画像データを出力して（ステップＳ６０５）、メインルーチンにリターンする。
【００９１】
また、ステップＳ６０４の判断がＮＯであるならば、境界上の画素の初期値を設定する（ステップＳ６０６）。そして、境界線δΩの内側に向けて、周囲画素から輝度勾配等に基づいて（輝度勾配が最小となる等照線方向など）、修復方向（ベクトル）を決定する（ステップＳ６０７）。
【００９２】
すなわち、グレースケール処理画像I 中の画素（i，ｊ）をI（i，j）とし、補完する領域をΩ（∈I）、領域の境界をδΩ（∈I）とする。補完処理はΩの外側から内側に向けて行われる。各画素の補間する方向を決定するために、境界線δΩ上において画素情報の連続性は等照方向に生じることを用いて、δΩからΩの内側に向いた修復方向ベクトルNを算出する。画像I上のすべての（i，j）において、離散的勾配ベクトル∇I（i，j）は最大空間的変化（largest spatial change）の方向を表す。このことから、このベクトルを90度回転した∇⊥I（i，j）ベクトルは最小空間的変化（smallest spatial change）方向を示し、等照線方向ベクトルN（i，j）は、
N（i，j）＝∇⊥I（i，j）＝｛−Iｙ（i，j），Iｘ（i，j）｝・・・（２１）
となる。
ただし、Iｘ，Iｙは、x,yの偏微分（輝度勾配）、
∇（i，j）は、離散的勾配ベクトル（最大変化方向）、
∇⊥I（i，j）は、∇（i，j）を９０度回転したベクトル（最小変化方向）。
【００９３】
次に、境界δΩ上の画素（i，j）において、下記式（２２）を用いて更新パラメータ（i，j）の変化量δＬ（i，j）を算出する（ステップＳ６０８）。
（例）Ｌ（i，j）は平滑関数。
δＬ（i，j）＝｛Ｌ（i+1，j）-Ｌ（i-1，j）,L（i,j+1）-1（i,j-1）｝・・・（２２）
【００９４】
また、βn(i，j)＝δLn（i，j）・Nn（i，j）/｜Nn（i，j）｜ ・・・（２３）
としたとき、隣接画素と処理画素との差から、画素情報の更新量｜∇ｎ（i，j）｜を算出する（ステップＳ６０９）。
なお、(βＮｎ＞０のとき)｜∇Ｉn（i，j）｜＝√｛（In×ｂｍ)２＋(In×fM)２＋(In×ybm)２＋(InyfM)２｝・・・（２４）
(βＮｎ＝０のとき)｜∇Ｉn（i，j）｜＝０・・・（２５）
(βＮｎ＜０のとき)｜∇Ｉn（i，j）｜＝√｛（In×xｂｍ)２＋(In×fM)２＋(In×ybM)２＋(InyfM)２｝・・・（２４）
ここで、添え字ｆ、ｂは、それぞれ、ｆ：前進差分、および、ｂ：後進差分を示し、ｍは導関数値と０を比較したときの最小値（min）、同様に、Mは導関数値と０を比較したときの最大値（MAX)、を意味する。
【００９５】
引き続き、下記式（２５）を用いて、繰り返し回数ｎ回目の更新情報Iｎｔ（i，j）を算出する（ステップＳ６１０）。
Iｎｔ（i，j）＝｛δLn（i，j）・Nn（i，j）/｜Nn（i，j）｜｝・｜∇In（i，j）｜・・・（２６）
ただし、｜∇In（i，j）｜は、隣接画素と処理画素との差分から算出した画素情報の更新量。
【００９６】
そして、下記式（２７）を用いて、Ω′領域内の各画素に対する更新情報Iｎｔ（i，j）を用いて、修復処理を実行する（ステップＳ６１１）。
Ｉ（ｎ＋１）（ｉ，ｊ）=Ｉｎ（ｉ，ｊ）+Δｔ・Ｉｎｔ（ｉ，ｊ）・・・（２６）
【００９７】
次に、当該領域の変化量δL（i，j）≒０であるか否か、更新情報Ｉ（ｎ＋１）（ｉ，Ｊ）≒Ｉｎ（ｉ，Ｊ）であるか否か、繰り返し回数ｎ≧ｎ（ｍａｘ）であるか否かの三条件のいずれかが満たされたか否かを判断する（ステップＳ６１２）。そして、これら三条件のいずれも満たされていない場合には、満たされるまでステップＳ６０７からの処理を繰り返す。その結果、前記三条件のいずれかが満たされたならば、次の領域を修復対象として（ステップＳ６１３）、前述したステップＳ６０２からの処理を繰り返す。
【００９８】
図１３は、以上に説明した修復処理フローに従った処理による修復処理例を示す図である。同図（ａ）に示すように、前記フローチャートにおける画像Ｉであって、消去処理された画像であり、欠損Ωを有する修復すべき領域である修復対象領域（点線内：領域Ω′）が存在している。このように、欠損Ωを有する領域Ω′が存在している画像Ｉに対して、図１２のフローチャートに従った修復処理が実行されることにより、同図（ｂ）に示すように、欠損箇所が修復処理された画像が得られることとなる。
【符号の説明】
【００９９】
１ デジタルカメラ
４ モニタ
１１ レンズブロック
１２ ズームモーター
１３ ＣＰＵ
１８ ＣＣＤ
１９ 水平ドライバ
２０ ユニット回路
２１ ＤＳＰ
２２ ＳＤＲＡＭ
２３ タッチパネル
２５ 外部メモリ
２６ フラッシュメモリ
２７ キー入力部
１１１ ズームレンズ
【技術分野】
【０００１】
本発明は、外部からの擦り動作等の継続的な指示に応じて画像の一部のみを処理する技術に関する。
【背景技術】
【０００２】
コンパクトカメラでは一般に、一眼レフのようなＦ値の小さい「明るいレンズ」を搭載しにくい。また、撮像イメージサイズが小さいので、同じ画角を得るには、実際のレンズ焦点距離を短かくする必要があり、被写界深度はどうしても深くなる。このため、前景から背景までピントが合った撮影がしやすい反面、前景や背景をぼかしたり、主要被写体だけにピントを合わせて強調する表現がしにくいなど、問題があった。
【０００３】
そこで、画面上でタッチ選択された領域を処理対象領域として、ピンポイントに平滑化フィルタでボケ処理を施す（特許文献１参照）などの技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０７９１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述したタッチ選択された領域についてピンポイントに処理を施す場合、主要被写体のみを分離することが困難であり、このため主要被写体周囲までも処理対象にされてしまう不都合が生ずる。
【０００６】
本発明は、かかる従来の課題に鑑みなされたものであり、ユーザにおいて画像の所望領域を確実かつ簡単に指定して、この指定された領域を他の領域と分離して処理することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、請求項１記載の発明は、撮像手段と、表示手段と、この表示手段の表示面に対して外部から指示を検出する第１の検出手段と、この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段と、前記撮像手段によって撮像された画像を、前記表示手段に表示するよう制御する第１の表示制御手段と、前記表示される画像の特徴量情報を取得する取得手段と、前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工手段とを備えることを特徴とする。
【０００８】
また、請求項２記載の発明は、請求項１記載の発明において、更に、前記加工手段によって加工された画像を加工前の画像から徐々に変化させて表示するよう制御する第２の表示制御手段を備えることを特徴とする。
【０００９】
また、請求項３記載の発明は、請求項１または２記載の発明において、更に、前記加工手段によって加工された画像を記録媒体に記録する記録制御手段を備えることを特徴とする。
【００１０】
また、請求項４記載の発明は、撮像手段と表示手段とを備える機器が有するコンピュータを、前記表示手段の表示面対して外部から指示を検出する第１の検出手段、この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段、前記撮像手段によって撮像された画像を前記表示手段に表示するよう制御する第１の表示制御手段、前記表示される画像の特徴量情報を取得する取得手段、前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工手段、として機能させることを特徴とする。
【００１１】
また、請求項５記載の発明は、表示手段の表示面対して外部から指示を検出する第１の検出ステップと、この第１の検出ステップによる検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出ステップと、撮像手段によって撮像された画像を前記表示手段に表示するよう制御する第１の表示制御ステップと、前記表示される画像の特徴量情報を取得する取得ステップと、前記第１の検出ステップによって検出された指示位置、前記第２の検出ステップによって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工ステップと、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザにおいて画像の所望領域を確実かつ簡単に指定して、この指定された領域を他の領域と分離して処理することができるようにすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態を適用した電子カメラのブロック図である。
【図２】（不要部分の）消去＆修復撮影処理の手順の一部を示すフローチャートである。
【図３】図２に続くフローチャートである。
【図４】タッチ検出及びタッチ軌跡の検出処理の手順を示すフローチャートである。
【図５】注目点領域の抽出処理（１）の手順を示すフローチャートである。
【図６】第１の実施の形態における表示例を示す図である。
【図７】図６に続く表示例を示す図である。
【図８】注目点領域の抽出処理（２）の手順を示すフローチャートである。
【図９】階層型画像データの作成処理例を示す図である。
【図１０】画像の修復処理のサブルーチンを示すフローチャートである。
【図１１】図１０及び図１２におけるフローチャート内の式の符合の意味を示す説明図である。
【図１２】画像の修復処理のサブルーチンを示すフローチャートである。
【図１３】修復前の画像と修復後の画像とを示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施の形態を図に従って説明する。
図１は、本発明の各実施の形態に共通するデジタルカメラ１の電気的構成を示す回路ブロック図である。このデジタルカメラ１は、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）、ＡＦ（Auto Focus）等の一般的な機能を有するものである。すなわち、レンズブロック１１には、ズームレンズ１１１や図示しないフォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれている。前記ズームレンズ１１１は、駆動機構に設けられているズームモーター１２によって光軸方向に駆動される。
【００１５】
デジタルカメラ１全体を制御するＣＰＵ（Central Processing Unit）１３には、バス１４及びタイミング発生器（ＴＧ：Timing Generator）１５を介してモータードライバ１６が接続されている。モータードライバ１６は、ユーザの操作に応じたＣＰＵ１３の命令に従いタイミング発生器１５が発生するタイミング信号に基づき、ズームモーター１２を駆動する。これにより、ズームレンズ１１１が駆動されて、そのレンズ位置が変化する。
【００１６】
このとき、ＣＰＵ１３は、自己が発生する命令を記憶して管理している。したがって、ＣＰＵ１３は、自己が発生する命令を記憶して管理することにより、自己が発生する命令によりタイミング発生器１５が発生するタイミング信号に応じて変化するズームレンズ１１１のレンズ位置を取得することができる。
【００１７】
また、図示は省略するが、実際には、フォーカスレンズを駆動するためのフォーカスモーター及びモータードライバや、メカシャッタやメカ絞り及びそれらを駆動するためのモーターを有する駆動機構等が設けられている。
【００１８】
また、デジタルカメラ１は、撮像素子としてＣＣＤ（Charge Coupled Device）１８を有している。ＣＣＤ１８は、レンズブロック１１の光軸上に配置されている。被写体は、レンズブロック１１によってＣＣＤ１８の受光面に結像される。ＣＣＤ１８は、ＣＰＵ１３の命令に従いタイミング発生器１５が生成するタイミング信号に基づき垂直及び水平ドライバ１９によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路２０に出力する。ユニット回路２０は、ＣＣＤ１８の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ（Correllated Double Sampling）回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換器等から構成され、デジタル信号をＤＳＰ（Digital Signal Processor）２１へ出力する。
【００１９】
ＤＳＰ２１は、ユニット回路２０から出力されたデジタル信号に対しペデスタルクランプやオートホワイトバランス等の各種画像処理を施すことにより、輝度（Ｙ）信号及び色差（ＵＶ）信号からなる画像データを生成する。ＤＳＰ２１で変換された画像データは順次ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２に格納されるとともに、ＲＥＣ（Record）スルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶のモニタ４へ送られてスルー画像として画面表示される。
【００２０】
そして、静止画撮影モードにおいては、レリーズ釦操作をトリガとして、ＣＰＵ１３は、ＣＣＤ１８、垂直及び水平ドライバ１９、ユニット回路２０、及びＤＳＰ２１に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られＳＤＲＡＭ２２に一時記憶された画像データは、ＣＰＵ１３により圧縮され、最終的には所定のフォーマットの静止画ファイルとして外部メモリ２５に記録される。この外部メモリ２５に記録された静止画ファイルは、ＰＬＡＹ・モードにおいてユーザの選択操作に応じてＣＰＵ１３に読み出されるとともに伸張され、画像データとしてＳＤＲＡＭ２２に展開された後、画像データに基づく画像がモニタ４に表示される。
【００２１】
フラッシュメモリ２６には、ＣＰＵ１３に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。
【００２２】
また、デジタルカメラ１は、半押し操作と全押し操作とが可能なレリーズ釦、ズーム釦、ＯＫ釦等の複数の操作キー及びスイッチを含むキー入力部２７を有している。キー入力部２７は、ユーザによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をＣＰＵ１３へ供給する。
【００２３】
なお、モニタ４には、タッチパネル２３が積層されている。タッチパネル２３は、モニタ４上におけるユーザのタッチ位置および度合（タッチの太さ、面積、強さ）を検出し、検出した位置及び度合位置を示す信号をＣＰＵ１３に供給する。
【００２４】
（第１の実施の形態）
次に、以上の構成にかかるデジタルカメラ１の第１の実施の形態における動作を説明す
る。図２及び図３は、本実施の形態における（不要部分の）消去＆修復撮影処理の手順を示す一連のフローチャートである。ユーザによるキー入力部２７での操作により、消去＆修復撮影モードが設定されるとＣＰＵ１３は前記プログラムに従って、このフローチャートに示す処理を実行する。
【００２５】
すなわち、ＣＰＵ１３は、撮影モードが設定されているか否かを判断し（ステップＳ１）、撮影モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ１０２）。
【００２６】
撮影モードが設定されている場合には、各種撮影条件を設定する（ステップＳ１０３）。また、スルー撮像、スルー表示処理を実行し、レンズブロック１１を介してＣＣＤ１８により所定のフレームレートで撮像したスルー画像を液晶のモニタ４に表示させる（ステップＳ１０４）。次に、タッチ操作による消去撮影が設定されているか否かを判断し（ステップＳ１０５）、設定されていない場合にはステップＳ１０６〜Ｓ１１５の処理を行うことなく、ステップＳ１１６に進む。
【００２７】
タッチ操作による消去撮影が設定されている場合には、液晶表示パネル３に表示されているスルー画像から、注目点領域を推定して抽出する（ステップＳ１０６）。なお、このステップＳ１０６で実行される注目点領域の推定抽出に関しては、図５に示すフローチャートに基づき後述する。次に、タッチパネル２３から供給されるモニタ４上におけるユーザのタッチ検出及びタッチ軌跡の検出処理を実行する（ステップＳ１０７）。このステップＳ１０７で実行されるタッチ検出及びタッチ軌跡の検出処理に関しては、図４に示すフローチャートに基づき後述する。
【００２８】
引き続き、前記ステップＳ１０６で推定抽出された注目点領域と、前記ステップＳ１０７で検出されたタッチ入力軌跡から、スルー画像における処理対象領域（消去、修復処理する対象とする領域）を判別して選択する（ステップＳ１０８）。つまり、前記ステップＳ１０７で検出されたタッチ入力軌跡がある領域であっても、前記ステップＳ１０６で推定抽出された注目点領域である場合には、この領域を処理対象領域とはせずに、タッチ入力軌跡がある領域であって注目点領域でない領域のみを処理対象領域として判別し選択する。
【００２９】
さらに、この処理対象領域に対する処理種別である機能コマンドとして、予め消去処理（ステップＳ１０９）と残存処理（ステップＳ１１２）のいずれが選択設定されているかを判断する。機能コマンドとして消去処理が選択設定されている場合には（ステップＳ１０９→ＹＥＳ）、前記ステップＳ１０８で選択されたスルー画像における選択領域を消去処理の対象領域に設定する（ステップＳ１１０）。また、消去処理を実行すべきことを示す消去処理Ｆｌａｇに「１」を立てる（ステップＳ１１１）。
【００３０】
他方機能コマンドが消去処理でない場合には、機能コマンドが残存処理であるか否かを判断する（ステップＳ１１２）。残存処理である場合には（ステップＳ１１２→ＹＥＳ）、前記ステップＳ１０８で選択されたスルー画像における選択領域を残存処理の対象領域に設定する（ステップＳ１１３）。また、残存処理を実行すべきことを示す残存処理Ｆｌａｇに「１」を立てる（ステップＳ１１４）。さらに、機能コマンドが消去処理と残存処理のいずれでもない場合には、その他のコマンド処理を実行する（ステップＳ１１５）。
【００３１】
そして、ステップＳ１１１、Ｓ１１４、Ｓ１１５のいずれかに続くステップＳ１１６においては、キー入力部２７に設けられたレリーズ釦が半押し操作されたか否か、又はＡＥロックなどの撮影準備操作がなされたか否かを判断する（ステップＳ１１６）。これら操作のいずれかがなされたならば、測光処理を行うとともに、この測光処理により得られた計測露出値と予め設定されている撮影条件に応じてＣＣＤ１８の露出条件を設定する（図３のステップＳ１１７）。
【００３２】
引き続き、レリーズ釦が全押し（又は、撮影指示操作が検出）されたか否か（ステップＳ１１８）、又は半押しされているレリーズ釦から手指が離されて、半押しが解除されたか否か（ステップＳ１１９）を判断する。レリーズ釦の半押しが解除された場合には、ＡＥロックや処理フラグ（消去処理Ｆｌａｇ又は残存処理Ｆｌａｇ）を解除して（ステップＳ１２０）、リターンする。
【００３３】
レリーズ釦が全押し（又は、撮影指示操作が検出）された場合には、前記ステップＳ１１６で設定された設定露出条件などの撮影条件に応じて、ＣＣＤ１８を露出させて撮影処理する（ステップＳ１２１）。そして、この撮影処理により得られた撮影画像データをＳＤＲＡＭ２２に一時的に記憶する（ステップＳ１２２）。
【００３４】
次に、消去処理Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ１２２）。消去処理Ｆｌａｇ＝１の状態にあるならば、前記ステップＳ１２２でＳＤＲＡＭ２２に保存した今回の撮影画像に消去処理を施す（ステップＳ１２４）。具体的には、ＳＤＲＡＭ２２内に保存されている撮影画像の選択領域（ステップＳ１０８で選択された領域）を対象領域とし、例外の領域にマスクを設定することにより、他の領域と選択領域とを分離し、消去処理を施す。したがって、本実施の形態によれば、ユーザにおいて画像の所望領域を確実かつ簡単に指定することができ、画像の指定した領域を消去して表示することができる。
また、対象画像から不要な部分を消去したり、目立たなくしたい場合、消去したい画像の領域を、指やペンでタッチして、アバウトにこすったりするだけで、所望部分のみ消去したり、目立たなくしたりすることができる。さらには、多少はみ出したり、アバウトに入力した場合も、画像中の注目点領域を推定検出して、はみ出し入力を自動補正してくれるので、大雑把なタッチ操作で、操作性良く指定できる。
【００３５】
そして、このステップＳ１２４での消去処理により、画像中に空白部が生ずることから、この空白部を埋める修復処理を行う（ステップＳ１２５）。なお、この修復処理の具体的な例については後述する。さらに、この修復処理を施した撮影画像である処理済み画像をモニタ４にレビュー表示する（ステップＳ１２６）。しかる後に、この処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し、消去処理Ｆｌａｇ＝０に戻す（ステップＳ１２７）。したがって、ユーザにおいて画像の所望領域を確実に消去させた画像を外部メモリ２５に保存することができる。
【００３６】
また、消去処理Ｆｌａｇ＝１の状態でない場合には、残存処理Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ１２８）。残存処理Ｆｌａｇ＝１の状態にあるならば、前記ステップＳ１２２でＳＤＲＡＭ２２に保存された今回の撮影画像に残存処理を施す（ステップＳ１２９）。具体的には、ＳＤＲＡＭ２２内に保存した撮影画像の選択領域（ステップＳ１０８で選択された領域）を残存対象領域としてマスクを設定して、他の領域と選択領域とを分離し、それ以外の領域に消去処理を施す。つまり前述のステップＳ１２４とは逆の領域に消去処理を施す。
【００３７】
また、このステップＳ１２４での消去処理により、画像中に空白部が生ずることから、前述と同様にこの空白部を埋める修復処理を行う（ステップＳ１３０）。さらに、この修復処理を施した撮影画像である処理済み画像をモニタ４にレビュー表示する（ステップＳ１３１）。しかる後に、この処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し、残存処理処理Ｆｌａｇ＝０に戻す（ステップＳ１２７）。したがって、ユーザにおいて画像の所望領域を確実に残存させた画像を外部メモリ２５に保存することができる。
【００３８】
また、消去処理Ｆｌａｇ＝０、かつ、残存処理Ｆｌａｇ＝０の状態にある場合には、前記ステップＳ１２１でＳＤＲＡＭ２２に保存された今回の撮影画像に通常の信号処理（デジタル現像処理）を施す（ステップＳ１３０）。さらに、この通常の信号処理済み画像をモニタ４にレビュー表示した後（ステップＳ１３２）、この通常の信号処理済みの画像データを符号化して、画像メモリ媒体である外部メモリ２５に保存記録し（ステップＳ１３３）、リターンする。
【００３９】
図４は、前記タッチ検出及びタッチ軌跡の検出処理（ステップＳ１０７）のサブルーチンを示すフローチャートである。すなわち、ＣＰＵ１３は、タッチパネル２３を走査して、モニタ４上におけるユーザのタッチ位置および度合（タッチの太さ、面積、強さ）を検出する（ステップＳ２０１）。また、ユーザによるタッチが継続中であるか否かを判断する（ステップＳ２０２）。タッチが継続中であるならば、タッチ継続中Ｆｌａｇ＝１の状態にあるか否かを判断する（ステップＳ２０３）。
【００４０】
タッチ継続中Ｆｌａｇ＝１の状態でない場合には、タッチ継続中Ｆｌａｇ＝０であって検出されたタッチが新たなタッチであるか否かを判断する（ステップＳ２０４）。新たなタッチであるならば、タッチ検出動作を開始し（ステップＳ２０５）、検出されたタッチ点の位置と度合を開始点としてＳＤＲＡＭ２２にメモリする（ステップＳ２０６）。また、タッチが継続中となったことを示すタッチ継続中Ｆｌａｇを立てて、タッチ継続中Ｆｌａｇ＝１にする（ステップＳ２０７）。
【００４１】
このステップＳ２０７での処理によりタッチ継続中Ｆｌａｇ＝１となると、再度このフローに従ってステップＳ２０１からの処理が実行された際に、ステップＳ２０３の判断がＹＥＳとなる。したがって、ステップＳ２０３からステップＳ２０８に進み、前記ステップＳ２０１で検出されたタッチ点の座標位置、度合を順次ＳＤＲＡＭ２２にメモリして蓄積する。
【００４２】
さらに、このタッチ点の座標位置の蓄積により得られる連続タッチ点から選択された複数点を折れ線（又はスプライン曲線）で連結する（ステップＳ２０９）。つまり、ステップＳ２０１で検出されるタッチ位置は、このフローチャートに従って処理が実行される毎に得られる点的な位置情報（連続タッチ点）である。したがって、これら点的な位置情報（連続タッチ点）から選択された複数点を連結することにより、点的なタッチ情報を線的なタッチ情報に変換する。
【００４３】
さらに、この連結されたタッチ点の軌跡を表示部であるモニタ４にプロット描画し、当該モニタ４に表示されているスルー画像に重畳表示する（ステップＳ２１０）。したがって、ユーザがモニタ４に表示されているスルー画像の所望部分を例えば手指で擦ると、当該所望部分に擦った軌跡が重畳表示されることとなる。
【００４４】
また、ユーザがスルー画像の所望部分を擦るのをやめてモニタ４から手指を離すと、再度ステップＳ２０１からの処理が実行された際にステップＳ２０２の判断がＮＯとなる。したがって、ステップＳ２０２からステップＳ２１１に進みタッチ入力が終了したか否かを判断する。このタッチ入力が終了したか否かの判断は、タッチ継続中Ｆｌａｇ＝１の状態でタッチが不継続となったか否かにより判断することができる。
【００４５】
タッチ入力が終了したならば、タッチ点の座標位置、度合のＳＤＲＡＭ２２へのメモリ処理（ステップＳ２０８）と、モニタ４のスルー画像上へのタッチ点の軌跡描画処理（ステップＳ２１０）とを終了させる（ステップＳ２１２）。引き続き、最後のタッチ点の位置と度合を終了点としてＳＤＲＡＭ２２にメモリする（ステップＳ２１３）。また、前記ステップＳ２１０でモニタ４にプロット描画されているタッチ軌跡の連結プロット線を出力した後（ステップＳ２１４）、タッチ継続中Ｆｌａｇ＝０にする（ステップＳ２１５）。
【００４６】
そして、前記ステップＳ２１４で出力したタッチ位置と軌跡から、機能コマンドの選択か、対象領域の指示かを判別する（ステップＳ２１６）。つまり、本実施の形態においては、以上に説明したスルー画像における対象領域の指示入力のみならず、図２のステップＳ１０９、Ｓ１１２、Ｓ１１５に示した機能コマンドの設定もモニタ４に対するタッチをタッチパネル２３より検出することにより行う。したがって、タッチパネル２３より検出したモニタ４に対するタッチが機能コマンドの選択であるのか、対象領域の指示であるのか判別する必要がある。
【００４７】
また、この判別は機能コマンドの選択であればタッチ位置は固定的であり、タッチ軌跡も短いことから、タッチ位置とタッチ軌跡とから判別することができる。したがって、ステップＳ２１６での判別処理の結果に基づき、タッチが機能コマンドの指示であるか否かを判断する（ステップＳ２１７）。機能コマンドの指示であるならば、機能コマンドの設定・変更処理を実行する（ステップＳ２１８）。
【００４８】
また、機能コマンドの入力でない場合には、対象領域の指定か否かを判断し（ステップＳ２１９）、そうである場合には対象領域の設定処理を実行する（ステップＳ２１０）。対象領域の指定でもない場合には、対象領域の移動又は伸縮か否かを判断し（ステップＳ２２１）、そうである場合には対象領域の移動又は伸縮の設定処理を実行する（ステップＳ２２２）。また、機能コマンドの指示、対象領域の指定、対象領域の移動又は伸縮のいずれでもない場合には、その他の入力処理を実行する（ステップＳ２２３）。
【００４９】
図５は、本発明の第１の実施の形態において前記ステップＳ１０５で実行される注目点領域の抽出処理のサブルーチンを示すフローチャートである。すなわち、モニタ４に表示させているスルー画像を構成するフレーム画像I(x,y)をＳＤＲＡＭ２２に入力する（ステップＳ３０１）。次に、ガウシアン解像度ピラミッドの作成を行う（ステップＳ３０２）。このガウシアン解像度ピラミッドの作成に際しては、下記式（１）及び（２）に示すように、入力画像I(x,y)から、順次、ガウシアンフィルタ処理とダウンサンプリング処理を行って、９枚の階層型のスケール画像 I（L）の組を作成する。
I(０)＝I(x,y)・・・（１）
I(L+1)＝Subsampled(1/2×1/2) ［I(L)*G(5×5)］・・・（２）
【００５０】
引き続き、ステップＳ３０３〜Ｓ３０６の処理で輝度の特徴量マップ(FI)を作成し、ステップＳ３０７〜Ｓ３１０の処理で色の特徴量マップ(FＣ)を作成し、ステップＳ３０１１〜Ｓ３１４の処理で方向性の特徴量マップ(FＯ)を作成する。まず、輝度の特徴量マップ(FI)の作成について説明すると、階層型のスケール画像における２〜４階層のスケール画像の各注目画素c∈{2、3、4}の輝度成分I(c)求める（ステップＳ３０３）。また、階層型のスケール画像における３〜４階層のスケール画像の各注目画素の周辺s=c+δ、δ∈{3、4}の輝度成分I(s)を求める（ステップＳ３０４）。さらに、下記式（３）に示すように、各スケール画像について、輝度IのCenter-Surroundのスケール間差分(輝度コントラスト)を求める（ステップＳ３０５）。
I(c、s)=｜I(c)〔-〕I(s)｜・・・（３）
【００５１】
しかる後に、下記式（４）に示すように、輝度コントラストの特徴量マップを正規化し、c、sの全範囲にわたって結合し、輝度の特徴量マップ(FI)を作成する（ステップＳ３０６）。
FI＝〔+〕c〔+〕sN(I(c,s))・・・（４）
ただし、c=2〜4、s=c+3〜c+4。
【００５２】
他方、色の特徴量マップ(FＣ)は、ステップＳ３０７〜Ｓ３１０の処理により作成する。すなわち、階層型のスケール画像における２〜４階層のスケール画像の各注目画素c∈{2、3、4}の色成分R(c)、G(c)、B(c)、Y(c)を求める（ステップＳ３０７）。また、階層型のスケール画像における３〜４階層のスケール画像の各注目画素の周辺s=c+δ、δ∈{3、4}の色成分R(s)、G(s)、B(s)、Y(s)を求める（ステップＳ３０８）。さらに、下記式（４）（５）により各スケール画像について、色相(R/G,B/Y)のCenter-Surroundのスケール間差分 (色相コントラスト)を求める（ステップＳ３０９）。
RG(c、s)=|(R(c)-G(c))〔-〕(G(s)-R(s))|・・・（４）
BY(c、s)=|(B(c)-Y(c))〔-〕(B(s)-Y(s))|・・・（５）
【００５３】
また、下記式（６）により、色相コントラストの特徴量マップを正規化し、c、sの全範囲にわたって結合し、色の特徴量マップ(FCO)を作成する（ステップＳ３１０）。
FCO＝〔+〕c〔+〕s{N(RG(c,s))+N(BY(c,s))}・・・（６）
ただし、c=2〜4、s=c+3〜c+4。
【００５４】
そして、方向性の特徴量マップ(FＯ)は、ステップＳ３０１１〜Ｓ３１４の処理により作成する。すなわち、階層型のスケール画像における２〜４階層のスケール画像の各注目画素c∈{2、3、4}の方向性成分Ｏ(c,θ)を求める（ステップＳ３１１）。また、階層型のスケール画像における３〜４階層のスケール画像の各注目画素の周辺s=c+δ、δ∈{3、4}の方向性成分Ｏ(s,θ)を求める（Ｓ３１２）。下記式（７）により、各スケール画像について、方向性ＯのCenter-Surroundのスケール間差分 (方向性コントラスト)を求める（ステップＳ３１３）。
Ｏ(c,s,θ)＝｜Ｏ(c,θ)〔-〕Ｏ(s,θ)｜・・・（７）
【００５５】
また、下記式（８）により、方向性コントラストの特徴量マップを正規化し、c、s、θの全範囲にわたって結合し、方向性の特徴量マップ(FO)を作成する（ステップＳ３１４）。
FO＝Σθ〔+〕c〔+〕s{N(Ｏ(c,s,θ))・・・（８）
ただし、θ=0°,45°,90°,135°、
c=2〜4、s=c+3〜c+4
【００５６】
以上の処理により、輝度の特徴量マップ(FI)、色の特徴量マップ(FCO)、方向性の特徴量マップ(FO)が作成されることとなる。したがって、下記式（９）に示すように、これら複数の特徴量マップを、線形和で統合して、顕著性マップ(Saliency Map)Sを求める（ステップＳ３１５）。
S＝w1・N(FI)+w2・N(FCO)+w3・N(FO)・・・（９）
【００５７】
そして、顕著性マップSの所定閾値以上の領域(S≧Sth)を、注目点領域として抽出するのである（ステップＳ３１６）。
【００５８】
図６及び図７は、以上に説明した第１の実施の形態における消去処理、残存処理及び修復処理の表示例を示す図である。スルー画像又は撮影画像を元画像として用いて、モニタ４（図６（Ａ））。この元画像から複数の特徴量マップを生成することにより、特徴量マップFI、特徴量マップFc、及び、特徴量マップFoを得る。そしてこれら特徴量マップを顕著性マップとして統合することにより、単一の顕著性マップSを生成する（図６（Ｂ））。そして、図４のステップＳ３１６においても説明したように、顕著性マップSの所定閾値以上の領域を、注目点領域として抽出する（図６（Ｃ））。
【００５９】
また、元画像を平滑化フィルタで処理し、この平滑化処理された元画像のエッジ検出を検出して、エッジ画像（輪郭線）を得る（図６（Ｄ））。そして、前記得られた注目点に近接する近傍の輪郭をエッジ画像（輪郭線）から抽出して、注目点の近傍抽出画像を得る（図６（Ｅ））。
【００６０】
この後、図２のステップＳ１０７〜Ｓ１１５（詳細には図４）の処理により、図７に示すように、「Ｒｅｍｏｖｅ（消去）」、「Ｒｅｐａｉｒ（修復）」、「Ｌｅａｖｅ（残す）」のいずれかの選択と、表示されている元画像へのタッチ、及び、処理対象領域又はそれ以外の領域のタッチパネルへの描画指示を検出すると（図７（Ｆ））、タッチパネルによりタッチが検出されるとともに、検出されたタッチの位置、タッチの度合、軌跡が順次記憶されていく（図７（Ｇ））。これら記憶されたタッチの位置等を折れ線又はＢスプライン曲線等で結合し、タッチ指示領域を判定する（図７（Ｈ））。
【００６１】
また、前記得られた注目点の近傍抽出画像から、タッチ指示領域に近い注目点領域だけを抽出して、抽出領域を得る（図７（Ｉ））。さらに、画像において指示されたと判断された注目点近傍領域を特定して（図７（Ｊ））、特定した注目点近傍領域に対応するマスクを作成する。
【００６２】
また、「Ｒｅｍｏｖｅ（消去）」が選択された場合には、元画像（スルー画像又は撮影画像、図７（Ｋ））から、前記作成されたマスク部分に相当する画像を部分を消去処理する。これにより、図７（Ｌ）に示すように、パラソル等が消去されて白色部分となった消去処理された画像が生成されて、モニタ４に表示される。
【００６３】
そして、「Ｒｅｐａｉｒ（修復）」が選択されている場合には、消去処理された画像における修復対象領域（点線内）を修復処理する。これにより、図７（Ｍ）に示すように、元画像からパラソル等が消去され、かつ消去による欠損箇所が自動的に修復処理された画像を得ることができ、当該画像がモニタ４に表示されることとなる。
（第２の実施の形態）
図８は、本発明の第２の実施の形態において、前記ステップＳ１０５で実行される注目点領域の抽出処理における他の例を示すサブルーチンである。すなわち、モニタ４に表示させているスルー画像を構成するフレーム画像ＩをＳＤＲＡＭ２２に入力する（ステップＳ４０１）。次に、９枚の階層型のスケール画像の組（ガウシアン解像度ピラミッド）を作成する（ステップＳ４０２）。引き続き、ステップＳ４０３〜Ｓ４１０の処理でコントラストの特徴量マップFC(x,I)、center-surroundの色ヒストグラムの特徴量マップFh(x,I)、色の空間分布の特徴量マップFS(x,I)を求める。
【００６４】
まず、コントラストの特徴量マップFC(x,I)処理について説明すると、下記式（１０）により、マルチ・スケールのコントラストの特徴量マップFC(x,I)を求める（ステップＳ４０３）。
fC(x,I)＝ΣLΣX'||IL(x)-IL(x')||2・・・（１０）
ただし、IL(x)は、ガウシアンピラミッドのＬ番目の階層の画像
【００６５】
また、center-surroundの色ヒストグラムの特徴量マップFh(x,I)を求めるには、矩形を異なるアスペクト比{0.5,0.75,1.0,1.5,2.0}に変えて、各矩形領域の色ヒストグラムR(x)と、周辺輪郭の色ヒストグラムRS(x)とを、それぞれ計算する（ステップＳ４０４）。下記式（１１）により、色ヒストグラムR(x)とRS(x)のカイ２乗距離が最大となる矩形領域のヒストグラムR*(x)を求める（ステップＳ４０５）。
R*(x)＝argmax{X2(R(x),RS(x))}・・・（１１）
【００６６】
さらに、下記式（１２）により、center-surroundの色ヒストグラムの特徴量マップFh(x,I)を求める（ステップＳ４０６）。
Fh(x,I)∝ΣX'{wXX'・X2(R*(x')R*S(x'))}・・・（１２）
【００６７】
また、色の空間分布の特徴量マップFS(x,I)を求めるには、下記式（１３）を用いて、色の空間分布について、水平方向の分散Vh(c)を計算する（ステップＳ４０７）。
Vh(c)＝(1/|X|C)Σx{p(c|Ix)・|xh-Mh(c)|2}・・・（１３）
【００６８】
また、下記式（１４）を用いて、色の垂直方向の分散VV(c)を計算する（ステップＳ４０８）。
VV(c)＝(1/|Y|C)Σy{p(c|Iy)・|yh-Nh(c)|2}・・・（１４）
【００６９】
また、下記式（１５）を用いて、色の空間的な分散V(c)を求める（ステップＳ４０９）。
V(c)＝Vh(c)+VV(c)・・・（１４）
【００７０】
そして、下記式（１５）を用いて、色の空間分布の特徴量マップFS(x,I)を求める(ステップＳ４１０)。
FS(x,I)∝Σcp(c|Ix)・(1-V(c))・・・（１５）
【００７１】
以上の処理により、コントラストの特徴量マップFC(x,I)、center-surroundの色ヒストグラムの特徴量マップFh(x,I)、色の空間分布の特徴量マップFS(x,I)が求められることとなる。したがって、下記式（１６）に示すように、各特徴量マップを線形統合して、顕著性マップS(x,I)を求めて出力する（ステップＳ４１１）。
S(x,I)＝w1・Fc(x,I)+w2・Fh(x,1)+w3・FS(x,1) ・・・（１６）
【００７２】
そして、顕著性マップSの所定閾値以上の領域(S≧Sth)を、注目点領域として抽出するのである（ステップＳ４１２）。
【００７３】
図９は、注目点領域の推定抽出の前処理としての階層型画像データ（ガウシアン解像度ピラミッド）の作成処理の例を示す図である。この図に示すように、画像Ｉ（３）、画像Ｉ（２）、画像Ｉ（１）、画像Ｉ（０）からなる階層型画像データ（ガウシアン解像度ピラミッド）を作成する。
【００７４】
なお、消去処理方法としは、下記（ａ）（ｂ）を挙げることができる。
【００７５】
（ａ）ガウシアン分布フィルタ(Gaussian Filter)を用いる消去処理
【００７６】
【数１】
ただし、上式でＧσ（ｘ）は、ガウシアン分布に従い、
【００７７】
【数２】
つまり、点ｐの近傍領域（Ｓ）内にある各点ｑにおける画素値Ｉｑについて、σ（空間パラメータ）により、ぼかす大きさ（点ｐとの空間的距離に応じた影響の度合）を調整して、任意程度のボケ画像を合成することができる。
【００７８】
（ｂ）バイラテラル・フィルタ(Bilateral Filter)を用いる消去処理
下記式（１９）に示すように、空間フィルタＧσｓ（ｘ）とインテンシティフィルタ（Ｇσｓ（ｘ））とを組み合わせて、任意程度のボケ画像を合成する。
【００７９】
【数３】
つまり、点ｐの近傍領域（Ｓ）内にある各点ｑにおける画素値Ｉｑについて、σｓ（空間パラメータ）により、ぼかす大きさ（点ｐとの空間的距離に応じた影響の度合）をσｒ（強度パラメータ）により、ぼかす強度（点ｐの輝度Ｉｐとの違いに応じた影響の度合をそれぞれ調整して、ぼかし処理ことができる。
【００８０】
図１０及び図１２は、前記ステップＳ１２５及びステップＳ１３０で実行される画像の修復処理のサブルーチン各々を示すフローチャートである。
【００８１】
先ず、図１０のフローチャートは、輝度値を滑らかに補完する方法、又はパターン類似度を用いて「エネルギー関数」を最小化する方法による修復処理の例を示すものである。すなわち、対象画像のフレーム画像Ｉを入力し（ステップＳ５０１）、このフレーム画像Ｉから修復対象となる欠損Ωを含む領域（Ω′）を検出する（ステップＳ５０２）。この検出した欠損領域（Ω′）は無し（ゼロ集合）か、当該フレーム画像Ｉにおける全ての欠損領域（Ω′）の修復処理が終了したか否かを判断する（ステップＳ５０３）。このステップＳ５０３の判断がＹＥＳであるならば、修復処理が終了した修復処理済みの画像データＩ′を出力して（ステップＳ５０４）、メインルーチンにリターンする。
【００８２】
また、ステップＳ５０３の判断がＮＯであるならば、欠損領域（Ω′）内で、修復対象となる画素Ｘの位置等の初期値を設定する（ステップＳ５０５）。そして、輝度勾配が最小となる等照線方向に修復を行う場合には、境界線上の画素の周辺の輝度勾配等に基づいて、輝度勾配が最小となる方向などの修復方向（ベクトル）を決定する（ステップＳ５０６）。
【００８３】
しかる後に、この決定した修復方向に画素の更新パラメータ（平滑化関数）の変化量を算出し（ステップＳ５０７）、隣接画素と処理対象画素との差分から、画素値の更新量、更新情報を算出する（ステップＳ５０８）。この算出した更新情報を用いて各画素値を書き換え、フレーム画像Ｉに修復処理を施す（ステップＳ５０９）。次に、各画素値の変化量を評価し（ステップＳ５１０）、このステップＳ５１０での評価に基づき、
変化量≒０、画素値は十分収束したか、所定回数以上ステップＳ５０６からの処理を繰り返したかの三条件のいずれかが満たされたか否かを判断する（ステップＳ５１１）。そして、これら三条件のいずれも満たされていない場合には、満たされるまでステップＳ５０６からの処理を繰り返す。その結果、前記三条件のいずれかが満たされたならば、次の欠損領域Ω′を修復対象として（ステップＳ５１２）、前述したステップＳ５０２からの処理を繰り返す。
【００８４】
他方、局所形状が類似するよう修復するか、又は、エネルギー巻数が最小化するよう修復を行う場合には、欠陥領域（Ω′）内の画素Ｘと周辺パターンの局所形状が類似するデータ領域（φ）内の画素Ｘｓを探索する（ステップＳ５１３）。
【００８５】
しかる後に、下記式（１８）を用いて、画素値の更新値を算出し、欠損領域内の画素Ｉ（ｘ）を並列的に更新する（ステップＳ５１４）。
I(x)＝Σ｛w(x? p)・I(x-p)-p｝Σ(x+p)・・・（１８）
ただし、領域Ωでは、wx=1/2^d
領域Ω′∩￣Ωではwx=1
【００８６】
（なお、式（１８）及び以下の式における符号の意味については、図１１参照。）
【００８７】
そして、下記式（１９）に示すように、類似パターン位置を更新する（ステップＳ５１５）。
xs＝f(x)=argmin(x′∈φ)Σ｛I(x+p)−I(x′+p)^2・・・（１９）
【００８８】
また、下記式（２０）に示すように、類似度（エネルギー関数）を評価する（ステップＳ５１６）。
E(x)＝Σw(x+ p)・｛I(x)-I(f(x+p)-p)｝^2・・・（２０）
【００８９】
このステップＳ５１６での評価に基づき、
エネルギーが十分小さくなったか、十分収束したか、所定回数以上ステップＳ５１３からの処理を繰り返したかの三条件のいずれかが満たされたか否かを判断する（ステップＳ５１７）。そして、これら三条件のいずれも満たされていない場合には、満たされるまでステップＳ５１３からの処理を繰り返す。その結果、前記三条件のいずれかが満たされたならば、次の欠損領域Ω′を修復対象として（ステップＳ５１２）、前述したステップＳ５１３からの処理を繰り返す。
【００９０】
図１２は、前記ステップＳ１２５及びステップＳ１３０で実行される画像の修復処理の他のサブルーチンを示すフローチャートであり、輝度勾配が最小となる等照線方向に修復する場合の例を示すものである。すなわち、対象画像のフレーム画像Ｉを入力し（ステップＳ６０１）、この画像Ｉ中で、修復対象となる欠損Ωを含む領域Ω′を検出する（ステップＳ６０２）。この検出した領域Ω′の境界δΩｔを識別する（ステップＳ６０３）。このステップＳ６０３の識別結果に基づき、δΩｔ＝０（ゼロ集合）否か、又は全ての修復処理が終了か否かをを判断する（ステップＳ６０４）。このステップＳ６０４の判断がＹＥＳであるならば、修復処理が終了した修復処理済みの画像データを出力して（ステップＳ６０５）、メインルーチンにリターンする。
【００９１】
また、ステップＳ６０４の判断がＮＯであるならば、境界上の画素の初期値を設定する（ステップＳ６０６）。そして、境界線δΩの内側に向けて、周囲画素から輝度勾配等に基づいて（輝度勾配が最小となる等照線方向など）、修復方向（ベクトル）を決定する（ステップＳ６０７）。
【００９２】
すなわち、グレースケール処理画像I 中の画素（i，ｊ）をI（i，j）とし、補完する領域をΩ（∈I）、領域の境界をδΩ（∈I）とする。補完処理はΩの外側から内側に向けて行われる。各画素の補間する方向を決定するために、境界線δΩ上において画素情報の連続性は等照方向に生じることを用いて、δΩからΩの内側に向いた修復方向ベクトルNを算出する。画像I上のすべての（i，j）において、離散的勾配ベクトル∇I（i，j）は最大空間的変化（largest spatial change）の方向を表す。このことから、このベクトルを90度回転した∇⊥I（i，j）ベクトルは最小空間的変化（smallest spatial change）方向を示し、等照線方向ベクトルN（i，j）は、
N（i，j）＝∇⊥I（i，j）＝｛−Iｙ（i，j），Iｘ（i，j）｝・・・（２１）
となる。
ただし、Iｘ，Iｙは、x,yの偏微分（輝度勾配）、
∇（i，j）は、離散的勾配ベクトル（最大変化方向）、
∇⊥I（i，j）は、∇（i，j）を９０度回転したベクトル（最小変化方向）。
【００９３】
次に、境界δΩ上の画素（i，j）において、下記式（２２）を用いて更新パラメータ（i，j）の変化量δＬ（i，j）を算出する（ステップＳ６０８）。
（例）Ｌ（i，j）は平滑関数。
δＬ（i，j）＝｛Ｌ（i+1，j）-Ｌ（i-1，j）,L（i,j+1）-1（i,j-1）｝・・・（２２）
【００９４】
また、βn(i，j)＝δLn（i，j）・Nn（i，j）/｜Nn（i，j）｜ ・・・（２３）
としたとき、隣接画素と処理画素との差から、画素情報の更新量｜∇ｎ（i，j）｜を算出する（ステップＳ６０９）。
なお、(βＮｎ＞０のとき)｜∇Ｉn（i，j）｜＝√｛（In×ｂｍ)２＋(In×fM)２＋(In×ybm)２＋(InyfM)２｝・・・（２４）
(βＮｎ＝０のとき)｜∇Ｉn（i，j）｜＝０・・・（２５）
(βＮｎ＜０のとき)｜∇Ｉn（i，j）｜＝√｛（In×xｂｍ)２＋(In×fM)２＋(In×ybM)２＋(InyfM)２｝・・・（２４）
ここで、添え字ｆ、ｂは、それぞれ、ｆ：前進差分、および、ｂ：後進差分を示し、ｍは導関数値と０を比較したときの最小値（min）、同様に、Mは導関数値と０を比較したときの最大値（MAX)、を意味する。
【００９５】
引き続き、下記式（２５）を用いて、繰り返し回数ｎ回目の更新情報Iｎｔ（i，j）を算出する（ステップＳ６１０）。
Iｎｔ（i，j）＝｛δLn（i，j）・Nn（i，j）/｜Nn（i，j）｜｝・｜∇In（i，j）｜・・・（２６）
ただし、｜∇In（i，j）｜は、隣接画素と処理画素との差分から算出した画素情報の更新量。
【００９６】
そして、下記式（２７）を用いて、Ω′領域内の各画素に対する更新情報Iｎｔ（i，j）を用いて、修復処理を実行する（ステップＳ６１１）。
Ｉ（ｎ＋１）（ｉ，ｊ）=Ｉｎ（ｉ，ｊ）+Δｔ・Ｉｎｔ（ｉ，ｊ）・・・（２６）
【００９７】
次に、当該領域の変化量δL（i，j）≒０であるか否か、更新情報Ｉ（ｎ＋１）（ｉ，Ｊ）≒Ｉｎ（ｉ，Ｊ）であるか否か、繰り返し回数ｎ≧ｎ（ｍａｘ）であるか否かの三条件のいずれかが満たされたか否かを判断する（ステップＳ６１２）。そして、これら三条件のいずれも満たされていない場合には、満たされるまでステップＳ６０７からの処理を繰り返す。その結果、前記三条件のいずれかが満たされたならば、次の領域を修復対象として（ステップＳ６１３）、前述したステップＳ６０２からの処理を繰り返す。
【００９８】
図１３は、以上に説明した修復処理フローに従った処理による修復処理例を示す図である。同図（ａ）に示すように、前記フローチャートにおける画像Ｉであって、消去処理された画像であり、欠損Ωを有する修復すべき領域である修復対象領域（点線内：領域Ω′）が存在している。このように、欠損Ωを有する領域Ω′が存在している画像Ｉに対して、図１２のフローチャートに従った修復処理が実行されることにより、同図（ｂ）に示すように、欠損箇所が修復処理された画像が得られることとなる。
【符号の説明】
【００９９】
１ デジタルカメラ
４ モニタ
１１ レンズブロック
１２ ズームモーター
１３ ＣＰＵ
１８ ＣＣＤ
１９ 水平ドライバ
２０ ユニット回路
２１ ＤＳＰ
２２ ＳＤＲＡＭ
２３ タッチパネル
２５ 外部メモリ
２６ フラッシュメモリ
２７ キー入力部
１１１ ズームレンズ
【特許請求の範囲】
【請求項１】
撮像手段と、
表示手段と、
この表示手段の表示面に対して外部から指示を検出する第１の検出手段と、
この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段と、
前記撮像手段によって撮像された画像を、前記表示手段に表示するよう制御する第１の表示制御手段と、
前記表示される画像の特徴量情報を取得する取得手段と、
前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
更に、前記加工手段によって加工された画像を加工前の画像から徐々に変化させて表示するよう制御する第２の表示制御手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
更に、前記加工手段によって加工された画像を記録媒体に記録する記録制御手段を備えることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
撮像手段と表示手段とを備える機器が有するコンピュータを、
前記表示手段の表示面対して外部から指示を検出する第１の検出手段、
この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段、
前記撮像手段によって撮像された画像を前記表示手段に表示するよう制御する第１の表示制御手段、
前記表示される画像の特徴量情報を取得する取得手段、
前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工手段、
として機能させることを特徴とするプログラム。
【請求項５】
表示手段の表示面対して外部から指示を検出する第１の検出ステップと、
この第１の検出ステップによる検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出ステップと、
撮像手段によって撮像された画像を前記表示手段に表示するよう制御する第１の表示制御ステップと、
前記表示される画像の特徴量情報を取得する取得ステップと、
前記第１の検出ステップによって検出された指示位置、前記第２の検出ステップによって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工ステップと、
を含むことを特徴とする画像処理方法。
【請求項１】
撮像手段と、
表示手段と、
この表示手段の表示面に対して外部から指示を検出する第１の検出手段と、
この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段と、
前記撮像手段によって撮像された画像を、前記表示手段に表示するよう制御する第１の表示制御手段と、
前記表示される画像の特徴量情報を取得する取得手段と、
前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
更に、前記加工手段によって加工された画像を加工前の画像から徐々に変化させて表示するよう制御する第２の表示制御手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
更に、前記加工手段によって加工された画像を記録媒体に記録する記録制御手段を備えることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
撮像手段と表示手段とを備える機器が有するコンピュータを、
前記表示手段の表示面対して外部から指示を検出する第１の検出手段、
この第１の検出手段による検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出手段、
前記撮像手段によって撮像された画像を前記表示手段に表示するよう制御する第１の表示制御手段、
前記表示される画像の特徴量情報を取得する取得手段、
前記第１の検出手段によって検出された指示位置、前記第２の検出手段によって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工手段、
として機能させることを特徴とするプログラム。
【請求項５】
表示手段の表示面対して外部から指示を検出する第１の検出ステップと、
この第１の検出ステップによる検出に続いて、その指示が検出された位置を始点として継続的に指示が検出された場合、その指示された位置の軌跡を少なくとも含む指示情報を検出する第２の検出ステップと、
撮像手段によって撮像された画像を前記表示手段に表示するよう制御する第１の表示制御ステップと、
前記表示される画像の特徴量情報を取得する取得ステップと、
前記第１の検出ステップによって検出された指示位置、前記第２の検出ステップによって検出された指示情報、及び、これらの指示位置及び指示情報に対応している画像領域の特徴量情報に基づいて、前記画像領域における特定の領域をその周囲から分離して加工する加工ステップと、
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−７７８７３（Ｐ２０１３−７７８７３Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１４９６８（Ｐ２０１１−２１４９６８）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]