画像表示装置
【課題】操作性を向上した画像表示装置を提供する。
【解決手段】画像表示装置は、表示面に画像を表示する画像表示部１４と、画像表示部１４の表示面上に存在する指示体の位置を検出する指示体検出部２０２と、画像表示部１４の表示面に表示する画像を生成する出力画像処理部１３と、を備える。出力画像処理部１３は、指示体検出部２０２が検出する指示体の位置に対応する画像中の領域を含む補助画像を、当該画像中の当該領域とは異なる領域に重畳させた画像を生成し得る。
【解決手段】画像表示装置は、表示面に画像を表示する画像表示部１４と、画像表示部１４の表示面上に存在する指示体の位置を検出する指示体検出部２０２と、画像表示部１４の表示面に表示する画像を生成する出力画像処理部１３と、を備える。出力画像処理部１３は、指示体検出部２０２が検出する指示体の位置に対応する画像中の領域を含む補助画像を、当該画像中の当該領域とは異なる領域に重畳させた画像を生成し得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
ユーザインターフェースとしてタッチパネルを採用した画像表示装置が、広く普及している。このような画像表示装置では、タッチパネル上の（表示された画像中の）所望の位置を、ユーザが自身の指やスタイラスなどの指示体を用いて指示するという、直感的な操作が行われる。
【０００３】
例えば、特許文献１及び特許文献２に、タッチパネルの操作性を向上させた画像表示装置が提案されている。これらの画像表示装置は、ユーザが指示する画像中の領域を拡大して表示し、さらに拡大して表示した領域に対してユーザの指示を受け付けることで、ユーザが容易に画像中の所望の位置を指示することを可能にする。
【０００４】
また例えば、特許文献３には、撮像により得られた画像と、当該画像の一部の領域を拡大した画像と、を併せて表示することで、フォーカスなどの撮像条件を変化させることに伴う画像の変化を、ユーザに確認させ易くする画像表示装置が提案されている。また例えば、特許文献４には、表示部に互いに独立したメイン画面とサブ画面を設け、メイン画面における何れかの領域の画像をサブ画面に表示する方法が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３２４２０２号公報
【特許文献２】特開平７−９８７６９号公報
【特許文献３】特開２００９−１７１２３号公報
【特許文献４】特開２００８−２４５０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ユーザがタッチパネルを操作し、画像中の所望の位置を指示する場合、当該位置を表示するタッチパネルの領域上に、指示体を位置させる必要がある。このとき、タッチパネルの当該領域を見るユーザの視線が、指示体や自身の手などによって遮られる。そのため、ユーザは、タッチパネルが表示する画像中の、指示した位置やその周辺を視認することが困難になる。例えばユーザは、タッチパネルの操作によって望んだ画像が得られたか否か、意図した位置を指示体によって正しく指示できているか否かなどを、把握することが困難になる。
【０００７】
したがって、例えばユーザは、タッチパネルの操作中にタッチパネルを様々な角度から覗き込んだり、タッチパネル上の操作を行っている位置から指示体を頻繁に離脱させたり（操作を断続的に行ったり）する必要がある。このように、従来のタッチパネルでは、操作性が十分ではないため、問題となる。なお、上記文献の画像表示装置のような、画像中の一部の領域を拡大して表示するタッチパネルであっても、ユーザがタッチパネルを操作する際に、タッチパネルの所望の領域上（拡大して表示させた領域上）に指示体を位置させることには変わらないため、この問題を解消することはできない。また、サブ画面を設ける方法を採用すると、全体像を表示すべきメイン画面の表示サイズが小さくなり、全体像の視認性が悪くなる。
【０００８】
そこで本発明は、操作性を向上した画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明における画像表示装置は、基準画像に基づく表示画像を表示面に表示する画像表示部と、前記画像表示部の表示面上に存在する指示体の位置を検出する指示体検出部と、前記基準画像に基づき前記表示面に表示されるべき出力画像を生成する出力画像処理部と、を備え、前記出力画像処理部は、前記指示体検出部による前記指示体の検出位置に対応する、前記基準画像中の特定領域を含む補助画像を、前記基準画像中の前記特定領域とは異なる重畳用領域に重畳させた重畳画像を、前記出力画像として生成し得ることを特徴とすることを特徴とする。
【００１０】
また、上記構成の画像表示装置において、前記出力画像処理部は、前記表示面に前記表示画像を表示した場合に前記指示体の下に表示される不可視領域を含む取得領域に基づいて前記補助画像を生成し、前記基準画像中の前記不可視領域とは異なる前記重畳用領域に前記補助画像を重畳させた前記重畳画像を、前記出力画像として生成し得ることとしても構わない。
【００１１】
また、上記構成の画像表示装置において前記出力画像処理部は、前記指示体の検出位置に基づいた処理を入力画像に施す画像処理実行部を備え、前記出力画像処理部は、前記処理が施された前記入力画像としての前記基準画像に基づき、前記補助画像及び前記重畳画像を生成し得ることとしても構わない。
【００１２】
このように構成すると、画像処理実行部が処理を行う際に、補助画像を含む画像が画像表示部の表示面に表示され得る。そのため、ユーザは、望んだ画像が得られたか否か、意図した位置を指示体によって正しく指示できているか否かなどを、容易に把握することが可能になる。
【００１３】
また、上記構成の画像表示装置において、前記画像処理実行部は、前記入力画像中の所定領域を変化させる処理と、前記入力画像中の所定領域の画質を調整する処理と、ユーザが自機の動作を操作するための画像を前記入力画像に重畳する処理と、の少なくとも一つを行い得ることとしても構わない。
【００１４】
また、上記構成の画像表示装置において、ユーザに操作される操作部を更に備え、前記操作部が操作されているとき、前記出力画像処理部が、順次得られる前記指示体検出部の検出結果または前記操作部の操作の開始時以前に得られた前記指示体検出部の検出結果を、有効なものとして扱うこととしても構わない。
【００１５】
このように構成すると、画像表示部の表示面上に指示体が存在しない場合であっても、ユーザが操作部を操作することで、模擬的に画像表示部の表示面上に指示体が存在するものとして出力画像処理部を動作させることが可能になる。そのため、画像表示装置の操作性を、さらに向上させることが可能になる。
【００１６】
また、上記構成の画像表示装置において、前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に存在する前記指示体を検出しているとき、前記出力画像処理部は、順次得られる前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱い、前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に前記指示体が存在しないことを検出しているとき、前記出力画像処理部は、前記表示面上に存在する前記指示体を検出した直近の前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱うこととしても構わない。
【００１７】
このように構成すると、ユーザが、指示体を画像表示部の表示面上から一時的に離脱させて、表示される画像の全体を視認する間に、操作部を操作しておくことで、その間も擬似的に画像表示部の表示面上に指示体が存在する（例えば、ユーザによる指示体検出部の操作が終了しておらず、画像表示部の表示面上で指示体の動きを一時的に止めた）ものとして、出力画像処理部を動作させることが可能になる。
【００１８】
また、上記構成の画像表示装置において、ユーザに操作される操作部を更に備え、前記操作部が操作されているとき、前記出力画像処理部が、前記操作部の操作の開始時よりも後に得られる前記指示体検出部の検出結果を、無効なものとして扱うこととしても構わない。
【００１９】
このように構成すると、ユーザが操作部を操作することで、指示体検出部を無効化することが可能になる。そのため、画像表示装置の操作性を、さらに向上させることが可能になる。
【００２０】
また、上記構成の画像表示装置において、前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に存在する前記指示体を検出しているとき、前記出力画像処理部は、前記指示体検出部が前記表示面に前記指示体が存在しないことを検出するときの前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱い、前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に前記指示体が存在しないことを検出しているとき、前記出力画像処理部は、前記指示体検出部が前記表示面に前記指示体が存在しないことを検出するときの前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱うこととしても構わない。
【００２１】
このように構成すると、ユーザが、指示体検出部の操作を終了して指示体を画像表示部の表示面上から離脱させる際に、誤って指示体を動かし当該動きを指示体検出部が検出したとしても、指示体検出部の操作を終了した時点で操作部を操作しておくことで、当該動きを示す指示体検出部の検出結果を、無効化することが可能になる。
【００２２】
また、上記構成の画像表示装置において、ユーザに操作される操作部を更に備え、前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否か、及び、前記操作部が操作されているか否か、の少なくとも一方に基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定することとしても構わない。
【００２３】
また、上記構成の画像表示装置において、前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否かに基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定することとしても構わない。
【００２４】
このように構成すると、真に画像表示部の表示面上に指示体が存在している場合に、補助画像を含む画像を画像表示部の表示面に表示させることが可能になる。
【００２５】
また、上記構成の画像表示装置において、前記操作部が操作されているか否かに基づいて、前記出力画像処理部が、前記重畳画像を前記出力画像として生成するか否かを決定することとしても構わない。
【００２６】
このように構成すると、操作部をユーザが操作するという、ユーザによる明示の要求がある場合に、補助画像を含む画像を画像表示部の表示面に表示させることが可能になる。
【００２７】
また、上記構成の画像表示装置において、前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否か、及び、前記操作部が操作されているか否かに基づき、前記出力画像処理部が有効なものとして扱う前記指示体検出部の検出結果に基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定することとしても構わない。
【００２８】
このように構成すると、画像表示装置の操作性を向上させるべく動作する出力画像処理部の動作に合わせて、補助画像を含む画像を画像表示部の表示面に表示させるか否かを決定することが可能になる。
【００２９】
また、上記構成の画像表示装置において、前記出力画像処理部は、前記指示体の検出位置を表す付加画像を前記補助画像中に示した前記重畳画像を、前記出力画像として生成し得ることとしても構わない。
【００３０】
このように構成すると、画像表示部の表示面に表示される画像中の指示体の下に表示される領域と、指示体の位置との関係を、ユーザが容易に把握することが可能になる。
【００３１】
また、上記構成の画像表示装置において、前記指示体検出部が、前記画像表示部の表示面上に存在する指示体の位置及び面積を検出するものであり、前記出力画像処理部が、補助画像に含まれる、前記指示体検出部が検出する指示体の位置及び面積に対応する画像中の領域の位置及び面積を表す付加画像を、当該画像に付加した画像を生成し得ることとしても構わない。
【００３２】
このように構成すると、画像表示部の表示面に表示される画像中の指示体の下に表示される領域と、指示体の位置及び面積との関係を、ユーザが容易に把握することが可能になる。
【００３３】
また、前記出力画像処理部は、前記基準画像の前記重畳用領域に対して前記補助画像を重畳することで前記重畳画像を生成してもよい。
【００３４】
また、前記指示体検出部によって複数の位置が検出されたとき、前記出力画像処理部は、複数の検出位置に対応する複数の特定領域を設定して前記複数の特定領域に対応する複数の補助画像を前記基準画像から生成し、前記複数の特定領域とは異なる、前記基準画像の複数の重畳用領域に対して前記複数の補助画像を重畳することで前記重畳画像を生成しても構わない。
【００３５】
また、前記指示体検出部によって複数の位置が検出されたとき、前記出力画像処理部は、前記複数の検出位置間の距離に応じて第１又は第２生成処理を択一的に行うようにしても良い。前記第１生成処理において、前記出力画像処理部は、前記複数の検出位置を内包する領域を含む単一画像を前記補助画像として前記基準画像から生成し、前記複数の検出位置を内包する前記領域と異なる、前記基準画像の前記重畳用領域に対して前記補助画像を重畳することで前記重畳画像を生成してもよい。前記第２生成処理において、前記出力画像処理部は、前記複数の検出位置に対応する複数の特定領域を設定して前記複数の特定領域を含む複数の補助画像を前記基準画像から生成し、前記複数の特定領域とは異なる、前記基準画像の複数の重畳用領域に対して前記複数の補助画像を重畳することで前記重畳画像を生成してもよい。
【００３６】
これにより、複数の検出位置間の距離に応じた補助画像が生成され、ユーザの視認性向上が期待される。
【００３７】
また、前記補助画像が前記重畳用領域に重畳された前記重畳画像が前記出力画像として且つ前記表示画像として前記表示面に表示されている場合において、前記表示面における前記補助画像上に前記指示体が存在していることが検出されたとき、前記出力画像処理部は、前記補助画像上の前記指示体の検出位置に対応する領域を含む第２補助画像を前記基準画像又は前記補助画像から生成して、前記重畳用領域とは異なる、前記重畳画像の第２重畳用領域に対して前記第２補助画像を更に重畳したマルチ重畳画像を、前記出力画像として生成しても良い。
【００３８】
これにより、ユーザは、補助画像中の領域を、第２補助画像にて更に詳細に確認するといったことが可能となる。
【００３９】
また、前記補助画像が前記重畳用領域に重畳された前記重畳画像が前記出力画像として且つ前記表示画像として前記表示面に表示されている場合において、前記表示面における前記補助画像上に前記指示体が存在していることが検出されたとき、前記出力画像処理部は、前記補助画像上の前記指示体の検出位置に基づき、前記重畳画像に重畳されるべき前記補助画像を変更してもよい。
【発明の効果】
【００４０】
本発明の構成とすると、ユーザは、画像表示部の表示面に表示される画像中の指示体の下に表示される領域を、補助画像によって容易に視認することが可能になる。したがって、画像表示装置の操作性を向上させることが可能になる。
【００４１】
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００４２】
【図１】は、本発明の実施の一形態である撮像装置の構成例を示すブロック図である。
【図２】は、出力画像が表示された画像表示部の表示面を示す図である。
【図３】は、出力画像処理部の構成例を示すブロック図である。
【図４】は、指示体情報修正部の動作例（Ａ１）を示す表である。
【図５】は、指示体情報修正部の動作例（Ａ２）を示す表である。
【図６】は、指示体情報修正部の動作例（Ａ３）を示す表である。
【図７】は、補助画像表示制御部の動作例（Ｂ１）を示す表である。
【図８】は、補助画像表示制御部の動作例（Ｂ２）を示す表である。
【図９】は、補助画像表示制御部の動作例（Ｂ３）を示す表である。
【図１０】は、画像処理実行部の動作例（Ｃ１）について説明する図である。
【図１１】は、画像処理実行部の動作例（Ｃ２）について説明する図である。
【図１２】は、画像処理実行部の動作例（Ｃ２）について説明する図である。
【図１３】は、画像処理実行部の動作例（Ｃ３）について説明する図である。
【図１４】は、補助画像重畳部の動作例（Ｄ１）について説明する図である。
【図１５】は、補助画像重畳部の動作例（Ｄ２）について説明する図である。
【図１６】は、出力画像処理部の第１動作例について説明する図である。
【図１７】は、出力画像処理部の第２動作例について説明する図である。
【図１８】は、出力画像処理部の第３動作例について説明する図である。
【図１９】は、出力画像処理部の第４動作例について説明する図である。
【図２０】は、出力画像処理部の第４動作例について説明する図である。
【図２１】は、出力画像処理部の第４動作例について説明する図である。
【図２２】は、出力画像処理部の第５動作例について説明する図である。
【図２３】は、出力画像処理部の第６動作例について説明する図である。
【発明を実施するための形態】
【００４３】
本発明の実施の形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの画像（動画（各フレーム）及び静止画を含む。以下同じ。）信号の生成、記録及び表示や、音響信号の生成、記録及び再生が可能なものである。
【００４４】
＜＜撮像装置＞＞
まず、本発明の実施の一形態である、タッチパネルを備えた撮像装置の構成例について、図１を参照して説明する。図１は、本発明の実施の一形態である撮像装置の構成例を示すブロック図である。
【００４５】
図１に示すように、撮像装置１は、入射される光学像を電気信号である画像信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００４６】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログの画像信号をデジタルに変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される画像信号に階調補正処理などの各種画像処理を施す入力画像処理部５と、入力される音を電気信号である音響信号に変換する集音部６と、集音部６から出力されるアナログの音響信号をデジタルに変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号にノイズ除去などの各種音響処理を施して出力する音響処理部８と、入力画像処理部５から出力される画像信号と音響処理部８から出力される音響信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮符号化方式などの動画用の圧縮符号化処理を施したり入力画像処理部５から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮符号化方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１が外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。
【００４７】
また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号や入力画像処理部５から出力される画像信号に所定の処理を施す出力画像処理部１３と、モニタなどから成り画像信号を表示面に表示する画像表示部１４と、出力画像処理部１３から出力される画像信号を画像表示部１４で表示可能な形式の画像信号に変換する画像信号出力回路部１５と、スピーカなどから成り音響信号を再生する音響再生部１６と、伸長処理部１２で復号されて得られる音響信号を音響再生部１６で再生可能な形式の音響信号に変換する音響信号出力回路部１７と、を備える。なお、出力画像処理部１３の構成の詳細については、後述する。
【００４８】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１８と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１９と、操作部２０１や指示体検出部２０２などから成り、ユーザからの指示が入力される入力部２０と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部２１と、ＣＰＵ１８と各ブロックとの間でデータのやりとりを行うためのバス２２と、メモリ１９と各ブロックとの間でデータのやりとりを行うためのバス２３と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス２２，２３を省略する。
【００４９】
操作部２０１は、例えば、複数のボタンを備え、ユーザに押下されることで撮像の開始や終了などの各種指示の入力を検出する。指示体検出部２０２は、例えば、画像表示部１４の表示面上に配置されて指示体の接触や接近を静電容量の変化や抵抗値の変化として検出する検出膜を備え、画像表示部１４の表示面上に存在する指示体の位置や面積（指示体が画像表示部１４の表示面上を占める面積。例えば、指示体が検出膜に接触する面積。）を検出する。また、画像表示部１４と指示体検出部２０２とでタッチパネルが構成される。
【００５０】
次に、撮像装置１の動作例について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換する（撮像する）ことによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部２１から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。
【００５１】
そして、ＡＦＥ４によってアナログからデジタルへと変換された画像信号は、入力画像処理部５に入力される。入力画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１９はフレームメモリとして動作し、入力画像処理部５が処理を行なう際に画像信号を一時的に保持する。
【００５２】
また、このとき入力画像処理部５に入力される画像信号に基づき、レンズ部３において、レンズ位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり（オートフォーカス、オートエクスポージャ）、ユーザの指示に基づいて手動で行われたりする。
【００５３】
動画の画像信号を生成する場合、集音部６において集音を行う。集音部６で集音されてアナログの電気信号に変換される音響信号は、ＡＤＣ７に入力される。ＡＤＣ７は、入力される音響信号をデジタルに変換し、音響処理部８に入力する。音響処理部８は、入力される音響信号にノイズ除去や強度制御などの各種音響処理を施す。そして、入力画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮符号化方式で圧縮符号化される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。一方、静止画の画像信号を生成する場合、入力画像処理部５から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮符号化方式で圧縮符号化される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。
【００５４】
外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。また、伸長処理部１２は、外部メモリ１０に記録された静止画の圧縮符号化信号も同様に復号して画像信号を生成し、出力する。
【００５５】
伸長処理部１２から出力される画像信号は、出力画像処理部１３に入力される。また、画像信号の記録前や記録中に、撮像して得られる画像信号が画像表示部１４の表示面に表示され、ユーザに視認される。この場合、入力画像処理部５から出力される画像信号が、バス２２を介して出力画像処理部１３に入力される。出力画像処理部１３は、入力されるこれらの画像信号に所定の処理を施して、画像信号出力回路部１５に入力する。なお、出力画像処理部１３から出力される画像信号が圧縮処理部９に入力されて圧縮符号化され、得られる圧縮符号化信号がドライバ部１１を介して外部メモリ１０に記録されても構わない。また、出力画像処理部１３の動作の詳細については、後述する。
【００５６】
画像信号出力回路部１５は、出力画像処理部１３から出力される画像信号を、画像表示部１４で表示可能な形式に変換して出力する。また、音響信号出力回路部１７は、伸長処理部１２から出力される音響信号を、音響再生部１６で再生可能な形式に変換して出力する。
【００５７】
なお、動画及び静止画の画像信号を生成可能な撮像装置１を一例として示したが、撮像装置１が、動画及び静止画のいずれか一方の画像信号のみ生成可能な構成であっても構わない。
【００５８】
また、音響信号の集音に係る機能（例えば、集音部６、ＡＤＣ７、音響処理部８及び圧縮処理部９の音響信号に係る部分）及び音響信号の再生に係る機能（例えば、伸長処理部１２の音響信号に係る部分、音響再生部１６及び音響信号出力回路部１７）の少なくとも一方を備えない構成としても構わない。また、撮像に係る機能（例えば、イメージセンサ２、レンズ部３、ＡＦＥ４、入力画像処理部５及び圧縮処理部９の画像信号に係る部分）を備えない構成としても構わない。
【００５９】
また、操作部２０１は、物理的なボタンに限られず、タッチパネルの一部として構成されるボタン（画像表示部１４の表示面にボタンが表示され、ボタンが表示された領域上の指示体の有無を指示体検出部２０２が検出することで押下の有無が検出されるボタン）であっても構わない。また、指示体検出部２０２は、画像表示部１４の表示面上に設けられる検出膜に限られず、画像表示部１４の表示面の周囲に設けられる光学的なセンサであっても構わない。
【００６０】
また、外部メモリ１０は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００６１】
＜＜出力画像処理部＞＞
上述した出力画像処理部１３の構成及び動作の詳細について、以下図面を参照して説明する。また、以下では説明の簡略化のために、出力画像処理部１３が処理する画像信号を画像として表現する。さらに、出力画像処理部１３に入力されて処理される画像信号を「入力画像」と表現し、出力画像処理部１３で処理されて出力される画像信号を「出力画像」と表現する。
【００６２】
＜補助画像＞
最初に、出力画像処理部１３が生成し得る出力画像について図面を参照して説明する。図２は、出力画像が表示された画像表示部１４の表示面を示す図である。図２（ａ）及び（ｂ）では、画像表示部１４の表示面に表示される出力画像と、画像表示部１４の表示面上に存在する指示体Ｆとを明確に区別するため、指示体Ｆに斜線のハッチングを付して表現している。
【００６３】
図２（ａ）に示すように、ユーザが画像表示部１４の表示面上に指示体Ｆを位置させると（指示体検出部２０２を操作すると）、指示体Ｆの下に表示される出力画像中の領域を、ユーザが視認することが困難になる。そのため、例えばユーザは、指示体検出部２０２の操作によって望んだ出力画像が得られたか否か、意図した位置を指示体Ｆによって正しく指示できているか否かなどを、容易に把握することが困難になる。
【００６４】
そこで、図２（ｂ）に示すように、本例の出力画像処理部１３は、指示体検出部２０２が検出する指示体Ｆの位置に対応する出力画像中の領域を含む補助画像Ｓを、当該出力画像中の当該領域とは異なる領域に重畳させた出力画像を生成する。
【００６５】
具体的には、図２（ｂ）に示すように、出力画像処理部１３が、画像表示部１４の表示面に出力画像を表示した場合に指示体Ｆの下に表示される不可視領域（図中、指示体Ｆと重なる画像中の領域）を含む取得領域Ｕに基づいて補助画像Ｓを生成し、当該画像中の不可視領域とは異なる領域に補助画像Ｓを重畳することで出力画像を生成する。
【００６６】
以上のように構成すると、ユーザは、画像表示部１４の表示面に表示される出力画像中の指示体の下に表示される領域を、補助画像Ｓによって容易に視認することが可能になる。したがって、撮像装置１の操作性を向上させることが可能になる。
【００６７】
なお、出力画像処理部１３は、図２（ｂ）の出力画像のように、取得領域Ｕの大きさを略変更しない補助画像Ｓを含む出力画像を生成しても構わないし、取得領域Ｕの大きさを変更した（例えば、拡大した）補助画像Ｓを含む出力画像を生成しても構わない。
【００６８】
また、説明の都合上、図２（ｂ）において取得領域Ｕを示しているが、出力画像処理部１３は、取得領域Ｕを示さない出力画像を生成しても構わないし、取得領域Ｕを示す出力画像を生成しても構わない。
【００６９】
＜出力画像処理部の構成例＞
以下、上記の補助画像を含む出力画像を生成する出力画像処理部１３の構成例や動作例について説明する。まず、出力画像処理部１３の構成例について、図面を参照して説明する。図３は、出力画像処理部の構成例を示すブロック図である。
【００７０】
図３に示すように、出力画像処理部１３は、操作部２０１から出力される操作情報に基づいて指示体検出部２０２から出力される指示体情報を修正し修正指示体情報を生成する指示体情報修正部１３１と、操作情報と指示体情報と修正指示体情報と補助画像表示モード情報とに基づいて補助画像生成情報を生成する補助画像表示制御部１３２と、修正指示体情報に基づき入力画像に処理を施して処理後画像を生成する画像処理実行部１３３と、補助画像生成情報と付加画像表示情報とに基づいて処理後画像中に補助画像を重畳させた出力画像を生成し得る補助画像重畳部１３４と、を備える。
【００７１】
操作情報は、例えば操作部２０１に含まれる所定のボタンの状態を示す情報であり、当該所定のボタンが押下されることで操作あり（ＯＮ）となり、押下されなければ操作なし（ＯＦＦ）となる。
【００７２】
指示体情報は、指示体検出部２０２が検出する画像表示部１４の表示面上に存在する指示体の位置を示す情報であり、入力画像中及び処理後画像中の不可視領域を示すものとしても解釈され得る。なお、指示体情報が、画像表示部１４の表示面上における指示体の位置だけでなく、指示体の面積をも含む情報であっても構わない。以下では、説明の簡略化のため、指示体情報が、画像表示部１４の表示面上における指示体の位置及び面積を示すものとする。
【００７３】
修正指示体情報は、撮像装置１の操作性の向上等のために、指示体情報修正部１３１が必要に応じて指示体情報を修正することで得られる情報である。また、補助画像表示モード情報は、補助画像を含む出力画像の生成の要否の決定方法を示す情報である。補助画像表示モード情報は、例えばユーザや製造者などによって決定され、ＣＰＵ１８などから入力される。
【００７４】
補助画像生成情報は、補助画像重畳部１３４が補助画像を生成するための情報であり、補助画像を含む出力画像の生成の要否を示す情報（以下、要否情報とする）や、補助画像重畳部１３４が処理後画像中の取得領域を設定するための情報（以下、取得領域情報とする）が含まれる。
【００７５】
また、付加画像表示情報は、補助画像を含む出力画像に対して付加する画像（以下、付加画像とする）の要否やその表示形式などを示す情報である。付加画像表示情報は、例えばユーザや製造者などによって決定され、ＣＰＵ１８などから入力される。
【００７６】
なお、図３に示す構成例は一例に過ぎず、補助画像を含む出力画像を生成し得るものである限り、どのような構成であっても構わない。例えば、指示体情報修正部１３１を設けない構成としても構わない。この場合、修正指示体情報を指示体情報とする。また例えば、画像処理実行部１３３を設けなくても構わないし、画像処理実行部１３３が入力画像処理部５に含まれても構わない（処理後画像が外部メモリ１０に記録され得る構成としても構わない）。この場合、処理後画像を入力画像とする。また例えば、操作情報を不要としても構わない。ただし、以下では説明の簡略化のため、画像処理部１３が、図３に示す構成であるものとする。
【００７７】
［指示体情報修正部］
指示体情報修正部１３１は、操作情報に基づいて、必要に応じて指示体情報を修正し、修正指示体情報として出力する。この指示体情報修正部１３１の動作例について、図面を参照して説明する。図４〜図６は、指示体情報修正部の動作例（Ａ１〜Ａ３）を示す表である。
【００７８】
図４〜図６中の「指示体検出」とは、指示体検出部２０２が、画像表示部１４の表示面上に存在する指示体を検出する場合であり、検出する指示体の位置及び面積を指示体情報として出力する場合である。一方、「指示体非検出」とは、指示体検出部２０２が、画像表示部１４の表示面上に指示体が存在しないことを検出する場合であり、その旨を指示体情報として出力する（または、無出力とする）場合である。また、「操作あり」とは、ユーザが操作部２０１を操作し（例えば、操作部２０１の所定のボタンがユーザに押下され）、操作部２０１がその旨を操作情報として出力する場合である。一方、「操作なし」とは、ユーザが操作部２０１を操作せず（例えば、操作部２０１の所定のボタンがユーザに押下されず）、操作部２０１がその旨を操作情報として出力する場合である。
【００７９】
（動作例：Ａ１）
図４は、指示体情報修正部の動作例（Ａ１）を示す表である。本動作例では、指示体情報修正部１３１が、操作情報と関連しない修正指示体情報を出力する。換言すると、出力画像処理部１３が、順次入力される指示体情報を有効なものとして扱う。
【００８０】
図４に示すように、本動作例では、操作部２０１がユーザに操作されているか否か、指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出するか否か、にかかわらず、指示体情報修正部１３１が指示体情報と同じ修正指示体情報を出力する。
【００８１】
（動作例：Ａ２）
図５は、指示体情報修正部の動作例（Ａ２）を示す表である。本動作例では、ユーザが操作部２０１を操作すると、指示体情報修正部１３１が、入力されている（または、されていた）指示体情報を保持し、当該指示体情報を修正指示体情報として出力する。換言すると、操作部２０１がユーザに操作されているとき、出力画像処理部１３が、順次得られる指示体情報または操作部２０１の操作の開始時以前に得られた指示体情報を、有効なものとして扱う。
【００８２】
図５に示すように、本動作例では、操作部２０１がユーザに操作されていない場合、指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出するか否かにかかわらず、指示体情報修正部１３１が指示体情報と同じ修正指示体情報を出力する。
【００８３】
一方、操作部２０１がユーザに操作されており且つ指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出している場合、指示体情報修正部１３１が、指示体情報と同じ修正指示体情報を出力する。または、この場合、指示体情報修正部１３１が、操作部２０１の操作がある旨を示す操作情報の入力開始時（操作部２０１の操作の開始時）に入力された指示体情報を保持し、当該指示体情報を修正指示体情報として継続的に出力する。なお、指示体情報修正部１３１が上記のいずれの修正指示体情報を出力するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。
【００８４】
また、操作部２０１がユーザに操作されており且つ指示体検出部２０２が画像表示部１４の表示面上に指示体が存在しないことを検出している場合、指示体情報修正部１３１が、画像表示部１４の表示面上に存在する指示体を検出したときの指示体情報であり、直近（最後）に入力されて保持しておいたものを修正指示体情報として出力する。または、この場合、指示体情報修正部１３１が、操作部２０１の操作がある旨を示す操作情報の入力開始時（操作部２０１の操作の開始時）に入力された指示体情報を保持し、当該指示体情報を修正指示体情報として継続的に出力する。なお、指示体情報修正部１３１が上記のいずれの修正指示体情報を出力するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。
【００８５】
このように構成すると、画像表示部１４の表示面上に指示体が存在していない場合であっても、ユーザが操作部２０１を操作することで、模擬的に画像表示部１４の表示面上に指示体が存在しているものとして出力画像処理部１３を動作させることが可能になる。そのため、撮像装置１の操作性を、さらに向上させることが可能になる。
【００８６】
具体的に例えば、ユーザが、指示体を画像表示部１４の表示面上から一時的に離脱させて、表示される出力画像の全体を視認する間に、操作部２０１を操作しておくことで、その間も擬似的に画像表示部１４の表示面上に指示体が存在している（例えば、ユーザによる指示体検出部２０２の操作が終了しておらず、画像表示部１４の表示面上で指示体の動きを一時的に止めた）ものとして、出力画像処理部１３を動作させることが可能になる。
【００８７】
（動作例：Ａ３）
図６は、指示体情報修正部の動作例（Ａ３）を示す表である。本動作例では、ユーザが操作部２０１を操作すると、指示体情報修正部１３１が、その後入力される指示体情報を拒否し、当該指示体情報とは関連なく修正指示体情報を出力する。換言すると、操作部２０１がユーザに操作されているとき、出力画像処理部１３が、操作部２０１の操作の開始時よりも後に得られる指示体情報を、無効なものとして扱う。
【００８８】
図６に示すように、本動作例では、操作部２０１がユーザに操作されていない場合、指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出するか否かにかかわらず、指示体情報修正部１３１が指示体情報と同じ修正指示体情報を出力する。
【００８９】
一方、操作部２０１がユーザに操作されており且つ指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出している場合、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在しないことを検出する旨を示す修正指示体情報を出力する（または、無出力とする）。または、この場合、指示体情報修正部１３１が、操作部２０１の操作がある旨を示す操作情報の入力開始時（操作部２０１の操作の開始時）に入力された指示体情報を保持し、当該指示体情報を修正指示体情報として継続的に出力する。なお、指示体情報修正部１３１が上記のいずれの修正指示体情報を出力するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。
【００９０】
また、操作部２０１がユーザに操作されており且つ指示体検出部２０２が画像表示部１４の表示面上に指示体が存在しないことを検出している場合、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在しないことを検出する旨を示す修正指示体情報を出力する（または、無出力とする）。または、この場合、指示体情報修正部１３１が、操作部２０１の操作がある旨を示す操作情報の入力開始時（操作部２０１の操作の開始時）に入力された指示体情報を保持し、当該指示体情報を修正指示体情報として継続的に出力する。なお、指示体情報修正部１３１が上記のいずれの修正指示体情報を出力するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。
【００９１】
このように構成すると、ユーザが操作部２０１を操作することで、指示体検出部２０２を無効化することが可能になる。そのため、撮像装置１の操作性を、さらに向上させることが可能になる。
【００９２】
具体的に例えば、ユーザが、指示体検出部２０２の操作を終了して指示体を画像表示部１４の表示面上から離脱させる際に、誤って指示体を動かし当該動きを指示体検出部２０２が検出したとしても、指示体検出部２０２の操作を終了した時点で操作部２０１を操作しておくことで、当該動きを示す指示体情報を無効化することが可能になる。
【００９３】
なお、上述の動作例Ａ１〜Ａ３は一例に過ぎず、これらを部分的に変更しても構わないし、指示体情報修正部１３１が動作例Ａ１〜Ａ３以外の動作をしても構わない。また、指示体情報修正部１３１が、動作例Ａ１〜Ａ３のいずれで動作するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。後者の場合、後述する補助画像表示制御部１３２と同様に、動作例Ａ１〜Ａ３のいずれで動作するかを指示する情報が指示体情報修正部１３１に入力され、当該情報が指示する動作例の通りに指示体情報修正部１３１が動作しても構わない。さらに、当該情報が補助画像表示モード情報であっても構わない。即ち、指示体情報修正部１３１が、補助画像表示制御部１３２と連動しても構わない。
【００９４】
また、撮像装置１の動作状態に応じて、動作例Ａ１〜Ａ３が適宜選択されることとしても構わない。また、動作例Ａ２及び動作例Ａ３を同時に実施しても構わない。この場合、それぞれの動作例における操作情報（例えば、操作部２０１のボタン）が異なると好ましく、それぞれの操作情報が同時に入力された場合にどちらかの動作例が優先されると好ましい。
【００９５】
［補助画像表示制御部］
補助画像表示制御部１３２は、例えば指示体情報または修正指示体情報を、取得領域情報にする。そして、補助画像表示制御部１３２は、この取得領域情報を、補助画像生成情報に含めて出力する。
【００９６】
また、補助画像表示制御部１３２は、操作情報と指示体情報と修正指示体情報と補助画像表示モード情報とに基づいて、補助画像を含む出力画像の生成の要否を決定する。そして、補助画像表示制御部１３２は、この決定結果を示す要否情報を、補助画像生成情報に含めて出力する。この補助画像表示制御部１３２の動作例について、図面を参照して説明する。図７〜図９は、指示体情報修正部の動作例（Ｂ１〜Ｂ３）を示す表である。
【００９７】
図７〜図９中の「表示」とは、補助画像表示制御部１３２が、画像表示部１４の表示面に補助画像を含む出力画像を表示することを決定する場合を指す。一方、「非表示」とは、補助画像表示制御部１３２が、画像表示部１４の表示面に補助画像を含まない出力画像を表示することを決定する場合を指す。なお、これらの他は図４〜図６について説明したものと同様であるため、説明を省略する。
【００９８】
（動作例：Ｂ１）
図７は、補助画像表示制御部の動作例（Ｂ１）を示す表である。本動作例では、補助画像表示制御部１３２が、補助画像を含む出力画像を生成するか否かを、指示体情報を優先して決定する。また、この決定方法を示す補助画像表示モード情報が、補助画像表示制御部１３２に入力される。
【００９９】
図７に示すように、本動作例では、指示体情報修正部１３１の動作例Ａ１〜Ａ３や操作部２０１がユーザに操作されているか否かにかかわらず、指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出しているときに、補助画像表示制御部１３２が、補助画像を含む出力画像を生成することを決定する。また、指示体検出部２０２が画像表示部１４の表示面上に指示体が存在しないことを検出しているときに、補助画像表示制御部１３２が、補助画像を含まない出力画像を生成することを決定する。
【０１００】
このように構成すると、真に画像表示部１４の表示面上に指示体が存在している場合に、補助画像を含む出力画像を画像表示部１４の表示面に表示させることが可能になる。
【０１０１】
（動作例：Ｂ２）
図８は、補助画像表示制御部の動作例（Ｂ２）を示す表である。本動作例では、補助画像表示制御部１３２が、補助画像を含む出力画像を生成するか否かを、操作情報を優先して決定する。また、この決定方法を示す補助画像表示モード情報が、補助画像表示制御部１３２に入力される。
【０１０２】
図８に示すように、本動作例では、指示体情報修正部１３１の動作例Ａ１〜Ａ３や指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出しているか否かにかかわらず、操作部２０１がユーザに操作されているときに、補助画像表示制御部１３２が、補助画像を含む出力画像を生成することを決定する。また、操作部２０１がユーザに操作されていないときに、補助画像表示制御部１３２が、補助画像を含まない出力画像を生成することを決定する。
【０１０３】
このように構成すると、操作部２０１をユーザが操作するという、ユーザによる明示の要求がある場合に、補助画像を含む出力画像を画像表示部１４の表示面に表示させることが可能になる。
【０１０４】
（動作例：Ｂ３）
図９は、補助画像表示制御部の動作例（Ｂ３）を示す表である。本動作例では、補助画像表示制御部１３２が、補助画像を含む出力画像を生成するか否かを、修正指示体情報（指示体情報及び操作情報に基づいて、出力画像処理部１３が有効なものとして扱う指示体情報。図４〜図６参照。）を優先して決定する。また、この決定方法を示す補助画像表示モード情報が、補助画像表示制御部１３２に入力される。
【０１０５】
図９に示すように、本動作例では、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在する旨の修正指示体情報を出力するときに（図４〜図６参照）、補助画像表示制御部１３２が、補助画像を含む出力画像を生成することを決定する。また、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在しない旨の修正指示体情報を出力するときに（図４〜図６参照）、補助画像表示制御部１３２が、補助画像を含まない出力画像を生成することを決定する。
【０１０６】
指示体情報修正部１３１が動作例Ａ３で動作し、操作部２０１がユーザに操作される場合、例えば製造者の決定やユーザの決定次第で、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在する旨の修正指示体情報か、画像表示部１４の表示面上に指示体が存在しない旨の修正指示体情報を出力する（図６参照）。この場合も上記と同様に、指示体情報修正部１３１が出力する修正指示体情報に基づいて、補助画像表示制御部１３２が補助画像を含む出力画像を生成するか否かを決定する。
【０１０７】
このように構成すると、撮像装置１の操作性を向上させるべく生成される修正指示体情報に合わせて、補助画像を含む出力画像を画像表示部１４の表示面に表示させるか否かを決定することが可能になる。
【０１０８】
なお、上述の動作例Ｂ１〜Ｂ３は一例に過ぎず、これらを部分的に変更しても構わないし、補助画像表示制御部１３２が動作例Ｂ１〜Ｂ３以外の動作をしても構わない。また、補助画像表示制御部１３２が、動作例Ｂ１〜Ｂ３のいずれで動作するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。前者の場合、補助画像表示モード情報が、補助画像表示制御部１３２に入力されないこととしても構わない。
【０１０９】
また、補助画像表示制御部１３２が、指示体情報及び修正指示体情報のいずれを取得領域情報にするかを、補助画像表示モード情報に基づいて決定しても構わない。具体的に例えば、補助画像表示制御部１３２が、動作例Ｂ１のように指示体情報を優先して補助画像を含む出力画像の生成の要否を決定する場合、指示体情報を取得領域情報にしても構わない。また例えば、補助画像表示制御部１３２が、動作例Ｂ３のように修正指示体情報を優先して補助画像を含む出力画像の生成の要否を決定する場合、修正指示体情報を取得領域情報にしても構わない。
【０１１０】
［画像処理実行部］
画像処理実行部１３３は、修正指示体情報に基づいた画像処理を入力画像に施して、処理後画像を生成する。この画像処理実行部１３３の動作例について、図面を参照して説明する。図１０〜図１３は、画像処理実行部の動作例（Ｃ１〜Ｃ３）について説明する図である。
【０１１１】
（動作例：Ｃ１）
図１０は、画像処理実行部の動作例（Ｃ１）について説明する図であり、入力画像の一例を示すものである。本動作例では、画像処理実行部１３３が、入力画像中の不要物体領域Ｂを除去する処理を行う。
【０１１２】
図１０に示すように、本動作例では、最初にユーザが、画像表示部１４の表示面に表示される出力画像（図１０の入力画像）を視認し、不要物体領域Ｂを指示体で指示する。このとき、画像表示部１４の表示面上における指示体の位置及び面積を指示体検出部２０２が検出し、入力画像中の不要物体領域Ｂの位置及び面積を示す修正指示体情報を、画像処理実行部１３３に入力する。画像処理実行部１３３は、この修正指示体情報に基づいて、不要物体領域Ｂを含む処理対象領域Ａを設定する。
【０１１３】
画像処理実行部１３３は、処理対象領域Ａから不要物体領域Ｂを除いた領域の画像と、入力画像の処理対象領域Ａを除いた領域の画像との対比に基づく画像マッチング等を行い、入力画像の処理対象領域Ａを除いた領域中から、処理対象領域Ａから不要物体領域Ｂを除いた領域に類似する領域を探索する。
【０１１４】
上記の探索の結果、入力画像中の処理対象領域Ａを除いた領域から、内部が欠落した類似領域Ｍ１（灰色で示した領域であり、内部の白色で示した領域は含まない）が探索されたとする。このとき、画像処理実行部１３３は、内部が欠落していない類似領域Ｍ１である充当領域Ｍ２（灰色で示した領域と内部の白色で示した領域とを合わせた領域）を、処理対象領域Ａから不要物体領域Ｂを除いた領域に対して、所定の混合比率で混合（例えば、加重加算）する。なお、充当領域Ｍ２は、処理対象領域Ａと形状及び大きさが略等しい領域である。
【０１１５】
画像処理実行部１３３は、以上の処理を行うことで、不要物体領域Ｂが除去された処理後画像を生成する。また、上述のように、ユーザが指示体検出部２０２を操作すると、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。
【０１１６】
このように構成すると、ユーザは、画像表示部１４の表示面に表示される出力画像中の不要物体領域Ｂを指示体で指示するだけで、不要物体領域Ｂを除去した処理後画像を得ることが可能になる。また、画像処理実行部１３３がこの処理を行う際に、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。そのため、ユーザは、望んだ画像が得られたか否かを容易に把握することが可能になる。
【０１１７】
なお、本動作例の処理は繰り返し行われ得るものであり、繰り返し行われることで（例えば、画像表示部１４の表示面に表示された出力画像中の不要物体領域Ｂの上を、ユーザが指示体で繰り返し擦ることで）徐々に不要物体領域Ｂが除去されていくように、上記の混合比率などを設定しても構わない。
【０１１８】
また、説明の都合上、図１０において処理対象領域Ａ、不要物体領域Ｂ、類似領域Ｍ１及び充当領域Ｍ２を示しているが、出力画像処理部１３は、これらの領域を示さない出力画像を生成しても構わないし、これらの少なくとも１つの領域を示す出力画像を生成しても構わない。また、図１０では、ユーザが不要物体領域Ｂの輪郭を精度良く指示する場合について示しているが、ユーザが不要物体領域Ｂの輪郭を考慮せずに適当に不要物体領域Ｂやその周囲の位置を指示したとしても、不要物体領域Ｂを除去した処理後画像を得ることは可能である。
【０１１９】
また、本動作例は、入力画像中の不要物体領域Ｂを除去する処理のみに限られず、入力画像中の所定領域を変化させる（画像そのものを変化させる）種々の処理に対して適用可能である。
【０１２０】
（動作例：Ｃ２）
図１１及び図１２は、画像処理実行部の動作例（Ｃ２）について説明する図である。図１１は、処理後画像の一例を示すものであり、図１２は、本動作例の処理を行う画像処理実行部１３３の要部の構成（または機能）を示すブロック図である。本動作例では、画像処理実行部１３３が、入力画像中の一部の領域の解像感を高める処理（超解像処理）を行う。
【０１２１】
図１１に示すように、本動作例では最初にユーザが、画像表示部１４の表示面に表示される出力画像（図１１の入力画像）を視認し、解像感を高めるべき領域を指示体で指示する。このとき、画像表示部１４の表示面上の指示体の位置及び面積を指示体検出部２０２が検出し、入力画像中の解像感を高めるべき領域の位置及び面積を示す修正指示体情報を、画像処理実行部１３３に入力する。画像処理実行部１３３は、この修正指示体情報に基づいて、解像感を高めるべき領域を含む処理対象領域Ａを設定する。
【０１２２】
また、図１２に示すように、画像処理実行部１３３は、入力画像の処理対象領域Ａを高解像度化することで１次高解像度化画像を生成するまたは差分情報に基づいてｎ次低解像度化画像（ｎは自然数）を高解像度化することでｎ＋１次高解像度化画像を生成する高解像度化処理部１３３ａと、ｎ次高解像度化画像を低解像度化してｎ次低解像度化画像を生成する低解像度化処理部１３３ｂと、入力画像の処理対象領域Ａとｎ次低解像度化画像との差分を求めて差分情報を生成する差分算出部１３３ｃと、を備える。また、高解像度化処理部１３３ａが生成するｎ次高解像度化画像が、処理後画像の処理対象領域Ａになり得る。
【０１２３】
本動作例では、まず、高解像度化処理部１３３ａが、入力画像の処理対象領域Ａを高解像度化（拡大）する。例えば、複数の画像の画素を組み合わせたり、１つの入力画像に対して所定の補間処理を適用したりすることで、高解像度化する。これにより、１次高解像度化画像が得られる。
【０１２４】
次に、低解像度化処理部１３３ｂが、高解像度化処理部１３３ａで得られる１次高解像度化画像を、入力画像の処理対象領域Ａと略等しい解像度となるように低解像度化する。例えば、画素加算処理や間引き処理などを適用することで、低解像度化（縮小）する。これにより、１次低解像度化画像が得られる。
【０１２５】
差分算出部１３３ｃは、入力画像の処理対象領域Ａと１次低解像度化画像との差分を求め、差分情報として出力する。高解像度化処理部１３３ａは、差分情報に基づいて高解像度化の処理内容を補正することで、より精度良く入力画像を高解像度化した２次高解像度化画像を得る。また、上記の処理と同様の処理を２次高解像度化画像に施すことで、３次高解像度化画像が得られる。即ち、上記の処理と同様の処理をｎ次高解像度化画像に施すことで、ｎ＋１次高解像度化画像が得られる。
【０１２６】
上述の高解像度化及び低解像度化の一連の処理は、収束する（例えば、所定の繰り返し回数が行われたり、差分が所定の閾値よりも小さくなったりする）まで行い、収束した時点のｎ次高解像度化画像を、処理後画像の処理対象領域Ａとする。
【０１２７】
そして、画像処理実行部１３３は、得られた処理後画像の処理対象領域Ａと、入力画像の処理対象領域Ａ以外の領域と、を組み合わせることで処理後画像を生成する。また、上述のように、ユーザが指示体検出部２０２を操作すると、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。
【０１２８】
このように構成すると、ユーザは、画像表示部１４の表示面に表示される出力画像中の解像感を高めるべき領域を指示体で指示するだけで、当該領域の解像感を高めた処理後画像を得ることが可能になる。また、画像処理実行部１３３がこの処理を行う際に、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。そのため、ユーザは、望んだ画像が得られたか否かを容易に把握することが可能になる。
【０１２９】
なお、本動作例の処理は繰り返し行われ得るものであり、繰り返し行われることで（例えば、画像表示部１４の表示面に表示された出力画像中の解像感を高めるべき領域の上を、ユーザが指示体で繰り返し擦ることで）徐々に解像感が高められるように、上記の収束する条件（例えば、繰り返し回数や差分の閾値）などを設定しても構わない。また、説明の都合上、図１１において処理対象領域Ａを示しているが、出力画像処理部１３は、処理対象領域Ａを示さない出力画像を生成しても構わないし、処理対象領域Ａを示す出力画像を生成しても構わない。
【０１３０】
また、処理後画像の処理対象領域Ａと、処理後画像の処理対象領域Ａ以外の領域と、が略等しい解像度になるように、入力画像の処理対象領域Ａ以外の領域に対して、例えば単純な（解像感が高まらない）補間処理などを施し、高解像度化（拡大）しても構わない。
【０１３１】
また、本動作例は、解像感を高める処理のみに限られず、入力画像中の所定領域の画質を調整する種々の処理に対して適用可能である。
【０１３２】
（動作例：Ｃ３）
図１３は、画像処理実行部の動作例（Ｃ３）について説明する図であり、処理後画像の一例を示すものである。本動作例では、画像処理実行部１３３が、ユーザが撮像装置１のズームを操作するための画像であるバーＰを、入力画像中に重畳する処理を行う。なお、このバーＰは、内部のゲージ（灰色で示した領域）の示値端部（ズーム状態を示す端部、図１３では右端部）が左側（ワイド側）に進むとズームアウトが行われ、右側（テレ側）に進むとズームインが行われる。
【０１３３】
図１３に示すように、本動作例では最初にユーザが、画像表示部１４の表示面に表示される出力画像（図１３の処理後画像）を視認し、バーＰが表示されている領域中の任意の位置を指示体で指示することで、バーＰ内のゲージを所望の状態にする。例えばユーザは、バーＰ内のゲージの示値端部が表示されている上に指示体を位置させ、指示体をバーＰに沿って左側または右側にスライドさせることで、ゲージを所望の状態にする。
【０１３４】
このとき、画像表示部１４の表示面上における指示体の位置及び面積を指示体検出部２０２が検出し、修正指示体情報として画像処理実行部１３３に入力する。画像処理実行部１３３は、この修正指示体情報に応じたバーＰを入力画像中に重畳する。例えば、指示体が指示する位置がゲージの示値端部になるバーＰを、入力画像中に重畳する。
【０１３５】
画像処理実行部１３３は、以上の処理を行うことで、バーＰが重畳された処理後画像を生成する。また、上述のように、ユーザが指示体検出部２０２を操作すると、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。
【０１３６】
さらに、ＣＰＵ１８は、上述のユーザの操作に応じたズームが行われるように、撮像装置１の動作を制御する。例えば、レンズ部３のズームレンズの位置を光軸に沿って移動させる（光学ズームを行う）。また例えば、入力画像処理部５が撮像により得られた画像から入力画像を生成するために取得する領域（画角）を、変更する（電子ズームを行う）。
【０１３７】
このように構成すると、ユーザは、画像表示部１４の表示面に表示される出力画像中のバーＰのゲージを指示体で操作するだけで、撮像装置１のズームを操作することが可能になる。また、画像処理実行部１３３がこの処理を行う際に、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。そのため、ユーザは、意図した位置を指示体によって正しく指示できているか否かを容易に把握することが可能になる。
【０１３８】
なお、図１３では、入力画像中に重畳するバーＰを、撮像装置１のズームを操作するためのものとして説明したが、これ以外のためのものとしても構わない。例えば、入力画像中に重畳するバーを、入力画像または処理後画像の色味や輝度を調整するためのものとしても構わないし、集音部６の指向性や音響再生部１６で再生される音響信号の音量を調整するためのものとしても構わない。
【０１３９】
また、本動作例は、入力画像中にバーを重畳する処理のみに限られず、ユーザが撮像装置１の種々の動作を操作するための画像を入力画像中に重畳する処理に対して適用可能である。
【０１４０】
［補助画像重畳部］
補助画像重畳部１３４は、補助画像生成情報に含まれる要否情報に基づいて、補助画像を含む出力画像の生成の要否を確認する。補助画像重畳部１３４は、補助画像を含む出力画像を生成しないことを確認する場合、処理後画像を出力画像として出力する。一方、補助画像重畳部１３４は、処理後画像を含む出力画像を生成することを確認する場合、補正画像を生成するべく、補助画像生成情報に含まれる取得領域情報に基づいて、処理後画像中に取得領域を設定する。
【０１４１】
補助画像重畳部１３４は、取得領域情報（指示体情報または修正指示体情報）によって処理後画像中の不可視領域を認識して、取得領域を設定する。例えば、補助画像重畳部１３４は、不可視領域を包含する領域を、取得領域として設定する。なお、不可視領域が変動する際、補助画像重畳部１３４が、当該変動に応じて取得領域を変動させても構わないし、最初に認識した不可視領域に基づいて設定した取得領域を維持しても構わない。また、前者及び後者の取得領域の設定方法のいずれを採用するかを、画像処理実行部１３３が行う画像処理に応じて決定しても構わない。例えば、画像処理実行部１３３が動作例Ｃ１で動作する場合（ユーザが、画像表示部１４の表示面上で広範囲かつ不定の領域内で指示体を動かすと想定される場合）は、補助画像重畳部１３４が前者の取得領域の設定方法を採用し、画像処理実行部１３３が動作例Ｃ２またはＣ３で動作する場合（ユーザが、画像表示部１４の表示面上の狭範囲または既定の領域内で指示体を動かすと想定される場合）は、後者の取得領域の設定方法を採用しても構わない。
【０１４２】
補助画像重畳部１３４は、上記のように設定した取得領域を示す補助画像を生成し、処理後画像中に重畳する。例えば、補助画像重畳部１３４は、処理後画像中の補助画像を重畳する領域を、取得領域に隣接し処理後画像中に収まる領域とする。なお、補助画像重畳部１３４が、処理後画像中の補助画像を重畳する領域を設定する際に、取得領域を基準にして、可能な限り処理後画像の中心側となるように当該領域を設定しても構わないし、可能な限りユーザが事前に設定した自身の利き手と反対側（例えば、左利きであれば右側）となるように当該領域を設定しても構わない。
【０１４３】
また、補助画像重畳部１３４は、付加画像表示情報に基づいて、必要に応じて補助画像を含む出力画像に付加画像を付加する。この動作例について、図面を参照して説明する。図１４及び図１５は、補助画像重畳部の動作例（Ｄ１及びＤ２）について説明する図である。
【０１４４】
（動作例：Ｄ１）
図１４は、画像処理実行部の動作例（Ｄ１）について説明する図であり、補助画像を含む出力画像に付加し得る付加画像の一例を示すものである。図１４に示す付加画像Ｅ１〜Ｅ４は、取得領域中における指示体の位置を、補助画像中に表すものである。
【０１４５】
付加画像Ｅ１〜Ｅ３は、指示体（例えば、人間の指）を模したものであり、取得領域中における指示体の位置を、補助画像中の付加画像Ｅ１〜Ｅ３の領域で表すものである。また、付加画像Ｅ１は略不透明であり、付加画像Ｅ２は半透明、付加画像Ｅ３は透明（輪郭線のみ）である。
【０１４６】
付加画像Ｅ４は矢印であり、取得領域中における指示体の位置を、補助画像中の付加画像Ｅ４の矢尻の先端で表すものである。また、付加画像Ｅ４は不透明であるが、付加画像Ｅ２と同様に半透明にしても構わないし、付加画像Ｅ３と同様に透明にしても構わない。
【０１４７】
このように構成すると、画像表示部１４の表示面に表示される出力画像中の指示体の下に表示される領域と、指示体の位置との関係を、ユーザが容易に把握することが可能になる。
【０１４８】
（動作例：Ｄ２）
図１５は、画像処理実行部の動作例（Ｄ２）について説明する図であり、補助画像を含む出力画像に付加し得る付加画像の一例を示すものである。なお、図１５に示す付加画像Ｅ３１〜Ｅ３３は、図１４に示した付加画像Ｅ３に本動作例を適用したものである。なお、本動作例は、図１４の付加画像Ｅ３のみに限られず、他の付加画像にも適用可能である。
【０１４９】
付加画像Ｅ３１〜Ｅ３３は、取得領域中における指示体の位置及び面積を、補助画像中の付加画像Ｅ３１〜Ｅ３３の領域で表すものである。指示体の面積が大きくなるほど、付加画像Ｅ３１〜Ｅ３３の領域が大きくなる。
【０１５０】
このように構成すると、画像表示部１４の表示面に表示される出力画像中の指示体の下に表示される領域と、指示体の位置及び面積との関係とを、ユーザが容易に把握することが可能になる。
【０１５１】
（動作例：Ｄ３）
本動作例は、補助画像を含む出力画像に、付加画像を付加しないものである。本動作例では、例えば図２（ｂ）に示すような出力画像が得られる。
【０１５２】
このように構成すると、画像表示部１４の表示面に表示される出力画像中の指示体の下に表示される領域を、ユーザが明確に把握することが可能になる。
【０１５３】
＜出力画像処理部の動作例＞
これまで、出力画像処理部１３を構成する各部の動作例について説明したが、以下では、これらの動作例を組み合わせた一連の動作について説明する。なお、以下説明するそれぞれの動作における各部の動作例の組み合わせは一例に過ぎず、上述した各部の動作例は矛盾なき限りどのように組み合わせても構わない。
【０１５４】
（第１動作例）
出力画像処理部１３の第１動作例について、図１６を参照して説明する。図１６は、出力画像処理部の第１動作例について説明する図である。図１６は、出力画像が表示された画像表示部１４の表示面を示すものである。また、図１６中、画像表示部１４の表示面に表示される出力画像と、画像表示部１４の表示面上に存在する指示体Ｆとを明確に区別するため、指示体Ｆに斜線のハッチングを付して表現している。なお、図１６に示す画像表示部１４の表示面に表示されている出力画像は、図１０に示した入力画像から得られたものである。また、図１６は、（ａ）、（ｂ）、（ｃ）の順に、画像表示部１４の表示面の状態が変化することを示したものである。
【０１５５】
第１動作例は、指示体情報修正部１３１が動作例Ａ１で動作し、補助画像表示制御部１３２が動作例Ｂ１で動作し、画像処理実行部１３３が動作例Ｃ１で動作し、補助画像重畳部１３４が動作例Ｄ１及びＤ２（図１４の付加画像Ｅ３及び図１５の付加画像Ｅ３１〜Ｅ３３参照）で動作する場合のものである。
【０１５６】
最初に、図１０に示した入力画像が、出力画像として画像表示部１４の表示面に表示される。そして、ユーザが、不要物体領域Ｂを指示体Ｆで指示すると、画像表示部１４の表示面が、図１６（ａ）に示す状態となる。図１６（ａ）に示す状態では、画像表示部１４の表示面上における指示体Ｆの面積が小さいため、付加画像Ｅ３１の領域が小さいものになっている。
【０１５７】
図１６（ａ）の状態を視認したユーザは、図１６（ｂ）に示すように、指示体Ｆの面積を大きくして、より効率良く不要物体領域Ｂを除去しようとする。このとき、付加画像Ｅ３２の領域は、画像表示部１４の表示面上における指示体Ｆの面積の増大に応じて、大きくなる。さらに、ユーザは、不要物体領域Ｂがあまり除去されていない部分を、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで把握し、当該部分を指示体Ｆで重点的に指示しようとする。
【０１５８】
そして、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認し、所望の状態になったことを確認すると、指示体Ｆを画像表示部１４の表示面上から離脱させる。すると、図１６（ｃ）に示すように、補助画像Ｓを含まない出力画像（即ち、処理後画像）が補助画像重畳部１３４で生成されて、画像表示部１４の表示面に表示される。
【０１５９】
このように、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで、指示体検出部２０２の操作を、状況に応じて最適なものにすることが可能になる。
【０１６０】
また、説明の都合上、図１６（ａ），（ｂ）において取得領域Ｕを示しているが、出力画像処理部１３は、取得領域Ｕを示さない出力画像を生成しても構わないし、取得領域Ｕを示す出力画像を生成しても構わない。
【０１６１】
（第２動作例）
出力画像処理部１３の第２動作例について、図１７を参照して説明する。図１７は、出力画像処理部の第２動作例について説明する図である。図１７は、出力画像が表示された画像表示部１４の表示面を示すものである。また、図１７中、画像表示部１４の表示面に表示される出力画像と、画像表示部１４の表示面上に存在する指示体Ｆとを明確に区別するため、指示体Ｆに斜線のハッチングを付して表現している。なお、図１７に示す画像表示部１４の表示面に表示されている出力画像は、図１１に示した入力画像から得られたものである。また、図１７は、（ａ）、（ｂ）、（ｃ）の順に、画像表示部１４の表示面の状態が変化することを示したものである。
【０１６２】
第２動作例は、指示体情報修正部１３１が動作例Ａ２で動作し、補助画像表示制御部１３２が動作例Ｂ２で動作し、画像処理実行部１３３が動作例Ｃ２で動作し、補助画像重畳部１３４が動作例Ｄ３で動作する場合のものである。
【０１６３】
最初に、図１１に示した入力画像が、出力画像として画像表示部１４の表示面に表示される。そして、ユーザが、解像感を高めるべき領域を指示体Ｆで指示すると、画像表示部１４の表示面が、図１７（ａ）に示す状態となる。図１７（ａ）の状態を視認したユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認しながら、解像感を高める処理が繰り返し行われるように、指示体Ｆを用いて指示体検出部２０２を操作する。具体的に例えば、画像表示部１４の表示面に表示されている出力画像中の解像感を高めるべき領域の上を、ユーザが指示体Ｆで繰り返し擦る。
【０１６４】
また、ユーザは、操作部２０１を操作して（例えば、ボタンを押下しながら）、指示体Ｆを画像表示部１４の表示面上から一時的に離脱させ、画像表示部１４に表示される出力画像の全体を視認する。このとき、画像処理実行部１３３は、ユーザが画像処理部１４の表示面上で指示体Ｆの動きを一時的に止めたものとして認識して画像処理を終了せず、ユーザが指示体検出部２０２の操作を再開するまで待機する。またこのとき、補助画像重畳部１３４は、図１７（ｂ）に示すように、画像表示部１４の表示面上に指示体Ｆが存在しなくても、補助画像Ｓを含む出力画像を生成する。
【０１６５】
そして、ユーザは、指示体Ｆを用いて指示体検出部２０２をさらに操作し、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで所望の状態になったことを確認すると、操作部２０１を操作しないで、指示体Ｆを画像表示部１４の表示面上から離脱させる。すると、図１７（ｃ）に示すように、補助画像Ｓを含まない出力画像（即ち、処理後画像）が補助画像生成部１３４で生成されて、画像表示部１４の表示面に表示される。
【０１６６】
このように、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで、指示体Ｆを用いた指示体検出部２０２の操作を、状況に応じて最適なものにすることが可能になる。また、操作部２０１を適切に操作することで、画像処理実行部１３３が一連の画像処理を行っている間に、指示体Ｆを画像表示部１４の表示面上から一時的に離脱させることが可能になる。
【０１６７】
また、説明の都合上、図１７（ａ），１７（ｂ）において取得領域Ｕを示しているが、出力画像処理部１３は、取得領域Ｕを示さない出力画像を生成しても構わないし、取得領域Ｕを示す出力画像を生成しても構わない。
【０１６８】
（第３動作例）
出力画像処理部１３の第３動作例について、図１８を参照して説明する。図１８は、出力画像処理部の第３動作例について説明する図である。図１８は、出力画像が表示された画像表示部１４の表示面を示すものである。また、図１８中、画像表示部１４の表示面に表示される出力画像と、画像表示部１４の表示面上に存在する指示体Ｆとを明確に区別するため、指示体Ｆに斜線のハッチングを付して表現している。なお、図１８（ａ）〜（ｃ）は、図１３に示した処理後画像が出力画像として画像表示部１４の表示面に表示された状態を起点とするものであり、当該状態に続いて（ａ）、（ｂ）、（ｃ）の順に、画像表示部１４の表示面の状態が変化することを示したものである。
【０１６９】
第３動作例は、指示体情報修正部１３１が動作例Ａ３で動作し、補助画像表示制御部１３２が動作例Ｂ３で動作し、画像処理実行部１３３が動作例Ｃ３で動作し、補助画像重畳部１３４が動作例Ｄ１（図１４の付加画像Ｅ４参照）で動作する場合のものである。
【０１７０】
最初に、図１３に示した処理後画像が、出力画像として画像表示部１４の表示面に表示される。そして、ユーザが、バーＰ内の所望の位置を指示体Ｆで指示する（例えば、バーＰ内のゲージの示値端部が表示されている上に指示体Ｆを位置させ、指示体ＦをバーＰに沿って所望の位置までスライドさせる）と、画像表示部１４の表示面が、図１８（ａ）に示す状態となる。
【０１７１】
図１８（ａ）は、図１３の処理後画像が得られる状態から、上記のユーザの操作によりズームアウトが行われ、新たに得られた入力画像に基づいて出力画像処理部１３が生成した出力画像が、画像表示部１４の表示面に表示された状態を示すものである。図１８（ａ）に示すように、本動作例では、付加画像Ｅ４の矢尻の先端が、補助画像Ｓにおける示値端部（取得領域Ｕ中における指示体Ｆの位置）を指している。
【０１７２】
図１８（ａ）の状態を視認したユーザは、さらなるズームアウトが行われるように、指示体Ｆを用いて指示体検出部２０２を操作する。具体的に例えば、ユーザは、指示体ＦをバーＰに沿ってさらに左側にスライドさせる。
【０１７３】
また、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで所望のズーム（図１８に示す例ではズームアウト）が行われたことを確認すると、操作部２０１を操作する。本動作例では、ユーザが操作部２０１を操作すると、画像処理実行部１３３及びズームの制御を行うＣＰＵ１８が、画像処理部１４の表示面上から指示体Ｆが離脱したものとして認識する。そして、ユーザが操作部２０１を操作している限り（例えば、ボタンを押下している限り）、指示体Ｆが画像表示部１４の表示面上を動いても、画像処理実行部１３３及びＣＰＵ１８はこの認識を継続する。またこのとき、補助画像重畳部１３４は、図１８（ｂ）に示すように、画像表示部１４の表示面上に指示体Ｆが存在していても、補助画像Ｓを含まない出力画像を生成する。
【０１７４】
そして、ユーザは、指示体Ｆを画像表示部１４の表示面上から離脱させ、操作部２０１の操作をやめる。この間も、図１８（ｃ）に示すように、補助画像Ｓを含まない出力画像（即ち、処理後画像）が補助画像重畳部１３４で生成されて、画像表示部１４の表示面に表示される。
【０１７５】
このように、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで、指示体Ｆを用いた指示体検出部２０２の操作を、状況に応じて最適なものにすることが可能になる。また、操作部２０１を適切に操作することで、ユーザによる指示体Ｆの誤操作を無効化することが可能になる。
【０１７６】
また、説明の都合上、図１８（ａ）において取得領域Ｕを示しているが、出力画像処理部１３は、取得領域Ｕを示さない出力画像を生成しても構わないし、取得領域Ｕを示す出力画像を生成しても構わない。
【０１７７】
＜出力画像及び補助画像などの関係について＞
上述の説明から理解されるが、出力画像処理部１３にて生成されうる出力画像は、例えば、補助画像Ｓが重畳されない第１出力画像（補助画像Ｓを含まない出力画像）と、補助画像Ｓが重畳された第２出力画像（補助画像Ｓを含む出力画像）と、補助画像Ｓが重畳され且つ付加画像が付加された第３出力画像（補助画像Ｓ及び付加画像を含む出力画像）とに大別される。
【０１７８】
第１〜第３出力画像の何れもが入力画像又は処理後画像に基づき生成される（図３参照）。以下、便宜上、入力画像又は処理後画像を基準画像と呼ぶ。また、画像表示部１４の表示面に表示される画像を表示画像と呼ぶ。表示画像は、基準画像に基づく画像である。表示画像は、基準画像（入力画像又は処理後画像）でありうるし、出力画像（第１、第２又は第３出力画像）でもありうる。
【０１７９】
また、補助画像Ｓが重畳された出力画像（即ち第２又は第３出力画像）を、便宜上、重畳画像という。図２（ｂ）に示される画像は、重畳画像の例である。第３出力画像として生成される重畳画像（図１６（ａ）等参照）では、指示体Ｆの検出位置を表す付加画像（例えば図１６（ａ）のＥ３１）が、当該重畳画像に含まれる補助画像（例えば図１６（ａ）のＳ）中に示されている。また、指示体検出部２０２によって検出された、画像表示部１４の表示面上に存在する指示体Ｆの位置を、指示体Ｆの検出位置又は単に検出位置という。また、画像表示部１４の表示面を単に表示面とも呼ぶ。
【０１８０】
これらの用語を用いて、上述してきた技術を以下のように表現することもできる。
指示体検出が成されたとき（即ち、指示体検出部２０２によって表示面上に存在する指示体が検出されたとき）、図２（ｂ）に示す如く、出力画像処理部１３は、表示面に表示画像（出力画像）を表示した場合に指示体Ｆの下に表示される不可視領域を含む取得領域Ｕを、指示体Ｆの検出位置に基づいて設定する処理と、基準画像における取得領域Ｕ内の画像信号に基づき補助画像Ｓを生成する処理と、不可視領域（又は取得領域Ｕ）とは異なる重畳用領域を設定する処理と、基準画像中の重畳用領域に補助画像を重畳させることで重畳画像を生成する処理と、を実行できる。不可視領域又は取得領域Ｕは、指示体Ｆの検出位置を内包する特定領域である。出力画像処理部１３は、任意の重畳画像を出力画像及び表示画像として生成することができる（後述の第４〜第６動作例においても同様）。基準画像における取得領域Ｕ内の画像信号に基づいて生成される補助画像Ｓは、基準画像における取得領域Ｕ内の画像そのものであっても良いし、基準画像における取得領域Ｕ内の画像を拡大又は縮小した画像であっても良い。
【０１８１】
＜出力画像処理部の他の動作例＞
出力画像処理部１３の他の動作例について説明する。尚、Ｕの頭文字が付与された任意の取得領域（後述の取得領域Ｕ４１０等）は取得領域Ｕの一種であり、Ｓの頭文字が付与された任意の補助画像（後述の補助画像Ｓ４１０等）は補助画像Ｓの一種である。
【０１８２】
（第４動作例）
図１９（ａ）等を参照して、出力画像処理部１３の第４動作例を説明する。図１９（ａ）では、補助画像Ｓを含まない第１出力画像（即ち基準画像）が表示画像として画像表示部１４に表示された様子を示している。出力画像処理部１３の第４動作例では、入力画像に基づく表示画像が表示面に表示されているときにユーザが指示体を表示面上の複数の位置４１０及び４２０に対して、順次又は同時に、接触（又は接近）させたことを想定する。結果、指示体検出部２０２において、位置４１０及び４２０が複数の検出位置（指示体Ｆの複数の検出位置）として得られる。
【０１８３】
複数の検出位置４１０及び４２０が得られたとき、出力画像処理部１３は、上述の取得領域Ｕの設定方法に従い、検出位置４１０を内包する取得領域Ｕ４１０及び検出位置４２０を内包する取得領域Ｕ４２０を設定し（図１９（ｂ）参照）、更に、取得領域Ｕ４１０に対応する補助画像Ｓ４１０及び取得領域Ｕ４２０に対応する補助画像Ｓ４２０を基準画像から抽出（生成）する（図２０（ａ）等参照）。補助画像Ｓ４１０は、基準画像における取得領域Ｕ４１０内の画像そのもの、又は、該画像を拡大又は縮小した画像である。補助画像Ｓ４２０も同様である。
【０１８４】
出力画像処理部１３は、取得領域Ｕ４１０（又は検出位置４１０に対応する不可視領域）とは異なる第１重畳用領域及び取得領域Ｕ４２０（又は検出位置４２０に対応する不可視領域）とは異なる第２重畳用領域を設定し、基準画像中の第１及び第２重畳用領域に対して夫々補助画像Ｓ４１０及びＳ４２０を重畳することで重畳画像ＱＡを生成する。
【０１８５】
図２０（ａ）〜（ｂ）は、重畳画像ＱＡの例が表示された画像表示部１４の様子を示している。図２０（ａ）及び（ｂ）に示す如く、重畳画像ＱＡにおいて補助画像Ｓ４１０及びＳ４２０が互いに重なり合わないように第１及び第２重畳用領域を設定しても良いし、図２０（ｃ）及び（ｄ）に示す如く、重畳画像ＱＡにおいて補助画像Ｓ４１０及びＳ４２０が部分的に互いに重なり合うように第１及び第２重畳用領域を設定しても良い。
【０１８６】
この際、重畳画像ＱＡにおける補助画像Ｓ４１０及びＳ４２０間の位置関係を、検出位置４１０及び４２０間の位置関係に合わせるか否かは任意である。例えば、双方の位置関係を合わせる場合、表示面上において検出位置４１０が検出位置４２０よりも左側に位置しているならば、重畳画像ＱＡにおいて補助画像Ｓ４１０を補助画像Ｓ４２０よりも左側に配置させる。重畳画像ＱＡにおいて、補助画像Ｓ４１０及びＳ４２０は垂直又は水平方向に並んでいても良いし、並んでいなくてもよい。また、指示体による位置４１０の接触タイミングと指示体による位置４２０の接触タイミングとの前後関係に基づき、重畳画像ＱＡにおける補助画像Ｓ４１０及びＳ４２０間の位置関係を決定しても良い。例えば、より早い方の接触タイミングに対応する検出位置についての補助画像を、重畳画像ＱＡにおいて、より左側に（又はより右側に）配置するようにしてもよい。重畳画像ＱＡ上で補助画像Ｓ４１０及びＳ４２０を部分的に互いに重なり合わせる場合においては、より遅い方の接触タイミングに対応する検出位置についての補助画像を、他の補助画像の上に配置するようにしてもよいし、或いは、その逆でも良い。
【０１８７】
尚、検出位置と補助画像との関係をユーザが視認できるような表示を成しても良い。例えば、検出位置４１０及び４２０をユーザが視認できるように表示面上において検出位置４１０及び４２０を夫々第１及び第２の色を用いて明示する一方で、表示面上における補助画像４１０及び４２０の外枠を夫々第１及び第２の色を用いて表すと良い（第１及び第２の色は互いに異なる）。
【０１８８】
また、基準画像上における検出位置４１０及び４２０間の距離が短い場合には、検出位置４１０及び４２０を内包する１つの補助画像のみを生成及び重畳するようにしてもよい（図２１参照）。該距離が短い場合には、検出位置４１０及び４２０を含む領域を１つにまとめて表示した方が見やすいと考えられ、また、補助画像の占有表示領域が小さくて済むからである。即ち例えば、出力画像処理部１３は、基準画像上における検出位置４１０及び４２０間の距離が所定距離よりも大きいときには、上述の如く重畳画像ＱＡを出力画像として生成する処理を行って重畳画像ＱＡを表示面に表示させ、一方、基準画像上における検出位置４１０及び４２０間の距離が所定距離以下であるときには、重畳画像ＱＢを出力画像として生成する処理を行って重畳画像ＱＢを表示面に表示させてもよい。図２１は、重畳画像ＱＢの例が表示された画像表示部１４の様子を示している。
【０１８９】
重畳画像ＱＢを生成する処理を説明する。出力画像処理部１３は、上述の取得領域Ｕの設定方法及び補助画像Ｓの生成方法に従い、検出位置４１０及び４２０を共に内包する取得領域Ｕ４１０：４２０を設定して、取得領域Ｕ４１０：４２０に対応する補助画像Ｓ４１０：４２０を基準画像から抽出（生成）する。補助画像Ｓ４１０：４２０は、基準画像における取得領域Ｕ４１０：４２０内の画像そのもの、又は、該画像を拡大又は縮小した画像である。その後、出力画像処理部１３は、取得領域Ｕ４１０：４２０（又は検出位置４１０及び４２０に対応する不可視領域）とは異なる重畳用領域を設定し、基準画像中の該重畳用領域に対して補助画像Ｓ４１０：４２０を重畳することで重畳画像ＱＢを生成する。
【０１９０】
尚、指示体の検出位置の個数が２であるときを想定して重畳画像ＱＡ及びＱＢの生成方法例を説明したが、検出位置の個数が３以上であっても、上述と同様に処理することができる。
【０１９１】
（第５動作例）
図２２（ａ）等を参照して、出力画像処理部１３の第５動作例を説明する。図２２（ａ）では、補助画像Ｓを含まない第１出力画像（即ち基準画像）が表示画像として画像表示部１４に表示された様子を示している。出力画像処理部１３の第５動作例では、入力画像に基づく表示画像が表示面に表示されているときに、まず、ユーザが指示体を表示面上の位置４３０に接触（又は接近）させたことを想定する。結果、指示体検出部２０２において、位置４３０が検出位置として得られる。
【０１９２】
出力画像処理部１３は、上述の取得領域Ｕの設定方法及び補助画像Ｓの生成方法に従い、検出位置４３０を内包する取得領域Ｕ４３０を設定して、取得領域Ｕ４３０に対応する補助画像Ｓ４３０を基準画像から抽出（生成）する。この際、出力画像処理部１３は、基準画像における取得領域Ｕ４３０内の画像Ｉ４３０を拡大させる第１拡大処理を実行し、拡大された画像Ｉ４３０を補助画像Ｓ４３０として生成する。その後、出力画像処理部１３は、取得領域Ｕ４３０（又は検出位置４３０に対応する不可視領域）とは異なる重畳用領域を設定し、基準画像中の該重畳用領域に対して補助画像Ｓ４３０を重畳することで重畳画像ＱＣを生成する。図２２（ｂ）は、重畳画像ＱＣの例が表示された画像表示部１４の様子を示している。
【０１９３】
補助画像Ｓ４３０を含む重畳画像ＱＣが表示画像として表示面に表示されている状態において、図２２（ｃ）に示す如く、ユーザが、更に、指示体を表示面上の位置４４０に接触（又は接近）させたことを想定する。位置４４０は、表示面に表示された補助画像Ｓ４３０内の位置である。出力画像処理部１３は、表示面に表示された補助画像Ｓ４３０内の位置が検出位置４４０として検出されると、検出位置４４０を内包する取得領域Ｕ４４０を設定して、取得領域Ｕ４４０に対応する補助画像Ｓ４４０を基準画像又は補助画像Ｓ４３０から抽出（生成）する。この際、出力画像処理部１３は、基準画像又は補助画像Ｓ４３０における取得領域Ｕ４４０内の画像Ｉ４４０を拡大させる第２拡大処理を実行し、拡大された画像Ｉ４４０を補助画像Ｓ４４０として生成する。基準画像から見て、補助画像Ｓ４４０の画像拡大率は補助画像Ｓ４３０のそれよりも大きい。その後、出力画像処理部１３は、補助画像Ｓ４３０が重畳される重畳用領域と異なり且つ取得領域Ｕ４３０とも異なる第２重畳用領域を設定し、補助画像Ｓ４３０を含む重畳画像ＱＣ中の第２重畳用領域に対して補助画像Ｓ４４０を更に重畳することで重畳画像（マルチ重畳画像）ＱＤを生成する。図２２（ｄ）は、重畳画像ＱＤの例が表示された画像表示部１４の様子を示している。
【０１９４】
補助画像Ｓ４３０及びＳ４４０を含む重畳画像ＱＤが表示されている状態において、更に、補助画像Ｓ４３０又はＳ４４０内の位置が指示体の検出位置として検出されたとき、３つ目の補助画像を更に生成及び重畳するようにしても良い（４つ目及び４つ目以降の補助画像についても同様）。
【０１９５】
図２２（ｄ）に示すような画像の表示を可能にしておくことにより、限られた表示面の中で、ユーザは注目部分の詳細確認を行うことが可能となる（補助画像Ｓ４３０中の領域を、補助画像Ｓ４４０にて更に詳細に確認するといったことが可能となる）。但し、上述の第１及び第２拡大処理を割愛することも可能である。即ち例えば、出力画像処理部１３は、取得領域Ｕ４３０内の画像Ｉ４３０そのもの又は画像Ｉ４３０を縮小した画像を補助画像Ｓ４３０として生成しても良いし、取得領域Ｕ４４０内の画像Ｉ４４０そのもの又は画像Ｉ４４０を縮小した画像を補助画像Ｓ４４０として生成しても良い。
【０１９６】
尚、補助画像Ｓ（Ｓ４３０等）含む重畳画像が表示面に表示されているときにおいて、表示面上の補助画像Ｓ内の位置が指示体によって指定されたとき、指定された位置に基づき、上述の動作例Ｃ１又はＣ２等で述べた画像処理実行部１３３の処理（例えば、不要物体領域を除去する処理）を行うようにしても良く、該処理の結果を表示面の表示内容に反映させても良い。
【０１９７】
（第６動作例）
図２３（ａ）等を参照して、出力画像処理部１３の第６動作例を説明する。図２３（ａ）では、補助画像Ｓを含まない第１出力画像（即ち基準画像）が表示画像として画像表示部１４に表示された様子を示している。出力画像処理部１３の第６動作例では、上述の動作例Ｃ１が利用されることを想定し（図１０も参照）、更に、不要物体領域Ｂを除去するための類似領域Ｍ１及び充当領域Ｍ２がユーザに指定されることを想定する。より具体的には、入力画像に基づく表示画像が表示面に表示されているときに、不要物体領域Ｂを指定すべく、ユーザが指示体を表示面上の位置５１０に接触（又は接近）させ、その後、不要物体領域Ｂを除去するための類似領域Ｍ１及び充当領域Ｍ２を指定すべく、ユーザが指示体を表示面上の位置５２０に接触（又は接近）させたことを想定する（図２３（ｂ）及び（ｃ）参照）。結果、指示体検出部２０２において、位置５１０及び５２０が検出位置として得られる。
【０１９８】
複数の検出位置５１０及び５２０が得られたとき、出力画像処理部１３は、上述の第４動作例で述べた方法に従い、図２３（ｂ）及び（ｃ）に示す如く、検出位置５１０を含む取得領域Ｕ５１０及び検出位置５２０を含む取得領域Ｕ５２０を順次設定して検出位置５１０を含む補助画像Ｓ５１０及び検出位置５２０を含む補助画像Ｓ５２０を基準画像（入力画像）から抽出（生成）する。検出位置５１０を含む取得領域Ｕ５１０及び補助画像Ｓ５１０は処理対象領域Ａに相当し、検出位置５２０を含む取得領域Ｕ５２０及び補助画像Ｓ５２０は充当領域Ｍ２に相当する（図１０も参照）。補助画像Ｓ５１０及びＳ５２０を生成する際、第４動作例で述べたように、画像の拡大処理又は縮小処理が成されても良い（後述の他の補助画像も同様）。出力画像処理部１３は、上述の第４動作例で述べた方法に従い、位置５１０の検出後、補助画像Ｓ５１０を基準画像に重畳した重畳画像（図２３（ｂ））を生成し、更に位置５２０の検出後、補助画像Ｓ５１０及びＳ５２０を基準画像に重畳した重畳画像（図２３（ｃ））を生成することができる。
【０１９９】
ユーザは、ユーザは補助画像Ｓ５１０及びＳ５２０を見ることで、処理対象領域Ａ及び充当領域Ｍ２を確認することができる（図１０も参照）。これらに問題がある場合、ユーザは、補助画像Ｓ５１０又はＳ５２０内の位置を指示体で指定することで、処理対象領域Ａ又は充当領域Ｍ２を変更することできる。ここでは、ユーザが、充当領域Ｍ２の変更を望む場合を考える。この場合、ユーザは、表示面上における補助画像Ｓ５２０内の位置５２１に指示体を接触（又は接近）させる（図２２（ｄ）参照）。例えば、位置５２０は補助画像Ｓ５２０の中心位置に相当し、位置５２１は後述の補助画像Ｓ５２１の中心位置に相当する。
【０２００】
出力画像処理部１３は、表示面に表示された補助画像Ｓ５２０内の位置が検出位置５２１として検出されると、検出位置５２０を含む取得領域Ｕ５２０の代わりに検出位置５２１を含む取得領域Ｕ５２１を設定して、検出位置５２１を含む取得領域Ｕ５２１内の画像である補助画像Ｓ５２１を基準画像から抽出し、表示面に表示されていた補助画像Ｓ５２０を補助画像Ｓ５２１に置き換える（図２３（ｅ）参照）。即ち、出力画像処理部１３は、補助画像Ｓ５２０内の指示体の検出位置５２１に基づき、重畳画像、出力画像及び表示画像に重畳されるべき補助画像を、補助画像Ｓ５２０から補助画像Ｓ５２１へと変更する（図２３（ｄ）から図２３（ｅ）への変更）。この際、補助画像Ｓ５２１が重畳されていない表示領域に、検出位置５２１を明示してもよい（図２３（ｅ）における点５２１を表示するようにしても良い）。
【０２０１】
補助画像Ｓ５１０及びＳ５２１を含む重畳画像が表示されている状態では、検出位置５１０を含む取得領域Ｕ５１０及び補助画像Ｓ５１０が処理対象領域Ａに相当し、検出位置５２１を含む取得領域Ｕ５２１及び補助画像Ｓ５２１が充当領域Ｍ２に相当する。ユーザが所定の確定操作を成すと、動作例Ｃ１で述べた方法に従い、充当領域Ｍ２を用いて入力画像から不要物体領域Ｂを除去することができる。第６動作例によれば、補助画像上で処理対象領域Ａ又は充当領域Ｍ２の位置調整を行うことができ、補助画像の拡大表示等を利用すれば、それらの微調整も容易となる。尚、第６動作例で述べた技術は、動作例Ｃ１を利用しない場合においても利用可能である。
【０２０２】
また、特許文献４に関連する技術の問題点について補足する。特許文献４の方法では、表示部に互いに独立したメイン画面とサブ画面を予め設けておき、メイン画面における何れかの領域の画像をサブ画面に表示する。この方法において、最初はサブ画面を設けずに表示部の全体をメイン画面にしておき、メイン画面上の特定位置（例えば注目人物）が指示体に触れられたときに初めて、表示部の全体領域をメイン画面の領域とサブ画面の領域に分割してサブ画面に指定部分の画像を表示する、という方法も考えられる。しかしながら、この場合、上記分割の際にメイン画面のサイズが小さくなるので、分割の前後において、指示体の接触位置に対応する被写体がメイン画面上で変化する。例えば、分割前は接触位置に注目人物が表示されていたのに、メイン画面のサイズ縮小に伴って、分割後は接触位置に注目人物の横に位置している建物が表示される。このような表示の変更は、ユーザを混乱させるため望ましくない。故に、特許文献４の如く、常にサブ画面を設けておく方法が検討されるが、その場合、上述したように、メイン画面のサイズが常に小さくなるので全体像の視認性が悪くなる。
【０２０３】
＜変形例＞
本発明の実施形態における撮像装置１について、出力画像処理部１３の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０２０４】
また、上述した場合に限らず、図１に示す撮像装置１や、図３に示す出力画像処理部１３、図１２に示す画像処理実行部１３３は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や出力画像処理部１３、画像処理実行部１３３の一部を実現する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
【０２０５】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０２０６】
本発明は、画像を表示する画像表示装置に利用可能である。また、撮像した画像を表示可能な撮像装置に利用可能である。
【符号の説明】
【０２０７】
１３ 出力画像処理部
１３１ 指示体情報修正部
１３２ 補助画像表示制御部
１３３ 画像処理実行部
１３４ 補助画像重畳部
１４ 画像表示部
２０ 入力部
２０１ 操作部
２０２ 指示体検出部
【技術分野】
【０００１】
本発明は、画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
ユーザインターフェースとしてタッチパネルを採用した画像表示装置が、広く普及している。このような画像表示装置では、タッチパネル上の（表示された画像中の）所望の位置を、ユーザが自身の指やスタイラスなどの指示体を用いて指示するという、直感的な操作が行われる。
【０００３】
例えば、特許文献１及び特許文献２に、タッチパネルの操作性を向上させた画像表示装置が提案されている。これらの画像表示装置は、ユーザが指示する画像中の領域を拡大して表示し、さらに拡大して表示した領域に対してユーザの指示を受け付けることで、ユーザが容易に画像中の所望の位置を指示することを可能にする。
【０００４】
また例えば、特許文献３には、撮像により得られた画像と、当該画像の一部の領域を拡大した画像と、を併せて表示することで、フォーカスなどの撮像条件を変化させることに伴う画像の変化を、ユーザに確認させ易くする画像表示装置が提案されている。また例えば、特許文献４には、表示部に互いに独立したメイン画面とサブ画面を設け、メイン画面における何れかの領域の画像をサブ画面に表示する方法が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−３２４２０２号公報
【特許文献２】特開平７−９８７６９号公報
【特許文献３】特開２００９−１７１２３号公報
【特許文献４】特開２００８−２４５０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ユーザがタッチパネルを操作し、画像中の所望の位置を指示する場合、当該位置を表示するタッチパネルの領域上に、指示体を位置させる必要がある。このとき、タッチパネルの当該領域を見るユーザの視線が、指示体や自身の手などによって遮られる。そのため、ユーザは、タッチパネルが表示する画像中の、指示した位置やその周辺を視認することが困難になる。例えばユーザは、タッチパネルの操作によって望んだ画像が得られたか否か、意図した位置を指示体によって正しく指示できているか否かなどを、把握することが困難になる。
【０００７】
したがって、例えばユーザは、タッチパネルの操作中にタッチパネルを様々な角度から覗き込んだり、タッチパネル上の操作を行っている位置から指示体を頻繁に離脱させたり（操作を断続的に行ったり）する必要がある。このように、従来のタッチパネルでは、操作性が十分ではないため、問題となる。なお、上記文献の画像表示装置のような、画像中の一部の領域を拡大して表示するタッチパネルであっても、ユーザがタッチパネルを操作する際に、タッチパネルの所望の領域上（拡大して表示させた領域上）に指示体を位置させることには変わらないため、この問題を解消することはできない。また、サブ画面を設ける方法を採用すると、全体像を表示すべきメイン画面の表示サイズが小さくなり、全体像の視認性が悪くなる。
【０００８】
そこで本発明は、操作性を向上した画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明における画像表示装置は、基準画像に基づく表示画像を表示面に表示する画像表示部と、前記画像表示部の表示面上に存在する指示体の位置を検出する指示体検出部と、前記基準画像に基づき前記表示面に表示されるべき出力画像を生成する出力画像処理部と、を備え、前記出力画像処理部は、前記指示体検出部による前記指示体の検出位置に対応する、前記基準画像中の特定領域を含む補助画像を、前記基準画像中の前記特定領域とは異なる重畳用領域に重畳させた重畳画像を、前記出力画像として生成し得ることを特徴とすることを特徴とする。
【００１０】
また、上記構成の画像表示装置において、前記出力画像処理部は、前記表示面に前記表示画像を表示した場合に前記指示体の下に表示される不可視領域を含む取得領域に基づいて前記補助画像を生成し、前記基準画像中の前記不可視領域とは異なる前記重畳用領域に前記補助画像を重畳させた前記重畳画像を、前記出力画像として生成し得ることとしても構わない。
【００１１】
また、上記構成の画像表示装置において前記出力画像処理部は、前記指示体の検出位置に基づいた処理を入力画像に施す画像処理実行部を備え、前記出力画像処理部は、前記処理が施された前記入力画像としての前記基準画像に基づき、前記補助画像及び前記重畳画像を生成し得ることとしても構わない。
【００１２】
このように構成すると、画像処理実行部が処理を行う際に、補助画像を含む画像が画像表示部の表示面に表示され得る。そのため、ユーザは、望んだ画像が得られたか否か、意図した位置を指示体によって正しく指示できているか否かなどを、容易に把握することが可能になる。
【００１３】
また、上記構成の画像表示装置において、前記画像処理実行部は、前記入力画像中の所定領域を変化させる処理と、前記入力画像中の所定領域の画質を調整する処理と、ユーザが自機の動作を操作するための画像を前記入力画像に重畳する処理と、の少なくとも一つを行い得ることとしても構わない。
【００１４】
また、上記構成の画像表示装置において、ユーザに操作される操作部を更に備え、前記操作部が操作されているとき、前記出力画像処理部が、順次得られる前記指示体検出部の検出結果または前記操作部の操作の開始時以前に得られた前記指示体検出部の検出結果を、有効なものとして扱うこととしても構わない。
【００１５】
このように構成すると、画像表示部の表示面上に指示体が存在しない場合であっても、ユーザが操作部を操作することで、模擬的に画像表示部の表示面上に指示体が存在するものとして出力画像処理部を動作させることが可能になる。そのため、画像表示装置の操作性を、さらに向上させることが可能になる。
【００１６】
また、上記構成の画像表示装置において、前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に存在する前記指示体を検出しているとき、前記出力画像処理部は、順次得られる前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱い、前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に前記指示体が存在しないことを検出しているとき、前記出力画像処理部は、前記表示面上に存在する前記指示体を検出した直近の前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱うこととしても構わない。
【００１７】
このように構成すると、ユーザが、指示体を画像表示部の表示面上から一時的に離脱させて、表示される画像の全体を視認する間に、操作部を操作しておくことで、その間も擬似的に画像表示部の表示面上に指示体が存在する（例えば、ユーザによる指示体検出部の操作が終了しておらず、画像表示部の表示面上で指示体の動きを一時的に止めた）ものとして、出力画像処理部を動作させることが可能になる。
【００１８】
また、上記構成の画像表示装置において、ユーザに操作される操作部を更に備え、前記操作部が操作されているとき、前記出力画像処理部が、前記操作部の操作の開始時よりも後に得られる前記指示体検出部の検出結果を、無効なものとして扱うこととしても構わない。
【００１９】
このように構成すると、ユーザが操作部を操作することで、指示体検出部を無効化することが可能になる。そのため、画像表示装置の操作性を、さらに向上させることが可能になる。
【００２０】
また、上記構成の画像表示装置において、前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に存在する前記指示体を検出しているとき、前記出力画像処理部は、前記指示体検出部が前記表示面に前記指示体が存在しないことを検出するときの前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱い、前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に前記指示体が存在しないことを検出しているとき、前記出力画像処理部は、前記指示体検出部が前記表示面に前記指示体が存在しないことを検出するときの前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱うこととしても構わない。
【００２１】
このように構成すると、ユーザが、指示体検出部の操作を終了して指示体を画像表示部の表示面上から離脱させる際に、誤って指示体を動かし当該動きを指示体検出部が検出したとしても、指示体検出部の操作を終了した時点で操作部を操作しておくことで、当該動きを示す指示体検出部の検出結果を、無効化することが可能になる。
【００２２】
また、上記構成の画像表示装置において、ユーザに操作される操作部を更に備え、前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否か、及び、前記操作部が操作されているか否か、の少なくとも一方に基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定することとしても構わない。
【００２３】
また、上記構成の画像表示装置において、前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否かに基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定することとしても構わない。
【００２４】
このように構成すると、真に画像表示部の表示面上に指示体が存在している場合に、補助画像を含む画像を画像表示部の表示面に表示させることが可能になる。
【００２５】
また、上記構成の画像表示装置において、前記操作部が操作されているか否かに基づいて、前記出力画像処理部が、前記重畳画像を前記出力画像として生成するか否かを決定することとしても構わない。
【００２６】
このように構成すると、操作部をユーザが操作するという、ユーザによる明示の要求がある場合に、補助画像を含む画像を画像表示部の表示面に表示させることが可能になる。
【００２７】
また、上記構成の画像表示装置において、前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否か、及び、前記操作部が操作されているか否かに基づき、前記出力画像処理部が有効なものとして扱う前記指示体検出部の検出結果に基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定することとしても構わない。
【００２８】
このように構成すると、画像表示装置の操作性を向上させるべく動作する出力画像処理部の動作に合わせて、補助画像を含む画像を画像表示部の表示面に表示させるか否かを決定することが可能になる。
【００２９】
また、上記構成の画像表示装置において、前記出力画像処理部は、前記指示体の検出位置を表す付加画像を前記補助画像中に示した前記重畳画像を、前記出力画像として生成し得ることとしても構わない。
【００３０】
このように構成すると、画像表示部の表示面に表示される画像中の指示体の下に表示される領域と、指示体の位置との関係を、ユーザが容易に把握することが可能になる。
【００３１】
また、上記構成の画像表示装置において、前記指示体検出部が、前記画像表示部の表示面上に存在する指示体の位置及び面積を検出するものであり、前記出力画像処理部が、補助画像に含まれる、前記指示体検出部が検出する指示体の位置及び面積に対応する画像中の領域の位置及び面積を表す付加画像を、当該画像に付加した画像を生成し得ることとしても構わない。
【００３２】
このように構成すると、画像表示部の表示面に表示される画像中の指示体の下に表示される領域と、指示体の位置及び面積との関係を、ユーザが容易に把握することが可能になる。
【００３３】
また、前記出力画像処理部は、前記基準画像の前記重畳用領域に対して前記補助画像を重畳することで前記重畳画像を生成してもよい。
【００３４】
また、前記指示体検出部によって複数の位置が検出されたとき、前記出力画像処理部は、複数の検出位置に対応する複数の特定領域を設定して前記複数の特定領域に対応する複数の補助画像を前記基準画像から生成し、前記複数の特定領域とは異なる、前記基準画像の複数の重畳用領域に対して前記複数の補助画像を重畳することで前記重畳画像を生成しても構わない。
【００３５】
また、前記指示体検出部によって複数の位置が検出されたとき、前記出力画像処理部は、前記複数の検出位置間の距離に応じて第１又は第２生成処理を択一的に行うようにしても良い。前記第１生成処理において、前記出力画像処理部は、前記複数の検出位置を内包する領域を含む単一画像を前記補助画像として前記基準画像から生成し、前記複数の検出位置を内包する前記領域と異なる、前記基準画像の前記重畳用領域に対して前記補助画像を重畳することで前記重畳画像を生成してもよい。前記第２生成処理において、前記出力画像処理部は、前記複数の検出位置に対応する複数の特定領域を設定して前記複数の特定領域を含む複数の補助画像を前記基準画像から生成し、前記複数の特定領域とは異なる、前記基準画像の複数の重畳用領域に対して前記複数の補助画像を重畳することで前記重畳画像を生成してもよい。
【００３６】
これにより、複数の検出位置間の距離に応じた補助画像が生成され、ユーザの視認性向上が期待される。
【００３７】
また、前記補助画像が前記重畳用領域に重畳された前記重畳画像が前記出力画像として且つ前記表示画像として前記表示面に表示されている場合において、前記表示面における前記補助画像上に前記指示体が存在していることが検出されたとき、前記出力画像処理部は、前記補助画像上の前記指示体の検出位置に対応する領域を含む第２補助画像を前記基準画像又は前記補助画像から生成して、前記重畳用領域とは異なる、前記重畳画像の第２重畳用領域に対して前記第２補助画像を更に重畳したマルチ重畳画像を、前記出力画像として生成しても良い。
【００３８】
これにより、ユーザは、補助画像中の領域を、第２補助画像にて更に詳細に確認するといったことが可能となる。
【００３９】
また、前記補助画像が前記重畳用領域に重畳された前記重畳画像が前記出力画像として且つ前記表示画像として前記表示面に表示されている場合において、前記表示面における前記補助画像上に前記指示体が存在していることが検出されたとき、前記出力画像処理部は、前記補助画像上の前記指示体の検出位置に基づき、前記重畳画像に重畳されるべき前記補助画像を変更してもよい。
【発明の効果】
【００４０】
本発明の構成とすると、ユーザは、画像表示部の表示面に表示される画像中の指示体の下に表示される領域を、補助画像によって容易に視認することが可能になる。したがって、画像表示装置の操作性を向上させることが可能になる。
【００４１】
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００４２】
【図１】は、本発明の実施の一形態である撮像装置の構成例を示すブロック図である。
【図２】は、出力画像が表示された画像表示部の表示面を示す図である。
【図３】は、出力画像処理部の構成例を示すブロック図である。
【図４】は、指示体情報修正部の動作例（Ａ１）を示す表である。
【図５】は、指示体情報修正部の動作例（Ａ２）を示す表である。
【図６】は、指示体情報修正部の動作例（Ａ３）を示す表である。
【図７】は、補助画像表示制御部の動作例（Ｂ１）を示す表である。
【図８】は、補助画像表示制御部の動作例（Ｂ２）を示す表である。
【図９】は、補助画像表示制御部の動作例（Ｂ３）を示す表である。
【図１０】は、画像処理実行部の動作例（Ｃ１）について説明する図である。
【図１１】は、画像処理実行部の動作例（Ｃ２）について説明する図である。
【図１２】は、画像処理実行部の動作例（Ｃ２）について説明する図である。
【図１３】は、画像処理実行部の動作例（Ｃ３）について説明する図である。
【図１４】は、補助画像重畳部の動作例（Ｄ１）について説明する図である。
【図１５】は、補助画像重畳部の動作例（Ｄ２）について説明する図である。
【図１６】は、出力画像処理部の第１動作例について説明する図である。
【図１７】は、出力画像処理部の第２動作例について説明する図である。
【図１８】は、出力画像処理部の第３動作例について説明する図である。
【図１９】は、出力画像処理部の第４動作例について説明する図である。
【図２０】は、出力画像処理部の第４動作例について説明する図である。
【図２１】は、出力画像処理部の第４動作例について説明する図である。
【図２２】は、出力画像処理部の第５動作例について説明する図である。
【図２３】は、出力画像処理部の第６動作例について説明する図である。
【発明を実施するための形態】
【００４３】
本発明の実施の形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの画像（動画（各フレーム）及び静止画を含む。以下同じ。）信号の生成、記録及び表示や、音響信号の生成、記録及び再生が可能なものである。
【００４４】
＜＜撮像装置＞＞
まず、本発明の実施の一形態である、タッチパネルを備えた撮像装置の構成例について、図１を参照して説明する。図１は、本発明の実施の一形態である撮像装置の構成例を示すブロック図である。
【００４５】
図１に示すように、撮像装置１は、入射される光学像を電気信号である画像信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００４６】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログの画像信号をデジタルに変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される画像信号に階調補正処理などの各種画像処理を施す入力画像処理部５と、入力される音を電気信号である音響信号に変換する集音部６と、集音部６から出力されるアナログの音響信号をデジタルに変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号にノイズ除去などの各種音響処理を施して出力する音響処理部８と、入力画像処理部５から出力される画像信号と音響処理部８から出力される音響信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮符号化方式などの動画用の圧縮符号化処理を施したり入力画像処理部５から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮符号化方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１が外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。
【００４７】
また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号や入力画像処理部５から出力される画像信号に所定の処理を施す出力画像処理部１３と、モニタなどから成り画像信号を表示面に表示する画像表示部１４と、出力画像処理部１３から出力される画像信号を画像表示部１４で表示可能な形式の画像信号に変換する画像信号出力回路部１５と、スピーカなどから成り音響信号を再生する音響再生部１６と、伸長処理部１２で復号されて得られる音響信号を音響再生部１６で再生可能な形式の音響信号に変換する音響信号出力回路部１７と、を備える。なお、出力画像処理部１３の構成の詳細については、後述する。
【００４８】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１８と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１９と、操作部２０１や指示体検出部２０２などから成り、ユーザからの指示が入力される入力部２０と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部２１と、ＣＰＵ１８と各ブロックとの間でデータのやりとりを行うためのバス２２と、メモリ１９と各ブロックとの間でデータのやりとりを行うためのバス２３と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス２２，２３を省略する。
【００４９】
操作部２０１は、例えば、複数のボタンを備え、ユーザに押下されることで撮像の開始や終了などの各種指示の入力を検出する。指示体検出部２０２は、例えば、画像表示部１４の表示面上に配置されて指示体の接触や接近を静電容量の変化や抵抗値の変化として検出する検出膜を備え、画像表示部１４の表示面上に存在する指示体の位置や面積（指示体が画像表示部１４の表示面上を占める面積。例えば、指示体が検出膜に接触する面積。）を検出する。また、画像表示部１４と指示体検出部２０２とでタッチパネルが構成される。
【００５０】
次に、撮像装置１の動作例について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換する（撮像する）ことによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部２１から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。
【００５１】
そして、ＡＦＥ４によってアナログからデジタルへと変換された画像信号は、入力画像処理部５に入力される。入力画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１９はフレームメモリとして動作し、入力画像処理部５が処理を行なう際に画像信号を一時的に保持する。
【００５２】
また、このとき入力画像処理部５に入力される画像信号に基づき、レンズ部３において、レンズ位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり（オートフォーカス、オートエクスポージャ）、ユーザの指示に基づいて手動で行われたりする。
【００５３】
動画の画像信号を生成する場合、集音部６において集音を行う。集音部６で集音されてアナログの電気信号に変換される音響信号は、ＡＤＣ７に入力される。ＡＤＣ７は、入力される音響信号をデジタルに変換し、音響処理部８に入力する。音響処理部８は、入力される音響信号にノイズ除去や強度制御などの各種音響処理を施す。そして、入力画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮符号化方式で圧縮符号化される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。一方、静止画の画像信号を生成する場合、入力画像処理部５から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮符号化方式で圧縮符号化される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。
【００５４】
外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。また、伸長処理部１２は、外部メモリ１０に記録された静止画の圧縮符号化信号も同様に復号して画像信号を生成し、出力する。
【００５５】
伸長処理部１２から出力される画像信号は、出力画像処理部１３に入力される。また、画像信号の記録前や記録中に、撮像して得られる画像信号が画像表示部１４の表示面に表示され、ユーザに視認される。この場合、入力画像処理部５から出力される画像信号が、バス２２を介して出力画像処理部１３に入力される。出力画像処理部１３は、入力されるこれらの画像信号に所定の処理を施して、画像信号出力回路部１５に入力する。なお、出力画像処理部１３から出力される画像信号が圧縮処理部９に入力されて圧縮符号化され、得られる圧縮符号化信号がドライバ部１１を介して外部メモリ１０に記録されても構わない。また、出力画像処理部１３の動作の詳細については、後述する。
【００５６】
画像信号出力回路部１５は、出力画像処理部１３から出力される画像信号を、画像表示部１４で表示可能な形式に変換して出力する。また、音響信号出力回路部１７は、伸長処理部１２から出力される音響信号を、音響再生部１６で再生可能な形式に変換して出力する。
【００５７】
なお、動画及び静止画の画像信号を生成可能な撮像装置１を一例として示したが、撮像装置１が、動画及び静止画のいずれか一方の画像信号のみ生成可能な構成であっても構わない。
【００５８】
また、音響信号の集音に係る機能（例えば、集音部６、ＡＤＣ７、音響処理部８及び圧縮処理部９の音響信号に係る部分）及び音響信号の再生に係る機能（例えば、伸長処理部１２の音響信号に係る部分、音響再生部１６及び音響信号出力回路部１７）の少なくとも一方を備えない構成としても構わない。また、撮像に係る機能（例えば、イメージセンサ２、レンズ部３、ＡＦＥ４、入力画像処理部５及び圧縮処理部９の画像信号に係る部分）を備えない構成としても構わない。
【００５９】
また、操作部２０１は、物理的なボタンに限られず、タッチパネルの一部として構成されるボタン（画像表示部１４の表示面にボタンが表示され、ボタンが表示された領域上の指示体の有無を指示体検出部２０２が検出することで押下の有無が検出されるボタン）であっても構わない。また、指示体検出部２０２は、画像表示部１４の表示面上に設けられる検出膜に限られず、画像表示部１４の表示面の周囲に設けられる光学的なセンサであっても構わない。
【００６０】
また、外部メモリ１０は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００６１】
＜＜出力画像処理部＞＞
上述した出力画像処理部１３の構成及び動作の詳細について、以下図面を参照して説明する。また、以下では説明の簡略化のために、出力画像処理部１３が処理する画像信号を画像として表現する。さらに、出力画像処理部１３に入力されて処理される画像信号を「入力画像」と表現し、出力画像処理部１３で処理されて出力される画像信号を「出力画像」と表現する。
【００６２】
＜補助画像＞
最初に、出力画像処理部１３が生成し得る出力画像について図面を参照して説明する。図２は、出力画像が表示された画像表示部１４の表示面を示す図である。図２（ａ）及び（ｂ）では、画像表示部１４の表示面に表示される出力画像と、画像表示部１４の表示面上に存在する指示体Ｆとを明確に区別するため、指示体Ｆに斜線のハッチングを付して表現している。
【００６３】
図２（ａ）に示すように、ユーザが画像表示部１４の表示面上に指示体Ｆを位置させると（指示体検出部２０２を操作すると）、指示体Ｆの下に表示される出力画像中の領域を、ユーザが視認することが困難になる。そのため、例えばユーザは、指示体検出部２０２の操作によって望んだ出力画像が得られたか否か、意図した位置を指示体Ｆによって正しく指示できているか否かなどを、容易に把握することが困難になる。
【００６４】
そこで、図２（ｂ）に示すように、本例の出力画像処理部１３は、指示体検出部２０２が検出する指示体Ｆの位置に対応する出力画像中の領域を含む補助画像Ｓを、当該出力画像中の当該領域とは異なる領域に重畳させた出力画像を生成する。
【００６５】
具体的には、図２（ｂ）に示すように、出力画像処理部１３が、画像表示部１４の表示面に出力画像を表示した場合に指示体Ｆの下に表示される不可視領域（図中、指示体Ｆと重なる画像中の領域）を含む取得領域Ｕに基づいて補助画像Ｓを生成し、当該画像中の不可視領域とは異なる領域に補助画像Ｓを重畳することで出力画像を生成する。
【００６６】
以上のように構成すると、ユーザは、画像表示部１４の表示面に表示される出力画像中の指示体の下に表示される領域を、補助画像Ｓによって容易に視認することが可能になる。したがって、撮像装置１の操作性を向上させることが可能になる。
【００６７】
なお、出力画像処理部１３は、図２（ｂ）の出力画像のように、取得領域Ｕの大きさを略変更しない補助画像Ｓを含む出力画像を生成しても構わないし、取得領域Ｕの大きさを変更した（例えば、拡大した）補助画像Ｓを含む出力画像を生成しても構わない。
【００６８】
また、説明の都合上、図２（ｂ）において取得領域Ｕを示しているが、出力画像処理部１３は、取得領域Ｕを示さない出力画像を生成しても構わないし、取得領域Ｕを示す出力画像を生成しても構わない。
【００６９】
＜出力画像処理部の構成例＞
以下、上記の補助画像を含む出力画像を生成する出力画像処理部１３の構成例や動作例について説明する。まず、出力画像処理部１３の構成例について、図面を参照して説明する。図３は、出力画像処理部の構成例を示すブロック図である。
【００７０】
図３に示すように、出力画像処理部１３は、操作部２０１から出力される操作情報に基づいて指示体検出部２０２から出力される指示体情報を修正し修正指示体情報を生成する指示体情報修正部１３１と、操作情報と指示体情報と修正指示体情報と補助画像表示モード情報とに基づいて補助画像生成情報を生成する補助画像表示制御部１３２と、修正指示体情報に基づき入力画像に処理を施して処理後画像を生成する画像処理実行部１３３と、補助画像生成情報と付加画像表示情報とに基づいて処理後画像中に補助画像を重畳させた出力画像を生成し得る補助画像重畳部１３４と、を備える。
【００７１】
操作情報は、例えば操作部２０１に含まれる所定のボタンの状態を示す情報であり、当該所定のボタンが押下されることで操作あり（ＯＮ）となり、押下されなければ操作なし（ＯＦＦ）となる。
【００７２】
指示体情報は、指示体検出部２０２が検出する画像表示部１４の表示面上に存在する指示体の位置を示す情報であり、入力画像中及び処理後画像中の不可視領域を示すものとしても解釈され得る。なお、指示体情報が、画像表示部１４の表示面上における指示体の位置だけでなく、指示体の面積をも含む情報であっても構わない。以下では、説明の簡略化のため、指示体情報が、画像表示部１４の表示面上における指示体の位置及び面積を示すものとする。
【００７３】
修正指示体情報は、撮像装置１の操作性の向上等のために、指示体情報修正部１３１が必要に応じて指示体情報を修正することで得られる情報である。また、補助画像表示モード情報は、補助画像を含む出力画像の生成の要否の決定方法を示す情報である。補助画像表示モード情報は、例えばユーザや製造者などによって決定され、ＣＰＵ１８などから入力される。
【００７４】
補助画像生成情報は、補助画像重畳部１３４が補助画像を生成するための情報であり、補助画像を含む出力画像の生成の要否を示す情報（以下、要否情報とする）や、補助画像重畳部１３４が処理後画像中の取得領域を設定するための情報（以下、取得領域情報とする）が含まれる。
【００７５】
また、付加画像表示情報は、補助画像を含む出力画像に対して付加する画像（以下、付加画像とする）の要否やその表示形式などを示す情報である。付加画像表示情報は、例えばユーザや製造者などによって決定され、ＣＰＵ１８などから入力される。
【００７６】
なお、図３に示す構成例は一例に過ぎず、補助画像を含む出力画像を生成し得るものである限り、どのような構成であっても構わない。例えば、指示体情報修正部１３１を設けない構成としても構わない。この場合、修正指示体情報を指示体情報とする。また例えば、画像処理実行部１３３を設けなくても構わないし、画像処理実行部１３３が入力画像処理部５に含まれても構わない（処理後画像が外部メモリ１０に記録され得る構成としても構わない）。この場合、処理後画像を入力画像とする。また例えば、操作情報を不要としても構わない。ただし、以下では説明の簡略化のため、画像処理部１３が、図３に示す構成であるものとする。
【００７７】
［指示体情報修正部］
指示体情報修正部１３１は、操作情報に基づいて、必要に応じて指示体情報を修正し、修正指示体情報として出力する。この指示体情報修正部１３１の動作例について、図面を参照して説明する。図４〜図６は、指示体情報修正部の動作例（Ａ１〜Ａ３）を示す表である。
【００７８】
図４〜図６中の「指示体検出」とは、指示体検出部２０２が、画像表示部１４の表示面上に存在する指示体を検出する場合であり、検出する指示体の位置及び面積を指示体情報として出力する場合である。一方、「指示体非検出」とは、指示体検出部２０２が、画像表示部１４の表示面上に指示体が存在しないことを検出する場合であり、その旨を指示体情報として出力する（または、無出力とする）場合である。また、「操作あり」とは、ユーザが操作部２０１を操作し（例えば、操作部２０１の所定のボタンがユーザに押下され）、操作部２０１がその旨を操作情報として出力する場合である。一方、「操作なし」とは、ユーザが操作部２０１を操作せず（例えば、操作部２０１の所定のボタンがユーザに押下されず）、操作部２０１がその旨を操作情報として出力する場合である。
【００７９】
（動作例：Ａ１）
図４は、指示体情報修正部の動作例（Ａ１）を示す表である。本動作例では、指示体情報修正部１３１が、操作情報と関連しない修正指示体情報を出力する。換言すると、出力画像処理部１３が、順次入力される指示体情報を有効なものとして扱う。
【００８０】
図４に示すように、本動作例では、操作部２０１がユーザに操作されているか否か、指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出するか否か、にかかわらず、指示体情報修正部１３１が指示体情報と同じ修正指示体情報を出力する。
【００８１】
（動作例：Ａ２）
図５は、指示体情報修正部の動作例（Ａ２）を示す表である。本動作例では、ユーザが操作部２０１を操作すると、指示体情報修正部１３１が、入力されている（または、されていた）指示体情報を保持し、当該指示体情報を修正指示体情報として出力する。換言すると、操作部２０１がユーザに操作されているとき、出力画像処理部１３が、順次得られる指示体情報または操作部２０１の操作の開始時以前に得られた指示体情報を、有効なものとして扱う。
【００８２】
図５に示すように、本動作例では、操作部２０１がユーザに操作されていない場合、指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出するか否かにかかわらず、指示体情報修正部１３１が指示体情報と同じ修正指示体情報を出力する。
【００８３】
一方、操作部２０１がユーザに操作されており且つ指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出している場合、指示体情報修正部１３１が、指示体情報と同じ修正指示体情報を出力する。または、この場合、指示体情報修正部１３１が、操作部２０１の操作がある旨を示す操作情報の入力開始時（操作部２０１の操作の開始時）に入力された指示体情報を保持し、当該指示体情報を修正指示体情報として継続的に出力する。なお、指示体情報修正部１３１が上記のいずれの修正指示体情報を出力するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。
【００８４】
また、操作部２０１がユーザに操作されており且つ指示体検出部２０２が画像表示部１４の表示面上に指示体が存在しないことを検出している場合、指示体情報修正部１３１が、画像表示部１４の表示面上に存在する指示体を検出したときの指示体情報であり、直近（最後）に入力されて保持しておいたものを修正指示体情報として出力する。または、この場合、指示体情報修正部１３１が、操作部２０１の操作がある旨を示す操作情報の入力開始時（操作部２０１の操作の開始時）に入力された指示体情報を保持し、当該指示体情報を修正指示体情報として継続的に出力する。なお、指示体情報修正部１３１が上記のいずれの修正指示体情報を出力するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。
【００８５】
このように構成すると、画像表示部１４の表示面上に指示体が存在していない場合であっても、ユーザが操作部２０１を操作することで、模擬的に画像表示部１４の表示面上に指示体が存在しているものとして出力画像処理部１３を動作させることが可能になる。そのため、撮像装置１の操作性を、さらに向上させることが可能になる。
【００８６】
具体的に例えば、ユーザが、指示体を画像表示部１４の表示面上から一時的に離脱させて、表示される出力画像の全体を視認する間に、操作部２０１を操作しておくことで、その間も擬似的に画像表示部１４の表示面上に指示体が存在している（例えば、ユーザによる指示体検出部２０２の操作が終了しておらず、画像表示部１４の表示面上で指示体の動きを一時的に止めた）ものとして、出力画像処理部１３を動作させることが可能になる。
【００８７】
（動作例：Ａ３）
図６は、指示体情報修正部の動作例（Ａ３）を示す表である。本動作例では、ユーザが操作部２０１を操作すると、指示体情報修正部１３１が、その後入力される指示体情報を拒否し、当該指示体情報とは関連なく修正指示体情報を出力する。換言すると、操作部２０１がユーザに操作されているとき、出力画像処理部１３が、操作部２０１の操作の開始時よりも後に得られる指示体情報を、無効なものとして扱う。
【００８８】
図６に示すように、本動作例では、操作部２０１がユーザに操作されていない場合、指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出するか否かにかかわらず、指示体情報修正部１３１が指示体情報と同じ修正指示体情報を出力する。
【００８９】
一方、操作部２０１がユーザに操作されており且つ指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出している場合、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在しないことを検出する旨を示す修正指示体情報を出力する（または、無出力とする）。または、この場合、指示体情報修正部１３１が、操作部２０１の操作がある旨を示す操作情報の入力開始時（操作部２０１の操作の開始時）に入力された指示体情報を保持し、当該指示体情報を修正指示体情報として継続的に出力する。なお、指示体情報修正部１３１が上記のいずれの修正指示体情報を出力するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。
【００９０】
また、操作部２０１がユーザに操作されており且つ指示体検出部２０２が画像表示部１４の表示面上に指示体が存在しないことを検出している場合、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在しないことを検出する旨を示す修正指示体情報を出力する（または、無出力とする）。または、この場合、指示体情報修正部１３１が、操作部２０１の操作がある旨を示す操作情報の入力開始時（操作部２０１の操作の開始時）に入力された指示体情報を保持し、当該指示体情報を修正指示体情報として継続的に出力する。なお、指示体情報修正部１３１が上記のいずれの修正指示体情報を出力するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。
【００９１】
このように構成すると、ユーザが操作部２０１を操作することで、指示体検出部２０２を無効化することが可能になる。そのため、撮像装置１の操作性を、さらに向上させることが可能になる。
【００９２】
具体的に例えば、ユーザが、指示体検出部２０２の操作を終了して指示体を画像表示部１４の表示面上から離脱させる際に、誤って指示体を動かし当該動きを指示体検出部２０２が検出したとしても、指示体検出部２０２の操作を終了した時点で操作部２０１を操作しておくことで、当該動きを示す指示体情報を無効化することが可能になる。
【００９３】
なお、上述の動作例Ａ１〜Ａ３は一例に過ぎず、これらを部分的に変更しても構わないし、指示体情報修正部１３１が動作例Ａ１〜Ａ３以外の動作をしても構わない。また、指示体情報修正部１３１が、動作例Ａ１〜Ａ３のいずれで動作するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。後者の場合、後述する補助画像表示制御部１３２と同様に、動作例Ａ１〜Ａ３のいずれで動作するかを指示する情報が指示体情報修正部１３１に入力され、当該情報が指示する動作例の通りに指示体情報修正部１３１が動作しても構わない。さらに、当該情報が補助画像表示モード情報であっても構わない。即ち、指示体情報修正部１３１が、補助画像表示制御部１３２と連動しても構わない。
【００９４】
また、撮像装置１の動作状態に応じて、動作例Ａ１〜Ａ３が適宜選択されることとしても構わない。また、動作例Ａ２及び動作例Ａ３を同時に実施しても構わない。この場合、それぞれの動作例における操作情報（例えば、操作部２０１のボタン）が異なると好ましく、それぞれの操作情報が同時に入力された場合にどちらかの動作例が優先されると好ましい。
【００９５】
［補助画像表示制御部］
補助画像表示制御部１３２は、例えば指示体情報または修正指示体情報を、取得領域情報にする。そして、補助画像表示制御部１３２は、この取得領域情報を、補助画像生成情報に含めて出力する。
【００９６】
また、補助画像表示制御部１３２は、操作情報と指示体情報と修正指示体情報と補助画像表示モード情報とに基づいて、補助画像を含む出力画像の生成の要否を決定する。そして、補助画像表示制御部１３２は、この決定結果を示す要否情報を、補助画像生成情報に含めて出力する。この補助画像表示制御部１３２の動作例について、図面を参照して説明する。図７〜図９は、指示体情報修正部の動作例（Ｂ１〜Ｂ３）を示す表である。
【００９７】
図７〜図９中の「表示」とは、補助画像表示制御部１３２が、画像表示部１４の表示面に補助画像を含む出力画像を表示することを決定する場合を指す。一方、「非表示」とは、補助画像表示制御部１３２が、画像表示部１４の表示面に補助画像を含まない出力画像を表示することを決定する場合を指す。なお、これらの他は図４〜図６について説明したものと同様であるため、説明を省略する。
【００９８】
（動作例：Ｂ１）
図７は、補助画像表示制御部の動作例（Ｂ１）を示す表である。本動作例では、補助画像表示制御部１３２が、補助画像を含む出力画像を生成するか否かを、指示体情報を優先して決定する。また、この決定方法を示す補助画像表示モード情報が、補助画像表示制御部１３２に入力される。
【００９９】
図７に示すように、本動作例では、指示体情報修正部１３１の動作例Ａ１〜Ａ３や操作部２０１がユーザに操作されているか否かにかかわらず、指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出しているときに、補助画像表示制御部１３２が、補助画像を含む出力画像を生成することを決定する。また、指示体検出部２０２が画像表示部１４の表示面上に指示体が存在しないことを検出しているときに、補助画像表示制御部１３２が、補助画像を含まない出力画像を生成することを決定する。
【０１００】
このように構成すると、真に画像表示部１４の表示面上に指示体が存在している場合に、補助画像を含む出力画像を画像表示部１４の表示面に表示させることが可能になる。
【０１０１】
（動作例：Ｂ２）
図８は、補助画像表示制御部の動作例（Ｂ２）を示す表である。本動作例では、補助画像表示制御部１３２が、補助画像を含む出力画像を生成するか否かを、操作情報を優先して決定する。また、この決定方法を示す補助画像表示モード情報が、補助画像表示制御部１３２に入力される。
【０１０２】
図８に示すように、本動作例では、指示体情報修正部１３１の動作例Ａ１〜Ａ３や指示体検出部２０２が画像表示部１４の表示面上に存在する指示体を検出しているか否かにかかわらず、操作部２０１がユーザに操作されているときに、補助画像表示制御部１３２が、補助画像を含む出力画像を生成することを決定する。また、操作部２０１がユーザに操作されていないときに、補助画像表示制御部１３２が、補助画像を含まない出力画像を生成することを決定する。
【０１０３】
このように構成すると、操作部２０１をユーザが操作するという、ユーザによる明示の要求がある場合に、補助画像を含む出力画像を画像表示部１４の表示面に表示させることが可能になる。
【０１０４】
（動作例：Ｂ３）
図９は、補助画像表示制御部の動作例（Ｂ３）を示す表である。本動作例では、補助画像表示制御部１３２が、補助画像を含む出力画像を生成するか否かを、修正指示体情報（指示体情報及び操作情報に基づいて、出力画像処理部１３が有効なものとして扱う指示体情報。図４〜図６参照。）を優先して決定する。また、この決定方法を示す補助画像表示モード情報が、補助画像表示制御部１３２に入力される。
【０１０５】
図９に示すように、本動作例では、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在する旨の修正指示体情報を出力するときに（図４〜図６参照）、補助画像表示制御部１３２が、補助画像を含む出力画像を生成することを決定する。また、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在しない旨の修正指示体情報を出力するときに（図４〜図６参照）、補助画像表示制御部１３２が、補助画像を含まない出力画像を生成することを決定する。
【０１０６】
指示体情報修正部１３１が動作例Ａ３で動作し、操作部２０１がユーザに操作される場合、例えば製造者の決定やユーザの決定次第で、指示体情報修正部１３１が、画像表示部１４の表示面上に指示体が存在する旨の修正指示体情報か、画像表示部１４の表示面上に指示体が存在しない旨の修正指示体情報を出力する（図６参照）。この場合も上記と同様に、指示体情報修正部１３１が出力する修正指示体情報に基づいて、補助画像表示制御部１３２が補助画像を含む出力画像を生成するか否かを決定する。
【０１０７】
このように構成すると、撮像装置１の操作性を向上させるべく生成される修正指示体情報に合わせて、補助画像を含む出力画像を画像表示部１４の表示面に表示させるか否かを決定することが可能になる。
【０１０８】
なお、上述の動作例Ｂ１〜Ｂ３は一例に過ぎず、これらを部分的に変更しても構わないし、補助画像表示制御部１３２が動作例Ｂ１〜Ｂ３以外の動作をしても構わない。また、補助画像表示制御部１３２が、動作例Ｂ１〜Ｂ３のいずれで動作するかを、製造者が撮像装置１の製造時に決定しても構わないし、ユーザが撮像装置１の使用時に決定しても構わない。前者の場合、補助画像表示モード情報が、補助画像表示制御部１３２に入力されないこととしても構わない。
【０１０９】
また、補助画像表示制御部１３２が、指示体情報及び修正指示体情報のいずれを取得領域情報にするかを、補助画像表示モード情報に基づいて決定しても構わない。具体的に例えば、補助画像表示制御部１３２が、動作例Ｂ１のように指示体情報を優先して補助画像を含む出力画像の生成の要否を決定する場合、指示体情報を取得領域情報にしても構わない。また例えば、補助画像表示制御部１３２が、動作例Ｂ３のように修正指示体情報を優先して補助画像を含む出力画像の生成の要否を決定する場合、修正指示体情報を取得領域情報にしても構わない。
【０１１０】
［画像処理実行部］
画像処理実行部１３３は、修正指示体情報に基づいた画像処理を入力画像に施して、処理後画像を生成する。この画像処理実行部１３３の動作例について、図面を参照して説明する。図１０〜図１３は、画像処理実行部の動作例（Ｃ１〜Ｃ３）について説明する図である。
【０１１１】
（動作例：Ｃ１）
図１０は、画像処理実行部の動作例（Ｃ１）について説明する図であり、入力画像の一例を示すものである。本動作例では、画像処理実行部１３３が、入力画像中の不要物体領域Ｂを除去する処理を行う。
【０１１２】
図１０に示すように、本動作例では、最初にユーザが、画像表示部１４の表示面に表示される出力画像（図１０の入力画像）を視認し、不要物体領域Ｂを指示体で指示する。このとき、画像表示部１４の表示面上における指示体の位置及び面積を指示体検出部２０２が検出し、入力画像中の不要物体領域Ｂの位置及び面積を示す修正指示体情報を、画像処理実行部１３３に入力する。画像処理実行部１３３は、この修正指示体情報に基づいて、不要物体領域Ｂを含む処理対象領域Ａを設定する。
【０１１３】
画像処理実行部１３３は、処理対象領域Ａから不要物体領域Ｂを除いた領域の画像と、入力画像の処理対象領域Ａを除いた領域の画像との対比に基づく画像マッチング等を行い、入力画像の処理対象領域Ａを除いた領域中から、処理対象領域Ａから不要物体領域Ｂを除いた領域に類似する領域を探索する。
【０１１４】
上記の探索の結果、入力画像中の処理対象領域Ａを除いた領域から、内部が欠落した類似領域Ｍ１（灰色で示した領域であり、内部の白色で示した領域は含まない）が探索されたとする。このとき、画像処理実行部１３３は、内部が欠落していない類似領域Ｍ１である充当領域Ｍ２（灰色で示した領域と内部の白色で示した領域とを合わせた領域）を、処理対象領域Ａから不要物体領域Ｂを除いた領域に対して、所定の混合比率で混合（例えば、加重加算）する。なお、充当領域Ｍ２は、処理対象領域Ａと形状及び大きさが略等しい領域である。
【０１１５】
画像処理実行部１３３は、以上の処理を行うことで、不要物体領域Ｂが除去された処理後画像を生成する。また、上述のように、ユーザが指示体検出部２０２を操作すると、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。
【０１１６】
このように構成すると、ユーザは、画像表示部１４の表示面に表示される出力画像中の不要物体領域Ｂを指示体で指示するだけで、不要物体領域Ｂを除去した処理後画像を得ることが可能になる。また、画像処理実行部１３３がこの処理を行う際に、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。そのため、ユーザは、望んだ画像が得られたか否かを容易に把握することが可能になる。
【０１１７】
なお、本動作例の処理は繰り返し行われ得るものであり、繰り返し行われることで（例えば、画像表示部１４の表示面に表示された出力画像中の不要物体領域Ｂの上を、ユーザが指示体で繰り返し擦ることで）徐々に不要物体領域Ｂが除去されていくように、上記の混合比率などを設定しても構わない。
【０１１８】
また、説明の都合上、図１０において処理対象領域Ａ、不要物体領域Ｂ、類似領域Ｍ１及び充当領域Ｍ２を示しているが、出力画像処理部１３は、これらの領域を示さない出力画像を生成しても構わないし、これらの少なくとも１つの領域を示す出力画像を生成しても構わない。また、図１０では、ユーザが不要物体領域Ｂの輪郭を精度良く指示する場合について示しているが、ユーザが不要物体領域Ｂの輪郭を考慮せずに適当に不要物体領域Ｂやその周囲の位置を指示したとしても、不要物体領域Ｂを除去した処理後画像を得ることは可能である。
【０１１９】
また、本動作例は、入力画像中の不要物体領域Ｂを除去する処理のみに限られず、入力画像中の所定領域を変化させる（画像そのものを変化させる）種々の処理に対して適用可能である。
【０１２０】
（動作例：Ｃ２）
図１１及び図１２は、画像処理実行部の動作例（Ｃ２）について説明する図である。図１１は、処理後画像の一例を示すものであり、図１２は、本動作例の処理を行う画像処理実行部１３３の要部の構成（または機能）を示すブロック図である。本動作例では、画像処理実行部１３３が、入力画像中の一部の領域の解像感を高める処理（超解像処理）を行う。
【０１２１】
図１１に示すように、本動作例では最初にユーザが、画像表示部１４の表示面に表示される出力画像（図１１の入力画像）を視認し、解像感を高めるべき領域を指示体で指示する。このとき、画像表示部１４の表示面上の指示体の位置及び面積を指示体検出部２０２が検出し、入力画像中の解像感を高めるべき領域の位置及び面積を示す修正指示体情報を、画像処理実行部１３３に入力する。画像処理実行部１３３は、この修正指示体情報に基づいて、解像感を高めるべき領域を含む処理対象領域Ａを設定する。
【０１２２】
また、図１２に示すように、画像処理実行部１３３は、入力画像の処理対象領域Ａを高解像度化することで１次高解像度化画像を生成するまたは差分情報に基づいてｎ次低解像度化画像（ｎは自然数）を高解像度化することでｎ＋１次高解像度化画像を生成する高解像度化処理部１３３ａと、ｎ次高解像度化画像を低解像度化してｎ次低解像度化画像を生成する低解像度化処理部１３３ｂと、入力画像の処理対象領域Ａとｎ次低解像度化画像との差分を求めて差分情報を生成する差分算出部１３３ｃと、を備える。また、高解像度化処理部１３３ａが生成するｎ次高解像度化画像が、処理後画像の処理対象領域Ａになり得る。
【０１２３】
本動作例では、まず、高解像度化処理部１３３ａが、入力画像の処理対象領域Ａを高解像度化（拡大）する。例えば、複数の画像の画素を組み合わせたり、１つの入力画像に対して所定の補間処理を適用したりすることで、高解像度化する。これにより、１次高解像度化画像が得られる。
【０１２４】
次に、低解像度化処理部１３３ｂが、高解像度化処理部１３３ａで得られる１次高解像度化画像を、入力画像の処理対象領域Ａと略等しい解像度となるように低解像度化する。例えば、画素加算処理や間引き処理などを適用することで、低解像度化（縮小）する。これにより、１次低解像度化画像が得られる。
【０１２５】
差分算出部１３３ｃは、入力画像の処理対象領域Ａと１次低解像度化画像との差分を求め、差分情報として出力する。高解像度化処理部１３３ａは、差分情報に基づいて高解像度化の処理内容を補正することで、より精度良く入力画像を高解像度化した２次高解像度化画像を得る。また、上記の処理と同様の処理を２次高解像度化画像に施すことで、３次高解像度化画像が得られる。即ち、上記の処理と同様の処理をｎ次高解像度化画像に施すことで、ｎ＋１次高解像度化画像が得られる。
【０１２６】
上述の高解像度化及び低解像度化の一連の処理は、収束する（例えば、所定の繰り返し回数が行われたり、差分が所定の閾値よりも小さくなったりする）まで行い、収束した時点のｎ次高解像度化画像を、処理後画像の処理対象領域Ａとする。
【０１２７】
そして、画像処理実行部１３３は、得られた処理後画像の処理対象領域Ａと、入力画像の処理対象領域Ａ以外の領域と、を組み合わせることで処理後画像を生成する。また、上述のように、ユーザが指示体検出部２０２を操作すると、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。
【０１２８】
このように構成すると、ユーザは、画像表示部１４の表示面に表示される出力画像中の解像感を高めるべき領域を指示体で指示するだけで、当該領域の解像感を高めた処理後画像を得ることが可能になる。また、画像処理実行部１３３がこの処理を行う際に、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。そのため、ユーザは、望んだ画像が得られたか否かを容易に把握することが可能になる。
【０１２９】
なお、本動作例の処理は繰り返し行われ得るものであり、繰り返し行われることで（例えば、画像表示部１４の表示面に表示された出力画像中の解像感を高めるべき領域の上を、ユーザが指示体で繰り返し擦ることで）徐々に解像感が高められるように、上記の収束する条件（例えば、繰り返し回数や差分の閾値）などを設定しても構わない。また、説明の都合上、図１１において処理対象領域Ａを示しているが、出力画像処理部１３は、処理対象領域Ａを示さない出力画像を生成しても構わないし、処理対象領域Ａを示す出力画像を生成しても構わない。
【０１３０】
また、処理後画像の処理対象領域Ａと、処理後画像の処理対象領域Ａ以外の領域と、が略等しい解像度になるように、入力画像の処理対象領域Ａ以外の領域に対して、例えば単純な（解像感が高まらない）補間処理などを施し、高解像度化（拡大）しても構わない。
【０１３１】
また、本動作例は、解像感を高める処理のみに限られず、入力画像中の所定領域の画質を調整する種々の処理に対して適用可能である。
【０１３２】
（動作例：Ｃ３）
図１３は、画像処理実行部の動作例（Ｃ３）について説明する図であり、処理後画像の一例を示すものである。本動作例では、画像処理実行部１３３が、ユーザが撮像装置１のズームを操作するための画像であるバーＰを、入力画像中に重畳する処理を行う。なお、このバーＰは、内部のゲージ（灰色で示した領域）の示値端部（ズーム状態を示す端部、図１３では右端部）が左側（ワイド側）に進むとズームアウトが行われ、右側（テレ側）に進むとズームインが行われる。
【０１３３】
図１３に示すように、本動作例では最初にユーザが、画像表示部１４の表示面に表示される出力画像（図１３の処理後画像）を視認し、バーＰが表示されている領域中の任意の位置を指示体で指示することで、バーＰ内のゲージを所望の状態にする。例えばユーザは、バーＰ内のゲージの示値端部が表示されている上に指示体を位置させ、指示体をバーＰに沿って左側または右側にスライドさせることで、ゲージを所望の状態にする。
【０１３４】
このとき、画像表示部１４の表示面上における指示体の位置及び面積を指示体検出部２０２が検出し、修正指示体情報として画像処理実行部１３３に入力する。画像処理実行部１３３は、この修正指示体情報に応じたバーＰを入力画像中に重畳する。例えば、指示体が指示する位置がゲージの示値端部になるバーＰを、入力画像中に重畳する。
【０１３５】
画像処理実行部１３３は、以上の処理を行うことで、バーＰが重畳された処理後画像を生成する。また、上述のように、ユーザが指示体検出部２０２を操作すると、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。
【０１３６】
さらに、ＣＰＵ１８は、上述のユーザの操作に応じたズームが行われるように、撮像装置１の動作を制御する。例えば、レンズ部３のズームレンズの位置を光軸に沿って移動させる（光学ズームを行う）。また例えば、入力画像処理部５が撮像により得られた画像から入力画像を生成するために取得する領域（画角）を、変更する（電子ズームを行う）。
【０１３７】
このように構成すると、ユーザは、画像表示部１４の表示面に表示される出力画像中のバーＰのゲージを指示体で操作するだけで、撮像装置１のズームを操作することが可能になる。また、画像処理実行部１３３がこの処理を行う際に、補助画像を含む出力画像が画像表示部１４の表示面に表示され得る。そのため、ユーザは、意図した位置を指示体によって正しく指示できているか否かを容易に把握することが可能になる。
【０１３８】
なお、図１３では、入力画像中に重畳するバーＰを、撮像装置１のズームを操作するためのものとして説明したが、これ以外のためのものとしても構わない。例えば、入力画像中に重畳するバーを、入力画像または処理後画像の色味や輝度を調整するためのものとしても構わないし、集音部６の指向性や音響再生部１６で再生される音響信号の音量を調整するためのものとしても構わない。
【０１３９】
また、本動作例は、入力画像中にバーを重畳する処理のみに限られず、ユーザが撮像装置１の種々の動作を操作するための画像を入力画像中に重畳する処理に対して適用可能である。
【０１４０】
［補助画像重畳部］
補助画像重畳部１３４は、補助画像生成情報に含まれる要否情報に基づいて、補助画像を含む出力画像の生成の要否を確認する。補助画像重畳部１３４は、補助画像を含む出力画像を生成しないことを確認する場合、処理後画像を出力画像として出力する。一方、補助画像重畳部１３４は、処理後画像を含む出力画像を生成することを確認する場合、補正画像を生成するべく、補助画像生成情報に含まれる取得領域情報に基づいて、処理後画像中に取得領域を設定する。
【０１４１】
補助画像重畳部１３４は、取得領域情報（指示体情報または修正指示体情報）によって処理後画像中の不可視領域を認識して、取得領域を設定する。例えば、補助画像重畳部１３４は、不可視領域を包含する領域を、取得領域として設定する。なお、不可視領域が変動する際、補助画像重畳部１３４が、当該変動に応じて取得領域を変動させても構わないし、最初に認識した不可視領域に基づいて設定した取得領域を維持しても構わない。また、前者及び後者の取得領域の設定方法のいずれを採用するかを、画像処理実行部１３３が行う画像処理に応じて決定しても構わない。例えば、画像処理実行部１３３が動作例Ｃ１で動作する場合（ユーザが、画像表示部１４の表示面上で広範囲かつ不定の領域内で指示体を動かすと想定される場合）は、補助画像重畳部１３４が前者の取得領域の設定方法を採用し、画像処理実行部１３３が動作例Ｃ２またはＣ３で動作する場合（ユーザが、画像表示部１４の表示面上の狭範囲または既定の領域内で指示体を動かすと想定される場合）は、後者の取得領域の設定方法を採用しても構わない。
【０１４２】
補助画像重畳部１３４は、上記のように設定した取得領域を示す補助画像を生成し、処理後画像中に重畳する。例えば、補助画像重畳部１３４は、処理後画像中の補助画像を重畳する領域を、取得領域に隣接し処理後画像中に収まる領域とする。なお、補助画像重畳部１３４が、処理後画像中の補助画像を重畳する領域を設定する際に、取得領域を基準にして、可能な限り処理後画像の中心側となるように当該領域を設定しても構わないし、可能な限りユーザが事前に設定した自身の利き手と反対側（例えば、左利きであれば右側）となるように当該領域を設定しても構わない。
【０１４３】
また、補助画像重畳部１３４は、付加画像表示情報に基づいて、必要に応じて補助画像を含む出力画像に付加画像を付加する。この動作例について、図面を参照して説明する。図１４及び図１５は、補助画像重畳部の動作例（Ｄ１及びＤ２）について説明する図である。
【０１４４】
（動作例：Ｄ１）
図１４は、画像処理実行部の動作例（Ｄ１）について説明する図であり、補助画像を含む出力画像に付加し得る付加画像の一例を示すものである。図１４に示す付加画像Ｅ１〜Ｅ４は、取得領域中における指示体の位置を、補助画像中に表すものである。
【０１４５】
付加画像Ｅ１〜Ｅ３は、指示体（例えば、人間の指）を模したものであり、取得領域中における指示体の位置を、補助画像中の付加画像Ｅ１〜Ｅ３の領域で表すものである。また、付加画像Ｅ１は略不透明であり、付加画像Ｅ２は半透明、付加画像Ｅ３は透明（輪郭線のみ）である。
【０１４６】
付加画像Ｅ４は矢印であり、取得領域中における指示体の位置を、補助画像中の付加画像Ｅ４の矢尻の先端で表すものである。また、付加画像Ｅ４は不透明であるが、付加画像Ｅ２と同様に半透明にしても構わないし、付加画像Ｅ３と同様に透明にしても構わない。
【０１４７】
このように構成すると、画像表示部１４の表示面に表示される出力画像中の指示体の下に表示される領域と、指示体の位置との関係を、ユーザが容易に把握することが可能になる。
【０１４８】
（動作例：Ｄ２）
図１５は、画像処理実行部の動作例（Ｄ２）について説明する図であり、補助画像を含む出力画像に付加し得る付加画像の一例を示すものである。なお、図１５に示す付加画像Ｅ３１〜Ｅ３３は、図１４に示した付加画像Ｅ３に本動作例を適用したものである。なお、本動作例は、図１４の付加画像Ｅ３のみに限られず、他の付加画像にも適用可能である。
【０１４９】
付加画像Ｅ３１〜Ｅ３３は、取得領域中における指示体の位置及び面積を、補助画像中の付加画像Ｅ３１〜Ｅ３３の領域で表すものである。指示体の面積が大きくなるほど、付加画像Ｅ３１〜Ｅ３３の領域が大きくなる。
【０１５０】
このように構成すると、画像表示部１４の表示面に表示される出力画像中の指示体の下に表示される領域と、指示体の位置及び面積との関係とを、ユーザが容易に把握することが可能になる。
【０１５１】
（動作例：Ｄ３）
本動作例は、補助画像を含む出力画像に、付加画像を付加しないものである。本動作例では、例えば図２（ｂ）に示すような出力画像が得られる。
【０１５２】
このように構成すると、画像表示部１４の表示面に表示される出力画像中の指示体の下に表示される領域を、ユーザが明確に把握することが可能になる。
【０１５３】
＜出力画像処理部の動作例＞
これまで、出力画像処理部１３を構成する各部の動作例について説明したが、以下では、これらの動作例を組み合わせた一連の動作について説明する。なお、以下説明するそれぞれの動作における各部の動作例の組み合わせは一例に過ぎず、上述した各部の動作例は矛盾なき限りどのように組み合わせても構わない。
【０１５４】
（第１動作例）
出力画像処理部１３の第１動作例について、図１６を参照して説明する。図１６は、出力画像処理部の第１動作例について説明する図である。図１６は、出力画像が表示された画像表示部１４の表示面を示すものである。また、図１６中、画像表示部１４の表示面に表示される出力画像と、画像表示部１４の表示面上に存在する指示体Ｆとを明確に区別するため、指示体Ｆに斜線のハッチングを付して表現している。なお、図１６に示す画像表示部１４の表示面に表示されている出力画像は、図１０に示した入力画像から得られたものである。また、図１６は、（ａ）、（ｂ）、（ｃ）の順に、画像表示部１４の表示面の状態が変化することを示したものである。
【０１５５】
第１動作例は、指示体情報修正部１３１が動作例Ａ１で動作し、補助画像表示制御部１３２が動作例Ｂ１で動作し、画像処理実行部１３３が動作例Ｃ１で動作し、補助画像重畳部１３４が動作例Ｄ１及びＤ２（図１４の付加画像Ｅ３及び図１５の付加画像Ｅ３１〜Ｅ３３参照）で動作する場合のものである。
【０１５６】
最初に、図１０に示した入力画像が、出力画像として画像表示部１４の表示面に表示される。そして、ユーザが、不要物体領域Ｂを指示体Ｆで指示すると、画像表示部１４の表示面が、図１６（ａ）に示す状態となる。図１６（ａ）に示す状態では、画像表示部１４の表示面上における指示体Ｆの面積が小さいため、付加画像Ｅ３１の領域が小さいものになっている。
【０１５７】
図１６（ａ）の状態を視認したユーザは、図１６（ｂ）に示すように、指示体Ｆの面積を大きくして、より効率良く不要物体領域Ｂを除去しようとする。このとき、付加画像Ｅ３２の領域は、画像表示部１４の表示面上における指示体Ｆの面積の増大に応じて、大きくなる。さらに、ユーザは、不要物体領域Ｂがあまり除去されていない部分を、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで把握し、当該部分を指示体Ｆで重点的に指示しようとする。
【０１５８】
そして、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認し、所望の状態になったことを確認すると、指示体Ｆを画像表示部１４の表示面上から離脱させる。すると、図１６（ｃ）に示すように、補助画像Ｓを含まない出力画像（即ち、処理後画像）が補助画像重畳部１３４で生成されて、画像表示部１４の表示面に表示される。
【０１５９】
このように、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで、指示体検出部２０２の操作を、状況に応じて最適なものにすることが可能になる。
【０１６０】
また、説明の都合上、図１６（ａ），（ｂ）において取得領域Ｕを示しているが、出力画像処理部１３は、取得領域Ｕを示さない出力画像を生成しても構わないし、取得領域Ｕを示す出力画像を生成しても構わない。
【０１６１】
（第２動作例）
出力画像処理部１３の第２動作例について、図１７を参照して説明する。図１７は、出力画像処理部の第２動作例について説明する図である。図１７は、出力画像が表示された画像表示部１４の表示面を示すものである。また、図１７中、画像表示部１４の表示面に表示される出力画像と、画像表示部１４の表示面上に存在する指示体Ｆとを明確に区別するため、指示体Ｆに斜線のハッチングを付して表現している。なお、図１７に示す画像表示部１４の表示面に表示されている出力画像は、図１１に示した入力画像から得られたものである。また、図１７は、（ａ）、（ｂ）、（ｃ）の順に、画像表示部１４の表示面の状態が変化することを示したものである。
【０１６２】
第２動作例は、指示体情報修正部１３１が動作例Ａ２で動作し、補助画像表示制御部１３２が動作例Ｂ２で動作し、画像処理実行部１３３が動作例Ｃ２で動作し、補助画像重畳部１３４が動作例Ｄ３で動作する場合のものである。
【０１６３】
最初に、図１１に示した入力画像が、出力画像として画像表示部１４の表示面に表示される。そして、ユーザが、解像感を高めるべき領域を指示体Ｆで指示すると、画像表示部１４の表示面が、図１７（ａ）に示す状態となる。図１７（ａ）の状態を視認したユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認しながら、解像感を高める処理が繰り返し行われるように、指示体Ｆを用いて指示体検出部２０２を操作する。具体的に例えば、画像表示部１４の表示面に表示されている出力画像中の解像感を高めるべき領域の上を、ユーザが指示体Ｆで繰り返し擦る。
【０１６４】
また、ユーザは、操作部２０１を操作して（例えば、ボタンを押下しながら）、指示体Ｆを画像表示部１４の表示面上から一時的に離脱させ、画像表示部１４に表示される出力画像の全体を視認する。このとき、画像処理実行部１３３は、ユーザが画像処理部１４の表示面上で指示体Ｆの動きを一時的に止めたものとして認識して画像処理を終了せず、ユーザが指示体検出部２０２の操作を再開するまで待機する。またこのとき、補助画像重畳部１３４は、図１７（ｂ）に示すように、画像表示部１４の表示面上に指示体Ｆが存在しなくても、補助画像Ｓを含む出力画像を生成する。
【０１６５】
そして、ユーザは、指示体Ｆを用いて指示体検出部２０２をさらに操作し、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで所望の状態になったことを確認すると、操作部２０１を操作しないで、指示体Ｆを画像表示部１４の表示面上から離脱させる。すると、図１７（ｃ）に示すように、補助画像Ｓを含まない出力画像（即ち、処理後画像）が補助画像生成部１３４で生成されて、画像表示部１４の表示面に表示される。
【０１６６】
このように、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで、指示体Ｆを用いた指示体検出部２０２の操作を、状況に応じて最適なものにすることが可能になる。また、操作部２０１を適切に操作することで、画像処理実行部１３３が一連の画像処理を行っている間に、指示体Ｆを画像表示部１４の表示面上から一時的に離脱させることが可能になる。
【０１６７】
また、説明の都合上、図１７（ａ），１７（ｂ）において取得領域Ｕを示しているが、出力画像処理部１３は、取得領域Ｕを示さない出力画像を生成しても構わないし、取得領域Ｕを示す出力画像を生成しても構わない。
【０１６８】
（第３動作例）
出力画像処理部１３の第３動作例について、図１８を参照して説明する。図１８は、出力画像処理部の第３動作例について説明する図である。図１８は、出力画像が表示された画像表示部１４の表示面を示すものである。また、図１８中、画像表示部１４の表示面に表示される出力画像と、画像表示部１４の表示面上に存在する指示体Ｆとを明確に区別するため、指示体Ｆに斜線のハッチングを付して表現している。なお、図１８（ａ）〜（ｃ）は、図１３に示した処理後画像が出力画像として画像表示部１４の表示面に表示された状態を起点とするものであり、当該状態に続いて（ａ）、（ｂ）、（ｃ）の順に、画像表示部１４の表示面の状態が変化することを示したものである。
【０１６９】
第３動作例は、指示体情報修正部１３１が動作例Ａ３で動作し、補助画像表示制御部１３２が動作例Ｂ３で動作し、画像処理実行部１３３が動作例Ｃ３で動作し、補助画像重畳部１３４が動作例Ｄ１（図１４の付加画像Ｅ４参照）で動作する場合のものである。
【０１７０】
最初に、図１３に示した処理後画像が、出力画像として画像表示部１４の表示面に表示される。そして、ユーザが、バーＰ内の所望の位置を指示体Ｆで指示する（例えば、バーＰ内のゲージの示値端部が表示されている上に指示体Ｆを位置させ、指示体ＦをバーＰに沿って所望の位置までスライドさせる）と、画像表示部１４の表示面が、図１８（ａ）に示す状態となる。
【０１７１】
図１８（ａ）は、図１３の処理後画像が得られる状態から、上記のユーザの操作によりズームアウトが行われ、新たに得られた入力画像に基づいて出力画像処理部１３が生成した出力画像が、画像表示部１４の表示面に表示された状態を示すものである。図１８（ａ）に示すように、本動作例では、付加画像Ｅ４の矢尻の先端が、補助画像Ｓにおける示値端部（取得領域Ｕ中における指示体Ｆの位置）を指している。
【０１７２】
図１８（ａ）の状態を視認したユーザは、さらなるズームアウトが行われるように、指示体Ｆを用いて指示体検出部２０２を操作する。具体的に例えば、ユーザは、指示体ＦをバーＰに沿ってさらに左側にスライドさせる。
【０１７３】
また、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで所望のズーム（図１８に示す例ではズームアウト）が行われたことを確認すると、操作部２０１を操作する。本動作例では、ユーザが操作部２０１を操作すると、画像処理実行部１３３及びズームの制御を行うＣＰＵ１８が、画像処理部１４の表示面上から指示体Ｆが離脱したものとして認識する。そして、ユーザが操作部２０１を操作している限り（例えば、ボタンを押下している限り）、指示体Ｆが画像表示部１４の表示面上を動いても、画像処理実行部１３３及びＣＰＵ１８はこの認識を継続する。またこのとき、補助画像重畳部１３４は、図１８（ｂ）に示すように、画像表示部１４の表示面上に指示体Ｆが存在していても、補助画像Ｓを含まない出力画像を生成する。
【０１７４】
そして、ユーザは、指示体Ｆを画像表示部１４の表示面上から離脱させ、操作部２０１の操作をやめる。この間も、図１８（ｃ）に示すように、補助画像Ｓを含まない出力画像（即ち、処理後画像）が補助画像重畳部１３４で生成されて、画像表示部１４の表示面に表示される。
【０１７５】
このように、ユーザは、画像表示部１４の表示面に表示される出力画像中の補助画像Ｓを視認することで、指示体Ｆを用いた指示体検出部２０２の操作を、状況に応じて最適なものにすることが可能になる。また、操作部２０１を適切に操作することで、ユーザによる指示体Ｆの誤操作を無効化することが可能になる。
【０１７６】
また、説明の都合上、図１８（ａ）において取得領域Ｕを示しているが、出力画像処理部１３は、取得領域Ｕを示さない出力画像を生成しても構わないし、取得領域Ｕを示す出力画像を生成しても構わない。
【０１７７】
＜出力画像及び補助画像などの関係について＞
上述の説明から理解されるが、出力画像処理部１３にて生成されうる出力画像は、例えば、補助画像Ｓが重畳されない第１出力画像（補助画像Ｓを含まない出力画像）と、補助画像Ｓが重畳された第２出力画像（補助画像Ｓを含む出力画像）と、補助画像Ｓが重畳され且つ付加画像が付加された第３出力画像（補助画像Ｓ及び付加画像を含む出力画像）とに大別される。
【０１７８】
第１〜第３出力画像の何れもが入力画像又は処理後画像に基づき生成される（図３参照）。以下、便宜上、入力画像又は処理後画像を基準画像と呼ぶ。また、画像表示部１４の表示面に表示される画像を表示画像と呼ぶ。表示画像は、基準画像に基づく画像である。表示画像は、基準画像（入力画像又は処理後画像）でありうるし、出力画像（第１、第２又は第３出力画像）でもありうる。
【０１７９】
また、補助画像Ｓが重畳された出力画像（即ち第２又は第３出力画像）を、便宜上、重畳画像という。図２（ｂ）に示される画像は、重畳画像の例である。第３出力画像として生成される重畳画像（図１６（ａ）等参照）では、指示体Ｆの検出位置を表す付加画像（例えば図１６（ａ）のＥ３１）が、当該重畳画像に含まれる補助画像（例えば図１６（ａ）のＳ）中に示されている。また、指示体検出部２０２によって検出された、画像表示部１４の表示面上に存在する指示体Ｆの位置を、指示体Ｆの検出位置又は単に検出位置という。また、画像表示部１４の表示面を単に表示面とも呼ぶ。
【０１８０】
これらの用語を用いて、上述してきた技術を以下のように表現することもできる。
指示体検出が成されたとき（即ち、指示体検出部２０２によって表示面上に存在する指示体が検出されたとき）、図２（ｂ）に示す如く、出力画像処理部１３は、表示面に表示画像（出力画像）を表示した場合に指示体Ｆの下に表示される不可視領域を含む取得領域Ｕを、指示体Ｆの検出位置に基づいて設定する処理と、基準画像における取得領域Ｕ内の画像信号に基づき補助画像Ｓを生成する処理と、不可視領域（又は取得領域Ｕ）とは異なる重畳用領域を設定する処理と、基準画像中の重畳用領域に補助画像を重畳させることで重畳画像を生成する処理と、を実行できる。不可視領域又は取得領域Ｕは、指示体Ｆの検出位置を内包する特定領域である。出力画像処理部１３は、任意の重畳画像を出力画像及び表示画像として生成することができる（後述の第４〜第６動作例においても同様）。基準画像における取得領域Ｕ内の画像信号に基づいて生成される補助画像Ｓは、基準画像における取得領域Ｕ内の画像そのものであっても良いし、基準画像における取得領域Ｕ内の画像を拡大又は縮小した画像であっても良い。
【０１８１】
＜出力画像処理部の他の動作例＞
出力画像処理部１３の他の動作例について説明する。尚、Ｕの頭文字が付与された任意の取得領域（後述の取得領域Ｕ４１０等）は取得領域Ｕの一種であり、Ｓの頭文字が付与された任意の補助画像（後述の補助画像Ｓ４１０等）は補助画像Ｓの一種である。
【０１８２】
（第４動作例）
図１９（ａ）等を参照して、出力画像処理部１３の第４動作例を説明する。図１９（ａ）では、補助画像Ｓを含まない第１出力画像（即ち基準画像）が表示画像として画像表示部１４に表示された様子を示している。出力画像処理部１３の第４動作例では、入力画像に基づく表示画像が表示面に表示されているときにユーザが指示体を表示面上の複数の位置４１０及び４２０に対して、順次又は同時に、接触（又は接近）させたことを想定する。結果、指示体検出部２０２において、位置４１０及び４２０が複数の検出位置（指示体Ｆの複数の検出位置）として得られる。
【０１８３】
複数の検出位置４１０及び４２０が得られたとき、出力画像処理部１３は、上述の取得領域Ｕの設定方法に従い、検出位置４１０を内包する取得領域Ｕ４１０及び検出位置４２０を内包する取得領域Ｕ４２０を設定し（図１９（ｂ）参照）、更に、取得領域Ｕ４１０に対応する補助画像Ｓ４１０及び取得領域Ｕ４２０に対応する補助画像Ｓ４２０を基準画像から抽出（生成）する（図２０（ａ）等参照）。補助画像Ｓ４１０は、基準画像における取得領域Ｕ４１０内の画像そのもの、又は、該画像を拡大又は縮小した画像である。補助画像Ｓ４２０も同様である。
【０１８４】
出力画像処理部１３は、取得領域Ｕ４１０（又は検出位置４１０に対応する不可視領域）とは異なる第１重畳用領域及び取得領域Ｕ４２０（又は検出位置４２０に対応する不可視領域）とは異なる第２重畳用領域を設定し、基準画像中の第１及び第２重畳用領域に対して夫々補助画像Ｓ４１０及びＳ４２０を重畳することで重畳画像ＱＡを生成する。
【０１８５】
図２０（ａ）〜（ｂ）は、重畳画像ＱＡの例が表示された画像表示部１４の様子を示している。図２０（ａ）及び（ｂ）に示す如く、重畳画像ＱＡにおいて補助画像Ｓ４１０及びＳ４２０が互いに重なり合わないように第１及び第２重畳用領域を設定しても良いし、図２０（ｃ）及び（ｄ）に示す如く、重畳画像ＱＡにおいて補助画像Ｓ４１０及びＳ４２０が部分的に互いに重なり合うように第１及び第２重畳用領域を設定しても良い。
【０１８６】
この際、重畳画像ＱＡにおける補助画像Ｓ４１０及びＳ４２０間の位置関係を、検出位置４１０及び４２０間の位置関係に合わせるか否かは任意である。例えば、双方の位置関係を合わせる場合、表示面上において検出位置４１０が検出位置４２０よりも左側に位置しているならば、重畳画像ＱＡにおいて補助画像Ｓ４１０を補助画像Ｓ４２０よりも左側に配置させる。重畳画像ＱＡにおいて、補助画像Ｓ４１０及びＳ４２０は垂直又は水平方向に並んでいても良いし、並んでいなくてもよい。また、指示体による位置４１０の接触タイミングと指示体による位置４２０の接触タイミングとの前後関係に基づき、重畳画像ＱＡにおける補助画像Ｓ４１０及びＳ４２０間の位置関係を決定しても良い。例えば、より早い方の接触タイミングに対応する検出位置についての補助画像を、重畳画像ＱＡにおいて、より左側に（又はより右側に）配置するようにしてもよい。重畳画像ＱＡ上で補助画像Ｓ４１０及びＳ４２０を部分的に互いに重なり合わせる場合においては、より遅い方の接触タイミングに対応する検出位置についての補助画像を、他の補助画像の上に配置するようにしてもよいし、或いは、その逆でも良い。
【０１８７】
尚、検出位置と補助画像との関係をユーザが視認できるような表示を成しても良い。例えば、検出位置４１０及び４２０をユーザが視認できるように表示面上において検出位置４１０及び４２０を夫々第１及び第２の色を用いて明示する一方で、表示面上における補助画像４１０及び４２０の外枠を夫々第１及び第２の色を用いて表すと良い（第１及び第２の色は互いに異なる）。
【０１８８】
また、基準画像上における検出位置４１０及び４２０間の距離が短い場合には、検出位置４１０及び４２０を内包する１つの補助画像のみを生成及び重畳するようにしてもよい（図２１参照）。該距離が短い場合には、検出位置４１０及び４２０を含む領域を１つにまとめて表示した方が見やすいと考えられ、また、補助画像の占有表示領域が小さくて済むからである。即ち例えば、出力画像処理部１３は、基準画像上における検出位置４１０及び４２０間の距離が所定距離よりも大きいときには、上述の如く重畳画像ＱＡを出力画像として生成する処理を行って重畳画像ＱＡを表示面に表示させ、一方、基準画像上における検出位置４１０及び４２０間の距離が所定距離以下であるときには、重畳画像ＱＢを出力画像として生成する処理を行って重畳画像ＱＢを表示面に表示させてもよい。図２１は、重畳画像ＱＢの例が表示された画像表示部１４の様子を示している。
【０１８９】
重畳画像ＱＢを生成する処理を説明する。出力画像処理部１３は、上述の取得領域Ｕの設定方法及び補助画像Ｓの生成方法に従い、検出位置４１０及び４２０を共に内包する取得領域Ｕ４１０：４２０を設定して、取得領域Ｕ４１０：４２０に対応する補助画像Ｓ４１０：４２０を基準画像から抽出（生成）する。補助画像Ｓ４１０：４２０は、基準画像における取得領域Ｕ４１０：４２０内の画像そのもの、又は、該画像を拡大又は縮小した画像である。その後、出力画像処理部１３は、取得領域Ｕ４１０：４２０（又は検出位置４１０及び４２０に対応する不可視領域）とは異なる重畳用領域を設定し、基準画像中の該重畳用領域に対して補助画像Ｓ４１０：４２０を重畳することで重畳画像ＱＢを生成する。
【０１９０】
尚、指示体の検出位置の個数が２であるときを想定して重畳画像ＱＡ及びＱＢの生成方法例を説明したが、検出位置の個数が３以上であっても、上述と同様に処理することができる。
【０１９１】
（第５動作例）
図２２（ａ）等を参照して、出力画像処理部１３の第５動作例を説明する。図２２（ａ）では、補助画像Ｓを含まない第１出力画像（即ち基準画像）が表示画像として画像表示部１４に表示された様子を示している。出力画像処理部１３の第５動作例では、入力画像に基づく表示画像が表示面に表示されているときに、まず、ユーザが指示体を表示面上の位置４３０に接触（又は接近）させたことを想定する。結果、指示体検出部２０２において、位置４３０が検出位置として得られる。
【０１９２】
出力画像処理部１３は、上述の取得領域Ｕの設定方法及び補助画像Ｓの生成方法に従い、検出位置４３０を内包する取得領域Ｕ４３０を設定して、取得領域Ｕ４３０に対応する補助画像Ｓ４３０を基準画像から抽出（生成）する。この際、出力画像処理部１３は、基準画像における取得領域Ｕ４３０内の画像Ｉ４３０を拡大させる第１拡大処理を実行し、拡大された画像Ｉ４３０を補助画像Ｓ４３０として生成する。その後、出力画像処理部１３は、取得領域Ｕ４３０（又は検出位置４３０に対応する不可視領域）とは異なる重畳用領域を設定し、基準画像中の該重畳用領域に対して補助画像Ｓ４３０を重畳することで重畳画像ＱＣを生成する。図２２（ｂ）は、重畳画像ＱＣの例が表示された画像表示部１４の様子を示している。
【０１９３】
補助画像Ｓ４３０を含む重畳画像ＱＣが表示画像として表示面に表示されている状態において、図２２（ｃ）に示す如く、ユーザが、更に、指示体を表示面上の位置４４０に接触（又は接近）させたことを想定する。位置４４０は、表示面に表示された補助画像Ｓ４３０内の位置である。出力画像処理部１３は、表示面に表示された補助画像Ｓ４３０内の位置が検出位置４４０として検出されると、検出位置４４０を内包する取得領域Ｕ４４０を設定して、取得領域Ｕ４４０に対応する補助画像Ｓ４４０を基準画像又は補助画像Ｓ４３０から抽出（生成）する。この際、出力画像処理部１３は、基準画像又は補助画像Ｓ４３０における取得領域Ｕ４４０内の画像Ｉ４４０を拡大させる第２拡大処理を実行し、拡大された画像Ｉ４４０を補助画像Ｓ４４０として生成する。基準画像から見て、補助画像Ｓ４４０の画像拡大率は補助画像Ｓ４３０のそれよりも大きい。その後、出力画像処理部１３は、補助画像Ｓ４３０が重畳される重畳用領域と異なり且つ取得領域Ｕ４３０とも異なる第２重畳用領域を設定し、補助画像Ｓ４３０を含む重畳画像ＱＣ中の第２重畳用領域に対して補助画像Ｓ４４０を更に重畳することで重畳画像（マルチ重畳画像）ＱＤを生成する。図２２（ｄ）は、重畳画像ＱＤの例が表示された画像表示部１４の様子を示している。
【０１９４】
補助画像Ｓ４３０及びＳ４４０を含む重畳画像ＱＤが表示されている状態において、更に、補助画像Ｓ４３０又はＳ４４０内の位置が指示体の検出位置として検出されたとき、３つ目の補助画像を更に生成及び重畳するようにしても良い（４つ目及び４つ目以降の補助画像についても同様）。
【０１９５】
図２２（ｄ）に示すような画像の表示を可能にしておくことにより、限られた表示面の中で、ユーザは注目部分の詳細確認を行うことが可能となる（補助画像Ｓ４３０中の領域を、補助画像Ｓ４４０にて更に詳細に確認するといったことが可能となる）。但し、上述の第１及び第２拡大処理を割愛することも可能である。即ち例えば、出力画像処理部１３は、取得領域Ｕ４３０内の画像Ｉ４３０そのもの又は画像Ｉ４３０を縮小した画像を補助画像Ｓ４３０として生成しても良いし、取得領域Ｕ４４０内の画像Ｉ４４０そのもの又は画像Ｉ４４０を縮小した画像を補助画像Ｓ４４０として生成しても良い。
【０１９６】
尚、補助画像Ｓ（Ｓ４３０等）含む重畳画像が表示面に表示されているときにおいて、表示面上の補助画像Ｓ内の位置が指示体によって指定されたとき、指定された位置に基づき、上述の動作例Ｃ１又はＣ２等で述べた画像処理実行部１３３の処理（例えば、不要物体領域を除去する処理）を行うようにしても良く、該処理の結果を表示面の表示内容に反映させても良い。
【０１９７】
（第６動作例）
図２３（ａ）等を参照して、出力画像処理部１３の第６動作例を説明する。図２３（ａ）では、補助画像Ｓを含まない第１出力画像（即ち基準画像）が表示画像として画像表示部１４に表示された様子を示している。出力画像処理部１３の第６動作例では、上述の動作例Ｃ１が利用されることを想定し（図１０も参照）、更に、不要物体領域Ｂを除去するための類似領域Ｍ１及び充当領域Ｍ２がユーザに指定されることを想定する。より具体的には、入力画像に基づく表示画像が表示面に表示されているときに、不要物体領域Ｂを指定すべく、ユーザが指示体を表示面上の位置５１０に接触（又は接近）させ、その後、不要物体領域Ｂを除去するための類似領域Ｍ１及び充当領域Ｍ２を指定すべく、ユーザが指示体を表示面上の位置５２０に接触（又は接近）させたことを想定する（図２３（ｂ）及び（ｃ）参照）。結果、指示体検出部２０２において、位置５１０及び５２０が検出位置として得られる。
【０１９８】
複数の検出位置５１０及び５２０が得られたとき、出力画像処理部１３は、上述の第４動作例で述べた方法に従い、図２３（ｂ）及び（ｃ）に示す如く、検出位置５１０を含む取得領域Ｕ５１０及び検出位置５２０を含む取得領域Ｕ５２０を順次設定して検出位置５１０を含む補助画像Ｓ５１０及び検出位置５２０を含む補助画像Ｓ５２０を基準画像（入力画像）から抽出（生成）する。検出位置５１０を含む取得領域Ｕ５１０及び補助画像Ｓ５１０は処理対象領域Ａに相当し、検出位置５２０を含む取得領域Ｕ５２０及び補助画像Ｓ５２０は充当領域Ｍ２に相当する（図１０も参照）。補助画像Ｓ５１０及びＳ５２０を生成する際、第４動作例で述べたように、画像の拡大処理又は縮小処理が成されても良い（後述の他の補助画像も同様）。出力画像処理部１３は、上述の第４動作例で述べた方法に従い、位置５１０の検出後、補助画像Ｓ５１０を基準画像に重畳した重畳画像（図２３（ｂ））を生成し、更に位置５２０の検出後、補助画像Ｓ５１０及びＳ５２０を基準画像に重畳した重畳画像（図２３（ｃ））を生成することができる。
【０１９９】
ユーザは、ユーザは補助画像Ｓ５１０及びＳ５２０を見ることで、処理対象領域Ａ及び充当領域Ｍ２を確認することができる（図１０も参照）。これらに問題がある場合、ユーザは、補助画像Ｓ５１０又はＳ５２０内の位置を指示体で指定することで、処理対象領域Ａ又は充当領域Ｍ２を変更することできる。ここでは、ユーザが、充当領域Ｍ２の変更を望む場合を考える。この場合、ユーザは、表示面上における補助画像Ｓ５２０内の位置５２１に指示体を接触（又は接近）させる（図２２（ｄ）参照）。例えば、位置５２０は補助画像Ｓ５２０の中心位置に相当し、位置５２１は後述の補助画像Ｓ５２１の中心位置に相当する。
【０２００】
出力画像処理部１３は、表示面に表示された補助画像Ｓ５２０内の位置が検出位置５２１として検出されると、検出位置５２０を含む取得領域Ｕ５２０の代わりに検出位置５２１を含む取得領域Ｕ５２１を設定して、検出位置５２１を含む取得領域Ｕ５２１内の画像である補助画像Ｓ５２１を基準画像から抽出し、表示面に表示されていた補助画像Ｓ５２０を補助画像Ｓ５２１に置き換える（図２３（ｅ）参照）。即ち、出力画像処理部１３は、補助画像Ｓ５２０内の指示体の検出位置５２１に基づき、重畳画像、出力画像及び表示画像に重畳されるべき補助画像を、補助画像Ｓ５２０から補助画像Ｓ５２１へと変更する（図２３（ｄ）から図２３（ｅ）への変更）。この際、補助画像Ｓ５２１が重畳されていない表示領域に、検出位置５２１を明示してもよい（図２３（ｅ）における点５２１を表示するようにしても良い）。
【０２０１】
補助画像Ｓ５１０及びＳ５２１を含む重畳画像が表示されている状態では、検出位置５１０を含む取得領域Ｕ５１０及び補助画像Ｓ５１０が処理対象領域Ａに相当し、検出位置５２１を含む取得領域Ｕ５２１及び補助画像Ｓ５２１が充当領域Ｍ２に相当する。ユーザが所定の確定操作を成すと、動作例Ｃ１で述べた方法に従い、充当領域Ｍ２を用いて入力画像から不要物体領域Ｂを除去することができる。第６動作例によれば、補助画像上で処理対象領域Ａ又は充当領域Ｍ２の位置調整を行うことができ、補助画像の拡大表示等を利用すれば、それらの微調整も容易となる。尚、第６動作例で述べた技術は、動作例Ｃ１を利用しない場合においても利用可能である。
【０２０２】
また、特許文献４に関連する技術の問題点について補足する。特許文献４の方法では、表示部に互いに独立したメイン画面とサブ画面を予め設けておき、メイン画面における何れかの領域の画像をサブ画面に表示する。この方法において、最初はサブ画面を設けずに表示部の全体をメイン画面にしておき、メイン画面上の特定位置（例えば注目人物）が指示体に触れられたときに初めて、表示部の全体領域をメイン画面の領域とサブ画面の領域に分割してサブ画面に指定部分の画像を表示する、という方法も考えられる。しかしながら、この場合、上記分割の際にメイン画面のサイズが小さくなるので、分割の前後において、指示体の接触位置に対応する被写体がメイン画面上で変化する。例えば、分割前は接触位置に注目人物が表示されていたのに、メイン画面のサイズ縮小に伴って、分割後は接触位置に注目人物の横に位置している建物が表示される。このような表示の変更は、ユーザを混乱させるため望ましくない。故に、特許文献４の如く、常にサブ画面を設けておく方法が検討されるが、その場合、上述したように、メイン画面のサイズが常に小さくなるので全体像の視認性が悪くなる。
【０２０３】
＜変形例＞
本発明の実施形態における撮像装置１について、出力画像処理部１３の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０２０４】
また、上述した場合に限らず、図１に示す撮像装置１や、図３に示す出力画像処理部１３、図１２に示す画像処理実行部１３３は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や出力画像処理部１３、画像処理実行部１３３の一部を実現する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
【０２０５】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０２０６】
本発明は、画像を表示する画像表示装置に利用可能である。また、撮像した画像を表示可能な撮像装置に利用可能である。
【符号の説明】
【０２０７】
１３ 出力画像処理部
１３１ 指示体情報修正部
１３２ 補助画像表示制御部
１３３ 画像処理実行部
１３４ 補助画像重畳部
１４ 画像表示部
２０ 入力部
２０１ 操作部
２０２ 指示体検出部
【特許請求の範囲】
【請求項１】
基準画像に基づく表示画像を表示面に表示する画像表示部と、
前記画像表示部の表示面上に存在する指示体の位置を検出する指示体検出部と、
前記基準画像に基づき前記表示面に表示されるべき出力画像を生成する出力画像処理部と、を備え、
前記出力画像処理部は、前記指示体検出部による前記指示体の検出位置に対応する、前記基準画像中の特定領域を含む補助画像を、前記基準画像中の前記特定領域とは異なる重畳用領域に重畳させた重畳画像を、前記出力画像として生成し得る
ことを特徴とする画像表示装置。
【請求項２】
前記出力画像処理部は、前記表示面に前記表示画像を表示した場合に前記指示体の下に表示される不可視領域を含む取得領域に基づいて前記補助画像を生成し、前記基準画像中の前記不可視領域とは異なる前記重畳用領域に前記補助画像を重畳させた前記重畳画像を、前記出力画像として生成し得る
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記出力画像処理部は、前記指示体の検出位置に基づいた処理を入力画像に施す画像処理実行部を備え、
前記出力画像処理部は、前記処理が施された前記入力画像としての前記基準画像に基づき、前記補助画像及び前記重畳画像を生成し得る
ことを特徴とする請求項１または請求項２に記載の画像表示装置。
【請求項４】
前記画像処理実行部は、前記入力画像中の所定領域を変化させる処理と、前記入力画像中の所定領域の画質を調整する処理と、ユーザが自機の動作を操作するための画像を前記入力画像に重畳する処理と、の少なくとも一つを行い得る
ことを特徴とする請求項３に記載の画像表示装置。
【請求項５】
ユーザに操作される操作部を更に備え、
前記操作部が操作されているとき、前記出力画像処理部は、順次得られる前記指示体検出部の検出結果または前記操作部の操作の開始時以前に得られた前記指示体検出部の検出結果を、有効なものとして扱う
ことを特徴とする請求項１〜請求項４のいずれかに記載の画像表示装置。
【請求項６】
前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に存在する前記指示体を検出しているとき、前記出力画像処理部は、順次得られる前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱い、
前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に前記指示体が存在しないことを検出しているとき、前記出力画像処理部は、前記表示面上に存在する前記指示体を検出した直近の前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱う
ことを特徴とする請求項５に記載の画像表示装置。
【請求項７】
ユーザに操作される操作部を更に備え、
前記操作部が操作されているとき、前記出力画像処理部は、前記操作部の操作の開始時よりも後に得られる前記指示体検出部の検出結果を、無効なものとして扱う
ことを特徴とする請求項１〜請求項４のいずれかに記載の画像表示装置。
【請求項８】
前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に存在する前記指示体を検出しているとき、前記出力画像処理部は、前記指示体検出部が前記表示面に前記指示体が存在しないことを検出するときの前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱い、
前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に前記指示体が存在しないことを検出しているとき、前記出力画像処理部は、前記指示体検出部が前記表示面に前記指示体が存在しないことを検出するときの前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱う
ことを特徴とする請求項７に記載の画像表示装置。
【請求項９】
ユーザに操作される操作部を更に備え、
前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否か、及び、前記操作部が操作されているか否か、の少なくとも一方に基づいて、
前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定する
ことを特徴とする請求項１〜請求項８のいずれかに記載の画像表示装置。
【請求項１０】
前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否かに基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
前記操作部が操作されているか否かに基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１２】
前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否か、及び、前記操作部が操作されているか否かに基づき、前記出力画像処理部が有効なものとして扱う前記指示体検出部の検出結果に基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１３】
前記出力画像処理部は、前記指示体の検出位置を表す付加画像を前記補助画像中に示した前記重畳画像を、前記出力画像として生成し得る
ことを特徴とする請求項１〜請求項１２のいずれかに記載の画像表示装置。
【請求項１４】
前記出力画像処理部は、前記基準画像の前記重畳用領域に対して前記補助画像を重畳することで前記重畳画像を生成する
ことを特徴とする請求項１〜請求項１３のいずれかに記載の画像表示装置。
【請求項１５】
前記指示体検出部によって複数の位置が検出されたとき、
前記出力画像処理部は、複数の検出位置に対応する複数の特定領域を設定して前記複数の特定領域に対応する複数の補助画像を前記基準画像から生成し、前記複数の特定領域とは異なる、前記基準画像の複数の重畳用領域に対して前記複数の補助画像を重畳することで前記重畳画像を生成する
ことを特徴とする請求項１〜請求項１３のいずれかに記載の画像表示装置。
【請求項１６】
前記指示体検出部によって複数の位置が検出されたとき、
前記出力画像処理部は、前記複数の検出位置間の距離に応じて第１又は第２生成処理を択一的に行い、
前記第１生成処理において、前記出力画像処理部は、前記複数の検出位置を内包する領域を含む単一画像を前記補助画像として前記基準画像から生成し、前記複数の検出位置を内包する前記領域と異なる、前記基準画像の前記重畳用領域に対して前記補助画像を重畳することで前記重畳画像を生成し、
前記第２生成処理において、前記出力画像処理部は、前記複数の検出位置に対応する複数の特定領域を設定して前記複数の特定領域を含む複数の補助画像を前記基準画像から生成し、前記複数の特定領域とは異なる、前記基準画像の複数の重畳用領域に対して前記複数の補助画像を重畳することで前記重畳画像を生成する
ことを特徴とする請求項１〜請求項１３のいずれかに記載の画像表示装置。
【請求項１７】
前記補助画像が前記重畳用領域に重畳された前記重畳画像が前記出力画像として且つ前記表示画像として前記表示面に表示されている場合において、前記表示面における前記補助画像上に前記指示体が存在していることが検出されたとき、
前記出力画像処理部は、前記補助画像上の前記指示体の検出位置に対応する領域を含む第２補助画像を前記基準画像又は前記補助画像から生成して、前記重畳用領域とは異なる、前記重畳画像の第２重畳用領域に対して前記第２補助画像を更に重畳したマルチ重畳画像を、前記出力画像として生成する
ことを特徴とする請求項１〜請求項１３のいずれかに記載の画像表示装置。
【請求項１８】
前記補助画像が前記重畳用領域に重畳された前記重畳画像が前記出力画像として且つ前記表示画像として前記表示面に表示されている場合において、前記表示面における前記補助画像上に前記指示体が存在していることが検出されたとき、
前記出力画像処理部は、前記補助画像上の前記指示体の検出位置に基づき、前記重畳画像に重畳されるべき前記補助画像を変更する
ことを特徴とする請求項１〜請求項１４のいずれかに記載の画像表示装置。
【請求項１】
基準画像に基づく表示画像を表示面に表示する画像表示部と、
前記画像表示部の表示面上に存在する指示体の位置を検出する指示体検出部と、
前記基準画像に基づき前記表示面に表示されるべき出力画像を生成する出力画像処理部と、を備え、
前記出力画像処理部は、前記指示体検出部による前記指示体の検出位置に対応する、前記基準画像中の特定領域を含む補助画像を、前記基準画像中の前記特定領域とは異なる重畳用領域に重畳させた重畳画像を、前記出力画像として生成し得る
ことを特徴とする画像表示装置。
【請求項２】
前記出力画像処理部は、前記表示面に前記表示画像を表示した場合に前記指示体の下に表示される不可視領域を含む取得領域に基づいて前記補助画像を生成し、前記基準画像中の前記不可視領域とは異なる前記重畳用領域に前記補助画像を重畳させた前記重畳画像を、前記出力画像として生成し得る
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記出力画像処理部は、前記指示体の検出位置に基づいた処理を入力画像に施す画像処理実行部を備え、
前記出力画像処理部は、前記処理が施された前記入力画像としての前記基準画像に基づき、前記補助画像及び前記重畳画像を生成し得る
ことを特徴とする請求項１または請求項２に記載の画像表示装置。
【請求項４】
前記画像処理実行部は、前記入力画像中の所定領域を変化させる処理と、前記入力画像中の所定領域の画質を調整する処理と、ユーザが自機の動作を操作するための画像を前記入力画像に重畳する処理と、の少なくとも一つを行い得る
ことを特徴とする請求項３に記載の画像表示装置。
【請求項５】
ユーザに操作される操作部を更に備え、
前記操作部が操作されているとき、前記出力画像処理部は、順次得られる前記指示体検出部の検出結果または前記操作部の操作の開始時以前に得られた前記指示体検出部の検出結果を、有効なものとして扱う
ことを特徴とする請求項１〜請求項４のいずれかに記載の画像表示装置。
【請求項６】
前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に存在する前記指示体を検出しているとき、前記出力画像処理部は、順次得られる前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱い、
前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に前記指示体が存在しないことを検出しているとき、前記出力画像処理部は、前記表示面上に存在する前記指示体を検出した直近の前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱う
ことを特徴とする請求項５に記載の画像表示装置。
【請求項７】
ユーザに操作される操作部を更に備え、
前記操作部が操作されているとき、前記出力画像処理部は、前記操作部の操作の開始時よりも後に得られる前記指示体検出部の検出結果を、無効なものとして扱う
ことを特徴とする請求項１〜請求項４のいずれかに記載の画像表示装置。
【請求項８】
前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に存在する前記指示体を検出しているとき、前記出力画像処理部は、前記指示体検出部が前記表示面に前記指示体が存在しないことを検出するときの前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱い、
前記操作部が操作されていて且つ前記指示体検出部が前記表示面上に前記指示体が存在しないことを検出しているとき、前記出力画像処理部は、前記指示体検出部が前記表示面に前記指示体が存在しないことを検出するときの前記指示体検出部の検出結果または前記操作部の操作の開始時に得られた前記指示体検出部の検出結果を、有効なものとして扱う
ことを特徴とする請求項７に記載の画像表示装置。
【請求項９】
ユーザに操作される操作部を更に備え、
前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否か、及び、前記操作部が操作されているか否か、の少なくとも一方に基づいて、
前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定する
ことを特徴とする請求項１〜請求項８のいずれかに記載の画像表示装置。
【請求項１０】
前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否かに基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
前記操作部が操作されているか否かに基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１２】
前記指示体検出部が前記表示面上に存在する前記指示体を検出しているか否か、及び、前記操作部が操作されているか否かに基づき、前記出力画像処理部が有効なものとして扱う前記指示体検出部の検出結果に基づいて、前記出力画像処理部は、前記重畳画像を前記出力画像として生成するか否かを決定する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１３】
前記出力画像処理部は、前記指示体の検出位置を表す付加画像を前記補助画像中に示した前記重畳画像を、前記出力画像として生成し得る
ことを特徴とする請求項１〜請求項１２のいずれかに記載の画像表示装置。
【請求項１４】
前記出力画像処理部は、前記基準画像の前記重畳用領域に対して前記補助画像を重畳することで前記重畳画像を生成する
ことを特徴とする請求項１〜請求項１３のいずれかに記載の画像表示装置。
【請求項１５】
前記指示体検出部によって複数の位置が検出されたとき、
前記出力画像処理部は、複数の検出位置に対応する複数の特定領域を設定して前記複数の特定領域に対応する複数の補助画像を前記基準画像から生成し、前記複数の特定領域とは異なる、前記基準画像の複数の重畳用領域に対して前記複数の補助画像を重畳することで前記重畳画像を生成する
ことを特徴とする請求項１〜請求項１３のいずれかに記載の画像表示装置。
【請求項１６】
前記指示体検出部によって複数の位置が検出されたとき、
前記出力画像処理部は、前記複数の検出位置間の距離に応じて第１又は第２生成処理を択一的に行い、
前記第１生成処理において、前記出力画像処理部は、前記複数の検出位置を内包する領域を含む単一画像を前記補助画像として前記基準画像から生成し、前記複数の検出位置を内包する前記領域と異なる、前記基準画像の前記重畳用領域に対して前記補助画像を重畳することで前記重畳画像を生成し、
前記第２生成処理において、前記出力画像処理部は、前記複数の検出位置に対応する複数の特定領域を設定して前記複数の特定領域を含む複数の補助画像を前記基準画像から生成し、前記複数の特定領域とは異なる、前記基準画像の複数の重畳用領域に対して前記複数の補助画像を重畳することで前記重畳画像を生成する
ことを特徴とする請求項１〜請求項１３のいずれかに記載の画像表示装置。
【請求項１７】
前記補助画像が前記重畳用領域に重畳された前記重畳画像が前記出力画像として且つ前記表示画像として前記表示面に表示されている場合において、前記表示面における前記補助画像上に前記指示体が存在していることが検出されたとき、
前記出力画像処理部は、前記補助画像上の前記指示体の検出位置に対応する領域を含む第２補助画像を前記基準画像又は前記補助画像から生成して、前記重畳用領域とは異なる、前記重畳画像の第２重畳用領域に対して前記第２補助画像を更に重畳したマルチ重畳画像を、前記出力画像として生成する
ことを特徴とする請求項１〜請求項１３のいずれかに記載の画像表示装置。
【請求項１８】
前記補助画像が前記重畳用領域に重畳された前記重畳画像が前記出力画像として且つ前記表示画像として前記表示面に表示されている場合において、前記表示面における前記補助画像上に前記指示体が存在していることが検出されたとき、
前記出力画像処理部は、前記補助画像上の前記指示体の検出位置に基づき、前記重畳画像に重畳されるべき前記補助画像を変更する
ことを特徴とする請求項１〜請求項１４のいずれかに記載の画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１２】
【図１５】
【図１６】
【図１９】
【図２０】
【図２１】
【図２２】
【図１０】
【図１１】
【図１３】
【図１４】
【図１７】
【図１８】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１２】
【図１５】
【図１６】
【図１９】
【図２０】
【図２１】
【図２２】
【図１０】
【図１１】
【図１３】
【図１４】
【図１７】
【図１８】
【図２３】
【公開番号】特開２０１２−８４１２５（Ｐ２０１２−８４１２５Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１１−１６９７６０（Ｐ２０１１−１６９７６０）
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]