画像表示装置及び撮影装置
【課題】同一対象物の経時変位を表示する画像表示装置と、その表示形態を考慮した撮影を行い得る撮影装置を提供する。
【解決手段】画像を表示する表示手段１８を備えた画像表示装置において、記録手段１４に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段１６と、領域指定手段により指定された基準部と略同一の画像領域を含む画像を記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段１１ｂと、類似画像検索手段によって検索され抽出された画像と基準画像とに共通の画像領域となる基準部に基いて画像処理を行い、その結果得られる画像を表示手段の表示画面に表示する制御手段１１とを具備する。
【解決手段】画像を表示する表示手段１８を備えた画像表示装置において、記録手段１４に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段１６と、領域指定手段により指定された基準部と略同一の画像領域を含む画像を記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段１１ｂと、類似画像検索手段によって検索され抽出された画像と基準画像とに共通の画像領域となる基準部に基いて画像処理を行い、その結果得られる画像を表示手段の表示画面に表示する制御手段１１とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像表示装置及び撮影装置、詳しくは記録済みの複数の画像の中から類似画像を選択して抽出し、これら選択抽出された類似画像を所定の形態で表示させる画像表示装置及び撮影装置に関するものである。
【背景技術】
【０００２】
従来、同一の撮影対象（被写体）の経時変化を記録するために、カメラを固定して所定の時間間隔で定期的に撮影を行ういわゆる定点撮影という撮影手法がある。しかしながら、例えば植物や子供の成長等を定点撮影手法で行う場合、時間間隔を長時間に設定する必要があり、また全体的な撮影期間も長期に渡ることになってしまうので、その間、カメラを固定しておくわけにはいかない。なお、定点撮影手法を用いる撮影の撮影対象としては、長時間で少しずつ変化していくものほど、変化を視認しやすく表現することができるという傾向がある。
【０００３】
そこで、カメラを固定することなく、長時間が経過した後に、改めて撮影するのに際して、前回の撮影状況に合わせた画像を容易に撮影することができるようにするための技術が、例えば特開２００５−２６８７４号公報等によって種々提案されている。
【０００４】
上記特開２００５−２６８７４号公報によって開示されている手段は、観察撮影時に、前回の撮影画像を表示することにより、今回の撮影画像の画角，倍率，色合い等を前回の撮影画像に合わせやすくして撮影を行なうことができるというものである。
【０００５】
一方、定点撮影手法を用いて撮影された複数の画像を用いて、変化が判りやすいように表示するための技術については、例えば特開２００４−４８３５８号公報等によって、従来種々の手段が提案されている。
【０００６】
上記特開２００４−４８３５８号公報によって開示されている手段は、間欠的な撮影を行う定点カメラから得られた撮影画像の変化を分かりやすいように表示する画像表示装置，表示方法，表示プログラムに関し、最新の画像を大きく表示し、この最新画像に並べて直前の３枚の画像を表示する。そして、カメラから画像を受け取る毎に順次、画像をシフトさせて表示するというものである。
【０００７】
他方、一般的なカメラの使用者は、自己の所有する一台のカメラを、例えば家族の記録や旅行の記念写真，趣味の写真撮影等、様々な状況下で使用することが普通である。そのような使用状況のうちには、例えば庭の植物の成長変化や、子供の成長を記録するための写真撮影が行われる。
【０００８】
近年のカメラにおいては、画像データを記録するための記録媒体の大容量化が進むと共に低価格化が進んでいる。したがって、例えば一つの記録媒体の中に、長期間の間に取得した大量の画像データを撮り溜めておいたり、撮影対象毎の用途別にあるいは使用者毎に記録媒体を交換して使用するといったことが行われている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−２６８７４号公報
【特許文献２】特開２００４−４８３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところが、上記特開２００５−２６８７４号公報によって開示されている手段は、定点撮影を前提として撮影を行う際の技術についてのものであり、また、上記特開２００４−４８３５８号公報によって開示されている手段は、定点撮影手法を用いて取得された複数画像を表示する際の技術である。
【００１１】
通常の場合、カメラ１の使用者は、興味のある対象物を撮影対象として、特に定点撮影等の手法を意識することなく、無意識に撮影を行っているのが普通である。そのように、使用者が自身の興味に従って撮影を行うことにより、大量の撮影画像データが記録媒体に撮り溜められることになる。このような記録媒体中の大量の撮影画像データの中には、同一の撮影対象について、ある程度の時間を置いた後に、再度撮影された画像が複数含まれる場合がある。
【００１２】
このように、撮影者が定点撮影等の手法を意識することなく撮影している場合にも、撮り溜めた複数の画像データに基いて、類似の画像を集めて、同じ撮影対象に生じた経時変化等判るように表示させることができれば、カメラを使用する際の楽しみに寄与し得ると考えられる。
【００１３】
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮影装置（カメラ）の使用者が特に意識することなしに通常の撮影を行って、記録媒体に複数の画像データを記録している場合、この記録媒体に記録された複数画像データの中から略同一（類似）の撮影対象を含む複数画像を選択し、選択された画像について適宜所定の画像処理を行って、それら複数の画像を最適な形態で表示する画像表示装置と、この画像表示装置を備え、表示形態を考慮した撮影を行い得る撮影装置を提供することである。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の一態様の画像表示装置は、画像を表示する表示手段を備えた画像表示装置において、記録手段に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段と、上記領域指定手段によって指定された上記基準部と略同一の画像領域を含む画像を上記記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段と、上記類似画像検索手段によって検索され抽出された画像と上記基準画像とに共通の画像領域となる上記基準部に基いて画像処理を行いその結果得られる画像を上記表示手段の表示画面に表示する制御手段とを具備することを特徴とする。
【００１５】
また、本発明の一態様の撮影装置は、被写体像を光電変換して画像を取得する撮像手段と上記撮像手段により取得した画像を記録する記録手段と画像を表示する表示手段を備えた画像表示装置とを具備してなる撮影装置において、上記記録手段に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段と、上記領域指定手段によって指定された上記基準部と略同一の画像領域を含む画像を上記記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段と、上記類似画像検索手段によって検索され抽出された画像と上記基準画像とに共通の画像領域となる上記基準部に基いて画像処理を行いその結果得られる画像を上記表示手段の表示画面に表示する制御手段とを具備することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮影装置（カメラ）の使用者が特に意識することなしに通常の撮影を行って、記録媒体に複数の画像データを記録している場合、この記録媒体に記録された複数画像データの中から略同一（類似）の撮影対象を含む複数画像を選択し、選択された画像について適宜所定の画像処理を行って、それら複数の画像を最適な形態で表示する画像表示装置と、この画像表示装置を備え、表示形態を考慮した撮影を行い得る撮影装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態のカメラの主要構成を示すブロック構成図、
【図２】図１のカメラにおいて３Ｄ撮影に対応する撮像部の概略的な構成を示す構成図、
【図３】図１のカメラにおける制御処理のメインシーケンスを示すフローチャート、
【図４】図３の処理シーケンスのうちの成長経過表示処理（図３のステップＳ１３）の詳細を示すフローチャート、
【図５】図４の処理シーケンスのうちの基準部検索処理（図４のステップＳ２７）の詳細を示すフローチャート、
【図６】図３の処理シーケンスのうちの並列表示処理（図３のステップＳ１５）の詳細を示すフローチャート、
【図７】図３の処理シーケンスのうちのアニメーション表示処理（図３のステップＳ１６）の詳細を示すフローチャート、
【図８】図１のカメラを用いて同一の撮影対象物の経時変化を撮影する場合の状況例を説明する図、
【図９】図８の状況例で取得される画像の例を説明する図、
【図１０】図８の状況例で取得された画像を合成処理する場合の例を説明する図、
【図１１】図１のカメラにおいて撮影時に表示部表示されるガイド表示の一例を示す図、
【図１２】図４の成長経過表示処理シーケンス中において実行される画像処理結果（拡大，縮小処理）の画像表示例を示す図、
【図１３】図６の並列表示処理結果の画像表示例を示す図、
【図１４】図１のカメラを用いて同一の撮影対象物の経時変化を撮影する場合の他の状況例を説明する図、
【図１５】図１４の他の状況例で取得された画像を用いて、各共通部分を重ね合わせて示す図、
【図１６】図１４の他の状況例で取得された画像についての画像処理結果の表示例を示す図、
【図１７】図１６で得られた画像を並列表示した場合の表示例を示す図、
【発明を実施するための形態】
【００１８】
以下、図示の実施の形態によって本発明を説明する。
【００１９】
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、その結果得られる画像信号を表示装置を用いて表示し得ると共に、同画像信号に基いて画像データを生成し、その画像データを記録媒体に記録することができ、また記録媒体に記録された画像データに基く画像を表示装置を用いて再生表示し得るように構成された撮影装置（以下、単にカメラと称する）を例に挙げて説明するものである。
【００２０】
まず、本実施形態のカメラの構成について、図１を用いて以下に説明する。なお、図１には、本発明に関する主要構成部のみを図示しており、カメラとしての一般的な構成部の図示は省略している。以下の説明では、本発明に直接関連する構成部（図１に示される構成部）のみを詳述し、その他の構成部については、従来一般に実用化されている撮影装置としてのカメラと略同様の構成を有しているものとして、その詳細説明は省略する。
【００２１】
図１に示すように、カメラ１は、制御部１１と、撮像部１２と、状況判定部１３と、記録部１４と、操作部１５と、選択操作部１６と、表示部１８等を有して構成される。
【００２２】
制御部１１は、本カメラ１の全体を統括的に制御する制御手段である。制御部１１としては、例えばＬＳＩ（Ｌarge-Ｓcale Ｉntegration）やＡＳＩＣ（Ａpplication Ｓpecific Ｉntegrated Ｃircuit）等の集積回路が適用される。
【００２３】
制御手段である制御部１１は、画像処理部１１ａ，類似画像検索部１１ｂ，表示制御部１１ｃ等の構成部を内部に有している。
【００２４】
画像処理部１１ａは、撮像部１２で光電変換された画像信号を受けて通常の画像信号処理を行う回路部である。画像処理部１１ａにて行われる処理内容としては、例えば、撮像部１２により取得された画像信号に基いてアナログ−デジタル（ＡＤ）／デジタル−アナログ（ＤＡ）変換処理を行ったり、コントラスト調整，色補正調整等の画像信号処理，画像信号の圧縮処理及び伸張処理等の通常の画像処理のほか、画像の拡大処理及び縮小処理やトリミング処理等の画像加工処理等を行う。
【００２５】
類似画像検索部１１ｂは、記録部１４に記録済みの画像データの中から類似する画像、例えば主要被写体が類似している画像を検索し抽出する類似画像検索手段として機能する回路部である。
【００２６】
表示制御部１１ｃは、表示部１８を制御して画像表示に関する制御、例えば表示画面に通常の表示用画像を表示させたり、表示画面内に上記類似画像検索部１１ｂにより検索された複数の画像を並べて表示させる制御等のほか、操作部１５，選択操作部１６等からの指示信号に従って表示画面にメニュー表示やコマンド表示等の表示制御を行う回路部である。なお、表示部１８としては、例えば液晶表示装置等が適用される。
【００２７】
撮像部１２は、光学レンズ等の光学部材や光電変換素子等を含む撮像手段等を備え、光学レンズによって形成される光学像を光電変換素子を用いて光電変換処理を行って、画像信号を生成する構成部である。
【００２８】
なお、撮像部１２は、通常一般のカメラが有する構成の他に、例えば図２に示すような形態とすることで立体画像、いわゆる３Ｄ画像（以下、単に３Ｄ画像という）を取得し得る構成としてもよい。
図２は、本実施形態のカメラ１において、３Ｄ撮影に対応するための撮像部の概略的な構成を示す構成図である。
【００２９】
３Ｄ撮影を行うには、撮影対象について視差を有する一対の画像を取得し、この一対の画像を関連付けて記録しておく必要がある。そこで、３Ｄ撮影対応の撮像部１２の構成は、図２に示すように、一対の光学レンズ１２Ｌａ，１２Ｒａと、一対の撮像素子１２Ｌｂ，１２Ｒｂを有している。一対の光学レンズ１２Ｌａ，１２Ｒａは、所定の距離（図２の符号Ｂで示す距離；通常ヒトの両眼の間隔６０−７０ｍｍ程度）の間隔を置いた状態で、互いの光軸が略平行となるように並べて配設される。各光学レンズ１２Ｌａ，１２Ｒａの後方（結像側）のそれぞれには、撮像素子１２Ｌｂ，１２Ｒｂが配置されている。これらの撮像素子１２Ｌｂ，１２Ｒｂの各受光面は、上記一対の光学レンズ１２Ｌａ，１２Ｒａの光軸に対してそれぞれが直交するように、かつ上記一対の光学レンズ１２Ｌａ，１２Ｒａの各光軸が各撮像素子１２Ｌｂ，１２Ｒｂの略中央部に位置するように配置されている。各撮像素子１２Ｌｂ，１２Ｒｂによって生成される画像信号は、制御部１１へと出力され、画像処理部１１ａにより信号処理され、表示制御部１１ｃによる制御により表示部１８の表示画面上に画像が表示されるようになっている。この場合における表示制御部１１ｃは、３Ｄ画像表示用の表示制御を行う。
【００３０】
このような構成の撮像部１２において、例えば図２に示す状況での撮影を行う場合を考える。図２に示す状況において、撮影対象として、被写体１００ａ，１００ｂがあるものとする。被写体１００ａは一対の光学レンズ１２Ｌａ，１２Ｒａから距離Ｌ１の間隔を置いた位置に、被写体１００ｂは一対の光学レンズ１２Ｌａ，１２Ｒａから距離Ｌ２の間隔を置いた位置にあるものとする。
【００３１】
この場合、左眼用の光学レンズ１２Ｌａを介して左眼用撮像素子１２Ｌｂの受光面に結像される左眼用画像と、右眼用の光学レンズ１２Ｒａとを介して右眼用撮像素子１２Ｒｂの受光面に結像される右眼用画像と、の視差を有する一対の画像信号を得ることができる。
【００３２】
状況判定部１３は、当該カメラ１の置かれている状況を判定するための各種の判定部、例えばＧＰＳ（Ｇlobal Ｐositioning Ｓystem）等を用いた位置判定部１３ａ及び方位判定部１３ｄ、撮影時の年月日時間等の日時情報を取得する時計部１３ｂ、水中判定部１３ｃや、ジャイロセンサー，加速度センサ等を用いた傾き判定部１３ｅ等を有して構成される。水中判定部１３ｃによる水中判定手段は、例えば外圧を検出する手段であったり、光の屈折率の変化を検出する手段等、従来一般に利用されている技術を用いる。
【００３３】
なお、時計部１３ｂについては、図１に示す構成例に限られることはなく、例えば制御部１１内に設けられる制御部を構成するＣＰＵ等の内部クロックを利用する構成としてもよく、また、それとは別の構成例として、カメラ１内における別個独立した時計回路を設けるようにしてもよい。
【００３４】
なお、上記状況判定部１３によって判定された各種の撮影状況情報は、撮影動作によって取得された画像データが記録される際には、該画像データの付随情報として記録される。
【００３５】
記録部１４は、画像データ等を記録する記録媒体と、これを駆動する回路部等からなる記録手段として構成される部位である。記録媒体としては、例えば半導体メモリ，磁気記録ディスク等、一般的な記録媒体が適用される。なお、記録部１４に含まれる記録媒体は、カメラ１の内部に固定配置した形態のものや、カメラ１に対して着脱自在に構成される形態のもの（いわゆるカード形態の記録媒体等）等が適用される。
【００３６】
なお、図示を省略しているが、本カメラ１は、記録部１４とは別に、一時記憶領域としてのバッファメモリを有する。このバッファメモリは、カメラ１内において取り扱う各種の電気信号若しくは画像データ等を一時的に記録し得ると共に、各種の信号処理，データ処理等を行う際の作業領域として利用され、例えば半導体メモリ等によって構成される。このバッファメモリは、例えばカメラ１の内部で独立した構成部として設けられる形態のほか、制御部１１内に内部メモリとして配設する形態としてもよい。
【００３７】
操作部１５は、使用者の操作指示を制御部１１に伝達するために設けられる複数の操作部材及び操作スイッチ等と、これらの操作部材，操作スイッチ等が操作されたときに各対応する指示信号を発生させる回路部等からなる、当該カメラ１のユーザーインターフェースを構成する構成部である。カメラ１の操作部材としては、例えばシャッタレリーズボタン（スイッチ），電源オンオフボタン（スイッチ），動作モード切り換えボタン（スイッチ）等、従来のカメラが有する各種の操作部材が含まれる。
【００３８】
選択操作部１６は、使用者による選択指示を行うために設けられる構成部である。選択操作部１６としては、例えば表示部１８の表示画面上に設けられるタッチパネル等が適用される。選択操作部１６は、制御部１１により制御される表示部１８の表示に連動して、所定の選択操作等を行い得るように、制御部１１によって上記表示部１８等と共に制御される。
【００３９】
その他の構成部については、従来一般に実用化されている撮影装置であって画像表示装置を備えた形態の撮影装置（カメラ）と略同様の構成を有するものとする。したがって、その他の構成部についての詳細説明は省略する。
【００４０】
このように構成された本実施形態のカメラ１を用いて画像を記録する際の作用を、図３〜図７を用いて以下に説明する。
図３は、本実施形態のカメラ１の制御処理のメインシーケンスを概略的に示すフローチャートである。なお、本フローチャートでは、本発明に関連する主要制御を主に示しており、従来の通常のカメラによる制御処理については、図示を省略している。
【００４１】
カメラ１が動作可能な電源オン状態にされたとき、図３のステップＳ１において、制御部１１は、カメラ１の動作モードが撮影モードに設定されているか否かの確認を行う。ここで、撮影モードに設定されている場合には、次のステップＳ２の処理に進む。また、撮影モードに設定されていない場合、即ち撮影モード以外の動作モード、例えば再生モードに設定されている場合には、ステップＳ１１の処理に進む。なお、カメラ１の動作モードには、撮影モードと再生モードのほかに、例えば設定モード等が存在するが、本実施形態においては、撮影モードと再生モード以外の動作モードの処理シーケンスは、本発明に直接関連しないので、その図示を省略している。したがって、該ステップＳ１の処理にて撮影モードに設定されていないと判断された場合には、再生モードに設定されているものとし、図３のステップＳ１１以降の処理シーケンスは再生モードでの動作を示す。
【００４２】
ステップＳ２において、制御部１１は、撮像部１２，表示部１８を制御して、取得した画像信号に基づく画像を表示部１８の表示画面に順次表示させるライブビュー画像を表示する処理を行う。このライブビュー画像表示処理は、従来のカメラで行われる通常の処理である。その後、ステップＳ３の処理に進む。
【００４３】
ステップＳ３において、制御部１１は、状況判定部１３の各構成部を用いて、現時点における状況、即ち撮影状況を判定する撮影状況判定処理の実行を開始する。カメラ１の置かれている撮影状況に関する情報としては、例えば、日時情報，位置情報（緯度経度等），方位情報（カメラ１のレンズが向いている方位等），カメラ１の姿勢情報（レンズ光軸の傾き，カメラ１の姿勢等），カメラ１の周囲環境（水中であるか否か等）等の情報がある。これらの撮影状況に関する情報は、実際の撮影動作が行われて得られる画像データに付随する情報として、該画像データと共に、同一データファイルとして若しくは関連付けられた別データファイルとして、記録部１４に記録される情報である。この撮影状況判定処理は、所定時間間隔で間欠的に継続して行われ、カメラ１が撮影モード以外の動作モードに切り換えられた場合、若しくはカメラ１が電源オフ状態にされたとき、それらの指示信号を受けた制御部１１により終了する。
【００４４】
続いて、ステップＳ４において、制御部１１は、類似画像検索部１１ｂによって類似画像検索処理を実行する。この類似画像検索処理は、上述のステップＳ３の処理にて得られる撮影状況情報と、撮像部１２により得られ画像処理部１１ａにより取得される画像信号等に基いて、記録部１４に既に記録されている画像データの中から、類似の撮影対象でかつ同じ場所で撮影された類似画像があるか否かの検索を行う処理である。例えば、画像内の特定部（例えば画面中央領域にあるものや、画面内で同色部分の面積が大きいもの，コントラストが高いものなど）の特徴点抽出やパターンマッチング，さらには色の判定等による。また、画像情報に基く検索のほか、使用者がタッチパネル等によって指示した部位を対象としてもよい。さらに、画像の構図や縦横比情報等は、撮影時の状況によって様々である。そのために、類似画像であっても、横長構図で撮影されたものと、縦長構図で撮影されたものでは、正しく類似画像検出ができない可能性もある。したがって、上記類似画像検索処理の際には、被写体の上下方向の情報を参照することで、画面構成を考慮したパターンマッチング等を行うようにする。ここで、類似画像が検索された場合には、次のステップＳ５の処理に進む。また、類似画像が検索されなかった場合には、ステップＳ６の処理に進む。
【００４５】
通常の場合、カメラ１の使用者は、興味のある対象物を撮影対象として、特に定点撮影等の手法を意識することなく、無意識に撮影を行っているのが普通である。そのように、使用者が自身の興味に従って撮影を行うことにより大量の撮影画像データが記録媒体に撮り溜められることになる。このような記録媒体中の大量の撮影画像データの中には、同一の撮影対象について、ある程度の時間を置いた後に、再度撮影された画像が複数含まれる場合がある。
【００４６】
例えば、図８に示すように、植物の成長経過を撮影する場合、図８（Ａ）に示す「双葉」の状態から図８（Ｂ）に示す「蕾」の状態に成長するまでの時間や、図８（Ｂ）の「蕾」状態から図８（Ｃ）に示す「開花」の状態に成長するまでの時間は、比較的長い時間が経過しているものと考えられる。したがって、図８（Ａ）の撮影を行なった後、図８（Ｂ）の撮影を行うまでの間には、他の対象物に関する複数の撮影が行われているはずである。また、図８（Ｂ）の撮影から図８（Ｃ）の撮影の間も同様に他の撮影が行われているものと考えられる。そして、使用者は、定点撮影手法を意識することなく撮影を行っているものとすると、図８（Ａ）の状態では、対象物（植物）１０２が小さいことから、カメラ１を横位置で構える等により、鉢１０１に比べて小さな植物を含めて鉢１０１の全体が画面内に一杯に収まるような構図で撮影を行う。一方、図８（Ｂ），図８（Ｃ）の状態では、対象物（植物）１０２が上方に向けて延伸して成長しているので、カメラ１を縦位置に構えて、植物を主体的に撮影を行なうのが自然である。そして、場合によっては、植物が主体となって、鉢１０１が部分的にしか画面内に入らないような構図になることも考えられる。
【００４７】
また、図８（Ａ）から図８（Ｂ）の間や、図８（Ｂ）から図８（Ｃ）の間において、対象物（植物）１０２が成長していることを考えると、対象物１０２の全体像を画面内に収めるためには、カメラ１と対象物１０２との間隔Ｌが徐々に広くなるものと考えられる。その結果、図８（Ａ）時点から図８（Ｂ）を経て図８（Ｃ）の時点に至るまでの経時によって成長変化する対象物１０２に対し、実際の大きさに変化が生じていない鉢１０１の画面内における像の大きさが、徐々に小さくなるように撮影されることになる。
【００４８】
図９は、図８の状況で撮影された場合の撮影結果としての画像をの例を示す図である。即ち、図９（Ａ）は、図８（Ａ）に示す状況で撮影された画像の一例を示している。図９（Ｂ）は、図８（Ｂ）に示す状況で撮影された画像の一例を示している。図９（Ｃ）は、図８（Ｃ）に示す状況で撮影された画像の一例を示している。
【００４９】
図９に示す各画像例１８ａ，１８ｂ，１８ｃを見ても判るように、図９（Ａ）の画像１８ａから図９（Ｂ）の画像１８ｂを経て図９（Ｃ）の画像１８ｃとなるに従って、対象物（植物）１０２が成長するのに反して、画像中に占める鉢１０１の大きさが小さくなっている。
そこで、図９（Ａ），図９（Ｂ），図９（Ｃ）の各画像１８ａ，１８ｂ，１８ｃにおける鉢１０１の大きさが略等しくなるように、各画像１８ａ，１８ｂ，１８ｃの拡大若しくは縮小処理を行って、該各画像１８ａ，１８ｂ，１８ｃを重ねて示すと、図１０に示すようになる。
【００５０】
図１０において示す符号（ａ），（ｂ），（ｃ）は、図９（Ａ），図９（Ｂ），図９（Ｃ）の各画像１８ａ，１８ｂ，１８ｃをそれぞれ適宜拡大又は縮小処理した後のそれぞれの画像に相当する。
【００５１】
つまり、定点撮影手法を意識して撮影を行なった場合（即ち予め成長等を考慮して変化しない部分の像の大きさが画面上で同じ大きさになるように、かつ同様の構図で撮影した場合）には、そうして撮影された画像を重ねて表示させると、図１０に示すように画像内における対象物１０２の成長変化を画像によって明確に観察することができる。
【００５２】
しかしながら、通常の使用者は、上述したような理由により、図９に示すような一貫性の無い画像データをただ撮り溜めているよう結果となっている。
【００５３】
このように、通常の使用者が通常の撮影に用いているカメラ１によって長期間に渡って撮り溜めた複数の画像データの中から、例えば同一被写体の変化の過程をそれとは意識せずに記録した類似画像を検索し、その検索の結果、抽出された複数画像を単に並べて表示したとしても、撮影時に定点撮影手法や成長記録であることを意識しながら行われた撮影とは異なり、対象物の変化のようすや成長経過等を明確に表示させることはできない。
【００５４】
そこで、本発明においては、まず撮影時において、記録済みの画像データの中から類似画像を検索し、例えば図９に示すような複数の類似画像が検索された場合には、それらの類似画像に合わせた類似の撮影を行い得るようにするためのガイド表示（参考表示）を行うようにしている（図１１参照）。
【００５５】
即ち、図３においてステップＳ４の処理にて類似画像が検索されて、次のステップＳ５の処理に進むと、このステップＳ５において、制御部１１は、表示制御部１１ｃを介して表示部１８を制御して、表示部１８の表示画面、即ち表示中のライブビュー画像に重畳させて、撮影手法をガイドするための参考表示を表示させる参考表示処理を実行する。この参考表示処理の表示例を図１１に示す。
【００５６】
図１１は、カメラ１を対象物１０２に向けた状態を示しており、さらに、そのときに表示部１８に表示される画面を拡大して示す表示例である。
【００５７】
図１１に示す画面表示１８ｄにおいて、その画面全体にはライブビュー画像が表示されていると共に、同画面内の所定の領域には参考表示のための複数の情報が重畳表示されている。参考表示のための情報として、例えば
記録済み画像データの検索結果情報を表示する領域Ａ（図１１の表示例では「類似画像有」といった文字情報等を表示させている）
検索結果が「有」の場合に、その検索結果画像のうちの直近の画像に関する情報を表示する領域Ｂ（図１１の表示例では「方位」に関する情報を方位磁石を模したイラスト情報等を表示させている）
検索結果が「有」の場合に、その検索結果画像のうちの直近の画像に関する別の情報を表示する領域Ｃ（図１１の表示例では、直近画像の縮小画像（サムネイル画像）を表示させている）
等がある。なお、図１１に示す表示例は、参考表示の単なる一例である。参考表示の形態は、この表示例とは異なるさまざまな形態が考えられる。
【００５８】
図３に戻って、上述の図１１に示すような参考表示がなされた後、ステップＳ６において、制御部１１は、操作部１５等からの指示信号を監視して撮影操作指示の有無を確認する。ここで、撮影操作指示が確認された場合には、次のステップＳ７の処理に進む。また、撮影操作指示が確認されない場合には、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
【００５９】
ステップＳ７において、制御部１１は、撮像部１２等を制御して実際の撮影動作処理を実行する。ここで、行われる撮影動作処理は、従来のカメラで行われる通常の処理である。その後、ステップＳ８の処理に進む。
【００６０】
ステップＳ８において、制御部１１は、上述のステップＳ７の撮影動作処理にて取得した撮影画像データと、現在の状況データとを記録部１４の記録媒体等に記録する処理を実行する。ここで、状況データとは、例えば状況判定部１３によって取得される各種の情報のデータである。これらの状況データは、撮影画像データのメタデータとして記録するようにしてもよいし、撮影画像データに関連付けた別個のデータファイルとして記録するようにしてもよい。その後、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
【００６１】
次に、上述のステップＳ１の処理にて、カメラ１の動作モードが再生モードに設定されていると判断されて、ステップＳ１１の処理に進むと、このステップＳ１１以降の処理にて、カメラ１の再生モード時の動作を実行する。なお、このステップＳ１１以降の処理シーケンスは、撮影装置としてのカメラ１の再生モード時の動作を示すと同時に、画像再生のみに特化した画像表示装置における動作に相当する。
【００６２】
本実施形態のカメラ１が再生モードで動作するとき、まず、制御部１１は、表示制御部１１ｃを介して表示部１８を制御して、表示部１８の表示画面上に画像の表示形態の選択メニュー画面を表示させる。画像の表示形態としては、表示部１８の表示画面上に撮影記録済みの画像を表示させる通常の表示形態（一画像表示，サムネイル表示等を含む）のほかに、各種様々なものが考えられるが、本実施形態においては、特に撮影記録済み画像データの中から類似画像を検索し、その検索結果により取り出された複数画像を所定の形態（後述するように複数画像を重畳表示したり並べて表示する等の各種の形態）で表示する「成長経過表示」等がある。
【００６３】
そして、本カメラ１において再生モードの起動時における表示形態選択メニュー画面が表示されたときには、使用者は、表示画面上の所定の領域（メニュー項目表示領域）をタッチ操作する等により、所望の表示形態を選択できるようになっている。
【００６４】
カメラ１が再生モードで動作しているとき、図３のステップＳ１１において、制御部１１は、選択操作部１６等からの指示信号を監視して成長経過表示処理の実行指示の有無を確認する。ここで、成長経過表示処理の実行指示が確認された場合には、次のステップＳ１３の処理に進む。また、成長経過表示処理の実行指示が確認されなかった場合には、ステップＳ１２の処理に進む。
【００６５】
ステップＳ１２において、制御部１１は、通常表示処理を実行する。この通常表示処理は、従来のカメラで行われる通常の処理である（処理の詳細説明は省略する）。その後、ステップＳ１８の処理に進む。
【００６６】
ステップＳ１８において、制御部１１は、操作部１５等からの指示信号を監視して動作モード切り換えボタン等によって動作モードが切り換えられたか否か、つまり再生モードの終了指示がなされたか否かの確認を行う。ここで、再生モード終了指示が確認された場合には、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。また、再生モード終了指示が確認されない場合には、上述のステップＳ１１の処理に戻り、以降の処理を繰り返す。
【００６７】
一方、上述のステップＳ１１の処理にて、成長経過表示処理の実行指示が確認されてステップＳ１３の処理に進むと、このステップＳ１３において、制御部１１は、成長経過表示処理を実行する。この成長経過表示処理の詳細は、図４のフローチャートに示す通りである。
【００６８】
使用者の所望によって該使用者が所定の操作指示を行うことで、カメラ１の制御部１１が成長経過表示処理の処理シーケンスに入る。このとき、カメラ１の表示部１８の表示画面上には、例えば通常再生処理時と同様に、記録済み画像データのうち最新の画像データに対応する画像が再生表示されているものとする。そして、表示画面上には、該最新画像に重畳させて、例えば成長経過表示処理の実行中である旨を示すマークや、基準画像の選択を促す指示表示等が表示される。この状態において、使用者は、まず、成長経過の表示を行うための基準となる画像（以下、基準画像という）を設定するための操作を行う。この選択操作は、例えば次のような操作になる。
【００６９】
まず、画像を再生表示するための通常の操作を行なって、表示部１８の表示画面上に、基準画像とすべき所望の画像を表示させる。その状態で、上記基準画像選択指示表示をタッチ操作する。このとき、制御部１１は、操作部１５，選択操作部１６等からの指示信号を監視している。
【００７０】
上述のように使用者が基準画像選択指示操作を行うと、図４のステップＳ２１において、制御部１１は、基準画像選択指示信号を受けて、現在表示中の画像を基準画像として設定するための基準画像選択処理を実行する。その後、ステップＳ２２の処理に進む。
【００７１】
ステップＳ２２において、制御部１１は、類似画像検索部１１ｂによって、記録済み画像データの中から、上述のステップＳ２１の処理にて選択された基準画像と同一の状況情報（撮影位置情報，方位情報等）を有する類似画像を検索する類似画像検索処理を実行する。その後、ステップＳ２３の処理に進む。
【００７２】
ステップＳ２３において、制御部１１は、上述のステップＳ２２の処理にて類似画像が存在するか否かの確認を行う。即ち、上述のステップＳ２２の検索処理の結果、類似画像が検索されなかった場合には、当該成長経過表示処理のシーケンスを脱して、図３のステップＳ１８の処理に進む。また、類似画像が検索された場合には、ステップＳ２４の処理に進む。なお、類似画像検索処理の結果は、表示部１８の表示画面上に何らかの形態で表示される。その表示形態としては、例えば文字などによる告知表示であったり、絵文字等を表示させたり点滅させる等、各種の告知形態が考えられる。そして、検索結果表示を行った状態でカメラ１は使用者による指示を待機する状態になる。使用者は、上記検索結果の告知表示を見て次の操作を行う。
【００７３】
例えば、類似画像検索処理の結果、類似画像がない場合には、その旨の告知表示と共に、再生モードを終了するかどうかの指示を促す表示がなされる。使用者は、画面表示に従って操作を行う。
【００７４】
一方、類似画像検索処理の結果、類似画像が存在する場合には、その旨の告知表示と共に、基準部選択指示操作を促す旨の表示がなされる。使用者は、画面表示に従って操作を行う。この基準部選択指示操作とは、基準画像とその類似画像とに共通して存在している領域であって、基準となる画像領域（以下、基準部という）を使用者が任意に選択する操作である。具体的な操作としては、例えば表示部１８の表示画面に表示されている基準画像又はその類似画像に対し、基準部に相当する領域を、使用者がタッチ操作することにより選択し指定する。このとき、制御部１１は、領域指定手段として機能する操作部１５，選択操作部１６等からの指示信号を監視している。
【００７５】
上述のように使用者が基準部選択指示操作を行うと、図４のステップＳ２４において、制御部１１は、選択操作指示信号を受けて基準部の選択処理を行う。その後、ステップＳ２５の処理に進む。
【００７６】
ステップＳ２５において、制御部１１は、表示部１８の表示画面上に現在表示中の画像を記録部１４の記録媒体中における特定の領域、例えば特定フォルダ等に関連付けて保存記録する処理を実行する。なお、本実施形態においては、上記特定の領域として、図４に示すように「成長画像集」領域と呼称する。その後、ステップＳ２６の処理に進む。
【００７７】
ステップＳ２６において、制御部１１は、表示制御部１１ｃによって、上述の類似画像検索結果による画像のうち最新の画像を表示部１８の表示画面上に表示させる。その後、ステップＳ２７の処理に進む。
【００７８】
ステップＳ２７において、制御部１１は、基準部検索処理を実行する。この基準部検索処理の詳細は、図５に示す通りである。
【００７９】
まず、図５のステップＳ３１において、制御部１１は、画像処理部１１ａ等によって図４のステップＳ２４において選択指定した基準部が次の類似画像内に存在するか否かの確認を行う。ここで、次の類似画像にも基準部が存在することが確認された場合には、次のステップＳ３３の処理に進む。また、次の類似画像に基準部が存在しないと判断された場合には、ステップＳ３２の処理に進む。
【００８０】
ステップＳ３２において、制御部１１は、画像処理部１１ａ等によって、次の類似画像に類似点があるか否かの確認を行う。ここで、類似点がないと判断された場合には、図４の処理シーケンスに戻り（リターン）、図４のステップＳ２８の処理に進む。また、類似点があることが確認された場合には、ステップＳ３３の処理に進む。
【００８１】
ステップＳ３３において、制御部１１は、画像処理部１１ａ等によって、基準画像と次の類似画像とを合成する画像合成処理を行う。その後ステップＳ３４の処理に進む。
【００８２】
ステップＳ３４において、制御部１１は、上述のステップＳ３３の処理にて生成した合成画像を「成長画像集」に追加保存する。その後、図４の処理シーケンスに戻り（リターン）、図４のステップＳ２８の処理に進む。
【００８３】
図４に戻って、ステップＳ２８において、制御部１１は、上述のステップＳ２２の類似画像検索結果による画像のうち未だ基準部検索を行っていない次の類似画像があるか否かを確認する。ここで、類似画像があることが確認された場合には、上述のステップＳ２６の処理に戻り、以降の処理を繰り返す。また、類似画像がない場合には、次のステップＳ２９の処理に進む。
【００８４】
ステップＳ２９において、制御部１１は、上述のステップＳ２２の類似画像検索結果による画像のうち最新画像の基準部の大きさに合わせて、他の類似画像についての拡大処理又は縮小処理を画像処理部１１ａによって実行する。この拡大処理又は縮小処理の画像処理結果としては、例えば図１２に示すようになる。
【００８５】
ここで、図１２（Ｃ）に示す画像１８ｃを最新画像であって基準画像とし、その画像中において鉢１０１を基準部とした場合において、図１２（Ａ），図１２（Ｂ）に示す類似画像が存在しているものとする。そして、図１２（Ａ），図１２（Ｂ），図１２（Ｃ）の順に時間が経過しているものとする（つまり、その順に被写体である植物が成長している）。
【００８６】
図１２（Ａ）のときの実際の画像は、符号１８ａで示す枠内を全画像領域としている。つまり、この場合、鉢１０１ａの大きさは画面のほぼ一杯の領域を占める程大きなものである。この画像１８ａを縮小処理して、鉢１０１ａの大きさが図１２（Ｃ）の場合の鉢１０１ｃとほぼ同じ大きさとなるように処理する（図１２において符号Ｈで示す寸法を合わせる）と、図１２（Ａ）に示すような画像となる。このとき、図１２（Ａ）で符号１８Ａｃで示す枠は、図１２（Ｃ）の画像１８ｃと同じ大きさの枠であり、表示画面の大きさとなる。図１２（Ｂ）の場合も同様である。
【００８７】
このように、類似画像１８ａ，１８ｂの画像サイズを基準画像１８ｃに合わせて、基準部の大きさがほぼ同じ大きさとなるように縮小処理することにより、成長経過の比較が判りやすくなる。
【００８８】
上述のステップＳ２９の処理における画像処理結果は、「成長画像集」に追加保存される。その後、図３の処理シーケンスに戻り（リターン）、図３のステップＳ１４の処理に進む。
【００８９】
図３に戻って、ステップＳ１４において、制御部１１は、操作部１５，選択操作部１６等からの指示信号を監視して、成長経過表示処理を終了する旨の指示信号の有無を確認する。ここで、成長経過表示処理終了指示信号が確認された場合には、ステップＳ１８の処理に進む。また、成長経過表示処理終了指示信号が確認されない場合には、次のステップＳ１５の処理に進む。
【００９０】
ステップＳ１５において、制御部１１は、表示制御部１１ｃによって並列表示処理（図６のサブルーチン）を実行する。この並列表示処理の詳細は、図６に示す通りである。
【００９１】
図６のステップＳ４１において、制御部１１は、上述の図４，図５の処理によって表示部１８に表示中の合成画像についての重なり部分位置の判定処理の実行を開始する。
【００９２】
まず、ステップＳ４２において、制御部１１は、画像処理部１１ａ等によって、重なり部分位置が合成画像内における下部寄りにあるか否かの確認を行う。ここで、重なり部分位置が合成画像内において下部寄りにあることが確認された場合には、ステップＳ４３の処理に進む。
【００９３】
ステップＳ４３において、制御部１１は、画像処理部１１ａ、表示制御部１１ｃによって表示部１８を制御して、上記複数の類似画像であって、上述の図４，図５にて「成長画像集」に保存記録された複数の類似画像を表示部１８の画面上において例えば時系列順に画面左から右に向けた横方向に並べて表示させる。その後、ステップＳ４４の処理に進む。
【００９４】
ステップＳ４４において、制御部１１は、「成長画像集」の各画像が３Ｄ画像であるか否かの確認を行う。この確認は、例えば画像データに付随するメタデータ等を参照すればよい。ここで、３Ｄ画像であることが確認された場合には、ステップＳ４５の処理に進む。また、３Ｄ画像ではないと判断された場合には、ステップＳ４６の処理に進む。
【００９５】
３Ｄ画像であると判断されて、ステップＳ４５の処理に進むと、このステップＳ４５において、制御部１１は、画像処理部１１ａ等によって各画像の重なり部分の視差を合わせる画像処理を実行する。その後、ステップＳ４６の処理に進む。
【００９６】
ステップＳ４６において、制御部１１は、重なり部分が画面の下部領域にてほぼ同じ位置に表示されるように、かつ位置を揃えて、かつ同一画面上で時系列順に並べて表示する並列表示を行う。この場合において、例えば撮影日時情報に基いて、撮影日時の古い順に画面左から右に向けて横に並べて表示する。その後、図３の処理シーケンスに戻り（リターン）、図３のステップＳ１６の処理に進む。
【００９７】
なお、このときの並列表示処理の結果の表示部１８の表示例を、図１３（Ａ）に示す。図１３（Ａ）において、表示部１８の表示画面には、前述の画像１８ａ，１８ｂ，１８ｃの複数の類似画像を、時系列順に画面左から右にむけて並べて表示している。そして、各画像の近傍には、各対応する撮影日時情報を表示している。
【００９８】
一方、上述のステップＳ４２の処理にて、重なり部分位置が合成画像内において下部寄りではないと判断された場合には、ステップＳ５１の処理に進む。
【００９９】
ステップＳ５１において、制御部１１は、画像処理部１１ａ等によって重なり部分位置が合成画像内における右部寄り又は左部寄りにあるか否かの確認を行う。ここで、重なり部分位置が合成画像内において右部寄り又は左部寄りにあることが確認された場合には、ステップＳ５２の処理に進む。また、重なり部分位置が合成画像内において右部寄り又は左部寄りではないと判断された場合には、ステップＳ５６の処理に進む。
【０１００】
ステップＳ５６において、制御部１１は、表示制御部１１ｃによって並列表示処理ができない旨の警告表示を表示部１８に表示する警告処理を実行する。その後、図３の処理シーケンスに戻り（リターン）、図３のステップＳ１６の処理に進む。
【０１０１】
また、ステップＳ５２において、制御部１１は、画像処理部１１ａ、表示制御部１１ｃによって表示部１８を制御して、上記複数の類似画像であって、上述の図４，図５にて「成長画像集」に保存記録された複数の類似画像を表示部１８の画面上において例えば時系列順に画面上から下に向けた縦方向に並べて表示させる。その後、ステップＳ５３の処理に進む。
【０１０２】
ステップＳ５３において、制御部１１は、「成長画像集」の各画像が３Ｄ画像であるか否かの確認を行う。この確認は、上述のステップＳ４４の処理と同じである。ここで、３Ｄ画像であることが確認された場合には、ステップＳ５４の処理に進む。また、３Ｄ画像ではないと判断された場合には、ステップＳ５５の処理に進む。
【０１０３】
３Ｄ画像であると判断されて、ステップＳ５４の処理に進むと、このステップＳ５４において、制御部１１は、画像処理部１１ａ等によって各画像の重なり部分の視差を合わせる画像処理を実行する（上記ステップＳ４５の処理と同じ）。その後、ステップＳ５５の処理に進む。
【０１０４】
ステップＳ５５において、制御部１１は、重なり部分が画面の右側領域若しくは左側領域にてほぼ同じ位置に表示されるように、かつ位置を揃えて、かつ同一画面上で時系列順に並べて表示する並列表示を行う。この場合において、例えば撮影日時情報に基いて、撮影日時の古い順に画面上から下に向けて縦に並べて表示する。その後、図３の処理シーケンスに戻り（リターン）、図３のステップＳ１６の処理に進む。
【０１０５】
なお、このときの並列表示処理の結果の表示部１８の表示例は、図１３（Ｂ）に示す通りである。図１３（Ｂ）の表示例でも、図１３（Ａ）の表示例と略同様である。即ち、図１３（Ｂ）において、表示部１８の表示画面には、前述の画像１８ａ，１８ｂ，１８ｃの複数の類似画像を、時系列順に画面上から下にむけて並べて表示している。そして、各画像の近傍には、各対応する撮影日時情報を表示している。
【０１０６】
また、図１３で例示する状況は、植物の成長は、画面上に対して観察者の側に向けて伸びてくる。このような場合、例えば３Ｄ画像で撮影しておくと、効果的な表示とすることができる。
【０１０７】
図３に戻って、ステップＳ１６において、制御部１１は、操作部１５，選択操作部１６等からの指示信号を監視して、アニメーション表示処理を実行開始する旨の指示信号の有無を確認する。ここで、アニメーション表示処理開始指示信号が確認された場合には、次のステップＳ１７の処理に進む。また、アニメーション表示処理開始指示信号が確認されない場合には、上述のステップＳ１４の処理に戻り、以降の処理を繰り返す。
【０１０８】
ステップＳ１７において、制御部１１は、表示制御部１１ｃによってアニメーション表示処理（図７のサブルーチン）を実行する。このアニメーション表示処理の詳細は、図７に示す通りである。
【０１０９】
図７のステップＳ６１において、制御部１１は、上述の図４，図５の処理によって生成された複数の合成画像（記録媒体の「成長画像集」領域に記録された複数の画像）のうちの一番古い画像（図１２（Ａ）の画像）を表示部１８に表示させる。その後、ステップＳ６２の処理に進む。
【０１１０】
続いて、ステップＳ６２において、制御部１１は、時計部１３ｂを参照し所定の時間が経過したか否かの確認を行う。この所定時間は、表示部１８への画像の表示時間である。この所定時間としては、例えば表示すべき画像数が大量にある場合には短い間隔（例えば数分の一秒等、一秒以下の時間間隔）で次々に画像を表示させると、動画像のような表示が可能である。また、画像数が少ない場合には表示間隔を長めにとれば（例えば１〜２秒間隔）、いわゆるスライドショーのような表示になる。
このステップＳ６２の処理にて、所定時間の経過が確認されると、次のステップＳ６３の処理に進む。
【０１１１】
ステップＳ６３において、制御部１１は、次に表示する画像があるか否かの確認を行う。ここで、次画像があることが確認された場合には、次のステップＳ６４の処理に進む。また、次画像がないと判断された場合には、ステップＳ６５の処理に進む。
【０１１２】
ステップＳ６４において、制御部１１は、表示制御部１１ｃ等によって、既に表示済みの画像と次画像との共通部分（特に基準部）の大きさや位置を合わせて、次画像の表示を実行する。その後、ステップＳ６２の処理に戻り、以降同じ処理を繰り返す。
【０１１３】
一方、上述のステップＳ６３の処理にて、次に表示する画像がないと判断されてステップＳ６５の処理に進むと、このステップＳ６５において、制御部１１は、アニメーション表示処理の終了処理を実行する。その後、図３の処理シーケンスに戻る（リターン）。即ち、図３のステップＳ１４の処理に戻って、以降同じ処理を繰り返す。
【０１１４】
ところで、同一の撮影対象物の変化の過程を、例えば定点撮影的な手法を意識せずに撮影する場合、撮影時点の対象物の状態に応じて、撮影者の興味を引く部位が変化することがある。
【０１１５】
例えば、植物の成長の経過を記録する場合において、種子を植えた後、発芽した時点に撮影した画像として、図１４（Ａ）に示すように、小さな対象物（発芽したばかりの植物）と鉢全体を写し込んだ画像１８ａであるものとする。
【０１１６】
その後、植物が成長して、前回の発芽状態の植物に対して植物自体が大きく成長したものとする。このような場合、図１４（Ｂ）に示すように植物の大きさが鉢の大きさに対して比較的大きいと、撮影対象物としての興味の対象は植物にあることから、この時点での撮影画像では、その画面内に鉢全体が写し込まれずに、鉢の一部のみが写し込まれた画像１８ｂのようになることがある。
【０１１７】
さらに、植物が成長して開花時期を迎えると、撮影の興味の対象は植物のうちの特に花の部分になる。この場合には、図１４（Ｃ）に示すように、撮影画像は花の部分が主要部分を占めることになり、その結果、画面内に鉢が入らない画像１８ｃが取得される場合がある。
【０１１８】
このような場合には、本来関連付けられるべき一連の複数画像であっても、最初に基準部として設定する画像領域が、全ての画像に共通して存在しているものであるとは限らない。
【０１１９】
そこで、類似画像検索処理の際には、ある時点の特定の画像と、その直前の画像とを比較して、その二画像間での共通部分の有無によって、それらの二画像が類似画像であるか否かの判断を行うようにしてもよい。
【０１２０】
例えば、図１４（Ａ），図１４（Ｂ）の二画像間では、符号（ａ）で示す領域、即ち鉢の一部が写り込んだ画像領域を共通部分として扱う。
また、図１４（Ｂ），図１４（Ｃ）の二画像間では、符号（ｂ）で示す領域、即ち植物の一部（葉）が写り込んだ画像領域を共通部分として扱う。
このように時系列上で隣り合う二画像間で共通する部分を順次検索するという処理を行う。その検索の結果の複数の画像について、各共通部分が重なるように表示すると、図１５に示すような全体画像を得ることができる。
【０１２１】
そして、これらの複数の画像を並列表示処理やアニメーション表示処理を行うために、縮小処理又は拡大処理等の画像処理を行う。このとき、図１４（Ａ）に対応する画像１８ａと図１４（Ｂ）に対応する画像１８ｂとでは、大きさに変化のない鉢の一部分の大きさが揃うように各画像の画像処理を行う。これにより、図１６（Ａ），図１６（Ｂ）に示すような画像が得られる。
また、図１４（Ｂ）に対応する画像１８ｂと図１４（Ｃ）に対応する画像１８ｃとでは、共通部分の植物の一部分の大きさがほぼ揃うように各画像の画像処理を行う。なお、この場合には、厳密には植物の一部分（葉）は経時変化によって画像１８ｂの葉部分と、画像１８ｃの葉部分とは植物の成長に伴って大きさ，位置とも完全に合致するとは限らない。この場合の類似の判断は、植物の一部分（葉）の形状によればよい。これにより、図１６（Ｂ），図１６（Ｃ）に示すような画像が得られる。
こうして得られた各画像を並列表示した場合の例示を、図１７に示す。この場合には、古い画像から順に左から右に並べて表示している点は、上述の図１３で示す表示例と同じであるが、時系列で新しい画像になるに従って、前の画像に対して新しい画像の共通部分を重ねた合成画像を順に表示するような形態としている。このような表示形態とすれば、並列して表示する複数の画像全てに共通する部分を表示させることもできるようになる。
【０１２２】
以上説明したように上記一実施形態によれば、使用者が記録媒体に撮り溜めてある複数の画像データの中から特定の対象物を選択すると、その選択された特定対象物や撮影状況情報等を含む類似画像を検索し、その検索の結果、抽出された複数画像データについての所定の画像処理（拡大処理や縮小処理，合成処理等）を適宜行い、その画像処理結果や付随する各種の情報を一連の画像集として保存すると共に、所定の形態（並列表示，アニメーション表示，合成表示等）で表示部１８に表示させることができる。
これにより、使用者が定点撮影的な手法を意識せずに長期間に渡って撮影した一連の類似画像を、定点撮影的な手法で撮影した画像のような形態で、表示させることができるので、画像表示の楽しみを拡げることができる。
【０１２３】
また、本実施形態のカメラ１においては、撮影時に、記録媒体に記録済みの画像データの中から撮影状況等が類似する画像データを検索して、類似画像が検索された場合には、記録済み類似画像に合わせた撮影を行い得るようにするためのガイド表示（参考表示）を表示させることができる。
これにより、使用者は、今回の撮影を行うのに際して、以前に同じ対象物を撮影したときと類似の状況（構図や方向等）で撮影を行なうことができる。したがって、使用者が同じ対象物についての撮影を以前に行ったことを忘れていたとしても、撮影時にガイド表示が表示されるので、容易に前回の撮影状況に合せた撮影を行なうことができる。つまり、使用者が定点撮影を意識していなくても、以前に撮影したことのある同じ対象物の撮影を行おうとすると、ガイド表示によって定点撮影的な手法での撮影を行うことができる。
【０１２４】
さらに、そのようにして撮影された画像データの記録時には、自動的に一連の画像集として保存されるので、それら一連の画像データを再生表示する際には、上述した手法によって所定の形態の表示を行なうことが容易にでき、画像表示を楽しむことができる。
【０１２５】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【産業上の利用可能性】
【０１２６】
本発明は、デジタルカメラ等の撮影機能を有すると共に表示装置を有する電子機器である撮影装置に限られることはなく、画像データを表示する画像表示機能を備えた機器であって、単体としての画像表示装置のほか、表示装置を備えかつ撮影機能を備えた他の形態の電子機器、例えば携帯電話，録音機器，電子手帳，パーソナルコンピュータ，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の画像表示装置及び撮影機能付き電子機器に適用することができる。
【符号の説明】
【０１２７】
１…カメラ，１１…制御部，１１ａ…画像処理部，１１ｂ…類似画像検索部，１１ｃ…表示制御部，１２…撮像部，１３…状況判定部，１４…記録部，１６……選択操作部，１８…表示部
【技術分野】
【０００１】
この発明は、画像表示装置及び撮影装置、詳しくは記録済みの複数の画像の中から類似画像を選択して抽出し、これら選択抽出された類似画像を所定の形態で表示させる画像表示装置及び撮影装置に関するものである。
【背景技術】
【０００２】
従来、同一の撮影対象（被写体）の経時変化を記録するために、カメラを固定して所定の時間間隔で定期的に撮影を行ういわゆる定点撮影という撮影手法がある。しかしながら、例えば植物や子供の成長等を定点撮影手法で行う場合、時間間隔を長時間に設定する必要があり、また全体的な撮影期間も長期に渡ることになってしまうので、その間、カメラを固定しておくわけにはいかない。なお、定点撮影手法を用いる撮影の撮影対象としては、長時間で少しずつ変化していくものほど、変化を視認しやすく表現することができるという傾向がある。
【０００３】
そこで、カメラを固定することなく、長時間が経過した後に、改めて撮影するのに際して、前回の撮影状況に合わせた画像を容易に撮影することができるようにするための技術が、例えば特開２００５−２６８７４号公報等によって種々提案されている。
【０００４】
上記特開２００５−２６８７４号公報によって開示されている手段は、観察撮影時に、前回の撮影画像を表示することにより、今回の撮影画像の画角，倍率，色合い等を前回の撮影画像に合わせやすくして撮影を行なうことができるというものである。
【０００５】
一方、定点撮影手法を用いて撮影された複数の画像を用いて、変化が判りやすいように表示するための技術については、例えば特開２００４−４８３５８号公報等によって、従来種々の手段が提案されている。
【０００６】
上記特開２００４−４８３５８号公報によって開示されている手段は、間欠的な撮影を行う定点カメラから得られた撮影画像の変化を分かりやすいように表示する画像表示装置，表示方法，表示プログラムに関し、最新の画像を大きく表示し、この最新画像に並べて直前の３枚の画像を表示する。そして、カメラから画像を受け取る毎に順次、画像をシフトさせて表示するというものである。
【０００７】
他方、一般的なカメラの使用者は、自己の所有する一台のカメラを、例えば家族の記録や旅行の記念写真，趣味の写真撮影等、様々な状況下で使用することが普通である。そのような使用状況のうちには、例えば庭の植物の成長変化や、子供の成長を記録するための写真撮影が行われる。
【０００８】
近年のカメラにおいては、画像データを記録するための記録媒体の大容量化が進むと共に低価格化が進んでいる。したがって、例えば一つの記録媒体の中に、長期間の間に取得した大量の画像データを撮り溜めておいたり、撮影対象毎の用途別にあるいは使用者毎に記録媒体を交換して使用するといったことが行われている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−２６８７４号公報
【特許文献２】特開２００４−４８３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところが、上記特開２００５−２６８７４号公報によって開示されている手段は、定点撮影を前提として撮影を行う際の技術についてのものであり、また、上記特開２００４−４８３５８号公報によって開示されている手段は、定点撮影手法を用いて取得された複数画像を表示する際の技術である。
【００１１】
通常の場合、カメラ１の使用者は、興味のある対象物を撮影対象として、特に定点撮影等の手法を意識することなく、無意識に撮影を行っているのが普通である。そのように、使用者が自身の興味に従って撮影を行うことにより、大量の撮影画像データが記録媒体に撮り溜められることになる。このような記録媒体中の大量の撮影画像データの中には、同一の撮影対象について、ある程度の時間を置いた後に、再度撮影された画像が複数含まれる場合がある。
【００１２】
このように、撮影者が定点撮影等の手法を意識することなく撮影している場合にも、撮り溜めた複数の画像データに基いて、類似の画像を集めて、同じ撮影対象に生じた経時変化等判るように表示させることができれば、カメラを使用する際の楽しみに寄与し得ると考えられる。
【００１３】
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮影装置（カメラ）の使用者が特に意識することなしに通常の撮影を行って、記録媒体に複数の画像データを記録している場合、この記録媒体に記録された複数画像データの中から略同一（類似）の撮影対象を含む複数画像を選択し、選択された画像について適宜所定の画像処理を行って、それら複数の画像を最適な形態で表示する画像表示装置と、この画像表示装置を備え、表示形態を考慮した撮影を行い得る撮影装置を提供することである。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の一態様の画像表示装置は、画像を表示する表示手段を備えた画像表示装置において、記録手段に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段と、上記領域指定手段によって指定された上記基準部と略同一の画像領域を含む画像を上記記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段と、上記類似画像検索手段によって検索され抽出された画像と上記基準画像とに共通の画像領域となる上記基準部に基いて画像処理を行いその結果得られる画像を上記表示手段の表示画面に表示する制御手段とを具備することを特徴とする。
【００１５】
また、本発明の一態様の撮影装置は、被写体像を光電変換して画像を取得する撮像手段と上記撮像手段により取得した画像を記録する記録手段と画像を表示する表示手段を備えた画像表示装置とを具備してなる撮影装置において、上記記録手段に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段と、上記領域指定手段によって指定された上記基準部と略同一の画像領域を含む画像を上記記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段と、上記類似画像検索手段によって検索され抽出された画像と上記基準画像とに共通の画像領域となる上記基準部に基いて画像処理を行いその結果得られる画像を上記表示手段の表示画面に表示する制御手段とを具備することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮影装置（カメラ）の使用者が特に意識することなしに通常の撮影を行って、記録媒体に複数の画像データを記録している場合、この記録媒体に記録された複数画像データの中から略同一（類似）の撮影対象を含む複数画像を選択し、選択された画像について適宜所定の画像処理を行って、それら複数の画像を最適な形態で表示する画像表示装置と、この画像表示装置を備え、表示形態を考慮した撮影を行い得る撮影装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態のカメラの主要構成を示すブロック構成図、
【図２】図１のカメラにおいて３Ｄ撮影に対応する撮像部の概略的な構成を示す構成図、
【図３】図１のカメラにおける制御処理のメインシーケンスを示すフローチャート、
【図４】図３の処理シーケンスのうちの成長経過表示処理（図３のステップＳ１３）の詳細を示すフローチャート、
【図５】図４の処理シーケンスのうちの基準部検索処理（図４のステップＳ２７）の詳細を示すフローチャート、
【図６】図３の処理シーケンスのうちの並列表示処理（図３のステップＳ１５）の詳細を示すフローチャート、
【図７】図３の処理シーケンスのうちのアニメーション表示処理（図３のステップＳ１６）の詳細を示すフローチャート、
【図８】図１のカメラを用いて同一の撮影対象物の経時変化を撮影する場合の状況例を説明する図、
【図９】図８の状況例で取得される画像の例を説明する図、
【図１０】図８の状況例で取得された画像を合成処理する場合の例を説明する図、
【図１１】図１のカメラにおいて撮影時に表示部表示されるガイド表示の一例を示す図、
【図１２】図４の成長経過表示処理シーケンス中において実行される画像処理結果（拡大，縮小処理）の画像表示例を示す図、
【図１３】図６の並列表示処理結果の画像表示例を示す図、
【図１４】図１のカメラを用いて同一の撮影対象物の経時変化を撮影する場合の他の状況例を説明する図、
【図１５】図１４の他の状況例で取得された画像を用いて、各共通部分を重ね合わせて示す図、
【図１６】図１４の他の状況例で取得された画像についての画像処理結果の表示例を示す図、
【図１７】図１６で得られた画像を並列表示した場合の表示例を示す図、
【発明を実施するための形態】
【００１８】
以下、図示の実施の形態によって本発明を説明する。
【００１９】
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、その結果得られる画像信号を表示装置を用いて表示し得ると共に、同画像信号に基いて画像データを生成し、その画像データを記録媒体に記録することができ、また記録媒体に記録された画像データに基く画像を表示装置を用いて再生表示し得るように構成された撮影装置（以下、単にカメラと称する）を例に挙げて説明するものである。
【００２０】
まず、本実施形態のカメラの構成について、図１を用いて以下に説明する。なお、図１には、本発明に関する主要構成部のみを図示しており、カメラとしての一般的な構成部の図示は省略している。以下の説明では、本発明に直接関連する構成部（図１に示される構成部）のみを詳述し、その他の構成部については、従来一般に実用化されている撮影装置としてのカメラと略同様の構成を有しているものとして、その詳細説明は省略する。
【００２１】
図１に示すように、カメラ１は、制御部１１と、撮像部１２と、状況判定部１３と、記録部１４と、操作部１５と、選択操作部１６と、表示部１８等を有して構成される。
【００２２】
制御部１１は、本カメラ１の全体を統括的に制御する制御手段である。制御部１１としては、例えばＬＳＩ（Ｌarge-Ｓcale Ｉntegration）やＡＳＩＣ（Ａpplication Ｓpecific Ｉntegrated Ｃircuit）等の集積回路が適用される。
【００２３】
制御手段である制御部１１は、画像処理部１１ａ，類似画像検索部１１ｂ，表示制御部１１ｃ等の構成部を内部に有している。
【００２４】
画像処理部１１ａは、撮像部１２で光電変換された画像信号を受けて通常の画像信号処理を行う回路部である。画像処理部１１ａにて行われる処理内容としては、例えば、撮像部１２により取得された画像信号に基いてアナログ−デジタル（ＡＤ）／デジタル−アナログ（ＤＡ）変換処理を行ったり、コントラスト調整，色補正調整等の画像信号処理，画像信号の圧縮処理及び伸張処理等の通常の画像処理のほか、画像の拡大処理及び縮小処理やトリミング処理等の画像加工処理等を行う。
【００２５】
類似画像検索部１１ｂは、記録部１４に記録済みの画像データの中から類似する画像、例えば主要被写体が類似している画像を検索し抽出する類似画像検索手段として機能する回路部である。
【００２６】
表示制御部１１ｃは、表示部１８を制御して画像表示に関する制御、例えば表示画面に通常の表示用画像を表示させたり、表示画面内に上記類似画像検索部１１ｂにより検索された複数の画像を並べて表示させる制御等のほか、操作部１５，選択操作部１６等からの指示信号に従って表示画面にメニュー表示やコマンド表示等の表示制御を行う回路部である。なお、表示部１８としては、例えば液晶表示装置等が適用される。
【００２７】
撮像部１２は、光学レンズ等の光学部材や光電変換素子等を含む撮像手段等を備え、光学レンズによって形成される光学像を光電変換素子を用いて光電変換処理を行って、画像信号を生成する構成部である。
【００２８】
なお、撮像部１２は、通常一般のカメラが有する構成の他に、例えば図２に示すような形態とすることで立体画像、いわゆる３Ｄ画像（以下、単に３Ｄ画像という）を取得し得る構成としてもよい。
図２は、本実施形態のカメラ１において、３Ｄ撮影に対応するための撮像部の概略的な構成を示す構成図である。
【００２９】
３Ｄ撮影を行うには、撮影対象について視差を有する一対の画像を取得し、この一対の画像を関連付けて記録しておく必要がある。そこで、３Ｄ撮影対応の撮像部１２の構成は、図２に示すように、一対の光学レンズ１２Ｌａ，１２Ｒａと、一対の撮像素子１２Ｌｂ，１２Ｒｂを有している。一対の光学レンズ１２Ｌａ，１２Ｒａは、所定の距離（図２の符号Ｂで示す距離；通常ヒトの両眼の間隔６０−７０ｍｍ程度）の間隔を置いた状態で、互いの光軸が略平行となるように並べて配設される。各光学レンズ１２Ｌａ，１２Ｒａの後方（結像側）のそれぞれには、撮像素子１２Ｌｂ，１２Ｒｂが配置されている。これらの撮像素子１２Ｌｂ，１２Ｒｂの各受光面は、上記一対の光学レンズ１２Ｌａ，１２Ｒａの光軸に対してそれぞれが直交するように、かつ上記一対の光学レンズ１２Ｌａ，１２Ｒａの各光軸が各撮像素子１２Ｌｂ，１２Ｒｂの略中央部に位置するように配置されている。各撮像素子１２Ｌｂ，１２Ｒｂによって生成される画像信号は、制御部１１へと出力され、画像処理部１１ａにより信号処理され、表示制御部１１ｃによる制御により表示部１８の表示画面上に画像が表示されるようになっている。この場合における表示制御部１１ｃは、３Ｄ画像表示用の表示制御を行う。
【００３０】
このような構成の撮像部１２において、例えば図２に示す状況での撮影を行う場合を考える。図２に示す状況において、撮影対象として、被写体１００ａ，１００ｂがあるものとする。被写体１００ａは一対の光学レンズ１２Ｌａ，１２Ｒａから距離Ｌ１の間隔を置いた位置に、被写体１００ｂは一対の光学レンズ１２Ｌａ，１２Ｒａから距離Ｌ２の間隔を置いた位置にあるものとする。
【００３１】
この場合、左眼用の光学レンズ１２Ｌａを介して左眼用撮像素子１２Ｌｂの受光面に結像される左眼用画像と、右眼用の光学レンズ１２Ｒａとを介して右眼用撮像素子１２Ｒｂの受光面に結像される右眼用画像と、の視差を有する一対の画像信号を得ることができる。
【００３２】
状況判定部１３は、当該カメラ１の置かれている状況を判定するための各種の判定部、例えばＧＰＳ（Ｇlobal Ｐositioning Ｓystem）等を用いた位置判定部１３ａ及び方位判定部１３ｄ、撮影時の年月日時間等の日時情報を取得する時計部１３ｂ、水中判定部１３ｃや、ジャイロセンサー，加速度センサ等を用いた傾き判定部１３ｅ等を有して構成される。水中判定部１３ｃによる水中判定手段は、例えば外圧を検出する手段であったり、光の屈折率の変化を検出する手段等、従来一般に利用されている技術を用いる。
【００３３】
なお、時計部１３ｂについては、図１に示す構成例に限られることはなく、例えば制御部１１内に設けられる制御部を構成するＣＰＵ等の内部クロックを利用する構成としてもよく、また、それとは別の構成例として、カメラ１内における別個独立した時計回路を設けるようにしてもよい。
【００３４】
なお、上記状況判定部１３によって判定された各種の撮影状況情報は、撮影動作によって取得された画像データが記録される際には、該画像データの付随情報として記録される。
【００３５】
記録部１４は、画像データ等を記録する記録媒体と、これを駆動する回路部等からなる記録手段として構成される部位である。記録媒体としては、例えば半導体メモリ，磁気記録ディスク等、一般的な記録媒体が適用される。なお、記録部１４に含まれる記録媒体は、カメラ１の内部に固定配置した形態のものや、カメラ１に対して着脱自在に構成される形態のもの（いわゆるカード形態の記録媒体等）等が適用される。
【００３６】
なお、図示を省略しているが、本カメラ１は、記録部１４とは別に、一時記憶領域としてのバッファメモリを有する。このバッファメモリは、カメラ１内において取り扱う各種の電気信号若しくは画像データ等を一時的に記録し得ると共に、各種の信号処理，データ処理等を行う際の作業領域として利用され、例えば半導体メモリ等によって構成される。このバッファメモリは、例えばカメラ１の内部で独立した構成部として設けられる形態のほか、制御部１１内に内部メモリとして配設する形態としてもよい。
【００３７】
操作部１５は、使用者の操作指示を制御部１１に伝達するために設けられる複数の操作部材及び操作スイッチ等と、これらの操作部材，操作スイッチ等が操作されたときに各対応する指示信号を発生させる回路部等からなる、当該カメラ１のユーザーインターフェースを構成する構成部である。カメラ１の操作部材としては、例えばシャッタレリーズボタン（スイッチ），電源オンオフボタン（スイッチ），動作モード切り換えボタン（スイッチ）等、従来のカメラが有する各種の操作部材が含まれる。
【００３８】
選択操作部１６は、使用者による選択指示を行うために設けられる構成部である。選択操作部１６としては、例えば表示部１８の表示画面上に設けられるタッチパネル等が適用される。選択操作部１６は、制御部１１により制御される表示部１８の表示に連動して、所定の選択操作等を行い得るように、制御部１１によって上記表示部１８等と共に制御される。
【００３９】
その他の構成部については、従来一般に実用化されている撮影装置であって画像表示装置を備えた形態の撮影装置（カメラ）と略同様の構成を有するものとする。したがって、その他の構成部についての詳細説明は省略する。
【００４０】
このように構成された本実施形態のカメラ１を用いて画像を記録する際の作用を、図３〜図７を用いて以下に説明する。
図３は、本実施形態のカメラ１の制御処理のメインシーケンスを概略的に示すフローチャートである。なお、本フローチャートでは、本発明に関連する主要制御を主に示しており、従来の通常のカメラによる制御処理については、図示を省略している。
【００４１】
カメラ１が動作可能な電源オン状態にされたとき、図３のステップＳ１において、制御部１１は、カメラ１の動作モードが撮影モードに設定されているか否かの確認を行う。ここで、撮影モードに設定されている場合には、次のステップＳ２の処理に進む。また、撮影モードに設定されていない場合、即ち撮影モード以外の動作モード、例えば再生モードに設定されている場合には、ステップＳ１１の処理に進む。なお、カメラ１の動作モードには、撮影モードと再生モードのほかに、例えば設定モード等が存在するが、本実施形態においては、撮影モードと再生モード以外の動作モードの処理シーケンスは、本発明に直接関連しないので、その図示を省略している。したがって、該ステップＳ１の処理にて撮影モードに設定されていないと判断された場合には、再生モードに設定されているものとし、図３のステップＳ１１以降の処理シーケンスは再生モードでの動作を示す。
【００４２】
ステップＳ２において、制御部１１は、撮像部１２，表示部１８を制御して、取得した画像信号に基づく画像を表示部１８の表示画面に順次表示させるライブビュー画像を表示する処理を行う。このライブビュー画像表示処理は、従来のカメラで行われる通常の処理である。その後、ステップＳ３の処理に進む。
【００４３】
ステップＳ３において、制御部１１は、状況判定部１３の各構成部を用いて、現時点における状況、即ち撮影状況を判定する撮影状況判定処理の実行を開始する。カメラ１の置かれている撮影状況に関する情報としては、例えば、日時情報，位置情報（緯度経度等），方位情報（カメラ１のレンズが向いている方位等），カメラ１の姿勢情報（レンズ光軸の傾き，カメラ１の姿勢等），カメラ１の周囲環境（水中であるか否か等）等の情報がある。これらの撮影状況に関する情報は、実際の撮影動作が行われて得られる画像データに付随する情報として、該画像データと共に、同一データファイルとして若しくは関連付けられた別データファイルとして、記録部１４に記録される情報である。この撮影状況判定処理は、所定時間間隔で間欠的に継続して行われ、カメラ１が撮影モード以外の動作モードに切り換えられた場合、若しくはカメラ１が電源オフ状態にされたとき、それらの指示信号を受けた制御部１１により終了する。
【００４４】
続いて、ステップＳ４において、制御部１１は、類似画像検索部１１ｂによって類似画像検索処理を実行する。この類似画像検索処理は、上述のステップＳ３の処理にて得られる撮影状況情報と、撮像部１２により得られ画像処理部１１ａにより取得される画像信号等に基いて、記録部１４に既に記録されている画像データの中から、類似の撮影対象でかつ同じ場所で撮影された類似画像があるか否かの検索を行う処理である。例えば、画像内の特定部（例えば画面中央領域にあるものや、画面内で同色部分の面積が大きいもの，コントラストが高いものなど）の特徴点抽出やパターンマッチング，さらには色の判定等による。また、画像情報に基く検索のほか、使用者がタッチパネル等によって指示した部位を対象としてもよい。さらに、画像の構図や縦横比情報等は、撮影時の状況によって様々である。そのために、類似画像であっても、横長構図で撮影されたものと、縦長構図で撮影されたものでは、正しく類似画像検出ができない可能性もある。したがって、上記類似画像検索処理の際には、被写体の上下方向の情報を参照することで、画面構成を考慮したパターンマッチング等を行うようにする。ここで、類似画像が検索された場合には、次のステップＳ５の処理に進む。また、類似画像が検索されなかった場合には、ステップＳ６の処理に進む。
【００４５】
通常の場合、カメラ１の使用者は、興味のある対象物を撮影対象として、特に定点撮影等の手法を意識することなく、無意識に撮影を行っているのが普通である。そのように、使用者が自身の興味に従って撮影を行うことにより大量の撮影画像データが記録媒体に撮り溜められることになる。このような記録媒体中の大量の撮影画像データの中には、同一の撮影対象について、ある程度の時間を置いた後に、再度撮影された画像が複数含まれる場合がある。
【００４６】
例えば、図８に示すように、植物の成長経過を撮影する場合、図８（Ａ）に示す「双葉」の状態から図８（Ｂ）に示す「蕾」の状態に成長するまでの時間や、図８（Ｂ）の「蕾」状態から図８（Ｃ）に示す「開花」の状態に成長するまでの時間は、比較的長い時間が経過しているものと考えられる。したがって、図８（Ａ）の撮影を行なった後、図８（Ｂ）の撮影を行うまでの間には、他の対象物に関する複数の撮影が行われているはずである。また、図８（Ｂ）の撮影から図８（Ｃ）の撮影の間も同様に他の撮影が行われているものと考えられる。そして、使用者は、定点撮影手法を意識することなく撮影を行っているものとすると、図８（Ａ）の状態では、対象物（植物）１０２が小さいことから、カメラ１を横位置で構える等により、鉢１０１に比べて小さな植物を含めて鉢１０１の全体が画面内に一杯に収まるような構図で撮影を行う。一方、図８（Ｂ），図８（Ｃ）の状態では、対象物（植物）１０２が上方に向けて延伸して成長しているので、カメラ１を縦位置に構えて、植物を主体的に撮影を行なうのが自然である。そして、場合によっては、植物が主体となって、鉢１０１が部分的にしか画面内に入らないような構図になることも考えられる。
【００４７】
また、図８（Ａ）から図８（Ｂ）の間や、図８（Ｂ）から図８（Ｃ）の間において、対象物（植物）１０２が成長していることを考えると、対象物１０２の全体像を画面内に収めるためには、カメラ１と対象物１０２との間隔Ｌが徐々に広くなるものと考えられる。その結果、図８（Ａ）時点から図８（Ｂ）を経て図８（Ｃ）の時点に至るまでの経時によって成長変化する対象物１０２に対し、実際の大きさに変化が生じていない鉢１０１の画面内における像の大きさが、徐々に小さくなるように撮影されることになる。
【００４８】
図９は、図８の状況で撮影された場合の撮影結果としての画像をの例を示す図である。即ち、図９（Ａ）は、図８（Ａ）に示す状況で撮影された画像の一例を示している。図９（Ｂ）は、図８（Ｂ）に示す状況で撮影された画像の一例を示している。図９（Ｃ）は、図８（Ｃ）に示す状況で撮影された画像の一例を示している。
【００４９】
図９に示す各画像例１８ａ，１８ｂ，１８ｃを見ても判るように、図９（Ａ）の画像１８ａから図９（Ｂ）の画像１８ｂを経て図９（Ｃ）の画像１８ｃとなるに従って、対象物（植物）１０２が成長するのに反して、画像中に占める鉢１０１の大きさが小さくなっている。
そこで、図９（Ａ），図９（Ｂ），図９（Ｃ）の各画像１８ａ，１８ｂ，１８ｃにおける鉢１０１の大きさが略等しくなるように、各画像１８ａ，１８ｂ，１８ｃの拡大若しくは縮小処理を行って、該各画像１８ａ，１８ｂ，１８ｃを重ねて示すと、図１０に示すようになる。
【００５０】
図１０において示す符号（ａ），（ｂ），（ｃ）は、図９（Ａ），図９（Ｂ），図９（Ｃ）の各画像１８ａ，１８ｂ，１８ｃをそれぞれ適宜拡大又は縮小処理した後のそれぞれの画像に相当する。
【００５１】
つまり、定点撮影手法を意識して撮影を行なった場合（即ち予め成長等を考慮して変化しない部分の像の大きさが画面上で同じ大きさになるように、かつ同様の構図で撮影した場合）には、そうして撮影された画像を重ねて表示させると、図１０に示すように画像内における対象物１０２の成長変化を画像によって明確に観察することができる。
【００５２】
しかしながら、通常の使用者は、上述したような理由により、図９に示すような一貫性の無い画像データをただ撮り溜めているよう結果となっている。
【００５３】
このように、通常の使用者が通常の撮影に用いているカメラ１によって長期間に渡って撮り溜めた複数の画像データの中から、例えば同一被写体の変化の過程をそれとは意識せずに記録した類似画像を検索し、その検索の結果、抽出された複数画像を単に並べて表示したとしても、撮影時に定点撮影手法や成長記録であることを意識しながら行われた撮影とは異なり、対象物の変化のようすや成長経過等を明確に表示させることはできない。
【００５４】
そこで、本発明においては、まず撮影時において、記録済みの画像データの中から類似画像を検索し、例えば図９に示すような複数の類似画像が検索された場合には、それらの類似画像に合わせた類似の撮影を行い得るようにするためのガイド表示（参考表示）を行うようにしている（図１１参照）。
【００５５】
即ち、図３においてステップＳ４の処理にて類似画像が検索されて、次のステップＳ５の処理に進むと、このステップＳ５において、制御部１１は、表示制御部１１ｃを介して表示部１８を制御して、表示部１８の表示画面、即ち表示中のライブビュー画像に重畳させて、撮影手法をガイドするための参考表示を表示させる参考表示処理を実行する。この参考表示処理の表示例を図１１に示す。
【００５６】
図１１は、カメラ１を対象物１０２に向けた状態を示しており、さらに、そのときに表示部１８に表示される画面を拡大して示す表示例である。
【００５７】
図１１に示す画面表示１８ｄにおいて、その画面全体にはライブビュー画像が表示されていると共に、同画面内の所定の領域には参考表示のための複数の情報が重畳表示されている。参考表示のための情報として、例えば
記録済み画像データの検索結果情報を表示する領域Ａ（図１１の表示例では「類似画像有」といった文字情報等を表示させている）
検索結果が「有」の場合に、その検索結果画像のうちの直近の画像に関する情報を表示する領域Ｂ（図１１の表示例では「方位」に関する情報を方位磁石を模したイラスト情報等を表示させている）
検索結果が「有」の場合に、その検索結果画像のうちの直近の画像に関する別の情報を表示する領域Ｃ（図１１の表示例では、直近画像の縮小画像（サムネイル画像）を表示させている）
等がある。なお、図１１に示す表示例は、参考表示の単なる一例である。参考表示の形態は、この表示例とは異なるさまざまな形態が考えられる。
【００５８】
図３に戻って、上述の図１１に示すような参考表示がなされた後、ステップＳ６において、制御部１１は、操作部１５等からの指示信号を監視して撮影操作指示の有無を確認する。ここで、撮影操作指示が確認された場合には、次のステップＳ７の処理に進む。また、撮影操作指示が確認されない場合には、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
【００５９】
ステップＳ７において、制御部１１は、撮像部１２等を制御して実際の撮影動作処理を実行する。ここで、行われる撮影動作処理は、従来のカメラで行われる通常の処理である。その後、ステップＳ８の処理に進む。
【００６０】
ステップＳ８において、制御部１１は、上述のステップＳ７の撮影動作処理にて取得した撮影画像データと、現在の状況データとを記録部１４の記録媒体等に記録する処理を実行する。ここで、状況データとは、例えば状況判定部１３によって取得される各種の情報のデータである。これらの状況データは、撮影画像データのメタデータとして記録するようにしてもよいし、撮影画像データに関連付けた別個のデータファイルとして記録するようにしてもよい。その後、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
【００６１】
次に、上述のステップＳ１の処理にて、カメラ１の動作モードが再生モードに設定されていると判断されて、ステップＳ１１の処理に進むと、このステップＳ１１以降の処理にて、カメラ１の再生モード時の動作を実行する。なお、このステップＳ１１以降の処理シーケンスは、撮影装置としてのカメラ１の再生モード時の動作を示すと同時に、画像再生のみに特化した画像表示装置における動作に相当する。
【００６２】
本実施形態のカメラ１が再生モードで動作するとき、まず、制御部１１は、表示制御部１１ｃを介して表示部１８を制御して、表示部１８の表示画面上に画像の表示形態の選択メニュー画面を表示させる。画像の表示形態としては、表示部１８の表示画面上に撮影記録済みの画像を表示させる通常の表示形態（一画像表示，サムネイル表示等を含む）のほかに、各種様々なものが考えられるが、本実施形態においては、特に撮影記録済み画像データの中から類似画像を検索し、その検索結果により取り出された複数画像を所定の形態（後述するように複数画像を重畳表示したり並べて表示する等の各種の形態）で表示する「成長経過表示」等がある。
【００６３】
そして、本カメラ１において再生モードの起動時における表示形態選択メニュー画面が表示されたときには、使用者は、表示画面上の所定の領域（メニュー項目表示領域）をタッチ操作する等により、所望の表示形態を選択できるようになっている。
【００６４】
カメラ１が再生モードで動作しているとき、図３のステップＳ１１において、制御部１１は、選択操作部１６等からの指示信号を監視して成長経過表示処理の実行指示の有無を確認する。ここで、成長経過表示処理の実行指示が確認された場合には、次のステップＳ１３の処理に進む。また、成長経過表示処理の実行指示が確認されなかった場合には、ステップＳ１２の処理に進む。
【００６５】
ステップＳ１２において、制御部１１は、通常表示処理を実行する。この通常表示処理は、従来のカメラで行われる通常の処理である（処理の詳細説明は省略する）。その後、ステップＳ１８の処理に進む。
【００６６】
ステップＳ１８において、制御部１１は、操作部１５等からの指示信号を監視して動作モード切り換えボタン等によって動作モードが切り換えられたか否か、つまり再生モードの終了指示がなされたか否かの確認を行う。ここで、再生モード終了指示が確認された場合には、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。また、再生モード終了指示が確認されない場合には、上述のステップＳ１１の処理に戻り、以降の処理を繰り返す。
【００６７】
一方、上述のステップＳ１１の処理にて、成長経過表示処理の実行指示が確認されてステップＳ１３の処理に進むと、このステップＳ１３において、制御部１１は、成長経過表示処理を実行する。この成長経過表示処理の詳細は、図４のフローチャートに示す通りである。
【００６８】
使用者の所望によって該使用者が所定の操作指示を行うことで、カメラ１の制御部１１が成長経過表示処理の処理シーケンスに入る。このとき、カメラ１の表示部１８の表示画面上には、例えば通常再生処理時と同様に、記録済み画像データのうち最新の画像データに対応する画像が再生表示されているものとする。そして、表示画面上には、該最新画像に重畳させて、例えば成長経過表示処理の実行中である旨を示すマークや、基準画像の選択を促す指示表示等が表示される。この状態において、使用者は、まず、成長経過の表示を行うための基準となる画像（以下、基準画像という）を設定するための操作を行う。この選択操作は、例えば次のような操作になる。
【００６９】
まず、画像を再生表示するための通常の操作を行なって、表示部１８の表示画面上に、基準画像とすべき所望の画像を表示させる。その状態で、上記基準画像選択指示表示をタッチ操作する。このとき、制御部１１は、操作部１５，選択操作部１６等からの指示信号を監視している。
【００７０】
上述のように使用者が基準画像選択指示操作を行うと、図４のステップＳ２１において、制御部１１は、基準画像選択指示信号を受けて、現在表示中の画像を基準画像として設定するための基準画像選択処理を実行する。その後、ステップＳ２２の処理に進む。
【００７１】
ステップＳ２２において、制御部１１は、類似画像検索部１１ｂによって、記録済み画像データの中から、上述のステップＳ２１の処理にて選択された基準画像と同一の状況情報（撮影位置情報，方位情報等）を有する類似画像を検索する類似画像検索処理を実行する。その後、ステップＳ２３の処理に進む。
【００７２】
ステップＳ２３において、制御部１１は、上述のステップＳ２２の処理にて類似画像が存在するか否かの確認を行う。即ち、上述のステップＳ２２の検索処理の結果、類似画像が検索されなかった場合には、当該成長経過表示処理のシーケンスを脱して、図３のステップＳ１８の処理に進む。また、類似画像が検索された場合には、ステップＳ２４の処理に進む。なお、類似画像検索処理の結果は、表示部１８の表示画面上に何らかの形態で表示される。その表示形態としては、例えば文字などによる告知表示であったり、絵文字等を表示させたり点滅させる等、各種の告知形態が考えられる。そして、検索結果表示を行った状態でカメラ１は使用者による指示を待機する状態になる。使用者は、上記検索結果の告知表示を見て次の操作を行う。
【００７３】
例えば、類似画像検索処理の結果、類似画像がない場合には、その旨の告知表示と共に、再生モードを終了するかどうかの指示を促す表示がなされる。使用者は、画面表示に従って操作を行う。
【００７４】
一方、類似画像検索処理の結果、類似画像が存在する場合には、その旨の告知表示と共に、基準部選択指示操作を促す旨の表示がなされる。使用者は、画面表示に従って操作を行う。この基準部選択指示操作とは、基準画像とその類似画像とに共通して存在している領域であって、基準となる画像領域（以下、基準部という）を使用者が任意に選択する操作である。具体的な操作としては、例えば表示部１８の表示画面に表示されている基準画像又はその類似画像に対し、基準部に相当する領域を、使用者がタッチ操作することにより選択し指定する。このとき、制御部１１は、領域指定手段として機能する操作部１５，選択操作部１６等からの指示信号を監視している。
【００７５】
上述のように使用者が基準部選択指示操作を行うと、図４のステップＳ２４において、制御部１１は、選択操作指示信号を受けて基準部の選択処理を行う。その後、ステップＳ２５の処理に進む。
【００７６】
ステップＳ２５において、制御部１１は、表示部１８の表示画面上に現在表示中の画像を記録部１４の記録媒体中における特定の領域、例えば特定フォルダ等に関連付けて保存記録する処理を実行する。なお、本実施形態においては、上記特定の領域として、図４に示すように「成長画像集」領域と呼称する。その後、ステップＳ２６の処理に進む。
【００７７】
ステップＳ２６において、制御部１１は、表示制御部１１ｃによって、上述の類似画像検索結果による画像のうち最新の画像を表示部１８の表示画面上に表示させる。その後、ステップＳ２７の処理に進む。
【００７８】
ステップＳ２７において、制御部１１は、基準部検索処理を実行する。この基準部検索処理の詳細は、図５に示す通りである。
【００７９】
まず、図５のステップＳ３１において、制御部１１は、画像処理部１１ａ等によって図４のステップＳ２４において選択指定した基準部が次の類似画像内に存在するか否かの確認を行う。ここで、次の類似画像にも基準部が存在することが確認された場合には、次のステップＳ３３の処理に進む。また、次の類似画像に基準部が存在しないと判断された場合には、ステップＳ３２の処理に進む。
【００８０】
ステップＳ３２において、制御部１１は、画像処理部１１ａ等によって、次の類似画像に類似点があるか否かの確認を行う。ここで、類似点がないと判断された場合には、図４の処理シーケンスに戻り（リターン）、図４のステップＳ２８の処理に進む。また、類似点があることが確認された場合には、ステップＳ３３の処理に進む。
【００８１】
ステップＳ３３において、制御部１１は、画像処理部１１ａ等によって、基準画像と次の類似画像とを合成する画像合成処理を行う。その後ステップＳ３４の処理に進む。
【００８２】
ステップＳ３４において、制御部１１は、上述のステップＳ３３の処理にて生成した合成画像を「成長画像集」に追加保存する。その後、図４の処理シーケンスに戻り（リターン）、図４のステップＳ２８の処理に進む。
【００８３】
図４に戻って、ステップＳ２８において、制御部１１は、上述のステップＳ２２の類似画像検索結果による画像のうち未だ基準部検索を行っていない次の類似画像があるか否かを確認する。ここで、類似画像があることが確認された場合には、上述のステップＳ２６の処理に戻り、以降の処理を繰り返す。また、類似画像がない場合には、次のステップＳ２９の処理に進む。
【００８４】
ステップＳ２９において、制御部１１は、上述のステップＳ２２の類似画像検索結果による画像のうち最新画像の基準部の大きさに合わせて、他の類似画像についての拡大処理又は縮小処理を画像処理部１１ａによって実行する。この拡大処理又は縮小処理の画像処理結果としては、例えば図１２に示すようになる。
【００８５】
ここで、図１２（Ｃ）に示す画像１８ｃを最新画像であって基準画像とし、その画像中において鉢１０１を基準部とした場合において、図１２（Ａ），図１２（Ｂ）に示す類似画像が存在しているものとする。そして、図１２（Ａ），図１２（Ｂ），図１２（Ｃ）の順に時間が経過しているものとする（つまり、その順に被写体である植物が成長している）。
【００８６】
図１２（Ａ）のときの実際の画像は、符号１８ａで示す枠内を全画像領域としている。つまり、この場合、鉢１０１ａの大きさは画面のほぼ一杯の領域を占める程大きなものである。この画像１８ａを縮小処理して、鉢１０１ａの大きさが図１２（Ｃ）の場合の鉢１０１ｃとほぼ同じ大きさとなるように処理する（図１２において符号Ｈで示す寸法を合わせる）と、図１２（Ａ）に示すような画像となる。このとき、図１２（Ａ）で符号１８Ａｃで示す枠は、図１２（Ｃ）の画像１８ｃと同じ大きさの枠であり、表示画面の大きさとなる。図１２（Ｂ）の場合も同様である。
【００８７】
このように、類似画像１８ａ，１８ｂの画像サイズを基準画像１８ｃに合わせて、基準部の大きさがほぼ同じ大きさとなるように縮小処理することにより、成長経過の比較が判りやすくなる。
【００８８】
上述のステップＳ２９の処理における画像処理結果は、「成長画像集」に追加保存される。その後、図３の処理シーケンスに戻り（リターン）、図３のステップＳ１４の処理に進む。
【００８９】
図３に戻って、ステップＳ１４において、制御部１１は、操作部１５，選択操作部１６等からの指示信号を監視して、成長経過表示処理を終了する旨の指示信号の有無を確認する。ここで、成長経過表示処理終了指示信号が確認された場合には、ステップＳ１８の処理に進む。また、成長経過表示処理終了指示信号が確認されない場合には、次のステップＳ１５の処理に進む。
【００９０】
ステップＳ１５において、制御部１１は、表示制御部１１ｃによって並列表示処理（図６のサブルーチン）を実行する。この並列表示処理の詳細は、図６に示す通りである。
【００９１】
図６のステップＳ４１において、制御部１１は、上述の図４，図５の処理によって表示部１８に表示中の合成画像についての重なり部分位置の判定処理の実行を開始する。
【００９２】
まず、ステップＳ４２において、制御部１１は、画像処理部１１ａ等によって、重なり部分位置が合成画像内における下部寄りにあるか否かの確認を行う。ここで、重なり部分位置が合成画像内において下部寄りにあることが確認された場合には、ステップＳ４３の処理に進む。
【００９３】
ステップＳ４３において、制御部１１は、画像処理部１１ａ、表示制御部１１ｃによって表示部１８を制御して、上記複数の類似画像であって、上述の図４，図５にて「成長画像集」に保存記録された複数の類似画像を表示部１８の画面上において例えば時系列順に画面左から右に向けた横方向に並べて表示させる。その後、ステップＳ４４の処理に進む。
【００９４】
ステップＳ４４において、制御部１１は、「成長画像集」の各画像が３Ｄ画像であるか否かの確認を行う。この確認は、例えば画像データに付随するメタデータ等を参照すればよい。ここで、３Ｄ画像であることが確認された場合には、ステップＳ４５の処理に進む。また、３Ｄ画像ではないと判断された場合には、ステップＳ４６の処理に進む。
【００９５】
３Ｄ画像であると判断されて、ステップＳ４５の処理に進むと、このステップＳ４５において、制御部１１は、画像処理部１１ａ等によって各画像の重なり部分の視差を合わせる画像処理を実行する。その後、ステップＳ４６の処理に進む。
【００９６】
ステップＳ４６において、制御部１１は、重なり部分が画面の下部領域にてほぼ同じ位置に表示されるように、かつ位置を揃えて、かつ同一画面上で時系列順に並べて表示する並列表示を行う。この場合において、例えば撮影日時情報に基いて、撮影日時の古い順に画面左から右に向けて横に並べて表示する。その後、図３の処理シーケンスに戻り（リターン）、図３のステップＳ１６の処理に進む。
【００９７】
なお、このときの並列表示処理の結果の表示部１８の表示例を、図１３（Ａ）に示す。図１３（Ａ）において、表示部１８の表示画面には、前述の画像１８ａ，１８ｂ，１８ｃの複数の類似画像を、時系列順に画面左から右にむけて並べて表示している。そして、各画像の近傍には、各対応する撮影日時情報を表示している。
【００９８】
一方、上述のステップＳ４２の処理にて、重なり部分位置が合成画像内において下部寄りではないと判断された場合には、ステップＳ５１の処理に進む。
【００９９】
ステップＳ５１において、制御部１１は、画像処理部１１ａ等によって重なり部分位置が合成画像内における右部寄り又は左部寄りにあるか否かの確認を行う。ここで、重なり部分位置が合成画像内において右部寄り又は左部寄りにあることが確認された場合には、ステップＳ５２の処理に進む。また、重なり部分位置が合成画像内において右部寄り又は左部寄りではないと判断された場合には、ステップＳ５６の処理に進む。
【０１００】
ステップＳ５６において、制御部１１は、表示制御部１１ｃによって並列表示処理ができない旨の警告表示を表示部１８に表示する警告処理を実行する。その後、図３の処理シーケンスに戻り（リターン）、図３のステップＳ１６の処理に進む。
【０１０１】
また、ステップＳ５２において、制御部１１は、画像処理部１１ａ、表示制御部１１ｃによって表示部１８を制御して、上記複数の類似画像であって、上述の図４，図５にて「成長画像集」に保存記録された複数の類似画像を表示部１８の画面上において例えば時系列順に画面上から下に向けた縦方向に並べて表示させる。その後、ステップＳ５３の処理に進む。
【０１０２】
ステップＳ５３において、制御部１１は、「成長画像集」の各画像が３Ｄ画像であるか否かの確認を行う。この確認は、上述のステップＳ４４の処理と同じである。ここで、３Ｄ画像であることが確認された場合には、ステップＳ５４の処理に進む。また、３Ｄ画像ではないと判断された場合には、ステップＳ５５の処理に進む。
【０１０３】
３Ｄ画像であると判断されて、ステップＳ５４の処理に進むと、このステップＳ５４において、制御部１１は、画像処理部１１ａ等によって各画像の重なり部分の視差を合わせる画像処理を実行する（上記ステップＳ４５の処理と同じ）。その後、ステップＳ５５の処理に進む。
【０１０４】
ステップＳ５５において、制御部１１は、重なり部分が画面の右側領域若しくは左側領域にてほぼ同じ位置に表示されるように、かつ位置を揃えて、かつ同一画面上で時系列順に並べて表示する並列表示を行う。この場合において、例えば撮影日時情報に基いて、撮影日時の古い順に画面上から下に向けて縦に並べて表示する。その後、図３の処理シーケンスに戻り（リターン）、図３のステップＳ１６の処理に進む。
【０１０５】
なお、このときの並列表示処理の結果の表示部１８の表示例は、図１３（Ｂ）に示す通りである。図１３（Ｂ）の表示例でも、図１３（Ａ）の表示例と略同様である。即ち、図１３（Ｂ）において、表示部１８の表示画面には、前述の画像１８ａ，１８ｂ，１８ｃの複数の類似画像を、時系列順に画面上から下にむけて並べて表示している。そして、各画像の近傍には、各対応する撮影日時情報を表示している。
【０１０６】
また、図１３で例示する状況は、植物の成長は、画面上に対して観察者の側に向けて伸びてくる。このような場合、例えば３Ｄ画像で撮影しておくと、効果的な表示とすることができる。
【０１０７】
図３に戻って、ステップＳ１６において、制御部１１は、操作部１５，選択操作部１６等からの指示信号を監視して、アニメーション表示処理を実行開始する旨の指示信号の有無を確認する。ここで、アニメーション表示処理開始指示信号が確認された場合には、次のステップＳ１７の処理に進む。また、アニメーション表示処理開始指示信号が確認されない場合には、上述のステップＳ１４の処理に戻り、以降の処理を繰り返す。
【０１０８】
ステップＳ１７において、制御部１１は、表示制御部１１ｃによってアニメーション表示処理（図７のサブルーチン）を実行する。このアニメーション表示処理の詳細は、図７に示す通りである。
【０１０９】
図７のステップＳ６１において、制御部１１は、上述の図４，図５の処理によって生成された複数の合成画像（記録媒体の「成長画像集」領域に記録された複数の画像）のうちの一番古い画像（図１２（Ａ）の画像）を表示部１８に表示させる。その後、ステップＳ６２の処理に進む。
【０１１０】
続いて、ステップＳ６２において、制御部１１は、時計部１３ｂを参照し所定の時間が経過したか否かの確認を行う。この所定時間は、表示部１８への画像の表示時間である。この所定時間としては、例えば表示すべき画像数が大量にある場合には短い間隔（例えば数分の一秒等、一秒以下の時間間隔）で次々に画像を表示させると、動画像のような表示が可能である。また、画像数が少ない場合には表示間隔を長めにとれば（例えば１〜２秒間隔）、いわゆるスライドショーのような表示になる。
このステップＳ６２の処理にて、所定時間の経過が確認されると、次のステップＳ６３の処理に進む。
【０１１１】
ステップＳ６３において、制御部１１は、次に表示する画像があるか否かの確認を行う。ここで、次画像があることが確認された場合には、次のステップＳ６４の処理に進む。また、次画像がないと判断された場合には、ステップＳ６５の処理に進む。
【０１１２】
ステップＳ６４において、制御部１１は、表示制御部１１ｃ等によって、既に表示済みの画像と次画像との共通部分（特に基準部）の大きさや位置を合わせて、次画像の表示を実行する。その後、ステップＳ６２の処理に戻り、以降同じ処理を繰り返す。
【０１１３】
一方、上述のステップＳ６３の処理にて、次に表示する画像がないと判断されてステップＳ６５の処理に進むと、このステップＳ６５において、制御部１１は、アニメーション表示処理の終了処理を実行する。その後、図３の処理シーケンスに戻る（リターン）。即ち、図３のステップＳ１４の処理に戻って、以降同じ処理を繰り返す。
【０１１４】
ところで、同一の撮影対象物の変化の過程を、例えば定点撮影的な手法を意識せずに撮影する場合、撮影時点の対象物の状態に応じて、撮影者の興味を引く部位が変化することがある。
【０１１５】
例えば、植物の成長の経過を記録する場合において、種子を植えた後、発芽した時点に撮影した画像として、図１４（Ａ）に示すように、小さな対象物（発芽したばかりの植物）と鉢全体を写し込んだ画像１８ａであるものとする。
【０１１６】
その後、植物が成長して、前回の発芽状態の植物に対して植物自体が大きく成長したものとする。このような場合、図１４（Ｂ）に示すように植物の大きさが鉢の大きさに対して比較的大きいと、撮影対象物としての興味の対象は植物にあることから、この時点での撮影画像では、その画面内に鉢全体が写し込まれずに、鉢の一部のみが写し込まれた画像１８ｂのようになることがある。
【０１１７】
さらに、植物が成長して開花時期を迎えると、撮影の興味の対象は植物のうちの特に花の部分になる。この場合には、図１４（Ｃ）に示すように、撮影画像は花の部分が主要部分を占めることになり、その結果、画面内に鉢が入らない画像１８ｃが取得される場合がある。
【０１１８】
このような場合には、本来関連付けられるべき一連の複数画像であっても、最初に基準部として設定する画像領域が、全ての画像に共通して存在しているものであるとは限らない。
【０１１９】
そこで、類似画像検索処理の際には、ある時点の特定の画像と、その直前の画像とを比較して、その二画像間での共通部分の有無によって、それらの二画像が類似画像であるか否かの判断を行うようにしてもよい。
【０１２０】
例えば、図１４（Ａ），図１４（Ｂ）の二画像間では、符号（ａ）で示す領域、即ち鉢の一部が写り込んだ画像領域を共通部分として扱う。
また、図１４（Ｂ），図１４（Ｃ）の二画像間では、符号（ｂ）で示す領域、即ち植物の一部（葉）が写り込んだ画像領域を共通部分として扱う。
このように時系列上で隣り合う二画像間で共通する部分を順次検索するという処理を行う。その検索の結果の複数の画像について、各共通部分が重なるように表示すると、図１５に示すような全体画像を得ることができる。
【０１２１】
そして、これらの複数の画像を並列表示処理やアニメーション表示処理を行うために、縮小処理又は拡大処理等の画像処理を行う。このとき、図１４（Ａ）に対応する画像１８ａと図１４（Ｂ）に対応する画像１８ｂとでは、大きさに変化のない鉢の一部分の大きさが揃うように各画像の画像処理を行う。これにより、図１６（Ａ），図１６（Ｂ）に示すような画像が得られる。
また、図１４（Ｂ）に対応する画像１８ｂと図１４（Ｃ）に対応する画像１８ｃとでは、共通部分の植物の一部分の大きさがほぼ揃うように各画像の画像処理を行う。なお、この場合には、厳密には植物の一部分（葉）は経時変化によって画像１８ｂの葉部分と、画像１８ｃの葉部分とは植物の成長に伴って大きさ，位置とも完全に合致するとは限らない。この場合の類似の判断は、植物の一部分（葉）の形状によればよい。これにより、図１６（Ｂ），図１６（Ｃ）に示すような画像が得られる。
こうして得られた各画像を並列表示した場合の例示を、図１７に示す。この場合には、古い画像から順に左から右に並べて表示している点は、上述の図１３で示す表示例と同じであるが、時系列で新しい画像になるに従って、前の画像に対して新しい画像の共通部分を重ねた合成画像を順に表示するような形態としている。このような表示形態とすれば、並列して表示する複数の画像全てに共通する部分を表示させることもできるようになる。
【０１２２】
以上説明したように上記一実施形態によれば、使用者が記録媒体に撮り溜めてある複数の画像データの中から特定の対象物を選択すると、その選択された特定対象物や撮影状況情報等を含む類似画像を検索し、その検索の結果、抽出された複数画像データについての所定の画像処理（拡大処理や縮小処理，合成処理等）を適宜行い、その画像処理結果や付随する各種の情報を一連の画像集として保存すると共に、所定の形態（並列表示，アニメーション表示，合成表示等）で表示部１８に表示させることができる。
これにより、使用者が定点撮影的な手法を意識せずに長期間に渡って撮影した一連の類似画像を、定点撮影的な手法で撮影した画像のような形態で、表示させることができるので、画像表示の楽しみを拡げることができる。
【０１２３】
また、本実施形態のカメラ１においては、撮影時に、記録媒体に記録済みの画像データの中から撮影状況等が類似する画像データを検索して、類似画像が検索された場合には、記録済み類似画像に合わせた撮影を行い得るようにするためのガイド表示（参考表示）を表示させることができる。
これにより、使用者は、今回の撮影を行うのに際して、以前に同じ対象物を撮影したときと類似の状況（構図や方向等）で撮影を行なうことができる。したがって、使用者が同じ対象物についての撮影を以前に行ったことを忘れていたとしても、撮影時にガイド表示が表示されるので、容易に前回の撮影状況に合せた撮影を行なうことができる。つまり、使用者が定点撮影を意識していなくても、以前に撮影したことのある同じ対象物の撮影を行おうとすると、ガイド表示によって定点撮影的な手法での撮影を行うことができる。
【０１２４】
さらに、そのようにして撮影された画像データの記録時には、自動的に一連の画像集として保存されるので、それら一連の画像データを再生表示する際には、上述した手法によって所定の形態の表示を行なうことが容易にでき、画像表示を楽しむことができる。
【０１２５】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【産業上の利用可能性】
【０１２６】
本発明は、デジタルカメラ等の撮影機能を有すると共に表示装置を有する電子機器である撮影装置に限られることはなく、画像データを表示する画像表示機能を備えた機器であって、単体としての画像表示装置のほか、表示装置を備えかつ撮影機能を備えた他の形態の電子機器、例えば携帯電話，録音機器，電子手帳，パーソナルコンピュータ，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の画像表示装置及び撮影機能付き電子機器に適用することができる。
【符号の説明】
【０１２７】
１…カメラ，１１…制御部，１１ａ…画像処理部，１１ｂ…類似画像検索部，１１ｃ…表示制御部，１２…撮像部，１３…状況判定部，１４…記録部，１６……選択操作部，１８…表示部
【特許請求の範囲】
【請求項１】
画像を表示する表示手段を備えた画像表示装置において、
記録手段に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段と、
上記領域指定手段によって指定された上記基準部と略同一の画像領域を含む画像を上記記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段と、
上記類似画像検索手段によって検索され抽出された画像と上記基準画像とに共通の画像領域となる上記基準部に基いて画像処理を行い、その結果得られる画像を上記表示手段の表示画面に表示する制御手段と、
を具備することを特徴とする画像表示装置。
【請求項２】
上記領域指定手段は、タッチパネルであり、
上記類似画像検索手段は、上記タッチパネルによって指定された上記基準部の画像に基いて画像検索処理を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記類似画像検索手段は、上記領域指定手段によって指定された上記基準部の画像と、上記基準画像に含まれる付随情報に基いて類似画像の検索を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項４】
上記制御手段は、上記類似画像検索手段によって検索され抽出された複数の画像と上記基準画像とについて、上記基準部の上記表示手段の表示画面画内における位置及び大きさが略一致するように、拡大処理又は縮小処理を行う画像処理部と、
上記画像処理部により得られる複数の処理済み画像を、上記表示手段の表示画面に表示する表示制御部と、を具備することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
上記表示制御部は、上記画像処理部により得られる複数の処理済み画像を、上記表示手段の表示画面の一画面内に時系列順に並べて表示する並列表示処理を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項６】
上記表示制御部は、上記画像処理部により得られる複数の処理済み画像を、上記表示手段の表示画面に時系列順に一定の時間間隔で順次表示するアニメーション表示処理を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項７】
上記画像処理部は、上記基準部の位置及び大きさが略一致するように処理して得られた複数画像について、各画像の上記基準部が一致するように重ね合わせる画像合成処理を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項８】
被写体像を光電変換して画像を取得する撮像手段と、上記撮像手段により取得した画像を記録する記録手段と、画像を表示する表示手段を備えた画像表示装置と、を具備してなる撮影装置において、
上記記録手段に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段と、
上記領域指定手段によって指定された上記基準部と略同一の画像領域を含む画像を上記記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段と、
上記類似画像検索手段によって検索され抽出された画像と上記基準画像とに共通の画像領域となる上記基準部に基いて画像処理を行い、その結果得られる画像を上記表示手段の表示画面に表示する制御手段と、
を具備することを特徴とする撮影装置。
【請求項１】
画像を表示する表示手段を備えた画像表示装置において、
記録手段に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段と、
上記領域指定手段によって指定された上記基準部と略同一の画像領域を含む画像を上記記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段と、
上記類似画像検索手段によって検索され抽出された画像と上記基準画像とに共通の画像領域となる上記基準部に基いて画像処理を行い、その結果得られる画像を上記表示手段の表示画面に表示する制御手段と、
を具備することを特徴とする画像表示装置。
【請求項２】
上記領域指定手段は、タッチパネルであり、
上記類似画像検索手段は、上記タッチパネルによって指定された上記基準部の画像に基いて画像検索処理を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記類似画像検索手段は、上記領域指定手段によって指定された上記基準部の画像と、上記基準画像に含まれる付随情報に基いて類似画像の検索を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項４】
上記制御手段は、上記類似画像検索手段によって検索され抽出された複数の画像と上記基準画像とについて、上記基準部の上記表示手段の表示画面画内における位置及び大きさが略一致するように、拡大処理又は縮小処理を行う画像処理部と、
上記画像処理部により得られる複数の処理済み画像を、上記表示手段の表示画面に表示する表示制御部と、を具備することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
上記表示制御部は、上記画像処理部により得られる複数の処理済み画像を、上記表示手段の表示画面の一画面内に時系列順に並べて表示する並列表示処理を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項６】
上記表示制御部は、上記画像処理部により得られる複数の処理済み画像を、上記表示手段の表示画面に時系列順に一定の時間間隔で順次表示するアニメーション表示処理を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項７】
上記画像処理部は、上記基準部の位置及び大きさが略一致するように処理して得られた複数画像について、各画像の上記基準部が一致するように重ね合わせる画像合成処理を行うことを特徴とする請求項１に記載の画像表示装置。
【請求項８】
被写体像を光電変換して画像を取得する撮像手段と、上記撮像手段により取得した画像を記録する記録手段と、画像を表示する表示手段を備えた画像表示装置と、を具備してなる撮影装置において、
上記記録手段に記録済みの複数画像の中から選択された基準画像のうちの一部の画像領域を基準部として指定する領域指定手段と、
上記領域指定手段によって指定された上記基準部と略同一の画像領域を含む画像を上記記録手段に記録済みの複数画像の中から検索し抽出する類似画像検索手段と、
上記類似画像検索手段によって検索され抽出された画像と上記基準画像とに共通の画像領域となる上記基準部に基いて画像処理を行い、その結果得られる画像を上記表示手段の表示画面に表示する制御手段と、
を具備することを特徴とする撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１５６６４０（Ｐ２０１２−１５６６４０Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１２１０２（Ｐ２０１１−１２１０２）
【出願日】平成２３年１月２４日（２０１１．１．２４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２４日（２０１１．１．２４）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]