画像処理装置、撮影装置および画像処理プログラム
【課題】簡単な構成で立体視画像を得ること。
【解決手段】画像処理装置１は、画像を再生表示する表示手段１５と、続けて撮影された複数コマの画像の各特徴量に基づいて、複数コマの画像を組合わせて１枚の画像を合成する画像合成手段１６と、画像合成手段１６で合成された画像を表示手段１５に再生表示させる表示制御手段１６と、再生表示中の合成画像のうち所定領域を選択するための操作部材２０と、操作部材２０からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を複数コマの画像の中から抽出する画像抽出手段１６と、を備える。
【解決手段】画像処理装置１は、画像を再生表示する表示手段１５と、続けて撮影された複数コマの画像の各特徴量に基づいて、複数コマの画像を組合わせて１枚の画像を合成する画像合成手段１６と、画像合成手段１６で合成された画像を表示手段１５に再生表示させる表示制御手段１６と、再生表示中の合成画像のうち所定領域を選択するための操作部材２０と、操作部材２０からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を複数コマの画像の中から抽出する画像抽出手段１６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮影装置および画像処理プログラムに関する。
【背景技術】
【０００２】
立体視可能なパノラマ画像を生成する技術が知られている（特許文献１参照）。従来技術では、連続する２つのフレーム画像を比較し、基準フレーム画像を２等分する中心線から等距離にある２本の基準線上の各画素におけるオプティカルフローの大きさを算出し、オプティカルフローの大きさに基づいてスリット画像の幅をそれぞれ決定し、基準フレーム画像からスリット画像をそれぞれ切り出し、右目用および左目用のパノラマ画像を生成するためのスリット画像をそれぞれ結合し、右目用および左目用のパノラマ画像をそれぞれ生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１６４３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、スリット画像の切り出しに至る処理、および切り出し後の結合処理に要する処理負担が大きいという問題があった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、画像を再生表示する表示手段と、続けて撮影された複数コマの画像の各特徴量に基づいて、複数コマの画像を組合わせて１枚の画像を合成する画像合成手段と、画像合成手段で合成された画像を表示手段に再生表示させる表示制御手段と、再生表示中の合成画像のうち所定領域を選択するための操作部材と、操作部材からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を複数コマの画像の中から抽出する画像抽出手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、簡単な構成で立体視画像を得ることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による画像処理装置を搭載した電子カメラを正面から見た図である。
【図２】図１の電子カメラを背面から見た図である。
【図３】電子カメラの構成を例示するブロック図である。
【図４】平行移動中の電子カメラを示す図である。
【図５】図４と異なる方向へ平行移動する電子カメラを示す図である。
【図６】続けて撮影した画像１〜画像Ｎまでの画像群を例示する図である。
【図７】ＬＣＤモニタに再生表示された合成画像を例示する図である。
【図８】ＬＣＤモニタに再生表示された合成画像および枠を例示する図である。
【図９】抽出した２コマの画像を例示する図である。
【図１０】立体視画像の取得のためにＣＰＵが実行する処理の流れを説明するフローチャートである。
【図１１】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による画像処理装置を搭載した電子カメラ１を正面から見た図である。電子カメラ１の正面に撮影光学系１１が配される。電子カメラ１の上面には、電源スイッチ２０ａと、撮影ボタン２０ｂと、モード切替えダイヤル２０ｃとが設けられる。図２は、図１の電子カメラ１を背面から見た図である。電子カメラ１の背面には、ＬＣＤモニタ１５、十字キースイッチ２０ｄ、再生スイッチ２０ｅ、および削除スイッチ２０ｆが設けられる。
【０００９】
図３は、電子カメラ１の構成を例示するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、画像処理部１３と、ＳＤＲＡＭ１４と、ＬＣＤモニタ１５と、ＣＰＵ１６と、不揮発性メモリ１７と、カードインターフェース(I/F)１８と、通信インターフェース(I/F)１９と、操作部材２０と、振れセンサ２１とを備える。
【００１０】
ＣＰＵ１６、不揮発性メモリ１７、カードインターフェース１８、通信インターフェース１９、画像処理部１３、ＳＤＲＡＭ１４およびＬＣＤモニタ１５は、それぞれがバス２５を介して接続されている。
【００１１】
撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。
【００１２】
撮像素子１２は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部１３に入力される。画像処理部１３は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。
【００１３】
ＬＣＤモニタ１５は液晶パネルなどによって構成される。ＬＣＤモニタ１５は、ＣＰＵ１６からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。ＳＤＲＡＭ１４は、画像処理部１３による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、ＣＰＵ１６によるプログラム実行時に用いられる。不揮発性メモリ１７は、フラッシュメモリなどによって構成される。電源オフ時にも記憶内容を保持するので、ＣＰＵ１６が実行するプログラムなどを記憶する。
【００１４】
ＣＰＵ１６は、不揮発性メモリ１７が記憶するプログラムを実行することにより、電子カメラ１が行う動作を制御する。ＣＰＵ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求める。スルー画像は、レリーズ操作前に撮像素子１２によって所定の時間間隔（たとえば６０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１５】
カードインターフェース１８はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体３０が接続される。カードインターフェース１８は、接続された記憶媒体３０に対するデータの書き込みや、記憶媒体３０からのデータの読み込みを行う。記憶媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１６】
通信インターフェース１９は、たとえば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体３０が記憶している画像データや音声データなどを外部機器へ送信したりする。操作部材２０は、上述した電源スイッチ２０ａをはじめ、撮影ボタン２０ｂや十字キースイッチ２０ｄなどの操作部材２０ａ〜２０ｆを含む。操作部材２０は、撮影操作、モード切替え操作や各種選択操作など、各操作に応じた操作信号をＣＰＵ１６へ送出する。振れセンサ２１は、たとえば加速度センサによって構成される。振れセンサ２１はピッチ方向およびヨー方向に生じた加速度を検出し、検出信号をＣＰＵ１６へ送出する。
【００１７】
本実施形態は、電子カメラ１で立体視画像（いわゆる３Ｄ画像）を得る点に特徴を有する。このため、以降の説明は立体視画像の取得を中心に行う。始めに、本実施形態で行う立体視画像の取得手順の概要を説明する。本実施形態では、電子カメラ１によって所定のフレームレート、たとえば６０コマ／毎秒で撮像を繰り返し、取得した一連の画像群の中から立体視効果が得られる２コマの画像を抽出する。この取得手順は、概ね次の５段階に分けられる。
段階１．連続撮影
段階２．１枚の画像に合成（プレビュー画像）
段階３．プレビュー画像を表示
段階４．領域選択操作受け付け
段階５．２コマの画像を抽出
【００１８】
＜段階１＞
「段階１」では、ユーザーが電子カメラ１に連続撮影を行わせる。このときユーザーは、一連の画像群を取得中の電子カメラ１を図４に例示するように平行移動させる。図４は、平行移動中の電子カメラ１を示す図である。ユーザーは、電子カメラ１の撮影光学系１１を主要被写体に向け、該主要被写体からの距離が概ね一定となる平面上で平行移動させる。電子カメラ１を平行移動させる方向は、図５に例示する渦巻き状であってもジグザグ状であっても構わない。図５は、図４と異なる方向へ平行移動する電子カメラ１を示す図である。平行移動中の電子カメラ１は、図６に例示するように、続けて撮影した画像１〜画像ＮまでのＮ枚の画像群をＳＤＲＡＭ１４に一次記憶させる。図６において、画像１は動画撮影開始後最初のコマの画像であり、画像Ｎは動画撮影終了前で最終コマの画像である。
【００１９】
ＣＰＵ１６は、振れセンサ２１によって各コマの撮影時にそれぞれ検出されていた加速度信号を、各コマの画像の付加情報としてＳＤＲＡＭ１４に一次記憶させる。加速度信号を記憶させておくことで、各コマの画像を撮影した際の電子カメラ１の相対的な位置情報（(m-1)コマを撮影した位置から(m)コマを撮影した位置までの電子カメラ１の移動方向および移動量）を算出できる。
【００２０】
＜段階２＞
電子カメラ１のＣＰＵ１６は、ＳＤＲＡＭ１４に一次記憶したＮ枚の画像群を繋ぎ合わせることによって一枚の画像を合成する。電子カメラ１のＣＰＵ１６は、たとえば、画像１の所定領域（たとえば、画面中央を含む所定範囲）内の画像データから特徴量を抽出し、公知のテンプレートマッチング処理を行うためのテンプレート情報を生成する。テンプレート情報は、たとえば低解像度（撮像素子１２で取得できる画像の約１／９サイズ）の縮小画像データである。
【００２１】
ＣＰＵ１６は、画像２のデータを対象に上記テンプレート情報を用いたテンプレートマッチング処理を施すことにより、画像１の被写体と類似する領域を画像２から検出する。ＣＰＵ１６は、画像２のうち上記検出領域を含む所定範囲内の画像データから特徴量を抽出し、新たにテンプレート情報を生成する。ＣＰＵ１６は、画像３のデータを対象にテンプレートマッチング処理を施すことにより、画像２の被写体と類似する領域を画像３から検出する。以降同様に、画像Ｎまで前後するコマの画像間でテンプレートマッチング処理を施すことにより、先に取得されたコマの画像の被写体と類似する領域を、後から取得されたコマの画像から検出する。ＣＰＵ１６は、画像間で重複する被写体領域を代表画像（たとえば、先に取得されたコマの画像）で表し、画像間で重複しない被写体領域を適宜繋ぎ合わせることにより、１枚の画像を合成する。このように合成することで、合成後の画像は各コマの画像の範囲より広い範囲をもつこととなる。本説明では、合成画像をプレビュー画像と呼ぶことにする。
【００２２】
＜段階３＞
ＣＰＵ１６は、「段階２」で得たプレビュー画像（合成画像）をＬＣＤモニタ１５に再生表示させる。図７は、ＬＣＤモニタ１５に再生表示された合成画像７１を例示する図である。本説明では、たとえば、図７に写っている動物７２を主要被写体にする例を説明する。
【００２３】
＜段階４＞
ＣＰＵ１６は、ユーザーによる選択操作を受け付ける。ユーザーは、たとえば、十字キースイッチ２０ｄおよび再生スイッチ２０ｅを操作することにより、合成画像７１のうち主要被写体７２を含む領域を選択する。この選択範囲が、立体視画像（いわゆるステレオ画像）の範囲に対応する。ＣＰＵ１６は、選択操作信号に基づいて、選択領域を示す枠８１を合成画像７１に重ねて表示させる。図８は、ＬＣＤモニタ１５に再生表示された合成画像７１および枠８１を例示する図である。
【００２４】
＜段階５＞
ＣＰＵ１６は、Ｎ枚の画像群の中から主要被写体７２を含む画像を検出する。ＣＰＵ１６は、たとえば、合成画像７１のうち枠８１で囲まれた選択範囲内の画像データから特徴量を抽出し、テンプレート情報を生成する。テンプレート情報は、上述したものと同様である。ＣＰＵ１６は、Ｎ枚の画像群を対象に上記テンプレート情報を用いたテンプレートマッチング処理を施すことにより、枠８１内の被写体と類似する被写体領域を有するコマの画像を検出する。
【００２５】
枠８１内の被写体と類似する被写体領域を有するコマをｐ枚検出したと仮定すると、ＣＰＵ１６は、ｐ枚の画像の中から基線長に相当する視差を確保し得る２コマの画像を抽出する。基線長は、たとえば、人の左右の目の間隔（眼幅）に相当する６５mmとする。ＣＰＵ１６は、上述した付加情報に基づいて各コマの撮影位置を算出し、撮影位置が水平方向に６５mm離れている２コマの画像を抽出する。図９は、抽出した２コマの画像を例示する図であり、画像Ｘが右目に相当するコマの画像であり、画像Ｙが左目に相当するコマの画像である。抽出した２コマの画像によって得られる立体視の視差方向は、水平方向である。
【００２６】
上述した立体視画像の取得のためにＣＰＵ１６が実行する処理の流れについて、図１０に例示するフローチャートを参照して説明する。ＣＰＵ１６は、電源スイッチ２０ａのオン操作信号が入力されると、図１０による処理を実行するプログラムを起動する。
【００２７】
図１０のステップＳ１０において、ＣＰＵ１６は、撮影ボタン２０ｂの押下を示す操作信号が入力されるとステップＳ２０へ進む。ステップＳ２０において、ＣＰＵ１６は「ステレオ撮影モード」か否かを判定する。ＣＰＵ１６は、たとえば、操作部材２０を構成するモード切替えダイヤル２０ｃから「ステレオ撮影モード」を示す操作信号が入力されている場合にステップＳ２０を肯定判定してステップＳ３０へ進む。ＣＰＵ１６は、モード切替えダイヤル２０ｃから「ステレオ撮影モード」を示す操作信号が入力されていない場合には、ステップＳ２０を否定判定してステップＳ１３０へ進む。ステップＳ１３０では、ＣＰＵ１６は、モード切替えダイヤル２０ｃからの操作信号に対応する他の撮影モード（たとえば、静止画撮影モード）による撮影処理を行う。
【００２８】
ステップＳ３０において、ＣＰＵ１６は、上記「段階１」による動画像の撮影、保存処理を開始させてステップＳ４０へ進む。ステップＳ４０において、ＣＰＵ１６は撮影終了か否かを判定する。ＣＰＵ１６は、撮影ボタン２０ｂの押下操作信号が再度入力された場合にステップＳ４０を肯定判定し、動画像の撮影、保存処理を終了させてステップＳ５０へ進む。ＣＰＵ１６は、撮影ボタン２０ｂの押下操作信号が再度入力されない場合には、ステップＳ４０を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻る場合は動画像の撮影、保存処理を継続する。以上の処理により、続けて撮影した画像１〜画像ＮまでのＮ枚の画像群をＳＤＲＡＭ１４に一次記憶する。
【００２９】
ステップＳ５０において、ＣＰＵ１６は、上記「段階２」によるプレビュー画像の生成処理（合成処理）を行ってステップＳ６０へ進む。ステップＳ６０において、ＣＰＵ１６は、上記「段階３」によるプレビュー画像の表示処理を行ってステップＳ７０へ進む。ステップＳ７０において、ＣＰＵ１６は、プレビュー画像の傾き調整を行う。ＣＰＵ１６は、たとえば、図７に例示した合成画像７１を十字キースイッチ２０ｄからの操作信号に応じて回転させて、回転後の合成画像をＬＣＤモニタ１５に表示させる。回転中心は、合成画像７１の略中心とし、略中心点の回りに回転させる。このようにプレビュー画像を傾ける理由は、ステップＳ１１０において抽出する２コマの画像によって得られる立体視の視差方向を、水平方向と異なる方向とすることを可能にするためである。ＣＰＵ１６は、以上のようにプレビュー画像の傾き調整を行うとステップＳ８０へ進む。なお、ＣＰＵ１６は、十字キースイッチ２０ｄからの操作信号が入力されない場合は、ステップＳ７０をスキップしてステップＳ８０へ進む。
【００３０】
ステップＳ８０において、ＣＰＵ１６は、上記「段階４」による領域選択操作の受け付けを行ってステップＳ９０へ進む。この領域は、立体視画像（いわゆるステレオ画像）の範囲に対応するもので、図８に例示したように、ＬＣＤモニタ１５の表示画面上において選択領域を示す枠８１の位置および大きさをユーザー操作に応じて決定する。ユーザーは、たとえば、十字キースイッチ２０ｄを操作してカーソル８２を移動させる。ＣＰＵ１６は、たとえば、ＯＫスイッチ（不図示）の押下操作信号に応じて、その時点で表示中のカーソル８２の位置を示す座標を記憶する。ＣＰＵ１６は、２点の座標を記憶した場合に、該２点を対角とする長方形を枠８１とする。枠８１で囲まれる領域が選択範囲である。
【００３１】
ステップＳ９０において、ＣＰＵ１６は基線長を算出してステップＳ１００へ進む。本実施形態では、上述したように基線長を６５mmとする。ステップＳ１００において、ＣＰＵ１６は、選択範囲が立体視画像（いわゆるステレオ画像）の生成可能な範囲であるかを判定する。ＣＰＵ１６は、上記選択範囲について基線長に相当する視差を確保し得る画像が存在する場合にステップＳ１００を肯定判定してステップＳ１１０へ進む。ＣＰＵ１６は、上記選択範囲について基線長に相当する視差を確保し得る画像が存在しない場合には、ステップＳ１００を否定判定してステップＳ８０へ戻る。Ｓ８０へ戻る場合は、たとえば、「もう一度領域を選択してください」。というメッセージをＬＣＤモニタ１５に表示させてユーザーによる再操作を促す。
【００３２】
ステップＳ１１０において、ＣＰＵ１６は、上記「段階５」による２コマの画像を抽出し、ステップＳ１２０へ進む。これにより、枠８１で囲まれる選択範囲内の被写体と類似する被写体領域を有し、かつ基線長に相当する視差を確保し得る２コマの画像を抽出する。ＣＰＵ１６は、ＬＣＤモニタ１５に表示中のプレビュー画像に代えて、たとえば、２コマの画像を所定の表示レートで交互に表示させる。ユーザーは、ＬＣＤモニタ１５に表示された立体視画像を確認できる。
【００３３】
ステップＳ１２０において、ＣＰＵ１６はカードインターフェース１８へ指示を送り、抽出した２コマの画像のデータをステレオ画像のデータとして記憶媒体３０に保存させて図１０による処理を終了する。
【００３４】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、画像を再生表示するＬＣＤモニタ１５と、続けて撮影された複数コマの画像の各特徴量に基づいて、複数コマの画像を組合わせて１枚の画像を合成するＣＰＵ１６と、合成された画像をＬＣＤモニタ１５に再生表示させるＣＰＵ１６と、再生表示中の合成画像のうち所定領域を選択するための操作部材２０と、操作部材２０からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を複数コマの画像の中から抽出するＣＰＵ１６とを備えるので、簡単な構成で立体視画像を得ることができる。
【００３５】
（２）上記（１）の電子カメラ１において、複数コマの画像のデータが格納される画像ファイルは、各画像の撮影時に検出された電子カメラ１の撮影位置を示す第１情報をそれぞれ含み、ＣＰＵ１６は、第１情報に基づいて水平方向に基線長離れた２つの撮影位置でそれぞれ撮影された２コマの画像を抽出する。これにより、２眼カメラでなくても立体視画像を得ることができる。
【００３６】
（３）上記（１）または（２）の電子カメラ１において、ＣＰＵ１６によって抽出された２コマの画像を関連づける第２情報を生成するＣＰＵ１６をさらに備えるので、各画像に対する加工を必要としない。これにより、続けて撮影された複数コマの画像をそのままにしつつ、立体視画像を得ることができる。
【００３７】
（４）上記（３）の電子カメラ１において、ＣＰＵ１６は、第２情報に基づいて２コマの画像データを用いた立体視画像をＬＣＤモニタ１５に表示させるので、立体視画像専用のファイルを生成したり、立体視画像専用のファイルを読出すことなしに、立体視画像を確認することができる。
【００３８】
（５）電子カメラ１は、被写体像を撮像する撮像素子１２と、電子カメラ１の撮影位置を検出する振れセンサ２１と、撮像素子１２で撮像した画像データと、振れセンサ２１で検出した撮影位置を示す情報とを含む画像ファイルを生成するＣＰＵ１６と、画像データに基づく再生画像を表示するＬＣＤモニタ１５と、続けて撮影された複数コマの画像の各特徴量に基づいて、複数コマの画像を組合わせて１枚の画像を合成するＣＰＵ１６と、合成された画像をＬＣＤモニタ１５に再生表示させるＣＰＵ１６と、再生表示中の合成画像のうち所定領域を選択するための操作部材２０と、操作部材２０からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、情報に基づいて水平方向に基線長離れた２つの撮影位置でそれぞれ撮影された２コマの画像を複数コマの画像の中から抽出するＣＰＵ１６とを備えるので、簡単な構成で立体視画像を得ることができる。
【００３９】
（変形例１）
上述した説明では、カメラの撮影位置情報（(m-1)コマを撮影した位置から(m)コマを撮影した位置までの電子カメラ１の移動方向および移動量）を振れセンサ２１による検出信号に基づいて相対位置として算出するようにした。この代わりに、ＧＰＳ衛星からの電波を受信して絶対位置として算出する構成にしてもよい。
【００４０】
（変形例２）
続けて撮影した画像１〜画像ＮまでのＮ枚の画像群をＳＤＲＡＭ１４に一次記憶させる例を説明したが、動画像データのファイルとして記憶媒体３０に保存してもよい。各コマの撮影時の撮影位置情報を、各コマの画像の付加情報として保存内容に含める点は上述した例と同様である。記憶媒体３０に保存した動画像のデータに基づいてプレビュー画像を生成し得るように構成することで、撮り貯めた動画像データの中から、任意の被写体を立体視し得る画像を選ぶことが可能になる。
【００４１】
（変形例３）
また、続けて撮影した画像１〜画像ＮまでのＮ枚の画像群のデータを保存する場合に、１つのファイルとして保存してもよいし、複数のファイルとして保存してもよい。複数のファイルに分けて保存する場合は、たとえば、同じフォルダ内に保存したり、互いを関連づける情報を付加しておくことにより、続けて撮影した一連の画像群であることがわかるようにしておく。
【００４２】
（変形例４）
続けて撮影した画像１〜画像Ｎの画像のうち、(m-1)コマを撮影した位置から(m)コマを撮影した位置までの電子カメラ１の移動量が所定値以下の場合は、(m)コマの画像の保存を省略するようにしてもよい。
【００４３】
（変形例５）
基線長を６５mmとする例を説明したが、基線長の値を変更可能に構成してもよい。
【００４４】
（変形例６）
図１０のステップＳ１１０において、撮影位置が水平方向に６５mm離れているコマの画像が存在しない場合でも、撮影位置が６０mm離れている画像と７０mm離れている画像とが存在する場合には、これら撮影位置が６０mm離れている画像と７０mm離れている画像とに基づいて生成した合成画像を抽出画像の１つとしてもよい。変形例２のように、撮り貯めた動画像データの中から任意の被写体を立体視し得る画像を選ぶ場合には、動画像を撮り直すことが困難である。ちょうどよい基線長に該当するコマの画像が存在しなくても、立体視し得る画像を適切に選ぶことができる。
【００４５】
（変形例７）
上述した実施形態では、電子カメラ１に画像処理装置を搭載する例を説明したが、画像処理装置をパーソナルコンピュータによって構成するようにしてもよい。図１０に例示したフローチャートのうちステップＳ５０以降の処理を行うプログラムを図１１に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【００４６】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００４７】
以上説明した変形例７によれば、上記実施形態と同様の作用効果が得られる。なお、パーソナルコンピュータによって構成する他にも、デジタルフォトフレームやプロジェクタ等にも上述したステレオ画像を生成させるように構成して構わない。
【００４８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００４９】
１…電子カメラ
１２…撮像素子
１３…画像処理部
１４…ＳＤＲＡＭ
１５…ＬＣＤモニタ
１６…ＣＰＵ
１７…不揮発性メモリ
３０、１０４…記憶媒体
１００…パーソナルコンピュータ
【技術分野】
【０００１】
本発明は、画像処理装置、撮影装置および画像処理プログラムに関する。
【背景技術】
【０００２】
立体視可能なパノラマ画像を生成する技術が知られている（特許文献１参照）。従来技術では、連続する２つのフレーム画像を比較し、基準フレーム画像を２等分する中心線から等距離にある２本の基準線上の各画素におけるオプティカルフローの大きさを算出し、オプティカルフローの大きさに基づいてスリット画像の幅をそれぞれ決定し、基準フレーム画像からスリット画像をそれぞれ切り出し、右目用および左目用のパノラマ画像を生成するためのスリット画像をそれぞれ結合し、右目用および左目用のパノラマ画像をそれぞれ生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１６４３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、スリット画像の切り出しに至る処理、および切り出し後の結合処理に要する処理負担が大きいという問題があった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、画像を再生表示する表示手段と、続けて撮影された複数コマの画像の各特徴量に基づいて、複数コマの画像を組合わせて１枚の画像を合成する画像合成手段と、画像合成手段で合成された画像を表示手段に再生表示させる表示制御手段と、再生表示中の合成画像のうち所定領域を選択するための操作部材と、操作部材からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を複数コマの画像の中から抽出する画像抽出手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、簡単な構成で立体視画像を得ることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による画像処理装置を搭載した電子カメラを正面から見た図である。
【図２】図１の電子カメラを背面から見た図である。
【図３】電子カメラの構成を例示するブロック図である。
【図４】平行移動中の電子カメラを示す図である。
【図５】図４と異なる方向へ平行移動する電子カメラを示す図である。
【図６】続けて撮影した画像１〜画像Ｎまでの画像群を例示する図である。
【図７】ＬＣＤモニタに再生表示された合成画像を例示する図である。
【図８】ＬＣＤモニタに再生表示された合成画像および枠を例示する図である。
【図９】抽出した２コマの画像を例示する図である。
【図１０】立体視画像の取得のためにＣＰＵが実行する処理の流れを説明するフローチャートである。
【図１１】コンピュータ装置を例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による画像処理装置を搭載した電子カメラ１を正面から見た図である。電子カメラ１の正面に撮影光学系１１が配される。電子カメラ１の上面には、電源スイッチ２０ａと、撮影ボタン２０ｂと、モード切替えダイヤル２０ｃとが設けられる。図２は、図１の電子カメラ１を背面から見た図である。電子カメラ１の背面には、ＬＣＤモニタ１５、十字キースイッチ２０ｄ、再生スイッチ２０ｅ、および削除スイッチ２０ｆが設けられる。
【０００９】
図３は、電子カメラ１の構成を例示するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、画像処理部１３と、ＳＤＲＡＭ１４と、ＬＣＤモニタ１５と、ＣＰＵ１６と、不揮発性メモリ１７と、カードインターフェース(I/F)１８と、通信インターフェース(I/F)１９と、操作部材２０と、振れセンサ２１とを備える。
【００１０】
ＣＰＵ１６、不揮発性メモリ１７、カードインターフェース１８、通信インターフェース１９、画像処理部１３、ＳＤＲＡＭ１４およびＬＣＤモニタ１５は、それぞれがバス２５を介して接続されている。
【００１１】
撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。
【００１２】
撮像素子１２は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部１３に入力される。画像処理部１３は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。
【００１３】
ＬＣＤモニタ１５は液晶パネルなどによって構成される。ＬＣＤモニタ１５は、ＣＰＵ１６からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。ＳＤＲＡＭ１４は、画像処理部１３による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、ＣＰＵ１６によるプログラム実行時に用いられる。不揮発性メモリ１７は、フラッシュメモリなどによって構成される。電源オフ時にも記憶内容を保持するので、ＣＰＵ１６が実行するプログラムなどを記憶する。
【００１４】
ＣＰＵ１６は、不揮発性メモリ１７が記憶するプログラムを実行することにより、電子カメラ１が行う動作を制御する。ＣＰＵ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求める。スルー画像は、レリーズ操作前に撮像素子１２によって所定の時間間隔（たとえば６０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１５】
カードインターフェース１８はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体３０が接続される。カードインターフェース１８は、接続された記憶媒体３０に対するデータの書き込みや、記憶媒体３０からのデータの読み込みを行う。記憶媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１６】
通信インターフェース１９は、たとえば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体３０が記憶している画像データや音声データなどを外部機器へ送信したりする。操作部材２０は、上述した電源スイッチ２０ａをはじめ、撮影ボタン２０ｂや十字キースイッチ２０ｄなどの操作部材２０ａ〜２０ｆを含む。操作部材２０は、撮影操作、モード切替え操作や各種選択操作など、各操作に応じた操作信号をＣＰＵ１６へ送出する。振れセンサ２１は、たとえば加速度センサによって構成される。振れセンサ２１はピッチ方向およびヨー方向に生じた加速度を検出し、検出信号をＣＰＵ１６へ送出する。
【００１７】
本実施形態は、電子カメラ１で立体視画像（いわゆる３Ｄ画像）を得る点に特徴を有する。このため、以降の説明は立体視画像の取得を中心に行う。始めに、本実施形態で行う立体視画像の取得手順の概要を説明する。本実施形態では、電子カメラ１によって所定のフレームレート、たとえば６０コマ／毎秒で撮像を繰り返し、取得した一連の画像群の中から立体視効果が得られる２コマの画像を抽出する。この取得手順は、概ね次の５段階に分けられる。
段階１．連続撮影
段階２．１枚の画像に合成（プレビュー画像）
段階３．プレビュー画像を表示
段階４．領域選択操作受け付け
段階５．２コマの画像を抽出
【００１８】
＜段階１＞
「段階１」では、ユーザーが電子カメラ１に連続撮影を行わせる。このときユーザーは、一連の画像群を取得中の電子カメラ１を図４に例示するように平行移動させる。図４は、平行移動中の電子カメラ１を示す図である。ユーザーは、電子カメラ１の撮影光学系１１を主要被写体に向け、該主要被写体からの距離が概ね一定となる平面上で平行移動させる。電子カメラ１を平行移動させる方向は、図５に例示する渦巻き状であってもジグザグ状であっても構わない。図５は、図４と異なる方向へ平行移動する電子カメラ１を示す図である。平行移動中の電子カメラ１は、図６に例示するように、続けて撮影した画像１〜画像ＮまでのＮ枚の画像群をＳＤＲＡＭ１４に一次記憶させる。図６において、画像１は動画撮影開始後最初のコマの画像であり、画像Ｎは動画撮影終了前で最終コマの画像である。
【００１９】
ＣＰＵ１６は、振れセンサ２１によって各コマの撮影時にそれぞれ検出されていた加速度信号を、各コマの画像の付加情報としてＳＤＲＡＭ１４に一次記憶させる。加速度信号を記憶させておくことで、各コマの画像を撮影した際の電子カメラ１の相対的な位置情報（(m-1)コマを撮影した位置から(m)コマを撮影した位置までの電子カメラ１の移動方向および移動量）を算出できる。
【００２０】
＜段階２＞
電子カメラ１のＣＰＵ１６は、ＳＤＲＡＭ１４に一次記憶したＮ枚の画像群を繋ぎ合わせることによって一枚の画像を合成する。電子カメラ１のＣＰＵ１６は、たとえば、画像１の所定領域（たとえば、画面中央を含む所定範囲）内の画像データから特徴量を抽出し、公知のテンプレートマッチング処理を行うためのテンプレート情報を生成する。テンプレート情報は、たとえば低解像度（撮像素子１２で取得できる画像の約１／９サイズ）の縮小画像データである。
【００２１】
ＣＰＵ１６は、画像２のデータを対象に上記テンプレート情報を用いたテンプレートマッチング処理を施すことにより、画像１の被写体と類似する領域を画像２から検出する。ＣＰＵ１６は、画像２のうち上記検出領域を含む所定範囲内の画像データから特徴量を抽出し、新たにテンプレート情報を生成する。ＣＰＵ１６は、画像３のデータを対象にテンプレートマッチング処理を施すことにより、画像２の被写体と類似する領域を画像３から検出する。以降同様に、画像Ｎまで前後するコマの画像間でテンプレートマッチング処理を施すことにより、先に取得されたコマの画像の被写体と類似する領域を、後から取得されたコマの画像から検出する。ＣＰＵ１６は、画像間で重複する被写体領域を代表画像（たとえば、先に取得されたコマの画像）で表し、画像間で重複しない被写体領域を適宜繋ぎ合わせることにより、１枚の画像を合成する。このように合成することで、合成後の画像は各コマの画像の範囲より広い範囲をもつこととなる。本説明では、合成画像をプレビュー画像と呼ぶことにする。
【００２２】
＜段階３＞
ＣＰＵ１６は、「段階２」で得たプレビュー画像（合成画像）をＬＣＤモニタ１５に再生表示させる。図７は、ＬＣＤモニタ１５に再生表示された合成画像７１を例示する図である。本説明では、たとえば、図７に写っている動物７２を主要被写体にする例を説明する。
【００２３】
＜段階４＞
ＣＰＵ１６は、ユーザーによる選択操作を受け付ける。ユーザーは、たとえば、十字キースイッチ２０ｄおよび再生スイッチ２０ｅを操作することにより、合成画像７１のうち主要被写体７２を含む領域を選択する。この選択範囲が、立体視画像（いわゆるステレオ画像）の範囲に対応する。ＣＰＵ１６は、選択操作信号に基づいて、選択領域を示す枠８１を合成画像７１に重ねて表示させる。図８は、ＬＣＤモニタ１５に再生表示された合成画像７１および枠８１を例示する図である。
【００２４】
＜段階５＞
ＣＰＵ１６は、Ｎ枚の画像群の中から主要被写体７２を含む画像を検出する。ＣＰＵ１６は、たとえば、合成画像７１のうち枠８１で囲まれた選択範囲内の画像データから特徴量を抽出し、テンプレート情報を生成する。テンプレート情報は、上述したものと同様である。ＣＰＵ１６は、Ｎ枚の画像群を対象に上記テンプレート情報を用いたテンプレートマッチング処理を施すことにより、枠８１内の被写体と類似する被写体領域を有するコマの画像を検出する。
【００２５】
枠８１内の被写体と類似する被写体領域を有するコマをｐ枚検出したと仮定すると、ＣＰＵ１６は、ｐ枚の画像の中から基線長に相当する視差を確保し得る２コマの画像を抽出する。基線長は、たとえば、人の左右の目の間隔（眼幅）に相当する６５mmとする。ＣＰＵ１６は、上述した付加情報に基づいて各コマの撮影位置を算出し、撮影位置が水平方向に６５mm離れている２コマの画像を抽出する。図９は、抽出した２コマの画像を例示する図であり、画像Ｘが右目に相当するコマの画像であり、画像Ｙが左目に相当するコマの画像である。抽出した２コマの画像によって得られる立体視の視差方向は、水平方向である。
【００２６】
上述した立体視画像の取得のためにＣＰＵ１６が実行する処理の流れについて、図１０に例示するフローチャートを参照して説明する。ＣＰＵ１６は、電源スイッチ２０ａのオン操作信号が入力されると、図１０による処理を実行するプログラムを起動する。
【００２７】
図１０のステップＳ１０において、ＣＰＵ１６は、撮影ボタン２０ｂの押下を示す操作信号が入力されるとステップＳ２０へ進む。ステップＳ２０において、ＣＰＵ１６は「ステレオ撮影モード」か否かを判定する。ＣＰＵ１６は、たとえば、操作部材２０を構成するモード切替えダイヤル２０ｃから「ステレオ撮影モード」を示す操作信号が入力されている場合にステップＳ２０を肯定判定してステップＳ３０へ進む。ＣＰＵ１６は、モード切替えダイヤル２０ｃから「ステレオ撮影モード」を示す操作信号が入力されていない場合には、ステップＳ２０を否定判定してステップＳ１３０へ進む。ステップＳ１３０では、ＣＰＵ１６は、モード切替えダイヤル２０ｃからの操作信号に対応する他の撮影モード（たとえば、静止画撮影モード）による撮影処理を行う。
【００２８】
ステップＳ３０において、ＣＰＵ１６は、上記「段階１」による動画像の撮影、保存処理を開始させてステップＳ４０へ進む。ステップＳ４０において、ＣＰＵ１６は撮影終了か否かを判定する。ＣＰＵ１６は、撮影ボタン２０ｂの押下操作信号が再度入力された場合にステップＳ４０を肯定判定し、動画像の撮影、保存処理を終了させてステップＳ５０へ進む。ＣＰＵ１６は、撮影ボタン２０ｂの押下操作信号が再度入力されない場合には、ステップＳ４０を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻る場合は動画像の撮影、保存処理を継続する。以上の処理により、続けて撮影した画像１〜画像ＮまでのＮ枚の画像群をＳＤＲＡＭ１４に一次記憶する。
【００２９】
ステップＳ５０において、ＣＰＵ１６は、上記「段階２」によるプレビュー画像の生成処理（合成処理）を行ってステップＳ６０へ進む。ステップＳ６０において、ＣＰＵ１６は、上記「段階３」によるプレビュー画像の表示処理を行ってステップＳ７０へ進む。ステップＳ７０において、ＣＰＵ１６は、プレビュー画像の傾き調整を行う。ＣＰＵ１６は、たとえば、図７に例示した合成画像７１を十字キースイッチ２０ｄからの操作信号に応じて回転させて、回転後の合成画像をＬＣＤモニタ１５に表示させる。回転中心は、合成画像７１の略中心とし、略中心点の回りに回転させる。このようにプレビュー画像を傾ける理由は、ステップＳ１１０において抽出する２コマの画像によって得られる立体視の視差方向を、水平方向と異なる方向とすることを可能にするためである。ＣＰＵ１６は、以上のようにプレビュー画像の傾き調整を行うとステップＳ８０へ進む。なお、ＣＰＵ１６は、十字キースイッチ２０ｄからの操作信号が入力されない場合は、ステップＳ７０をスキップしてステップＳ８０へ進む。
【００３０】
ステップＳ８０において、ＣＰＵ１６は、上記「段階４」による領域選択操作の受け付けを行ってステップＳ９０へ進む。この領域は、立体視画像（いわゆるステレオ画像）の範囲に対応するもので、図８に例示したように、ＬＣＤモニタ１５の表示画面上において選択領域を示す枠８１の位置および大きさをユーザー操作に応じて決定する。ユーザーは、たとえば、十字キースイッチ２０ｄを操作してカーソル８２を移動させる。ＣＰＵ１６は、たとえば、ＯＫスイッチ（不図示）の押下操作信号に応じて、その時点で表示中のカーソル８２の位置を示す座標を記憶する。ＣＰＵ１６は、２点の座標を記憶した場合に、該２点を対角とする長方形を枠８１とする。枠８１で囲まれる領域が選択範囲である。
【００３１】
ステップＳ９０において、ＣＰＵ１６は基線長を算出してステップＳ１００へ進む。本実施形態では、上述したように基線長を６５mmとする。ステップＳ１００において、ＣＰＵ１６は、選択範囲が立体視画像（いわゆるステレオ画像）の生成可能な範囲であるかを判定する。ＣＰＵ１６は、上記選択範囲について基線長に相当する視差を確保し得る画像が存在する場合にステップＳ１００を肯定判定してステップＳ１１０へ進む。ＣＰＵ１６は、上記選択範囲について基線長に相当する視差を確保し得る画像が存在しない場合には、ステップＳ１００を否定判定してステップＳ８０へ戻る。Ｓ８０へ戻る場合は、たとえば、「もう一度領域を選択してください」。というメッセージをＬＣＤモニタ１５に表示させてユーザーによる再操作を促す。
【００３２】
ステップＳ１１０において、ＣＰＵ１６は、上記「段階５」による２コマの画像を抽出し、ステップＳ１２０へ進む。これにより、枠８１で囲まれる選択範囲内の被写体と類似する被写体領域を有し、かつ基線長に相当する視差を確保し得る２コマの画像を抽出する。ＣＰＵ１６は、ＬＣＤモニタ１５に表示中のプレビュー画像に代えて、たとえば、２コマの画像を所定の表示レートで交互に表示させる。ユーザーは、ＬＣＤモニタ１５に表示された立体視画像を確認できる。
【００３３】
ステップＳ１２０において、ＣＰＵ１６はカードインターフェース１８へ指示を送り、抽出した２コマの画像のデータをステレオ画像のデータとして記憶媒体３０に保存させて図１０による処理を終了する。
【００３４】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、画像を再生表示するＬＣＤモニタ１５と、続けて撮影された複数コマの画像の各特徴量に基づいて、複数コマの画像を組合わせて１枚の画像を合成するＣＰＵ１６と、合成された画像をＬＣＤモニタ１５に再生表示させるＣＰＵ１６と、再生表示中の合成画像のうち所定領域を選択するための操作部材２０と、操作部材２０からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を複数コマの画像の中から抽出するＣＰＵ１６とを備えるので、簡単な構成で立体視画像を得ることができる。
【００３５】
（２）上記（１）の電子カメラ１において、複数コマの画像のデータが格納される画像ファイルは、各画像の撮影時に検出された電子カメラ１の撮影位置を示す第１情報をそれぞれ含み、ＣＰＵ１６は、第１情報に基づいて水平方向に基線長離れた２つの撮影位置でそれぞれ撮影された２コマの画像を抽出する。これにより、２眼カメラでなくても立体視画像を得ることができる。
【００３６】
（３）上記（１）または（２）の電子カメラ１において、ＣＰＵ１６によって抽出された２コマの画像を関連づける第２情報を生成するＣＰＵ１６をさらに備えるので、各画像に対する加工を必要としない。これにより、続けて撮影された複数コマの画像をそのままにしつつ、立体視画像を得ることができる。
【００３７】
（４）上記（３）の電子カメラ１において、ＣＰＵ１６は、第２情報に基づいて２コマの画像データを用いた立体視画像をＬＣＤモニタ１５に表示させるので、立体視画像専用のファイルを生成したり、立体視画像専用のファイルを読出すことなしに、立体視画像を確認することができる。
【００３８】
（５）電子カメラ１は、被写体像を撮像する撮像素子１２と、電子カメラ１の撮影位置を検出する振れセンサ２１と、撮像素子１２で撮像した画像データと、振れセンサ２１で検出した撮影位置を示す情報とを含む画像ファイルを生成するＣＰＵ１６と、画像データに基づく再生画像を表示するＬＣＤモニタ１５と、続けて撮影された複数コマの画像の各特徴量に基づいて、複数コマの画像を組合わせて１枚の画像を合成するＣＰＵ１６と、合成された画像をＬＣＤモニタ１５に再生表示させるＣＰＵ１６と、再生表示中の合成画像のうち所定領域を選択するための操作部材２０と、操作部材２０からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、情報に基づいて水平方向に基線長離れた２つの撮影位置でそれぞれ撮影された２コマの画像を複数コマの画像の中から抽出するＣＰＵ１６とを備えるので、簡単な構成で立体視画像を得ることができる。
【００３９】
（変形例１）
上述した説明では、カメラの撮影位置情報（(m-1)コマを撮影した位置から(m)コマを撮影した位置までの電子カメラ１の移動方向および移動量）を振れセンサ２１による検出信号に基づいて相対位置として算出するようにした。この代わりに、ＧＰＳ衛星からの電波を受信して絶対位置として算出する構成にしてもよい。
【００４０】
（変形例２）
続けて撮影した画像１〜画像ＮまでのＮ枚の画像群をＳＤＲＡＭ１４に一次記憶させる例を説明したが、動画像データのファイルとして記憶媒体３０に保存してもよい。各コマの撮影時の撮影位置情報を、各コマの画像の付加情報として保存内容に含める点は上述した例と同様である。記憶媒体３０に保存した動画像のデータに基づいてプレビュー画像を生成し得るように構成することで、撮り貯めた動画像データの中から、任意の被写体を立体視し得る画像を選ぶことが可能になる。
【００４１】
（変形例３）
また、続けて撮影した画像１〜画像ＮまでのＮ枚の画像群のデータを保存する場合に、１つのファイルとして保存してもよいし、複数のファイルとして保存してもよい。複数のファイルに分けて保存する場合は、たとえば、同じフォルダ内に保存したり、互いを関連づける情報を付加しておくことにより、続けて撮影した一連の画像群であることがわかるようにしておく。
【００４２】
（変形例４）
続けて撮影した画像１〜画像Ｎの画像のうち、(m-1)コマを撮影した位置から(m)コマを撮影した位置までの電子カメラ１の移動量が所定値以下の場合は、(m)コマの画像の保存を省略するようにしてもよい。
【００４３】
（変形例５）
基線長を６５mmとする例を説明したが、基線長の値を変更可能に構成してもよい。
【００４４】
（変形例６）
図１０のステップＳ１１０において、撮影位置が水平方向に６５mm離れているコマの画像が存在しない場合でも、撮影位置が６０mm離れている画像と７０mm離れている画像とが存在する場合には、これら撮影位置が６０mm離れている画像と７０mm離れている画像とに基づいて生成した合成画像を抽出画像の１つとしてもよい。変形例２のように、撮り貯めた動画像データの中から任意の被写体を立体視し得る画像を選ぶ場合には、動画像を撮り直すことが困難である。ちょうどよい基線長に該当するコマの画像が存在しなくても、立体視し得る画像を適切に選ぶことができる。
【００４５】
（変形例７）
上述した実施形態では、電子カメラ１に画像処理装置を搭載する例を説明したが、画像処理装置をパーソナルコンピュータによって構成するようにしてもよい。図１０に例示したフローチャートのうちステップＳ５０以降の処理を行うプログラムを図１１に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【００４６】
パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００４７】
以上説明した変形例７によれば、上記実施形態と同様の作用効果が得られる。なお、パーソナルコンピュータによって構成する他にも、デジタルフォトフレームやプロジェクタ等にも上述したステレオ画像を生成させるように構成して構わない。
【００４８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００４９】
１…電子カメラ
１２…撮像素子
１３…画像処理部
１４…ＳＤＲＡＭ
１５…ＬＣＤモニタ
１６…ＣＰＵ
１７…不揮発性メモリ
３０、１０４…記憶媒体
１００…パーソナルコンピュータ
【特許請求の範囲】
【請求項１】
画像を再生表示する表示手段と、
続けて撮影された複数コマの画像の各特徴量に基づいて、前記複数コマの画像を組合わせて１枚の画像を合成する画像合成手段と、
前記画像合成手段で合成された画像を前記表示手段に再生表示させる表示制御手段と、
前記再生表示中の合成画像のうち所定領域を選択するための操作部材と、
前記操作部材からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を前記複数コマの画像の中から抽出する画像抽出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記複数コマの画像のデータが格納される画像ファイルは、各画像の撮影時に検出された撮影装置の撮影位置を示す第１情報をそれぞれ含み、
前記画像抽出手段は、前記第１情報に基づいて水平方向に前記基線長離れた２つの撮影位置でそれぞれ撮影された２コマの画像を抽出することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記画像抽出手段によって抽出された２コマの画像を関連づける第２情報を生成する情報生成手段をさらに備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記表示制御手段は、前記第２情報に基づいて前記２コマの画像データを用いた立体視画像を前記表示手段に表示させることを特徴とする画像処理装置。
【請求項５】
被写体像を撮像する撮像手段と、
装置の撮影位置を検出する位置検出手段と、
前記撮像手段で撮像した画像データと、前記位置検出手段で検出した撮影位置を示す情報とを含む画像ファイルを生成するファイル生成手段と、
画像データに基づく再生画像を表示する表示手段と、
続けて撮影された複数コマの画像の各特徴量に基づいて、前記複数コマの画像を組合わせて１枚の画像を合成する画像合成手段と、
前記画像合成手段で合成された画像を前記表示手段に再生表示させる表示制御手段と、
前記再生表示中の合成画像のうち所定領域を選択するための操作部材と、
前記操作部材からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、前記情報に基づいて水平方向に基線長離れた２つの撮影位置でそれぞれ撮影された２コマの画像を前記複数コマの画像の中から抽出する画像抽出手段と、
を備えることを特徴とする撮影装置。
【請求項６】
続けて撮影された複数コマの画像の各特徴量に基づいて、前記複数コマの画像を組合わせて１枚の画像を合成する第１処理と、
前記第１処理で合成した画像を表示装置に再生表示させる第２処理と、
前記再生表示中の合成画像のうち所定領域を選択するための操作を受け付ける第３処理と、
前記第３処理で受け付けた選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を前記複数コマの画像の中から抽出する第４処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
画像を再生表示する表示手段と、
続けて撮影された複数コマの画像の各特徴量に基づいて、前記複数コマの画像を組合わせて１枚の画像を合成する画像合成手段と、
前記画像合成手段で合成された画像を前記表示手段に再生表示させる表示制御手段と、
前記再生表示中の合成画像のうち所定領域を選択するための操作部材と、
前記操作部材からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を前記複数コマの画像の中から抽出する画像抽出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記複数コマの画像のデータが格納される画像ファイルは、各画像の撮影時に検出された撮影装置の撮影位置を示す第１情報をそれぞれ含み、
前記画像抽出手段は、前記第１情報に基づいて水平方向に前記基線長離れた２つの撮影位置でそれぞれ撮影された２コマの画像を抽出することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記画像抽出手段によって抽出された２コマの画像を関連づける第２情報を生成する情報生成手段をさらに備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記表示制御手段は、前記第２情報に基づいて前記２コマの画像データを用いた立体視画像を前記表示手段に表示させることを特徴とする画像処理装置。
【請求項５】
被写体像を撮像する撮像手段と、
装置の撮影位置を検出する位置検出手段と、
前記撮像手段で撮像した画像データと、前記位置検出手段で検出した撮影位置を示す情報とを含む画像ファイルを生成するファイル生成手段と、
画像データに基づく再生画像を表示する表示手段と、
続けて撮影された複数コマの画像の各特徴量に基づいて、前記複数コマの画像を組合わせて１枚の画像を合成する画像合成手段と、
前記画像合成手段で合成された画像を前記表示手段に再生表示させる表示制御手段と、
前記再生表示中の合成画像のうち所定領域を選択するための操作部材と、
前記操作部材からの選択操作信号が示す領域をそれぞれ含む２コマの画像であって、前記情報に基づいて水平方向に基線長離れた２つの撮影位置でそれぞれ撮影された２コマの画像を前記複数コマの画像の中から抽出する画像抽出手段と、
を備えることを特徴とする撮影装置。
【請求項６】
続けて撮影された複数コマの画像の各特徴量に基づいて、前記複数コマの画像を組合わせて１枚の画像を合成する第１処理と、
前記第１処理で合成した画像を表示装置に再生表示させる第２処理と、
前記再生表示中の合成画像のうち所定領域を選択するための操作を受け付ける第３処理と、
前記第３処理で受け付けた選択操作信号が示す領域をそれぞれ含む２コマの画像であって、所定の基線長に対応する２画像を前記複数コマの画像の中から抽出する第４処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１６５２４７（Ｐ２０１２−１６５２４７Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９８８（Ｐ２０１１−２４９８８）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]