被写体の追尾装置およびその動作制御方法
【目的】追尾対象の被写体を正確に追尾する。
【構成】立体的な被写体像60から，被写体の視差を画素単位で表す視差マップ画像が生成される。生成された視差マップ画像から，追尾対象の被写体である歩行者61よりも手前にある被写体が除外されるように検出範囲が決定される。決定された検出範囲において，追尾対象である歩行者61が見つけられる。歩行者61よりも手前のバイクの搭乗者62を誤って追尾してしまうことを未然に防止できる。
【構成】立体的な被写体像60から，被写体の視差を画素単位で表す視差マップ画像が生成される。生成された視差マップ画像から，追尾対象の被写体である歩行者61よりも手前にある被写体が除外されるように検出範囲が決定される。決定された検出範囲において，追尾対象である歩行者61が見つけられる。歩行者61よりも手前のバイクの搭乗者62を誤って追尾してしまうことを未然に防止できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，被写体の追尾装置およびその動作制御方法に関する。
【背景技術】
【０００２】
ディジタル・スチル・カメラに代表されるディジタル・カメラにおいては，その機能を生かして三角測量で測距して合焦させるもの（特許文献１），測距手段を用いてフォーカス動作を行うもの（特許文献２）などがある。また，ディジタル・カメラでは，被写体を連続して撮像し，特定の人物，顔などを枠で囲んで表示する追尾機能を有しているものもある。追尾機能を有しているディジタル・カメラなどでは，正確に追尾することが要求される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2001-235675号公報
【特許文献２】特開2008-175922号公報
【発明の概要】
【０００４】
この発明は，比較的正確に追尾することを目的とする。
【０００５】
第１の発明は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，追尾対象の被写体を決定する追尾対象決定手段，上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成する視差マップ生成手段，上記視差マップ生成手段によって生成された視差マップにもとづいて，上記追尾対象決定手段によって決定された追尾対象の被写体よりも手前に存在する被写体を除く部分を追尾対象の検出対象範囲と決定する検出対象範囲決定手段，ならびに上記検出対象範囲決定手段によって決定された検出対象範囲において，上記第１の被写体像および上記第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像を検出する追尾被写体像検出手段を備えていることを特徴とする。
【０００６】
第１の発明は，上記被写体の追尾装置に適した動作制御方法も提供している。すなわち，この方法は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，追尾対象決定手段が，追尾対象の被写体を決定し，視差マップ生成手段が，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成し，検出対象範囲決定手段が，上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体よりも手前に存在する被写体を除く部分を上記追尾対象決定手段によって決定された追尾対象の検出対象範囲と決定し，追尾被写体像検出手段が，上記検出対象範囲決定手段によって決定された検出対象範囲において，上記第１の被写体像および上記第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像を検出するものである。
【０００７】
第１の発明によると，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力する。同じタイミングで撮像された第１の被写体像と第２の被写体像との各部分における視差を表す視差マップが生成される。生成された視差マップのうち，追尾対象の被写体よりも手前に存在する被写体を除く部分が，追尾対象の検出対象範囲と決定される。決定された検出対象範囲において，第１の被写体像および第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像が検出される。
【０００８】
第１の発明によると，視差マップが生成される。視差マップは，撮影範囲内に含まれる被写体までの距離を実質的に表すものである。そのような視差マップのうち，追尾対象の被写体よりも手前に存在する被写体を除く部分が追尾対象の検出対象範囲と決定され，その検出対象範囲から追尾対象の被写体が検出される。追尾対象の被写体を検出する検出対象範囲は，追尾対象の被写体よりも手前に存在する被写体が除かれているから，追尾対象と第１の撮像装置および第２の撮像装置との間に障害物が入ってしまった場合であっても追尾対象を比較的正確に追尾できる。
【０００９】
上記検出対象範囲決定手段は，たとえば，上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体に対応する画像部分の視差よりも少ない視差を有する画像部分を除く部分を追尾対象の検出範囲と決定するものである。
【００１０】
上記検出対象範囲決定手段は，上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体に対応する画像部分の視差から所定範囲内の視差を有する画像部分を追尾対象の検出範囲と決定するものでもよい。また，追尾対象の検出範囲が限定されているので，追尾に要する時間を短縮できる。
【００１１】
第２の発明は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，追尾対象の被写体を決定する追尾対象決定手段，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差に応じて明るさまたは階調が異なる視差マップ画像を生成する視差マップ画像生成手段，上記視差マップ画像生成手段によって生成された視差マップ画像のうち，上記追尾対象決定手段によって決定された追尾対象の被写体に対応する画像部分をテンプレート画像として抽出するテンプレート画像抽出手段，および上記テンプレート画像抽出手段によって抽出されたテンプレート画像と同じ画像部分を，上記テンプレート画像抽出手段によってテンプレート画像が抽出された視差マップ画像の後に上記視差マップ画像生成手段によって生成される視差マップ画像から検出する追尾被写体像検出手段を備えていることを特徴とする。
【００１２】
第２の発明は，上記被写体の追尾装置に適した動作制御方法も提供している。すなわち，この方法は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，追尾対象決定手段が，追尾対象の被写体を決定し，視差マップ画像生成手段が，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差に応じて明るさまたは階調が異なる視差マップ画像を生成し，テンプレート画像抽出手段が，上記視差マップ画像生成手段によって生成された視差マップ画像のうち，上記追尾対象決定手段によって決定された追尾対象の被写体に対応する画像部分をテンプレート画像として抽出し，追尾被写体像検出手段が，上記テンプレート画像抽出手段によって抽出されたテンプレート画像と同じ画像部分を，上記テンプレート画像抽出手段によってテンプレート画像が抽出された視差マップ画像の後に上記視差マップ画像生成手段によって生成される視差マップ画像から検出するものである。
【００１３】
第２の発明によると，同じタイミングで撮像された第１の被写体像と第２の被写体像との各部分における視差に応じて明るさが異なる視差マップ画像が生成される。視差マップ画像の中から，追尾対象の被写体に対応する画像部分がテンプレート画像として抽出される。抽出されたテンプレート画像と同じ画像部分が，そのテンプレート画像が抽出された視差マップ画像の後に生成された視差マップ画像から検出される。
【００１４】
視差マップ画像から追尾対象の被写体に対応する画像部分が検出されるので，コントラストの低い画像を用いて被写体の追尾を行う場合，追尾ができないことがある。第２の発明によると，視差マップ画像を用いて追尾が行われるので，コントラストの低い画像が撮像された場合でも被写体の追尾ができる。
【００１５】
第３の発明は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力する被写体の追尾装置において，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成する視差マップ生成手段，上記視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップを生成する差分視差マップ生成手段，および上記差分視差マップ生成手段によって生成された差分視差マップのうち，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から追尾対象の被写体を表す被写体像を検出する追尾被写体像検出手段を備えていることを特徴とする。
【００１６】
第３の発明は，上記被写体の追尾装置に適した動作制御方法も提供している。すなわち，この方法は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，追尾対象決定手段が，追尾対象の被写体を決定し，視差マップ生成手段が，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成し，差分視差マップ生成手段が，上記視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップを生成し，追尾被写体像検出手段が，上記差分視差マップ生成手段によって生成された差分視差マップのうち，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から上記追尾対象決定手段によって決定された追尾対象の被写体を表す被写体像を検出するものである。
【００１７】
第３の発明によると，視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップが生成される。生成された差分視差マップの中から，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から追尾対象の被写体を表す被写体像が検出される。
【００１８】
第３の発明によると，視差の差分が所定値以上の画像部分は動きのある被写体を示している。追尾対象は一般的には動いていると考えられるので，その動きのある部分から見つけることができるようになる。
【図面の簡単な説明】
【００１９】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】左目用画像の一例である。
【図３】右目用画像の一例である。
【図４】視差マップ画像の一例である。
【図５】視差と右目用画像と左目用画像との関係を示している。
【図６】（Ａ）から（Ｄ）は，被写体像の一例である。
【図７】（Ａ）から（Ｄ）は，視差マップ画像の一例である。
【図８】（Ａ）から（Ｄ）は，被写体像の一例である。
【図９】（Ａ）から（Ｄ）は，被写体像の一例である。
【図１０】視差マップ画像の一例である。
【図１１】視差マップ画像と差分視差マップ画像とを示している。
【図１２】自動追尾処理手順を示すフローチャートである。
【図１３】自動追尾処理手順を示すフローチャートである。
【図１４】自動追尾処理手順を示すフローチャートである。
【図１５】自動追尾処理手順を示すフローチャートである。
【実施例】
【００２０】
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。ディジタル・スチル・カメラに限らず，ディジタル・ムービ・ビデオ・カメラにも，この発明の実施例を適用できるのはいうまでもない。
【００２１】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ１によって統括される。
【００２２】
ディジタル・スチル・カメラには，操作器２が含まれている。この操作器２には，電源ボタン，モード設定ダイアル，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどが含まれている。操作器２から出力される操作信号は，ＣＰＵ１に入力する。モード設定ダイアルによって設定されるモードには撮像モード，再生モードなどがある。
【００２３】
この実施例によるディジタル・スチル・カメラは，立体的な被写体像を表示するための撮像ができる。このために，ディジタル・スチル・カメラには，観賞者の右目で見る右目用の被写体像を撮像する第１の撮像装置10と鑑賞者の左目で見る左目用の被写体像を撮像する第２の撮像装置20とが含まれている。
【００２４】
第１の撮像装置10には，第１のＣＣＤ15が含まれている。第１のＣＣＤ15の前方には，光軸方向に移動自在な撮像レンズ11，絞り12，赤外線カット・フィルタ13および光学的ロウ・パス・フィルタ14が設けられている。レンズ駆動回路（図示略）によって撮像レンズ５が位置決めされ，絞り駆動回路（図示略）によって絞り12の開口が制御される。
【００２５】
撮像モードが設定されると，被写体像を表す光線束は，撮像レンズ11によって集光され，絞り12，赤外線カット・フィルタ13および光学的ロウ・パス・フィルタ15を介して第１のＣＣＤ15の受光面上に入射する。第１のＣＣＤ15の受光面上に被写体像が結像し，右目用の被写体像を表す第１のアナログ映像信号が第１のＣＣＤ15から出力する。このように，第１のＣＣＤ15によって一定周期で被写体が撮像され，一定周期で右目用の被写体像を表す第１の映像信号が１フレーム分ずつ第１のＣＣＤ15から出力される。
【００２６】
第２の撮像装置20には，第２のＣＣＤ25が含まれている。第２のＣＣＤ25の前方には，光軸方向に移動自在な撮像レンズ21，絞り22，赤外線カット・フィルタ23および光学的ロウ・パス・フィルタ24が設けられている。撮像レンズ21もレンズ駆動回路（図示略）によって位置決めされる。絞り22も絞り駆動回路（図示略）によって開口が制御される。第１の撮像装置10の撮像タイミングと同じタイミングで第２の撮像装置20において被写体が撮像され，左目用の被写体像を表す第２のアナログ映像信号が出力される。
【００２７】
第１の撮像装置10と第２の撮像装置20とは，視角が異なっており，第１の撮像装置によって撮像された右目用の被写体像（第１の被写体像）と第２の撮像装置によって撮像された左目用の被写体像（第２の被写体像）とは視差を有する。
【００２８】
第１の撮像装置10から出力された第１のアナログ映像信号と第２の撮像装置20から出力された第２のアナログ映像信号とは，いずれもアナログ信号処理回路31に入力する。アナログ信号処理回路31には，相関二重サンプリング回路，信号増幅回路などが含まれている。第１の撮像装置10から出力された第１のアナログ映像信号および第２の撮像装置20から出力された第２のアナログ映像信号は，いずれもアナログ信号処理回路31において，相関二重サンプリング，信号増幅などが行われる。アナログ信号処理回路31から出力された第１のアナログ映像信号および第２のアナログ映像信号は，アナログ／ディジタル変換回路32に入力し，第１のディジタル画像データおよび第２のディジタル画像データに変換される。変換された第１のディジタル画像データおよび第２のディジタル画像データは，メモリ制御回路33の制御のもとにメイン・メモリ34に一時的に記憶される。
【００２９】
第１のディジタル画像データおよび第２のディジタル画像データは，メイン・メモリ34から読み出されてディジタル信号処理回路35に入力する。ディジタル信号処理回路35において白バランス調整，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル信号処理回路35においてディジタル信号処理が行われた第１のディジタル画像データおよび第２のディジタル画像データは，表示制御回路40に与えられる。表示制御回路40によって表示装置41が制御されることにより，表示装置41の表示画面上に撮像により得られた被写体像が立体的に表示される。
【００３０】
シャッタ・レリーズ・ボタンの第一段階の押下があると，上述のようにしてアナログ／ディジタル変換回路32から出力された第１のディジタル画像データおよび第２のディジタル画像データは，メイン・メモリ34に記録される。メイン・メモリ34から読み出された第１のディジタル画像データは，ディジタル信号処理回路35において輝度データに変換される。変換された輝度データが積算回路37に入力し，積算される。積算値を表すデータがＣＰＵ１に与えられ，露出量が算出される。算出された露出量となるように，絞り12および22の開口および第１のＣＣＤ15および第２のＣＣＤ25のシャッタ速度が制御される。
【００３１】
シャッタ・レリーズ・ボタンの第二段階の押下があると，同様にしてアナログ／ディジタル変換回路32から出力された第１の画像データおよび第２の画像データは，メイン・メモリ34に記録される。メイン・メモリ34から読み出された画像データは，上述したのと同様に，ディジタル信号処理回路35において所定のディジタル信号処理が行われる。ディジタル信号処理回路35から出力された第１の画像データおよび第２の画像データは，圧縮伸長処理回路36においてデータ圧縮が行われる。データ圧縮された第１の画像データおよび第２の画像データが外部メモリ制御回路38の制御によりメモリ・カード39に記録される。
【００３２】
さらに，この実施例では，被写体像に含まれるターゲット画像（追尾対象）について自動追尾することができる。自動追尾により，撮像により連続して得られる被写体像（動画）に含まれる追尾対象に枠（追尾枠）を表示しつづけることができる。特定の人物を見失うことなく，撮像を繰り返すことができる。また，そのターゲット画像が適正な明るさとなるように露光調整，そのターゲット画像が合焦するような焦点調整ができる。
【００３３】
追尾対象を追尾する場合，ターゲット画像を設定する必要がある（初期ターゲット設定）。追尾枠の初期位置を決定するために，ディジタル・スチル・カメラには初期ターゲット設定装置42が含まれている。初期ターゲット設定装置42において設定された追尾枠は表示装置41の表示画面に表示される。初期ターゲット設定装置42において設定された追尾枠内の画像（またはその近傍の被写体の画像）がターゲット画像とされて，そのターゲット画像が自動追尾装置43によって追尾される（追尾対象決定手段）。
【００３４】
再生モードが設定されると，メモリ・カード39に記録されている圧縮画像データが読み取られる。読み取られた圧縮画像データは，圧縮伸長処理回路22において伸長される。伸長された画像データが表示制御回路40に与えられることにより，表示装置41の表示画面上に，再生画像が表示される。上述した自動追尾は記録時だけでなく，再生時に行われるようにしてもよい。
【００３５】
この実施例による自動追尾は，視差マップが利用される。視差マップの生成については公知であるが簡単に説明する。
【００３６】
図２から図４は，視差マップの生成の仕方を示している。
【００３７】
図２は，第２の撮像装置20によって撮像された左目用の被写体像51の一例である。図３は，第１の撮像装置10によって撮像された右目用の被写体像52の一例である。
【００３８】
上述したように，左目用の被写体像51と右目用の被写体像52とは視差がある。
【００３９】
左目用画像51を構成する特定の画素Ｐ１に注目する（注目画素Ｐ１）。この注目画素Ｐ１の座標を（ｘ１，ｙ１）とする。次に，左目用画像51における注目画素Ｐ１に対応する対応画素Ｐ２が右目用画像52から見つけられる。見つけられた対応画素Ｐ２における座標を（ｘ２，ｙ２）とする。注目画素Ｐ１と対応画素Ｐ２との視差ｄは，ｄ＝ｘ２−ｘ１となる。
【００４０】
図４は，視差マップの一例である。
【００４１】
この視差マップは，左目用画像51を基準にしたものであるが，右目用画像52を基準にしたものでもよい。視差マップ53において，左目用画像51の注目画素Ｐ１に対応する位置Ｐ３（ｘ１，ｙ１）に視差ｄ＝ｘ２−ｘ１が格納される。図４において視差マップは画像のように表現されているが，実際にはデータの集合である。図４では視差の違いが階調の違いとして表現されている。図４では,黒い部分ほど視差は小さい。
【００４２】
図２に示す左目用画像51を構成するすべての画素について，上述のように図３に示す右目用画像52において対応する画素が検出され，左目用画像51を構成するすべての画素と，それらのすべての画素のそれぞれに対応する右目用画像52を構成する画素と，の視差が算出されることにより，図４に示す視差マップ53が生成される。
【００４３】
図５は，観賞者の視線方向，観賞者が見ている立体画像の画像部分，立体画像を構成する右目用画像および左目用画像，ならびに視差の関係を示している。
【００４４】
右目用画像54に含まれる被写体部分Ｐ11と左目用画像に含まれ，かつ被写体部分Ｐ11に対応する被写体部分Ｐ21との視差がｄ１であったものとする。右目用画像54が表示画面56に表示されると，右目用画像54の被写体部分Ｐ11は，Ｒ１で示す位置に表示される。左目用画像55が表示画面56に表示されると，左目用画像55の被写体部分21は，Ｌ１で示す位置に表示される。位置Ｒ１に表示された右目用画像54の被写体部分Ｐ11を観賞者の右目58で見て，位置Ｌ１に表示された左目用画像55の被写体部分Ｐ21を観賞者の左目57で見ることにより，被写体部分Ｐ11とＰ21とで立体画像として表現される被写体部分ob１は，表示画面56よりも奥行きがＬ11の位置に存在するように見える。
【００４５】
これに対して，右目用画像54に含まれる被写体部分Ｐ12と左目用画像に含まれ，かつ被写体部分Ｐ12に対応する被写体部分Ｐ22との視差がｄ２であったものとする。右目用画像54が表示画面56に表示されると，右目用画像54の被写体部分Ｐ12は，Ｒ２で示す位置に表示される。左目用画像55が表示画面56に表示されると，左目用画像55の被写体部分Ｐ22は，Ｌ２で示す位置に表示される。位置Ｒ２に表示された右目用画像54の被写体部分Ｐ12を観賞者の右目58で見て，位置Ｌ２に表示された左目用画像55の被写体部分Ｐ22を観賞者の左目57で見ることにより，被写体部分Ｐ12とＰ22とで立体画像として表現される被写体部分ob２は，表示画面56よりも奥行きがＬ12の位置に存在するように見える。
【００４６】
このように，立体画像において見える位置（奥行き）は視差に依存するから，視差がわかれば，立体画像における被写体同士の相対的な位置関係（手前か奥か）がわかる。
【００４７】
図６（Ａ）から図６（Ｄ），図７（Ａ）から図７（Ｄ）および図８（Ａ）から図８（Ｄ）は，この実施例における自動追尾の第１番目の方法を説明するものである。第１番目の方法は，追尾対象の被写体よりも手前にある被写体を除外した部分を追尾対象の検索範囲とするものである。
【００４８】
図６（Ａ）から図６（Ｄ）は，撮像により得られた被写体像を表している。この実施例においては，上述のように同じタイミングで左目用の被写体像と右目用の被写体像との２フレームの画像が得られ，それらの画像を組み合わせることにより立体的な被写体像が表現される。図６（Ａ），（Ｂ），（Ｃ）および（Ｄ）は，それらの立体的な被写体像60，64，65および66を表している。被写体像60，64，65および66の順に撮像されたものとする。
【００４９】
被写体像60，64，65および66のそれぞれに歩行者61およびバイクの搭乗者62が含まれている。歩行者は左から右に歩き，バイクは右から左に走っているものとする。バイクは歩行者よりも手前を走っている。このような状況において，図６（Ａ）に示すように，追尾対象が歩行者61に設定され，自動追尾により追尾対象の歩行者61が検出されることにより追尾枠63が歩行者61上に表示される。
【００５０】
図７（Ａ），図７（Ｂ），図７（Ｃ）および図７（Ｄ）は，図６（Ａ），図６（Ｂ），図６（Ｃ）および図６（Ｄ）の被写体像60，64，65，および66に対応する視差マップが画像化された視差マップ画像70，74，75および76を示している。これらの視差マップ画像70，74，75，および76は，手前にある被写体ほど明るさが明るく，奥にある被写体ほど暗い。明るい部分が白く表現され，暗い部分が黒く表現されている。その逆でもよい。上述したように，視差と被写体同士の相対的距離は互いに依存しているので，視差マップ画像70，74，75および76が被写体までの距離を表現することが理解されよう。視差マップ画像70，74，75および76は明るさでなく，階調で表現してもよい。手前にある被写体ほど白くなり，奥にある被写体ほど黒くなる。その逆でもよい。
【００５１】
図７（Ａ）〜図７（Ｄ）において，グレーの画像部分71は歩行者61に対応し，白い画像部分72はバイクの搭乗者62に対応している。図７（Ａ）〜図７（Ｄ）を見ると，バイクの搭乗者62が歩行者61よりも手前を入っていることが一見してわかる。
【００５２】
第１番目の方法では，上述したように，追尾対象の被写体よりも手前にある被写体を除外した部分を追尾対象の検索範囲とするものである。具体的には，図７（Ａ）〜図７（Ｄ）のそれぞれにおいて，追尾対象である歩行者61に対応するグレーの画像部分71よりも白い画像部分は，歩行者61よりも手前にあるので，それらの白い画像部分は検索範囲から除外される。
【００５３】
図８（Ａ）から図８（Ｄ）は，検索範囲から除外された部分が黒くされている被写体像の一例である（図７（Ａ）〜図７（Ｄ）においては検索範囲から除外される部分は白であったが，図８（Ａ）から図８（Ｄ）においてはわかりやすくするために検索範囲から除外される部分が黒くされている）。
【００５４】
被写体像60，64，65および66に対応する被写体像80，84，85および86において，黒い画像部分を除いた部分が追尾対象の検索範囲とされる。被写体像80，84，85および86のそれぞれから追尾対象である歩行者61のうち，設定された追尾対象部分63が見つけられる。図６（Ｂ）または図６（Ｃ）に示すように，追尾対象の歩行者61よりも手前の部分を検索範囲から除外しないと，追尾対象の歩行者61の手前に他の被写体（バイクの搭乗者62）が存在すると歩行者61を追尾せずに,追尾対象よりも手前にある被写体を誤って追尾してしまうことがあるが，この方法では追尾対象よりも手前にある被写体を誤って追尾してしまうことを未然に防止できる。
【００５５】
上記の方法では，追尾対象よりも手前の被写体を，追尾対象の検索範囲から除外しているが，被写体までの距離は被写体までの視差に依存するので，追尾対象の視差よりも少ない視差を有する被写体（画像部分）を除く部分を追尾対象の検出範囲と決定するようにしてもよい。
【００５６】
図９（Ａ）〜図９（Ｄ）は，自動追尾の第２番目の方法を示すもので，被写体像の一例である。
【００５７】
これらの被写体像90，94，95および96は，上述した被写体像60，64，65および66に対応するもので，追尾対象の歩行者61（追尾枠63内の被写体）の視差から所定範囲外の視差をもつ被写体の部分が黒くされている。第２番目の方法では，追尾対象の視差から所定の範囲の視差をもつ範囲が追尾対象の検出範囲となる。図９（Ａ）〜図９（Ｄ）では，黒くされた部分以外の部分が追尾対象の検出範囲となる。第２番目の方法においては，追尾対象から手前側または奥側近辺に存在する被写体が追尾対象の検出範囲に限定されるので，追尾対象以外の被写体を誤って追尾してしまうことを未然に防止できる。
【００５８】
図10は，自動追尾の第３番目の方法を示すものである。
【００５９】
図10は，上述した視差マップ画像70である（図７（Ａ））。追尾対象の歩行者61に対応するグレーの部分71から，テンプレート画像101および102が抽出される。抽出するテンプレート画像は１つでも３つ以上でもよい。抽出されたテンプレート画像101および102が，テンプレート画像101および102が抽出された視差マップ画像70よりも後に生成された視差マップ画像74から見つけられる。視差マップ画像74から見つけられたテンプレート画像101および102の位置が，視差マップ画像74に対応する被写体像64における追尾対象の被写体61の位置となる。輝度や色差では検出できないようなコントラストが低い被写体像であっても追尾できるようになる。
【００６０】
図11は，自動追尾の第４番目の方法を示すものである。第４番目の方法では，２つの視差マップ画像の差分視差マップ画像が生成される。
【００６１】
第１番目の視差マップ画像70と第２番目の視差マップ画像74から，それぞれの視差の差分を表す差分視差マップ画像110が生成される。差分視差マップ画像110は，第２の視差マップ画像74に対応する被写体像64を構成する画素位置の視差から，その画素位置に対応する視差であって，第１の視差マップ画像70に対応する被写体像60を構成する画素位置の視差を，すべての画素位置に対応する視差について，減算（絶対値化）したものである。
【００６２】
差分視差マップ画像110からは，動きのある被写体の部分が動きの無い被写体の部分と区別される。たとえば，差分視差マップ画像110においては，グレーの画像部分111Ａおよび111Ｂは左から右に歩く歩行者61に対応しており，白い部分112は右から左に入るバイクの搭乗者62に対応している。これらのグレーの部分111Ａおよび111Ｂならびに白い部分112から上述のテンプレート画像101および102に対応する画像部分が検出されることにより，自動追尾が実現される。
【００６３】
上述した実施例では，わかりやすくするために視差マップを画像化したものが図示されているが，必ずしも図９に示す方法を除いては必ずしも視差マップを画像化する必要は無い。視差（距離）がわかればよい。
【００６４】
図12から図15は，自動追尾処理手順を示すフローチャートである。この処理は，図６（Ａ）に示す被写体像60が得られており，その被写体像60から追尾対象である歩行者61が指定されているものとする。たとえば，被写体像60が表示されている表示画面にタッチパネルが形成されており，歩行者61上をタッチすることにより，追尾対象である歩行者61が指定される。
【００６５】
同じタイミングで撮像された左目用の被写体像と右目用の被写体像とが入力し，そのタイミングでの今回の視差マップ画像が生成されて記憶される（図12ステップ121）。たとえば，左目用の被写体像と右目用の被写体像によって図６（Ｂ）に示す被写体像64が得られる場合には，図７（Ｂ）に示す視差マップ画像74が生成される。
【００６６】
前回に生成された視差マップ画像70から追尾対象画像部分の視差ｄが得られる（図12ステップ122）。
【００６７】
まず，第１番目の方法により自動追尾処理が行われる。すなわち，今回の視差マップ画像74から，追尾対照画像部分の視差である視差ｄ以下の視差をもつ画像部分を除く（上述のように，追尾対象の歩行者61よりも手前の被写体の画像部分を除いてもよい）部分が追尾対象の検出対象範囲と決定される。図７（Ｂ）に示す視差マップ画像74では，白い部分72を除く部分が検出対象範囲とされる。また，図８（Ｂ）に示す被写体像84では黒い部分を除く部分が検出対象範囲とされる。被写体像64から，決定した検出対象範囲において，追尾対象として指定された歩行者61を検出する自動追尾処理が行われる。
【００６８】
追尾対象が見つかり（図12ステップ124でＹＥＳ），追尾処理の終了指令がなければ（図13ステップ125でＮＯ），検出された歩行者61の追尾対称位置が更新される（図13ステップ126）。
【００６９】
追尾対象が見つからなければ（図12ステップ124でＮＯ），第２番目の方法により自動追尾処理が行われる。すなわち，今回の視差マップ画像74から追尾対象部分の視差ｄ±α（αは所定の値）の視差をもつ画像部分が追尾対象の検出範囲と決定される（図14ステップ127）。図９（Ｂ）に示す被写体像94では黒い部分を除く部分が検出対象範囲とされる。図９（Ｂ）に示すように，決定された検出対象範囲において追尾対象である歩行者61が見つけられる。追尾対象が見つかると（図14ステップ128でＹＥＳ），追尾処理の終了指令がなければ（図13ステップ125でＮＯ），検出された歩行者61の追尾対称位置が更新される（図13ステップ126）。
【００７０】
追尾対象が見つからなければ（図14ステップ128でＮＯ），第３番目の方法により自動追尾が行われる。まず，前回に生成された視差マップ画像70から追尾対象である歩行者に対応するテンプレート画像101および102が抽出される（図14ステップ129）。抽出された0テンプレート画像101および102と同じ画像部分が今回の視差マップ画像74から見つけられる（図14ステップ130）。追尾対象が見つかると（図14ステップ131でＹＥＳ），追尾処理の終了指令がなければ（図13ステップ125でＮＯ），検出された歩行者61の追尾対称位置が更新される（図13ステップ126）。
【００７１】
追尾対象が見つからなければ（図14ステップ131でＮＯ），第４番目の方法により自動追尾が行われる。すなわち，前回の視差マップ画像70と今回の視差マップ画像74とから差分視差マップ画像110が生成される（図15ステップ132）。生成された差分視差マップ画像110から視差の差分が所定のしきい値以上の画像部分が検出される（図15ステップ133）。検出された画像部分が追尾対象の検出範囲と決定される（図15ステップ134）。追尾対象が見つかると（図15ステップ135でＹＥＳ），追尾処理の終了指令がなければ（図13ステップ125でＮＯ），検出された歩行者61の追尾対称位置が更新される（図13ステップ126）。
【００７２】
追尾対象が見つからなければ（図15ステップ135でＮＯ），追尾対象位置は更新できずに，図12のステップ121からの処理が繰り返される。
【００７３】
以下，同様にして，順に入力する左目用画像と右目用画像とについて自動追尾処理が繰り返される。このようにして，図６（Ａ）から図６（Ｄ）に示すように追尾対象となる歩行者61にマーク63が表示され続ける。
【００７４】
上述の実施例では，第１番目の方法から第４番目の方法が組み合わせられて自動追尾処理が行われているが，それぞれの方法が単独で実施されてよいし，任意の組み合わせにより実施してもよい。
【符号の説明】
【００７５】
１ ＣＰＵ
10 第１の撮像装置
20 第２の撮像装置
43 自動追尾装置（視差マップ画像生成手段，検出対象範囲決定手段，追尾被写体像検出手段）
【技術分野】
【０００１】
この発明は，被写体の追尾装置およびその動作制御方法に関する。
【背景技術】
【０００２】
ディジタル・スチル・カメラに代表されるディジタル・カメラにおいては，その機能を生かして三角測量で測距して合焦させるもの（特許文献１），測距手段を用いてフォーカス動作を行うもの（特許文献２）などがある。また，ディジタル・カメラでは，被写体を連続して撮像し，特定の人物，顔などを枠で囲んで表示する追尾機能を有しているものもある。追尾機能を有しているディジタル・カメラなどでは，正確に追尾することが要求される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2001-235675号公報
【特許文献２】特開2008-175922号公報
【発明の概要】
【０００４】
この発明は，比較的正確に追尾することを目的とする。
【０００５】
第１の発明は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，追尾対象の被写体を決定する追尾対象決定手段，上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成する視差マップ生成手段，上記視差マップ生成手段によって生成された視差マップにもとづいて，上記追尾対象決定手段によって決定された追尾対象の被写体よりも手前に存在する被写体を除く部分を追尾対象の検出対象範囲と決定する検出対象範囲決定手段，ならびに上記検出対象範囲決定手段によって決定された検出対象範囲において，上記第１の被写体像および上記第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像を検出する追尾被写体像検出手段を備えていることを特徴とする。
【０００６】
第１の発明は，上記被写体の追尾装置に適した動作制御方法も提供している。すなわち，この方法は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，追尾対象決定手段が，追尾対象の被写体を決定し，視差マップ生成手段が，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成し，検出対象範囲決定手段が，上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体よりも手前に存在する被写体を除く部分を上記追尾対象決定手段によって決定された追尾対象の検出対象範囲と決定し，追尾被写体像検出手段が，上記検出対象範囲決定手段によって決定された検出対象範囲において，上記第１の被写体像および上記第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像を検出するものである。
【０００７】
第１の発明によると，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力する。同じタイミングで撮像された第１の被写体像と第２の被写体像との各部分における視差を表す視差マップが生成される。生成された視差マップのうち，追尾対象の被写体よりも手前に存在する被写体を除く部分が，追尾対象の検出対象範囲と決定される。決定された検出対象範囲において，第１の被写体像および第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像が検出される。
【０００８】
第１の発明によると，視差マップが生成される。視差マップは，撮影範囲内に含まれる被写体までの距離を実質的に表すものである。そのような視差マップのうち，追尾対象の被写体よりも手前に存在する被写体を除く部分が追尾対象の検出対象範囲と決定され，その検出対象範囲から追尾対象の被写体が検出される。追尾対象の被写体を検出する検出対象範囲は，追尾対象の被写体よりも手前に存在する被写体が除かれているから，追尾対象と第１の撮像装置および第２の撮像装置との間に障害物が入ってしまった場合であっても追尾対象を比較的正確に追尾できる。
【０００９】
上記検出対象範囲決定手段は，たとえば，上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体に対応する画像部分の視差よりも少ない視差を有する画像部分を除く部分を追尾対象の検出範囲と決定するものである。
【００１０】
上記検出対象範囲決定手段は，上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体に対応する画像部分の視差から所定範囲内の視差を有する画像部分を追尾対象の検出範囲と決定するものでもよい。また，追尾対象の検出範囲が限定されているので，追尾に要する時間を短縮できる。
【００１１】
第２の発明は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，追尾対象の被写体を決定する追尾対象決定手段，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差に応じて明るさまたは階調が異なる視差マップ画像を生成する視差マップ画像生成手段，上記視差マップ画像生成手段によって生成された視差マップ画像のうち，上記追尾対象決定手段によって決定された追尾対象の被写体に対応する画像部分をテンプレート画像として抽出するテンプレート画像抽出手段，および上記テンプレート画像抽出手段によって抽出されたテンプレート画像と同じ画像部分を，上記テンプレート画像抽出手段によってテンプレート画像が抽出された視差マップ画像の後に上記視差マップ画像生成手段によって生成される視差マップ画像から検出する追尾被写体像検出手段を備えていることを特徴とする。
【００１２】
第２の発明は，上記被写体の追尾装置に適した動作制御方法も提供している。すなわち，この方法は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，追尾対象決定手段が，追尾対象の被写体を決定し，視差マップ画像生成手段が，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差に応じて明るさまたは階調が異なる視差マップ画像を生成し，テンプレート画像抽出手段が，上記視差マップ画像生成手段によって生成された視差マップ画像のうち，上記追尾対象決定手段によって決定された追尾対象の被写体に対応する画像部分をテンプレート画像として抽出し，追尾被写体像検出手段が，上記テンプレート画像抽出手段によって抽出されたテンプレート画像と同じ画像部分を，上記テンプレート画像抽出手段によってテンプレート画像が抽出された視差マップ画像の後に上記視差マップ画像生成手段によって生成される視差マップ画像から検出するものである。
【００１３】
第２の発明によると，同じタイミングで撮像された第１の被写体像と第２の被写体像との各部分における視差に応じて明るさが異なる視差マップ画像が生成される。視差マップ画像の中から，追尾対象の被写体に対応する画像部分がテンプレート画像として抽出される。抽出されたテンプレート画像と同じ画像部分が，そのテンプレート画像が抽出された視差マップ画像の後に生成された視差マップ画像から検出される。
【００１４】
視差マップ画像から追尾対象の被写体に対応する画像部分が検出されるので，コントラストの低い画像を用いて被写体の追尾を行う場合，追尾ができないことがある。第２の発明によると，視差マップ画像を用いて追尾が行われるので，コントラストの低い画像が撮像された場合でも被写体の追尾ができる。
【００１５】
第３の発明は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力する被写体の追尾装置において，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成する視差マップ生成手段，上記視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップを生成する差分視差マップ生成手段，および上記差分視差マップ生成手段によって生成された差分視差マップのうち，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から追尾対象の被写体を表す被写体像を検出する追尾被写体像検出手段を備えていることを特徴とする。
【００１６】
第３の発明は，上記被写体の追尾装置に適した動作制御方法も提供している。すなわち，この方法は，第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，追尾対象決定手段が，追尾対象の被写体を決定し，視差マップ生成手段が，入力した第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成し，差分視差マップ生成手段が，上記視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップを生成し，追尾被写体像検出手段が，上記差分視差マップ生成手段によって生成された差分視差マップのうち，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から上記追尾対象決定手段によって決定された追尾対象の被写体を表す被写体像を検出するものである。
【００１７】
第３の発明によると，視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップが生成される。生成された差分視差マップの中から，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から追尾対象の被写体を表す被写体像が検出される。
【００１８】
第３の発明によると，視差の差分が所定値以上の画像部分は動きのある被写体を示している。追尾対象は一般的には動いていると考えられるので，その動きのある部分から見つけることができるようになる。
【図面の簡単な説明】
【００１９】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】左目用画像の一例である。
【図３】右目用画像の一例である。
【図４】視差マップ画像の一例である。
【図５】視差と右目用画像と左目用画像との関係を示している。
【図６】（Ａ）から（Ｄ）は，被写体像の一例である。
【図７】（Ａ）から（Ｄ）は，視差マップ画像の一例である。
【図８】（Ａ）から（Ｄ）は，被写体像の一例である。
【図９】（Ａ）から（Ｄ）は，被写体像の一例である。
【図１０】視差マップ画像の一例である。
【図１１】視差マップ画像と差分視差マップ画像とを示している。
【図１２】自動追尾処理手順を示すフローチャートである。
【図１３】自動追尾処理手順を示すフローチャートである。
【図１４】自動追尾処理手順を示すフローチャートである。
【図１５】自動追尾処理手順を示すフローチャートである。
【実施例】
【００２０】
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。ディジタル・スチル・カメラに限らず，ディジタル・ムービ・ビデオ・カメラにも，この発明の実施例を適用できるのはいうまでもない。
【００２１】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ１によって統括される。
【００２２】
ディジタル・スチル・カメラには，操作器２が含まれている。この操作器２には，電源ボタン，モード設定ダイアル，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどが含まれている。操作器２から出力される操作信号は，ＣＰＵ１に入力する。モード設定ダイアルによって設定されるモードには撮像モード，再生モードなどがある。
【００２３】
この実施例によるディジタル・スチル・カメラは，立体的な被写体像を表示するための撮像ができる。このために，ディジタル・スチル・カメラには，観賞者の右目で見る右目用の被写体像を撮像する第１の撮像装置10と鑑賞者の左目で見る左目用の被写体像を撮像する第２の撮像装置20とが含まれている。
【００２４】
第１の撮像装置10には，第１のＣＣＤ15が含まれている。第１のＣＣＤ15の前方には，光軸方向に移動自在な撮像レンズ11，絞り12，赤外線カット・フィルタ13および光学的ロウ・パス・フィルタ14が設けられている。レンズ駆動回路（図示略）によって撮像レンズ５が位置決めされ，絞り駆動回路（図示略）によって絞り12の開口が制御される。
【００２５】
撮像モードが設定されると，被写体像を表す光線束は，撮像レンズ11によって集光され，絞り12，赤外線カット・フィルタ13および光学的ロウ・パス・フィルタ15を介して第１のＣＣＤ15の受光面上に入射する。第１のＣＣＤ15の受光面上に被写体像が結像し，右目用の被写体像を表す第１のアナログ映像信号が第１のＣＣＤ15から出力する。このように，第１のＣＣＤ15によって一定周期で被写体が撮像され，一定周期で右目用の被写体像を表す第１の映像信号が１フレーム分ずつ第１のＣＣＤ15から出力される。
【００２６】
第２の撮像装置20には，第２のＣＣＤ25が含まれている。第２のＣＣＤ25の前方には，光軸方向に移動自在な撮像レンズ21，絞り22，赤外線カット・フィルタ23および光学的ロウ・パス・フィルタ24が設けられている。撮像レンズ21もレンズ駆動回路（図示略）によって位置決めされる。絞り22も絞り駆動回路（図示略）によって開口が制御される。第１の撮像装置10の撮像タイミングと同じタイミングで第２の撮像装置20において被写体が撮像され，左目用の被写体像を表す第２のアナログ映像信号が出力される。
【００２７】
第１の撮像装置10と第２の撮像装置20とは，視角が異なっており，第１の撮像装置によって撮像された右目用の被写体像（第１の被写体像）と第２の撮像装置によって撮像された左目用の被写体像（第２の被写体像）とは視差を有する。
【００２８】
第１の撮像装置10から出力された第１のアナログ映像信号と第２の撮像装置20から出力された第２のアナログ映像信号とは，いずれもアナログ信号処理回路31に入力する。アナログ信号処理回路31には，相関二重サンプリング回路，信号増幅回路などが含まれている。第１の撮像装置10から出力された第１のアナログ映像信号および第２の撮像装置20から出力された第２のアナログ映像信号は，いずれもアナログ信号処理回路31において，相関二重サンプリング，信号増幅などが行われる。アナログ信号処理回路31から出力された第１のアナログ映像信号および第２のアナログ映像信号は，アナログ／ディジタル変換回路32に入力し，第１のディジタル画像データおよび第２のディジタル画像データに変換される。変換された第１のディジタル画像データおよび第２のディジタル画像データは，メモリ制御回路33の制御のもとにメイン・メモリ34に一時的に記憶される。
【００２９】
第１のディジタル画像データおよび第２のディジタル画像データは，メイン・メモリ34から読み出されてディジタル信号処理回路35に入力する。ディジタル信号処理回路35において白バランス調整，ガンマ補正などの所定のディジタル信号処理が行われる。ディジタル信号処理回路35においてディジタル信号処理が行われた第１のディジタル画像データおよび第２のディジタル画像データは，表示制御回路40に与えられる。表示制御回路40によって表示装置41が制御されることにより，表示装置41の表示画面上に撮像により得られた被写体像が立体的に表示される。
【００３０】
シャッタ・レリーズ・ボタンの第一段階の押下があると，上述のようにしてアナログ／ディジタル変換回路32から出力された第１のディジタル画像データおよび第２のディジタル画像データは，メイン・メモリ34に記録される。メイン・メモリ34から読み出された第１のディジタル画像データは，ディジタル信号処理回路35において輝度データに変換される。変換された輝度データが積算回路37に入力し，積算される。積算値を表すデータがＣＰＵ１に与えられ，露出量が算出される。算出された露出量となるように，絞り12および22の開口および第１のＣＣＤ15および第２のＣＣＤ25のシャッタ速度が制御される。
【００３１】
シャッタ・レリーズ・ボタンの第二段階の押下があると，同様にしてアナログ／ディジタル変換回路32から出力された第１の画像データおよび第２の画像データは，メイン・メモリ34に記録される。メイン・メモリ34から読み出された画像データは，上述したのと同様に，ディジタル信号処理回路35において所定のディジタル信号処理が行われる。ディジタル信号処理回路35から出力された第１の画像データおよび第２の画像データは，圧縮伸長処理回路36においてデータ圧縮が行われる。データ圧縮された第１の画像データおよび第２の画像データが外部メモリ制御回路38の制御によりメモリ・カード39に記録される。
【００３２】
さらに，この実施例では，被写体像に含まれるターゲット画像（追尾対象）について自動追尾することができる。自動追尾により，撮像により連続して得られる被写体像（動画）に含まれる追尾対象に枠（追尾枠）を表示しつづけることができる。特定の人物を見失うことなく，撮像を繰り返すことができる。また，そのターゲット画像が適正な明るさとなるように露光調整，そのターゲット画像が合焦するような焦点調整ができる。
【００３３】
追尾対象を追尾する場合，ターゲット画像を設定する必要がある（初期ターゲット設定）。追尾枠の初期位置を決定するために，ディジタル・スチル・カメラには初期ターゲット設定装置42が含まれている。初期ターゲット設定装置42において設定された追尾枠は表示装置41の表示画面に表示される。初期ターゲット設定装置42において設定された追尾枠内の画像（またはその近傍の被写体の画像）がターゲット画像とされて，そのターゲット画像が自動追尾装置43によって追尾される（追尾対象決定手段）。
【００３４】
再生モードが設定されると，メモリ・カード39に記録されている圧縮画像データが読み取られる。読み取られた圧縮画像データは，圧縮伸長処理回路22において伸長される。伸長された画像データが表示制御回路40に与えられることにより，表示装置41の表示画面上に，再生画像が表示される。上述した自動追尾は記録時だけでなく，再生時に行われるようにしてもよい。
【００３５】
この実施例による自動追尾は，視差マップが利用される。視差マップの生成については公知であるが簡単に説明する。
【００３６】
図２から図４は，視差マップの生成の仕方を示している。
【００３７】
図２は，第２の撮像装置20によって撮像された左目用の被写体像51の一例である。図３は，第１の撮像装置10によって撮像された右目用の被写体像52の一例である。
【００３８】
上述したように，左目用の被写体像51と右目用の被写体像52とは視差がある。
【００３９】
左目用画像51を構成する特定の画素Ｐ１に注目する（注目画素Ｐ１）。この注目画素Ｐ１の座標を（ｘ１，ｙ１）とする。次に，左目用画像51における注目画素Ｐ１に対応する対応画素Ｐ２が右目用画像52から見つけられる。見つけられた対応画素Ｐ２における座標を（ｘ２，ｙ２）とする。注目画素Ｐ１と対応画素Ｐ２との視差ｄは，ｄ＝ｘ２−ｘ１となる。
【００４０】
図４は，視差マップの一例である。
【００４１】
この視差マップは，左目用画像51を基準にしたものであるが，右目用画像52を基準にしたものでもよい。視差マップ53において，左目用画像51の注目画素Ｐ１に対応する位置Ｐ３（ｘ１，ｙ１）に視差ｄ＝ｘ２−ｘ１が格納される。図４において視差マップは画像のように表現されているが，実際にはデータの集合である。図４では視差の違いが階調の違いとして表現されている。図４では,黒い部分ほど視差は小さい。
【００４２】
図２に示す左目用画像51を構成するすべての画素について，上述のように図３に示す右目用画像52において対応する画素が検出され，左目用画像51を構成するすべての画素と，それらのすべての画素のそれぞれに対応する右目用画像52を構成する画素と，の視差が算出されることにより，図４に示す視差マップ53が生成される。
【００４３】
図５は，観賞者の視線方向，観賞者が見ている立体画像の画像部分，立体画像を構成する右目用画像および左目用画像，ならびに視差の関係を示している。
【００４４】
右目用画像54に含まれる被写体部分Ｐ11と左目用画像に含まれ，かつ被写体部分Ｐ11に対応する被写体部分Ｐ21との視差がｄ１であったものとする。右目用画像54が表示画面56に表示されると，右目用画像54の被写体部分Ｐ11は，Ｒ１で示す位置に表示される。左目用画像55が表示画面56に表示されると，左目用画像55の被写体部分21は，Ｌ１で示す位置に表示される。位置Ｒ１に表示された右目用画像54の被写体部分Ｐ11を観賞者の右目58で見て，位置Ｌ１に表示された左目用画像55の被写体部分Ｐ21を観賞者の左目57で見ることにより，被写体部分Ｐ11とＰ21とで立体画像として表現される被写体部分ob１は，表示画面56よりも奥行きがＬ11の位置に存在するように見える。
【００４５】
これに対して，右目用画像54に含まれる被写体部分Ｐ12と左目用画像に含まれ，かつ被写体部分Ｐ12に対応する被写体部分Ｐ22との視差がｄ２であったものとする。右目用画像54が表示画面56に表示されると，右目用画像54の被写体部分Ｐ12は，Ｒ２で示す位置に表示される。左目用画像55が表示画面56に表示されると，左目用画像55の被写体部分Ｐ22は，Ｌ２で示す位置に表示される。位置Ｒ２に表示された右目用画像54の被写体部分Ｐ12を観賞者の右目58で見て，位置Ｌ２に表示された左目用画像55の被写体部分Ｐ22を観賞者の左目57で見ることにより，被写体部分Ｐ12とＰ22とで立体画像として表現される被写体部分ob２は，表示画面56よりも奥行きがＬ12の位置に存在するように見える。
【００４６】
このように，立体画像において見える位置（奥行き）は視差に依存するから，視差がわかれば，立体画像における被写体同士の相対的な位置関係（手前か奥か）がわかる。
【００４７】
図６（Ａ）から図６（Ｄ），図７（Ａ）から図７（Ｄ）および図８（Ａ）から図８（Ｄ）は，この実施例における自動追尾の第１番目の方法を説明するものである。第１番目の方法は，追尾対象の被写体よりも手前にある被写体を除外した部分を追尾対象の検索範囲とするものである。
【００４８】
図６（Ａ）から図６（Ｄ）は，撮像により得られた被写体像を表している。この実施例においては，上述のように同じタイミングで左目用の被写体像と右目用の被写体像との２フレームの画像が得られ，それらの画像を組み合わせることにより立体的な被写体像が表現される。図６（Ａ），（Ｂ），（Ｃ）および（Ｄ）は，それらの立体的な被写体像60，64，65および66を表している。被写体像60，64，65および66の順に撮像されたものとする。
【００４９】
被写体像60，64，65および66のそれぞれに歩行者61およびバイクの搭乗者62が含まれている。歩行者は左から右に歩き，バイクは右から左に走っているものとする。バイクは歩行者よりも手前を走っている。このような状況において，図６（Ａ）に示すように，追尾対象が歩行者61に設定され，自動追尾により追尾対象の歩行者61が検出されることにより追尾枠63が歩行者61上に表示される。
【００５０】
図７（Ａ），図７（Ｂ），図７（Ｃ）および図７（Ｄ）は，図６（Ａ），図６（Ｂ），図６（Ｃ）および図６（Ｄ）の被写体像60，64，65，および66に対応する視差マップが画像化された視差マップ画像70，74，75および76を示している。これらの視差マップ画像70，74，75，および76は，手前にある被写体ほど明るさが明るく，奥にある被写体ほど暗い。明るい部分が白く表現され，暗い部分が黒く表現されている。その逆でもよい。上述したように，視差と被写体同士の相対的距離は互いに依存しているので，視差マップ画像70，74，75および76が被写体までの距離を表現することが理解されよう。視差マップ画像70，74，75および76は明るさでなく，階調で表現してもよい。手前にある被写体ほど白くなり，奥にある被写体ほど黒くなる。その逆でもよい。
【００５１】
図７（Ａ）〜図７（Ｄ）において，グレーの画像部分71は歩行者61に対応し，白い画像部分72はバイクの搭乗者62に対応している。図７（Ａ）〜図７（Ｄ）を見ると，バイクの搭乗者62が歩行者61よりも手前を入っていることが一見してわかる。
【００５２】
第１番目の方法では，上述したように，追尾対象の被写体よりも手前にある被写体を除外した部分を追尾対象の検索範囲とするものである。具体的には，図７（Ａ）〜図７（Ｄ）のそれぞれにおいて，追尾対象である歩行者61に対応するグレーの画像部分71よりも白い画像部分は，歩行者61よりも手前にあるので，それらの白い画像部分は検索範囲から除外される。
【００５３】
図８（Ａ）から図８（Ｄ）は，検索範囲から除外された部分が黒くされている被写体像の一例である（図７（Ａ）〜図７（Ｄ）においては検索範囲から除外される部分は白であったが，図８（Ａ）から図８（Ｄ）においてはわかりやすくするために検索範囲から除外される部分が黒くされている）。
【００５４】
被写体像60，64，65および66に対応する被写体像80，84，85および86において，黒い画像部分を除いた部分が追尾対象の検索範囲とされる。被写体像80，84，85および86のそれぞれから追尾対象である歩行者61のうち，設定された追尾対象部分63が見つけられる。図６（Ｂ）または図６（Ｃ）に示すように，追尾対象の歩行者61よりも手前の部分を検索範囲から除外しないと，追尾対象の歩行者61の手前に他の被写体（バイクの搭乗者62）が存在すると歩行者61を追尾せずに,追尾対象よりも手前にある被写体を誤って追尾してしまうことがあるが，この方法では追尾対象よりも手前にある被写体を誤って追尾してしまうことを未然に防止できる。
【００５５】
上記の方法では，追尾対象よりも手前の被写体を，追尾対象の検索範囲から除外しているが，被写体までの距離は被写体までの視差に依存するので，追尾対象の視差よりも少ない視差を有する被写体（画像部分）を除く部分を追尾対象の検出範囲と決定するようにしてもよい。
【００５６】
図９（Ａ）〜図９（Ｄ）は，自動追尾の第２番目の方法を示すもので，被写体像の一例である。
【００５７】
これらの被写体像90，94，95および96は，上述した被写体像60，64，65および66に対応するもので，追尾対象の歩行者61（追尾枠63内の被写体）の視差から所定範囲外の視差をもつ被写体の部分が黒くされている。第２番目の方法では，追尾対象の視差から所定の範囲の視差をもつ範囲が追尾対象の検出範囲となる。図９（Ａ）〜図９（Ｄ）では，黒くされた部分以外の部分が追尾対象の検出範囲となる。第２番目の方法においては，追尾対象から手前側または奥側近辺に存在する被写体が追尾対象の検出範囲に限定されるので，追尾対象以外の被写体を誤って追尾してしまうことを未然に防止できる。
【００５８】
図10は，自動追尾の第３番目の方法を示すものである。
【００５９】
図10は，上述した視差マップ画像70である（図７（Ａ））。追尾対象の歩行者61に対応するグレーの部分71から，テンプレート画像101および102が抽出される。抽出するテンプレート画像は１つでも３つ以上でもよい。抽出されたテンプレート画像101および102が，テンプレート画像101および102が抽出された視差マップ画像70よりも後に生成された視差マップ画像74から見つけられる。視差マップ画像74から見つけられたテンプレート画像101および102の位置が，視差マップ画像74に対応する被写体像64における追尾対象の被写体61の位置となる。輝度や色差では検出できないようなコントラストが低い被写体像であっても追尾できるようになる。
【００６０】
図11は，自動追尾の第４番目の方法を示すものである。第４番目の方法では，２つの視差マップ画像の差分視差マップ画像が生成される。
【００６１】
第１番目の視差マップ画像70と第２番目の視差マップ画像74から，それぞれの視差の差分を表す差分視差マップ画像110が生成される。差分視差マップ画像110は，第２の視差マップ画像74に対応する被写体像64を構成する画素位置の視差から，その画素位置に対応する視差であって，第１の視差マップ画像70に対応する被写体像60を構成する画素位置の視差を，すべての画素位置に対応する視差について，減算（絶対値化）したものである。
【００６２】
差分視差マップ画像110からは，動きのある被写体の部分が動きの無い被写体の部分と区別される。たとえば，差分視差マップ画像110においては，グレーの画像部分111Ａおよび111Ｂは左から右に歩く歩行者61に対応しており，白い部分112は右から左に入るバイクの搭乗者62に対応している。これらのグレーの部分111Ａおよび111Ｂならびに白い部分112から上述のテンプレート画像101および102に対応する画像部分が検出されることにより，自動追尾が実現される。
【００６３】
上述した実施例では，わかりやすくするために視差マップを画像化したものが図示されているが，必ずしも図９に示す方法を除いては必ずしも視差マップを画像化する必要は無い。視差（距離）がわかればよい。
【００６４】
図12から図15は，自動追尾処理手順を示すフローチャートである。この処理は，図６（Ａ）に示す被写体像60が得られており，その被写体像60から追尾対象である歩行者61が指定されているものとする。たとえば，被写体像60が表示されている表示画面にタッチパネルが形成されており，歩行者61上をタッチすることにより，追尾対象である歩行者61が指定される。
【００６５】
同じタイミングで撮像された左目用の被写体像と右目用の被写体像とが入力し，そのタイミングでの今回の視差マップ画像が生成されて記憶される（図12ステップ121）。たとえば，左目用の被写体像と右目用の被写体像によって図６（Ｂ）に示す被写体像64が得られる場合には，図７（Ｂ）に示す視差マップ画像74が生成される。
【００６６】
前回に生成された視差マップ画像70から追尾対象画像部分の視差ｄが得られる（図12ステップ122）。
【００６７】
まず，第１番目の方法により自動追尾処理が行われる。すなわち，今回の視差マップ画像74から，追尾対照画像部分の視差である視差ｄ以下の視差をもつ画像部分を除く（上述のように，追尾対象の歩行者61よりも手前の被写体の画像部分を除いてもよい）部分が追尾対象の検出対象範囲と決定される。図７（Ｂ）に示す視差マップ画像74では，白い部分72を除く部分が検出対象範囲とされる。また，図８（Ｂ）に示す被写体像84では黒い部分を除く部分が検出対象範囲とされる。被写体像64から，決定した検出対象範囲において，追尾対象として指定された歩行者61を検出する自動追尾処理が行われる。
【００６８】
追尾対象が見つかり（図12ステップ124でＹＥＳ），追尾処理の終了指令がなければ（図13ステップ125でＮＯ），検出された歩行者61の追尾対称位置が更新される（図13ステップ126）。
【００６９】
追尾対象が見つからなければ（図12ステップ124でＮＯ），第２番目の方法により自動追尾処理が行われる。すなわち，今回の視差マップ画像74から追尾対象部分の視差ｄ±α（αは所定の値）の視差をもつ画像部分が追尾対象の検出範囲と決定される（図14ステップ127）。図９（Ｂ）に示す被写体像94では黒い部分を除く部分が検出対象範囲とされる。図９（Ｂ）に示すように，決定された検出対象範囲において追尾対象である歩行者61が見つけられる。追尾対象が見つかると（図14ステップ128でＹＥＳ），追尾処理の終了指令がなければ（図13ステップ125でＮＯ），検出された歩行者61の追尾対称位置が更新される（図13ステップ126）。
【００７０】
追尾対象が見つからなければ（図14ステップ128でＮＯ），第３番目の方法により自動追尾が行われる。まず，前回に生成された視差マップ画像70から追尾対象である歩行者に対応するテンプレート画像101および102が抽出される（図14ステップ129）。抽出された0テンプレート画像101および102と同じ画像部分が今回の視差マップ画像74から見つけられる（図14ステップ130）。追尾対象が見つかると（図14ステップ131でＹＥＳ），追尾処理の終了指令がなければ（図13ステップ125でＮＯ），検出された歩行者61の追尾対称位置が更新される（図13ステップ126）。
【００７１】
追尾対象が見つからなければ（図14ステップ131でＮＯ），第４番目の方法により自動追尾が行われる。すなわち，前回の視差マップ画像70と今回の視差マップ画像74とから差分視差マップ画像110が生成される（図15ステップ132）。生成された差分視差マップ画像110から視差の差分が所定のしきい値以上の画像部分が検出される（図15ステップ133）。検出された画像部分が追尾対象の検出範囲と決定される（図15ステップ134）。追尾対象が見つかると（図15ステップ135でＹＥＳ），追尾処理の終了指令がなければ（図13ステップ125でＮＯ），検出された歩行者61の追尾対称位置が更新される（図13ステップ126）。
【００７２】
追尾対象が見つからなければ（図15ステップ135でＮＯ），追尾対象位置は更新できずに，図12のステップ121からの処理が繰り返される。
【００７３】
以下，同様にして，順に入力する左目用画像と右目用画像とについて自動追尾処理が繰り返される。このようにして，図６（Ａ）から図６（Ｄ）に示すように追尾対象となる歩行者61にマーク63が表示され続ける。
【００７４】
上述の実施例では，第１番目の方法から第４番目の方法が組み合わせられて自動追尾処理が行われているが，それぞれの方法が単独で実施されてよいし，任意の組み合わせにより実施してもよい。
【符号の説明】
【００７５】
１ ＣＰＵ
10 第１の撮像装置
20 第２の撮像装置
43 自動追尾装置（視差マップ画像生成手段，検出対象範囲決定手段，追尾被写体像検出手段）
【特許請求の範囲】
【請求項１】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，
追尾対象の被写体を決定する追尾対象決定手段，
上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成する視差マップ生成手段，
上記視差マップ生成手段によって生成された視差マップにもとづいて，上記追尾対象決定手段によって決定された追尾対象の被写体よりも手前に存在する被写体を除く部分を追尾対象の検出対象範囲と決定する検出対象範囲決定手段，ならびに
上記検出対象範囲決定手段によって決定された検出対象範囲において，上記第１の被写体像および上記第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像を検出する追尾被写体像検出手段，
を備えた被写体の追尾装置。
【請求項２】
上記検出対象範囲決定手段は，
上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体に対応する画像部分の視差よりも少ない視差を有する画像部分を除く部分を追尾対象の検出範囲と決定するものである，
請求項１に記載の被写体の追尾装置。
【請求項３】
上記検出対象範囲決定手段は，
上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体に対応する画像部分の視差から所定範囲内の視差を有する画像部分を追尾対象の検出範囲と決定するものである，
請求項１または２に記載の被写体の追尾装置。
【請求項４】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，
追尾対象の被写体を決定する追尾対象決定手段，
上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差に応じて明るさまたは階調が異なる視差マップ画像を生成する視差マップ画像生成手段，
上記視差マップ画像生成手段によって生成された視差マップ画像のうち，上記追尾対象決定手段によって決定された追尾対象の被写体に対応する画像部分をテンプレート画像として抽出するテンプレート画像抽出手段，および
上記テンプレート画像抽出手段によって抽出されたテンプレート画像と同じ画像部分を，上記テンプレート画像抽出手段によってテンプレート画像が抽出された視差マップ画像の後に上記視差マップ画像生成手段によって生成される視差マップ画像から検出する追尾被写体像検出手段，
を備えた被写体の追尾装置。
【請求項５】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，
追尾対象の被写体を決定する追尾対象決定手段，
上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成する視差マップ生成手段，
上記視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップを生成する差分視差マップ生成手段，および
上記差分視差マップ生成手段によって生成された差分視差マップのうち，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から上記追尾対象決定手段によって決定された追尾対象の被写体を表す被写体像を検出する追尾被写体像検出手段，
を備えた被写体の追尾装置。
【請求項６】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，
追尾対象決定手段が，追尾対象の被写体を決定し，
視差マップ生成手段が，上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，上記第１の撮像装置から出力される第１の被写体像データと上記第２の撮像装置から出力される第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成し，
検出対象範囲決定手段が，上記視差マップ生成手段によって生成された視差マップにもとづいて，上記追尾対象決定手段によって決定された追尾対象の被写体よりも手前に存在する被写体を除く部分を追尾対象の検出対象範囲と決定し，
追尾被写体像検出手段が，上記検出対象範囲決定手段によって決定された検出対象範囲において，上記第１の被写体像および上記第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像を検出する，
被写体の追尾装置の動作制御方法。
【請求項７】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，
追尾対象決定手段が，追尾対象の被写体を決定し，
視差マップ画像生成手段が，上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，上記第１の撮像装置から出力される第１の被写体像データと上記第２の撮像装置から出力される第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差に応じて明るさまたは階調が異なる視差マップ画像を生成し，
テンプレート画像抽出手段が，上記視差マップ画像生成手段によって生成された視差マップ画像のうち，追尾対象の被写体に対応する画像部分をテンプレート画像として抽出し，
追尾被写体像検出手段が，上記テンプレート画像抽出手段によって抽出されたテンプレート画像と同じ画像部分を，上記テンプレート画像抽出手段によってテンプレート画像が抽出された視差マップ画像の後に上記視差マップ画像生成手段によって生成される視差マップ画像から検出する，
被写体の追尾装置の動作制御方法。
【請求項８】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，
追尾対象決定手段が，追尾対象の被写体を決定し，
視差マップ生成手段が，上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，上記第１の撮像装置から出力される第１の被写体像データと上記第２の撮像装置から出力される第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成し，
差分視差マップ生成手段が，上記視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップを生成し，
追尾被写体像検出手段が，上記差分視差マップ生成手段によって生成された差分視差マップのうち，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から上記追尾対象決定手段によって決定された追尾対象の被写体を表す被写体像を検出する，
被写体の追尾装置の動作制御方法。
【請求項１】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，
追尾対象の被写体を決定する追尾対象決定手段，
上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成する視差マップ生成手段，
上記視差マップ生成手段によって生成された視差マップにもとづいて，上記追尾対象決定手段によって決定された追尾対象の被写体よりも手前に存在する被写体を除く部分を追尾対象の検出対象範囲と決定する検出対象範囲決定手段，ならびに
上記検出対象範囲決定手段によって決定された検出対象範囲において，上記第１の被写体像および上記第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像を検出する追尾被写体像検出手段，
を備えた被写体の追尾装置。
【請求項２】
上記検出対象範囲決定手段は，
上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体に対応する画像部分の視差よりも少ない視差を有する画像部分を除く部分を追尾対象の検出範囲と決定するものである，
請求項１に記載の被写体の追尾装置。
【請求項３】
上記検出対象範囲決定手段は，
上記視差マップ生成手段によって生成された視差マップにもとづいて，追尾対象の被写体に対応する画像部分の視差から所定範囲内の視差を有する画像部分を追尾対象の検出範囲と決定するものである，
請求項１または２に記載の被写体の追尾装置。
【請求項４】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，
追尾対象の被写体を決定する追尾対象決定手段，
上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差に応じて明るさまたは階調が異なる視差マップ画像を生成する視差マップ画像生成手段，
上記視差マップ画像生成手段によって生成された視差マップ画像のうち，上記追尾対象決定手段によって決定された追尾対象の被写体に対応する画像部分をテンプレート画像として抽出するテンプレート画像抽出手段，および
上記テンプレート画像抽出手段によって抽出されたテンプレート画像と同じ画像部分を，上記テンプレート画像抽出手段によってテンプレート画像が抽出された視差マップ画像の後に上記視差マップ画像生成手段によって生成される視差マップ画像から検出する追尾被写体像検出手段，
を備えた被写体の追尾装置。
【請求項５】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置において，
追尾対象の被写体を決定する追尾対象決定手段，
上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成する視差マップ生成手段，
上記視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップを生成する差分視差マップ生成手段，および
上記差分視差マップ生成手段によって生成された差分視差マップのうち，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から上記追尾対象決定手段によって決定された追尾対象の被写体を表す被写体像を検出する追尾被写体像検出手段，
を備えた被写体の追尾装置。
【請求項６】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，
追尾対象決定手段が，追尾対象の被写体を決定し，
視差マップ生成手段が，上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，上記第１の撮像装置から出力される第１の被写体像データと上記第２の撮像装置から出力される第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成し，
検出対象範囲決定手段が，上記視差マップ生成手段によって生成された視差マップにもとづいて，上記追尾対象決定手段によって決定された追尾対象の被写体よりも手前に存在する被写体を除く部分を追尾対象の検出対象範囲と決定し，
追尾被写体像検出手段が，上記検出対象範囲決定手段によって決定された検出対象範囲において，上記第１の被写体像および上記第２の被写体像の少なくとも一方の被写体像から追尾対象の被写体を表す被写体像を検出する，
被写体の追尾装置の動作制御方法。
【請求項７】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，
追尾対象決定手段が，追尾対象の被写体を決定し，
視差マップ画像生成手段が，上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，上記第１の撮像装置から出力される第１の被写体像データと上記第２の撮像装置から出力される第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差に応じて明るさまたは階調が異なる視差マップ画像を生成し，
テンプレート画像抽出手段が，上記視差マップ画像生成手段によって生成された視差マップ画像のうち，追尾対象の被写体に対応する画像部分をテンプレート画像として抽出し，
追尾被写体像検出手段が，上記テンプレート画像抽出手段によって抽出されたテンプレート画像と同じ画像部分を，上記テンプレート画像抽出手段によってテンプレート画像が抽出された視差マップ画像の後に上記視差マップ画像生成手段によって生成される視差マップ画像から検出する，
被写体の追尾装置の動作制御方法。
【請求項８】
第１の被写体像を表す第１の被写体像データと，上記第１の被写体像に対して視差を有し，かつ上記第１の被写体像と同じタイミングで撮像された第２の被写体像を表す第２の被写体像データと，が連続的に入力される被写体の追尾装置の動作制御方法において，
追尾対象決定手段が，追尾対象の被写体を決定し，
視差マップ生成手段が，上記連続的に入力された第１の被写体像データと第２の被写体像データとのうち，上記第１の撮像装置から出力される第１の被写体像データと上記第２の撮像装置から出力される第２の被写体像データとのうち，同じタイミングの撮像により得られた第１の被写体像データと第２の被写体像データとによってそれぞれ表される第１の被写体像と第２の被写体像との各部分における視差を表す視差マップを生成し，
差分視差マップ生成手段が，上記視差マップ生成手段によって生成される２つの視差マップの視差の差分を表す差分視差マップを生成し，
追尾被写体像検出手段が，上記差分視差マップ生成手段によって生成された差分視差マップのうち，視差の差分が所定値以上の部分に対応する上記第１の被写体像または上記第２の被写体像から上記追尾対象決定手段によって決定された追尾対象の被写体を表す被写体像を検出する，
被写体の追尾装置の動作制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１９９５２６（Ｐ２０１１−１９９５２６Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６３２７５（Ｐ２０１０−６３２７５）
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]