画像解析プログラム、画像解析装置および撮像装置
【課題】画像上で前景と背景とを簡単に素早く区分する。
【解決手段】画像解析プログラムは、時系列的に撮像された複数の画像を入力する画像入力ステップと、複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力ステップと、第１の画像上の前景以外の部分または背景の部分に、複数の画像上での背景の動きを検出するための目標領域を設定する領域設定ステップと、複数の画像の中の第２の画像上で目標領域の位置を探索する領域探索ステップと、第１の画像から第２の画像までの目標領域の位置の変化に基づいて背景の動きを検出する動き検出ステップと、動き検出ステップで検出した背景の動きに基づいて、複数の画像上で前景部分と背景部分とを区分する区分ステップとをコンピューターに実行させる。
【解決手段】画像解析プログラムは、時系列的に撮像された複数の画像を入力する画像入力ステップと、複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力ステップと、第１の画像上の前景以外の部分または背景の部分に、複数の画像上での背景の動きを検出するための目標領域を設定する領域設定ステップと、複数の画像の中の第２の画像上で目標領域の位置を探索する領域探索ステップと、第１の画像から第２の画像までの目標領域の位置の変化に基づいて背景の動きを検出する動き検出ステップと、動き検出ステップで検出した背景の動きに基づいて、複数の画像上で前景部分と背景部分とを区分する区分ステップとをコンピューターに実行させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像解析プログラム、画像解析装置および撮像装置に関する。
【背景技術】
【０００２】
前景が動いていることを前提としたフレーム間差分と焦点変化を利用して前景と背景とを分離するようにした画像解析装置が知られている（例えば、特許文献１参照）。また、予め前景や背景の特徴を取得し、前景らしさや背景らしさを確率情報から予測するようにした画像解析装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８２４１６号公報
【特許文献２】特開２００５−１７６３３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の画像解析装置では、予め指定した背景領域が動いている場合、差分データが画面全域に亘るため、背景と前景との区別が困難であるという問題がある。また、上述した特許文献２の画像解析装置では、確率情報を用いた前景と背景の分離では、すべての領域において各フレーム画面の全域に亘って確率情報を算出しなければならず、演算コストが高くなるという問題がある。
【課題を解決するための手段】
【０００５】
本発明の画像解析プログラムは、時系列的に撮像された複数の画像を入力する画像入力ステップと、前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力ステップと、前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定ステップと、前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索ステップと、前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出ステップと、前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分ステップとをコンピューターに実行させることを特徴とする。
本発明の画像解析装置は、時系列的に撮像された複数の画像を入力する画像入力手段と、前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力手段と、前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定手段と、前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索手段と、前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出手段と、前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分手段とを備えることを特徴とする。
本発明の撮像装置は、時系列的に複数の画像を撮像する撮像手段と、前記撮像装置により撮像された前記複数の画像を記憶する記憶手段と、前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力手段と、前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定手段と、前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索手段と、前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出手段と、前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像の中の前景と背景とを簡単に素早く区分することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態の画像解析装置を搭載したデジタルカメラの構成を示す図
【図２】デジタルカメラに搭載される一実施の形態の画像解析装置の構成を示すブロック図
【図３】建物を背景にして人物を撮影した動画像の内の時刻Ｔのフレーム画像を示す図
【図４】一実施の形態の画像解析装置で用いる特定領域の例を示す図
【図５】輝度の一次微分データを用いてＭ×Ｎ画素の領域を区分する例を示す図
【図６】図３に示す画像の背景部分に図４に示す形状の特定領域を設定した状態を示す図
【図７】特定領域の探索方法を説明するための図
【図８】現在（時刻Ｔ＋Δｔ）のフレーム画像上において特定領域のΔｔ前（時刻Ｔ）からの動きベクトルを示す図
【図９】Δｔ前（時刻Ｔ）のフレーム画像と現在（時刻Ｔ＋Δｔ）のフレーム画像とを各特定領域の位置を合わせて重ねた図
【図１０】一実施の形態の画像解析プログラムを示すフローチャート
【発明を実施するための形態】
【０００８】
本発明の画像解析装置をデジタルカメラに搭載した一実施の形態を説明する。なお、本発明の画像解析装置はデジタルカメラに限定されず、例えばデジタルビデオカメラやカメラ付き携帯電話機に搭載することができる。また、本発明の画像解析プログラムをＣＤなどの記録媒体に記録して提供するか、インターネットなどの通信回線を介して提供し、パーソナルコンピューター上で実行するようにしてもよい。さらには、本願発明に係わる画像解析プログラムを実行するコンピューターの他に、少なくとも、複数の画像を記憶する記憶装置と、画像上で前景または背景を指定するための操作部材と、画像を表示する表示装置とを備えた画像解析装置を構成してもよい。
【０００９】
図１は、一実施の形態の画像解析装置を搭載したデジタルカメラの構成を示す。なお、図１では本発明と直接関係のないカメラの機器、回路および装置の図示と説明を省略する。レンズ部１はフォーカシングレンズ、ズーミングレンズ、絞り、レンズ駆動装置(これらはいずれも不図示)などを備え、撮像部２の撮像面に被写体の像を結像する。撮像部２は撮像素子とその駆動制御回路(いずれも不図示)などを備え、被写体像を画像信号に変換して出力する。撮像素子には、例えばＣＣＤやＣＭＯＳなどのイメージセンサーを用いることができる。
【００１０】
画像処理部３は撮像部２から出力される画像信号に対して各種の処理を施し、画像データを生成する。これらの処理には、撮像部２から出力される画像信号に対するクランプ処理、ＣＤＳ処理（相関二重サンプリング）、ＡＧＣ処理（自動利得調整）、シェージング処理などの画像処理を行う前のアナログ信号処理や、Ａ／Ｄ変換、ホワイトバランス処理、ガンマ補正、色補間、輪郭強調、ビネット補正、圧縮／伸張などの画像処理が含まれる。
【００１１】
記憶部４は、画像処理部３による処理後のフレーム画像データや、前景と背景の分離後の前景データおよび背景データなどを記憶する。ＣＰＵ部５はＣＰＵ５ｍやメモリ５ｎなどを備え、カメラの各種演算や制御を実行するとともに、後述する一実施の形態の画像解析プログラムを実行して画像の中の前景と背景を分離する。操作部６は使用者がカメラを操作するための各種操作部材である。また、表示部７は画像や情報を表示するＬＣＤである。
【００１２】
図２は、デジタルカメラに搭載される一実施の形態の画像解析装置の構成を示すブロック図である。一実施の形態のデジタルカメラのＣＰＵ部５は、マイクロコンピューターのソフトウエア形態により入力部５ａ、特定領域設定部５ｂ、特定領域探索部５ｃ、背景移動量演算部５ｄおよび前景・背景出力部５ｅを構成する。
【００１３】
記憶部４には画像処理後のフレーム画像データが記憶されている。ここでは、デジタルカメラやデジタルビデオカメラなどで撮影された動画像、つまり所定の時間間隔で撮像された一連のフレーム画像を解析対象とする。解析対象の動画像に含まれる一連のフレーム画像の内の少なくとも１枚のフレーム画像に対し、使用者が操作部６のマウスを操作して前景、すなわち主要被写体の位置を指定するものとする。通常は動画像の内の最初のフレーム画像に対して前景を指定するが、必ずしも最初のフレーム画像に限定されない。
【００１４】
ＣＰＵ部５の入力部５ａは、記憶部４から解析対象の動画像ファイルをメモリ５ｎに読み込む。そして、使用者が操作部６を操作して選択した動画像ファイルに含まれる１枚のフレーム画像（ここでは時刻Ｔに撮像されたフレーム画像とする）を表示部７に表示し、使用者が操作部６により指定した前景の位置情報を入力してそれらをメモリ５ｎに記憶する。
【００１５】
図３は、建物２１を背景にして人物２２を撮影した動画像の内の時刻Ｔのフレーム画像を示す。時刻Ｔに撮像されたフレーム画像が表示部７の表示画面７ａに表示されているときに、使用者が操作部６のマウスを操作して前景の位置として人物２２にカーソルをあて、操作部６の入力スイッチを操作すると、ＣＰＵ部５の入力部５ａは、フレーム画像上の前景の位置を記憶する。なお、使用者が指定した前景以外の位置を背景とする。また、主要被写体が複数個存在しそれらを前景とする場合には、使用者に前景とすべき主要被写体のすべての位置を指定させ、入力部５ａはそれらの位置を入力して記憶する。
【００１６】
この一実施の形態では使用者に前景の位置を指定させ、指定された前景以外の部分を背景とする例を示すが、使用者に前景と背景の両方の位置を指定させるようにしてもよい。あるいは、使用者に操作部６のマウスカーソルを移動させて前景の領域を指定させ、その領域を前景領域として記憶するとともに、前景領域以外を背景領域としてもよい。さらには、一連の画像の中に主要被写体が写っていない画像がある場合には、使用者にその画像全体を背景として指定させ、記憶するようにしてもよい。
【００１７】
また、撮影画面の複数の焦点検出位置において撮影光学系の焦点調節状態、すなわちデフォーカス量を検出可能なオートフォーカスカメラでは、使用者が前景として指定した位置に近接する焦点検出位置で検出されたデフォーカス量に基づいて、画像上の同一のデフォーカス量を示す領域を検出し、前景領域として認識するとともに、前景領域以外を背景領域と認識するようにしてもよい。さらに、画像追尾機能を有するカメラでは、追尾対象の被写体のテンプレート画像を用いて撮像画像を探索し、追尾対象被写体の領域を前景領域、それ以外を背景領域と認識するようにしてもよい。
【００１８】
前景および背景の指定は撮像時に行ってもよいし、再生時に行ってもよい。また、一実施の形態のソフトウエア形態で提供された画像解析プログラムをパソコン上で実行する場合には、実行時に画像を読み込んだ後で前景と背景の指定をするようにしてもよい。
【００１９】
ＣＰＵ部５の特定領域設定部５ｂは、動画像を構成する一連のフレーム画像上において背景がどのような動きをしているかを検出するための目標となる特定領域を、ここでは最初のフレーム画像の背景部分に設定する。特定領域は、一連のフレーム画像上において背景の動きを追尾するための目標領域である。
【００２０】
図４(ａ)〜(ｄ)は一実施の形態の画像解析装置で用いる特定領域の例を示す。この一実施の形態では、フレーム画像上の背景部分において、異なる２つの画像の特徴（テクスチャー）が１つの境界線を境にして左右、上下、斜めに接している矩形の領域を特定領域とする。換言すれば、左右、上下、斜め方向の１つの境界線を境にして異なる画像の特徴を有する２つの領域に区分できる矩形の領域を特定領域とする。
【００２１】
図４では、左右、上下、右上がり斜めおよび左上がり斜め方向の境界線で画像の特徴が異なる２つの領域に区分される４種類の矩形の特定領域(ａ)〜(ｄ)を示す。一般的な画像では、画像の上下方向、左右方向、斜め方向に多くのエッジが現れることが多く、図４(ａ)〜(ｄ)に示すような特定領域を設定することによって、複数の画像上で特定領域と類似する領域をより簡単に速く探索することができる。
【００２２】
なお、この一実施の形態では特定領域を矩形とした。撮像部２の撮像素子は一般に画素が行方向と列方向の二次元状に配列されており、撮像素子により撮像される画像も色、輝度などの画像の特徴が画素単位で検出されるため、１枚の画像から矩形の領域を切り取る方が処理が容易である。しかし、特定領域は必ずしも矩形に限定されず、例えば円形や楕円形としてもよい。
【００２３】
次に、特定領域の大きさは大きいほど画像上で類似する領域をより正確に検出できるが、反面、大きくするほどこの特定領域を設定し難くなる上に、画像上で特定領域と類似する領域を検出し難くなるため、これらの条件を考慮した適当な大きさとする。特定領域を設定する際には、最初は例えば４画素×４画素の小さい特定領域を設定し、特定領域とする条件を満たす範囲で徐々に大きくし、適当な大きさを設定するのが望ましいが、設定時間を短縮するために予め例えば４画素×４画素などの所定の大きさに固定してもよい。また、特定領域の大きさは、例えば図４(ａ)〜(ｄ)に示すような特定領域の種類ごとに異なる大きさを設定しても構わない。さらに、特定領域の大きさは複数の画像上における探索時に変更しないものとする。
【００２４】
特定領域を区分する画像の特徴としては、一次微分データや周波数スペクトルの平均値または中央値、あるいは分散値などを用いることができる。このような特徴量は、画像データに含まれるＹＵＶ、ＲＧＢ、ＨＳＶ、Ｌ*a*bなどの色空間のデータを用いて算出することができる。
【００２５】
図５は、輝度の一次微分データを用いてＭ×Ｎ画素の領域を区分する例を示す。背景の画像上において水平方向Ｍ×垂直方向Ｎ画素の領域を切り出し、この領域の水平方向の行ごとに画素の輝度の一次微分値（隣接画素どうしの差分）を算出し、図５(ａ)に示すように、一次微分値が最大ΔＭaxになる水平方向の位置を水平方向の行ごとに求める。そして、図５(ｂ)に示すように、Ｍ×Ｎ画素の二次元領域上に最大ΔＭaxになる位置をプロットし、これらの位置の平均値または中央値、あるいは分散値に基づいてＭ×Ｎ画素の領域を２分する境界線を推定する。隣接画素どうしの差分の最大値ΔＭaxの平均値または中央値、あるいは分散値に基づいて、ある程度明確な境界線が得られる場合には、この境界線で２分されるＭ×Ｎ画素の領域を、画素の特徴、ここでは輝度が異なる２つの領域が１本の境界線で接する特定領域に設定する。
【００２６】
図３に示す画像の背景部分において、建物２１の屋根には屋根と空とを区分する右上がり斜め方向のエッジが存在し、この部分には図４(ｃ)に示す形状の特定領域を設定することができる。図６は、図３に示す画像の背景部分に図４(ａ)〜(ｄ)に示す形状の特定領域を設定した状態を示す。特定領域の設定数は多い方が背景の動きを正確に検出できるが、設定数が多いほど探索と演算の処理が煩雑になって処理時間が長くなるため、それらを考慮した適当な設定数とする。
【００２７】
例えば、解析対象の画像を上下または左右に２分割し、各分割領域において図４(ａ)〜(ｄ)に示す４種類の特定領域を１個ずつ設定し、画像全域において４種類８個の特定領域を設定する。分割領域内にある種類の特定領域が設定できない場合もあり得るが、すべての分割領域に全種類の特定領域を設定する必要はなく、また画像全域に必ずしも４種類すべての特定領域を設定する必要もない。図６に示す例では、画像全域において図４(ａ)〜(ｄ)に示す４種類の特定領域を１個ずつ設定した例を示す。
【００２８】
ＣＰＵ部５の特定領域設定部５ｂは、撮像時刻Ｔのフレーム画像上に図４(ａ)〜(ｄ)に示す４種類の特定領域を設定するために、画像の左上隅（図３参照）から各特定領域の画像の特徴パターンに合致する位置の検索を開始し、フレーム画像上の背景部分を行または列ごとに検索を行う。そして、フレーム画像上の背景部分に、ある特定領域の画像の特徴パターンに合致する位置があればその特定領域をその位置に設定し、設定した各特定領域のフレーム画像上の位置およびその種類（例えば図４(ａ)〜(ｄ)に示す種類）と、各特定領域における２種類の画像の特徴など、設定した各特定領域に関する情報をメモリ５ｎに記憶する。
【００２９】
次に、ＣＰＵ部５の特定領域探索部５ｃは、特定領域設定部５ｂで特定領域を設定した画像から所定時間Δｔ後（時刻Ｔ＋Δｔ）に撮像されたフレーム画像を入力部５ａを介して入力し、メモリ５ｎに記憶されている各特定領域に関する情報に基づいて画像上の各特定領域の位置を探索する。
【００３０】
図７は特定領域の探索方法を説明するための図である。ここでは、図６に示す時刻Ｔのフレーム画像上で建物２１の屋根の左側に設定した図４(ｃ)に示す特定領域を例に挙げてその探索方法を説明する。まず、Δｔ前（時刻Ｔ）のフレーム画像上に設定した特定領域の位置と同じ位置（図７に破線で示す特定領域の位置）の周辺に探索範囲２３を設定する。画像中の背景部分は原則として動かないものとしているが、撮影者がカメラをパンニングして撮影構図を変えた場合の他に、撮影者がカメラを保持する際に手ぶれを起こした場合には、背景の動きが発生する。したがって、探索範囲２３の大きさは、動画撮影時のフレーム画像の撮像時間間隔（３０ｆｐｍや６０ｆｐｍなど）において、構図変更や手ぶれにより発生する背景の移動量を考慮し、その移動量を包含できる大きさとする。
【００３１】
Δｔ前（時刻Ｔ）のフレーム画像で設定した特定領域の位置と同じ位置の周辺に、上述した大きさの探索範囲２３を設定し、その探索範囲２３内において、Δｔ前（時刻Ｔ）のフレーム画像で設定した特定領域と同じ特定領域、ここでは、図４(ｃ)に示す特定領域の位置を少しずつ移動し、尤度（類似度）が最大になる位置を検索する。尤度（類似度）は、例えば下記(１)式に示すＳＡＤ（Sum of the Absolute Differences：絶対差分）や下記(２)式に示すＲelation（相関）などを用いることができる。
【数１】
【００３２】
ＣＰＵ部５の特定領域探索部５ｃは、Δｔ前（時刻Ｔ）のフレーム画像で設定した特定領域のすべての位置において上述した探索を行う。図８は、現在（時刻Ｔ＋Δｔ）のフレーム画像上において特定領域のΔｔ前（時刻Ｔ）からの動きベクトルを示す。特定領域探索部５ｃは、探索結果の特定領域の新しい位置と特定領域の種類を対応付けてメモリ５ｎに記憶する。
【００３３】
ＣＰＵ部５の背景移動量演算部５ｄは、現在（時刻Ｔ＋Δｔ）のフレーム画像上においてすべての特定領域の動きベクトルの平均値を算出し、動きベクトルの平均値を背景全体の動きベクトルとする。図８では、背景全体の動きベクトルをフレーム画像の中心に示す。図９は、Δｔ前（時刻Ｔ）のフレーム画像と現在（時刻Ｔ＋Δｔ）のフレーム画像とを各特定領域の位置を合わせて重ねた図である。図９において、Δｔ前（時刻Ｔ）から現在（時刻Ｔ＋Δｔ）までの間に、撮影者による画角の変更または手ぶれがあって撮影範囲が左上に移動している。さらに、人物２２は、撮影者による画角の変更や手ぶれとは無関係に左方向に移動している。
【００３４】
ＣＰＵ部５の前景・背景出力部５ｅは、背景移動量演算部５ｄで演算されたΔｔ前（時刻Ｔ）からの背景全体の動きベクトルに基づいて、現在（時刻Ｔ＋Δｔ）のフレーム画像上における背景部分を特定する。そして、現在（時刻Ｔ＋Δｔ）のフレーム画像の背景部分と前景部分とを画素単位に領域区分し、前景データおよび背景データとして出力する。
【００３５】
ＣＰＵ部５のＣＰＵ５ｍは、動画像を構成する一連のフレーム画像のすべてのフレーム画像に対して上述した画像解析を実行し、フレーム画像ごとに前景データと背景データを出力する。
【００３６】
図１０は、一実施の形態の画像解析プログラムを示すフローチャートである。図１０により一実施の形態の画像解析動作を整理して説明する。ＣＰＵ部５のＣＰＵ５ｍは、使用者により画像解析モードが設定されると図１０に示す画像解析プログラムの実行を開始する。
【００３７】
ステップ１において、記憶部４に記憶されている動画像ファイルの中から、使用者が操作部６によりいずれかの動画像ファイルを選択したか否かを確認し、いずれかの動画像ファイルが選択されるとステップ２へ進み、選択された動画像ファイルをメモリ５ｎに読み込む。続くステップ３で、動画像ファイルの中の最初のフレーム画像を表示部７に表示する。ステップ４では、使用者が操作部６により表示中のフレーム画像の中で前景（または背景）を指定したか否かを確認し、使用者による前景（または背景）の指定操作があるとステップ５へ進む。
【００３８】
ステップ５において、まず、使用者が指定した前景（または背景）の位置情報をメモリ５ｎに記憶する。次に、動画像中の最初のフレーム画像上において背景の動きを検出するための特定領域（目標領域）を設定し、特定領域の位置と種類および画像の特徴などの特定領域に関する情報をメモリ５ｎに記憶する。次にステップ６へ進み、Δｔ時間後のフレーム画像上において特定領域を探索するための探索領域を設定し、探索領域内においてメモリ５ｎに記憶されている特定領域と尤度（類似度）が最大になる特定領域の位置を探索する。そして、探索結果の特定領域の新しい位置をメモリ５ｎに記憶する。
【００３９】
ステップ７において、Δｔ時間前のフレーム画像から現在のフレーム画像までの特定領域ごとの動きベクトルを演算し、続くステップ８で、すべての特定領域の動きベクトルの平均値を演算し、動きベクトルの平均値を背景全体の動きベクトルとする。ステップ９では、背景全体の動きベクトルに基づいて現在のフレーム画像上の背景部分を特定し、背景部分と前景部分に領域区分して前景データと背景データを出力する。
【００４０】
ステップ１０において選択された動画像ファイルの中のすべてのフレーム画像に対して上述した画像解析を終了したか否かを確認し、終了したらこの画像解析動作を終了する。すべてのフレーム画像に対する画像解析を終えていない場合はステップ６へ戻り、現在のフレーム画像上で探索した各探索領域に関する情報を用いてΔｔ時間後の次のフレーム画像に対して上述した処理を繰り返す。
【００４１】
上述した一実施の形態の画像解析プログラムでは、すでに撮影され記憶部４に記憶されている動画像に対する画像解析動作を説明したが、一実施の形態の画像解析プログラムを動画像の撮影時に実行し、手ぶれ防止や移動体抽出を行うために利用することができる。この場合には、撮影時に手ぶれ防止モードまたは移動体抽出モードが設定された場合に、上述した一実施の形態の画像解析プログラムを撮影動作に並行して実行する。
【００４２】
なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。
【００４３】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、時系列的に撮像された複数の画像の中の時刻Ｔに撮像された画像上で使用者により指定された前景または背景の位置を入力し、時刻Ｔに撮像された画像上の前景以外の部分または背景の部分に、複数の画像上での背景の動きを検出するための特定領域（目標領域）を設定する。次に、複数の画像の中の時刻Ｔ＋Δｔに撮像された画像上で特定領域の位置を探索し、時刻Ｔの画像からΔｔ後の画像までの特定領域の位置の変化に基づいて背景の動きを検出する。そして、検出した背景の動きに基づいて、複数の画像上で前景部分と背景部分とを区分するようにしたので、画像の中の前景と背景とを簡単に素早く区分することができ、区分結果に基づいて例えば撮像時の手ぶれ防止や移動体抽出をリアルタイムに実行することができる。
【００４４】
また、一実施の形態とその変形例によれば、特定領域（目標領域）を、境界線を境にして画像の特徴が異なる領域に区分される矩形の領域としたので、画像上に特定領域を容易に設定できる上に、設定した特定領域を他の画像上で容易に探索することができ、これにより画像の中の前景と背景とを簡単に素早く区分することができる。
【００４５】
さらに、一実施の形態とその変形例によれば、時刻Ｔの画像の画素行または画素列ごとの輝度の一次微分値に基づいて境界線を設定するようにしたので、画像の特徴を二分する境界線を容易に素早く設定することができ、これにより特定領域（目標領域）の設定と探索をさらに容易にすることができる。
【００４６】
一実施の形態とその変形例によれば、時刻Ｔの画像上に設定された特定領域（目標領域）の位置に対応するΔｔ後の画像上の位置の周辺に所定の大きさの探索領域を設定し、探索領域内で特定領域の位置を探索するようにしたので、特定領域の探索時間を短縮でき、これにより画像の中の前景と背景とを簡単に素早く区分することができる。
【００４７】
一実施の形態とその変形例によれば、時刻Ｔの画像上で異なる種類の複数の特定領域（目標領域）を設定し、Δｔ後の画像上で複数の特定領域の位置を探索し、時刻Ｔの画像からΔｔ後の画像までの複数の特定領域の位置の変化の平均値に基づいて背景の動きを検出するようにしたので、背景の動きをより正確に検出することができ、前景と背景の区分精度を上げることができる。
【符号の説明】
【００４８】
２；撮像部、４；記憶部、５；ＣＰＵ部、５ｍ；ＣＰＵ、５ｎ；メモリ、５ａ；入力部、５ｂ；特定領域設定部、５ｃ；特定領域探索部、５ｄ；背景移動量演算部、５ｅ；前景・背景出力部、６；操作部、７；表示部
【技術分野】
【０００１】
本発明は画像解析プログラム、画像解析装置および撮像装置に関する。
【背景技術】
【０００２】
前景が動いていることを前提としたフレーム間差分と焦点変化を利用して前景と背景とを分離するようにした画像解析装置が知られている（例えば、特許文献１参照）。また、予め前景や背景の特徴を取得し、前景らしさや背景らしさを確率情報から予測するようにした画像解析装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８２４１６号公報
【特許文献２】特開２００５−１７６３３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の画像解析装置では、予め指定した背景領域が動いている場合、差分データが画面全域に亘るため、背景と前景との区別が困難であるという問題がある。また、上述した特許文献２の画像解析装置では、確率情報を用いた前景と背景の分離では、すべての領域において各フレーム画面の全域に亘って確率情報を算出しなければならず、演算コストが高くなるという問題がある。
【課題を解決するための手段】
【０００５】
本発明の画像解析プログラムは、時系列的に撮像された複数の画像を入力する画像入力ステップと、前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力ステップと、前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定ステップと、前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索ステップと、前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出ステップと、前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分ステップとをコンピューターに実行させることを特徴とする。
本発明の画像解析装置は、時系列的に撮像された複数の画像を入力する画像入力手段と、前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力手段と、前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定手段と、前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索手段と、前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出手段と、前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分手段とを備えることを特徴とする。
本発明の撮像装置は、時系列的に複数の画像を撮像する撮像手段と、前記撮像装置により撮像された前記複数の画像を記憶する記憶手段と、前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力手段と、前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定手段と、前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索手段と、前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出手段と、前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像の中の前景と背景とを簡単に素早く区分することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態の画像解析装置を搭載したデジタルカメラの構成を示す図
【図２】デジタルカメラに搭載される一実施の形態の画像解析装置の構成を示すブロック図
【図３】建物を背景にして人物を撮影した動画像の内の時刻Ｔのフレーム画像を示す図
【図４】一実施の形態の画像解析装置で用いる特定領域の例を示す図
【図５】輝度の一次微分データを用いてＭ×Ｎ画素の領域を区分する例を示す図
【図６】図３に示す画像の背景部分に図４に示す形状の特定領域を設定した状態を示す図
【図７】特定領域の探索方法を説明するための図
【図８】現在（時刻Ｔ＋Δｔ）のフレーム画像上において特定領域のΔｔ前（時刻Ｔ）からの動きベクトルを示す図
【図９】Δｔ前（時刻Ｔ）のフレーム画像と現在（時刻Ｔ＋Δｔ）のフレーム画像とを各特定領域の位置を合わせて重ねた図
【図１０】一実施の形態の画像解析プログラムを示すフローチャート
【発明を実施するための形態】
【０００８】
本発明の画像解析装置をデジタルカメラに搭載した一実施の形態を説明する。なお、本発明の画像解析装置はデジタルカメラに限定されず、例えばデジタルビデオカメラやカメラ付き携帯電話機に搭載することができる。また、本発明の画像解析プログラムをＣＤなどの記録媒体に記録して提供するか、インターネットなどの通信回線を介して提供し、パーソナルコンピューター上で実行するようにしてもよい。さらには、本願発明に係わる画像解析プログラムを実行するコンピューターの他に、少なくとも、複数の画像を記憶する記憶装置と、画像上で前景または背景を指定するための操作部材と、画像を表示する表示装置とを備えた画像解析装置を構成してもよい。
【０００９】
図１は、一実施の形態の画像解析装置を搭載したデジタルカメラの構成を示す。なお、図１では本発明と直接関係のないカメラの機器、回路および装置の図示と説明を省略する。レンズ部１はフォーカシングレンズ、ズーミングレンズ、絞り、レンズ駆動装置(これらはいずれも不図示)などを備え、撮像部２の撮像面に被写体の像を結像する。撮像部２は撮像素子とその駆動制御回路(いずれも不図示)などを備え、被写体像を画像信号に変換して出力する。撮像素子には、例えばＣＣＤやＣＭＯＳなどのイメージセンサーを用いることができる。
【００１０】
画像処理部３は撮像部２から出力される画像信号に対して各種の処理を施し、画像データを生成する。これらの処理には、撮像部２から出力される画像信号に対するクランプ処理、ＣＤＳ処理（相関二重サンプリング）、ＡＧＣ処理（自動利得調整）、シェージング処理などの画像処理を行う前のアナログ信号処理や、Ａ／Ｄ変換、ホワイトバランス処理、ガンマ補正、色補間、輪郭強調、ビネット補正、圧縮／伸張などの画像処理が含まれる。
【００１１】
記憶部４は、画像処理部３による処理後のフレーム画像データや、前景と背景の分離後の前景データおよび背景データなどを記憶する。ＣＰＵ部５はＣＰＵ５ｍやメモリ５ｎなどを備え、カメラの各種演算や制御を実行するとともに、後述する一実施の形態の画像解析プログラムを実行して画像の中の前景と背景を分離する。操作部６は使用者がカメラを操作するための各種操作部材である。また、表示部７は画像や情報を表示するＬＣＤである。
【００１２】
図２は、デジタルカメラに搭載される一実施の形態の画像解析装置の構成を示すブロック図である。一実施の形態のデジタルカメラのＣＰＵ部５は、マイクロコンピューターのソフトウエア形態により入力部５ａ、特定領域設定部５ｂ、特定領域探索部５ｃ、背景移動量演算部５ｄおよび前景・背景出力部５ｅを構成する。
【００１３】
記憶部４には画像処理後のフレーム画像データが記憶されている。ここでは、デジタルカメラやデジタルビデオカメラなどで撮影された動画像、つまり所定の時間間隔で撮像された一連のフレーム画像を解析対象とする。解析対象の動画像に含まれる一連のフレーム画像の内の少なくとも１枚のフレーム画像に対し、使用者が操作部６のマウスを操作して前景、すなわち主要被写体の位置を指定するものとする。通常は動画像の内の最初のフレーム画像に対して前景を指定するが、必ずしも最初のフレーム画像に限定されない。
【００１４】
ＣＰＵ部５の入力部５ａは、記憶部４から解析対象の動画像ファイルをメモリ５ｎに読み込む。そして、使用者が操作部６を操作して選択した動画像ファイルに含まれる１枚のフレーム画像（ここでは時刻Ｔに撮像されたフレーム画像とする）を表示部７に表示し、使用者が操作部６により指定した前景の位置情報を入力してそれらをメモリ５ｎに記憶する。
【００１５】
図３は、建物２１を背景にして人物２２を撮影した動画像の内の時刻Ｔのフレーム画像を示す。時刻Ｔに撮像されたフレーム画像が表示部７の表示画面７ａに表示されているときに、使用者が操作部６のマウスを操作して前景の位置として人物２２にカーソルをあて、操作部６の入力スイッチを操作すると、ＣＰＵ部５の入力部５ａは、フレーム画像上の前景の位置を記憶する。なお、使用者が指定した前景以外の位置を背景とする。また、主要被写体が複数個存在しそれらを前景とする場合には、使用者に前景とすべき主要被写体のすべての位置を指定させ、入力部５ａはそれらの位置を入力して記憶する。
【００１６】
この一実施の形態では使用者に前景の位置を指定させ、指定された前景以外の部分を背景とする例を示すが、使用者に前景と背景の両方の位置を指定させるようにしてもよい。あるいは、使用者に操作部６のマウスカーソルを移動させて前景の領域を指定させ、その領域を前景領域として記憶するとともに、前景領域以外を背景領域としてもよい。さらには、一連の画像の中に主要被写体が写っていない画像がある場合には、使用者にその画像全体を背景として指定させ、記憶するようにしてもよい。
【００１７】
また、撮影画面の複数の焦点検出位置において撮影光学系の焦点調節状態、すなわちデフォーカス量を検出可能なオートフォーカスカメラでは、使用者が前景として指定した位置に近接する焦点検出位置で検出されたデフォーカス量に基づいて、画像上の同一のデフォーカス量を示す領域を検出し、前景領域として認識するとともに、前景領域以外を背景領域と認識するようにしてもよい。さらに、画像追尾機能を有するカメラでは、追尾対象の被写体のテンプレート画像を用いて撮像画像を探索し、追尾対象被写体の領域を前景領域、それ以外を背景領域と認識するようにしてもよい。
【００１８】
前景および背景の指定は撮像時に行ってもよいし、再生時に行ってもよい。また、一実施の形態のソフトウエア形態で提供された画像解析プログラムをパソコン上で実行する場合には、実行時に画像を読み込んだ後で前景と背景の指定をするようにしてもよい。
【００１９】
ＣＰＵ部５の特定領域設定部５ｂは、動画像を構成する一連のフレーム画像上において背景がどのような動きをしているかを検出するための目標となる特定領域を、ここでは最初のフレーム画像の背景部分に設定する。特定領域は、一連のフレーム画像上において背景の動きを追尾するための目標領域である。
【００２０】
図４(ａ)〜(ｄ)は一実施の形態の画像解析装置で用いる特定領域の例を示す。この一実施の形態では、フレーム画像上の背景部分において、異なる２つの画像の特徴（テクスチャー）が１つの境界線を境にして左右、上下、斜めに接している矩形の領域を特定領域とする。換言すれば、左右、上下、斜め方向の１つの境界線を境にして異なる画像の特徴を有する２つの領域に区分できる矩形の領域を特定領域とする。
【００２１】
図４では、左右、上下、右上がり斜めおよび左上がり斜め方向の境界線で画像の特徴が異なる２つの領域に区分される４種類の矩形の特定領域(ａ)〜(ｄ)を示す。一般的な画像では、画像の上下方向、左右方向、斜め方向に多くのエッジが現れることが多く、図４(ａ)〜(ｄ)に示すような特定領域を設定することによって、複数の画像上で特定領域と類似する領域をより簡単に速く探索することができる。
【００２２】
なお、この一実施の形態では特定領域を矩形とした。撮像部２の撮像素子は一般に画素が行方向と列方向の二次元状に配列されており、撮像素子により撮像される画像も色、輝度などの画像の特徴が画素単位で検出されるため、１枚の画像から矩形の領域を切り取る方が処理が容易である。しかし、特定領域は必ずしも矩形に限定されず、例えば円形や楕円形としてもよい。
【００２３】
次に、特定領域の大きさは大きいほど画像上で類似する領域をより正確に検出できるが、反面、大きくするほどこの特定領域を設定し難くなる上に、画像上で特定領域と類似する領域を検出し難くなるため、これらの条件を考慮した適当な大きさとする。特定領域を設定する際には、最初は例えば４画素×４画素の小さい特定領域を設定し、特定領域とする条件を満たす範囲で徐々に大きくし、適当な大きさを設定するのが望ましいが、設定時間を短縮するために予め例えば４画素×４画素などの所定の大きさに固定してもよい。また、特定領域の大きさは、例えば図４(ａ)〜(ｄ)に示すような特定領域の種類ごとに異なる大きさを設定しても構わない。さらに、特定領域の大きさは複数の画像上における探索時に変更しないものとする。
【００２４】
特定領域を区分する画像の特徴としては、一次微分データや周波数スペクトルの平均値または中央値、あるいは分散値などを用いることができる。このような特徴量は、画像データに含まれるＹＵＶ、ＲＧＢ、ＨＳＶ、Ｌ*a*bなどの色空間のデータを用いて算出することができる。
【００２５】
図５は、輝度の一次微分データを用いてＭ×Ｎ画素の領域を区分する例を示す。背景の画像上において水平方向Ｍ×垂直方向Ｎ画素の領域を切り出し、この領域の水平方向の行ごとに画素の輝度の一次微分値（隣接画素どうしの差分）を算出し、図５(ａ)に示すように、一次微分値が最大ΔＭaxになる水平方向の位置を水平方向の行ごとに求める。そして、図５(ｂ)に示すように、Ｍ×Ｎ画素の二次元領域上に最大ΔＭaxになる位置をプロットし、これらの位置の平均値または中央値、あるいは分散値に基づいてＭ×Ｎ画素の領域を２分する境界線を推定する。隣接画素どうしの差分の最大値ΔＭaxの平均値または中央値、あるいは分散値に基づいて、ある程度明確な境界線が得られる場合には、この境界線で２分されるＭ×Ｎ画素の領域を、画素の特徴、ここでは輝度が異なる２つの領域が１本の境界線で接する特定領域に設定する。
【００２６】
図３に示す画像の背景部分において、建物２１の屋根には屋根と空とを区分する右上がり斜め方向のエッジが存在し、この部分には図４(ｃ)に示す形状の特定領域を設定することができる。図６は、図３に示す画像の背景部分に図４(ａ)〜(ｄ)に示す形状の特定領域を設定した状態を示す。特定領域の設定数は多い方が背景の動きを正確に検出できるが、設定数が多いほど探索と演算の処理が煩雑になって処理時間が長くなるため、それらを考慮した適当な設定数とする。
【００２７】
例えば、解析対象の画像を上下または左右に２分割し、各分割領域において図４(ａ)〜(ｄ)に示す４種類の特定領域を１個ずつ設定し、画像全域において４種類８個の特定領域を設定する。分割領域内にある種類の特定領域が設定できない場合もあり得るが、すべての分割領域に全種類の特定領域を設定する必要はなく、また画像全域に必ずしも４種類すべての特定領域を設定する必要もない。図６に示す例では、画像全域において図４(ａ)〜(ｄ)に示す４種類の特定領域を１個ずつ設定した例を示す。
【００２８】
ＣＰＵ部５の特定領域設定部５ｂは、撮像時刻Ｔのフレーム画像上に図４(ａ)〜(ｄ)に示す４種類の特定領域を設定するために、画像の左上隅（図３参照）から各特定領域の画像の特徴パターンに合致する位置の検索を開始し、フレーム画像上の背景部分を行または列ごとに検索を行う。そして、フレーム画像上の背景部分に、ある特定領域の画像の特徴パターンに合致する位置があればその特定領域をその位置に設定し、設定した各特定領域のフレーム画像上の位置およびその種類（例えば図４(ａ)〜(ｄ)に示す種類）と、各特定領域における２種類の画像の特徴など、設定した各特定領域に関する情報をメモリ５ｎに記憶する。
【００２９】
次に、ＣＰＵ部５の特定領域探索部５ｃは、特定領域設定部５ｂで特定領域を設定した画像から所定時間Δｔ後（時刻Ｔ＋Δｔ）に撮像されたフレーム画像を入力部５ａを介して入力し、メモリ５ｎに記憶されている各特定領域に関する情報に基づいて画像上の各特定領域の位置を探索する。
【００３０】
図７は特定領域の探索方法を説明するための図である。ここでは、図６に示す時刻Ｔのフレーム画像上で建物２１の屋根の左側に設定した図４(ｃ)に示す特定領域を例に挙げてその探索方法を説明する。まず、Δｔ前（時刻Ｔ）のフレーム画像上に設定した特定領域の位置と同じ位置（図７に破線で示す特定領域の位置）の周辺に探索範囲２３を設定する。画像中の背景部分は原則として動かないものとしているが、撮影者がカメラをパンニングして撮影構図を変えた場合の他に、撮影者がカメラを保持する際に手ぶれを起こした場合には、背景の動きが発生する。したがって、探索範囲２３の大きさは、動画撮影時のフレーム画像の撮像時間間隔（３０ｆｐｍや６０ｆｐｍなど）において、構図変更や手ぶれにより発生する背景の移動量を考慮し、その移動量を包含できる大きさとする。
【００３１】
Δｔ前（時刻Ｔ）のフレーム画像で設定した特定領域の位置と同じ位置の周辺に、上述した大きさの探索範囲２３を設定し、その探索範囲２３内において、Δｔ前（時刻Ｔ）のフレーム画像で設定した特定領域と同じ特定領域、ここでは、図４(ｃ)に示す特定領域の位置を少しずつ移動し、尤度（類似度）が最大になる位置を検索する。尤度（類似度）は、例えば下記(１)式に示すＳＡＤ（Sum of the Absolute Differences：絶対差分）や下記(２)式に示すＲelation（相関）などを用いることができる。
【数１】
【００３２】
ＣＰＵ部５の特定領域探索部５ｃは、Δｔ前（時刻Ｔ）のフレーム画像で設定した特定領域のすべての位置において上述した探索を行う。図８は、現在（時刻Ｔ＋Δｔ）のフレーム画像上において特定領域のΔｔ前（時刻Ｔ）からの動きベクトルを示す。特定領域探索部５ｃは、探索結果の特定領域の新しい位置と特定領域の種類を対応付けてメモリ５ｎに記憶する。
【００３３】
ＣＰＵ部５の背景移動量演算部５ｄは、現在（時刻Ｔ＋Δｔ）のフレーム画像上においてすべての特定領域の動きベクトルの平均値を算出し、動きベクトルの平均値を背景全体の動きベクトルとする。図８では、背景全体の動きベクトルをフレーム画像の中心に示す。図９は、Δｔ前（時刻Ｔ）のフレーム画像と現在（時刻Ｔ＋Δｔ）のフレーム画像とを各特定領域の位置を合わせて重ねた図である。図９において、Δｔ前（時刻Ｔ）から現在（時刻Ｔ＋Δｔ）までの間に、撮影者による画角の変更または手ぶれがあって撮影範囲が左上に移動している。さらに、人物２２は、撮影者による画角の変更や手ぶれとは無関係に左方向に移動している。
【００３４】
ＣＰＵ部５の前景・背景出力部５ｅは、背景移動量演算部５ｄで演算されたΔｔ前（時刻Ｔ）からの背景全体の動きベクトルに基づいて、現在（時刻Ｔ＋Δｔ）のフレーム画像上における背景部分を特定する。そして、現在（時刻Ｔ＋Δｔ）のフレーム画像の背景部分と前景部分とを画素単位に領域区分し、前景データおよび背景データとして出力する。
【００３５】
ＣＰＵ部５のＣＰＵ５ｍは、動画像を構成する一連のフレーム画像のすべてのフレーム画像に対して上述した画像解析を実行し、フレーム画像ごとに前景データと背景データを出力する。
【００３６】
図１０は、一実施の形態の画像解析プログラムを示すフローチャートである。図１０により一実施の形態の画像解析動作を整理して説明する。ＣＰＵ部５のＣＰＵ５ｍは、使用者により画像解析モードが設定されると図１０に示す画像解析プログラムの実行を開始する。
【００３７】
ステップ１において、記憶部４に記憶されている動画像ファイルの中から、使用者が操作部６によりいずれかの動画像ファイルを選択したか否かを確認し、いずれかの動画像ファイルが選択されるとステップ２へ進み、選択された動画像ファイルをメモリ５ｎに読み込む。続くステップ３で、動画像ファイルの中の最初のフレーム画像を表示部７に表示する。ステップ４では、使用者が操作部６により表示中のフレーム画像の中で前景（または背景）を指定したか否かを確認し、使用者による前景（または背景）の指定操作があるとステップ５へ進む。
【００３８】
ステップ５において、まず、使用者が指定した前景（または背景）の位置情報をメモリ５ｎに記憶する。次に、動画像中の最初のフレーム画像上において背景の動きを検出するための特定領域（目標領域）を設定し、特定領域の位置と種類および画像の特徴などの特定領域に関する情報をメモリ５ｎに記憶する。次にステップ６へ進み、Δｔ時間後のフレーム画像上において特定領域を探索するための探索領域を設定し、探索領域内においてメモリ５ｎに記憶されている特定領域と尤度（類似度）が最大になる特定領域の位置を探索する。そして、探索結果の特定領域の新しい位置をメモリ５ｎに記憶する。
【００３９】
ステップ７において、Δｔ時間前のフレーム画像から現在のフレーム画像までの特定領域ごとの動きベクトルを演算し、続くステップ８で、すべての特定領域の動きベクトルの平均値を演算し、動きベクトルの平均値を背景全体の動きベクトルとする。ステップ９では、背景全体の動きベクトルに基づいて現在のフレーム画像上の背景部分を特定し、背景部分と前景部分に領域区分して前景データと背景データを出力する。
【００４０】
ステップ１０において選択された動画像ファイルの中のすべてのフレーム画像に対して上述した画像解析を終了したか否かを確認し、終了したらこの画像解析動作を終了する。すべてのフレーム画像に対する画像解析を終えていない場合はステップ６へ戻り、現在のフレーム画像上で探索した各探索領域に関する情報を用いてΔｔ時間後の次のフレーム画像に対して上述した処理を繰り返す。
【００４１】
上述した一実施の形態の画像解析プログラムでは、すでに撮影され記憶部４に記憶されている動画像に対する画像解析動作を説明したが、一実施の形態の画像解析プログラムを動画像の撮影時に実行し、手ぶれ防止や移動体抽出を行うために利用することができる。この場合には、撮影時に手ぶれ防止モードまたは移動体抽出モードが設定された場合に、上述した一実施の形態の画像解析プログラムを撮影動作に並行して実行する。
【００４２】
なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。
【００４３】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、時系列的に撮像された複数の画像の中の時刻Ｔに撮像された画像上で使用者により指定された前景または背景の位置を入力し、時刻Ｔに撮像された画像上の前景以外の部分または背景の部分に、複数の画像上での背景の動きを検出するための特定領域（目標領域）を設定する。次に、複数の画像の中の時刻Ｔ＋Δｔに撮像された画像上で特定領域の位置を探索し、時刻Ｔの画像からΔｔ後の画像までの特定領域の位置の変化に基づいて背景の動きを検出する。そして、検出した背景の動きに基づいて、複数の画像上で前景部分と背景部分とを区分するようにしたので、画像の中の前景と背景とを簡単に素早く区分することができ、区分結果に基づいて例えば撮像時の手ぶれ防止や移動体抽出をリアルタイムに実行することができる。
【００４４】
また、一実施の形態とその変形例によれば、特定領域（目標領域）を、境界線を境にして画像の特徴が異なる領域に区分される矩形の領域としたので、画像上に特定領域を容易に設定できる上に、設定した特定領域を他の画像上で容易に探索することができ、これにより画像の中の前景と背景とを簡単に素早く区分することができる。
【００４５】
さらに、一実施の形態とその変形例によれば、時刻Ｔの画像の画素行または画素列ごとの輝度の一次微分値に基づいて境界線を設定するようにしたので、画像の特徴を二分する境界線を容易に素早く設定することができ、これにより特定領域（目標領域）の設定と探索をさらに容易にすることができる。
【００４６】
一実施の形態とその変形例によれば、時刻Ｔの画像上に設定された特定領域（目標領域）の位置に対応するΔｔ後の画像上の位置の周辺に所定の大きさの探索領域を設定し、探索領域内で特定領域の位置を探索するようにしたので、特定領域の探索時間を短縮でき、これにより画像の中の前景と背景とを簡単に素早く区分することができる。
【００４７】
一実施の形態とその変形例によれば、時刻Ｔの画像上で異なる種類の複数の特定領域（目標領域）を設定し、Δｔ後の画像上で複数の特定領域の位置を探索し、時刻Ｔの画像からΔｔ後の画像までの複数の特定領域の位置の変化の平均値に基づいて背景の動きを検出するようにしたので、背景の動きをより正確に検出することができ、前景と背景の区分精度を上げることができる。
【符号の説明】
【００４８】
２；撮像部、４；記憶部、５；ＣＰＵ部、５ｍ；ＣＰＵ、５ｎ；メモリ、５ａ；入力部、５ｂ；特定領域設定部、５ｃ；特定領域探索部、５ｄ；背景移動量演算部、５ｅ；前景・背景出力部、６；操作部、７；表示部
【特許請求の範囲】
【請求項１】
時系列的に撮像された複数の画像を入力する画像入力ステップと、
前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力ステップと、
前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定ステップと、
前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索ステップと、
前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出ステップと、
前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分ステップとをコンピューターに実行させることを特徴とする画像解析プログラム。
【請求項２】
請求項１に記載の画像解析プログラムにおいて、
前記目標領域は、境界線を境にして画像の特徴が異なる領域に区分される矩形の領域であることを特徴とする画像解析プログラム。
【請求項３】
請求項２に記載の画像解析プログラムにおいて、
前記領域設定ステップでは、前記第１の画像の画素行または画素列ごとの輝度の一次微分値に基づいて前記境界線を設定することを特徴とする画像解析プログラム。
【請求項４】
請求項１から請求項３のいずれか一項に記載の画像解析プログラムにおいて、
前記領域探索ステップでは、前記第１の画像上に設定された前記目標領域の位置に対応する前記第２の画像上の位置の周辺に所定の大きさの探索領域を設定し、前記探索領域内で前記目標領域の位置を探索することを特徴とする画像解析プログラム。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像解析プログラムにおいて、
前記領域設定ステップでは、異なる種類の複数の前記目標領域を設定し、
前記領域探索ステップでは、前記第２の画像上で複数の前記目標領域の位置を探索し、
前記動き検出ステップでは、前記第１の画像から前記第２の画像までの複数の前記目標領域の位置の変化の平均値に基づいて前記背景の動きを検出することを特徴とする画像解析プログラム。
【請求項６】
時系列的に撮像された複数の画像を入力する画像入力手段と、
前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力手段と、
前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定手段と、
前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索手段と、
前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出手段と、
前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分手段とを備えることを特徴とする画像解析装置。
【請求項７】
時系列的に複数の画像を撮像する撮像手段と、
前記撮像装置により撮像された前記複数の画像を記憶する記憶手段と、
前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力手段と、
前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定手段と、
前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索手段と、
前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出手段と、
前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分手段とを備えることを特徴とする撮像装置。
【請求項１】
時系列的に撮像された複数の画像を入力する画像入力ステップと、
前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力ステップと、
前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定ステップと、
前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索ステップと、
前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出ステップと、
前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分ステップとをコンピューターに実行させることを特徴とする画像解析プログラム。
【請求項２】
請求項１に記載の画像解析プログラムにおいて、
前記目標領域は、境界線を境にして画像の特徴が異なる領域に区分される矩形の領域であることを特徴とする画像解析プログラム。
【請求項３】
請求項２に記載の画像解析プログラムにおいて、
前記領域設定ステップでは、前記第１の画像の画素行または画素列ごとの輝度の一次微分値に基づいて前記境界線を設定することを特徴とする画像解析プログラム。
【請求項４】
請求項１から請求項３のいずれか一項に記載の画像解析プログラムにおいて、
前記領域探索ステップでは、前記第１の画像上に設定された前記目標領域の位置に対応する前記第２の画像上の位置の周辺に所定の大きさの探索領域を設定し、前記探索領域内で前記目標領域の位置を探索することを特徴とする画像解析プログラム。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像解析プログラムにおいて、
前記領域設定ステップでは、異なる種類の複数の前記目標領域を設定し、
前記領域探索ステップでは、前記第２の画像上で複数の前記目標領域の位置を探索し、
前記動き検出ステップでは、前記第１の画像から前記第２の画像までの複数の前記目標領域の位置の変化の平均値に基づいて前記背景の動きを検出することを特徴とする画像解析プログラム。
【請求項６】
時系列的に撮像された複数の画像を入力する画像入力手段と、
前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力手段と、
前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定手段と、
前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索手段と、
前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出手段と、
前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分手段とを備えることを特徴とする画像解析装置。
【請求項７】
時系列的に複数の画像を撮像する撮像手段と、
前記撮像装置により撮像された前記複数の画像を記憶する記憶手段と、
前記複数の画像の中の第１の画像上で指定された前景または背景の位置を入力する位置入力手段と、
前記第１の画像上の前記前景以外の部分または前記背景の部分に、前記複数の画像上での前記背景の動きを検出するための目標領域を設定する領域設定手段と、
前記複数の画像の中の第２の画像上で前記目標領域の位置を探索する領域探索手段と、
前記第１の画像から前記第２の画像までの前記目標領域の位置の変化に基づいて前記背景の動きを検出する動き検出手段と、
前記動き検出ステップで検出した前記背景の動きに基づいて、前記複数の画像上で前景部分と背景部分とを区分する区分手段とを備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２４７９８７（Ｐ２０１２−２４７９８７Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１９０８７（Ｐ２０１１−１１９０８７）
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]