画像処理装置
【課題】テレビカメラ等から入力される映像信号により取り込まれる撮影画像を画像処理用の解像度及び画面サイズの画像に変換して内部のメモリに取り込む際に、画像処理に不要な範囲の画像データを削除することにより、その際の処理速度の高速化を図り、また、メモリ容量の低減を図る画像処理装置を提供する。
【解決手段】テレビカメラから画像処理装置１６に入力されたＨＤ画質の映像信号（ＨＤ信号）は、デコーダ４０によりＳＤ画質の画像として読み込まれる。その際に、ＳＤ画質の画像内の上下に例えば黒一色のブランク領域が形成される。ＰＬＤ４１はそのブランク領域を含む、画像処理に不要な範囲の画像データを削除し、残りの部分の画像データをＲＡＭ４６に展開する。
【解決手段】テレビカメラから画像処理装置１６に入力されたＨＤ画質の映像信号（ＨＤ信号）は、デコーダ４０によりＳＤ画質の画像として読み込まれる。その際に、ＳＤ画質の画像内の上下に例えば黒一色のブランク領域が形成される。ＰＬＤ４１はそのブランク領域を含む、画像処理に不要な範囲の画像データを削除し、残りの部分の画像データをＲＡＭ４６に展開する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に係り、特にテレビカメラ等からの映像信号を所定の画像処理に適した解像度及び画面サイズに変換して取り込む画像処理装置に関する。
【背景技術】
【０００２】
従来、テレビカメラに外付けの装置として接続され、テレビカメラにより撮影された映像の映像信号を取り込み、所要の画像処理を実施して、例えば、テレビカメラでのオートフォーカス（ＡＦ）の対象範囲であるＡＦ枠による所定被写体の自動追尾、テレビカメラを支持する雲台のパン／チルト駆動による所定被写体の自動追尾、テレビカメラの撮影映像に画像処理の結果を重畳表示させた映像のビューファインダへの出力等の付加的な機能を提供する画像処理装置が使用されている（例えば、特許文献１）。
【０００３】
近年では、テレビカメラとしてハイビジョンテレビカメラが使用されることが多くなっており、ハイビジョンテレビカメラから出力される映像信号はＨＤ（高精細）画質（解像度１９２０×１０８０）の映像に対応したＨＤ映像信号（ＨＤ信号）となっている。
【０００４】
一方、上記のような画像処理装置では、処理速度やコストパフォーマンスの点から、通常、ＳＤ画質（解像度６４０×４８０）の画像の画像データに対して所要の画像処理を行うのが一般的である。
【０００５】
そのため、上記のようにＳＤ画質の画像に対して画像処理を行う画像処理装置をハイビジョンテレビカメラに使用する場合、画像処理装置では、テレビカメラからのＨＤ画質の映像信号をＳＤ画質の解像度及び画面サイズに変換し、ＳＤ画質の画像として取り込む処理が行われている。
【特許文献１】特開２００６−２６７２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ＨＤ信号により取り込まれるフレーム単位の画像（撮影画像）は、解像度が１９２０×１０８０で、アスペクト比が１６：９の画面サイズとなっている。一方、ＳＤ画質の撮影画像は、解像度が６４０×４８０で、アスペクト比が４：３の画面サイズとなっている。そのため、上記のようにＨＤ信号からＳＤ画質の撮影画像を取り込む際には、アスペクト比１６：９のＨＤ画質の撮影画像の全範囲がアスペクト比４：３の画面サイズの範囲内に収まるように、ＨＤ画質の撮影画像の横方向の解像度１９２０がＳＤ画質の横方向の解像度６４０に変換される。
【０００７】
一方、ＨＤ画質の撮影画像の縦方向の解像度は、アスペクト比が１６：９を維持するようにＳＤ画質の縦方向の解像度４８０よりも小さい解像度３６０（６４０×９／１６）に変換される。
【０００８】
そのため、ＨＤ信号からＳＤ画質の撮影画像を取り込む場合には、上下部分に撮影画像ではない帯状のブランク領域の画像が含まれることになる。
【０００９】
このように、ＨＤ信号からＳＤ画質の撮影画像を取り込む場合に生じるブランク領域の画像は、例えば黒一色の画像の画像データとして扱われるため、画像処理を行うために内部のメモリに撮影画像の画像データを取り込む際には、その分の不要な処理時間やメモリ領域を費やしてしまうという問題があった。
【００１０】
また、テレビカメラからのＨＤ信号により得られる撮影画像の一部の範囲が、画像処理装置での画像処理の対象に含まれない場合がある。
【００１１】
例えば、テレビカメラに搭載されるオートフォーカス（ＡＦ）装置において、記録／再生用の映像を撮影するためのカメラ本体内の撮像素子（映像用撮像素子）と同等の撮影画角範囲の映像をその映像用撮像素子とは別のオートフォーカス用の撮像素子（ＡＦ用撮像素子）により撮影し、その映像信号に基づいて例えばコントラスト方式のＡＦを行うものが知られている。このようなオートフォーカス装置に使用されるＡＦ用撮像素子には、カメラ本体の映像用撮像素子がＨＤ画質の画像を撮像するものであっても、アスペクト比４：３の画面サイズ（イメージサイズ）のＳＤ画質の画像を撮像するものが使用される場合がある。
【００１２】
一方、上記のような画像処理装置の一例として、ＡＦによりピントを合わせる対象範囲、即ち、ＡＦ枠（ＡＦエリア）を、所望の被写体に自動で追尾させる自動追尾装置が提案されている。この種の自動追尾装置によれば、テレビカメラの映像用撮像素子により撮影されている映像の映像信号が取得され、その映像信号に基づいて、撮影映像内における追尾対象の被写体が所定の画像処理（パターンマッチング、顔検出等）により検出される。そして、その被写体を追尾するようにＡＦ枠の位置等が自動で決定され、テレビレンズのオートフォーカス装置にそのＡＦ枠を設定する指示が与えられるようになっている。
【００１３】
このようなシステムにおいてカメラ本体の映像用撮像素子がＨＤ画質の画像を撮像するもので、ＡＦ用撮像素子がＳＤ画質の画像を撮像するものであったとする。そして、光学系により被写体像が結像される範囲、即ち、イメージサークルに対して、映像用撮像素子とＡＦ用撮像素子の各々が撮像する領域（イメージサイズ）が、イメージサークルに内接するアスペクト比１６：９の四角形領域と、アスペクト比４：３の四角形領域であるとする。このとき、映像用撮像素子により得られたＨＤ画質の撮影画像の左右の一部の範囲は、ＡＦ用撮像素子では撮影されない範囲となり、ＡＦ枠を設定できない範囲となる。
【００１４】
そのため、自動追尾装置において、テレビカメラからのＨＤ信号により得られる撮影画像に基づいて追尾対象の被写体の位置を検出する場合に、撮影画像内においてＡＦ枠を設定できない左右の一部の範囲は画像処理の対象範囲に含まれない。
【００１５】
このようにテレビカメラからのＨＤ信号により得られる撮影画像の一部の範囲が、画像処理装置での画像処理の対象に含まれていない場合において、画像処理装置では、その範囲の画像データも内部のメモリに取り込むことになるため、その分の不要な処理時間やメモリ領域を費やしてしまうという問題があった。
【００１６】
本発明はこのような事情に鑑みてなされたもので、テレビカメラ等から入力される映像信号により取り込まれる撮影画像を画像処理用の解像度及び画面サイズの画像に変換して内部のメモリに取り込む際の処理速度の高速化を図り、また、メモリ容量の低減を図ることにより、画像処理を含めた全体処理の速度向上と、コスト低減を図ることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
前記目的を達成するために、請求項１に記載の画像処理装置は、入力される映像信号によりフレーム単位の撮影画像の画像データを取り込み、該画像データに所要の画像処理を施す画像処理装置において、前記映像信号によりフレーム単位の撮影画像の画像データを取り込むと共に、前記撮影画像と異なる解像度及び画面サイズの処理画像であって、該撮影画像の全範囲を含み、且つ、該撮影画像でないブランク領域の画像が付加された処理画像に前記撮影画像を変換する変換手段と、前記処理画像のうち、少なくとも前記ブランク領域の画像の画像データを削除するカット手段と、前記カット手段により少なくともブランク領域の画像の画像データが削除された前記処理画像の画像データを前記画像処理の対象として画像処理用のメモリに記憶させる記憶手段と、を備えたことを特徴としている。
【００１８】
請求項２に記載の画像処理装置は、請求項１に記載の発明において、前記カット手段は、前記撮影画像の撮影画角範囲のうち、前記画像処理の対象ではない範囲の画像の画像データも前記処理画像の画像データから削除することを特徴としている。
【００１９】
請求項３に記載の画像処理装置は、請求項２に記載の発明において、前記画像処理装置は、オートフォーカスにより自動でピントを合わせる被写体の範囲を示すＡＦ枠を、所定の被写体に自動で追尾させるための画像処理を行う装置であり、前記カット手段は、前記撮影画像の撮影画角範囲のうち、前記オートフォーカスによりピントを合わせることが可能な画角範囲を、前記画像処理が対象とする撮影画角範囲とし、該撮影画角範囲外の前記処理画像の画像データを削除することを特徴としている。
【００２０】
請求項４に記載の画像処理装置は、請求項１、２、又は、３に記載の発明において、前記入力される映像信号は、ＨＤ画質であり、前記変換手段により変換される処理画像はＳＤ画質であることを特徴としている。
【００２１】
請求項５に記載の画像処理装置は、請求項１、２、３、又は、４に記載の発明において、前記映像信号は、テレビカメラにより現在撮影されている映像の映像信号であることを特徴としている。
【００２２】
本発明によれば、テレビカメラ等から入力された映像信号により取り込んだフレーム単位の撮影画像を異なる解像度及び画面サイズの処理画像に変換して画像処理を施す場合に、少なくとも、その処理画像に含まれるブランク領域等の不要範囲の画像の画像データが削除されてからメモリに記憶されるため、画像データをメモリに取り込む際の処理速度の高速化とメモリ容量の低減が図られる。
【発明の効果】
【００２３】
本発明によれば、テレビカメラ等から入力される映像信号により取り込まれる撮影画像を画像処理用の解像度及び画面サイズの画像に変換して内部のメモリに取り込む際の処理速度の高速化と、メモリ容量の低減が図られる。従って、画像処理を含めた全体処理の速度向上と、コスト低減が図られる。
【発明を実施するための最良の形態】
【００２４】
以下、添付図面を参照して、本発明に係る画像処理装置を実施するための最良の形態について詳細に説明する。
【００２５】
図１は、本発明に係る画像処理装置としての追尾装置が使用されたカメラシステムの一実施の形態を示す概略構成図である。
【００２６】
図１に示すように、本実施の形態のカメラシステム１は、例えば放送用又は業務用のテレビカメラのカメラ本体１０（カメラヘッド）と、カメラ本体１０にマウントによって装着される撮影レンズ１２（撮影光学系）と、カメラ本体１０に設置された構図の確認等のためのビューファインダ（モニタ）１４、及び、オートフォーカス（ＡＦ）によりピントを合わせる対象被写体の撮影画像（撮影画面）上での移動に合わせてＡＦの対象範囲であるＡＦエリア（ＡＦ枠）の位置を自動で変更（自動追尾）する画像処理装置（追尾装置）１６とから構成されている。
【００２７】
撮影レンズ１２には、光軸Ｏに沿った本線光路においてフォーカスレンズ（群）ＦＬ、ズームレンズ（群）ＺＬ、絞りＩ、前側リレーレンズ（群）ＲＡ及び後側リレーレンズ（群）ＲＢからなるリレーレンズ（リレー光学系）等が順に配置されている。フォーカスレンズＦＬやズームレンズＺＬは光軸方向に移動可能なレンズ群であり、フォーカスレンズＦＬが移動するとピント位置（被写体距離）が変化し、ズームレンズＺＬが移動するとズーム倍率（焦点距離）が変化するようになっている。絞りＩは、開閉動作し、絞りＩの開閉度によって像の明るさが変化するようになっている。撮影レンズ１２に入射してこれらの本線光路の光学系を通過した被写体光はカメラ本体１０の光学系に入射する。
【００２８】
カメラ本体１０の光学系は、色分解光学系１８と映像用撮像素子（ＣＣＤ）２０を備えている。色分解光学系１８は、撮影レンズ１２から入射した被写体光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の波長に分解するものであり、映像用撮像素子２０は、この色分解された各色の被写体光の像を撮像するＲ、Ｇ、Ｂごとの映像用撮像素子（ＣＣＤ）からなっている。なお、図１においては光学的に等価な光路長の位置に配置されたＲ、Ｇ、Ｂの映像用撮像素子を１つの映像用撮像素子２０として表している。映像用撮像素子２０の撮像面に入射した被写体光は、映像用撮像素子２０によって光電変換されてカメラ本体１０内の所定の信号処理回路によって記録又は再生用の映像信号が生成されるようになっている。
【００２９】
また、本実施の形態の撮影レンズ１２は、いわゆる光路長差方式のオートフォーカス（ＡＦ）に対応した構成を有しており、撮影レンズ１２のリレー光学系の前側リレーレンズＲＡと後側リレーレンズＲＢとの間には光分割光学系２２が配置されている。光分割光学系２２は、第１プリズム２２ａと第２プリズム２２ｂとから構成されており、第１プリズム２２ａと第２プリズム２２ｂとが接合する部分にハーフミラー面２２Ｍが形成されている。このハーフミラー面２２Ｍによって撮影レンズ１２の本線光路からＡＦ用光路が分岐される。
【００３０】
撮影レンズ１２に入射した被写体光のうち、光分割光学系２２のハーフミラー面２２Ｍを透過した被写体光は、本線用の被写体光としてそのまま光軸Ｏに沿った本線光路を通過してカメラ本体１０へと導かれる。一方、光分割光学系２２のハーフミラー面２２Ｍで反射した被写体光は、ＡＦ用の被写体光として上記光軸Ｏに略垂直な光軸Ｏ’に沿ったＡＦ用光路へと導かれる。なお、ハーフミラー面２２Ｍに入射した入射光に対してハーフミラー面２２Ｍで分割される透過光と反射光の光量比は必ずしも等価（１対１）ではなく、例えばＡＦ用の被写体光となる反射光の光量の方が透過光よりも少なくしてもよい。
【００３１】
ＡＦ用光路には、縮小光学系やリレーレンズ群等からなる光学系２４、第１プリズム２６ａ及び第２プリズム２６ｂからなる光分割光学系２６、ＡＦ用撮像素子（ＣＣＤ）２８ａ、２８ｂ等が配置されている。
【００３２】
本線光路に配置された光分割光学系２２で分割されてＡＦ用光路へと導かれた被写体光は、光学系２４を通過した後、光分割光学系２６に入射する。光分割光学系２６に入射した被写体光は、第１プリズム２６ａと第２プリズム２６ｂとが接合する部分のハーフミラー面２６Ｍで光量が等価な２つの被写体光に分割され、ハーフミラー面２６Ｍで反射した被写体光は一方のＡＦ用撮像素子２８ａの撮像面に入射し、ハーフミラー面２６Ｍを透過した被写体光は他方のＡＦ用撮像素子２８ｂの撮像面に入射する。
【００３３】
また、撮影レンズ１２には、オートフォーカス（ＡＦ）処理を実行するＡＦ処理部３０が設けられている。
【００３４】
撮影レンズ１２は、ＡＦ用撮像素子２８ａ、２８ｂの撮像面におけるイメージサークル（被写体像が結像される円形範囲）内の被写体像と、カメラ本体１０の映像用撮像素子２０の撮像面におけるイメージサークル内の被写体像とが略一致するように構成されている。即ち、これらの撮像素子によって撮影される撮影画角は略一致している。
【００３５】
また、ＡＦ用撮像素子２８ａ、２８ｂの撮像面の各々に対してピントが合う被写体の距離は、映像用撮像素子２０の撮像面に対してピントが合う被写体の距離に対して至近側と無限遠側にずれるように構成されている。即ち、ＡＦ用撮像素子２８ａ、２８ｂの撮像面は、光路長差を有する位置に配置されると共に、映像用撮像素子２０の撮像面に対して光路長が微少量分だ長くなる位置と短くなる位置に配置されている。
【００３６】
ＡＦ処理部３０は、ＡＦ用撮像素子２８ａ、２８ｂから映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子２８ａ、２８ｂから得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象範囲であるＡＦエリアに対応する範囲の信号を１画面分ずつ積算する。このようにして１画面分ごとに得られる積算値はＡＦ用撮像素子２８ａ、２８ｂの各々の撮像面により撮像されたＡＦエリア内の被写体画像のコントラストの高低を示す。
【００３７】
このようにしてＡＦ用撮像素子２８ａ、２８ｂの各々の映像信号により求められたこれらの焦点評価値は、撮影レンズ１２のフォーカス（フォーカスレンズＦＬ）を現在位置から至近側と無限遠側に一定微少量分だけ変位させたときに映像用撮像素子２０の撮像面により撮像されるＡＦエリア内の被写体像のコントラストを示す焦点評価値に相当する。
【００３８】
従って、それらの焦点評価値の大小関係により、ピント状態が、合焦状態、前ピン状態、後ピン状態のいずれであるかを判断することができる。図示しないフォーカスレンズＦＬの駆動部は、このピント状態に基づいて、合焦状態となる方向にフォーカスレンズＦＬをモータで移動させ、合焦状態となる位置にフォーカスレンズＦＬを設定するようになっている。尚、ＡＦ用撮像素子２８ａ、２８ｂの各々の映像信号により求められた焦点評価値が一致するときに合焦状態となるようにＡＦ用撮像素子２８ａ、２８ｂの各々の撮像面の位置が配置されており、フォーカスレンズＦＬはそれらの焦点評価値が一致する位置に設定される。
【００３９】
図２に、ＡＦエリアの輪郭であるＡＦ枠の例を示す。図２に示すように、ＡＦ枠は、カメラ本体１０の映像用撮像素子２０の撮影画像（撮像エリア）の範囲内において、四角形状の範囲を示す枠として設定され、この範囲内の被写体に対してＡＦによりピントが合わせられるようになっている。
【００４０】
画像処理装置（追尾装置）１６は、ユーザが指定した対象物（対象被写体）の画像を撮影画像の画面上で検出しながらその対象物の画面上での移動に合わせてＡＦエリア（その輪郭を示すＡＦ枠）の位置を自動で変更（自動追尾）する自動追尾機能を実現するための装置である。尚、対象被写体の撮影画像内での位置、大きさ、形状に応じてＡＦエリアの位置、大きさ、形状（縦横比）も自動で変更することが可能であるが、本実施の形態では、ＡＦエリアの位置のみが変更されるものとして説明する。
【００４１】
上記ＡＦ処理部３０において設定されるＡＦエリア（ＡＦ枠）の位置は、追尾装置１６からの指示により設定、変更されるようになっており、追尾装置１６では、図示しないマニュアル操作部によりユーザがＡＦ枠の変更のためのマニュアル操作を行っている場合には、そのマニュアル操作に従ってＡＦ枠の位置を決定し、その決定したＡＦ枠の情報をＡＦ処理部３０に送信する。
【００４２】
一方、ユーザがＡＦ枠の変更のためのマニュアル操作を行っていない場合には、ＡＦ枠の自動追尾処理を行ってＡＦ枠の位置を決定し、その決定したＡＦ枠の情報をＡＦ処理部３０に送信する。
【００４３】
ＡＦ処理部３０では、追尾装置１６から与えられたＡＦ枠の情報に従ってＡＦ枠が設定され、そのＡＦ枠内の被写体にピントが合わせられるようになっている。
【００４４】
また、追尾装置１６には、カメラ本体１０の映像用撮像素子２０により撮影されている映像の映像信号がカメラ本体１０から入力されるようになっており、上記の自動追尾処理は、その映像信号から映像用撮像素子２０で撮像されたフレーム単位（１コマ単位）の撮影画像を適宜取り込み、所定の画像処理により、撮影画像の中から追尾する対象被写体を検出する。そして、その検出した対象被写体の位置に基づいて、ＡＦ枠の位置を決定し、対象被写体がＡＦによるピント合わせの対象となるようにＡＦ枠を対象被写体に追尾させる。
【００４５】
ここで、カメラ本体１０から取り込んだ撮影画像の中から対象被写体を検出する周知の方法がいくつか知られており、上記の自動追尾処理では、それらの内の任意の方法が採用されているものとする。例えば、パターンマッチングを利用した方法として、対象被写体の画像が基準パターンとして自動追尾を開始する前に事前に登録しておき、順次取り込まれる撮影画像の中からその基準パターンを周知のパターンマッチング処理により検出することにより対象被写体を検出する方法が知られている。このとき、例えば、自動追尾を開始する直前のＡＦ枠内、または、そのＡＦ枠を基準とした一定範囲内の画像を基準パターンとして登録することや、事前に撮影した対象被写体の画像を基準パターンとして予め登録しておくことが可能である。
【００４６】
また、対象被写体が人物の顔である場合には、周知の顔検出処理を利用する方法も知られている。例えば、順次得られる撮影画像の中に含まれる１又は複数の顔画像を顔検出処理により検出するものとし、初期においてユーザが追尾対象として選択した顔画像を対象被写体として検出する方法が知られている。更に、この顔検出処理において検出された顔画像の中から、事前に登録された特定の人物の顔画像を周知の顔認証処理により検出することによって、その特定の人物の顔画像を対象被写体として検出する方法も知られている。
【００４７】
上記追尾装置１６は、このように対象被写体の検出を所要の画像処理を用いて行うことによって対象被写体を追尾するためのＡＦ枠の位置を決定する自動追尾処理を行っている。
【００４８】
また、追尾装置１６は、カメラ本体１０から取り込んだ映像信号に対して、ＡＦ枠の情報を合成し、その合成した映像の映像信号をビューファインダ１４に出力し、表示させるための処理も行っている。例えば、カメラ本体１０から取り込んだ映像信号の映像（リアルタイムの撮影映像）に対して、現在設定されているＡＦ枠の画像を重畳した映像を生成し、その合成映像の映像信号をビューファインダ１４に出力する。これによって、ビューファインダ１４の画面上には、構図の確認等のための現在撮影中の映像とともに、ＡＦの対象範囲であるＡＦ枠も図２のように表示される。
【００４９】
図３は、上記の追尾装置のようにカメラシステムに使用される本発明に係る画像処理装置１６の基本的な構成を示したブロック図である。同図に示すように画像処理装置１６は、カメラ本体１０からシリアルに入力される映像信号をフレーム単位（１コマ単位）の撮影画像の画像データとして展開（変換）するデコーダ４０と、デコーダ４０により展開された撮影画像の画像データのうち、詳細を後述するように画像処理の対象としない不要な部分をカット（切除）するためのＰＬＤ（プログラマブル・ロジック・デバイス）４１と、所要の画像処理を行うと共に、その処理結果の情報を撮影画像（カメラ本体１０からの映像信号）に合成する処理等を行うＣＰＵ４２と、この処理結果が合成された撮影画像をモニタ表示用の映像信号に変換して出力するエンコーダ４４と、上記デコーダ４０によって展開されてＰＬＤ４１により処理された１フレーム分（又は所定フレーム数分）の撮影画像の画像データを格納するＲＡＭ４６、及び、ＣＰＵ４２のプログラムデータ等が格納されたＲＯＭ４８等を備えている。
【００５０】
デコーダ４０には、カメラ本体１０の映像用撮像素子２０により撮像されて生成された映像信号（コンポジット信号）がシリアルに入力される。本実施の形態のカメラ本体１０ではＨＤ（高精細）画質の映像が撮影されており、デコーダ４０には、ＨＤ画質の映像信号（ＨＤ信号）が入力される。デコーダ４０は、このＨＤ信号を輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに分解して、フレーム単位の撮影画像の画像データに展開する。
【００５１】
また、本実施の形態の画像処理装置１６は、ＳＤ（標準）画質程度の撮影画像に対して所要の画像処理を施すものとし、デコーダ４０は、ＨＤ画質の撮影画像をＳＤ画質に変換する。詳細は後述する。
【００５２】
デコーダ４０によりＨＤ信号から得られた撮影画像の画像データは続いてＰＬＤ４１に取り込まれ、ＰＬＤ４１は、本画像処理装置１６における画像処理の対象でない範囲（不要範囲）の画像データをカットする処理を行う。このカット処理の詳細についても後述する。
【００５３】
ＰＬＤ４１の処理により、不要範囲の画像データがカットされて画像処理に有効な範囲のみ抽出された画像データは、ＣＰＵ４２を介して、又は、直接、ＲＡＭ４６に送られ、一時的に格納される。ＣＰＵ４２は、ＲＡＭ４６の格納された画像データを使用して所要の情報を得るための画像処理を行う。
【００５４】
上記のように自動追尾処理を行う場合には、撮影画像の中から対象被写体を検出するためのパターンマッチング処理、顔検出処理、又は、顔認証処理等の画像処理がＲＡＭ４６に記憶された撮影画像の画像データを用いて行われる。
【００５５】
画像処理の結果得られた情報は、ＣＰＵ４２において、文字、記号、図形等により表される画像データとして生成されると共に、その画像データとＰＬＤ４１から１フレーム単位で順次読み込まれる撮影画像の画像データとにより、画像処理の結果を表す情報画像が撮影画像に合成（重畳）される。
【００５６】
このようにして情報画像が合成された撮影画像は、順次、エンコーダ４４に送られ、エンコーダ４４において、その撮影画像をビューファインダ１４に表示させるための映像信号に変換されてビューファインダ１４に出力される。
【００５７】
尚、画像処理装置１６が上記の追尾装置の場合、自動追尾処理の結果決定されたＡＦ枠の位置に、そのＡＦ枠の画像（枠画像）が撮影画像に重畳され、その撮影画像を表示する映像信号がビューファインダ１４に出力される。
【００５８】
次に、上記ＰＬＤ４０の処理について詳説する。上記のように本実施の形態においてカメラ本体１０からデコーダ４０に入力される映像信号はＨＤ（高詳細）画質のＨＤ信号であるとする。一方、画像処理装置１６において画像処理の対象とする画像はＳＤ（通常）画質程度のものとする。
【００５９】
デコーダ４０は、カメラ本体１０から入力されるＨＤ信号の映像信号より得られるフレーム単位のＨＤ画質の撮影画像を画像処理のためのＳＤ画質の撮影画像（画像処理用の処理画像）に変換する。このとき、図４のように画面サイズが変更される。
【００６０】
即ち、デコーダ４０に入力されるＨＤ信号から得られるＨＤ画質の撮影画像のＨＤ画面は、解像度が１９２０×１０８０で、アスペクト比が１６：９の画面サイズ（イメージサイズ）である。一方、図４のＳＤ画面６２で示すＳＤ画質の画像の画面は、解像度が６４０×４８０で、アスペクト比が４：３の画面サイズとなっている。
【００６１】
そこで、デコーダ４０は、ＨＤ画質の撮影画像の全範囲がＳＤ画面６２内の画像として収まるように、ＨＤ画質の撮影画像の横方向の解像度１９２０をＳＤ画質の横方向の解像度６４０に変換する。また、アスペクト比１６：９が維持されるように、ＨＤ画質の撮影画像の縦方向の解像度をＳＤ画質の縦方向の解像度４８０よりも小さい解像度３６０（６４０×９／１６）に変換する。
【００６２】
従って、デコーダ４０からは、解像度６４０×４８０で、アスペクト比が４：３の画面サイズのＳＤ画質の画像データが出力されると共に、そのＳＤ画面６２内において、ＨＤ信号から得られるＨＤ画質の撮影映像が、図４のように中央部の解像度６８０×３６０のＨＤ画面６０で示す範囲の画像データとして出力される。そして、そのＨＤ画面６０の範囲を除く、上下の各々の解像度６８０×６０の範囲にブランク領域６４、６４の画像として例えば黒一色の画像の画像データが付加されて出力される。
【００６３】
ＰＬＤ４１には、このようにしてデコーダ４０により出力されたＳＤ画質の処理画像の画像データが入力される。ＰＬＤ４１は、入力された処理画像の画像データに対してブランク領域６４、６４の画像データをカットする処理を行う。
【００６４】
即ち、図４のＳＤ画面６２で示した構成の処理画像の画像データがＰＬＤ４１に入力されると、その画像データのうち、上下のブランク領域６４、６４の画像データは画像処理のデータとしては不要な画像データとなる。そこで、ＰＬＤ４１は、そのブランク領域６４、６４の画像データをカット（削除）し、撮影画像の画像データが有効に存在するＨＤ画面６０で示す範囲の画像データのみを抽出する。
【００６５】
また、このブランク領域６４、６４以外に、処理画像の画像データには、画像処理に不要な範囲となる画像データが含まれる場合があり、その画像データもカットする。
【００６６】
例えば、画像処理装置１６が上述した追尾装置の場合において、図１に示したＡＦ用撮像素子２８ａ、２８ｂがＳＤ画質の画像を撮像するものであるとする。この場合には、ＰＬＤ４１に入力されたＳＤ画質の処理画像の画像データのうち左右の一部の範囲の画像データも不要な画像データとなる。
【００６７】
即ち、カメラ本体１０の映像用撮像素子２０の撮像面と、ＡＦ用撮像素子２８ａ、２８ｂの撮像面において、撮影レンズ１２により像が結像される範囲を示すイメージサークル内の被写体像は略同等のものであるとする。図５（Ａ）に示すようにそのイメージサークル７０に対して、映像用撮像素子２０の撮像エリア７２は、アスペクト比１６：９のイメージサイズでイメージサークル７０に対して内接し、ＡＦ用撮像素子２８ａ、２８ｂの撮像エリア７４は、アスペクト比４：３のイメージサイズでイメージサークル７０に対して内接しているものとする。
【００６８】
ＡＦ処理部３０は、ＡＦ用撮像素子２８ａ、２８ｂの撮像エリア内で撮影される被写体に対してのみピントを合わせることが可能であり、ＡＦ枠により追尾可能な被写体の範囲もＡＦ用撮像素子２８ａ、２８ｂの撮像エリア内で撮影されている被写体に制限される。
【００６９】
従って、映像用撮像素子２０の撮像エリア７２のうち、ＡＦ用撮像素子２８ａ、２８ｂの撮像エリア７４と重なる領域の撮像エリアによって撮影される画像の範囲（撮影画角範囲）のみでＡＦ枠を移動させることが適切である。
【００７０】
ここで、映像用撮像素子２０の撮像エリア７２により撮影されている画像のうち、ＡＦ用撮像素子２８ａ、２８ｂの撮像エリア７４により撮影されていない画像の範囲は、図５（Ａ）に示すように映像用撮像素子２０の撮像エリア７２の左右の一部の斜線で示す範囲（不要範囲）７６、７６で撮影された画像の範囲となる。
【００７１】
そこで、ＰＬＤ４１は、入力された処理画像の画像データのうち、その映像用撮像素子２０の撮像エリア７２における不要範囲７６、７６で撮像された画像の画像データもカットする。
【００７２】
即ち、図４と同様に図５（Ｂ）に示したＰＬＤ４１に入力される処理画像のＳＤ画面６２において、ＨＤ画面６０の左右に示されている不要範囲７８、７８の画像が、図５（Ａ）の撮像エリア７２の不要範囲７６、７６で撮影された画像の範囲、即ち、ＡＦ用撮像素子２８ａ、２８ｂの撮影画角範囲内でない範囲であるとする。このとき、ＰＬＤ４１はその不要範囲７８、７８の画像データもカットする。
【００７３】
従って、以上のＰＬＤ４１のカット処理により、ＰＬＤ４１に入力されるＳＤ画質の処理画像の画像データのうち、ブランク領域６４、６４の画像データ及び不要範囲７６、７６の画像データがカットされ、それらの範囲以外の画像データのみがＰＬＤ４１により抽出されて出力される。
【００７４】
そして、以上のようにしてＰＬＤ４１により、画像処理に不要な画像データがカットされた処理画像の画像データ、即ち、画像処理に有効に使用される画像データのみが、ＣＰＵ４２を介して、又は、直接、ＲＡＭ４６に格納される。
【００７５】
このようなＰＬＤ４１のカット処理によれば、画像データをＲＡＭ４６に書き込む処理に不要な時間を費やすことなく、また、ＲＡＭ４６のメモリ容量を低減することができるため、処理の高速化やコストの低減を図ることができるようになる。
【００７６】
尚、上記実施の形態の場合に限らず、画像処理装置１６に入力される映像信号により得られる撮影画像の撮影画角範囲に対して画像処理装置１６における画像処理が対象とする画角範囲（有効に使用する撮影画像の範囲）が一部に限定される場合には、その有効に使用される画角範囲の画像データ以外をＰＬＤ４１でカットして、画像処理で有効に使用される画角範囲の画像の画像データのみをＲＡＭ４６に格納すればよい。
【００７７】
また、上記実施の形態では、画像処理装置１６の一例としてＡＦ枠を所定の被写体に追尾させるための画像処理を行う追尾装置をテレビカメラシステムで使用した場合について説明したが、本発明は追尾装置以外の種類の画像処理装置にも適用できる．例えば、カメラ本体１０からの映像信号を取得して所定の画像処理により被写体の位置等を検出し、その被写体が常に撮影範囲内となるように雲台に搭載したカメラの撮影方向を自動で変更するための画像処理装置、カメラ１０からの映像信号を取得してＡＦの処理をカメラ本体１０や撮影レンズ１２の外部で行うための画像処理装置等に適用することができる。
【００７８】
また、本発明は、画像処理装置１６に入力される映像信号がカメラ本体１０からの直接与えられるものでなくても適用できる。
【図面の簡単な説明】
【００７９】
【図１】本発明に係る画像処理装置としての追尾装置が使用されたカメラシステムの一実施の形態を示す概略構成図である。
【図２】ＡＦ枠の例を示す説明図である。
【図３】本発明に係る画像処理装置の基本的な構成を示したブロック図である。
【図４】画像処理装置におけるデコーダの処理の説明に使用した説明図である。
【図５】画像処理装置におけるＰＬＤの処理の説明に使用した説明図である。
【符号の説明】
【００８０】
１…カメラシステム、１０…カメラ本体、１２…撮影レンズ、１４…ビューファインダ、１６…画像処理装置（追尾装置）、２０…映像用撮像素子、２８ａ、２８ｂ…ＡＦ用撮像素子、３０…ＡＦ処理部、４０…デコーダ、４１…ＰＬＤ（プログラマブル・ロジック・デバイス）、４２…ＣＰＵ、４４…エンコーダ、４６…ＲＡＭ、４８…ＲＯＭ
【技術分野】
【０００１】
本発明は画像処理装置に係り、特にテレビカメラ等からの映像信号を所定の画像処理に適した解像度及び画面サイズに変換して取り込む画像処理装置に関する。
【背景技術】
【０００２】
従来、テレビカメラに外付けの装置として接続され、テレビカメラにより撮影された映像の映像信号を取り込み、所要の画像処理を実施して、例えば、テレビカメラでのオートフォーカス（ＡＦ）の対象範囲であるＡＦ枠による所定被写体の自動追尾、テレビカメラを支持する雲台のパン／チルト駆動による所定被写体の自動追尾、テレビカメラの撮影映像に画像処理の結果を重畳表示させた映像のビューファインダへの出力等の付加的な機能を提供する画像処理装置が使用されている（例えば、特許文献１）。
【０００３】
近年では、テレビカメラとしてハイビジョンテレビカメラが使用されることが多くなっており、ハイビジョンテレビカメラから出力される映像信号はＨＤ（高精細）画質（解像度１９２０×１０８０）の映像に対応したＨＤ映像信号（ＨＤ信号）となっている。
【０００４】
一方、上記のような画像処理装置では、処理速度やコストパフォーマンスの点から、通常、ＳＤ画質（解像度６４０×４８０）の画像の画像データに対して所要の画像処理を行うのが一般的である。
【０００５】
そのため、上記のようにＳＤ画質の画像に対して画像処理を行う画像処理装置をハイビジョンテレビカメラに使用する場合、画像処理装置では、テレビカメラからのＨＤ画質の映像信号をＳＤ画質の解像度及び画面サイズに変換し、ＳＤ画質の画像として取り込む処理が行われている。
【特許文献１】特開２００６−２６７２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ＨＤ信号により取り込まれるフレーム単位の画像（撮影画像）は、解像度が１９２０×１０８０で、アスペクト比が１６：９の画面サイズとなっている。一方、ＳＤ画質の撮影画像は、解像度が６４０×４８０で、アスペクト比が４：３の画面サイズとなっている。そのため、上記のようにＨＤ信号からＳＤ画質の撮影画像を取り込む際には、アスペクト比１６：９のＨＤ画質の撮影画像の全範囲がアスペクト比４：３の画面サイズの範囲内に収まるように、ＨＤ画質の撮影画像の横方向の解像度１９２０がＳＤ画質の横方向の解像度６４０に変換される。
【０００７】
一方、ＨＤ画質の撮影画像の縦方向の解像度は、アスペクト比が１６：９を維持するようにＳＤ画質の縦方向の解像度４８０よりも小さい解像度３６０（６４０×９／１６）に変換される。
【０００８】
そのため、ＨＤ信号からＳＤ画質の撮影画像を取り込む場合には、上下部分に撮影画像ではない帯状のブランク領域の画像が含まれることになる。
【０００９】
このように、ＨＤ信号からＳＤ画質の撮影画像を取り込む場合に生じるブランク領域の画像は、例えば黒一色の画像の画像データとして扱われるため、画像処理を行うために内部のメモリに撮影画像の画像データを取り込む際には、その分の不要な処理時間やメモリ領域を費やしてしまうという問題があった。
【００１０】
また、テレビカメラからのＨＤ信号により得られる撮影画像の一部の範囲が、画像処理装置での画像処理の対象に含まれない場合がある。
【００１１】
例えば、テレビカメラに搭載されるオートフォーカス（ＡＦ）装置において、記録／再生用の映像を撮影するためのカメラ本体内の撮像素子（映像用撮像素子）と同等の撮影画角範囲の映像をその映像用撮像素子とは別のオートフォーカス用の撮像素子（ＡＦ用撮像素子）により撮影し、その映像信号に基づいて例えばコントラスト方式のＡＦを行うものが知られている。このようなオートフォーカス装置に使用されるＡＦ用撮像素子には、カメラ本体の映像用撮像素子がＨＤ画質の画像を撮像するものであっても、アスペクト比４：３の画面サイズ（イメージサイズ）のＳＤ画質の画像を撮像するものが使用される場合がある。
【００１２】
一方、上記のような画像処理装置の一例として、ＡＦによりピントを合わせる対象範囲、即ち、ＡＦ枠（ＡＦエリア）を、所望の被写体に自動で追尾させる自動追尾装置が提案されている。この種の自動追尾装置によれば、テレビカメラの映像用撮像素子により撮影されている映像の映像信号が取得され、その映像信号に基づいて、撮影映像内における追尾対象の被写体が所定の画像処理（パターンマッチング、顔検出等）により検出される。そして、その被写体を追尾するようにＡＦ枠の位置等が自動で決定され、テレビレンズのオートフォーカス装置にそのＡＦ枠を設定する指示が与えられるようになっている。
【００１３】
このようなシステムにおいてカメラ本体の映像用撮像素子がＨＤ画質の画像を撮像するもので、ＡＦ用撮像素子がＳＤ画質の画像を撮像するものであったとする。そして、光学系により被写体像が結像される範囲、即ち、イメージサークルに対して、映像用撮像素子とＡＦ用撮像素子の各々が撮像する領域（イメージサイズ）が、イメージサークルに内接するアスペクト比１６：９の四角形領域と、アスペクト比４：３の四角形領域であるとする。このとき、映像用撮像素子により得られたＨＤ画質の撮影画像の左右の一部の範囲は、ＡＦ用撮像素子では撮影されない範囲となり、ＡＦ枠を設定できない範囲となる。
【００１４】
そのため、自動追尾装置において、テレビカメラからのＨＤ信号により得られる撮影画像に基づいて追尾対象の被写体の位置を検出する場合に、撮影画像内においてＡＦ枠を設定できない左右の一部の範囲は画像処理の対象範囲に含まれない。
【００１５】
このようにテレビカメラからのＨＤ信号により得られる撮影画像の一部の範囲が、画像処理装置での画像処理の対象に含まれていない場合において、画像処理装置では、その範囲の画像データも内部のメモリに取り込むことになるため、その分の不要な処理時間やメモリ領域を費やしてしまうという問題があった。
【００１６】
本発明はこのような事情に鑑みてなされたもので、テレビカメラ等から入力される映像信号により取り込まれる撮影画像を画像処理用の解像度及び画面サイズの画像に変換して内部のメモリに取り込む際の処理速度の高速化を図り、また、メモリ容量の低減を図ることにより、画像処理を含めた全体処理の速度向上と、コスト低減を図ることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
前記目的を達成するために、請求項１に記載の画像処理装置は、入力される映像信号によりフレーム単位の撮影画像の画像データを取り込み、該画像データに所要の画像処理を施す画像処理装置において、前記映像信号によりフレーム単位の撮影画像の画像データを取り込むと共に、前記撮影画像と異なる解像度及び画面サイズの処理画像であって、該撮影画像の全範囲を含み、且つ、該撮影画像でないブランク領域の画像が付加された処理画像に前記撮影画像を変換する変換手段と、前記処理画像のうち、少なくとも前記ブランク領域の画像の画像データを削除するカット手段と、前記カット手段により少なくともブランク領域の画像の画像データが削除された前記処理画像の画像データを前記画像処理の対象として画像処理用のメモリに記憶させる記憶手段と、を備えたことを特徴としている。
【００１８】
請求項２に記載の画像処理装置は、請求項１に記載の発明において、前記カット手段は、前記撮影画像の撮影画角範囲のうち、前記画像処理の対象ではない範囲の画像の画像データも前記処理画像の画像データから削除することを特徴としている。
【００１９】
請求項３に記載の画像処理装置は、請求項２に記載の発明において、前記画像処理装置は、オートフォーカスにより自動でピントを合わせる被写体の範囲を示すＡＦ枠を、所定の被写体に自動で追尾させるための画像処理を行う装置であり、前記カット手段は、前記撮影画像の撮影画角範囲のうち、前記オートフォーカスによりピントを合わせることが可能な画角範囲を、前記画像処理が対象とする撮影画角範囲とし、該撮影画角範囲外の前記処理画像の画像データを削除することを特徴としている。
【００２０】
請求項４に記載の画像処理装置は、請求項１、２、又は、３に記載の発明において、前記入力される映像信号は、ＨＤ画質であり、前記変換手段により変換される処理画像はＳＤ画質であることを特徴としている。
【００２１】
請求項５に記載の画像処理装置は、請求項１、２、３、又は、４に記載の発明において、前記映像信号は、テレビカメラにより現在撮影されている映像の映像信号であることを特徴としている。
【００２２】
本発明によれば、テレビカメラ等から入力された映像信号により取り込んだフレーム単位の撮影画像を異なる解像度及び画面サイズの処理画像に変換して画像処理を施す場合に、少なくとも、その処理画像に含まれるブランク領域等の不要範囲の画像の画像データが削除されてからメモリに記憶されるため、画像データをメモリに取り込む際の処理速度の高速化とメモリ容量の低減が図られる。
【発明の効果】
【００２３】
本発明によれば、テレビカメラ等から入力される映像信号により取り込まれる撮影画像を画像処理用の解像度及び画面サイズの画像に変換して内部のメモリに取り込む際の処理速度の高速化と、メモリ容量の低減が図られる。従って、画像処理を含めた全体処理の速度向上と、コスト低減が図られる。
【発明を実施するための最良の形態】
【００２４】
以下、添付図面を参照して、本発明に係る画像処理装置を実施するための最良の形態について詳細に説明する。
【００２５】
図１は、本発明に係る画像処理装置としての追尾装置が使用されたカメラシステムの一実施の形態を示す概略構成図である。
【００２６】
図１に示すように、本実施の形態のカメラシステム１は、例えば放送用又は業務用のテレビカメラのカメラ本体１０（カメラヘッド）と、カメラ本体１０にマウントによって装着される撮影レンズ１２（撮影光学系）と、カメラ本体１０に設置された構図の確認等のためのビューファインダ（モニタ）１４、及び、オートフォーカス（ＡＦ）によりピントを合わせる対象被写体の撮影画像（撮影画面）上での移動に合わせてＡＦの対象範囲であるＡＦエリア（ＡＦ枠）の位置を自動で変更（自動追尾）する画像処理装置（追尾装置）１６とから構成されている。
【００２７】
撮影レンズ１２には、光軸Ｏに沿った本線光路においてフォーカスレンズ（群）ＦＬ、ズームレンズ（群）ＺＬ、絞りＩ、前側リレーレンズ（群）ＲＡ及び後側リレーレンズ（群）ＲＢからなるリレーレンズ（リレー光学系）等が順に配置されている。フォーカスレンズＦＬやズームレンズＺＬは光軸方向に移動可能なレンズ群であり、フォーカスレンズＦＬが移動するとピント位置（被写体距離）が変化し、ズームレンズＺＬが移動するとズーム倍率（焦点距離）が変化するようになっている。絞りＩは、開閉動作し、絞りＩの開閉度によって像の明るさが変化するようになっている。撮影レンズ１２に入射してこれらの本線光路の光学系を通過した被写体光はカメラ本体１０の光学系に入射する。
【００２８】
カメラ本体１０の光学系は、色分解光学系１８と映像用撮像素子（ＣＣＤ）２０を備えている。色分解光学系１８は、撮影レンズ１２から入射した被写体光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の波長に分解するものであり、映像用撮像素子２０は、この色分解された各色の被写体光の像を撮像するＲ、Ｇ、Ｂごとの映像用撮像素子（ＣＣＤ）からなっている。なお、図１においては光学的に等価な光路長の位置に配置されたＲ、Ｇ、Ｂの映像用撮像素子を１つの映像用撮像素子２０として表している。映像用撮像素子２０の撮像面に入射した被写体光は、映像用撮像素子２０によって光電変換されてカメラ本体１０内の所定の信号処理回路によって記録又は再生用の映像信号が生成されるようになっている。
【００２９】
また、本実施の形態の撮影レンズ１２は、いわゆる光路長差方式のオートフォーカス（ＡＦ）に対応した構成を有しており、撮影レンズ１２のリレー光学系の前側リレーレンズＲＡと後側リレーレンズＲＢとの間には光分割光学系２２が配置されている。光分割光学系２２は、第１プリズム２２ａと第２プリズム２２ｂとから構成されており、第１プリズム２２ａと第２プリズム２２ｂとが接合する部分にハーフミラー面２２Ｍが形成されている。このハーフミラー面２２Ｍによって撮影レンズ１２の本線光路からＡＦ用光路が分岐される。
【００３０】
撮影レンズ１２に入射した被写体光のうち、光分割光学系２２のハーフミラー面２２Ｍを透過した被写体光は、本線用の被写体光としてそのまま光軸Ｏに沿った本線光路を通過してカメラ本体１０へと導かれる。一方、光分割光学系２２のハーフミラー面２２Ｍで反射した被写体光は、ＡＦ用の被写体光として上記光軸Ｏに略垂直な光軸Ｏ’に沿ったＡＦ用光路へと導かれる。なお、ハーフミラー面２２Ｍに入射した入射光に対してハーフミラー面２２Ｍで分割される透過光と反射光の光量比は必ずしも等価（１対１）ではなく、例えばＡＦ用の被写体光となる反射光の光量の方が透過光よりも少なくしてもよい。
【００３１】
ＡＦ用光路には、縮小光学系やリレーレンズ群等からなる光学系２４、第１プリズム２６ａ及び第２プリズム２６ｂからなる光分割光学系２６、ＡＦ用撮像素子（ＣＣＤ）２８ａ、２８ｂ等が配置されている。
【００３２】
本線光路に配置された光分割光学系２２で分割されてＡＦ用光路へと導かれた被写体光は、光学系２４を通過した後、光分割光学系２６に入射する。光分割光学系２６に入射した被写体光は、第１プリズム２６ａと第２プリズム２６ｂとが接合する部分のハーフミラー面２６Ｍで光量が等価な２つの被写体光に分割され、ハーフミラー面２６Ｍで反射した被写体光は一方のＡＦ用撮像素子２８ａの撮像面に入射し、ハーフミラー面２６Ｍを透過した被写体光は他方のＡＦ用撮像素子２８ｂの撮像面に入射する。
【００３３】
また、撮影レンズ１２には、オートフォーカス（ＡＦ）処理を実行するＡＦ処理部３０が設けられている。
【００３４】
撮影レンズ１２は、ＡＦ用撮像素子２８ａ、２８ｂの撮像面におけるイメージサークル（被写体像が結像される円形範囲）内の被写体像と、カメラ本体１０の映像用撮像素子２０の撮像面におけるイメージサークル内の被写体像とが略一致するように構成されている。即ち、これらの撮像素子によって撮影される撮影画角は略一致している。
【００３５】
また、ＡＦ用撮像素子２８ａ、２８ｂの撮像面の各々に対してピントが合う被写体の距離は、映像用撮像素子２０の撮像面に対してピントが合う被写体の距離に対して至近側と無限遠側にずれるように構成されている。即ち、ＡＦ用撮像素子２８ａ、２８ｂの撮像面は、光路長差を有する位置に配置されると共に、映像用撮像素子２０の撮像面に対して光路長が微少量分だ長くなる位置と短くなる位置に配置されている。
【００３６】
ＡＦ処理部３０は、ＡＦ用撮像素子２８ａ、２８ｂから映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子２８ａ、２８ｂから得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象範囲であるＡＦエリアに対応する範囲の信号を１画面分ずつ積算する。このようにして１画面分ごとに得られる積算値はＡＦ用撮像素子２８ａ、２８ｂの各々の撮像面により撮像されたＡＦエリア内の被写体画像のコントラストの高低を示す。
【００３７】
このようにしてＡＦ用撮像素子２８ａ、２８ｂの各々の映像信号により求められたこれらの焦点評価値は、撮影レンズ１２のフォーカス（フォーカスレンズＦＬ）を現在位置から至近側と無限遠側に一定微少量分だけ変位させたときに映像用撮像素子２０の撮像面により撮像されるＡＦエリア内の被写体像のコントラストを示す焦点評価値に相当する。
【００３８】
従って、それらの焦点評価値の大小関係により、ピント状態が、合焦状態、前ピン状態、後ピン状態のいずれであるかを判断することができる。図示しないフォーカスレンズＦＬの駆動部は、このピント状態に基づいて、合焦状態となる方向にフォーカスレンズＦＬをモータで移動させ、合焦状態となる位置にフォーカスレンズＦＬを設定するようになっている。尚、ＡＦ用撮像素子２８ａ、２８ｂの各々の映像信号により求められた焦点評価値が一致するときに合焦状態となるようにＡＦ用撮像素子２８ａ、２８ｂの各々の撮像面の位置が配置されており、フォーカスレンズＦＬはそれらの焦点評価値が一致する位置に設定される。
【００３９】
図２に、ＡＦエリアの輪郭であるＡＦ枠の例を示す。図２に示すように、ＡＦ枠は、カメラ本体１０の映像用撮像素子２０の撮影画像（撮像エリア）の範囲内において、四角形状の範囲を示す枠として設定され、この範囲内の被写体に対してＡＦによりピントが合わせられるようになっている。
【００４０】
画像処理装置（追尾装置）１６は、ユーザが指定した対象物（対象被写体）の画像を撮影画像の画面上で検出しながらその対象物の画面上での移動に合わせてＡＦエリア（その輪郭を示すＡＦ枠）の位置を自動で変更（自動追尾）する自動追尾機能を実現するための装置である。尚、対象被写体の撮影画像内での位置、大きさ、形状に応じてＡＦエリアの位置、大きさ、形状（縦横比）も自動で変更することが可能であるが、本実施の形態では、ＡＦエリアの位置のみが変更されるものとして説明する。
【００４１】
上記ＡＦ処理部３０において設定されるＡＦエリア（ＡＦ枠）の位置は、追尾装置１６からの指示により設定、変更されるようになっており、追尾装置１６では、図示しないマニュアル操作部によりユーザがＡＦ枠の変更のためのマニュアル操作を行っている場合には、そのマニュアル操作に従ってＡＦ枠の位置を決定し、その決定したＡＦ枠の情報をＡＦ処理部３０に送信する。
【００４２】
一方、ユーザがＡＦ枠の変更のためのマニュアル操作を行っていない場合には、ＡＦ枠の自動追尾処理を行ってＡＦ枠の位置を決定し、その決定したＡＦ枠の情報をＡＦ処理部３０に送信する。
【００４３】
ＡＦ処理部３０では、追尾装置１６から与えられたＡＦ枠の情報に従ってＡＦ枠が設定され、そのＡＦ枠内の被写体にピントが合わせられるようになっている。
【００４４】
また、追尾装置１６には、カメラ本体１０の映像用撮像素子２０により撮影されている映像の映像信号がカメラ本体１０から入力されるようになっており、上記の自動追尾処理は、その映像信号から映像用撮像素子２０で撮像されたフレーム単位（１コマ単位）の撮影画像を適宜取り込み、所定の画像処理により、撮影画像の中から追尾する対象被写体を検出する。そして、その検出した対象被写体の位置に基づいて、ＡＦ枠の位置を決定し、対象被写体がＡＦによるピント合わせの対象となるようにＡＦ枠を対象被写体に追尾させる。
【００４５】
ここで、カメラ本体１０から取り込んだ撮影画像の中から対象被写体を検出する周知の方法がいくつか知られており、上記の自動追尾処理では、それらの内の任意の方法が採用されているものとする。例えば、パターンマッチングを利用した方法として、対象被写体の画像が基準パターンとして自動追尾を開始する前に事前に登録しておき、順次取り込まれる撮影画像の中からその基準パターンを周知のパターンマッチング処理により検出することにより対象被写体を検出する方法が知られている。このとき、例えば、自動追尾を開始する直前のＡＦ枠内、または、そのＡＦ枠を基準とした一定範囲内の画像を基準パターンとして登録することや、事前に撮影した対象被写体の画像を基準パターンとして予め登録しておくことが可能である。
【００４６】
また、対象被写体が人物の顔である場合には、周知の顔検出処理を利用する方法も知られている。例えば、順次得られる撮影画像の中に含まれる１又は複数の顔画像を顔検出処理により検出するものとし、初期においてユーザが追尾対象として選択した顔画像を対象被写体として検出する方法が知られている。更に、この顔検出処理において検出された顔画像の中から、事前に登録された特定の人物の顔画像を周知の顔認証処理により検出することによって、その特定の人物の顔画像を対象被写体として検出する方法も知られている。
【００４７】
上記追尾装置１６は、このように対象被写体の検出を所要の画像処理を用いて行うことによって対象被写体を追尾するためのＡＦ枠の位置を決定する自動追尾処理を行っている。
【００４８】
また、追尾装置１６は、カメラ本体１０から取り込んだ映像信号に対して、ＡＦ枠の情報を合成し、その合成した映像の映像信号をビューファインダ１４に出力し、表示させるための処理も行っている。例えば、カメラ本体１０から取り込んだ映像信号の映像（リアルタイムの撮影映像）に対して、現在設定されているＡＦ枠の画像を重畳した映像を生成し、その合成映像の映像信号をビューファインダ１４に出力する。これによって、ビューファインダ１４の画面上には、構図の確認等のための現在撮影中の映像とともに、ＡＦの対象範囲であるＡＦ枠も図２のように表示される。
【００４９】
図３は、上記の追尾装置のようにカメラシステムに使用される本発明に係る画像処理装置１６の基本的な構成を示したブロック図である。同図に示すように画像処理装置１６は、カメラ本体１０からシリアルに入力される映像信号をフレーム単位（１コマ単位）の撮影画像の画像データとして展開（変換）するデコーダ４０と、デコーダ４０により展開された撮影画像の画像データのうち、詳細を後述するように画像処理の対象としない不要な部分をカット（切除）するためのＰＬＤ（プログラマブル・ロジック・デバイス）４１と、所要の画像処理を行うと共に、その処理結果の情報を撮影画像（カメラ本体１０からの映像信号）に合成する処理等を行うＣＰＵ４２と、この処理結果が合成された撮影画像をモニタ表示用の映像信号に変換して出力するエンコーダ４４と、上記デコーダ４０によって展開されてＰＬＤ４１により処理された１フレーム分（又は所定フレーム数分）の撮影画像の画像データを格納するＲＡＭ４６、及び、ＣＰＵ４２のプログラムデータ等が格納されたＲＯＭ４８等を備えている。
【００５０】
デコーダ４０には、カメラ本体１０の映像用撮像素子２０により撮像されて生成された映像信号（コンポジット信号）がシリアルに入力される。本実施の形態のカメラ本体１０ではＨＤ（高精細）画質の映像が撮影されており、デコーダ４０には、ＨＤ画質の映像信号（ＨＤ信号）が入力される。デコーダ４０は、このＨＤ信号を輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに分解して、フレーム単位の撮影画像の画像データに展開する。
【００５１】
また、本実施の形態の画像処理装置１６は、ＳＤ（標準）画質程度の撮影画像に対して所要の画像処理を施すものとし、デコーダ４０は、ＨＤ画質の撮影画像をＳＤ画質に変換する。詳細は後述する。
【００５２】
デコーダ４０によりＨＤ信号から得られた撮影画像の画像データは続いてＰＬＤ４１に取り込まれ、ＰＬＤ４１は、本画像処理装置１６における画像処理の対象でない範囲（不要範囲）の画像データをカットする処理を行う。このカット処理の詳細についても後述する。
【００５３】
ＰＬＤ４１の処理により、不要範囲の画像データがカットされて画像処理に有効な範囲のみ抽出された画像データは、ＣＰＵ４２を介して、又は、直接、ＲＡＭ４６に送られ、一時的に格納される。ＣＰＵ４２は、ＲＡＭ４６の格納された画像データを使用して所要の情報を得るための画像処理を行う。
【００５４】
上記のように自動追尾処理を行う場合には、撮影画像の中から対象被写体を検出するためのパターンマッチング処理、顔検出処理、又は、顔認証処理等の画像処理がＲＡＭ４６に記憶された撮影画像の画像データを用いて行われる。
【００５５】
画像処理の結果得られた情報は、ＣＰＵ４２において、文字、記号、図形等により表される画像データとして生成されると共に、その画像データとＰＬＤ４１から１フレーム単位で順次読み込まれる撮影画像の画像データとにより、画像処理の結果を表す情報画像が撮影画像に合成（重畳）される。
【００５６】
このようにして情報画像が合成された撮影画像は、順次、エンコーダ４４に送られ、エンコーダ４４において、その撮影画像をビューファインダ１４に表示させるための映像信号に変換されてビューファインダ１４に出力される。
【００５７】
尚、画像処理装置１６が上記の追尾装置の場合、自動追尾処理の結果決定されたＡＦ枠の位置に、そのＡＦ枠の画像（枠画像）が撮影画像に重畳され、その撮影画像を表示する映像信号がビューファインダ１４に出力される。
【００５８】
次に、上記ＰＬＤ４０の処理について詳説する。上記のように本実施の形態においてカメラ本体１０からデコーダ４０に入力される映像信号はＨＤ（高詳細）画質のＨＤ信号であるとする。一方、画像処理装置１６において画像処理の対象とする画像はＳＤ（通常）画質程度のものとする。
【００５９】
デコーダ４０は、カメラ本体１０から入力されるＨＤ信号の映像信号より得られるフレーム単位のＨＤ画質の撮影画像を画像処理のためのＳＤ画質の撮影画像（画像処理用の処理画像）に変換する。このとき、図４のように画面サイズが変更される。
【００６０】
即ち、デコーダ４０に入力されるＨＤ信号から得られるＨＤ画質の撮影画像のＨＤ画面は、解像度が１９２０×１０８０で、アスペクト比が１６：９の画面サイズ（イメージサイズ）である。一方、図４のＳＤ画面６２で示すＳＤ画質の画像の画面は、解像度が６４０×４８０で、アスペクト比が４：３の画面サイズとなっている。
【００６１】
そこで、デコーダ４０は、ＨＤ画質の撮影画像の全範囲がＳＤ画面６２内の画像として収まるように、ＨＤ画質の撮影画像の横方向の解像度１９２０をＳＤ画質の横方向の解像度６４０に変換する。また、アスペクト比１６：９が維持されるように、ＨＤ画質の撮影画像の縦方向の解像度をＳＤ画質の縦方向の解像度４８０よりも小さい解像度３６０（６４０×９／１６）に変換する。
【００６２】
従って、デコーダ４０からは、解像度６４０×４８０で、アスペクト比が４：３の画面サイズのＳＤ画質の画像データが出力されると共に、そのＳＤ画面６２内において、ＨＤ信号から得られるＨＤ画質の撮影映像が、図４のように中央部の解像度６８０×３６０のＨＤ画面６０で示す範囲の画像データとして出力される。そして、そのＨＤ画面６０の範囲を除く、上下の各々の解像度６８０×６０の範囲にブランク領域６４、６４の画像として例えば黒一色の画像の画像データが付加されて出力される。
【００６３】
ＰＬＤ４１には、このようにしてデコーダ４０により出力されたＳＤ画質の処理画像の画像データが入力される。ＰＬＤ４１は、入力された処理画像の画像データに対してブランク領域６４、６４の画像データをカットする処理を行う。
【００６４】
即ち、図４のＳＤ画面６２で示した構成の処理画像の画像データがＰＬＤ４１に入力されると、その画像データのうち、上下のブランク領域６４、６４の画像データは画像処理のデータとしては不要な画像データとなる。そこで、ＰＬＤ４１は、そのブランク領域６４、６４の画像データをカット（削除）し、撮影画像の画像データが有効に存在するＨＤ画面６０で示す範囲の画像データのみを抽出する。
【００６５】
また、このブランク領域６４、６４以外に、処理画像の画像データには、画像処理に不要な範囲となる画像データが含まれる場合があり、その画像データもカットする。
【００６６】
例えば、画像処理装置１６が上述した追尾装置の場合において、図１に示したＡＦ用撮像素子２８ａ、２８ｂがＳＤ画質の画像を撮像するものであるとする。この場合には、ＰＬＤ４１に入力されたＳＤ画質の処理画像の画像データのうち左右の一部の範囲の画像データも不要な画像データとなる。
【００６７】
即ち、カメラ本体１０の映像用撮像素子２０の撮像面と、ＡＦ用撮像素子２８ａ、２８ｂの撮像面において、撮影レンズ１２により像が結像される範囲を示すイメージサークル内の被写体像は略同等のものであるとする。図５（Ａ）に示すようにそのイメージサークル７０に対して、映像用撮像素子２０の撮像エリア７２は、アスペクト比１６：９のイメージサイズでイメージサークル７０に対して内接し、ＡＦ用撮像素子２８ａ、２８ｂの撮像エリア７４は、アスペクト比４：３のイメージサイズでイメージサークル７０に対して内接しているものとする。
【００６８】
ＡＦ処理部３０は、ＡＦ用撮像素子２８ａ、２８ｂの撮像エリア内で撮影される被写体に対してのみピントを合わせることが可能であり、ＡＦ枠により追尾可能な被写体の範囲もＡＦ用撮像素子２８ａ、２８ｂの撮像エリア内で撮影されている被写体に制限される。
【００６９】
従って、映像用撮像素子２０の撮像エリア７２のうち、ＡＦ用撮像素子２８ａ、２８ｂの撮像エリア７４と重なる領域の撮像エリアによって撮影される画像の範囲（撮影画角範囲）のみでＡＦ枠を移動させることが適切である。
【００７０】
ここで、映像用撮像素子２０の撮像エリア７２により撮影されている画像のうち、ＡＦ用撮像素子２８ａ、２８ｂの撮像エリア７４により撮影されていない画像の範囲は、図５（Ａ）に示すように映像用撮像素子２０の撮像エリア７２の左右の一部の斜線で示す範囲（不要範囲）７６、７６で撮影された画像の範囲となる。
【００７１】
そこで、ＰＬＤ４１は、入力された処理画像の画像データのうち、その映像用撮像素子２０の撮像エリア７２における不要範囲７６、７６で撮像された画像の画像データもカットする。
【００７２】
即ち、図４と同様に図５（Ｂ）に示したＰＬＤ４１に入力される処理画像のＳＤ画面６２において、ＨＤ画面６０の左右に示されている不要範囲７８、７８の画像が、図５（Ａ）の撮像エリア７２の不要範囲７６、７６で撮影された画像の範囲、即ち、ＡＦ用撮像素子２８ａ、２８ｂの撮影画角範囲内でない範囲であるとする。このとき、ＰＬＤ４１はその不要範囲７８、７８の画像データもカットする。
【００７３】
従って、以上のＰＬＤ４１のカット処理により、ＰＬＤ４１に入力されるＳＤ画質の処理画像の画像データのうち、ブランク領域６４、６４の画像データ及び不要範囲７６、７６の画像データがカットされ、それらの範囲以外の画像データのみがＰＬＤ４１により抽出されて出力される。
【００７４】
そして、以上のようにしてＰＬＤ４１により、画像処理に不要な画像データがカットされた処理画像の画像データ、即ち、画像処理に有効に使用される画像データのみが、ＣＰＵ４２を介して、又は、直接、ＲＡＭ４６に格納される。
【００７５】
このようなＰＬＤ４１のカット処理によれば、画像データをＲＡＭ４６に書き込む処理に不要な時間を費やすことなく、また、ＲＡＭ４６のメモリ容量を低減することができるため、処理の高速化やコストの低減を図ることができるようになる。
【００７６】
尚、上記実施の形態の場合に限らず、画像処理装置１６に入力される映像信号により得られる撮影画像の撮影画角範囲に対して画像処理装置１６における画像処理が対象とする画角範囲（有効に使用する撮影画像の範囲）が一部に限定される場合には、その有効に使用される画角範囲の画像データ以外をＰＬＤ４１でカットして、画像処理で有効に使用される画角範囲の画像の画像データのみをＲＡＭ４６に格納すればよい。
【００７７】
また、上記実施の形態では、画像処理装置１６の一例としてＡＦ枠を所定の被写体に追尾させるための画像処理を行う追尾装置をテレビカメラシステムで使用した場合について説明したが、本発明は追尾装置以外の種類の画像処理装置にも適用できる．例えば、カメラ本体１０からの映像信号を取得して所定の画像処理により被写体の位置等を検出し、その被写体が常に撮影範囲内となるように雲台に搭載したカメラの撮影方向を自動で変更するための画像処理装置、カメラ１０からの映像信号を取得してＡＦの処理をカメラ本体１０や撮影レンズ１２の外部で行うための画像処理装置等に適用することができる。
【００７８】
また、本発明は、画像処理装置１６に入力される映像信号がカメラ本体１０からの直接与えられるものでなくても適用できる。
【図面の簡単な説明】
【００７９】
【図１】本発明に係る画像処理装置としての追尾装置が使用されたカメラシステムの一実施の形態を示す概略構成図である。
【図２】ＡＦ枠の例を示す説明図である。
【図３】本発明に係る画像処理装置の基本的な構成を示したブロック図である。
【図４】画像処理装置におけるデコーダの処理の説明に使用した説明図である。
【図５】画像処理装置におけるＰＬＤの処理の説明に使用した説明図である。
【符号の説明】
【００８０】
１…カメラシステム、１０…カメラ本体、１２…撮影レンズ、１４…ビューファインダ、１６…画像処理装置（追尾装置）、２０…映像用撮像素子、２８ａ、２８ｂ…ＡＦ用撮像素子、３０…ＡＦ処理部、４０…デコーダ、４１…ＰＬＤ（プログラマブル・ロジック・デバイス）、４２…ＣＰＵ、４４…エンコーダ、４６…ＲＡＭ、４８…ＲＯＭ
【特許請求の範囲】
【請求項１】
入力される映像信号によりフレーム単位の撮影画像の画像データを取り込み、該画像データに所要の画像処理を施す画像処理装置において、
前記映像信号によりフレーム単位の撮影画像の画像データを取り込むと共に、前記撮影画像と異なる解像度及び画面サイズの処理画像であって、該撮影画像の全範囲を含み、且つ、該撮影画像でないブランク領域の画像が付加された処理画像に前記撮影画像を変換する変換手段と、
前記処理画像のうち、少なくとも前記ブランク領域の画像の画像データを削除するカット手段と、
前記カット手段により少なくともブランク領域の画像の画像データが削除された前記処理画像の画像データを前記画像処理の対象として画像処理用のメモリに記憶させる記憶手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記カット手段は、前記撮影画像の撮影画角範囲のうち、前記画像処理の対象ではない範囲の画像の画像データも前記処理画像の画像データから削除することを特徴とする請求項１の画像処理装置。
【請求項３】
前記画像処理装置は、オートフォーカスにより自動でピントを合わせる被写体の範囲を示すＡＦ枠を、所定の被写体に自動で追尾させるための画像処理を行う装置であり、前記カット手段は、前記撮影画像の撮影画角範囲のうち、前記オートフォーカスによりピントを合わせることが可能な画角範囲を、前記画像処理が対象とする撮影画角範囲とし、該撮影画角範囲外の前記処理画像の画像データを削除することを特徴とする請求項２の画像処理装置。
【請求項４】
前記入力される映像信号は、ＨＤ画質であり、前記変換手段により変換される処理画像はＳＤ画質であることを特徴とする請求項１、２、又は、３の画像処理装置。
【請求項５】
前記映像信号は、テレビカメラにより現在撮影されている映像の映像信号であることを特徴とする請求項１、２、３、又は、４の画像処理装置。
【請求項１】
入力される映像信号によりフレーム単位の撮影画像の画像データを取り込み、該画像データに所要の画像処理を施す画像処理装置において、
前記映像信号によりフレーム単位の撮影画像の画像データを取り込むと共に、前記撮影画像と異なる解像度及び画面サイズの処理画像であって、該撮影画像の全範囲を含み、且つ、該撮影画像でないブランク領域の画像が付加された処理画像に前記撮影画像を変換する変換手段と、
前記処理画像のうち、少なくとも前記ブランク領域の画像の画像データを削除するカット手段と、
前記カット手段により少なくともブランク領域の画像の画像データが削除された前記処理画像の画像データを前記画像処理の対象として画像処理用のメモリに記憶させる記憶手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記カット手段は、前記撮影画像の撮影画角範囲のうち、前記画像処理の対象ではない範囲の画像の画像データも前記処理画像の画像データから削除することを特徴とする請求項１の画像処理装置。
【請求項３】
前記画像処理装置は、オートフォーカスにより自動でピントを合わせる被写体の範囲を示すＡＦ枠を、所定の被写体に自動で追尾させるための画像処理を行う装置であり、前記カット手段は、前記撮影画像の撮影画角範囲のうち、前記オートフォーカスによりピントを合わせることが可能な画角範囲を、前記画像処理が対象とする撮影画角範囲とし、該撮影画角範囲外の前記処理画像の画像データを削除することを特徴とする請求項２の画像処理装置。
【請求項４】
前記入力される映像信号は、ＨＤ画質であり、前記変換手段により変換される処理画像はＳＤ画質であることを特徴とする請求項１、２、又は、３の画像処理装置。
【請求項５】
前記映像信号は、テレビカメラにより現在撮影されている映像の映像信号であることを特徴とする請求項１、２、３、又は、４の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１０９４３８（Ｐ２０１０−１０９４３８Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２７６７６２（Ｐ２００８−２７６７６２）
【出願日】平成２０年１０月２８日（２００８．１０．２８）
【出願人】（０００００５４３０）フジノン株式会社 (2,231)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月２８日（２００８．１０．２８）
【出願人】（０００００５４３０）フジノン株式会社 (2,231)
【Ｆターム（参考）】
[ Back to top ]