動画像処理装置、動画像処理装置の制御方法、プログラム及び記録媒体
【課題】メモリをひとつだけ持つ構成で、プログレッシブ方式の画像データを、幾何的変形を施したインターレース方式の画像データへと変換するビデオカメラ装置を実現。
【解決手段】イメージセンサ１１から出力されたプログレッシブ方式の画像データはメモリ制御部３０によりメモリ２０に書き込まれる。メモリ２０上の画像（変形前画像）を変形（拡大・回転等）後の画像のインターレース方式で出力される画素順で、変形後画像の各画素の座標に対応した変形前画像上の座標が画像変形部４０で順次生成される。メモリ制御部３０は、その生成された座標をメモリ２０のアドレスへ変換し、該アドレスより変形前画像の画素値を読み出してインターレース方式の画像データとして出力する。
【解決手段】イメージセンサ１１から出力されたプログレッシブ方式の画像データはメモリ制御部３０によりメモリ２０に書き込まれる。メモリ２０上の画像（変形前画像）を変形（拡大・回転等）後の画像のインターレース方式で出力される画素順で、変形後画像の各画素の座標に対応した変形前画像上の座標が画像変形部４０で順次生成される。メモリ制御部３０は、その生成された座標をメモリ２０のアドレスへ変換し、該アドレスより変形前画像の画素値を読み出してインターレース方式の画像データとして出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログレッシブ方式の画像データを入力し、インターレース方式の画像データを出力するビデオカメラ装置等の動画像処理装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラ装置はその小型化に伴って、例えば車載カメラやセキュリティカメラなど様々な用途に使用されるようになっている。
【０００３】
このようなビデオカメラ装置の中には、画像をインターレース方式で出力するものがある。これは、動画像を表示するための装置（カーナビゲーションシステムのモニタやテレビジョンなど）には、ＮＴＳＣやＰＡＬなどのインターレース方式の規格に対応した装置が多いからである。
【０００４】
一方、映像を撮像するためにはＣＣＤイメージセンサやＣＭＯＳイメージセンサといったイメージセンサが使用されるが、これらのイメージセンサは撮像した画像をプログレッシブ方式の画像データとして出力するものが多い。これは、撮像後に画像処理を施す場合や動く被写体を撮像する場合に、プログレッシブ方式のほうが有利であるためである。
【０００５】
以上のように、入力の画像データがプログレッシブ方式で、出力の画像データがインターレース方式であるビデオカメラ装置等においては、プログレッシブ方式をインターレース方式に変換するＰＩ変換処理を施す必要がある。
【０００６】
このＰＩ変換の方法は良く知られている。例えば特許文献１では、プログレッシブ方式で入力する際のフレームレートと、インターレース方式で出力する際のフィールドレートとの関係によって、２通りのＰＩ変換方法を使い分けている。より具体的には、入力のプログレッシブ方式のフレームレートが出力のインターレース方式のフィールドレートと同じである場合には、プログレッシブ方式のフレーム内で垂直方向に並んだ２つの画素値を足し合わせて、１フィールド分の画素値を得ることで、ＰＩ変換を実現している。入力のプログレッシブ方式のフレームレートが出力のインターレース方式のフィールドレートと同じでない場合には、プログレッシブ方式の画像データの１フレーム分をメモリにいったん保存し、保存した画像を走査線１本おきに読み出すことでＰＩ変換を実現している。
【０００７】
上記の２画素を足し合わせるＰＩ変換方法は、メモリが不要なのでコスト面で有利である。しかし、入力のフレームレートを出力のフィールドレートと同じにするためには、イメージセンサを含む入力部分の動作の高速化が必要なので、高速で動作できるイメージセンサでしか実現できない方法である。逆に、上記のメモリを使用するＰＩ変換方法は、メモリ分のコストアップはあるものの、入力からメモリに保存するまでの動作速度が限定されない（遅くても速くても問題ない）という利点がある。
【０００８】
ビデオカメラ装置には、イメージセンサから得られた画像データをそのまま出力するだけでなく、拡大や回転といった幾何学的な変形処理を施して出力するものもある。このような画像の変形処理の方法は良く知られている。ここでは変形処理の例として、画像を縦横に２倍に拡大する処理について図１０を用い説明する。
【０００９】
説明を簡単にするため、横４ｐｉｘ、縦３ｐｉｘの、合計１２ｐｉｘの画素で構成された画像データを、横８ｐｉｘ、縦６ｐｉｘの、合計４８ｐｉｘの画素で構成された画像データに拡大する場合で考える。
【００１０】
図１０において、変形前の画像の横方向をｘ座標で示し、縦方向をｙ座標で示し、画像の左上隅にあたる画素の座標を（ｘ，ｙ）＝（１，１）とした。また、拡大後の画像の横方向をｕ座標で示し、縦方向をｖ座標で示し、画像の左上隅にあたる画素の座標を（ｕ，ｖ）＝（１，１）とした。
【００１１】
例えば、拡大後の画像の座標（ｕ，ｖ）＝（８，６）の画素値を求めるには、当該ｕ，ｖ座標の値を１／２すると（ｕ，ｖ）＝（４，３）となるので、変形前の画像の座標（ｘ，ｙ）＝（４，３）の画素値を参照し、その値をコピーする。また、拡大後の画像の座標（ｕ，ｖ）＝（５，２）の画素値を求めるには、ｕ，ｖ座標値を１／２すると（ｕ，ｖ）＝（２．５，１）とｕ座標値は小数になるため、変形前の画像の座標（ｘ，ｙ）＝（２，１）と（ｘ，ｙ）＝（３，１）の２点の画素値を参照し、それらの平均値を採用する。
【００１２】
ここでは画像の拡大の場合について説明したが、その他の変形の場合でも、「変形後の画像のある座標は、変形前の画像ではどこの座標にあたるのかを見つけ出す」という処理を行うのが一般的である。このような処理を実現するためには、変形前の画像データをメモリに保存しておく必要がある。
【００１３】
前述のように、ＰＩ変換の際にも画像の変形処理の際にも、メモリが必要になる。そのため、イメージセンサからプログレッシブ方式で得られる画像データに変形処理を施したうえで、インターレース方式の画像データに変換して出力するビデオカメラ装置の構成は、例えば図１１のようになる。図１１において、イメージセンサ１００からプログレッシブ方式の画像データが出力されが、この画像データを変形処理用のメモリ１０１にいったん保存する。画像変形部１０２では、メモリ１０１に保存された画像データを参照しながら変形処理を施し、変形後の画像データをＰＩ変換用のメモリ１０３に保存する。メモリ１０３から変形後の画像データが走査線１本おきに読み出すことにより、プログレッシブ方式の画像データからインターレース方式の画像データに変換する。
【００１４】
しかし、図１１の構成では、メモリが２つ必要でコスト高だという問題がある。また、画像データの入力から出力までの間に２つのメモリにそれぞれ読み書きを行うので、２画面分の遅延が発生するという性能面の問題がある。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明は、ビデオカメラ装置等の動画処理装置における前述したようなコスト面及び性能面での問題点を解決することを目的とする。より具体的には、本発明の目的は、入力される画像を保存するためのメモリを１つ持つだけで、画像の幾何学的変形とＰＩ変換とを実行し、かつ、それら処理を無駄なメモリの読み書きを行うことなく実行するようにしたビデオカメラ装置等の動画処理装置を提供すること、及び、そのような動画処理装置のための制御方法を提供することにある。
【課題を解決するための手段】
【００１６】
請求項１記載の発明は、プログレッシブ方式の画像データとして入力された画像（以下、変形前画像と記す）に所定の幾何学的変形を施した画像（以下、変形後画像）をインターレース方式の画像データとして出力する動画像処理装置であって、
メモリと、
前記変形前画像を前記メモリに書き込む第１の手段と、
前記変形後画像のインターレース方式で出力される画素順に従って、前記変形後画像の各画素の二次元座標に対応した前記変形前画像上の二次元座標を順次生成する第２の手段と、
前記第２の手段により順次生成された二次元座標に対応した前記変形前画像の画素値を前記メモリより順次読み出し、当該画素値をインターレース方式の画像データとして出力する第３の手段と、
を有することを特徴とする。
【００１７】
請求項２記載の発明の特徴は、請求項１記載の発明の動画像処理装置に、前記プログレッシブ方式の画像データを入力するための手段として、撮像した画像をプログレッシブ方式の画像データとして出力するイメージセンサをさらに備えることである。
【００１８】
請求項３記載の発明の特徴は、請求項１又は２記載の発明の動画像処理装置に、インターレース方式の画像データに適した同期信号を生成する第４の手段をさらに備え、前記第２の手段は、前記第４の手段により生成された同期信号を受けて、前記変形後画像のインターレース方式で出力される画素順に従って前記変形後画像の各画素の二次元座標を順次生成し、生成した該二次元座標に対応した前記変形前画像上の二次元座標を順次生成することである。
【００１９】
請求項４記載の発明の特徴は、請求項３記載の発明の動画像処理装置に、前記第３の手段より出力されるインターレース方式の画像データと、前記第４の手段により生成される同期信号とを入力として、前記第３の手段より出力されるインターレース方式の画像データに所定の画像処理を施した、インターレース方式の別の画像データを出力する第５の手段をさらに備えることである。
【００２０】
請求項５記載の発明の特徴は、請求項４記載の発明の動画像処理装置において、前記所定の画像処理は、前記第３の手段より出力されるインターレース方式の画像データに他の画像を重ね描きするオーバーレイ処理であることである。
【００２１】
請求項６記載の発明は、プログレッシブ方式の画像データとして入力された画像（以下、変形前画像と記す）に所定の幾何学的変形を施した画像（以下、変形後画像）をインターレース方式の画像データとして出力する動画像処理装置の制御方法であって、
前記変形前画像をメモリに書き込む第１の工程と、
前記変形後画像のインターレース方式で出力される画素順に従って、前記変形後画像の各画素の二次元座標に対応した前記変形前画像上の二次元座標を順次生成する第２の工程と、
前記第２の工程により順次生成された二次元座標に対応した前記変形前画像の画素値を前記メモリより順次読み出し、当該画素値をインターレース方式の画像データとして出力する第３の工程と、
を有することを特徴とする。
【００２２】
請求項７記載の発明は、請求項１乃至５のいずれか１項記載の発明の動画像処理装置のメモリ及び各手段としてコンピュータを機能させるプログラムである。
【００２３】
請求項８記載の発明は、請求項１乃至５のいずれか１項記載の発明の動画像処理装置のメモリ及び各手段としてコンピュータを機能させるプログラムが記録されたコンピュータが読み取り可能な記録媒体である。
【発明の効果】
【００２４】
請求項１乃至６に記載の発明によれば、イメージセンサ等から入力されるプログレッシブ方式の画像データを保存するためのメモリを１つ備えるのみで、該メモリに保存された画像データを、幾何学的変形を施したインターレース方式の画像データへ変換する処理を実行することができ、その際に無駄なメモリの読み書きを行わないため処理効率も良いため、従来のビデオカメラ装置等の動画処理装置におけるコスト面及び性能面での問題点を解決するができる。また、請求項７，８に記載の発明によれば、マイクロコンピュータ等のコンピュータを利用し、請求項１乃至６に記載の発明を容易に実施可能になる。
【図面の簡単な説明】
【００２５】
【図１】実施例１に係る動画像処理装置の構成説明のためのブロック図である。
【図２】実施例１に係る動画像処理装置における画像変形部での処理の説明のための図である。
【図３】実施例２に係る動画像処理装置の構成説明のためのブロック図である。
【図４】実施例３に係る動画像処理装置の構成説明のためのブロック図である。
【図５】有効な走査期間、水平ブランク期間及び垂直ブランク期間の説明図である。
【図６】プログレッシブ方式の画像データの同期信号と、それに基づいた変形前画像上の座標の計算を説明するための図である。
【図７】インターレース方式の画像データの同期信号と、それに基づいた変形後画像上の座標の計算を説明するための図である。
【図８】実施例４に係る動画像処理装置の構成説明のためのブロック図である。
【図９】オーバーレイ処理の説明図である。
【図１０】拡大処理の説明図である。
【図１１】変形処理用のメモリとＰＩ変換用のメモリを備えるビデオカメラ装置のブロック図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について、いくつかの実施例を挙げて詳細に説明する。なお、説明の重複を減らすため、図１、図３、図４、図８において、同一もしくは同様の要素には同一の参照番号が付けられている。
【実施例１】
【００２７】
図１は、本発明の実施例１に係る動画像処理装置の主要部構成を説明するためのブロック図である。
【００２８】
図１において、１０はプログレッシブ方式の画像データを入力するための手段としての画像データ源で、プログレッシブ方式の画像データを出力するものである。この画像データ源１０は、具体的には、プログレッシブ方式で画像データを出力する外部のビデオカメラ装置、プログレッシブ方式で画像データを記録する記録装置や記録媒体などを挙げることができる。
【００２９】
２０は、画像データ源１０よりプログレッシブ方式の画像データとして入力された画像（変形前画像）を保存するためのメモリである。このメモリ２０の容量は、画像の変形の自由度等を考慮して、画像データ１画面分以上を保存できる容量であることが望ましい。
【００３０】
３０はメモリ制御部であり、メモリ２０の読み書きを制御するものである。例えば、メモリ２０を読み書きするタイミングを制御したり、読み書きするアドレスを指定したりする。また、画像の各画素の座標をメモリ２０のアドレスへと変換する（左上隅の画素はメモリの０番地とする等）処理などを行う。
【００３１】
４０は、メモリ２０に保存された変形前画像に対する所定の幾何学的変形処理に関わる画像変形部である。幾何学的変形処理とは、図１０を用いて説明したような拡大もしくは縮小や回転といった処理である。画像変換部４０は、実行される変形処理の内容に適したルックアップテーブル（ＬＵＴ）や、行列演算を行う演算回路などによって実現することができる。なお、画像変形部４０では、画像データを直接操作するような処理は行わず、後述のような座標変換のための処理を実行する。したがって、メモリ制御部３０と画像変形部４０との間では、画像データそのもののやりとりはない。
【００３２】
画像変形部４０は、「変形後画像の画素の座標を示すための」信号４１が入力される。ここで、「変形後画像」とは、メモリ２０に保存されている変形前画像に所定の幾何学的変形が施されたならば得られるであろう画像であるが、その画像データはメモリ２０上には存在しない。
【００３３】
画像変形部４０においては、信号４１に基づいて、変形後画像のインターレース方式で出力される画素順に従って、変形後画像の各画素の二次元座標に対応した変形前画像上の二次元座標を順次生成し、生成した二次元座標を「変形前画像の座標を示すための」信号４２としてメモリ制御部３０へ出力する。
【００３４】
メモリ制御部３０では、信号４２で示された二次元座標をメモリ２０のアドレスに変換し、該アドレスから画素値を読み出し、当該画素値をインターレース方式の画像データとして出力する。
【００３５】
なお、信号４０，４１は、直交座標の値そのものを示す信号である場合と、二次元座標を算出できるようにするための信号である場合とがある。後者の信号の例としては、極座標の動径と偏角を示す信号、画素数を数え上げるカウンタの値を示す信号、さらには、後述するような画像データの同期信号などを挙げることができる。
【００３６】
また、「変形後画像の画素の座標を示すための」信号４１をメモリ制御部３０から画像変形部４０へ与えるようにしているが、これに限ることはなく、当該装置を制御するプロセッサ（不図示）などから信号４１を画像変形部４０に与えるようにしても良いし、画像変形部４０の内部で信号４１に相当する信号を生成するようにしてもよい。
【００３７】
ここで、画像変形部４０へ入力する信号４１で変形後画像の画素の二次元座標を指示する順番について、図２により説明する。
【００３８】
図２では、説明を簡単にするために、変形後画像は、横８画素、縦６画素、合計４８画素で構成されているものとする。また、変形後画像の横方向をｕ座標で、縦方向をｖ座標で示しており、画像の左上隅にあたる画素の座標は（ｕ，ｖ）＝（１，１）である。
【００３９】
図２中の斜体数字は、変形後画像の画素の座標が指示される順番を示し、この順番は変形後画像のインターレース方式で画素値が出力される順番でもある。
【００４０】
１番目は左上隅の座標（ｕ，ｖ）＝（１，１）を指示し、画像変形部４０は（ｕ，ｖ）＝（１，１）は変形前画像ではどこの座標にあたるのかを求め、その座標を信号４２によりメモリ制御部３０に報せ、メモリ制御部３０はその座標に対応するメモリ２０のアドレスから画素値を読み出し、当該画素値を変形後画像の座標（ｕ，ｖ）＝（１，１）の画像値として出力する。
【００４１】
２番目は右隣の座標（ｕ，ｖ）＝（２，１）を指示して同様の処理をし、３番目はさらに右隣の（ｕ，ｖ）＝（３，１）を指示して同様の処理をしていく。すなわち、変形後画像の１行目を左から右に向かって処理していく。
【００４２】
このようにして８番目の右上隅の座標（ｕ，ｖ）＝（８，１）まで処理が完了すると、９番目は３行目の１列目の座標（ｕ，ｖ）＝（１，３）を処理する。すなわち、２行目をとばして、３行目を左から右に向かって処理していく。
【００４３】
１６番目の座標（ｕ，ｖ）＝（８，３）まで処理が完了すると、１７番目の座標として５行目の１列目の座標（ｕ，ｖ）＝（１，５）を処理する。すなわち、４行目をとばして５行目を左から右に向かって処理していく。
【００４４】
２４番目の座標（ｕ，ｖ）＝（５，８）まで処理が完了すると、２５番目の座標として２行目の１列目の座標（ｕ，ｖ）＝（１，２）に戻って処理し、２行目を左から右に向かって処理していく。
【００４５】
このような処理により、変形後画像の画像データを走査線１本おきに形成することができる。これはつまり、メモリ制御部３０で、画像の変形処理とインターレース方式への変換とが一緒に（同時に）実行されるということである。
【００４６】
付言すれば、本実施例に係る動画像処理装置は、メモリ制御部３０より出力されたインターレース方式の画像データを外部へ出力する手段や、その画像データを表示するための手段等、図１に示されていない要素を備えてもよい。
【００４７】
また、以上の説明で明らかなように、本実施例におけるメモリ制御部３０は特許請求の範囲における「第１の手段」と「第３の手段」の両方を包含する要素であり、画像変形部４０は特許請求の範囲における「第２の手段」に相当する要素である。
【００４８】
なお、図１において、太い矢印は画像データを示し、細い矢印は画像データ以外の信号を示している。これは他のブロック図においても同様である。
【実施例２】
【００４９】
図３は、本発明の実施例２に係る動画処理装置の主要部構成を説明するためのブロック図である。
【００５０】
本実施例に係る動画処理装置は、プログレッシブ方式の画像データを入力する手段として、撮像した画像をプログレッシブ方式の画像データとして出力するイメージセンサ１１を備える。イメージセンサ１１としては、公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いることができる。すなわち、前記実施例１における画像データ源１０がイメージセンサ１１に置き換わっている。これ以外は実施例１の場合と同様である。
【００５１】
このようにイメージセンサを備える本実施例に係る動画像処理装置は、具体的には例えばビデオカメラ装置である。なお、本実施例に係る動画像処理装置は、ビデオカメラ装置として一般的に備える他の要素を備えてもよいことは当然である。
【実施例３】
【００５２】
図４は、本発明の実施例３に係る動画像処理装置の主要部構成を説明するためのブロック図である。以下、前記実施例２との相違点を中心に説明する。
【００５３】
本実施例に係る動画像処理装置は、具体的にはビデオカメラ装置であって、イメージセンサ１１を備える。ただし、本実施例では、イメージセンサ１１として、プログレッシブ方式の画像データとともに、プログレッシブ方式の画像データに適した同期信号３１を出力するものが用いられる。
【００５４】
本実施例に係る動画像処理装置は、同期信号生成部５０を備える。この同期信号生成部５０は、インターレース方式の画像データに適した同期信号４３，４４を生成する。同期信号４３は、前記実施例１，２における「変形後画像の画素の二次元座標を示すための」信号４１に対応した信号として画像変形部４０に入力される。同期信号４４は、メモリ制御部３０より出力されるインターレース方式の画像データとともに出力される。
【００５５】
メモリ制御部３０は、プログレッシブ方式の画像データと同期信号３１とを受け取ると、同期信号３１から入力画像すなわち変形前画像の各画素の二次元座標を計算し、その二次元座標をメモリ２０のアドレスに変換し、メモリ２０の該当アドレスに画像データの画素値を書き込む。
【００５６】
画像変形部４０は、同期信号４３に基づいて、変形後画像のインターレース方式で出力される画素順に従って、変形後画像の各画素の二次元座標を順次計算する。そして、この変形後画像の各画素の二次元座標に対応した変形前画像上の二次元座標を生成し、この二次元座標を信号４２としてメモリ制御部３０へ通知する。
【００５７】
メモリ制御部３０では、信号４２で示された二次元座標をメモリ２０のアドレスに変換し、メモリ２０の該当アドレスから画素値を読み出し、これを変形後画像のインターレース方式の画像データとして出力する。
【００５８】
本実施例では、メモリ制御部３０から出力されるインターレース方式の画像データとともに同期信号４４も出力される。このように画像データとともに同期信号も出力するようにしておくと、後段に当該画像データを扱う処理部等がある場合に、当該処理部等で同期信号４４に基づいて変形後画像上の二次元座標を容易に計算可能となる等の利益を得られる。
【００５９】
なお、同期信号４４は、画像変形部４０に与えられる同期信号４３と比べて、画像変形部４２の処理およびメモリ制御部３０でのメモリ２０からの画像データの読み出しに必要な時間だけ遅延させて、出力される画像データとタイミングが揃うようにしておくのが望ましい。
【００６０】
本実施例において、同期信号生成部５０は、特許請求の範囲の「第４の手段」に相当する。ただし、第４の手段を、同期信号生成部５０のような独立した要素として設けず、メモリ制御部３０又は画像変形部４０の一部機能として設けるようにしてもよい。
【００６１】
ここで、メモリ制御部３０において同期信号３１に基づいて変形前画像上の各画素の二次元座標を計算する方法、及び、画像変形部４０において同期信号４３に基づいて変形後画像上の各画素の二次元座標を計算する方法について説明を補足する。
【００６２】
ビデオカメラ装置のような電子機器においては、画像データは電気信号として扱われることになるが、画像データだけでは、どこからどこまでが一つの画像であるか判別できなくなってしまう。そこで、画像の始まりや水平走査線の始まりを電気回路で判別できるように、同期信号が付加される。イメージセンサが出力するようなデジタル信号では、画像データと同期信号とを別々に出力することもあるし、画像データの途中に同期信号を挿入することもある。ここでは、前者の場合を例にとって説明する。
【００６３】
説明を簡単にするため、図５に示すような横８画素、縦６画素の画像の場合で考える。また、画像データには、画面に表示される有効なデータを持つ期間のほかに、有効なデータを持たないブランク期間が垂直・水平方向ともに含まれているものとする。このように画像データがブランク期間も含む場合、同期信号は画像の始まりだけでなく、有効な期間も示せると良い。
【００６４】
プログレッシブ方式で画像データを出力するイメージセンサからは、例えば図６に示す同期信号および画像データが出力される。図６において、垂直同期信号は、画像の始まりから一定期間”Ｈ”になる信号である。よって、垂直同期信号の立ち上がりを検出してから、次に垂直同期信号の立ち上がりを検出するまでが、１フレーム（１画面）となる。水平同期信号は、有効な画像を含む水平走査線の、有効な画像の始まりの時点で”Ｈ”になり、８画素相当の時間”Ｈ”を維持したのちに”Ｌ”になる信号である。また、垂直ブランク期間においては、水平同期信号は常に”Ｌ”になる。
【００６５】
メモリ制御部３０では、このような同期信号に基づいて、変換前画像の各画素の二次元座標を次のようにして生成する。ここでは、変形前画像の横方向をｘ座標で、縦方向をｙ座標で示し、画像の左上隅にあたる画素の座標を（ｘ，ｙ）＝（１，１）とする。
【００６６】
ｘ座標については、水平同期信号の立ち上がりを検出した時点でｘ＝１とし、以降、水平同期信号が”Ｈ”である期間中、画像データが更新されるタイミング（ピクセルクロック周波数）で、ｘ＝２，３，…，８と、１ずつ増やしていく。ｙ座標については、垂直同期信号の立ち上がりを検出したのち、最初に水平同期信号の立ち上がりを検出した時点でｙ＝１とし、以降水平同期信号の立ち上がりを検出するたびに、ｙ＝２，３，…，６と、１ずつ増やしていく。ｙ座標を１ずつ増やすタイミングは、水平走査線１本分の時間に相当する時間が経過したときでも良い。
【００６７】
同期信号生成部５０が生成するインターレース方式の画像データに適した同期信号４３は、例えば図７のような信号である。なお、インターレース方式では、縦６画素で構成される１フレーム分（１画面分）が縦３画素で構成される２つのフィールドに分割される。
【００６８】
図７において、垂直同期信号は、一方のフィールドの始まりの時点で”Ｈ”になり、もう一方のフィールドの始まりの時点で”Ｌ”になる信号である。よって、垂直同期信号の立ち上がりを検出してから、次に垂直同期信号の立ち上がりを検出するまでが、２フィールドすなわち１フレーム（１画面）となる。水平同期信号は、プログレッシブ方式の場合と同様、有効な画像を含む水平走査線の、有効な画像の始まりの時点で”Ｈ”になり、８画素相当の時間”Ｈ”を維持したのち”Ｌ”になる信号である。また、垂直ブランク期間においては、水平同期信号は常に”Ｌ”である。
【００６９】
画像変形部４０では、このような同期信号に基づいて、変形後画像の各画素の二次元画像を次のようにして生成する。こごては、変形後画像の横方向をｕ座標で、縦方向をｖ座標で示し、画像の左上隅にあたる画素の座標を（ｕ，ｖ）＝（１，１）とする。
【００７０】
ｕ座標については、プログレッシブ方式の場合と同様、水平同期信号の立ち上がりを検出した時点でｕ＝１とし、以降水平同期信号が”Ｈ”である期間中、画像データが更新されるタイミング（ピクセルクロック周波数）で、ｕ＝２，３，…，８と、１ずつ増やしていく。
【００７１】
ｖ座標については、垂直同期信号の立ち上がりを検出したのち、最初に水平同期信号の立ち上がりを検出した時点でｖ＝１とし、以降水平同期信号の立ち上がりを検出するたびに、ｖ＝３，５とし、垂直同期信号の立ち下がりを検出したのち、最初に水平同期信号の立ち上がりを検出した時点でｖ＝２とし、以降水平同期信号の立ち上がりを検出するたびに、ｖ＝４，６とする。インターレース方式では水平走査線が１本おきとなるので、ｖ座標を２ずつ増やすことになる。ｖ座標を２ずつ増やすタイミングは、水平走査線１本分の時間に相当する時間が経過したときでも良いが、ｖ＝１、ｖ＝２とするタイミングについては前述のようにするべきである。
【実施例４】
【００７２】
図８は、本発明の実施例４に係る動画像処理装置の主要部構成を説明するためのブロック図である。以下、前記実施例３との相違点を中心に説明する。
【００７３】
本実施例に係る動画像処理装置は、メモリ制御部３０の後段に画像処理部６０を備えている。この画像処理部６０は、特許請求の範囲の「第５の手段」に相当する。
【００７４】
画像処理部６０には、メモリ制御部３０から出力されるインターレース方式の画像データと、同期信号生成部５０から出力されるインターレース方式の画像データに適した同期信号４４が入力される。前記実施例３に関連して説明したように、同期信号４４は、画像変形部４０に与えられる同期信号４３に対し、画像変形部４０の処理およびメモリ２０からの画像データの読み出しに必要な時間だけ遅延させて、出力画像データとタイミングが揃うようにしておくと良い。
【００７５】
画像処理の対象となる画像データがインターレース方式である場合、プログレッシブ方式である場合と比べて、施すことのできる画像処理の自由度が制限される。これはインターレース方式では走査線１本おきのデータしか存在しないため、ある画素と垂直方向に隣り合う画素を得るのが困難なためである。例えば、ある画素とその近傍画素を必要とするフィルタ処理などは、インターレース方式の画像データに対して施すのは困難である。
【００７６】
そこで、画像処理部６０においは、画像データがインターレース方式であっても可能な処理、もしくは、同期信号だけでも可能な処理を施す。そのような画像処理の具体例は、イメージセンサ１１で撮像された画像に任意の画像を重ね描きするオーバーレイ処理である。
【００７７】
図９を参照し、オーバーレイ処理の概要を説明する。オーバーレイ処理を施すためには、元となる画像６２と、重ね描きしたい任意の画像６３、それら画像の座標が必要になる。ただし、座標を指定するための信号６４に基づいて座標を計算するようにしてもよい（この計算手段が図９に座標変換手段６５として示されている）。出力画像６７を生成するにあたっては、元となる画像６２又は重ね描きしたい任意の画像６３のどちらか一方を、座標変換手段６５で算出された座標に応じて選択して出力する（この選択を行う手段が図９に画像選択手段６６として示されている）。つまり、算出された座標が重ね描きをしたくない位置であったときは、元の画像６２の画素値をそのまま出力画像６７の画素値として選択する。一方、算出された座標が重ね描きをしたい位置であったときは、任意の画像６３の画素値の方を出力画像６７の画素値として選択する。
【００７８】
このように、オーバーレイ処理では画像の座標さえ分かればよく、ある画素と垂直方向に隣り合う画素は必要としないので、画像データがインターレース方式であっても処理を施すことが可能である。また、処理結果をインターレース方式で維持することも容易である。
【００７９】
本実施例における画像処理部６０の場合、画像６２はメモリ制御部３０から出力されるインターレース方式の画像データに相当し、信号６４は同期信号生成部５０から出力されるインターレース方式の画像データに適した同期信号４４に相当する。重ね描きしたい画像６３は別途用意されることになる。かくして、画像変形およびインターレース変換を施した画像データに対して、さらにオーバーレイ処理を施すことができる。
【００８０】
なお、オーバーレイ処理はイメージセンサ１１から得られた画像データをメモリ２０に保存する以前に施しておくことも可能ではあるが、メモリ２０から読み出す際に画像の変形処理が施されるということは、オーバーレイした画像も一緒に変形処理されてしまうため好ましくない。オーバーレイ処理はビデオカメラ装置で施す処理の中でも最後に行うことが一般に望ましい。
【００８１】
以上、４つの実施例について説明したが、各実施例に係る画像処理装置においてメモリ２０、メモリ制御部３０、画像変形部４０、同期信号生成部５０、画像処理部６０として具現化された、特許請求の範囲におけるメモリと第１乃至第５の手段を、マイクロコンピュータ等のコンピュータを利用し実現することも可能である。そのためのプログラム、すなわち、メモリと第１乃至第５の手段としてコンピュータを機能させるためのプログラムも本発明に包含される。そのようなプログラムが記録された半導体記憶素子、磁気ディスク、光ディスク、光磁気ディスク等のコンピュータが読み取り可能な各種記録（記憶）媒体も本発明に包含される。
【００８２】
また、各実施例に係る画像処理装置において、メモリ制御部３０による書き込み時の処理工程と読み出し時の処理工程、画像変形部４０による処理工程が特許請求の範囲の請求項６における第１乃至第３の工程に相当する。すなわち、各実施例は、特許請求の範囲の請求項６に係る画像処理装置の制御方法の実施例でもある。
【００８３】
なお、本発明は、以上に説明した実施形態のみに限定されるものではなく、様々に変形した形態をとり得るものである。例えば、前記各実施例においては、プログレッシブ方式の画像を、その走査線を１本おきに飛び越し走査するインターレース方式の画像に変換するものとして説明したが、走査線をＮ（≧２）本おきに飛び越し走査するインターレース方式の画像に変換する態様も当然に本発明に包含されるものである。
【符号の説明】
【００８４】
１０ 画像データ源
１１ イメージセンサ
２０ メモリ
３０ メモリ制御部
４０ 画像変形部
５０ 同期信号生成部
６０ 画像処理部
【先行技術文献】
【特許文献】
【００８５】
【特許文献１】特開２００８−５４２２１号公報
【技術分野】
【０００１】
本発明は、プログレッシブ方式の画像データを入力し、インターレース方式の画像データを出力するビデオカメラ装置等の動画像処理装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラ装置はその小型化に伴って、例えば車載カメラやセキュリティカメラなど様々な用途に使用されるようになっている。
【０００３】
このようなビデオカメラ装置の中には、画像をインターレース方式で出力するものがある。これは、動画像を表示するための装置（カーナビゲーションシステムのモニタやテレビジョンなど）には、ＮＴＳＣやＰＡＬなどのインターレース方式の規格に対応した装置が多いからである。
【０００４】
一方、映像を撮像するためにはＣＣＤイメージセンサやＣＭＯＳイメージセンサといったイメージセンサが使用されるが、これらのイメージセンサは撮像した画像をプログレッシブ方式の画像データとして出力するものが多い。これは、撮像後に画像処理を施す場合や動く被写体を撮像する場合に、プログレッシブ方式のほうが有利であるためである。
【０００５】
以上のように、入力の画像データがプログレッシブ方式で、出力の画像データがインターレース方式であるビデオカメラ装置等においては、プログレッシブ方式をインターレース方式に変換するＰＩ変換処理を施す必要がある。
【０００６】
このＰＩ変換の方法は良く知られている。例えば特許文献１では、プログレッシブ方式で入力する際のフレームレートと、インターレース方式で出力する際のフィールドレートとの関係によって、２通りのＰＩ変換方法を使い分けている。より具体的には、入力のプログレッシブ方式のフレームレートが出力のインターレース方式のフィールドレートと同じである場合には、プログレッシブ方式のフレーム内で垂直方向に並んだ２つの画素値を足し合わせて、１フィールド分の画素値を得ることで、ＰＩ変換を実現している。入力のプログレッシブ方式のフレームレートが出力のインターレース方式のフィールドレートと同じでない場合には、プログレッシブ方式の画像データの１フレーム分をメモリにいったん保存し、保存した画像を走査線１本おきに読み出すことでＰＩ変換を実現している。
【０００７】
上記の２画素を足し合わせるＰＩ変換方法は、メモリが不要なのでコスト面で有利である。しかし、入力のフレームレートを出力のフィールドレートと同じにするためには、イメージセンサを含む入力部分の動作の高速化が必要なので、高速で動作できるイメージセンサでしか実現できない方法である。逆に、上記のメモリを使用するＰＩ変換方法は、メモリ分のコストアップはあるものの、入力からメモリに保存するまでの動作速度が限定されない（遅くても速くても問題ない）という利点がある。
【０００８】
ビデオカメラ装置には、イメージセンサから得られた画像データをそのまま出力するだけでなく、拡大や回転といった幾何学的な変形処理を施して出力するものもある。このような画像の変形処理の方法は良く知られている。ここでは変形処理の例として、画像を縦横に２倍に拡大する処理について図１０を用い説明する。
【０００９】
説明を簡単にするため、横４ｐｉｘ、縦３ｐｉｘの、合計１２ｐｉｘの画素で構成された画像データを、横８ｐｉｘ、縦６ｐｉｘの、合計４８ｐｉｘの画素で構成された画像データに拡大する場合で考える。
【００１０】
図１０において、変形前の画像の横方向をｘ座標で示し、縦方向をｙ座標で示し、画像の左上隅にあたる画素の座標を（ｘ，ｙ）＝（１，１）とした。また、拡大後の画像の横方向をｕ座標で示し、縦方向をｖ座標で示し、画像の左上隅にあたる画素の座標を（ｕ，ｖ）＝（１，１）とした。
【００１１】
例えば、拡大後の画像の座標（ｕ，ｖ）＝（８，６）の画素値を求めるには、当該ｕ，ｖ座標の値を１／２すると（ｕ，ｖ）＝（４，３）となるので、変形前の画像の座標（ｘ，ｙ）＝（４，３）の画素値を参照し、その値をコピーする。また、拡大後の画像の座標（ｕ，ｖ）＝（５，２）の画素値を求めるには、ｕ，ｖ座標値を１／２すると（ｕ，ｖ）＝（２．５，１）とｕ座標値は小数になるため、変形前の画像の座標（ｘ，ｙ）＝（２，１）と（ｘ，ｙ）＝（３，１）の２点の画素値を参照し、それらの平均値を採用する。
【００１２】
ここでは画像の拡大の場合について説明したが、その他の変形の場合でも、「変形後の画像のある座標は、変形前の画像ではどこの座標にあたるのかを見つけ出す」という処理を行うのが一般的である。このような処理を実現するためには、変形前の画像データをメモリに保存しておく必要がある。
【００１３】
前述のように、ＰＩ変換の際にも画像の変形処理の際にも、メモリが必要になる。そのため、イメージセンサからプログレッシブ方式で得られる画像データに変形処理を施したうえで、インターレース方式の画像データに変換して出力するビデオカメラ装置の構成は、例えば図１１のようになる。図１１において、イメージセンサ１００からプログレッシブ方式の画像データが出力されが、この画像データを変形処理用のメモリ１０１にいったん保存する。画像変形部１０２では、メモリ１０１に保存された画像データを参照しながら変形処理を施し、変形後の画像データをＰＩ変換用のメモリ１０３に保存する。メモリ１０３から変形後の画像データが走査線１本おきに読み出すことにより、プログレッシブ方式の画像データからインターレース方式の画像データに変換する。
【００１４】
しかし、図１１の構成では、メモリが２つ必要でコスト高だという問題がある。また、画像データの入力から出力までの間に２つのメモリにそれぞれ読み書きを行うので、２画面分の遅延が発生するという性能面の問題がある。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明は、ビデオカメラ装置等の動画処理装置における前述したようなコスト面及び性能面での問題点を解決することを目的とする。より具体的には、本発明の目的は、入力される画像を保存するためのメモリを１つ持つだけで、画像の幾何学的変形とＰＩ変換とを実行し、かつ、それら処理を無駄なメモリの読み書きを行うことなく実行するようにしたビデオカメラ装置等の動画処理装置を提供すること、及び、そのような動画処理装置のための制御方法を提供することにある。
【課題を解決するための手段】
【００１６】
請求項１記載の発明は、プログレッシブ方式の画像データとして入力された画像（以下、変形前画像と記す）に所定の幾何学的変形を施した画像（以下、変形後画像）をインターレース方式の画像データとして出力する動画像処理装置であって、
メモリと、
前記変形前画像を前記メモリに書き込む第１の手段と、
前記変形後画像のインターレース方式で出力される画素順に従って、前記変形後画像の各画素の二次元座標に対応した前記変形前画像上の二次元座標を順次生成する第２の手段と、
前記第２の手段により順次生成された二次元座標に対応した前記変形前画像の画素値を前記メモリより順次読み出し、当該画素値をインターレース方式の画像データとして出力する第３の手段と、
を有することを特徴とする。
【００１７】
請求項２記載の発明の特徴は、請求項１記載の発明の動画像処理装置に、前記プログレッシブ方式の画像データを入力するための手段として、撮像した画像をプログレッシブ方式の画像データとして出力するイメージセンサをさらに備えることである。
【００１８】
請求項３記載の発明の特徴は、請求項１又は２記載の発明の動画像処理装置に、インターレース方式の画像データに適した同期信号を生成する第４の手段をさらに備え、前記第２の手段は、前記第４の手段により生成された同期信号を受けて、前記変形後画像のインターレース方式で出力される画素順に従って前記変形後画像の各画素の二次元座標を順次生成し、生成した該二次元座標に対応した前記変形前画像上の二次元座標を順次生成することである。
【００１９】
請求項４記載の発明の特徴は、請求項３記載の発明の動画像処理装置に、前記第３の手段より出力されるインターレース方式の画像データと、前記第４の手段により生成される同期信号とを入力として、前記第３の手段より出力されるインターレース方式の画像データに所定の画像処理を施した、インターレース方式の別の画像データを出力する第５の手段をさらに備えることである。
【００２０】
請求項５記載の発明の特徴は、請求項４記載の発明の動画像処理装置において、前記所定の画像処理は、前記第３の手段より出力されるインターレース方式の画像データに他の画像を重ね描きするオーバーレイ処理であることである。
【００２１】
請求項６記載の発明は、プログレッシブ方式の画像データとして入力された画像（以下、変形前画像と記す）に所定の幾何学的変形を施した画像（以下、変形後画像）をインターレース方式の画像データとして出力する動画像処理装置の制御方法であって、
前記変形前画像をメモリに書き込む第１の工程と、
前記変形後画像のインターレース方式で出力される画素順に従って、前記変形後画像の各画素の二次元座標に対応した前記変形前画像上の二次元座標を順次生成する第２の工程と、
前記第２の工程により順次生成された二次元座標に対応した前記変形前画像の画素値を前記メモリより順次読み出し、当該画素値をインターレース方式の画像データとして出力する第３の工程と、
を有することを特徴とする。
【００２２】
請求項７記載の発明は、請求項１乃至５のいずれか１項記載の発明の動画像処理装置のメモリ及び各手段としてコンピュータを機能させるプログラムである。
【００２３】
請求項８記載の発明は、請求項１乃至５のいずれか１項記載の発明の動画像処理装置のメモリ及び各手段としてコンピュータを機能させるプログラムが記録されたコンピュータが読み取り可能な記録媒体である。
【発明の効果】
【００２４】
請求項１乃至６に記載の発明によれば、イメージセンサ等から入力されるプログレッシブ方式の画像データを保存するためのメモリを１つ備えるのみで、該メモリに保存された画像データを、幾何学的変形を施したインターレース方式の画像データへ変換する処理を実行することができ、その際に無駄なメモリの読み書きを行わないため処理効率も良いため、従来のビデオカメラ装置等の動画処理装置におけるコスト面及び性能面での問題点を解決するができる。また、請求項７，８に記載の発明によれば、マイクロコンピュータ等のコンピュータを利用し、請求項１乃至６に記載の発明を容易に実施可能になる。
【図面の簡単な説明】
【００２５】
【図１】実施例１に係る動画像処理装置の構成説明のためのブロック図である。
【図２】実施例１に係る動画像処理装置における画像変形部での処理の説明のための図である。
【図３】実施例２に係る動画像処理装置の構成説明のためのブロック図である。
【図４】実施例３に係る動画像処理装置の構成説明のためのブロック図である。
【図５】有効な走査期間、水平ブランク期間及び垂直ブランク期間の説明図である。
【図６】プログレッシブ方式の画像データの同期信号と、それに基づいた変形前画像上の座標の計算を説明するための図である。
【図７】インターレース方式の画像データの同期信号と、それに基づいた変形後画像上の座標の計算を説明するための図である。
【図８】実施例４に係る動画像処理装置の構成説明のためのブロック図である。
【図９】オーバーレイ処理の説明図である。
【図１０】拡大処理の説明図である。
【図１１】変形処理用のメモリとＰＩ変換用のメモリを備えるビデオカメラ装置のブロック図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について、いくつかの実施例を挙げて詳細に説明する。なお、説明の重複を減らすため、図１、図３、図４、図８において、同一もしくは同様の要素には同一の参照番号が付けられている。
【実施例１】
【００２７】
図１は、本発明の実施例１に係る動画像処理装置の主要部構成を説明するためのブロック図である。
【００２８】
図１において、１０はプログレッシブ方式の画像データを入力するための手段としての画像データ源で、プログレッシブ方式の画像データを出力するものである。この画像データ源１０は、具体的には、プログレッシブ方式で画像データを出力する外部のビデオカメラ装置、プログレッシブ方式で画像データを記録する記録装置や記録媒体などを挙げることができる。
【００２９】
２０は、画像データ源１０よりプログレッシブ方式の画像データとして入力された画像（変形前画像）を保存するためのメモリである。このメモリ２０の容量は、画像の変形の自由度等を考慮して、画像データ１画面分以上を保存できる容量であることが望ましい。
【００３０】
３０はメモリ制御部であり、メモリ２０の読み書きを制御するものである。例えば、メモリ２０を読み書きするタイミングを制御したり、読み書きするアドレスを指定したりする。また、画像の各画素の座標をメモリ２０のアドレスへと変換する（左上隅の画素はメモリの０番地とする等）処理などを行う。
【００３１】
４０は、メモリ２０に保存された変形前画像に対する所定の幾何学的変形処理に関わる画像変形部である。幾何学的変形処理とは、図１０を用いて説明したような拡大もしくは縮小や回転といった処理である。画像変換部４０は、実行される変形処理の内容に適したルックアップテーブル（ＬＵＴ）や、行列演算を行う演算回路などによって実現することができる。なお、画像変形部４０では、画像データを直接操作するような処理は行わず、後述のような座標変換のための処理を実行する。したがって、メモリ制御部３０と画像変形部４０との間では、画像データそのもののやりとりはない。
【００３２】
画像変形部４０は、「変形後画像の画素の座標を示すための」信号４１が入力される。ここで、「変形後画像」とは、メモリ２０に保存されている変形前画像に所定の幾何学的変形が施されたならば得られるであろう画像であるが、その画像データはメモリ２０上には存在しない。
【００３３】
画像変形部４０においては、信号４１に基づいて、変形後画像のインターレース方式で出力される画素順に従って、変形後画像の各画素の二次元座標に対応した変形前画像上の二次元座標を順次生成し、生成した二次元座標を「変形前画像の座標を示すための」信号４２としてメモリ制御部３０へ出力する。
【００３４】
メモリ制御部３０では、信号４２で示された二次元座標をメモリ２０のアドレスに変換し、該アドレスから画素値を読み出し、当該画素値をインターレース方式の画像データとして出力する。
【００３５】
なお、信号４０，４１は、直交座標の値そのものを示す信号である場合と、二次元座標を算出できるようにするための信号である場合とがある。後者の信号の例としては、極座標の動径と偏角を示す信号、画素数を数え上げるカウンタの値を示す信号、さらには、後述するような画像データの同期信号などを挙げることができる。
【００３６】
また、「変形後画像の画素の座標を示すための」信号４１をメモリ制御部３０から画像変形部４０へ与えるようにしているが、これに限ることはなく、当該装置を制御するプロセッサ（不図示）などから信号４１を画像変形部４０に与えるようにしても良いし、画像変形部４０の内部で信号４１に相当する信号を生成するようにしてもよい。
【００３７】
ここで、画像変形部４０へ入力する信号４１で変形後画像の画素の二次元座標を指示する順番について、図２により説明する。
【００３８】
図２では、説明を簡単にするために、変形後画像は、横８画素、縦６画素、合計４８画素で構成されているものとする。また、変形後画像の横方向をｕ座標で、縦方向をｖ座標で示しており、画像の左上隅にあたる画素の座標は（ｕ，ｖ）＝（１，１）である。
【００３９】
図２中の斜体数字は、変形後画像の画素の座標が指示される順番を示し、この順番は変形後画像のインターレース方式で画素値が出力される順番でもある。
【００４０】
１番目は左上隅の座標（ｕ，ｖ）＝（１，１）を指示し、画像変形部４０は（ｕ，ｖ）＝（１，１）は変形前画像ではどこの座標にあたるのかを求め、その座標を信号４２によりメモリ制御部３０に報せ、メモリ制御部３０はその座標に対応するメモリ２０のアドレスから画素値を読み出し、当該画素値を変形後画像の座標（ｕ，ｖ）＝（１，１）の画像値として出力する。
【００４１】
２番目は右隣の座標（ｕ，ｖ）＝（２，１）を指示して同様の処理をし、３番目はさらに右隣の（ｕ，ｖ）＝（３，１）を指示して同様の処理をしていく。すなわち、変形後画像の１行目を左から右に向かって処理していく。
【００４２】
このようにして８番目の右上隅の座標（ｕ，ｖ）＝（８，１）まで処理が完了すると、９番目は３行目の１列目の座標（ｕ，ｖ）＝（１，３）を処理する。すなわち、２行目をとばして、３行目を左から右に向かって処理していく。
【００４３】
１６番目の座標（ｕ，ｖ）＝（８，３）まで処理が完了すると、１７番目の座標として５行目の１列目の座標（ｕ，ｖ）＝（１，５）を処理する。すなわち、４行目をとばして５行目を左から右に向かって処理していく。
【００４４】
２４番目の座標（ｕ，ｖ）＝（５，８）まで処理が完了すると、２５番目の座標として２行目の１列目の座標（ｕ，ｖ）＝（１，２）に戻って処理し、２行目を左から右に向かって処理していく。
【００４５】
このような処理により、変形後画像の画像データを走査線１本おきに形成することができる。これはつまり、メモリ制御部３０で、画像の変形処理とインターレース方式への変換とが一緒に（同時に）実行されるということである。
【００４６】
付言すれば、本実施例に係る動画像処理装置は、メモリ制御部３０より出力されたインターレース方式の画像データを外部へ出力する手段や、その画像データを表示するための手段等、図１に示されていない要素を備えてもよい。
【００４７】
また、以上の説明で明らかなように、本実施例におけるメモリ制御部３０は特許請求の範囲における「第１の手段」と「第３の手段」の両方を包含する要素であり、画像変形部４０は特許請求の範囲における「第２の手段」に相当する要素である。
【００４８】
なお、図１において、太い矢印は画像データを示し、細い矢印は画像データ以外の信号を示している。これは他のブロック図においても同様である。
【実施例２】
【００４９】
図３は、本発明の実施例２に係る動画処理装置の主要部構成を説明するためのブロック図である。
【００５０】
本実施例に係る動画処理装置は、プログレッシブ方式の画像データを入力する手段として、撮像した画像をプログレッシブ方式の画像データとして出力するイメージセンサ１１を備える。イメージセンサ１１としては、公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いることができる。すなわち、前記実施例１における画像データ源１０がイメージセンサ１１に置き換わっている。これ以外は実施例１の場合と同様である。
【００５１】
このようにイメージセンサを備える本実施例に係る動画像処理装置は、具体的には例えばビデオカメラ装置である。なお、本実施例に係る動画像処理装置は、ビデオカメラ装置として一般的に備える他の要素を備えてもよいことは当然である。
【実施例３】
【００５２】
図４は、本発明の実施例３に係る動画像処理装置の主要部構成を説明するためのブロック図である。以下、前記実施例２との相違点を中心に説明する。
【００５３】
本実施例に係る動画像処理装置は、具体的にはビデオカメラ装置であって、イメージセンサ１１を備える。ただし、本実施例では、イメージセンサ１１として、プログレッシブ方式の画像データとともに、プログレッシブ方式の画像データに適した同期信号３１を出力するものが用いられる。
【００５４】
本実施例に係る動画像処理装置は、同期信号生成部５０を備える。この同期信号生成部５０は、インターレース方式の画像データに適した同期信号４３，４４を生成する。同期信号４３は、前記実施例１，２における「変形後画像の画素の二次元座標を示すための」信号４１に対応した信号として画像変形部４０に入力される。同期信号４４は、メモリ制御部３０より出力されるインターレース方式の画像データとともに出力される。
【００５５】
メモリ制御部３０は、プログレッシブ方式の画像データと同期信号３１とを受け取ると、同期信号３１から入力画像すなわち変形前画像の各画素の二次元座標を計算し、その二次元座標をメモリ２０のアドレスに変換し、メモリ２０の該当アドレスに画像データの画素値を書き込む。
【００５６】
画像変形部４０は、同期信号４３に基づいて、変形後画像のインターレース方式で出力される画素順に従って、変形後画像の各画素の二次元座標を順次計算する。そして、この変形後画像の各画素の二次元座標に対応した変形前画像上の二次元座標を生成し、この二次元座標を信号４２としてメモリ制御部３０へ通知する。
【００５７】
メモリ制御部３０では、信号４２で示された二次元座標をメモリ２０のアドレスに変換し、メモリ２０の該当アドレスから画素値を読み出し、これを変形後画像のインターレース方式の画像データとして出力する。
【００５８】
本実施例では、メモリ制御部３０から出力されるインターレース方式の画像データとともに同期信号４４も出力される。このように画像データとともに同期信号も出力するようにしておくと、後段に当該画像データを扱う処理部等がある場合に、当該処理部等で同期信号４４に基づいて変形後画像上の二次元座標を容易に計算可能となる等の利益を得られる。
【００５９】
なお、同期信号４４は、画像変形部４０に与えられる同期信号４３と比べて、画像変形部４２の処理およびメモリ制御部３０でのメモリ２０からの画像データの読み出しに必要な時間だけ遅延させて、出力される画像データとタイミングが揃うようにしておくのが望ましい。
【００６０】
本実施例において、同期信号生成部５０は、特許請求の範囲の「第４の手段」に相当する。ただし、第４の手段を、同期信号生成部５０のような独立した要素として設けず、メモリ制御部３０又は画像変形部４０の一部機能として設けるようにしてもよい。
【００６１】
ここで、メモリ制御部３０において同期信号３１に基づいて変形前画像上の各画素の二次元座標を計算する方法、及び、画像変形部４０において同期信号４３に基づいて変形後画像上の各画素の二次元座標を計算する方法について説明を補足する。
【００６２】
ビデオカメラ装置のような電子機器においては、画像データは電気信号として扱われることになるが、画像データだけでは、どこからどこまでが一つの画像であるか判別できなくなってしまう。そこで、画像の始まりや水平走査線の始まりを電気回路で判別できるように、同期信号が付加される。イメージセンサが出力するようなデジタル信号では、画像データと同期信号とを別々に出力することもあるし、画像データの途中に同期信号を挿入することもある。ここでは、前者の場合を例にとって説明する。
【００６３】
説明を簡単にするため、図５に示すような横８画素、縦６画素の画像の場合で考える。また、画像データには、画面に表示される有効なデータを持つ期間のほかに、有効なデータを持たないブランク期間が垂直・水平方向ともに含まれているものとする。このように画像データがブランク期間も含む場合、同期信号は画像の始まりだけでなく、有効な期間も示せると良い。
【００６４】
プログレッシブ方式で画像データを出力するイメージセンサからは、例えば図６に示す同期信号および画像データが出力される。図６において、垂直同期信号は、画像の始まりから一定期間”Ｈ”になる信号である。よって、垂直同期信号の立ち上がりを検出してから、次に垂直同期信号の立ち上がりを検出するまでが、１フレーム（１画面）となる。水平同期信号は、有効な画像を含む水平走査線の、有効な画像の始まりの時点で”Ｈ”になり、８画素相当の時間”Ｈ”を維持したのちに”Ｌ”になる信号である。また、垂直ブランク期間においては、水平同期信号は常に”Ｌ”になる。
【００６５】
メモリ制御部３０では、このような同期信号に基づいて、変換前画像の各画素の二次元座標を次のようにして生成する。ここでは、変形前画像の横方向をｘ座標で、縦方向をｙ座標で示し、画像の左上隅にあたる画素の座標を（ｘ，ｙ）＝（１，１）とする。
【００６６】
ｘ座標については、水平同期信号の立ち上がりを検出した時点でｘ＝１とし、以降、水平同期信号が”Ｈ”である期間中、画像データが更新されるタイミング（ピクセルクロック周波数）で、ｘ＝２，３，…，８と、１ずつ増やしていく。ｙ座標については、垂直同期信号の立ち上がりを検出したのち、最初に水平同期信号の立ち上がりを検出した時点でｙ＝１とし、以降水平同期信号の立ち上がりを検出するたびに、ｙ＝２，３，…，６と、１ずつ増やしていく。ｙ座標を１ずつ増やすタイミングは、水平走査線１本分の時間に相当する時間が経過したときでも良い。
【００６７】
同期信号生成部５０が生成するインターレース方式の画像データに適した同期信号４３は、例えば図７のような信号である。なお、インターレース方式では、縦６画素で構成される１フレーム分（１画面分）が縦３画素で構成される２つのフィールドに分割される。
【００６８】
図７において、垂直同期信号は、一方のフィールドの始まりの時点で”Ｈ”になり、もう一方のフィールドの始まりの時点で”Ｌ”になる信号である。よって、垂直同期信号の立ち上がりを検出してから、次に垂直同期信号の立ち上がりを検出するまでが、２フィールドすなわち１フレーム（１画面）となる。水平同期信号は、プログレッシブ方式の場合と同様、有効な画像を含む水平走査線の、有効な画像の始まりの時点で”Ｈ”になり、８画素相当の時間”Ｈ”を維持したのち”Ｌ”になる信号である。また、垂直ブランク期間においては、水平同期信号は常に”Ｌ”である。
【００６９】
画像変形部４０では、このような同期信号に基づいて、変形後画像の各画素の二次元画像を次のようにして生成する。こごては、変形後画像の横方向をｕ座標で、縦方向をｖ座標で示し、画像の左上隅にあたる画素の座標を（ｕ，ｖ）＝（１，１）とする。
【００７０】
ｕ座標については、プログレッシブ方式の場合と同様、水平同期信号の立ち上がりを検出した時点でｕ＝１とし、以降水平同期信号が”Ｈ”である期間中、画像データが更新されるタイミング（ピクセルクロック周波数）で、ｕ＝２，３，…，８と、１ずつ増やしていく。
【００７１】
ｖ座標については、垂直同期信号の立ち上がりを検出したのち、最初に水平同期信号の立ち上がりを検出した時点でｖ＝１とし、以降水平同期信号の立ち上がりを検出するたびに、ｖ＝３，５とし、垂直同期信号の立ち下がりを検出したのち、最初に水平同期信号の立ち上がりを検出した時点でｖ＝２とし、以降水平同期信号の立ち上がりを検出するたびに、ｖ＝４，６とする。インターレース方式では水平走査線が１本おきとなるので、ｖ座標を２ずつ増やすことになる。ｖ座標を２ずつ増やすタイミングは、水平走査線１本分の時間に相当する時間が経過したときでも良いが、ｖ＝１、ｖ＝２とするタイミングについては前述のようにするべきである。
【実施例４】
【００７２】
図８は、本発明の実施例４に係る動画像処理装置の主要部構成を説明するためのブロック図である。以下、前記実施例３との相違点を中心に説明する。
【００７３】
本実施例に係る動画像処理装置は、メモリ制御部３０の後段に画像処理部６０を備えている。この画像処理部６０は、特許請求の範囲の「第５の手段」に相当する。
【００７４】
画像処理部６０には、メモリ制御部３０から出力されるインターレース方式の画像データと、同期信号生成部５０から出力されるインターレース方式の画像データに適した同期信号４４が入力される。前記実施例３に関連して説明したように、同期信号４４は、画像変形部４０に与えられる同期信号４３に対し、画像変形部４０の処理およびメモリ２０からの画像データの読み出しに必要な時間だけ遅延させて、出力画像データとタイミングが揃うようにしておくと良い。
【００７５】
画像処理の対象となる画像データがインターレース方式である場合、プログレッシブ方式である場合と比べて、施すことのできる画像処理の自由度が制限される。これはインターレース方式では走査線１本おきのデータしか存在しないため、ある画素と垂直方向に隣り合う画素を得るのが困難なためである。例えば、ある画素とその近傍画素を必要とするフィルタ処理などは、インターレース方式の画像データに対して施すのは困難である。
【００７６】
そこで、画像処理部６０においは、画像データがインターレース方式であっても可能な処理、もしくは、同期信号だけでも可能な処理を施す。そのような画像処理の具体例は、イメージセンサ１１で撮像された画像に任意の画像を重ね描きするオーバーレイ処理である。
【００７７】
図９を参照し、オーバーレイ処理の概要を説明する。オーバーレイ処理を施すためには、元となる画像６２と、重ね描きしたい任意の画像６３、それら画像の座標が必要になる。ただし、座標を指定するための信号６４に基づいて座標を計算するようにしてもよい（この計算手段が図９に座標変換手段６５として示されている）。出力画像６７を生成するにあたっては、元となる画像６２又は重ね描きしたい任意の画像６３のどちらか一方を、座標変換手段６５で算出された座標に応じて選択して出力する（この選択を行う手段が図９に画像選択手段６６として示されている）。つまり、算出された座標が重ね描きをしたくない位置であったときは、元の画像６２の画素値をそのまま出力画像６７の画素値として選択する。一方、算出された座標が重ね描きをしたい位置であったときは、任意の画像６３の画素値の方を出力画像６７の画素値として選択する。
【００７８】
このように、オーバーレイ処理では画像の座標さえ分かればよく、ある画素と垂直方向に隣り合う画素は必要としないので、画像データがインターレース方式であっても処理を施すことが可能である。また、処理結果をインターレース方式で維持することも容易である。
【００７９】
本実施例における画像処理部６０の場合、画像６２はメモリ制御部３０から出力されるインターレース方式の画像データに相当し、信号６４は同期信号生成部５０から出力されるインターレース方式の画像データに適した同期信号４４に相当する。重ね描きしたい画像６３は別途用意されることになる。かくして、画像変形およびインターレース変換を施した画像データに対して、さらにオーバーレイ処理を施すことができる。
【００８０】
なお、オーバーレイ処理はイメージセンサ１１から得られた画像データをメモリ２０に保存する以前に施しておくことも可能ではあるが、メモリ２０から読み出す際に画像の変形処理が施されるということは、オーバーレイした画像も一緒に変形処理されてしまうため好ましくない。オーバーレイ処理はビデオカメラ装置で施す処理の中でも最後に行うことが一般に望ましい。
【００８１】
以上、４つの実施例について説明したが、各実施例に係る画像処理装置においてメモリ２０、メモリ制御部３０、画像変形部４０、同期信号生成部５０、画像処理部６０として具現化された、特許請求の範囲におけるメモリと第１乃至第５の手段を、マイクロコンピュータ等のコンピュータを利用し実現することも可能である。そのためのプログラム、すなわち、メモリと第１乃至第５の手段としてコンピュータを機能させるためのプログラムも本発明に包含される。そのようなプログラムが記録された半導体記憶素子、磁気ディスク、光ディスク、光磁気ディスク等のコンピュータが読み取り可能な各種記録（記憶）媒体も本発明に包含される。
【００８２】
また、各実施例に係る画像処理装置において、メモリ制御部３０による書き込み時の処理工程と読み出し時の処理工程、画像変形部４０による処理工程が特許請求の範囲の請求項６における第１乃至第３の工程に相当する。すなわち、各実施例は、特許請求の範囲の請求項６に係る画像処理装置の制御方法の実施例でもある。
【００８３】
なお、本発明は、以上に説明した実施形態のみに限定されるものではなく、様々に変形した形態をとり得るものである。例えば、前記各実施例においては、プログレッシブ方式の画像を、その走査線を１本おきに飛び越し走査するインターレース方式の画像に変換するものとして説明したが、走査線をＮ（≧２）本おきに飛び越し走査するインターレース方式の画像に変換する態様も当然に本発明に包含されるものである。
【符号の説明】
【００８４】
１０ 画像データ源
１１ イメージセンサ
２０ メモリ
３０ メモリ制御部
４０ 画像変形部
５０ 同期信号生成部
６０ 画像処理部
【先行技術文献】
【特許文献】
【００８５】
【特許文献１】特開２００８−５４２２１号公報
【特許請求の範囲】
【請求項１】
プログレッシブ方式の画像データとして入力された画像（以下、変形前画像と記す）に所定の幾何学的変形を施した画像（以下、変形後画像）をインターレース方式の画像データとして出力する動画像処理装置であって、
メモリと、
前記変形前画像を前記メモリに書き込む第１の手段と、
前記変形後画像のインターレース方式で出力される画素順に従って、前記変形後画像の各画素の二次元座標に対応した前記変形前画像上の二次元座標を順次生成する第２の手段と、
前記第２の手段により順次生成された二次元座標に対応した前記変形前画像の画素値を前記メモリより順次読み出し、当該画素値をインターレース方式の画像データとして出力する第３の手段と、
を有することを特徴とする動画像処理装置。
【請求項２】
前記プログレッシブ方式の画像データを入力するための手段として、撮像した画像をプログレッシブ方式の画像データとして出力するイメージセンサを有することを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
インターレース方式の画像データに適した同期信号を生成する第４の手段を有し、
前記第２の手段は、前記第４の手段により生成された同期信号を受けて、前記変形後画像のインターレース方式で出力される画素順に従って前記変形後画像の各画素の二次元座標を順次生成し、生成した該二次元座標に対応した前記変形前画像上の二次元座標を順次生成することを特徴とする請求項１又は２に記載の動画像処理装置。
【請求項４】
前記第３の手段より出力されるインターレース方式の画像データと、前記第４の手段により生成される同期信号とを入力として、前記第３の手段より出力されるインターレース方式の画像データに所定の画像処理を施した、インターレース方式の別の画像データを出力する第５の手段を有することを特徴とする請求項３に記載の動画像処理装置。
【請求項５】
前記所定の画像処理は、前記第３の手段より出力されるインターレース方式の画像データに他の画像を重ね描きするオーバーレイ処理であることを特徴とする請求項４に記載の動画像処理装置。
【請求項６】
プログレッシブ方式の画像データとして入力された画像（以下、変形前画像と記す）に所定の幾何学的変形を施した画像（以下、変形後画像）をインターレース方式の画像データとして出力する動画像処理装置の制御方法であって、
前記変形前画像をメモリに書き込む第１の工程と、
前記変形後画像のインターレース方式で出力される画素順に従って、前記変形後画像の各画素の二次元座標に対応した前記変形前画像上の二次元座標を順次生成する第２の工程と、
前記第２の工程により順次生成された二次元座標に対応した前記変形前画像の画素値を前記メモリより順次読み出し、当該画素値をインターレース方式の画像データとして出力する第３の工程と、
を有することを特徴とする動画像処理装置の制御方法。
【請求項７】
請求項１乃至５のいずれか１項に記載の動画像処理装置のメモリ及び各手段としてコンピュータを機能させるプログラム。
【請求項８】
請求項１乃至５のいずれか１項に記載の動画像処理装置のメモリ及び各手段としてコンピュータを機能させるプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【請求項１】
プログレッシブ方式の画像データとして入力された画像（以下、変形前画像と記す）に所定の幾何学的変形を施した画像（以下、変形後画像）をインターレース方式の画像データとして出力する動画像処理装置であって、
メモリと、
前記変形前画像を前記メモリに書き込む第１の手段と、
前記変形後画像のインターレース方式で出力される画素順に従って、前記変形後画像の各画素の二次元座標に対応した前記変形前画像上の二次元座標を順次生成する第２の手段と、
前記第２の手段により順次生成された二次元座標に対応した前記変形前画像の画素値を前記メモリより順次読み出し、当該画素値をインターレース方式の画像データとして出力する第３の手段と、
を有することを特徴とする動画像処理装置。
【請求項２】
前記プログレッシブ方式の画像データを入力するための手段として、撮像した画像をプログレッシブ方式の画像データとして出力するイメージセンサを有することを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
インターレース方式の画像データに適した同期信号を生成する第４の手段を有し、
前記第２の手段は、前記第４の手段により生成された同期信号を受けて、前記変形後画像のインターレース方式で出力される画素順に従って前記変形後画像の各画素の二次元座標を順次生成し、生成した該二次元座標に対応した前記変形前画像上の二次元座標を順次生成することを特徴とする請求項１又は２に記載の動画像処理装置。
【請求項４】
前記第３の手段より出力されるインターレース方式の画像データと、前記第４の手段により生成される同期信号とを入力として、前記第３の手段より出力されるインターレース方式の画像データに所定の画像処理を施した、インターレース方式の別の画像データを出力する第５の手段を有することを特徴とする請求項３に記載の動画像処理装置。
【請求項５】
前記所定の画像処理は、前記第３の手段より出力されるインターレース方式の画像データに他の画像を重ね描きするオーバーレイ処理であることを特徴とする請求項４に記載の動画像処理装置。
【請求項６】
プログレッシブ方式の画像データとして入力された画像（以下、変形前画像と記す）に所定の幾何学的変形を施した画像（以下、変形後画像）をインターレース方式の画像データとして出力する動画像処理装置の制御方法であって、
前記変形前画像をメモリに書き込む第１の工程と、
前記変形後画像のインターレース方式で出力される画素順に従って、前記変形後画像の各画素の二次元座標に対応した前記変形前画像上の二次元座標を順次生成する第２の工程と、
前記第２の工程により順次生成された二次元座標に対応した前記変形前画像の画素値を前記メモリより順次読み出し、当該画素値をインターレース方式の画像データとして出力する第３の工程と、
を有することを特徴とする動画像処理装置の制御方法。
【請求項７】
請求項１乃至５のいずれか１項に記載の動画像処理装置のメモリ及び各手段としてコンピュータを機能させるプログラム。
【請求項８】
請求項１乃至５のいずれか１項に記載の動画像処理装置のメモリ及び各手段としてコンピュータを機能させるプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−４０１９（Ｐ２０１１−４０１９Ａ）
【公開日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願番号】特願２００９−１４３８１５（Ｐ２００９−１４３８１５）
【出願日】平成２１年６月１７日（２００９．６．１７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願日】平成２１年６月１７日（２００９．６．１７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]