映像信号処理装置、映像信号処理方法および撮像装置
【課題】
さまざまなＬＣＤパネルに対応する映像信号処理装置を提供する。
【解決手段】
映像信号処理装置は、例えば、第１形式の画像データを第２形式の画像データに変換する形式変換手段と、第２形式の画像データを点順次データに変換する点順次変換手段と、点順次データをリサイズするリサイズ手段と、リサイズされた点順次データを記憶するラインメモリと、ラインメモリから連続的に点順次データを読み出して出力制御する出力制御手段とを含む。
さまざまなＬＣＤパネルに対応する映像信号処理装置を提供する。
【解決手段】
映像信号処理装置は、例えば、第１形式の画像データを第２形式の画像データに変換する形式変換手段と、第２形式の画像データを点順次データに変換する点順次変換手段と、点順次データをリサイズするリサイズ手段と、リサイズされた点順次データを記憶するラインメモリと、ラインメモリから連続的に点順次データを読み出して出力制御する出力制御手段とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ等を表示するための映像信号処理技術に関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置では、ＬＣＤパネルが備え付けられており、このＬＣＤパネルに撮影した画像を表示することができる。なお、撮影した画像のサイズと、ＬＣＤパネルの画素数とは一致してないことがほとんどであるため、リサイズ処理が必要となる。
【０００３】
特許文献１によれば、撮像素子から得られた画像データをＴＶモニターの表示サイズに合わせてリサイズし、リサイズされた画像データから間欠的に表示データを作成し、表示データと歯抜けクロックとをＬＣＤコントローラーに出力する装置が記載されている。
【特許文献１】特開２００２−３０５７５２号公報、段落０１３６ないし段落０１６９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的なＬＣＤコントローラーの中には、上記のような歯抜けクロックと間欠的な表示データを受け付けられないものが存在する。そのため、このようなＬＣＤコントローラーにも使用可能な映像信号処理装置のニーズが存在する。
【０００５】
そこで、本発明は、このような課題および他の課題の少なくとも１つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。
【課題を解決するための手段】
【０００６】
本発明に係る映像信号処理装置は、例えば、第１形式の画像データを第２形式の画像データに変換する形式変換手段と、前記第２形式の画像データを点順次データに変換する点順次変換手段と、前記点順次データをリサイズするリサイズ手段と、リサイズされた前記点順次データを記憶するラインメモリと、前記ラインメモリから連続的に前記点順次データを読み出して出力制御する出力制御手段とを含むことを特徴とする。
【発明の効果】
【０００７】
本発明の映像信号処理装置によれば、点順次変換手段の後段に点順次データを記憶するラインメモリを設けることで、点順次データを連続的に出力することが可能となる。よって、歯抜けクロックと間欠的な表示データを受け付けられないようなＬＣＤコントローラーにも好適に使用可能な映像信号処理装置を提供できる。
【発明を実施するための最良の形態】
【０００８】
［第１の実施形態］
図１は、第１実施形態に係る映像信号処理装置を含む撮像装置のブロック図である。この撮像装置は、例えば、デジタルカメラ、デジタルビデオカメラなど、表示装置を内蔵するとともに外部のＴＶモニターに接続可能な装置である。
【０００９】
図１において、１００は、光学像を電気信号に変換する撮像素子である。１０１は、撮像素子１００からのアナログ画像信号をディジタル信号に変換するＡ／Ｄ変換器である。１０２は、Ａ／Ｄ変換器１０１からの出力データにガンマ処理、補間処理、マトリクス変換等を施してＹＵＶ形式の画像（映像）データを形成する撮像信号処理回路である。１０３は、撮像信号処理回路１０２からの画像データをＴＶモニタの表示サイズにリサイズするリサイズ回路である。１０４は、メモリ１０５との間で画像データや各種制御データの書き込み／読み出しを行うメモリＩ／Ｆである。
【００１０】
１０６は、メモリインターフェース１０４から読み出された画像データを異なるデータレートに変換するための緩衝用のＦＩＦＯメモリである。１０７は、ＦＩＦＯメモリから読み出されたＹＵＶ形式の画像データをコンポジット映像信号に変換するＮＴＳＣ／ＰＡＬエンコーダーである。１０８は、Ｄ／Ａ変換器である。１０９は、ＴＶモニターである。なお、点線で境界を示しているように、ＴＶモニター１０９は、映像信号処理装置または撮像装置に搭載されている必要はない。この場合、ＴＶモニター１０９は、映像信号端子などを介して、映像信号処理装置または撮像装置に接続されることになろう。
【００１１】
１１０は、ＹＵＶ形式の画像データをＲＧＢ形式に変換するＹＵＶ／ＲＧＢ変換回路である。１１１は、ＹＵＶ／ＲＧＢ変換回路１１０から出力されるＲＧＢ信号をＲＧＢに点順次化する点順次化回路である。点順次化とは、面順次化に対する概念であり、画像を構成する画素を重視して画像の左上から右下へと順次記録することをいう。例えば、ＲＧＢＲＧＢＲＧＢ・・・のように信号を記録する。なお、面順次化では、ＲＲＲＲＲ・・・・、ＧＧＧＧＧ・・・・、ＢＢＢＢＢ・・・・・のように信号を記録する。１１２は、ＲＧＢ点順次信号を拡大／縮小する線形補間リサイズ回路である。
【００１２】
１１３は、リサイズされたＲＧＢ点順次信号を記憶するラインメモリである。１１４は、ラインメモリ１１３から連続的に出力されるＲＧＢ点順次信号を処理するＬＣＤコントローラーである。１１５は、ＬＣＤコントローラー１１４に制御されて画像などを表示するＬＣＤパネルである。なお、ＬＣＤパネル１１５に代えて自発光型の表示デバイスなど、撮像装置に搭載可能な他の種類の表示デバイスを採用してもよい。
【００１３】
本実施形態では、ＴＶモニター１０９の表示サイズをＮＴＳＣ方式による水平７２０画素×垂直４８０ラインと仮定して説明する。また、ＬＣＤパネル１１５の画素数を水平４８０画素×２４０ラインもしくは水平９６０画素×２４０ラインと仮定して説明する。以下では、メモリ１０５に記憶された画像データをＴＶモニター１０９とＬＣＤパネル１１５とに同時に表示するものとして説明する。
【００１４】
撮像素子１００から出力されるアナログ画像信号は、Ａ／Ｄ変換器１０１によりディジタル信号（画像データ）に変換される。この画像データは、撮像信号処理回路１０２に入力される。撮像信号処理回路１０２は、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施してＹＵＶ形式の画像データを生成する。リサイズ回路１０３は、形成された画像データを水平方向または垂直方向の少なくとも一方に拡大または縮小する（すなわち、リサイズを行う。）。これは、ＴＶモニター１０９の表示サイズである水平７２０画素×垂直４８０ラインに対応した表示用画像データを作成するためである。その後、表示用画像データは、メモリＩ／Ｆ１０４を通じてメモリ１０５に記憶される。
【００１５】
一般に、ＮＴＳＣ方式のＴＶモニターはインターレース表示を行う。そのため、表示用画像を構成する４８０ラインの内、第１フィールドでは奇数番目の２４０ラインのみ（第１フィールド画像）がメモリ１０５から読み出されてＴＶモニター１０９に表示される。また、第２フィールドでは偶数番目の２４０ラインのみ（第２フィールド画像）がメモリ１０５から読み出されてＴＶモニター１０９に表示される。
【００１６】
一方、ＬＣＤパネル１１５は、プログレッシブ表示を行う。この例で、垂直ライン数はＴＶモニター１０９の半分の２４０ラインである。また、本実施形態では、ＴＶモニター１０９と同期させて第１フィールド画像と第２フィールド画像とを交互に表示する。このようにして、メモリ１０５から読み出された表示用画像データは、ＴＶモニター１０９とＬＣＤパネル１１５とに同時並行的に表示される。
【００１７】
表示タイミング制御部１２０は、メモリ１０５に記憶された表示用画像データをメモリＩ／Ｆ１０４を通じて読み出し、ＦＩＦＯメモリ１０６に順次格納する。そして、ＴＶ表示のタイミングに合わせてＦＩＦＯメモリ１０６から画像データを読み出して、ＮＴＳＣ／ＰＡＬエンコーダー１０７およびＹＵＶ／ＲＧＢ変換器１１０に供給する。
【００１８】
ＮＴＳＣ／ＰＡＬエンコーダー１０７は、ＦＩＦＯメモリ１０６から読み出されるＹＵＶ形式の画像データからコンポジット映像信号を生成する。コンポジット映像信号は、Ｄ／Ａ変換器１０８によりアナログ映像信号に変換される。ＴＶモニター１０９は、アナログ映像信号に基づいて画像を表示する。
【００１９】
一方、ＹＵＶ／ＲＧＢ変換回路１１０は、例えば、以下の計算式に従ってＹＵＶ信号をＲＧＢ信号に変換する。すなわち、ＲＧＢ信号からＹＵＶ信号への変換式は、
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝０．４９３（Ｂ−Ｙ）
Ｖ＝０．８７７（Ｒ−Ｙ）
であるので、この逆変換は、
Ｒ＝Ｙ＋（１／０．８７７）Ｖ＝Ｙ＋（２９２／２５６）Ｖ
Ｂ＝Ｙ＋（１／０．４９３）Ｕ＝Ｙ＋（５１９／２５６）Ｕ
Ｇ＝Ｙ−（０．２９９／０．５８７）（２９２／２５６）Ｖ
−（０．１１４／０．５８７）（５１９／２５６）Ｕ
＝Ｙ−（１４９Ｖ＋１０１Ｕ）／２５６
となる。
【００２０】
ラインメモリ１１３の書き込み制御回路１３０は、ラインメモリへの書き込み可能信号（ＷＲ＿ＥＮＡＢＬＥ）信号がＨｉｇｈのときに、線形補間リサイズ回路１１２の演算結果Ｚをラインメモリ１１３に書き込む。また、読み出し制御回路１４０は、ラインメモリ１１３からデータを連続して読み出し、ＬＣＤコントローラー１１４に出力する。すなわち、読み出し制御回路１４０は、点順次データの出力制御手段の一例である。
【００２１】
図２は、実施形態に係るＲＧＢ点順次化回路と線形補間リサイズ回路とを詳細に示した回路構成図である。以下、図２を参照して、これらの動作を説明する。図２において、２０１、２０２、２０３は、それぞれＲの入力データ、Ｇの入力データおよびＢの入力データを１サイクル遅延させるためのフリップフロップである。２０４は、ＲＧＢの入力データから１つを選択するセレクタである、２０５は、１サイクル遅延されたＲＧＢの入力データから１つを選択するセレクタである。セレクト信号をセレクタ２０４およびセレクタ２０５に入力することよって、同色となる連続した２点の入力データを後段の線形補間リサイズ回路１１２へと出力することができる。
【００２２】
線形補間リサイズ回路１１２は、補間係数算出回路２０７、線形補間演算回路２０８、フロップフロップ２０９、２１０を含む。ＬＣＤパネル１１５の水平画素数がＴＶモニターの水平画素数である７２０画素より少ない場合、線形補間リサイズ回路１１２は、縮小処理を行う。一方で、ＬＣＤパネル１１５の水平画素数がＴＶモニターの水平画素数である７２０画素よりも多い場合、線形補間リサイズ回路１１２は、拡大処理を行う。
【００２３】
（１）縮小処理の場合
図３は、縮小率が２／３倍のときのタイミングを示す図である。ここでは、一例として、ＬＣＤパネル１１５の水平画素数が７２０×２／３＝４８０画素の場合について説明する。この図から、補間係数ｋによって３つの入力データ（ＩＮ＿ＤＡＴＡ）から２つの出力データ（ＯＵＴ＿ＤＡＴＡ）が生成されることを容易に理解できるであろう。また、ＶＡＬＩＤ信号に同期して、リサイズされた画象データ（ＯＵＴ＿ＤＡＴＡ）がラインメモリ１１３へと連続的に出力されてゆく。このようにして、２／３倍への縮小が達成される。
【００２４】
より具体的に説明すると、補間係数算出回路２０７は、補間係数ｋを線形補間演算回路２０８に順次出力する。また、補間係数算出回路２０７は、有効出力データのフラグを示すＶＡＬＩＤ信号をフリップフロップ２１０などに順次出力する。例えば、リサイズ率が２／３倍のとき、ＶＡＬＩＤ信号は、３サイクルに２回Ｈｉｇｈとなる信号である。また、補間係数ｋは、例えば、０、１／２、０、１／２の繰り返しとなる信号である。
【００２５】
ＲＧＢ点順次化回路１１１から入力された連続する２点の入力データ（ｎ番目のデータをＸ（ｎ）、ｎ＋１番目のＸ（ｎ＋１）、ｎは自然数）について、線形補間演算回路２０８は、補間係数ｋと次式を用いて線形補間値Ｚを算出する。
【００２６】
Ｚ＝Ｘ（ｎ）×（１−ｋ）＋Ｘ（ｎ＋１）×ｋ
図４は、実施形態に係る線形補間演算回路から出力される線形補間値Ｚと、ＲＧＢ点順次化回路から入力されるＸ（ｎ）およびＸ（ｎ＋１）との位置関係を示す図である。この図からわかるように、Ｘ（ｎ）と、Ｘ（ｎ＋１）との間をｋ：１−ｋに分割する位置がＺに対応している。
【００２７】
そして、ＶＡＬＩＤ信号＝Ｈｉｇｈの時に線形補間値Ｚが、フリップフロップ２０９に取り込まれる。この線形補間値Ｚは、ＲＧＢ点順次データとして出力される。なお、ＶＡＬＩＤ信号をフリップフロップ２１０で１サイクル遅延させた信号が、後述するラインメモリへの書き込み可能信号（ＷＲ＿ＥＮＡＢＬＥ）となる。
【００２８】
（２）拡大処理の場合
線形補間リサイズ回路１１２は、縮小処理のときの動作周波数と比較し、２倍の周波数で拡大処理を実行する。これは、入力データが２倍にオーバーサンプリング（拡大）されること意味する。線形補間リサイズ回路１１２は、このサンプリングデータを用いて縮小処理を実行する。所望の拡大率がＰ倍（１＜Ｐ＜２）であれば、補間係数算出回路２０７の縮小率をＰ／２倍に設定すればよい。これにより、トータルで２×Ｐ／２＝Ｐ倍の拡大率を実現できる。
【００２９】
例えば、ＲＧＢ点順次化回路１１１から１３．５ＭＨｚのデータレートでデータが入力された場合、線形補間リサイズ回路１１２は、２倍の２７ＭＨｚで動作する。よって、ＲＧＢ点順次化データのデータレートは、２倍（すなわち２７ＭＨｚ）でオーバーサンプリングされてから縮小処理が行われる。このとき、線形補間演算回路２０８が用いる補間係数Ｋは、補間係数算出回路２０７の出力である補間係数ｋおよび有効出力データのフラグを示すＶＡＬＩＤ信号から以下のように導き出される。
【００３０】
まず、ｎ番目のデータをＸ（ｎ）、ｎ＋１番目のＸ（ｎ＋１）とすると、２倍のオーバーサンプリングによって、ｎ番目とｎ＋１番目の中心に
Ｙ＝｛Ｘ（ｎ）＋Ｘ（ｎ＋１）｝／２
のデータが仮想的に挿入される。
【００３１】
補間係数算出回路２０７は、２倍の周波数で動作している。よって、ＶＡＬＩＤ信号がＨｉｇｈになるタイミングは、Ｘ（ｎ）とＹとの間で補間演算が行われる場合（位相１の場合）と、ＹとＸ（ｎ＋１）との間で補間演算が行われる場合（位相２の場合）の２通りが存在することになる。
【００３２】
Ｘ（ｎ）とＹとの間で補間演算が行われる場合（位相１の場合）、出力データＺは、
Ｚ＝Ｘ（ｎ）×（１−ｋ）＋Ｙ×ｋ
＝Ｘ（ｎ）×（１−ｋ／２）＋Ｘ（ｎ＋１）×ｋ／２
となる。
【００３３】
一方、ＹとＸ（ｎ＋１）との間で補間演算が行われる場合（位相２の場合）、出力データＺは、
Ｚ＝Ｙ×（１−ｋ）＋Ｘ（ｎ＋１）×ｋ
＝Ｘ（ｎ）×（１−ｋ）／２＋Ｘ（ｎ＋１）×（１＋ｋ）／２
となる。
【００３４】
従って、ＶＡＬＩＤ信号がＨｉｇｈになる位相によって、線形補間演算回路２０８の補間係数Ｋを
Ｋ＝ｋ／２
もしくは
Ｋ＝（１＋ｋ）／２
とすればよい。
【００３５】
図５は、実施形態に係る各位相ごとのＸ（ｎ）、Ｘ（ｎ＋１）およびＺの位置関係を示す図である。とりわけ、（ａ）は、位相１の場合のＸ（ｎ）、Ｘ（ｎ＋１）、Ｚの位置関係を示している。また。（ｂ）は、位相２の場合のＸ（ｎ）、Ｘ（ｎ＋１）、Ｚの位置関係を示している。
【００３６】
図６は、拡大率が４／３倍のときのタイミングを示す図である。この例では、ＬＣＤパネル１１５の水平画素数が７２０×４／３＝９６０画素であると仮定している。補間係数算出回路２０７は、縮小率が２／３倍に設定されている。また、補間係数ｋは、図３と同様に０、１／２、０、１／２の繰り返しとなる。しかしながら、ＶＡＬＩＤ信号の位相に応じて、補間係数Ｋは、０、１／４、１／２、３／４の繰り返しとなる（図６）。
【００３７】
線形補間演算回路２０８は、ＲＧＢ点順次化回路１１２から入力された連続する２点のデータ（Ｘ（ｎ）、Ｘ（ｎ＋１））と、補間係数Ｋを用いて、線形補間値Ｚを算出する。
【００３８】
Ｚ＝Ｘ（ｎ）×（１−Ｋ）＋Ｘ（ｎ＋１）×Ｋ
そして、ＶＡＬＩＤ信号＝Ｈｉｇｈの時に、線形補間値Ｚは、フリップフロップ２０９に取り込まれ、ＲＧＢ点順次データとしてラインメモリ１１３へと出力される。ＶＡＬＩＤ信号をフリップフロップ２１０で１サイクル遅延させた信号が、後述するラインメモリ１１３への書き込み可能信号（ＷＲ＿ＥＮＡＢＬＥ）となる。
【００３９】
ラインメモリ１１３の書き込み制御回路１３０は、ラインメモリへの書き込み可能信号（ＷＲ＿ＥＮＡＢＬＥ）信号がＨｉｇｈのときに、線形補間リサイズ回路１１２の線形補間値Ｚをラインメモリ１１３に書き込む。読み出し制御回路１４０は、ラインメモリ１１３からデータを連続して読み出し、ＬＣＤコントローラー１１４に出力する。最終的に、画像がＬＣＤパネル１１５に表示される。
【００４０】
本実施形態に係る映像信号処理装置によれば、ＲＧＢ点順次化回路１１１の後段に点順次データを記憶するラインメモリ１１３を設けることで、点順次データを連続的に出力することが可能となる。これよって、歯抜けクロックと間欠的な表示データを受け付けられないようなＬＣＤコントローラーにも好適に使用可能な映像信号処理装置を提供できる。
【００４１】
なお、第１形式の画像データを第２形式の画像データに変換し、第２形式の画像データを点順次データに変換し、点順次データをリサイズし、リサイズされた点順次データをラインメモリ１１３に記憶し、ラインメモリ１１３から連続的に点順次データを読み出して出力制御する映像信号処理方法も提供されることはいうまでもない。
【００４２】
また、ＲＧＢ点順次化回路１１１の後段に点順次データを記憶するラインメモリ１１３を設けることで、ラインメモリの１１３の容量を削減することが可能となる。例えば、すなわち、Ｙ／Ｕ／Ｖ／Ｒ／Ｇ／Ｂそれぞれが８ｂｉｔデータとすると、ＹＵＶ４２２形式で保存した場合には１画素当たり１６ｂｉｔのメモリ容量が必要となる。しかしながら、ＲＧＢ点順次化してから保存することによって、１画素当たり８ｂｉｔのメモリ容量となり、ＹＵＶ４２２形式でデータを記憶する場合と比べて半分のメモリ容量に削減できる。
【００４３】
さらに、本実施形態に係る映像信号処理装置は、ＹＵＶ形式の画像データからコンポジット映像信号を生成するＮＴＳＣ／ＰＡＬエンコーダー１０７を含むため、ＬＣＤパネル１１５だけでなく、外部のＴＶモニター１０９にも画像を表示できる。例えば、デジタルカメラなどの撮像装置では、ＬＣＤパネル１１５は撮影中に画像を確認する際には有効であるが、表示サイズが小さいため多数の人間が鑑賞するには不便である。よって、撮像装置では、映像出力端子等を介してＴＶモニター１０９に画像を表示することが望ましい。
【００４４】
さらに、本実施形態によれば、線形補間リサイズ回路１１２の動作周波数を縮小処理のときと拡大処理のときとで好適に変更し、かつ、線形補間演算回路２０８が用いる補間係数についても好適に決定することで、線形補間リサイズ回路１１２の回路規模を大幅に増大させることを回避している。
【００４５】
［第二の実施形態］
本実施形態では、ラインメモリ１１３からの読み出し開始タイミングを、拡大率／縮小率に応じた分だけ、書き込み開始タイミングよりも遅延させることによって、必要となるラインメモリの記憶容量を低減する技術について説明する。なお、既に説明した個所には同一の参照符号を付すことで説明を簡略化する。
【００４６】
（１）縮小処理の場合
図７は、ラインメモリへの書き込みポインタと読み出しポインタのタイミングの一例を示す図である。ここでは、縮小率を２／３倍としている。例えば、オリジナル画像データの水平画素数は７２０画素であり、ＬＣＤパネル１１５の水平画素数は４８０画素である。とりわけ、図７によれば、書き込みポインタ（ＷＲＩＴＥ ＰＯＩＮＴＥＲ）が１６０番目のデータを指した後で、読み出しポインタ（ＲＥＡＤ ＰＯＩＮＴＥＲ）が１番目のデータを指すように設定されている。
【００４７】
本実施形態によれば、例えば、７２０−４８０＝２４０番目のデータが線形補間リサイズ回路１１２に入力され、２４０×２／３＝１６０番目のデータがラインメモリ１１３に書き込まれた後で、読み出し回路１４がラインメモリ１１３からのデータの読み出しを開始する。これにより、書き込みデータを追い越すことなく、データの読み出しを実行できる。このとき、ラインメモリ１１３の記憶容量は、少なくとも１６０画素分のデータを記憶できればよいことになる。
【００４８】
一般に、ラインメモリ１１３として必要となる記憶容量は、ＬＣＤパネル１１５の水平画素数ｘ（ｘ＜７２０）の関数として求めることができる。
【００４９】
この場合、縮小率は、ｘ／７２０となるので、（７２０−ｘ）のデータが線形補間リサイズ回路１１２に入力されることになる。
【００５０】
（７２０−ｘ）×（ｘ／７２０）
のデータがラインメモリ１１３に書き込まれた後で、読み出し制御回路１４０が読み出しを開始すれば、書き込みデータを追い越すことなく読み出しをすることが可能である。
従って、ラインメモリ１１３として少なくとも必要となる記憶容量は、
（７２０−ｘ）×（ｘ／７２０）
となる。
【００５１】
図８は、実施形態に係る縮小処理の場合におけるＬＣＤパネルの水平画素数とラインメモリの必要容量との関係を示す図である。図８において、ｘ軸は、ＬＣＤパネル１１５の水平画素数を表している。ｙ軸は、ラインメモリ１１３の必要容量を表している。図８より、ラインメモリ１１３の記憶容量が、少なくとも１８０データ分あれば、水平画素数が７２０画素以下のＬＣＤパネルに、本実施形態に係る映像信号処理装置が対応できることがわかる。
【００５２】
（２）拡大処理の場合
図９は、拡大率が４／３倍（ＬＣＤパネルの水平画素数が９６０画素）の時のラインメモリへの書き込みポインタと読み出しポインタとのタイミングの一例を示す図である。
【００５３】
図９から明らかなように、７２０×２−９６０＝４８０個のデータが線形補間リサイズ回路１１２に入力され、４８０×２／３＝３２０個のデータがラインメモリ１１３に書き込まれた後で、読み出し制御回路１４０が読み出しを開始すれば好適である。これにより、書き込みデータを追い越すことなく、データを読み出すことが可能となる。ラインメモリの容量は、少なくとも３２０データ分あれば十分である。
【００５４】
ラインメモリ１１３として必要な記憶容量は、ＬＣＤパネル１１５の水平画素数ｘ（７２０＜ｘ＜１４４０）の関数として求めることができる。拡大率は、（ｘ／７２０）と表せる。よって、（７２０×２−ｘ）のデータが線形補間リサイズ回路１１２に入力され、（１４４０−ｘ）×（ｘ／１４４０）のデータがラインメモリ１１３に書き込まれた後で、読み出しを開始すればよいことになる。すなわち、書き込みデータを追い越すことなく、データの読み出しを実現できる。
【００５５】
このように、ラインメモリ１１３として必要な記憶容量は、
（１４４０−ｘ）×（ｘ／１４４０）
となる。
【００５６】
図１０は、実施形態に係る拡大処理におけるＬＣＤパネルの水平画素数とラインメモリの必要容量との関係を示す図である。ｘ軸は、ＬＣＤパネルの水平画素数を表している。ｙ軸は、ラインメモリの必要容量を表している。図１０から、ラインメモリ１１３の記憶容量が少なくとも３６０データ分以上あれば、水平画素数が７２０画素から１４４０画素までのＬＣＤパネルに、本実施形態に係る映像信号処理装置が対応できることを理解できよう。
【００５７】
以上説明したように、本実施形態によれば、ラインメモリ１１３からの読み出し開始タイミングを、拡大率／縮小率に応じた分だけ、書き込み開始タイミングよりも遅延させることによって、必要となるラインメモリの記憶容量を低減することができる。また、拡大処理においても画質の劣化の少ない、きれいな表示品質を得ることができる。
【００５８】
なお、上述の各実施形態では、ＴＶモニター１０９の表示サイズを、水平７２０画素×垂直４８０ラインとして説明した。また、ＬＣＤパネル１１５の画素数を、水平４８０画素×２４０ラインもしくは水平９６０画素×２４０ラインとして説明した。これらの具体的な数値は、単なる一例に過ぎないことはいうまでもない。
【００５９】
例えば、ラインメモリ１１３の記憶容量を表す式
（７２０−ｘ）×（ｘ／７２０）
（１４４０−ｘ）×（ｘ／１４４０）
を一般化すると、
（ｙ−ｘ）（ｘ／ｙ）
と表すことができる。ここでｙは、縮小処理においてはオリジナル画像の水平画素数（ＴＶモニター１０９の水平画素数）を表し、拡大処理においては、最大に拡大された画像の水平画素数を表す。この式から明らかなように、ラインメモリ１１３の記憶容量を、ＹＵＶ形式のデータにおける１ライン分のデータ量の半分よりも、さらに少なくすることができる。
【００６０】
なお、上述の実施形態によれば、ＹＵＶ形式の画像（映像）データとＲＧＢ形式の画像データとについて説明したが、本発明はそれぞれ他の形式の画像データに適用してもよいことはいうまでもない。
【図面の簡単な説明】
【００６１】
【図１】実施形態に係る映像信号処理装置を含む撮像装置のブロック図である。
【図２】実施形態に係るＲＧＢ点順次化回路と線形補間リサイズ回路とを詳細に示した回路構成図である。
【図３】縮小率が２／３倍のときのタイミングを示す図である。
【図４】実施形態に係る線形補間演算回路から出力される線形補間値Ｚと、ＲＧＢ点順次化回路から入力されＸ（ｎ）およびＸ（ｎ＋１）との位置関係を示す図である。
【図５】実施形態に係る各位相ごとのＸ（ｎ）、Ｘ（ｎ＋１）およびＺの位置関係を示す図である。
【図６】拡大率が４／３倍のときのタイミングを示す図である。
【図７】ラインメモリへの書き込みポインタと読み出しポインタのタイミングの一例を示す図である。
【図８】実施形態に係る縮小処理の場合におけるＬＣＤパネルの水平画素数とラインメモリの必要容量との関係を示す図である。
【図９】拡大率が４／３倍（ＬＣＤパネルの水平画素数が９６０画素）の時のラインメモリへの書き込みポインタと読み出しポインタとのタイミングの一例を示す図である。
【図１０】実施形態に係る拡大処理におけるＬＣＤパネルの水平画素数とラインメモリの必要容量との関係を示す図である。
【符号の説明】
【００６２】
１００ 撮像素子
１０１ Ａ／Ｄ変換器
１０２ 撮像信号処理回路
１０３ リサイズ回路
１０４ メモリＩ／Ｆ
１０５ メモリ
１０６ ＦＩＦＯ
１０７ ＮＴＳＣ／ＰＡＬエンコーダー
１０８ Ｄ／Ａ変換器
１０９ ＴＶモニター
１１０ ＹＵＶ／ＲＧＢ変換回路
１１１ ＲＧＢ点順次化回路
１１２ 線形補間リサイズ回路
１１３ ラインメモリ
１１４ ＬＣＤコントローラー
１１５ ＬＣＤパネル
２０１、２０２、２０３ フリップフロップ
２０４、２０５ セレクタ
２０６ セレクト信号
２０７ 補間係数算出回路
２０８ 線形補間演算回路
２０９、２１０ フリップフロップ
【技術分野】
【０００１】
本発明は、画像データ等を表示するための映像信号処理技術に関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置では、ＬＣＤパネルが備え付けられており、このＬＣＤパネルに撮影した画像を表示することができる。なお、撮影した画像のサイズと、ＬＣＤパネルの画素数とは一致してないことがほとんどであるため、リサイズ処理が必要となる。
【０００３】
特許文献１によれば、撮像素子から得られた画像データをＴＶモニターの表示サイズに合わせてリサイズし、リサイズされた画像データから間欠的に表示データを作成し、表示データと歯抜けクロックとをＬＣＤコントローラーに出力する装置が記載されている。
【特許文献１】特開２００２−３０５７５２号公報、段落０１３６ないし段落０１６９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、一般的なＬＣＤコントローラーの中には、上記のような歯抜けクロックと間欠的な表示データを受け付けられないものが存在する。そのため、このようなＬＣＤコントローラーにも使用可能な映像信号処理装置のニーズが存在する。
【０００５】
そこで、本発明は、このような課題および他の課題の少なくとも１つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。
【課題を解決するための手段】
【０００６】
本発明に係る映像信号処理装置は、例えば、第１形式の画像データを第２形式の画像データに変換する形式変換手段と、前記第２形式の画像データを点順次データに変換する点順次変換手段と、前記点順次データをリサイズするリサイズ手段と、リサイズされた前記点順次データを記憶するラインメモリと、前記ラインメモリから連続的に前記点順次データを読み出して出力制御する出力制御手段とを含むことを特徴とする。
【発明の効果】
【０００７】
本発明の映像信号処理装置によれば、点順次変換手段の後段に点順次データを記憶するラインメモリを設けることで、点順次データを連続的に出力することが可能となる。よって、歯抜けクロックと間欠的な表示データを受け付けられないようなＬＣＤコントローラーにも好適に使用可能な映像信号処理装置を提供できる。
【発明を実施するための最良の形態】
【０００８】
［第１の実施形態］
図１は、第１実施形態に係る映像信号処理装置を含む撮像装置のブロック図である。この撮像装置は、例えば、デジタルカメラ、デジタルビデオカメラなど、表示装置を内蔵するとともに外部のＴＶモニターに接続可能な装置である。
【０００９】
図１において、１００は、光学像を電気信号に変換する撮像素子である。１０１は、撮像素子１００からのアナログ画像信号をディジタル信号に変換するＡ／Ｄ変換器である。１０２は、Ａ／Ｄ変換器１０１からの出力データにガンマ処理、補間処理、マトリクス変換等を施してＹＵＶ形式の画像（映像）データを形成する撮像信号処理回路である。１０３は、撮像信号処理回路１０２からの画像データをＴＶモニタの表示サイズにリサイズするリサイズ回路である。１０４は、メモリ１０５との間で画像データや各種制御データの書き込み／読み出しを行うメモリＩ／Ｆである。
【００１０】
１０６は、メモリインターフェース１０４から読み出された画像データを異なるデータレートに変換するための緩衝用のＦＩＦＯメモリである。１０７は、ＦＩＦＯメモリから読み出されたＹＵＶ形式の画像データをコンポジット映像信号に変換するＮＴＳＣ／ＰＡＬエンコーダーである。１０８は、Ｄ／Ａ変換器である。１０９は、ＴＶモニターである。なお、点線で境界を示しているように、ＴＶモニター１０９は、映像信号処理装置または撮像装置に搭載されている必要はない。この場合、ＴＶモニター１０９は、映像信号端子などを介して、映像信号処理装置または撮像装置に接続されることになろう。
【００１１】
１１０は、ＹＵＶ形式の画像データをＲＧＢ形式に変換するＹＵＶ／ＲＧＢ変換回路である。１１１は、ＹＵＶ／ＲＧＢ変換回路１１０から出力されるＲＧＢ信号をＲＧＢに点順次化する点順次化回路である。点順次化とは、面順次化に対する概念であり、画像を構成する画素を重視して画像の左上から右下へと順次記録することをいう。例えば、ＲＧＢＲＧＢＲＧＢ・・・のように信号を記録する。なお、面順次化では、ＲＲＲＲＲ・・・・、ＧＧＧＧＧ・・・・、ＢＢＢＢＢ・・・・・のように信号を記録する。１１２は、ＲＧＢ点順次信号を拡大／縮小する線形補間リサイズ回路である。
【００１２】
１１３は、リサイズされたＲＧＢ点順次信号を記憶するラインメモリである。１１４は、ラインメモリ１１３から連続的に出力されるＲＧＢ点順次信号を処理するＬＣＤコントローラーである。１１５は、ＬＣＤコントローラー１１４に制御されて画像などを表示するＬＣＤパネルである。なお、ＬＣＤパネル１１５に代えて自発光型の表示デバイスなど、撮像装置に搭載可能な他の種類の表示デバイスを採用してもよい。
【００１３】
本実施形態では、ＴＶモニター１０９の表示サイズをＮＴＳＣ方式による水平７２０画素×垂直４８０ラインと仮定して説明する。また、ＬＣＤパネル１１５の画素数を水平４８０画素×２４０ラインもしくは水平９６０画素×２４０ラインと仮定して説明する。以下では、メモリ１０５に記憶された画像データをＴＶモニター１０９とＬＣＤパネル１１５とに同時に表示するものとして説明する。
【００１４】
撮像素子１００から出力されるアナログ画像信号は、Ａ／Ｄ変換器１０１によりディジタル信号（画像データ）に変換される。この画像データは、撮像信号処理回路１０２に入力される。撮像信号処理回路１０２は、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施してＹＵＶ形式の画像データを生成する。リサイズ回路１０３は、形成された画像データを水平方向または垂直方向の少なくとも一方に拡大または縮小する（すなわち、リサイズを行う。）。これは、ＴＶモニター１０９の表示サイズである水平７２０画素×垂直４８０ラインに対応した表示用画像データを作成するためである。その後、表示用画像データは、メモリＩ／Ｆ１０４を通じてメモリ１０５に記憶される。
【００１５】
一般に、ＮＴＳＣ方式のＴＶモニターはインターレース表示を行う。そのため、表示用画像を構成する４８０ラインの内、第１フィールドでは奇数番目の２４０ラインのみ（第１フィールド画像）がメモリ１０５から読み出されてＴＶモニター１０９に表示される。また、第２フィールドでは偶数番目の２４０ラインのみ（第２フィールド画像）がメモリ１０５から読み出されてＴＶモニター１０９に表示される。
【００１６】
一方、ＬＣＤパネル１１５は、プログレッシブ表示を行う。この例で、垂直ライン数はＴＶモニター１０９の半分の２４０ラインである。また、本実施形態では、ＴＶモニター１０９と同期させて第１フィールド画像と第２フィールド画像とを交互に表示する。このようにして、メモリ１０５から読み出された表示用画像データは、ＴＶモニター１０９とＬＣＤパネル１１５とに同時並行的に表示される。
【００１７】
表示タイミング制御部１２０は、メモリ１０５に記憶された表示用画像データをメモリＩ／Ｆ１０４を通じて読み出し、ＦＩＦＯメモリ１０６に順次格納する。そして、ＴＶ表示のタイミングに合わせてＦＩＦＯメモリ１０６から画像データを読み出して、ＮＴＳＣ／ＰＡＬエンコーダー１０７およびＹＵＶ／ＲＧＢ変換器１１０に供給する。
【００１８】
ＮＴＳＣ／ＰＡＬエンコーダー１０７は、ＦＩＦＯメモリ１０６から読み出されるＹＵＶ形式の画像データからコンポジット映像信号を生成する。コンポジット映像信号は、Ｄ／Ａ変換器１０８によりアナログ映像信号に変換される。ＴＶモニター１０９は、アナログ映像信号に基づいて画像を表示する。
【００１９】
一方、ＹＵＶ／ＲＧＢ変換回路１１０は、例えば、以下の計算式に従ってＹＵＶ信号をＲＧＢ信号に変換する。すなわち、ＲＧＢ信号からＹＵＶ信号への変換式は、
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝０．４９３（Ｂ−Ｙ）
Ｖ＝０．８７７（Ｒ−Ｙ）
であるので、この逆変換は、
Ｒ＝Ｙ＋（１／０．８７７）Ｖ＝Ｙ＋（２９２／２５６）Ｖ
Ｂ＝Ｙ＋（１／０．４９３）Ｕ＝Ｙ＋（５１９／２５６）Ｕ
Ｇ＝Ｙ−（０．２９９／０．５８７）（２９２／２５６）Ｖ
−（０．１１４／０．５８７）（５１９／２５６）Ｕ
＝Ｙ−（１４９Ｖ＋１０１Ｕ）／２５６
となる。
【００２０】
ラインメモリ１１３の書き込み制御回路１３０は、ラインメモリへの書き込み可能信号（ＷＲ＿ＥＮＡＢＬＥ）信号がＨｉｇｈのときに、線形補間リサイズ回路１１２の演算結果Ｚをラインメモリ１１３に書き込む。また、読み出し制御回路１４０は、ラインメモリ１１３からデータを連続して読み出し、ＬＣＤコントローラー１１４に出力する。すなわち、読み出し制御回路１４０は、点順次データの出力制御手段の一例である。
【００２１】
図２は、実施形態に係るＲＧＢ点順次化回路と線形補間リサイズ回路とを詳細に示した回路構成図である。以下、図２を参照して、これらの動作を説明する。図２において、２０１、２０２、２０３は、それぞれＲの入力データ、Ｇの入力データおよびＢの入力データを１サイクル遅延させるためのフリップフロップである。２０４は、ＲＧＢの入力データから１つを選択するセレクタである、２０５は、１サイクル遅延されたＲＧＢの入力データから１つを選択するセレクタである。セレクト信号をセレクタ２０４およびセレクタ２０５に入力することよって、同色となる連続した２点の入力データを後段の線形補間リサイズ回路１１２へと出力することができる。
【００２２】
線形補間リサイズ回路１１２は、補間係数算出回路２０７、線形補間演算回路２０８、フロップフロップ２０９、２１０を含む。ＬＣＤパネル１１５の水平画素数がＴＶモニターの水平画素数である７２０画素より少ない場合、線形補間リサイズ回路１１２は、縮小処理を行う。一方で、ＬＣＤパネル１１５の水平画素数がＴＶモニターの水平画素数である７２０画素よりも多い場合、線形補間リサイズ回路１１２は、拡大処理を行う。
【００２３】
（１）縮小処理の場合
図３は、縮小率が２／３倍のときのタイミングを示す図である。ここでは、一例として、ＬＣＤパネル１１５の水平画素数が７２０×２／３＝４８０画素の場合について説明する。この図から、補間係数ｋによって３つの入力データ（ＩＮ＿ＤＡＴＡ）から２つの出力データ（ＯＵＴ＿ＤＡＴＡ）が生成されることを容易に理解できるであろう。また、ＶＡＬＩＤ信号に同期して、リサイズされた画象データ（ＯＵＴ＿ＤＡＴＡ）がラインメモリ１１３へと連続的に出力されてゆく。このようにして、２／３倍への縮小が達成される。
【００２４】
より具体的に説明すると、補間係数算出回路２０７は、補間係数ｋを線形補間演算回路２０８に順次出力する。また、補間係数算出回路２０７は、有効出力データのフラグを示すＶＡＬＩＤ信号をフリップフロップ２１０などに順次出力する。例えば、リサイズ率が２／３倍のとき、ＶＡＬＩＤ信号は、３サイクルに２回Ｈｉｇｈとなる信号である。また、補間係数ｋは、例えば、０、１／２、０、１／２の繰り返しとなる信号である。
【００２５】
ＲＧＢ点順次化回路１１１から入力された連続する２点の入力データ（ｎ番目のデータをＸ（ｎ）、ｎ＋１番目のＸ（ｎ＋１）、ｎは自然数）について、線形補間演算回路２０８は、補間係数ｋと次式を用いて線形補間値Ｚを算出する。
【００２６】
Ｚ＝Ｘ（ｎ）×（１−ｋ）＋Ｘ（ｎ＋１）×ｋ
図４は、実施形態に係る線形補間演算回路から出力される線形補間値Ｚと、ＲＧＢ点順次化回路から入力されるＸ（ｎ）およびＸ（ｎ＋１）との位置関係を示す図である。この図からわかるように、Ｘ（ｎ）と、Ｘ（ｎ＋１）との間をｋ：１−ｋに分割する位置がＺに対応している。
【００２７】
そして、ＶＡＬＩＤ信号＝Ｈｉｇｈの時に線形補間値Ｚが、フリップフロップ２０９に取り込まれる。この線形補間値Ｚは、ＲＧＢ点順次データとして出力される。なお、ＶＡＬＩＤ信号をフリップフロップ２１０で１サイクル遅延させた信号が、後述するラインメモリへの書き込み可能信号（ＷＲ＿ＥＮＡＢＬＥ）となる。
【００２８】
（２）拡大処理の場合
線形補間リサイズ回路１１２は、縮小処理のときの動作周波数と比較し、２倍の周波数で拡大処理を実行する。これは、入力データが２倍にオーバーサンプリング（拡大）されること意味する。線形補間リサイズ回路１１２は、このサンプリングデータを用いて縮小処理を実行する。所望の拡大率がＰ倍（１＜Ｐ＜２）であれば、補間係数算出回路２０７の縮小率をＰ／２倍に設定すればよい。これにより、トータルで２×Ｐ／２＝Ｐ倍の拡大率を実現できる。
【００２９】
例えば、ＲＧＢ点順次化回路１１１から１３．５ＭＨｚのデータレートでデータが入力された場合、線形補間リサイズ回路１１２は、２倍の２７ＭＨｚで動作する。よって、ＲＧＢ点順次化データのデータレートは、２倍（すなわち２７ＭＨｚ）でオーバーサンプリングされてから縮小処理が行われる。このとき、線形補間演算回路２０８が用いる補間係数Ｋは、補間係数算出回路２０７の出力である補間係数ｋおよび有効出力データのフラグを示すＶＡＬＩＤ信号から以下のように導き出される。
【００３０】
まず、ｎ番目のデータをＸ（ｎ）、ｎ＋１番目のＸ（ｎ＋１）とすると、２倍のオーバーサンプリングによって、ｎ番目とｎ＋１番目の中心に
Ｙ＝｛Ｘ（ｎ）＋Ｘ（ｎ＋１）｝／２
のデータが仮想的に挿入される。
【００３１】
補間係数算出回路２０７は、２倍の周波数で動作している。よって、ＶＡＬＩＤ信号がＨｉｇｈになるタイミングは、Ｘ（ｎ）とＹとの間で補間演算が行われる場合（位相１の場合）と、ＹとＸ（ｎ＋１）との間で補間演算が行われる場合（位相２の場合）の２通りが存在することになる。
【００３２】
Ｘ（ｎ）とＹとの間で補間演算が行われる場合（位相１の場合）、出力データＺは、
Ｚ＝Ｘ（ｎ）×（１−ｋ）＋Ｙ×ｋ
＝Ｘ（ｎ）×（１−ｋ／２）＋Ｘ（ｎ＋１）×ｋ／２
となる。
【００３３】
一方、ＹとＸ（ｎ＋１）との間で補間演算が行われる場合（位相２の場合）、出力データＺは、
Ｚ＝Ｙ×（１−ｋ）＋Ｘ（ｎ＋１）×ｋ
＝Ｘ（ｎ）×（１−ｋ）／２＋Ｘ（ｎ＋１）×（１＋ｋ）／２
となる。
【００３４】
従って、ＶＡＬＩＤ信号がＨｉｇｈになる位相によって、線形補間演算回路２０８の補間係数Ｋを
Ｋ＝ｋ／２
もしくは
Ｋ＝（１＋ｋ）／２
とすればよい。
【００３５】
図５は、実施形態に係る各位相ごとのＸ（ｎ）、Ｘ（ｎ＋１）およびＺの位置関係を示す図である。とりわけ、（ａ）は、位相１の場合のＸ（ｎ）、Ｘ（ｎ＋１）、Ｚの位置関係を示している。また。（ｂ）は、位相２の場合のＸ（ｎ）、Ｘ（ｎ＋１）、Ｚの位置関係を示している。
【００３６】
図６は、拡大率が４／３倍のときのタイミングを示す図である。この例では、ＬＣＤパネル１１５の水平画素数が７２０×４／３＝９６０画素であると仮定している。補間係数算出回路２０７は、縮小率が２／３倍に設定されている。また、補間係数ｋは、図３と同様に０、１／２、０、１／２の繰り返しとなる。しかしながら、ＶＡＬＩＤ信号の位相に応じて、補間係数Ｋは、０、１／４、１／２、３／４の繰り返しとなる（図６）。
【００３７】
線形補間演算回路２０８は、ＲＧＢ点順次化回路１１２から入力された連続する２点のデータ（Ｘ（ｎ）、Ｘ（ｎ＋１））と、補間係数Ｋを用いて、線形補間値Ｚを算出する。
【００３８】
Ｚ＝Ｘ（ｎ）×（１−Ｋ）＋Ｘ（ｎ＋１）×Ｋ
そして、ＶＡＬＩＤ信号＝Ｈｉｇｈの時に、線形補間値Ｚは、フリップフロップ２０９に取り込まれ、ＲＧＢ点順次データとしてラインメモリ１１３へと出力される。ＶＡＬＩＤ信号をフリップフロップ２１０で１サイクル遅延させた信号が、後述するラインメモリ１１３への書き込み可能信号（ＷＲ＿ＥＮＡＢＬＥ）となる。
【００３９】
ラインメモリ１１３の書き込み制御回路１３０は、ラインメモリへの書き込み可能信号（ＷＲ＿ＥＮＡＢＬＥ）信号がＨｉｇｈのときに、線形補間リサイズ回路１１２の線形補間値Ｚをラインメモリ１１３に書き込む。読み出し制御回路１４０は、ラインメモリ１１３からデータを連続して読み出し、ＬＣＤコントローラー１１４に出力する。最終的に、画像がＬＣＤパネル１１５に表示される。
【００４０】
本実施形態に係る映像信号処理装置によれば、ＲＧＢ点順次化回路１１１の後段に点順次データを記憶するラインメモリ１１３を設けることで、点順次データを連続的に出力することが可能となる。これよって、歯抜けクロックと間欠的な表示データを受け付けられないようなＬＣＤコントローラーにも好適に使用可能な映像信号処理装置を提供できる。
【００４１】
なお、第１形式の画像データを第２形式の画像データに変換し、第２形式の画像データを点順次データに変換し、点順次データをリサイズし、リサイズされた点順次データをラインメモリ１１３に記憶し、ラインメモリ１１３から連続的に点順次データを読み出して出力制御する映像信号処理方法も提供されることはいうまでもない。
【００４２】
また、ＲＧＢ点順次化回路１１１の後段に点順次データを記憶するラインメモリ１１３を設けることで、ラインメモリの１１３の容量を削減することが可能となる。例えば、すなわち、Ｙ／Ｕ／Ｖ／Ｒ／Ｇ／Ｂそれぞれが８ｂｉｔデータとすると、ＹＵＶ４２２形式で保存した場合には１画素当たり１６ｂｉｔのメモリ容量が必要となる。しかしながら、ＲＧＢ点順次化してから保存することによって、１画素当たり８ｂｉｔのメモリ容量となり、ＹＵＶ４２２形式でデータを記憶する場合と比べて半分のメモリ容量に削減できる。
【００４３】
さらに、本実施形態に係る映像信号処理装置は、ＹＵＶ形式の画像データからコンポジット映像信号を生成するＮＴＳＣ／ＰＡＬエンコーダー１０７を含むため、ＬＣＤパネル１１５だけでなく、外部のＴＶモニター１０９にも画像を表示できる。例えば、デジタルカメラなどの撮像装置では、ＬＣＤパネル１１５は撮影中に画像を確認する際には有効であるが、表示サイズが小さいため多数の人間が鑑賞するには不便である。よって、撮像装置では、映像出力端子等を介してＴＶモニター１０９に画像を表示することが望ましい。
【００４４】
さらに、本実施形態によれば、線形補間リサイズ回路１１２の動作周波数を縮小処理のときと拡大処理のときとで好適に変更し、かつ、線形補間演算回路２０８が用いる補間係数についても好適に決定することで、線形補間リサイズ回路１１２の回路規模を大幅に増大させることを回避している。
【００４５】
［第二の実施形態］
本実施形態では、ラインメモリ１１３からの読み出し開始タイミングを、拡大率／縮小率に応じた分だけ、書き込み開始タイミングよりも遅延させることによって、必要となるラインメモリの記憶容量を低減する技術について説明する。なお、既に説明した個所には同一の参照符号を付すことで説明を簡略化する。
【００４６】
（１）縮小処理の場合
図７は、ラインメモリへの書き込みポインタと読み出しポインタのタイミングの一例を示す図である。ここでは、縮小率を２／３倍としている。例えば、オリジナル画像データの水平画素数は７２０画素であり、ＬＣＤパネル１１５の水平画素数は４８０画素である。とりわけ、図７によれば、書き込みポインタ（ＷＲＩＴＥ ＰＯＩＮＴＥＲ）が１６０番目のデータを指した後で、読み出しポインタ（ＲＥＡＤ ＰＯＩＮＴＥＲ）が１番目のデータを指すように設定されている。
【００４７】
本実施形態によれば、例えば、７２０−４８０＝２４０番目のデータが線形補間リサイズ回路１１２に入力され、２４０×２／３＝１６０番目のデータがラインメモリ１１３に書き込まれた後で、読み出し回路１４がラインメモリ１１３からのデータの読み出しを開始する。これにより、書き込みデータを追い越すことなく、データの読み出しを実行できる。このとき、ラインメモリ１１３の記憶容量は、少なくとも１６０画素分のデータを記憶できればよいことになる。
【００４８】
一般に、ラインメモリ１１３として必要となる記憶容量は、ＬＣＤパネル１１５の水平画素数ｘ（ｘ＜７２０）の関数として求めることができる。
【００４９】
この場合、縮小率は、ｘ／７２０となるので、（７２０−ｘ）のデータが線形補間リサイズ回路１１２に入力されることになる。
【００５０】
（７２０−ｘ）×（ｘ／７２０）
のデータがラインメモリ１１３に書き込まれた後で、読み出し制御回路１４０が読み出しを開始すれば、書き込みデータを追い越すことなく読み出しをすることが可能である。
従って、ラインメモリ１１３として少なくとも必要となる記憶容量は、
（７２０−ｘ）×（ｘ／７２０）
となる。
【００５１】
図８は、実施形態に係る縮小処理の場合におけるＬＣＤパネルの水平画素数とラインメモリの必要容量との関係を示す図である。図８において、ｘ軸は、ＬＣＤパネル１１５の水平画素数を表している。ｙ軸は、ラインメモリ１１３の必要容量を表している。図８より、ラインメモリ１１３の記憶容量が、少なくとも１８０データ分あれば、水平画素数が７２０画素以下のＬＣＤパネルに、本実施形態に係る映像信号処理装置が対応できることがわかる。
【００５２】
（２）拡大処理の場合
図９は、拡大率が４／３倍（ＬＣＤパネルの水平画素数が９６０画素）の時のラインメモリへの書き込みポインタと読み出しポインタとのタイミングの一例を示す図である。
【００５３】
図９から明らかなように、７２０×２−９６０＝４８０個のデータが線形補間リサイズ回路１１２に入力され、４８０×２／３＝３２０個のデータがラインメモリ１１３に書き込まれた後で、読み出し制御回路１４０が読み出しを開始すれば好適である。これにより、書き込みデータを追い越すことなく、データを読み出すことが可能となる。ラインメモリの容量は、少なくとも３２０データ分あれば十分である。
【００５４】
ラインメモリ１１３として必要な記憶容量は、ＬＣＤパネル１１５の水平画素数ｘ（７２０＜ｘ＜１４４０）の関数として求めることができる。拡大率は、（ｘ／７２０）と表せる。よって、（７２０×２−ｘ）のデータが線形補間リサイズ回路１１２に入力され、（１４４０−ｘ）×（ｘ／１４４０）のデータがラインメモリ１１３に書き込まれた後で、読み出しを開始すればよいことになる。すなわち、書き込みデータを追い越すことなく、データの読み出しを実現できる。
【００５５】
このように、ラインメモリ１１３として必要な記憶容量は、
（１４４０−ｘ）×（ｘ／１４４０）
となる。
【００５６】
図１０は、実施形態に係る拡大処理におけるＬＣＤパネルの水平画素数とラインメモリの必要容量との関係を示す図である。ｘ軸は、ＬＣＤパネルの水平画素数を表している。ｙ軸は、ラインメモリの必要容量を表している。図１０から、ラインメモリ１１３の記憶容量が少なくとも３６０データ分以上あれば、水平画素数が７２０画素から１４４０画素までのＬＣＤパネルに、本実施形態に係る映像信号処理装置が対応できることを理解できよう。
【００５７】
以上説明したように、本実施形態によれば、ラインメモリ１１３からの読み出し開始タイミングを、拡大率／縮小率に応じた分だけ、書き込み開始タイミングよりも遅延させることによって、必要となるラインメモリの記憶容量を低減することができる。また、拡大処理においても画質の劣化の少ない、きれいな表示品質を得ることができる。
【００５８】
なお、上述の各実施形態では、ＴＶモニター１０９の表示サイズを、水平７２０画素×垂直４８０ラインとして説明した。また、ＬＣＤパネル１１５の画素数を、水平４８０画素×２４０ラインもしくは水平９６０画素×２４０ラインとして説明した。これらの具体的な数値は、単なる一例に過ぎないことはいうまでもない。
【００５９】
例えば、ラインメモリ１１３の記憶容量を表す式
（７２０−ｘ）×（ｘ／７２０）
（１４４０−ｘ）×（ｘ／１４４０）
を一般化すると、
（ｙ−ｘ）（ｘ／ｙ）
と表すことができる。ここでｙは、縮小処理においてはオリジナル画像の水平画素数（ＴＶモニター１０９の水平画素数）を表し、拡大処理においては、最大に拡大された画像の水平画素数を表す。この式から明らかなように、ラインメモリ１１３の記憶容量を、ＹＵＶ形式のデータにおける１ライン分のデータ量の半分よりも、さらに少なくすることができる。
【００６０】
なお、上述の実施形態によれば、ＹＵＶ形式の画像（映像）データとＲＧＢ形式の画像データとについて説明したが、本発明はそれぞれ他の形式の画像データに適用してもよいことはいうまでもない。
【図面の簡単な説明】
【００６１】
【図１】実施形態に係る映像信号処理装置を含む撮像装置のブロック図である。
【図２】実施形態に係るＲＧＢ点順次化回路と線形補間リサイズ回路とを詳細に示した回路構成図である。
【図３】縮小率が２／３倍のときのタイミングを示す図である。
【図４】実施形態に係る線形補間演算回路から出力される線形補間値Ｚと、ＲＧＢ点順次化回路から入力されＸ（ｎ）およびＸ（ｎ＋１）との位置関係を示す図である。
【図５】実施形態に係る各位相ごとのＸ（ｎ）、Ｘ（ｎ＋１）およびＺの位置関係を示す図である。
【図６】拡大率が４／３倍のときのタイミングを示す図である。
【図７】ラインメモリへの書き込みポインタと読み出しポインタのタイミングの一例を示す図である。
【図８】実施形態に係る縮小処理の場合におけるＬＣＤパネルの水平画素数とラインメモリの必要容量との関係を示す図である。
【図９】拡大率が４／３倍（ＬＣＤパネルの水平画素数が９６０画素）の時のラインメモリへの書き込みポインタと読み出しポインタとのタイミングの一例を示す図である。
【図１０】実施形態に係る拡大処理におけるＬＣＤパネルの水平画素数とラインメモリの必要容量との関係を示す図である。
【符号の説明】
【００６２】
１００ 撮像素子
１０１ Ａ／Ｄ変換器
１０２ 撮像信号処理回路
１０３ リサイズ回路
１０４ メモリＩ／Ｆ
１０５ メモリ
１０６ ＦＩＦＯ
１０７ ＮＴＳＣ／ＰＡＬエンコーダー
１０８ Ｄ／Ａ変換器
１０９ ＴＶモニター
１１０ ＹＵＶ／ＲＧＢ変換回路
１１１ ＲＧＢ点順次化回路
１１２ 線形補間リサイズ回路
１１３ ラインメモリ
１１４ ＬＣＤコントローラー
１１５ ＬＣＤパネル
２０１、２０２、２０３ フリップフロップ
２０４、２０５ セレクタ
２０６ セレクト信号
２０７ 補間係数算出回路
２０８ 線形補間演算回路
２０９、２１０ フリップフロップ
【特許請求の範囲】
【請求項１】
第１形式の画像データを第２形式の画像データに変換する形式変換手段と、
前記第２形式の画像データを点順次データに変換する点順次変換手段と、
前記点順次データをリサイズするリサイズ手段と、
リサイズされた前記点順次データを記憶するラインメモリと、
前記ラインメモリから連続的に前記点順次データを読み出して出力制御する出力制御手段と
を含むことを特徴とする映像信号処理装置。
【請求項２】
前記ラインメモリの記憶容量は、前記第１形式の画像データに係る１ライン分のデータ量の半分よりも少ないことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記出力制御手段は、前記ラインメモリへの書き込み開始から前記リサイズ手段のリサイズ率に応じた時間だけ遅らせて前記ラインメモリからの読み出しを開始することを特徴とする請求項１または２に記載の映像信号処理装置。
【請求項４】
前記第１形式の画像データからコンポジット映像信号を生成する生成手段をさら含むことを特徴とする請求項１ないし３のいずれかに記載の映像信号処理装置。
【請求項５】
前記第２形式の画像データは、ＲＧＢデータであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項６】
前記点順次変換手段は、ＲＧＢデータから同色の連続する２点のデータを出力し、
前記リサイズ手段は前記連続する２点のデータから線形補間演算によりリサイズ後のデータを出力することを特徴とする請求項５に記載の映像信号処理装置。
【請求項７】
前記リサイズ手段は拡大処理時には前記ＲＧＢ点順次信号データを整数倍にオーバーサンプリングしてから縮小処理を行うことを特徴とする請求項５又は６に記載の映像信号処理装置。
【請求項８】
前記オーバーサンプリングの整数倍が２倍であることを特徴とする請求項７に記載の映像信号処理装置。
【請求項９】
前記リサイズ手段は拡大処理時には縮小処理時の２倍の周波数で動作することを特徴とする請求項８に記載の映像信号処理装置。
【請求項１０】
前記リサイズ手段は拡大処理時には、
分母は入力サイズのオーバーサンプリングの整数倍、分子は出力サイズで決まるリサイズ率を設定し、
線形補間演算に用いる補間係数はオーバーサンプリングで挿入された画素の前後で位相の計算方法を切替えることを特徴とする請求項７ないし９のいずれかに記載の映像信号処理装置。
【請求項１１】
被写体の画像を撮像する撮像手段と、
前記被写体の画像に係る第１形式の画像データを生成するデータ生成手段と、
請求項１ないし請求項１０のいずれかに記載の映像信号処理装置と、
前記映像信号処理装置から出力される前記点順次データを表示する表示手段と
を含むことを特徴とする撮像装置。
【請求項１２】
第１形式の画像データを第２形式の画像データに変換する形式変換ステップと、
前記第２形式の画像データを点順次データに変換する点順次変換ステップと、
前記点順次データをリサイズするリサイズステップと、
リサイズされた前記点順次データをラインメモリに記憶する記憶ステップと、
前記ラインメモリから連続的に前記点順次データを読み出して出力制御する出力制御ステップと
を含むことを特徴とする映像信号処理方法。
【請求項１】
第１形式の画像データを第２形式の画像データに変換する形式変換手段と、
前記第２形式の画像データを点順次データに変換する点順次変換手段と、
前記点順次データをリサイズするリサイズ手段と、
リサイズされた前記点順次データを記憶するラインメモリと、
前記ラインメモリから連続的に前記点順次データを読み出して出力制御する出力制御手段と
を含むことを特徴とする映像信号処理装置。
【請求項２】
前記ラインメモリの記憶容量は、前記第１形式の画像データに係る１ライン分のデータ量の半分よりも少ないことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記出力制御手段は、前記ラインメモリへの書き込み開始から前記リサイズ手段のリサイズ率に応じた時間だけ遅らせて前記ラインメモリからの読み出しを開始することを特徴とする請求項１または２に記載の映像信号処理装置。
【請求項４】
前記第１形式の画像データからコンポジット映像信号を生成する生成手段をさら含むことを特徴とする請求項１ないし３のいずれかに記載の映像信号処理装置。
【請求項５】
前記第２形式の画像データは、ＲＧＢデータであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項６】
前記点順次変換手段は、ＲＧＢデータから同色の連続する２点のデータを出力し、
前記リサイズ手段は前記連続する２点のデータから線形補間演算によりリサイズ後のデータを出力することを特徴とする請求項５に記載の映像信号処理装置。
【請求項７】
前記リサイズ手段は拡大処理時には前記ＲＧＢ点順次信号データを整数倍にオーバーサンプリングしてから縮小処理を行うことを特徴とする請求項５又は６に記載の映像信号処理装置。
【請求項８】
前記オーバーサンプリングの整数倍が２倍であることを特徴とする請求項７に記載の映像信号処理装置。
【請求項９】
前記リサイズ手段は拡大処理時には縮小処理時の２倍の周波数で動作することを特徴とする請求項８に記載の映像信号処理装置。
【請求項１０】
前記リサイズ手段は拡大処理時には、
分母は入力サイズのオーバーサンプリングの整数倍、分子は出力サイズで決まるリサイズ率を設定し、
線形補間演算に用いる補間係数はオーバーサンプリングで挿入された画素の前後で位相の計算方法を切替えることを特徴とする請求項７ないし９のいずれかに記載の映像信号処理装置。
【請求項１１】
被写体の画像を撮像する撮像手段と、
前記被写体の画像に係る第１形式の画像データを生成するデータ生成手段と、
請求項１ないし請求項１０のいずれかに記載の映像信号処理装置と、
前記映像信号処理装置から出力される前記点順次データを表示する表示手段と
を含むことを特徴とする撮像装置。
【請求項１２】
第１形式の画像データを第２形式の画像データに変換する形式変換ステップと、
前記第２形式の画像データを点順次データに変換する点順次変換ステップと、
前記点順次データをリサイズするリサイズステップと、
リサイズされた前記点順次データをラインメモリに記憶する記憶ステップと、
前記ラインメモリから連続的に前記点順次データを読み出して出力制御する出力制御ステップと
を含むことを特徴とする映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−２０１１２（Ｐ２００７−２０１１２Ａ）
【公開日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願番号】特願２００５−２０２１０１（Ｐ２００５−２０２１０１）
【出願日】平成１７年７月１１日（２００５．７．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願日】平成１７年７月１１日（２００５．７．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]