説明

画像信号処理装置、画像信号処理方法、およびプログラム

【課題】回路規模やコストの増加を抑えながら、高精細な画像を表示することができる画像信号処理装置を提供すること。
【解決手段】水平n画素×垂直m画素(n、mはそれぞれ自然数)からなる所定の画素配列を有する表示装置に画像信号を出力するために、画像信号処理装置は、輝度信号と色差信号とからなる画像信号を入力して水平方向の画素数を2n画素に変換し、画素数が変換された画像信号をメモリに記憶し、記憶された画像信号を読み出して表示装置の所定の画素配列に対応して画素をサンプリングし、画像信号の水平方向の画素数をn画素に変換すると共に、読み出した画像信号の垂直方向の画素数をm画素に変換し、次いでnxm画素に変換された画像信号を表示装置の画素に対応した複数の色成分信号に変換し、さらに表示装置の所定の画素配列に対応して重心補正して表示装置に出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像信号処理装置、画像信号処理方法、およびプログラムに関し、特に、画像信号の表示の処理に係わる装置、方法およびプログラムに関する。
【背景技術】
【0002】
従来、動画を撮影し、記録媒体に対して記録再生するビデオカメラが知られている。ビデオカメラは液晶ディスプレイなどの表示装置を備え、撮影した被写体の画像や、記録媒体から再生した画像を表示装置に表示する構成をとるのが一般的である。また近年では、フルハイビジョンと呼ばれる、1フレームあたり横1920画素×縦1080画素の高精細な動画を撮影し、記録するビデオカメラも登場している。
【0003】
液晶ディスプレイは、RGBのカラーフィルタ(画素)を規則的に並べた構造となっている。液晶ディスプレイの画素配列として、例えば、画面垂直方向にRGB各画素を列ごとにそろえて並べたストライプ配列や、1行おきに、RGB各画素を水平方向に1.5画素ずらして並べたデルタ配列が知られている。デルタ配列の液晶パネルを用いたビデオカメラも知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007-096472
【発明の概要】
【発明が解決しようとする課題】
【0005】
ビデオカメラやデジタルカメラなどの民生用機器では、小型化やコストなどの制約により、QVGA(水平320画素×垂直240画素)程度の液晶ディスプレイが用いられることが多い。そのため、撮影した画像の画素数を削減して表示している。
【0006】
しかしながら、表示する画像がフルハイビジョンなどの多画素の画像である場合、表示される画像の画素数とディスプレイの画素数との比率が大きくなる。そのため、単に画素間引きにより画素数を削減してしまうと、折り返しノイズなどにより画質が劣化してしまう。
これを防ぐためには、高精度な補間フィルタなどの処理回路が必要となり、回路規模やコストの増加につながるという問題があった。
本発明はこの様な問題を解決することを目的とする。
【0007】
また、本発明は、回路規模やコストの増加を抑えながら、高精細な画像を表示することができる画像信号処理装置の提供を目的とする。
【課題を解決するための手段】
【0008】
上記本件発明の目的を達成するため、本件発明の画像信号処理装置は以下の構成を有する。すなわち、水平n画素×垂直m画素(n、mはそれぞれ自然数)からなる所定の画素配列を有する表示装置に画像信号を出力するための画像信号処理装置であって、輝度信号と色差信号とからなる画像信号を入力する入力手段と、メモリと、入力された画像信号の水平方向の画素数を2n画素に変換し、画素数が変換された画像信号をメモリに記憶する第1の変換手段と、第1の変換手段によりメモリに記憶された画像信号を読み出し、読み出した画像信号の画素を表示装置の所定の画素配列に対応してサンプリングすることにより読み出した画像信号の水平方向の画素数をn画素に変換すると共に、読み出した画像信号の垂直方向の画素数をm画素に変換する第2の変換手段と、第2の変換手段から出力された画像信号を表示装置の画素に対応した複数の色成分信号に変換する色変換手段と、色変換手段から出力された複数の色成分信号を表示装置の所定の画素配列に対応して重心補正し、重心補正された色成分信号を表示装置に出力する補正手段とを備える画像信号処理装置である。
【発明の効果】
【0009】
本発明によれば、画素数の少ない表示装置に高画素数の画像を表示する場合に、回路規模やコストの増加を抑え、かつ画質の劣化も抑えながら、高精細な画像を表示することができる。特に、水平方向の隣接画素ライン間で画素配列がずれているデルタ配列の表示装置においても、回路規模やコストの増加を抑え、かつ画質の劣化も抑えながら、高精細な画像を画素数の少ない表示装置に表示することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態におけるビデオカメラの構成を示す図である。
【図2】図1のビデオカメラの表示制御部の構成を示す図である。
【図3】ディスプレイの画素配列を示す図である。
【図4】図2の表示制御部の水平方向変換部により変換された動画信号の画素位置を示す図である。
【図5】図2の表示制御部の垂直方向変換部によりサンプリングされた動画信号の画素位置を示す図である。
【図6】図2のRGB変換部により変換されたRGBの色成分信号の画素位置と、画素重心を示す図である。
【図7】図2の重心補正部のオーバーサンプリングフィルタの構成及び周波数特性を示す図である。
【図8】反転表示の場合に図2の表示制御部の垂直方向変換部によりサンプリングされた動画信号の画素位置を示す図である。
【図9】反転表示の場合に図2のRGB変換部により変換されたRGBの色成分信号の画素位置と、画素重心を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を説明する。図1は本発明の実施形態としてのビデオカメラ100の構成を示す図である。なお、本件発明の適用は、撮像手段を有するカメラに限るものではなく、取得した高画素数の画像を画素数の少ない表示手段を有する他の装置、例えばPCや携帯機器にも適用できることは以下の説明から明らかである。
【0012】
図1において、撮像部101は被写体を撮影して動画データを出力する。本実施形態では、撮像部101は、1フレームが水平1920画素×垂直1080画素で、毎秒60フレームの動画信号を出力する。メモリ102は、撮像部101により得られた動画信号や符号化された動画信号、表示制御部103により処理される画像信号、或いは、動画像に多重して表示するためのオンスクリーンディスプレイ信号(OSD信号)などを記憶する。表示制御部103は、撮影時には撮像部101により得られた動画信号に係る画像を表示部104に表示し、再生時には再生された動画信号に係る画像を表示する。また、表示制御部103は、メニュー画面等の各種のOSD情報を画像に多重して表示部104に表示する。
【0013】
表示部104は、液晶ディスプレイやディスプレイドライバを有し、表示制御部103から出力された画像信号に応じて画像を表示する。本実施形態では、表示部104における液晶ディスプレイはデルタ配列の液晶ディスプレイで、その画素数は、水平320画素×垂直240画素である。また、表示部104のディスプレイは、RGBの三種類の色成分に対応した画素を有し、RGBの各画素についてそれぞれ水平方向に320画素を持つ。また、表示部104のディスプレイの各画素のアスペクトを、横1:縦180/240=4:3としている。
【0014】
図3に液晶ディスプレイの画素配列の様子を示す。301はストライプ配列を示している。また、302はデルタ配列を示している。302に示す様に、デルタ配列は、1ラインおきに、RGBの各画素が1.5画素ずれて配置される。本実施例は、画素配列がデルタ配列である表示装置に本件発明を適用した例であるが、画素配列がストライプ配列である表示装置であっても、後述のように適宜本件発明を適用することができる。
【0015】
また、本実施形態では、表示部104が、ビデオカメラ100の本体に対して回転できるように構成されている。そして、ユーザは、表示部104の向きを撮影者の方に向けるほか、表示部104を回転させて、被写体の方に向けることも可能である。被写体の方に向けた場合、表示部104の上限が逆になるので、画像はその上下の向きが反転されて表示される。
【0016】
操作部105は、電源スイッチや撮影開始、停止の指示スイッチ、撮影モードと再生モードを切り替えるためのモードスイッチ、メニュー画面を操作するためのスイッチ等を備える。制御部106はマイクロコンピュータを有し、図示しないメモリに記憶されたプログラムに従ってビデオカメラ100の各部を制御する。制御部106は操作部105からの指示に応じて各部を制御する。また、制御部106は、上記プログラムの制御に従ってOSD情報を生成し、メモリ102に記憶する。
【0017】
記録信号処理部107は、記録時においては撮像部101により得られたフルハイビジョンの動画信号に対して決められた処理を施すと共に、H.264方式等の公知の符号化方式に従って符号化する。また、再生時においては、再生された動画信号を復号する。
【0018】
記録再生部108は、記録媒体109に対して動画信号を記録し、また、記録媒体108から動画信号を再生する。記録媒体109は、フラッシュメモリカード等のランダムアクセス可能な記録媒体である。記録媒体109は、不図示の装着、排出機構により、ビデオカメラ100に対して容易に交換可能である。また、記録再生部108は、FATファイルシステム等の公知のファイルシステムに従い、記録媒体109に記録する各種のデータをファイルとして管理する。出力部110は、撮像部101により得られた動画信号や、再生された動画信号をビデオカメラ100の外部の表示装置などに出力する。また、出力部110は、制御部106からの指示に従い、外部出力する動画信号に対し、OSD信号を合成して出力する。データバス111は、各部の間でデータやコマンドを送受信する。
【0019】
まず、撮影時の動作について説明する。操作部105により電源が投入されると、撮像部101により得られた動画信号はバス111を介してメモリ102に記憶される。表示制御部103は、後述の様にメモリ102に記憶された動画信号を表示部104の画素数にあわせて縮小し、撮影された被写体に係る動画像を表示部104に表示する。
【0020】
この様な記録ポーズ状態で、操作部105により記録開始の指示があると、記録信号処理部107は、符号化処理に適した順序でメモリ102に記憶された動画信号を順次読み出す。そして、記録信号処理部107は、H.264/MPEG4−AVC方式に従ってメモリ102から読み出した動画信号を符号化し、再度メモリ102に記憶する。制御部106は各種の制御情報などをメモリ102に記憶し、符号化された動画信号に多重することにより、ストリームデータを生成する。そして、記録再生部108は、メモリ102に所定量のストリームデータが蓄積されたことに応じてメモリ102からデータを読み出し、記録媒体109に記録する。
【0021】
これ以降、記録停止の指示があるまでの間、同様の処理を継続する。そして、記録停止の指示があると、記録媒体109に対するデータの記録を停止する。本実施形態では、記録開始の指示から記録停止の指示までの間に記録媒体109に記録された一連のシーンのデータ(クリップ)を一つの動画ファイルとして記録媒体上において管理する。また、記録再生部108は、制御部106の指示により、記録媒体109に記録された動画ファイル等のデータを管理するための管理情報を生成し、この管理情報を記録媒体の所定の領域に記録する。また、記録再生部108は、記録媒体109に記録された管理情報を、動画ファイルを生成、記録するごとに更新する。
【0022】
次に、再生時の動作を説明する。本実施形態では、記録媒体109に記録された各クリップ(シーン)の代表画像の一覧を示すインデックス画面(後述する)を表示し、これら代表画面から所望のシーンを選択する。制御部106は、操作部105から再生モードへの切り替え指示があると、記録媒体109に記録された各動画ファイルのインデックス画面を表示部104に表示させる。記録再生部108は、インデックス表示の指示があると、記録媒体109に記録された各動画ファイルの先頭部分を読み出し、メモリ102に記憶する。記録信号処理部107はメモリ102に記憶された各動画信号の先頭部分を復号し、その先頭画面をメモリ102に記憶する。表示制御部103は、各動画ファイルの先頭画面を縮小し、メモリ102に記憶する。制御部106はメモリ102に記憶された縮小画面からなるインデックス画面を生成し、表示制御部103に出力する。表示制御部103は、インデックス画面を表示部104に表示する。ユーザは操作部105を操作して、表示部104に表示された代表画像のうち、所望のクリップの代表画像を選択する。
【0023】
制御部106は、記録媒体109に記録された管理情報に基づいて記録再生108を制御し、ユーザが選択した代表画像に対応する動画ファイルを記録媒体109から再生する。再生された動画信号は一旦メモリ102に蓄積される。そして、記録信号処理部105はメモリ102から動画信号を読み出して復号し、メモリ102に送る。メモリ102に記憶された動画信号は、出力部110により外部のモニタなどの表示形態に適応した形態に変換されて出力される。また、表示制御部103は、インデックス画面に代えて、メモリ102に記憶された動画信号に係る動画像を表示部104に表示する。
【0024】
次に、表示制御部103について説明する。表示制御部103は、撮影された動画信号、或いは、再生された動画信号の画素数を表示部104における液晶ディスプレイ装置の画素数(サイズ)にあわせて変換する。また、表示制御部103は、表示部104における液晶ディスプレイの画素配列である、デルタ配列に応じて、表示対象となる動画信号の各画素の重心を補正して表示部104に出力する。
【0025】
図2(a)は表示制御部103の要部の構成を示す図である。図2(a)において、水平方向変換部201は、撮像部101から出力されて、または記録再生部108で記録媒体109から再生されてメモリ102に記憶された動画信号を読み出し、水平方向の画素数を減少してメモリ102に記憶する。撮像部101から出力された動画信号、或いは、再生された動画信号は、1フレームが水平1920画素×垂直1080画素である。また、撮像部101からの動画信号と再生動画信号は、輝度信号Yと二つの(複数)色差信号Cr,Cbからなる。また、本実施形態では、撮像部101からの動画信号と再生動画信号は、輝度信号Yと色差信号Cr,Cbとの画素の比率が2:1となっている。即ち、各水平ラインの輝度信号Yに対し、Cr,Cbはそれぞれ1画素おきにサブサンプルされた状態で出力され、メモリ102に記憶される。従って、撮像部101からの動画信号或いは再生動画信号における輝度信号Yの水平画素数は1920画素で、色差信号Cr,Cbの水平画素数はそれぞれ960画素となる。
【0026】
具体的には、水平方向変換部201は帯域制限フィルタとサブサンプル回路を有し、メモリ102に記憶された動画信号を読み出してその周波数帯域を制限する。そして、輝度信号Yと色差信号Cr,Cbそれぞれについて、水平方向の画素数を、表示部104の液晶ディスプレイの水平画素数320画素の2倍である640画素に変換する。
【0027】
本実施形態では、液晶ディスプレイの画素数にあわせて、撮像部101からの元の動画信号の水平画素数1920画素を、その1/6の320画素に変換する。そして、本実施形態では、水平画素数1920画素から直接320画素に変換するのではなく、デルタ配列のディスプレイに適した動画を生成するため、一旦、ディスプレイの水平画素数320画素の2倍の640画素に変換する。このとき、画素間引きのための帯域制限フィルタとしてのLPFのカットオフ周波数を、撮像部101からの動画信号の周波数の1/6から1/3の間に設定する。通常、画素数を1/6に減少する場合、周波数帯域も低域通過フィルタを用いて1/6に制限するが、本実施形態では1/6から1/3の間の帯域に設定する。1/6は入力動画信号の水平画素数に対するディスプレイの水平画素数の比率であり、1/3は入力動画信号の画素数に対するディスプレイの水平画素数の2倍の画素数の比率である。このように、入力画像の水平画素数と表示画素数との比を入力画像の周波数に掛けた周波数よりも高い周波数を帯域制限フィルタの制限周波数帯域として設定している。これにより、ディスプレイに表示される動画の解像感を高くしながら、折り返し雑音を低減することができる。なお、水平方向変換部201における帯域制限フィルタの制限周波数帯域は、制御部106が指示することにより変更することができる。
【0028】
水平変換部201は、このように低域制限を施した後、動画信号の画素をサブサンプルすることにより、水平画素数を640画素に変換する(第1の変換)。ここで、輝度信号Yについては1920画素を3画素ごとに2画素を間引いて640画素に変換する。また、色差信号Cr,Cbについては、入力動画信号の水平画素数960画素を一旦2倍の画素数1920画素に変換した後で帯域制限フィルタにより帯域制限し、その後、3画素ごとに2画素を間引いて640画素に変換する。そして、水平方向変換部201は、画素数を変換した動画信号をメモリ102に記憶する。このように、水平方向変換部201からの動画信号は、水平640画素×垂直1080画素となる。
【0029】
図4に、水平方向変換部201からの動画信号の1フレームの様子を示す。図4(a)は輝度信号Yの様子を示し、図4(b)、(c)はそれぞれ色差信号Cr,Cbの様子を示す。また、図4における各画素の数字は1フレームにおける各画素の位置を示す。図4に示す様に、水平方向変換部201からの動画信号では、互いに同じ位置に輝度信号Yと色差信号Cr,Cbが存在する。
【0030】
次に、垂直方向変換部202は、水平方向変換部201により水平画素数が640画素に変換された動画信号をメモリ102から読み出す。そして、垂直方向変換部202は、読み出した動画信号の水平方向の画素数を、帯域を維持したまま更に1/2に減少した後、垂直方向の画素数をディスプレイの画素数に合わせて240画素に減少して画質調整部203に出力する(第2の変換)。
【0031】
本実施形態では、垂直方向変換部202がメモリ102から読み出した動画信号の水平画素を1/2に変換する際、ディスプレイの画素配列に対応じてサンプリングする画素の位置を決めている。即ち、図5に示す様に、図3のデルタ配列302に対応して、輝度信号Yと色差信号Cr,Cbについて、1ラインごとに水平方向のサンプリング位置をずらしている。図5(a)は輝度信号Yのサンプリング位置を示している。図5(a)より明らかな様に、偶数ライン0、2・・・については2画素目、4画素目、6画素目・・というように1画素おきにサンプリングされる。一方、奇数ライン1、3・・・については1画素目、3画素目、5画素目・・・というように1画素おきにサンプリングされる。このように、サンプリングされる画素の位置が偶数ラインと奇数ラインとで異なっている。図5(b)、(c)も同様に、色差信号Cr,Cbのサンプリング位置を示している。表示部104の画素配列がストライプ配列の場合は、すべてのラインについて同じサンプリング位置を設定すればよい。
【0032】
垂直方向変換部202は、垂直方向の帯域制限フィルタ及び画素補間のための空間フィルタを備えている。そして、垂直方向変換部202は、このようにサンプリングされた動画信号に対して、帯域制限フィルタにより垂直方向に周波数帯域を制限する。1080画素を240画素に変換するため、帯域制限フィルタのカットオフ周波数は元の動画信号の2/9とする。更に、垂直方向変換部202は、空間フィルタにより垂直方向画素数1080画素を240画素に変換するための画素補間を行い、次いで垂直方向に画素を間引くことにより垂直方向画素数1080画素を240画素に変換する。このように変換された動画信号が画質調整部203に出力される。
【0033】
画質調整部203は、制御部106からの指示により垂直方向変換部202からの動画信号に対し、所定の画像処理を施す。例えば、制御部106より画面の一部を明るくする指示があった場合には、指定された位置の画素を指示にあわせて変更する。画質調整部203で処理された動画信号は多重化部204に出力される。なお、実施例のビデオカメラのように、OSD信号の生成、表示機能がない装置に本件発明を適用した場合は、多重化部を入力された画像信号がそのまま出力されるよう設定すればよい。また、OSD信号処理に係わる構成および多重化部を適宜取り除いて本件発明の画像信号を構成しても本件発明の効果が損なわれるものではない。
【0034】
次に、OSD信号の処理について説明する。制御部106により生成されたOSD信号はメモリ102に記憶される。本実施形態では、OSD信号の1フレームの画素数を、撮像部101からの動画信号の水平、垂直画素数のそれぞれ1/2である水平960画素×水平540画素とする。また、OSD信号は輝度信号Yと色差信号Cr,Cbとから構成される。OSD信号の画素数は、輝度信号Yと色差信号Cr,Cb共に同じであるとする。なお、出力部110により動画信号のOSD信号を合成する場合には、メモリ102に記憶されたOSD信号の画素数を水平、垂直方向にそれぞれ2倍に増加した後に合成する。
【0035】
水平方向変換部207は、制御部106からの指示に従ってメモリ102からOSD信号を読み出し、その水平方向の画素数を一旦1920画素に変換する。水平方向変換部207は帯域制限フィルタを有し、1920画素に変換されたOSD信号の周波数帯域を制限し、その後、水平方向の画素数を640画素に変換してメモリ102に記憶する(第3の変換)。
【0036】
水平方向変換部207における帯域制限フィルタの制限周波数は、水平方向変換部201における帯域制限フィルタの制限周波数と同じとしている。なお、OSD信号の解像感を動画と変えたい場合もあるので、制御部106により、動画信号の場合とは別にOSD信号の制限周波数を設定可能としている。水平方向変換部207により画素数が変換されたOSD信号は、水平640画素×垂直540画素であり、垂直画素数が540画素である以外は、図4の状態と同様である。
【0037】
次に、垂直方向変換部208は、水平方向変換部207により水平画素数を640画素に変換されたOSD信号をメモリ102から読み出す。そして、垂直方向変換部208は、読み出したOSD信号の水平方向の画素数を更に1/2に減少した後、垂直方向の画素数をディスプレイの画素数に合わせて240画素に減少して多重化部204に出力する(第4の変換)。
【0038】
垂直方向変換部208は、垂直方向変換部202と同様に、OSD信号の水平画素を1/2に変換する際、ディスプレイの画素配列に応じてサンプリングする画素の位置を決定している。即ち、図5に示す様に、表示部104の画素配列がデルタ配列であることに対応して輝度信号Yと色差信号Cr,Cbについて、1ラインごとに隣接するライン間で水平方向のサンプリング位置をずらしている。なお、表示部104の画素配列がストライプ配列の場合は、動画信号と同様に、すべてのラインについて同じサンプリング位置を適用すればよい。
【0039】
また、垂直方向変換部208は、垂直方向の帯域制限フィルタ及び画素補間のための空間フィルタを備えている。そして、垂直方向変換部208は、上述のようにサンプリングされたOSD信号に対して、帯域制限フィルタにより垂直方向に周波数帯域を制限する。垂直画素数540画素を240画素に変換するため、帯域制限フィルタのカットオフ周波数は元の動画信号の4/9とする。更に、垂直方向変換部208は、空間フィルタにより垂直方向画素数540画素を240画素に変換するための画素補間を行い、垂直方向に画素を間引くことにより垂直方向画素数540画素を240画素に変換する。このように変換されたOSD信号が多重化部204に出力される。
【0040】
多重化部204は、制御部106からの指示に従い、画質調整部203からの動画信号と垂直方向変換部208からのOSD信号を多重し、RGB変換部205に出力する。多重化部204は、制御部106から指示された比率に従って、動画信号とOSD信号の各画素に対する合成比率(割合)を設定する。
【0041】
RGB変換部205は、制御部106からの指示に従い、多重化部204から出力された動画信号の輝度信号Yと色差信号Cr,Cbを、R(レッド)、G(グリーン)、B(ブルー)の三種類の色成分信号に変換する。RGB変換部205は、制御部106から出力された変換マトリクスに従い、輝度信号と色差信号をRGB信号に変換する。RGB変換部205は、フレーム内で同じ位置にある輝度信号Yと色差信号Cr,Cbを1画素ずつ用いて、RGB信号を1画素ずつ生成する。即ち、同じ画素位置にある一組の輝度信号Yと色差信号Cr,Cbを、一組のRGB信号に変換する(色変換)。
【0042】
RGB変換部205から出力される動画信号を図6(a)に示す。垂直方向変換部202により水平方向のサンプリング位置がラインごとにずれた状態でサンプリングされているため、一組のRGB画素のサンプリング位置も図6(a)に示す様にライン間でずれている。
【0043】
重心補正部206は、RGB変換部205から出力された動画信号におけるRGB各画素の画素重心を表示部104のディスプレイの画素配列に対応した重心となるように補正する。重心補正部206はオーバーサンプリングフィルタを有し、入力された動画信号のRGB各画素に対してフィルタ処理を施すことにより画素重心を補正する。
【0044】
図6(a)に示す様に、水平方向のサンプリング位置をライン間でずらした結果、RGB変換部205から出力された動画信号におけるGの画素位置が図3の302に示すデルタ配列におけるGの位置に対応している。これは、輝度成分を主成分とする色がGであるため、垂直方向変換部202におけるサンプリング処理でGの位置を最も意識しているためである。このように、Gの重心は既にデルタ配列に合わせてあるため、重心補正部206によりRとBの重心をGの重心を中心として補正する。具体的には、図6(b)に示すとおり、偶数ラインでは、Gを中心とすると、両隣のRとBは3分の1画素重心がずれていることになる。また、奇数ラインでは、一組のRBG画素が、画面左からGBRの順に配置されるので、Gに対し、Bの重心が1/3ずれ、Rの重心が2/3ずれている。
【0045】
図7(a)は、重心補正部206におけるオーバーサンプリングフィルタを示している。また、図7(b)は、図7(a)のオーバーサンプリングフィルタの周波数特性を示している。図7(b)の各画素が図7(a)のフィルタにおける各タップから出力される画素位置に対応し、また、各画素の記号がタップ係数に対応している。図7(b)のフィルタの特性はGを中心として、RとBの重心をデルタ配列に合わせてずらすための特性である。フィルタの総タップ数は23タップ、Rは8個、Gは7個、Bは8個のフィルタ演算係数を有する。
【0046】
RGB変換部205からのRGB各画素の動画信号がラインごとに順次フィルタに入力される。遅延部701aから701gはそれぞれ、入力されたRGB各画素の動画信号を3画素分順次遅延させて出力する。従って、フィルタに入力された画素がGの画素の場合、各タップからはGの画素が出力される。同様に、入力された画素がB,Rのときは、各タップからそれぞれB,Rの画素が出力される。乗算器702aから702hは、制御部106からの指示に従って係数を選択し、選択した係数と各タップからの信号とを乗算する。本実施形態では、フィルタに入力された画素がGの場合、各乗算器702aから702gが係数G1からG7をそれぞれ選択するように制御する。また、フィルタに入力された画素がB,Rの場合、各乗算器702aから702hがそれぞれ係数B1からB8、或いはR1からR8をそれぞれ選択するように制御する。
【0047】
加算器703は各乗算器からの出力を加算し、重心が補正されたRGB信号の動画信号として出力する。このように重心補正部206からの重心補正されたRGBの動画信号が表示部104に出力される。
【0048】
なお、表示部104の画素配列がストライプ配列である場合は、垂直方向変換部と同様に、表示部の画素配列に対応して重心補正の設定を適宜変更すればよい(例えばフィルタ係数の設定変更)。
【0049】
なお、本実施形態では、輝度信号と色差信号とからなるOSD信号を生成したが、RGB信号からなるOSD信号を生成するようにしてもよい。RGB信号からなるOSD信号を生成した場合の表示制御部103の構成を図2(b)に示す。この場合、OSD信号として、水平960画素×垂直540画素のRGB信号からなるOSD信号を生成する。また、OSD信号は、RGBの各色成分について、それぞれ水平画素数が960画素であるとする。
【0050】
図2(b)の水平方向変換部207は、RGB信号からなるOSD信号をメモリ207から読み出し、RGBの各色成分信号について、水平方向の画素数を640画素に変換する。この際、図2(a)での輝度信号と色差信号の場合と同様に、一旦1920画素に変換した後、帯域制限を施して640画素に変換する。そして、垂直方向変換部208は、メモリ102より水平画素数が640画素のRGB信号を読み出し、水平方向の画素数をディスプレイの水平画素数に合わせて320画素に変換する。このとき、輝度信号と色差信号の場合と同様に、ライン間でサンプリング位置をずらす。そして、サンプリングされたRGB信号に対し、垂直方向に帯域制限を施した後、垂直方向の画素数をディスプレイの画素数にあわせて240画素に変換して多重化部205に出力する。垂直方向変換部208から出力されるRGB信号の画素位置は、図6(a)に示す状態となっている。
【0051】
これ以降は前述と同様に、多重化部204によりOSD信号と動画信号を多重し、重心補正部206により各画素の重心を補正して出力する。
【0052】
次に、表示部104を回転させて、表示する画像を反転する場合の処理について説明する。表示部104を回転させて被写体の方に向けた場合、本実施形態では、表示部104に表示する画像の向きを上下方向に反転して表示する。反転表示の場合には、通常表示の状態において最も下のラインに動画の最も上のラインが表示されることになる。本実施形態では、ディスプレイの垂直画素数が240画素のため、通常表示の状態においてディスプレイの最も下のラインは図5の場合、水平方向の奇数ライン(239)となる。反転表示の状態では、このラインが最初(偶数ライン)に表示されるため、図5のサンプリング位置は図3のデルタ配列に対応しなくなる。そのため、垂直方向変換部202においてサンプリングする画素の位置を通常表示のときとは異なる設定にする。
【0053】
図2(a)において、水平方向変換部201は前述の様にメモリ102より動画信号を読み出し、水平方向の画素数を640画素に変換してメモリ102に記憶する。垂直方向変換部202は、メモリ102から動画信号を読み出し、水平方向の画素数をディスプレイの画素数にあわせて320画素に変換する。このとき、垂直方向変換部202は、制御部106からの反転表示の指示に応じて、通常の表示の場合とは異なる画素位置をサンプリングする。反転表示の際にサンプリングされる画素位置を図8に示す。図8(a)から(c)はそれぞれ、輝度信号Yと色差信号Cr,Cbのサンプリング位置を示している。図8に示す様に、各ラインにおいて、図5に示した通常の表示の際のサンプリング位置とは異なる位置をサンプリングしている。
【0054】
そして、垂直方向変換部202は、動画信号の垂直方向の画素数をディスプレイの画素数にあわせて240画素に変換し、画質調整部203に出力する。画質調整部203は前記の様に動画信号を処理して多重化部204に出力する。
【0055】
一方、OSD信号についても、通常の表示の場合と同様に水平方向変換部207により水平方向の画素数を640画素に変換する。そして、垂直方向変換部208により、図8に示す様に、各ラインについて、通常の表示の場合とは異なる位置をサンプリングして水平方向の画素数を320画素に変換した後、垂直方向の画素数を240画素に変換して多重化部204に出力する。
【0056】
多重化部204は動画信号とOSD信号を多重し、RGB変換部205に出力する。RGB変換部205は、前述の様に、多重化部204から出力された動画信号の輝度信号Yと色差信号Cr,CbをRGBの色成分信号に変換する。RGB変換部205から出力されるRGB信号を図9(a)に示す。
【0057】
RGB変換部205から出力された動画信号は重心補正部206に出力される。重心補正部206は、RGB変換部205から出力された動画信号におけるRGB各画素の画素重心を表示部104のディスプレイの画素配列に対応した重心となるように補正する。また、重心補正部206は、制御部106より反転表示の指示があると、表示部104を回転した状態での画素配列に応じて重心を適宜補正する。
【0058】
図9(b)は、反転表示の際の各画素の重心を示している。重心補正部206は、反転表示の場合、図9(b)に示した重心となるように、フィルタの係数を設定する。重心補正部206により画素重心が反転表示に応じて変更されたRGB信号からなる動画信号は表示部104に出力される。
【0059】
表示部104は、制御部106より反転表示の指示があると、表示制御部103より出力された動画信号の各ラインを、通常表示の場合とは逆に、画像の最も下のラインから順次表示する。
【0060】
このように本実施形態では、水平n画素×垂直m画素の(n、mはそれぞれ所定の自然数)デルタ配列のディスプレイに対して画素数が多い動画信号を表示する構成を開示している。すなわち、輝度信号と色差信号からなる動画信号の水平画素数を、一旦ディスプレイの表示画素数nの2倍の2n画素に変換する。そして、ライン間でサンプリング位置をずらしながら、水平方向の画素数をディスプレイの水平画素数に合わせてn画素に変換するとともに垂直方向をm画素に変換する。その後、輝度信号と色差信号とを、RGBの色成分信号に変換し、更に、画素重心をディスプレイの画素配列に対応じて補正している。
【0061】
反転表示の場合においても、表示部104の画素配列のタイプに対応して、垂直方向変換部での水平画素のサンプリング位置および重心補正の構成を適宜設定すればよい。
【0062】
上述したように、本件発明によれば、高精度な補間フィルタなどを用いずに、ディスプレイの画素配列に対応した高精細な画像を出力できる画像信号処理装置を提供できる。
【0063】
なお、本実施形態では、動画を撮影するビデオカメラにおいて動画像を表示する場合について説明したが、静止画像などの画像信号を表示する場合にも本発明を同様に適用可能である。また、撮像手段を有しない装置において、記録媒体、通信等を介して提供(取得)される高精細画像を画素数の少ない表示部に表示する場合にも適用可能である。この場合は、提供された高精細画像(例えば動画ファイル)をメモリ102に記憶すればよい。
【0064】
また、本発明の目的は次の構成によっても達成されることは言うまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給する構成である。この場合、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによって本件発明が達成される。
【0065】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0066】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0067】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、次のような場合も本件発明に含まれることは言うまでもない。すなわち、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合である。
【0068】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合も本件発明に含まれる。すなわち、メモリに書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合である。
【0069】
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。

【特許請求の範囲】
【請求項1】
水平n画素×垂直m画素(n、mはそれぞれ自然数)からなる所定の画素配列を有する表示装置に画像信号を出力するための画像信号処理装置であって、
輝度信号と色差信号とからなる画像信号を入力する入力手段と、
メモリと、
前記入力手段により入力された画像信号の水平方向の画素数を2n画素に変換し、前記画素数が変換された画像信号を前記メモリに記憶する第1の変換手段と、
前記第1の変換手段により前記メモリに記憶された画像信号を読み出し、前記読み出した画像信号の画素を前記表示装置の所定の画素配列に対応してサンプリングすることにより前記読み出した画像信号の水平方向の画素数をn画素に変換すると共に、前記読み出した画像信号の垂直方向の画素数をm画素に変換する第2の変換手段と、
前記第2の変換手段から出力された画像信号を前記表示装置の画素に対応した複数の色成分信号に変換する色変換手段と、
前記色変換手段から出力された複数の色成分信号を前記表示装置の前記所定の画素配列に対応して重心補正し、前記重心補正された色成分信号を前記表示装置に出力する補正手段とを備える画像信号処理装置。
【請求項2】
前記所定の画素配列は、ストライプ配列およびデルタ配列のいずれかであることを特徴とする請求項1に記載の画像信号処理装置。
【請求項3】
前記第2の変換手段は、1ラインの画素を1画素おきにサンプリングすると共に、当該サンプリングする画素の位置を隣接するライン間で変更することを特徴とする請求項1または2に記載の画像信号処理装置。
【請求項4】
前記複数の色成分信号はRGBの信号であり、前記第2の変換手段は、前記色変換手段から出力された色成分信号におけるGの画素位置が前記表示装置におけるGの画素位置に対応するように、前記サンプリングする画素の位置を決定することを特徴とする請求項1乃至3のいずれか一項に記載の画像信号処理装置。
【請求項5】
前記第1の変換手段は、前記入力手段により入力された画像信号の水平方向の周波数帯域を制限するフィルタを有し、前記フィルタで処理した画像信号の画素をサンプリングし、前記フィルタの制限周波数帯域は、前記入力手段により入力された画像信号の水平方向の画素数と前記表示装置の水平方向の画素数との比を前記入力された画像信号の周波数に掛けた周波数よりも高い周波数であることを特徴とする請求項1乃至4のいずれか一項に記載の画像信号処理装置。
【請求項6】
前記入力された画像信号に多重して表示するためのオンスクリーンディスプレイ信号を出力する出力手段と、前記出力手段から出力されたオンスクリーンディスプレイ信号と前記第2の変換手段から出力された画像信号とを多重する多重手段とを備え、前記出力手段から出力されるオンスクリーンディスプレイ信号は輝度信号と色差信号からなり、前記出力手段から出力されるオンスクリーンディスプレイ信号の水平方向および垂直方向の画素数と画素位置は、前記第2の変換手段から出力される画像信号の水平方向および垂直方向の画素数及び画素位置とそれぞれ同じであることを特徴とする請求項1乃至5のいずれか一項に記載の画像信号処理装置。
【請求項7】
前記出力手段は、オンスクリーンディスプレイ信号を入力する手段と、入力されたオンスクリーンディスプレイ信号の水平方向の画素数を2n画素に変換し、前記画素数が変換されたオンスクリーンディスプレイ信号を前記メモリに記憶する第3の変換手段と、
前記第3の変換手段により前記メモリに記憶されたオンスクリーンディスプレイ信号を読み出し、前記読み出したオンスクリーンディスプレイ信号の画素を前記表示装置の画素配列に対応してサンプリングすることにより、前記読み出したオンスクリーンディスプレイ信号の水平方向の画素数をn画素に変換すると共に、前記読み出したオンスクリーンディスプレイ信号の垂直方向の画素数をm画素に変換する第4の変換手段とを有し、前記第4の変換手段はオンスクリーンディスプレイ信号を前記多重手段に出力することを特徴とする請求項6に記載の画像信号処理装置。
【請求項8】
前記表示装置が反転表示の状態にあるときは、前記第2の変換手段は、前記メモリから読み出した画像信号を通常表示の状態においてサンプリングする画素の位置はと異なる位置の画素をサンプリングすることを特徴とする請求項1乃至7のいずれか一項に記載の画像信号処理装置。
【請求項9】
水平n画素×垂直m画素(n、mはそれぞれ自然数)からなる所定の画素配列を有する表示装置、被写体を撮影して輝度信号と色差信号とからなる画像信号を出力する撮像手段、前記撮像手段から出力された画像信号を記録媒体に記録または前記記録媒体から前記画像信号を再生する記録再生手段、およびメモリを有する撮像装置であって、
前記撮像手段から得られた画像信号および前記記録再生手段により記録媒体から再生された画像信号のいずれかを入力する入力手段と、
前記入力された画像信号の水平方向の画素数を2n画素に変換し、前記画素数が変換された画像信号を前記メモリに記憶する第1の変換手段と、
前記第1の変換手段により前記メモリに記憶された画像信号を読み出し、前記読み出した画像信号の画素を前記表示装置の所定の画素配列に対応してサンプリングすることにより前記読み出した画像信号の水平方向の画素数をn画素に変換すると共に、前記読み出した画像信号の垂直方向の画素数をm画素に変換する第2の変換手段と、
前記第2の変換手段から出力された画像信号を前記表示装置の画素に対応した複数の色成分信号に変換する色変換手段と、
前記色変換手段から出力された複数の色成分信号を前記表示装置の前記所定の画素配列に対応して重心補正し、前記重心補正された色成分信号を前記表示装置に出力する補正手段とを備える撮像装置。
【請求項10】
前記所定の画素配列は、ストライプ配列およびデルタ配列のいずれかであることを特徴とする請求項9に記載の撮像装置。
【請求項11】
前記第2の変換手段は、1ラインの画素を1画素おきにサンプリングすると共に、当該サンプリングする画素の位置を隣接するライン間で変更することを特徴とする請求項9または10に記載の撮像装置。
【請求項12】
前記複数の色成分信号はRGBの信号であり、前記第2の変換手段は、前記色変換手段から出力された色成分信号におけるGの画素位置が前記表示装置におけるGの画素位置に対応するように、前記サンプリングする画素の位置を決定することを特徴とする請求項9乃至11のいずれか一項に記載の撮像装置。
【請求項13】
前記第1の変換手段は、前記入力手段で入力された画像信号の水平方向の周波数帯域を制限するフィルタを有し、前記フィルタで処理した画像信号の画素をサンプリングし、前記フィルタの制限周波数帯域は、前記入力手段により入力された画像信号の水平方向の画素数と前記表示装置の水平方向の画素数との比を前記入力された画像信号の周波数に掛けた周波数よりも高い周波数であることを特徴とする請求項9乃至12のいずれか一項に記載の撮像装置。
【請求項14】
前記入力された画像信号に多重して表示するためのオンスクリーンディスプレイ信号を出力する出力手段と、前記出力手段から出力されたオンスクリーンディスプレイ信号と前記第2の変換手段から出力された画像信号とを多重する多重手段とを備え、前記出力手段から出力されるオンスクリーンディスプレイ信号は輝度信号と色差信号からなり、前記出力手段から出力されるオンスクリーンディスプレイ信号の水平方向および垂直方向の画素数と画素位置は、前記第2の変換手段から出力される画像信号の水平方向および垂直方向の画素数及び画素位置とそれぞれ同じであることを特徴とする請求項9乃至13のいずれか一項に記載の撮像装置。
【請求項15】
前記出力手段は、オンスクリーンディスプレイ信号を入力する手段と、入力されたオンスクリーンディスプレイ信号の水平方向の画素数を2n画素に変換し、前記画素数が変換されたオンスクリーンディスプレイ信号を前記メモリに記憶する第3の変換手段と、
前記第3の変換手段により前記メモリに記憶されたオンスクリーンディスプレイ信号を読み出し、前記読み出したオンスクリーンディスプレイ信号の画素を前記表示装置の画素配列に対応してサンプリングすることにより、前記読み出したオンスクリーンディスプレイ信号の水平方向の画素数をn画素に変換すると共に、前記読み出したオンスクリーンディスプレイ信号の垂直方向の画素数をm画素に変換する第4の変換手段とを有し、前記第4の変換手段はオンスクリーンディスプレイ信号を前記多重手段に出力することを特徴とする請求項14に記載の撮像装置。
【請求項16】
前記表示装置が反転表示の状態にあるときは、前記第2の変換手段は、前記メモリから読み出した画像信号を通常表示の状態においてサンプリングする画素の位置はと異なる位置の画素をサンプリングすることを特徴とする請求項9乃至15のいずれか一項に記載の撮像装置。
【請求項17】
水平n画素×垂直m画素(n、mはそれぞれ自然数)からなる所定の画素配列を有する表示装置に画像信号を出力するための画像信号処理方法であって、
輝度信号と色差信号とからなる画像信号を入力する入力ステップと、
前記入力ステップで入力した画像信号の水平方向の画素数を2n画素に変換し、前記画素数が変換された画像信号をメモリに記憶する第1の変換ステップと、
前記第1の変換ステップで前記メモリに記憶した画像信号を読み出し、前記読み出した画像信号の画素を前記表示装置の所定の画素配列に対応してサンプリングすることにより前記読み出した画像信号の水平方向の画素数をn画素に変換すると共に、前記読み出した画像信号の垂直方向の画素数をm画素に変換する第2の変換ステップと、
前記第2の変換ステップで得られた画像信号を前記表示装置の画素に対応した複数の色成分信号に変換する色変換ステップと、
前記色変換ステップで得られた複数の色成分信号を前記表示装置の前記所定の画素配列に対応して重心補正し、前記重心補正された色成分信号を前記表示装置に出力する補正ステップとを備える画像信号処理方法。
【請求項18】
コンピュータを、
水平n画素×垂直m画素(n、mはそれぞれ自然数)からなる所定の画素配列を有する表示装置に画像信号を出力するための画像信号処理方法において、
輝度信号と色差信号とからなる画像信号を入力する入力手段、
前記入力手段により入力された画像信号の水平方向の画素数を2n画素に変換し、前記画素数が変換された画像信号をメモリに記憶する第1の変換手段、
前記第1の変換手段が前記メモリに記憶した画像信号を読み出し、前記読み出した画像信号の画素を前記表示装置の所定の画素配列に対応してサンプリングすることにより前記読み出した画像信号の水平方向の画素数をn画素に変換すると共に、前記読み出した画像信号の垂直方向の画素数をm画素に変換する第2の変換手段、
前記第2の変換手段により得られた画像信号を前記表示装置の画素に対応した複数の色成分信号に変換する色変換手段、および
前記色変換手段により得られた複数の色成分信号を前記表示装置の前記所定の画素配列に対応して重心補正し、前記重心補正された色成分信号を前記表示装置に出力する補正手段として機能させるためのプログラム。
【請求項19】
請求項18のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項20】
水平n画素×垂直m画素(n、mはそれぞれ自然数)からなる所定の画素配列を有する表示装置、被写体を撮影して輝度信号と色差信号とからなる画像信号を出力する撮像手段、前記撮像手段から出力された画像信号を記録媒体に記録または前記記録媒体から前記画像信号を再生する記録再生手段、およびメモリを有する撮像装置の制御方法であって、
前記撮像手段から得られた画像信号および前記記録再生手段により記録媒体から再生された画像信号のいずれかを入力する入力ステップと、
前記入力された画像信号の水平方向の画素数を2n画素に変換し、前記画素数が変換された画像信号を前記メモリに記憶する第1の変換ステップと、
前記第1の変換ステップにおいて前記メモリに記憶された画像信号を読み出し、前記読み出した画像信号の画素を前記表示装置の所定の画素配列に対応してサンプリングすることにより前記読み出した画像信号の水平方向の画素数をn画素に変換すると共に、前記読み出した画像信号の垂直方向の画素数をm画素に変換する第2の変換ステップと、
前記第2の変換ステップから出力された画像信号を前記表示装置の画素に対応した複数の色成分信号に変換する色変換ステップと、
前記色変換ステップにおいて出力された複数の色成分信号を前記表示装置の前記所定の画素配列に対応して重心補正し、前記重心補正された色成分信号を前記表示装置に出力する補正ステップとを備える撮像装置の制御方法。
【請求項21】
コンピュータを、
水平n画素×垂直m画素(n、mはそれぞれ自然数)からなる所定の画素配列を有する表示装置、被写体を撮影して輝度信号と色差信号とからなる画像信号を出力する撮像手段、前記撮像手段から出力された画像信号を記録媒体に記録または前記記録媒体から前記画像信号を再生する記録再生手段、およびメモリを有する撮像装置の制御方法において、
前記撮像手段から得られた画像信号および前記記録再生手段により記録媒体から再生された画像信号のいずれかを入力する入力手段、
前記入力された画像信号の水平方向の画素数を2n画素に変換し、前記画素数が変換された画像信号を前記メモリに記憶する第1の変換手段、
前記第1の変換ステップにおいて前記メモリに記憶された画像信号を読み出し、前記読み出した画像信号の画素を前記表示装置の所定の画素配列に対応してサンプリングすることにより前記読み出した画像信号の水平方向の画素数をn画素に変換すると共に、前記読み出した画像信号の垂直方向の画素数をm画素に変換する第2の変換手段、
前記第2の変換ステップから出力された画像信号を前記表示装置の画素に対応した複数の色成分信号に変換する色変換手段、および
前記色変換ステップにおいて出力された複数の色成分信号を前記表示装置の前記所定の画素配列に対応して重心補正し、前記重心補正された色成分信号を前記表示装置に出力する補正手段として機能させるためのプログラム。
【請求項22】
請求項21のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項23】
コンピュータを、請求項9乃至16のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
【請求項24】
コンピュータを、請求項9乃至16のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−123175(P2012−123175A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2010−273567(P2010−273567)
【出願日】平成22年12月8日(2010.12.8)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】