マルチ画像生成装置
【課題】 異なるフレーム周波数で入力される複数の動画像を合成したり、異なるフレーム周波数で合成した高解像度動画像を生成するマルチ画像生成装置を実現する。
【解決手段】 異なるフレームレートで入力される複数の挿入用画像を複数枚格納するバッファメモリ部１４と、バッファメモリ部から直前に書き込まれた低解像度フレーム画像を読み出し、高解像度画像に重畳させる位置決めを行って、複数の挿入用画像を順次読み出させる制御部２１と、複数の挿入用画像を高解像度画像に重畳させてマルチ合成画像を形成する画像生成部１７を備えて画像生成装置を構成した。
【解決手段】 異なるフレームレートで入力される複数の挿入用画像を複数枚格納するバッファメモリ部１４と、バッファメモリ部から直前に書き込まれた低解像度フレーム画像を読み出し、高解像度画像に重畳させる位置決めを行って、複数の挿入用画像を順次読み出させる制御部２１と、複数の挿入用画像を高解像度画像に重畳させてマルチ合成画像を形成する画像生成部１７を備えて画像生成装置を構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なるフレームレートで入力される複数の動画像を超高精細画面中に挿入し、任意のフレームレートでマルチ合成された超高精細動画像を出力するマルチ画像生成装置に関する。
【背景技術】
【０００２】
最近になり、ディジタル方式による高精細動画像の放送も実用化されるようになった。業務用途では、画素数が４０００×２０００である超高精細動画像表示システムも実現されるようになってきた。
一方、超高精細動画像の撮像装置や編集装置は開発段階にある。手軽に超高精細動画像の番組や、表示ソフトを制作したり、提示できることは好ましい。
【０００３】
特許文献１には、表示のために複数種類の異なる画像を、メモリを介して合成する画像処理を、処理速度を向上させて行うようにした画像処理装置が開示されている。ＣＰＵのメモリとは別個に、前景データ及び背景データの両者をそれぞれ異なるメモリ領域に記憶し、されらの画像を専用の画像合成回路で合成するようにし、画像合成処理を高速化している。画像合成回路から表示メモリへの画像データの転送は、ＣＰＵバスとは異なる専用バスを介して行う。その結果、表示装置の画面における画像表示を速やかに行うことができるようにした画像処理装置が開示されている。
【特許文献１】特開２００３−２７４１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている画像処理装置では、表示するオブジェクト毎に専用の複数の画像メモリを用い、それぞれのメモリ領域に合成画像を生成して記憶し、記憶されたそれらの画像信号を加算して後、加算して得られた画像を表示用メモリに記憶するようにしている。それぞれの画像メモリに異なるフレーム周波数の動画を記憶し、さらに異なるフレーム周波数で合成画像を生成することまでは考慮されていない。さらに、異なるフレーム周波数の動画像を合成したり、乃至は合成された動画像を入力画像とは異なるフレーム周波数の動画像に生成して出力できる画像処理装置を実現することはできなかった。
【０００５】
そこで、本発明は、上記のような問題点を解消するためになされたもので、お互いに異なるフレーム周波数で入力される複数の動画像を合成したり、乃至は入力される動画像のフレーム周波数とは異なるフレーム周波数で合成した高解像度動画像を生成可能とするマルチ画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明における第１の発明は、所定のフレームレートで作成される所定の解像度の元画像中に表示領域を形成し、前記表示領域に前記所定のフレームレートとは異なるフレームレートで作成される前記所定の解像度より低い解像度の挿入用画像を挿入して、マルチ合成画像を作成するマルチ画像生成装置において、前記挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部と、前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部と、前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部と、前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、前記所定のフレームレート、前記異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部と、前記元画像中に形成した前記表示領域に前記挿入用画像を挿入させて前記マルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部と、を備えたことを特徴とするマルチ画像生成装置を提供する。
第２の発明は、所定のフレームレートで作成される所定の解像度の元画像中に第１の複数の表示領域を形成し、前記第１の複数の表示領域に前記所定のフレームレートとは異なるフレームレートで作成される前記所定の解像度より低い解像度の第１の複数の挿入用画像をそれぞれ挿入して、マルチ合成画像を作成するマルチ画像生成装置において、前記第１の複数の挿入用画像を一時格納すると共に、前記第１の複数の挿入用画像の１フレーム毎の切り替わり位置をそれぞれ検出する動画データ生成部と、前記第１の複数の挿入用画像の前記１フレーム毎の画像データ量を確保可能な第２の複数のフレームデータ領域をそれぞれ形成するバッファメモリ部と、前記バッファメモリ部の前記第２の複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記第１の複数の挿入用画像を書き込むための前記フレームデータ領域の書き込み位置をそれぞれ決定する制御部と、前記制御部で決定されたそれぞれの前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記第１の複数の挿入用画像を書き込むと共に、既に第２の複数のフレームデータ領域のいずれかに書き込まれている前記第１の複数の挿入用画像を読み出す際に、前記所定のフレームレート、前記異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置をそれぞれ決定する演算部と、前記元画像中に形成した前記第１の複数の表示領域に前記第１の複数の挿入用画像を挿入させて前記マルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記第１の複数の挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記第１の複数の挿入用画像をそれぞれ挿入してライン重畳画像を生成するライン合成部と、を備えたことを特徴とするマルチ画像生成装置を提供する。
【発明の効果】
【０００７】
本発明によれば、挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部と、前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部と、前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部と、前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、元画像のフレームレート、元画像のフレームレートと異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部と、前記元画像中に形成した表示領域に前記挿入用画像を挿入させてマルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部とを備えるようにしているので、お互いに異なるフレーム周波数で入力される複数の動画像を合成したり、乃至は入力される動画像のフレーム周波数とは異なるフレーム周波数で合成した高解像度動画像を生成可能とするマルチ画像生成装置を実現できる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の実施例に係るマルチ画像生成装置について図１〜図８を用いて説明する。
図１は、本発明の実施に係るマルチ画像生成装置の構成例を示すブロック図である。図２は、本発明の実施に係るマルチ画像の表示例を示す図である。図３は、本発明の実施に係るマルチ画像生成装置の要部の構成を示す図である。図４は、本発明の実施に係るマルチ画像生成装置の動作を説明するための図である。図５は、本発明の実施に係るマルチ画像生成装置の読み出し命令を説明する図である。図６は、本発明の実施に係るマルチ画像生成装置の書き込み読み出し動作を説明するための図である。図７は、本発明の実施に係るマルチ画像生成装置の読み出しアドレスの生成方法を説明するための図である。図８は、本発明の実施に係るマルチ画像生成装置の読み出し命令を説明するための図である。
【０００９】
そのマルチ画像生成装置は、水平４０９６画素、垂直２４００画素の超高精細画面中に複数のウインドウ領域を指定し、ウインドウ内には例えば水平１９２０画素、垂直１０８０画素の高精細動画、水平６４０画素、垂直４８０画素の動画信号、水平２８１６画素、及び垂直２１１２画素の静止画信号を背景色と共に合成して表示する超高精細動画信号を生成して出力する。そして、ウインドウ内に合成される動画像は、フレーム周波数が６０Ｈｚ、３０Ｈｚ、２９．９４Ｈｚ、さらには２４Ｈｚなどの動画像である。マルチ合成された画像はフレーム周波数１２０Ｈｚや６０Ｈｚの動画像として出力される。入力される超高精細未満の任意の画像サイズ、任意のフレーム周波数の動画像を、任意のフレーム周波数の超高精細動に生成して出力する。
【００１０】
即ち、そのマルチ画像生成装置はお互いに異なるフレーム周波数で入力される複数の動画像を合成したり、乃至は入力される動画像のフレーム周波数とは異なるフレーム周波数で合成した高解像度動画像を生成可能とする装置を実現するという目的を、挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部と、前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部と、前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部と、前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、元画像のフレームレート、元画像のフレームレートと異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部と、前記元画像中に形成した表示領域に前記挿入用画像を挿入させてマルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部とを備えるようにして実現した。
【００１１】
マルチ画像生成装置の構成について述べる。
図１に示すマルチ画像生成装置１は、動画データ生成部１１ａ〜１１ｄ、静止画入力部１２、背景色レジスタ部１３、バッファメモリ部１４、ライン合成部１５、ラインメモリ部１６、動画信号生成部１７、出力同期信号発生部１９、ＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、アドレス演算部２４、オフセットレジスタ部２５、読み出し命令群格納メモリ部２６、読み出しシーケンサ部２７、及び操作部２９より構成される。動画データ生成部１１ａ〜１１ｄのそれぞれには小画面用の動画像が入力される。動画信号生成部１６からはマルチ画像が出力される。
【００１２】
マルチ画像生成装置の動作について述べる。
最初に、マルチ画像生成装置１の初期設定について述べる。
操作部２９が操作されて動画データ生成部１１ａ〜１１ｄに入力されるそれぞれの動画像の形式や、合成して表示するウインドウの位置、静止画入力部１２に入力される静止画像の形式や表示位置、及び背景色レジスタ部１２で生成する背景色の色相や明度などが指定される。ＣＰＵ２１は水平４０９６画素、垂直２４００画素の超高精細画面（以降、４０９６×２４００画素の画面と記述することがある。他の画素数の画面についても同様である。）中に表示する複数のウインドウ領域のサイズと位置を特定する。ＣＰＵ２１は、予めＲＯＭ２３に格納されているコンピュータプログラムで駆動され、動画データ生成部１１ａ〜１１ｄで生成される動画データをバッファメモリ部１４に記憶するための領域設定を行う。静止画入力部１２に入力される静止画データをバッファメモリ部１４に記憶するための領域設定を同様に行う。ＣＰＵ２１は、バッファメモリ部１４に記憶されるそれぞれの動画データを読み出すためのアドレス値を求め、求められたアドレス値をオフセットレジスタ部２５に記憶する。さらに、求められたアドレス値を参照して、バッファメモリ部１４に記憶された動画データや静止画データを読み出して超高精細画面を生成するための読み出し命令コマンドを生成し、読み出し命令群格納メモリ部２６に記憶する。ＲＡＭ２２には、ＣＰＵ２１の演算中に生じた読み出し命令コマンドを生成するためのパラメータなどを一時記憶する。
【００１３】
次に、バッファメモリ部１４への画像データの記憶について述べる。
静止画入力部１２には所定の画素数の静止画信号が入力される。静止画信号はバッファメモリ部１４の所定の設定された領域に記憶される。動画データ生成部１１ａ〜１１ｄにはお互いに表示画素数が同一、又は異なる動画信号が入力される。それぞれの動画信号はフレーム周波数及び画素数が同一、又は異なっている。フレーム周波数や画素数が同一の場合であってもフレーム同期のなされない動画信号である。それぞれの動画信号は、バッファメモリ部１４中に領域されるそれぞれの動画を入力するために設定された各領域に入力される。そして、各領域には複数のフレーム画像が記憶可能とされる。それぞれの動画像は、複数のフレーム画像の記憶可能な領域に、順次記憶される。
【００１４】
バッファメモリ部１４に記憶された画像データの読み出しについて述べる。
出力同期信号発生部１９で発生される超高精細動画の開始時刻情報はＣＰＵ２１に入力される。ＣＰＵ２１は読み出し命令群格納メモリ部２６に対してラインごとの読み出し命令を発行する。アドレス演算部２４は、発行された命令に従ってバッファメモリ部１４の各領域に記憶されている画像信号を読み出すためのアドレス信号を演算により生成する。
読み出しシーケンサ部２７はバッファメモリ部１４に対して、読み出しアドレスの指定を行う。ライン合成部１５はバッファメモリ部１４から読み出されたそれぞれの画像信号を、走査線上で指定される位置に並べる。ラインメモリ部１６は１走査線分の画像信号をラインメモリに一時記憶する。動画信号生成部１７は１走査線分の画像信号に出力同期信号発生部１９で発生される水平及び垂直の同期信号を付加する。
以降、動画信号生成部１７では１フレームを構成する２０４０本の走査線の信号が生成され、そこから超高精細動画信号が出力される。
【００１５】
ここで、バッファメモリ部１４には、動画データ生成部１１ａ〜１１ｄから入力される複数の動画像がそれぞれ複数フレーム記憶される。超高精細画像の指定されたウインドウには、複数フレームの画像のうち、読み出し期間中に書き込みのなされないフレームの画像が指定されて読み出されるため、複数の動画像のフレーム周波数、さらにはそれらと超高精細画像のフレーム周波数が異なる場合であっても、ウインドウ内に表示される画像には、異なるフレームの画像が読み出されることがない。高品質で表示される超高精細なマルチ画像が生成される。
ここで、動画データ生成部１１ａ〜１１ｄに記憶する動画データは１フレームの動画データを記憶する方法と、数ライン又は１ラインの動画データを記憶し、適宜バッファメモリ部１４に記憶する方法とがある。動画データ生成部１１ａ〜１１ｄからバッファメモリ部１４へのデータ書き込みはＣＰＵ２１により制御されて行われる。ＣＰＵ２１がデータ書き込みのための時間を十分に確保できる場合は、動画データ生成部１１ａ〜１１ｄに記憶されるデータ量をオーバーフローさせることなくバッファメモリ部１４へのデータ書き込みを実行させることが出来る。
【００１６】
次に、詳細に説明する。
図２〜図４を参照し、超高精細動画として表示するマルチ画像、及びそれら画像のバッファメモリ部１４への記憶、読み出しについて述べる。
図２に示す超高精細画面５は動画データ生成部１１ａ〜１１ｄで生成されて表示される動画ウインドウＡ５１〜動画ウインドウＤ５４、静止画ウインドウ５５、及び背景色画面５６である。
図３に示す記憶領域マップは、バッファメモリ部１４におけるそれぞれの画像の記憶領域をメモリアドレス順に示したものである。アドレスの小さい方から順に動画ウインドウＡ〜動画ウインドウＤの画像を記憶する。それらの記憶領域には、動画データ生成部１１ａ〜１１ｄから入力される４つの動画データそれぞれの、フレーム０〜３の４フレーム画像を記憶する。動画ウインドウＤの次には静止画領域、読み出し命令を記憶する読み出し命令群領域、続いて空き領域がある。
【００１７】
図２において、動画ウインドウＢの表示画素数は他の動画ウインドウより多い。図３の動画ウインドウＢは他の動画ウインドウＡ、Ｃ、Ｄより大きな領域が設定されている。それぞれの動画ウインドウＡ〜Ｄの記憶容量に係る、１フレーム分のデータが記憶される領域の幅に係るアドレス値はフレームオフセットアドレスとしてＣＰＵ２１により指定される。図３において、フレーム領域０の右側にフレームオフセットの幅を示す。それらのフレームオフセット値は図１に示したオフセットレジスタ部２５に記憶される。アドレス演算部２４は、オフセットレジスタ部２５に記憶されるフレームオフセット値を用いることにより、読み出すべき動画ウインドウに係り画像の記憶されているメモリーアドレスを求めることが出来る。
【００１８】
図４を用いて、図２に示した表示しようとする走査線（Ｌｉｎｅ）の超高精細画像の生成につき述べる。
同図（Ａ）は、ラインメモリ部１６に記憶される画像データの内容を左側から順に背景色５６、動画ウインドウＡ５１、静止画５５、動画ウインドウ５２、そして背景色５６のそれぞれのセグメントからなることを示している。１つのセグメントデータは１回、又は複数回の読み出し命令により読み出される画像データである。それらのセグメントデータの読み出しについて述べる。
背景色の画像データは背景色レジスタ部１３に記憶される画像データを読み出す。動画ウインドウＡの画像データは、フレーム０画像データを読み出す。フレーム０は、直前に動画データ生成部１１ａによる書き込みが終了したフレームとする。次のセグメントでは静止画領域に記憶する静止画データのうち、表示される部分のデータが読み出される。次に、書き込みが終了した直後の動画ウインドウＢの画像データが読み出され、最後に背景色レジスタ部１３の画像データが読み出される。それらの読み出された画像データはライン合成部１５で合成され、得られた１走査線分の画像データはラインメモリ部１６に記憶される。
【００１９】
読み出し命令群格納メモリ部２６には、バッファメモリ部１４の読み出し命令群の記憶領域に記憶される読み出し命令が格納される。その読み出し命令により、読み出しシーケンサ部２７やライン合成部１５の制御が行われる。
図５を参照して、読み出し命令群による読み出しシーケンサ部２７の制御について述べる。
同図（Ａ）は読み出し命令の記述例である。（Ｂ）は読み出し命令で引用されるモードの内容を示す。読み出し命令は、モード、拡大率、スタートアドレス、そしてデータ長の順に記述される。
モード０はｎｏｐ（no operation）で、命令が発行されない状態である。モード１〜モード４はそれぞれ動画ウインドウＡ〜Ｄに関する命令である。モード５は静止画、モード６は背景色に係る命令であり、モード７は終了コマンドである。上記のセグメントは複数の読み出し命令により読み出された画像データから構成される。走査線の画像データの全てを読み出した場合にモード７のＥｎｄコマンドを発行する。
【００２０】
同図（Ａ）の拡大率は、バッファメモリ部１４に記憶される画像をウインドウ内に拡大表示する場合の命令である。１画素の画像データを複数画素の画像表示用データとして用いる。拡大率は整数倍を指定する方法と、図示しない補間画像生成部を備えて特定の比率の拡大画像を生成して表示させる方法とがある。
スタートアドレス値は、オフセットレジスタ部２５に記憶されるフレームオフセット値と、フレーム０〜フレーム３のうちの表示されるフレームの番号と、そのフレーム中での読み出す画像位置とを基に、アドレス演算部２４により、バッファメモリ部１４から読み出される画像のアドレス値が求められる。読み出しシーケンサ部２７は、読み出し命令のスタートアドレスの箇所として求められたアドレス値を用い、読み出し動作を行わせる。データ長は、その命令により読み出される画素数を指定する。
【００２１】
図６を参照して動画フレームへの画像データの書き込みと、書き込まれた画像データの読み出しについて述べる。
動画ウインドウＡにはフレーム０〜フレーム３の４フレームの画像を書き込みできる。書き込み順はフレーム０、フレーム１、フレーム２の順にフレーム３まで記憶した後に、次はフレーム０からの記憶を繰り返す。４フレームの記憶領域はリングバッファとして動作する。書き込み中の画像を読み出すと、書き込み中の箇所の画像に不連続部分が存在し、ノイズとして表示される。特に、マルチ画像生成装置１に入力される４つの動画は同期関係にないばかりでなく、フレーム周波数が異なる画像も扱うため、画像読み出し中に異なるフレームの画像を読み出さなくする必要がある。
そこで、ＣＰＵ２１は、それぞれの動画の書き込み状態にあるフレーム番号を検出する。動画の読み出しは書き込まれた直後のフレームを指定して読み出す。その場合、仮に、超高精細画像のフレーム周波数の２倍以上のフレーム周波数を有する、例えばコンピュータグラフィックス画像が動画データとして入力される場合であっても、読み出し中のフレーム画像に対する書き込み動作がなされることはない。不連続な画像、即ちノイズを含む画像が読み出されることはない。
上述の例では、１つの動画に対して４フレームを記憶する場合について述べた。３倍を越すフレームレートの動画入力が想定される場合には４フレームの記憶領域を例えば８フレームに拡大する方法もある。フレームの枚数を何枚に設定するかは設計事項である。
【００２２】
図７を参照し、アドレス演算部２４でのアドレス演算について述べる。
まず、読み出し命令群格納メモリ部２６からアドレス演算部２４に対して、所定の例えばウインドウＣの、所定の例えばフレーム２における画面を読み出すための、画面読み出し位置スタートアドレスの演算開始命令が発行される。乗算器２４１は、オフセットレジスタ部２５から取得したウインドウＣのフレームオフセット値と、表示フレームの番号に係る２を乗算する。加算器２４２は、画面読み出し位置に係るアドレス値と、ウインドウＣのフレーム０の開始アドレスに係るウインドウアドレス値と、乗算器２４１で乗算して得られたアドレス値とを加算する。図３に示したバッファメモリ部に記憶される、指定された画像を読み出すためのアドレス値が演算結果として得られる。得られたアドレス値は読み出しシーケンサ部２７に入力される。
【００２３】
図８を参照して、読み出し命令群格納メモリ部２６に格納される読み出し命令群について述べる。
同図において、前述の図２に示した画面に係るライン０、７９９、及び２３９９の読み出し命令が示されている。
ライン０は背景色５６のみによる画面であるため、背景色レジスタ部１３に格納される背景色データを読み出し（モード６）、次にの１Ｈ（走査線）終了（モード７）が発行される。以降はｎｏｐ（モード０）となる。
ライン７９９は図２に示した表示しようとするラインの読み出し命令であり、最初に背景色データを読み出し、次にウインドウＡの画像データを読み出す。次は静止画データ、そしてウインドウＢを読み出す。その後背景色を読み出した後、ライン７９９の読み出しを終了（Ｅｎｄ）する。最終のライン２３９９は背景色データのみを読み出す。
【００２４】
以上のように、本実施例で述べたマルチ画像生成装置１によれば、挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部１１ａと、前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部１４と、前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部２１と、前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、元画像のフレームレート、元画像のフレームレートと異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部２４と、前記元画像中に形成した表示領域に前記挿入用画像を挿入させてマルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部１５の構成があるので、お互いに異なるフレーム周波数で入力される複数の動画像を合成したり、乃至は入力される動画像のフレーム周波数とは異なるフレーム周波数で合成した高解像度動画像を生成可能とするマルチ画像生成装置を実現できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施に係るマルチ画像生成装置の構成例を示すブロック図である。
【図２】本発明の実施に係るマルチ画像の表示例を示す図である。
【図３】本発明の実施に係るマルチ画像生成装置の要部の構成を示す図である。
【図４】本発明の実施に係るマルチ画像生成装置の動作を説明するための図である。
【図５】本発明の実施に係るマルチ画像生成装置の読み出し命令を説明する図である。
【図６】本発明の実施に係るマルチ画像生成装置の書き込み読み出し動作を説明するための図である。
【図７】本発明の実施に係るマルチ画像生成装置の読み出しアドレスの生成方法を説明するための図である。
【図８】本発明の実施に係るマルチ画像生成装置の読み出し命令を説明するための図である。
【符号の説明】
【００２６】
１ マルチ画像生成装置
１１ａ〜１１ｄ 動画データ生成部
１２ 静止画入力部
１３ 背景色レジスタ部
１４ バッファメモリ部
１５ ライン合成部
１６ ラインメモリ部
１７ 動画信号生成部
１９ 出力同期信号発生部
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
ア２４ ドレス演算部
２５ フセットレジスタ部
２６ 読み出し命令群格納メモリ部
２７ 読み出しシーケンサ部
２９ 操作部
５１〜５４ 動画ウインドウＡ〜Ｄ
５５ 静止画ウインドウ
５６ 背景色画面
２４１ 乗算器
２４２ 加算器
【技術分野】
【０００１】
本発明は、異なるフレームレートで入力される複数の動画像を超高精細画面中に挿入し、任意のフレームレートでマルチ合成された超高精細動画像を出力するマルチ画像生成装置に関する。
【背景技術】
【０００２】
最近になり、ディジタル方式による高精細動画像の放送も実用化されるようになった。業務用途では、画素数が４０００×２０００である超高精細動画像表示システムも実現されるようになってきた。
一方、超高精細動画像の撮像装置や編集装置は開発段階にある。手軽に超高精細動画像の番組や、表示ソフトを制作したり、提示できることは好ましい。
【０００３】
特許文献１には、表示のために複数種類の異なる画像を、メモリを介して合成する画像処理を、処理速度を向上させて行うようにした画像処理装置が開示されている。ＣＰＵのメモリとは別個に、前景データ及び背景データの両者をそれぞれ異なるメモリ領域に記憶し、されらの画像を専用の画像合成回路で合成するようにし、画像合成処理を高速化している。画像合成回路から表示メモリへの画像データの転送は、ＣＰＵバスとは異なる専用バスを介して行う。その結果、表示装置の画面における画像表示を速やかに行うことができるようにした画像処理装置が開示されている。
【特許文献１】特開２００３−２７４１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている画像処理装置では、表示するオブジェクト毎に専用の複数の画像メモリを用い、それぞれのメモリ領域に合成画像を生成して記憶し、記憶されたそれらの画像信号を加算して後、加算して得られた画像を表示用メモリに記憶するようにしている。それぞれの画像メモリに異なるフレーム周波数の動画を記憶し、さらに異なるフレーム周波数で合成画像を生成することまでは考慮されていない。さらに、異なるフレーム周波数の動画像を合成したり、乃至は合成された動画像を入力画像とは異なるフレーム周波数の動画像に生成して出力できる画像処理装置を実現することはできなかった。
【０００５】
そこで、本発明は、上記のような問題点を解消するためになされたもので、お互いに異なるフレーム周波数で入力される複数の動画像を合成したり、乃至は入力される動画像のフレーム周波数とは異なるフレーム周波数で合成した高解像度動画像を生成可能とするマルチ画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明における第１の発明は、所定のフレームレートで作成される所定の解像度の元画像中に表示領域を形成し、前記表示領域に前記所定のフレームレートとは異なるフレームレートで作成される前記所定の解像度より低い解像度の挿入用画像を挿入して、マルチ合成画像を作成するマルチ画像生成装置において、前記挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部と、前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部と、前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部と、前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、前記所定のフレームレート、前記異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部と、前記元画像中に形成した前記表示領域に前記挿入用画像を挿入させて前記マルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部と、を備えたことを特徴とするマルチ画像生成装置を提供する。
第２の発明は、所定のフレームレートで作成される所定の解像度の元画像中に第１の複数の表示領域を形成し、前記第１の複数の表示領域に前記所定のフレームレートとは異なるフレームレートで作成される前記所定の解像度より低い解像度の第１の複数の挿入用画像をそれぞれ挿入して、マルチ合成画像を作成するマルチ画像生成装置において、前記第１の複数の挿入用画像を一時格納すると共に、前記第１の複数の挿入用画像の１フレーム毎の切り替わり位置をそれぞれ検出する動画データ生成部と、前記第１の複数の挿入用画像の前記１フレーム毎の画像データ量を確保可能な第２の複数のフレームデータ領域をそれぞれ形成するバッファメモリ部と、前記バッファメモリ部の前記第２の複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記第１の複数の挿入用画像を書き込むための前記フレームデータ領域の書き込み位置をそれぞれ決定する制御部と、前記制御部で決定されたそれぞれの前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記第１の複数の挿入用画像を書き込むと共に、既に第２の複数のフレームデータ領域のいずれかに書き込まれている前記第１の複数の挿入用画像を読み出す際に、前記所定のフレームレート、前記異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置をそれぞれ決定する演算部と、前記元画像中に形成した前記第１の複数の表示領域に前記第１の複数の挿入用画像を挿入させて前記マルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記第１の複数の挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記第１の複数の挿入用画像をそれぞれ挿入してライン重畳画像を生成するライン合成部と、を備えたことを特徴とするマルチ画像生成装置を提供する。
【発明の効果】
【０００７】
本発明によれば、挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部と、前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部と、前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部と、前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、元画像のフレームレート、元画像のフレームレートと異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部と、前記元画像中に形成した表示領域に前記挿入用画像を挿入させてマルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部とを備えるようにしているので、お互いに異なるフレーム周波数で入力される複数の動画像を合成したり、乃至は入力される動画像のフレーム周波数とは異なるフレーム周波数で合成した高解像度動画像を生成可能とするマルチ画像生成装置を実現できる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の実施例に係るマルチ画像生成装置について図１〜図８を用いて説明する。
図１は、本発明の実施に係るマルチ画像生成装置の構成例を示すブロック図である。図２は、本発明の実施に係るマルチ画像の表示例を示す図である。図３は、本発明の実施に係るマルチ画像生成装置の要部の構成を示す図である。図４は、本発明の実施に係るマルチ画像生成装置の動作を説明するための図である。図５は、本発明の実施に係るマルチ画像生成装置の読み出し命令を説明する図である。図６は、本発明の実施に係るマルチ画像生成装置の書き込み読み出し動作を説明するための図である。図７は、本発明の実施に係るマルチ画像生成装置の読み出しアドレスの生成方法を説明するための図である。図８は、本発明の実施に係るマルチ画像生成装置の読み出し命令を説明するための図である。
【０００９】
そのマルチ画像生成装置は、水平４０９６画素、垂直２４００画素の超高精細画面中に複数のウインドウ領域を指定し、ウインドウ内には例えば水平１９２０画素、垂直１０８０画素の高精細動画、水平６４０画素、垂直４８０画素の動画信号、水平２８１６画素、及び垂直２１１２画素の静止画信号を背景色と共に合成して表示する超高精細動画信号を生成して出力する。そして、ウインドウ内に合成される動画像は、フレーム周波数が６０Ｈｚ、３０Ｈｚ、２９．９４Ｈｚ、さらには２４Ｈｚなどの動画像である。マルチ合成された画像はフレーム周波数１２０Ｈｚや６０Ｈｚの動画像として出力される。入力される超高精細未満の任意の画像サイズ、任意のフレーム周波数の動画像を、任意のフレーム周波数の超高精細動に生成して出力する。
【００１０】
即ち、そのマルチ画像生成装置はお互いに異なるフレーム周波数で入力される複数の動画像を合成したり、乃至は入力される動画像のフレーム周波数とは異なるフレーム周波数で合成した高解像度動画像を生成可能とする装置を実現するという目的を、挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部と、前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部と、前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部と、前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、元画像のフレームレート、元画像のフレームレートと異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部と、前記元画像中に形成した表示領域に前記挿入用画像を挿入させてマルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部とを備えるようにして実現した。
【００１１】
マルチ画像生成装置の構成について述べる。
図１に示すマルチ画像生成装置１は、動画データ生成部１１ａ〜１１ｄ、静止画入力部１２、背景色レジスタ部１３、バッファメモリ部１４、ライン合成部１５、ラインメモリ部１６、動画信号生成部１７、出力同期信号発生部１９、ＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、アドレス演算部２４、オフセットレジスタ部２５、読み出し命令群格納メモリ部２６、読み出しシーケンサ部２７、及び操作部２９より構成される。動画データ生成部１１ａ〜１１ｄのそれぞれには小画面用の動画像が入力される。動画信号生成部１６からはマルチ画像が出力される。
【００１２】
マルチ画像生成装置の動作について述べる。
最初に、マルチ画像生成装置１の初期設定について述べる。
操作部２９が操作されて動画データ生成部１１ａ〜１１ｄに入力されるそれぞれの動画像の形式や、合成して表示するウインドウの位置、静止画入力部１２に入力される静止画像の形式や表示位置、及び背景色レジスタ部１２で生成する背景色の色相や明度などが指定される。ＣＰＵ２１は水平４０９６画素、垂直２４００画素の超高精細画面（以降、４０９６×２４００画素の画面と記述することがある。他の画素数の画面についても同様である。）中に表示する複数のウインドウ領域のサイズと位置を特定する。ＣＰＵ２１は、予めＲＯＭ２３に格納されているコンピュータプログラムで駆動され、動画データ生成部１１ａ〜１１ｄで生成される動画データをバッファメモリ部１４に記憶するための領域設定を行う。静止画入力部１２に入力される静止画データをバッファメモリ部１４に記憶するための領域設定を同様に行う。ＣＰＵ２１は、バッファメモリ部１４に記憶されるそれぞれの動画データを読み出すためのアドレス値を求め、求められたアドレス値をオフセットレジスタ部２５に記憶する。さらに、求められたアドレス値を参照して、バッファメモリ部１４に記憶された動画データや静止画データを読み出して超高精細画面を生成するための読み出し命令コマンドを生成し、読み出し命令群格納メモリ部２６に記憶する。ＲＡＭ２２には、ＣＰＵ２１の演算中に生じた読み出し命令コマンドを生成するためのパラメータなどを一時記憶する。
【００１３】
次に、バッファメモリ部１４への画像データの記憶について述べる。
静止画入力部１２には所定の画素数の静止画信号が入力される。静止画信号はバッファメモリ部１４の所定の設定された領域に記憶される。動画データ生成部１１ａ〜１１ｄにはお互いに表示画素数が同一、又は異なる動画信号が入力される。それぞれの動画信号はフレーム周波数及び画素数が同一、又は異なっている。フレーム周波数や画素数が同一の場合であってもフレーム同期のなされない動画信号である。それぞれの動画信号は、バッファメモリ部１４中に領域されるそれぞれの動画を入力するために設定された各領域に入力される。そして、各領域には複数のフレーム画像が記憶可能とされる。それぞれの動画像は、複数のフレーム画像の記憶可能な領域に、順次記憶される。
【００１４】
バッファメモリ部１４に記憶された画像データの読み出しについて述べる。
出力同期信号発生部１９で発生される超高精細動画の開始時刻情報はＣＰＵ２１に入力される。ＣＰＵ２１は読み出し命令群格納メモリ部２６に対してラインごとの読み出し命令を発行する。アドレス演算部２４は、発行された命令に従ってバッファメモリ部１４の各領域に記憶されている画像信号を読み出すためのアドレス信号を演算により生成する。
読み出しシーケンサ部２７はバッファメモリ部１４に対して、読み出しアドレスの指定を行う。ライン合成部１５はバッファメモリ部１４から読み出されたそれぞれの画像信号を、走査線上で指定される位置に並べる。ラインメモリ部１６は１走査線分の画像信号をラインメモリに一時記憶する。動画信号生成部１７は１走査線分の画像信号に出力同期信号発生部１９で発生される水平及び垂直の同期信号を付加する。
以降、動画信号生成部１７では１フレームを構成する２０４０本の走査線の信号が生成され、そこから超高精細動画信号が出力される。
【００１５】
ここで、バッファメモリ部１４には、動画データ生成部１１ａ〜１１ｄから入力される複数の動画像がそれぞれ複数フレーム記憶される。超高精細画像の指定されたウインドウには、複数フレームの画像のうち、読み出し期間中に書き込みのなされないフレームの画像が指定されて読み出されるため、複数の動画像のフレーム周波数、さらにはそれらと超高精細画像のフレーム周波数が異なる場合であっても、ウインドウ内に表示される画像には、異なるフレームの画像が読み出されることがない。高品質で表示される超高精細なマルチ画像が生成される。
ここで、動画データ生成部１１ａ〜１１ｄに記憶する動画データは１フレームの動画データを記憶する方法と、数ライン又は１ラインの動画データを記憶し、適宜バッファメモリ部１４に記憶する方法とがある。動画データ生成部１１ａ〜１１ｄからバッファメモリ部１４へのデータ書き込みはＣＰＵ２１により制御されて行われる。ＣＰＵ２１がデータ書き込みのための時間を十分に確保できる場合は、動画データ生成部１１ａ〜１１ｄに記憶されるデータ量をオーバーフローさせることなくバッファメモリ部１４へのデータ書き込みを実行させることが出来る。
【００１６】
次に、詳細に説明する。
図２〜図４を参照し、超高精細動画として表示するマルチ画像、及びそれら画像のバッファメモリ部１４への記憶、読み出しについて述べる。
図２に示す超高精細画面５は動画データ生成部１１ａ〜１１ｄで生成されて表示される動画ウインドウＡ５１〜動画ウインドウＤ５４、静止画ウインドウ５５、及び背景色画面５６である。
図３に示す記憶領域マップは、バッファメモリ部１４におけるそれぞれの画像の記憶領域をメモリアドレス順に示したものである。アドレスの小さい方から順に動画ウインドウＡ〜動画ウインドウＤの画像を記憶する。それらの記憶領域には、動画データ生成部１１ａ〜１１ｄから入力される４つの動画データそれぞれの、フレーム０〜３の４フレーム画像を記憶する。動画ウインドウＤの次には静止画領域、読み出し命令を記憶する読み出し命令群領域、続いて空き領域がある。
【００１７】
図２において、動画ウインドウＢの表示画素数は他の動画ウインドウより多い。図３の動画ウインドウＢは他の動画ウインドウＡ、Ｃ、Ｄより大きな領域が設定されている。それぞれの動画ウインドウＡ〜Ｄの記憶容量に係る、１フレーム分のデータが記憶される領域の幅に係るアドレス値はフレームオフセットアドレスとしてＣＰＵ２１により指定される。図３において、フレーム領域０の右側にフレームオフセットの幅を示す。それらのフレームオフセット値は図１に示したオフセットレジスタ部２５に記憶される。アドレス演算部２４は、オフセットレジスタ部２５に記憶されるフレームオフセット値を用いることにより、読み出すべき動画ウインドウに係り画像の記憶されているメモリーアドレスを求めることが出来る。
【００１８】
図４を用いて、図２に示した表示しようとする走査線（Ｌｉｎｅ）の超高精細画像の生成につき述べる。
同図（Ａ）は、ラインメモリ部１６に記憶される画像データの内容を左側から順に背景色５６、動画ウインドウＡ５１、静止画５５、動画ウインドウ５２、そして背景色５６のそれぞれのセグメントからなることを示している。１つのセグメントデータは１回、又は複数回の読み出し命令により読み出される画像データである。それらのセグメントデータの読み出しについて述べる。
背景色の画像データは背景色レジスタ部１３に記憶される画像データを読み出す。動画ウインドウＡの画像データは、フレーム０画像データを読み出す。フレーム０は、直前に動画データ生成部１１ａによる書き込みが終了したフレームとする。次のセグメントでは静止画領域に記憶する静止画データのうち、表示される部分のデータが読み出される。次に、書き込みが終了した直後の動画ウインドウＢの画像データが読み出され、最後に背景色レジスタ部１３の画像データが読み出される。それらの読み出された画像データはライン合成部１５で合成され、得られた１走査線分の画像データはラインメモリ部１６に記憶される。
【００１９】
読み出し命令群格納メモリ部２６には、バッファメモリ部１４の読み出し命令群の記憶領域に記憶される読み出し命令が格納される。その読み出し命令により、読み出しシーケンサ部２７やライン合成部１５の制御が行われる。
図５を参照して、読み出し命令群による読み出しシーケンサ部２７の制御について述べる。
同図（Ａ）は読み出し命令の記述例である。（Ｂ）は読み出し命令で引用されるモードの内容を示す。読み出し命令は、モード、拡大率、スタートアドレス、そしてデータ長の順に記述される。
モード０はｎｏｐ（no operation）で、命令が発行されない状態である。モード１〜モード４はそれぞれ動画ウインドウＡ〜Ｄに関する命令である。モード５は静止画、モード６は背景色に係る命令であり、モード７は終了コマンドである。上記のセグメントは複数の読み出し命令により読み出された画像データから構成される。走査線の画像データの全てを読み出した場合にモード７のＥｎｄコマンドを発行する。
【００２０】
同図（Ａ）の拡大率は、バッファメモリ部１４に記憶される画像をウインドウ内に拡大表示する場合の命令である。１画素の画像データを複数画素の画像表示用データとして用いる。拡大率は整数倍を指定する方法と、図示しない補間画像生成部を備えて特定の比率の拡大画像を生成して表示させる方法とがある。
スタートアドレス値は、オフセットレジスタ部２５に記憶されるフレームオフセット値と、フレーム０〜フレーム３のうちの表示されるフレームの番号と、そのフレーム中での読み出す画像位置とを基に、アドレス演算部２４により、バッファメモリ部１４から読み出される画像のアドレス値が求められる。読み出しシーケンサ部２７は、読み出し命令のスタートアドレスの箇所として求められたアドレス値を用い、読み出し動作を行わせる。データ長は、その命令により読み出される画素数を指定する。
【００２１】
図６を参照して動画フレームへの画像データの書き込みと、書き込まれた画像データの読み出しについて述べる。
動画ウインドウＡにはフレーム０〜フレーム３の４フレームの画像を書き込みできる。書き込み順はフレーム０、フレーム１、フレーム２の順にフレーム３まで記憶した後に、次はフレーム０からの記憶を繰り返す。４フレームの記憶領域はリングバッファとして動作する。書き込み中の画像を読み出すと、書き込み中の箇所の画像に不連続部分が存在し、ノイズとして表示される。特に、マルチ画像生成装置１に入力される４つの動画は同期関係にないばかりでなく、フレーム周波数が異なる画像も扱うため、画像読み出し中に異なるフレームの画像を読み出さなくする必要がある。
そこで、ＣＰＵ２１は、それぞれの動画の書き込み状態にあるフレーム番号を検出する。動画の読み出しは書き込まれた直後のフレームを指定して読み出す。その場合、仮に、超高精細画像のフレーム周波数の２倍以上のフレーム周波数を有する、例えばコンピュータグラフィックス画像が動画データとして入力される場合であっても、読み出し中のフレーム画像に対する書き込み動作がなされることはない。不連続な画像、即ちノイズを含む画像が読み出されることはない。
上述の例では、１つの動画に対して４フレームを記憶する場合について述べた。３倍を越すフレームレートの動画入力が想定される場合には４フレームの記憶領域を例えば８フレームに拡大する方法もある。フレームの枚数を何枚に設定するかは設計事項である。
【００２２】
図７を参照し、アドレス演算部２４でのアドレス演算について述べる。
まず、読み出し命令群格納メモリ部２６からアドレス演算部２４に対して、所定の例えばウインドウＣの、所定の例えばフレーム２における画面を読み出すための、画面読み出し位置スタートアドレスの演算開始命令が発行される。乗算器２４１は、オフセットレジスタ部２５から取得したウインドウＣのフレームオフセット値と、表示フレームの番号に係る２を乗算する。加算器２４２は、画面読み出し位置に係るアドレス値と、ウインドウＣのフレーム０の開始アドレスに係るウインドウアドレス値と、乗算器２４１で乗算して得られたアドレス値とを加算する。図３に示したバッファメモリ部に記憶される、指定された画像を読み出すためのアドレス値が演算結果として得られる。得られたアドレス値は読み出しシーケンサ部２７に入力される。
【００２３】
図８を参照して、読み出し命令群格納メモリ部２６に格納される読み出し命令群について述べる。
同図において、前述の図２に示した画面に係るライン０、７９９、及び２３９９の読み出し命令が示されている。
ライン０は背景色５６のみによる画面であるため、背景色レジスタ部１３に格納される背景色データを読み出し（モード６）、次にの１Ｈ（走査線）終了（モード７）が発行される。以降はｎｏｐ（モード０）となる。
ライン７９９は図２に示した表示しようとするラインの読み出し命令であり、最初に背景色データを読み出し、次にウインドウＡの画像データを読み出す。次は静止画データ、そしてウインドウＢを読み出す。その後背景色を読み出した後、ライン７９９の読み出しを終了（Ｅｎｄ）する。最終のライン２３９９は背景色データのみを読み出す。
【００２４】
以上のように、本実施例で述べたマルチ画像生成装置１によれば、挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部１１ａと、前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部１４と、前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部２１と、前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、元画像のフレームレート、元画像のフレームレートと異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部２４と、前記元画像中に形成した表示領域に前記挿入用画像を挿入させてマルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部１５の構成があるので、お互いに異なるフレーム周波数で入力される複数の動画像を合成したり、乃至は入力される動画像のフレーム周波数とは異なるフレーム周波数で合成した高解像度動画像を生成可能とするマルチ画像生成装置を実現できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施に係るマルチ画像生成装置の構成例を示すブロック図である。
【図２】本発明の実施に係るマルチ画像の表示例を示す図である。
【図３】本発明の実施に係るマルチ画像生成装置の要部の構成を示す図である。
【図４】本発明の実施に係るマルチ画像生成装置の動作を説明するための図である。
【図５】本発明の実施に係るマルチ画像生成装置の読み出し命令を説明する図である。
【図６】本発明の実施に係るマルチ画像生成装置の書き込み読み出し動作を説明するための図である。
【図７】本発明の実施に係るマルチ画像生成装置の読み出しアドレスの生成方法を説明するための図である。
【図８】本発明の実施に係るマルチ画像生成装置の読み出し命令を説明するための図である。
【符号の説明】
【００２６】
１ マルチ画像生成装置
１１ａ〜１１ｄ 動画データ生成部
１２ 静止画入力部
１３ 背景色レジスタ部
１４ バッファメモリ部
１５ ライン合成部
１６ ラインメモリ部
１７ 動画信号生成部
１９ 出力同期信号発生部
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
ア２４ ドレス演算部
２５ フセットレジスタ部
２６ 読み出し命令群格納メモリ部
２７ 読み出しシーケンサ部
２９ 操作部
５１〜５４ 動画ウインドウＡ〜Ｄ
５５ 静止画ウインドウ
５６ 背景色画面
２４１ 乗算器
２４２ 加算器
【特許請求の範囲】
【請求項１】
所定のフレームレートで作成される所定の解像度の元画像中に表示領域を形成し、前記表示領域に前記所定のフレームレートとは異なるフレームレートで作成される前記所定の解像度より低い解像度の挿入用画像を挿入して、マルチ合成画像を作成するマルチ画像生成装置において、
前記挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部と、
前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部と、
前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部と、
前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、前記所定のフレームレート、前記異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部と、
前記元画像中に形成した前記表示領域に前記挿入用画像を挿入させて前記マルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部と、
を備えたことを特徴とするマルチ画像生成装置。
【請求項２】
所定のフレームレートで作成される所定の解像度の元画像中に第１の複数の表示領域を形成し、前記第１の複数の表示領域に前記所定のフレームレートとは異なるフレームレートで作成される前記所定の解像度より低い解像度の第１の複数の挿入用画像をそれぞれ挿入して、マルチ合成画像を作成するマルチ画像生成装置において、
前記第１の複数の挿入用画像を一時格納すると共に、前記第１の複数の挿入用画像の１フレーム毎の切り替わり位置をそれぞれ検出する動画データ生成部と、
前記第１の複数の挿入用画像の前記１フレーム毎の画像データ量を確保可能な第２の複数のフレームデータ領域をそれぞれ形成するバッファメモリ部と、
前記バッファメモリ部の前記第２の複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記第１の複数の挿入用画像を書き込むための前記フレームデータ領域の書き込み位置をそれぞれ決定する制御部と、
前記制御部で決定されたそれぞれの前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記第１の複数の挿入用画像を書き込むと共に、既に第２の複数のフレームデータ領域のいずれかに書き込まれている前記第１の複数の挿入用画像を読み出す際に、前記所定のフレームレート、前記異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置をそれぞれ決定する演算部と、
前記元画像中に形成した前記第１の複数の表示領域に前記第１の複数の挿入用画像を挿入させて前記マルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記第１の複数の挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記第１の複数の挿入用画像をそれぞれ挿入してライン重畳画像を生成するライン合成部と、
を備えたことを特徴とするマルチ画像生成装置。
【請求項１】
所定のフレームレートで作成される所定の解像度の元画像中に表示領域を形成し、前記表示領域に前記所定のフレームレートとは異なるフレームレートで作成される前記所定の解像度より低い解像度の挿入用画像を挿入して、マルチ合成画像を作成するマルチ画像生成装置において、
前記挿入用画像を一時格納すると共に、前記挿入用画像の１フレーム毎の切り替わり位置を検出する動画データ生成部と、
前記挿入用画像の前記１フレーム毎の画像データ量を確保可能な複数のフレームデータ領域を形成するバッファメモリ部と、
前記バッファメモリ部の前記複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記挿入用画像を書き込むための前記フレームデータ領域の書き込み位置を決定する制御部と、
前記制御部で決定された前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記挿入用画像を書き込むと共に、既に複数のフレームデータ領域のいずれかに書き込まれている前記挿入用画像を読み出す際に、前記所定のフレームレート、前記異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置を決定する演算部と、
前記元画像中に形成した前記表示領域に前記挿入用画像を挿入させて前記マルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記挿入用画像を挿入してライン重畳画像を生成するライン合成部と、
を備えたことを特徴とするマルチ画像生成装置。
【請求項２】
所定のフレームレートで作成される所定の解像度の元画像中に第１の複数の表示領域を形成し、前記第１の複数の表示領域に前記所定のフレームレートとは異なるフレームレートで作成される前記所定の解像度より低い解像度の第１の複数の挿入用画像をそれぞれ挿入して、マルチ合成画像を作成するマルチ画像生成装置において、
前記第１の複数の挿入用画像を一時格納すると共に、前記第１の複数の挿入用画像の１フレーム毎の切り替わり位置をそれぞれ検出する動画データ生成部と、
前記第１の複数の挿入用画像の前記１フレーム毎の画像データ量を確保可能な第２の複数のフレームデータ領域をそれぞれ形成するバッファメモリ部と、
前記バッファメモリ部の前記第２の複数のフレームデータ領域のうちの１つに前記１フレーム毎の前記第１の複数の挿入用画像を書き込むための前記フレームデータ領域の書き込み位置をそれぞれ決定する制御部と、
前記制御部で決定されたそれぞれの前記フレームデータ領域の書き込み位置で前記フレームデータ領域に前記第１の複数の挿入用画像を書き込むと共に、既に第２の複数のフレームデータ領域のいずれかに書き込まれている前記第１の複数の挿入用画像を読み出す際に、前記所定のフレームレート、前記異なるフレームレート、及び前記動画データ生成部で検出された前記１フレーム毎の切り替わり位置に基づいて前記フレームデータ領域の書き込み位置がフレームデータ領域の読出し位置を超えないように、又は前記フレームデータ領域の読み出し位置が前記フレームデータ領域の書き込み位置を超えないように、前記バッファメモリ部に確保されている前記フレームデータ領域の読み出し位置をそれぞれ決定する演算部と、
前記元画像中に形成した前記第１の複数の表示領域に前記第１の複数の挿入用画像を挿入させて前記マルチ合成画像を作成するために、前記演算部で決定された前記フレームデータ領域の読み出し位置に基いて１ラインごとの前記第１の複数の挿入用画像を読み出して、前記フレームデータ領域の１ラインに対応する前記元画像のライン位置に前記読み出された前記第１の複数の挿入用画像をそれぞれ挿入してライン重畳画像を生成するライン合成部と、
を備えたことを特徴とするマルチ画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２７１９０８（Ｐ２００７−２７１９０８Ａ）
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願番号】特願２００６−９７３２２（Ｐ２００６−９７３２２）
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１９年１０月１８日（２００７．１０．１８）
【国際特許分類】
【出願日】平成１８年３月３１日（２００６．３．３１）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]