インターフェース装置及びそのメモリ制御方法
【課題】画像サイズの変更等に対応可能な画像処理用のインターフェース装置を提供する。
【解決手段】データを格納及び保持するための複数のメモリ０〜８と、メモリ０〜８にアクセスして所定の処理を行う複数の処理回路と、メモリ０〜８の各々を、処理対象となるデータを保持するためのバッファメモリとして複数の処理回路のいずれか１つに接続するメモリセレクタ４２と、複数の処理回路の各々からバッファメモリにアクセス中であるか否かを示す制御信号を受けて、複数の処理回路の総てがバッファメモリにアクセスしていない期間にメモリセレクタ４２へメモリ切替信号ＶSWTを出力するタイミング制御回路４４とを備えることによって、メモリセレクタ４２において、メモリ切替信号ＶSWTに応じてメモリ０〜８と複数の処理回路との接続を切り替える。
【解決手段】データを格納及び保持するための複数のメモリ０〜８と、メモリ０〜８にアクセスして所定の処理を行う複数の処理回路と、メモリ０〜８の各々を、処理対象となるデータを保持するためのバッファメモリとして複数の処理回路のいずれか１つに接続するメモリセレクタ４２と、複数の処理回路の各々からバッファメモリにアクセス中であるか否かを示す制御信号を受けて、複数の処理回路の総てがバッファメモリにアクセスしていない期間にメモリセレクタ４２へメモリ切替信号ＶSWTを出力するタイミング制御回路４４とを備えることによって、メモリセレクタ４２において、メモリ切替信号ＶSWTに応じてメモリ０〜８と複数の処理回路との接続を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力される画像信号を表示装置で表示する際に使用されるインターフェース装置及びそのメモリ制御方法に関する。
【背景技術】
【０００２】
ＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子により撮像された画像を液晶ディスプレイ（ＬＣＤ）等の表示装置を用いて表示する際に、固体撮像素子から画像データの入力を受けて、画像データに対して様々な処理を施したうえで表示装置のコントローラに転送するインターフェース装置が用いられている。例えば、カメラ付携帯電話には、固体撮像素子で取得された画像データを受けて、キャラクター画像や電源の残量や電波の受信状態を示すアイコンやメニュー等のオンスクリーン画面（ＯＳＤ）を合成して表示装置のコントローラに出力するインターフェース装置が搭載されている。
【０００３】
図８は、固体撮像素子で取得された画像とオンスクリーン画像とを合成して表示するためのインターフェース装置１００及びその周辺装置の構成を示すブロック図である。インターフェース装置１００は、固体撮像素子２００、主処理装置（ＣＰＵ）３００、ＬＣＤコントローラ４００及びＬＣＤ表示装置４０２と接続されて使用される。また、インターフェース装置１００は、固体撮像素子インターフェース（Ｉ／Ｆ）１０、レート変更バッファ１２、Ｈ／Ｖスケーラ１４、フレームバッファ回路１６、サブＯＳＤバッファ回路１８、ＬＣＤインターフェース（Ｉ／Ｆ）２０及びＣＰＵインターフェース（Ｉ／Ｆ）２８を含んで構成される。さらにＪＰＥＧラインバッファ２２、ＪＰＥＧコーデック（ＣＯＤＥＣ）２４及びコードバッファ回路２６を含んでも良い。
【０００４】
固体撮像素子２００は、素子外部から光を受けて画像を撮像し、画像信号として出力する。インターフェース装置１００の固体撮像素子インターフェース１０は、固体撮像素子２００から出力された画像信号を受けて、画像信号に含まれるダミーデータの除去などを行ってレート変更バッファ１２へ出力する。レート変更バッファ１２は、ラインバッファを備え、固体撮像素子２００からの原画像データの送信タイミングをインターフェース装置１００で処理可能なタイミングに変更する。Ｈ／Ｖスケーラ１４は、原画像データをインターフェース装置１００に接続されるＬＣＤの表示画面のサイズにあった画像サイズに変換する。例えば、固体撮像素子２００において１２８０×１０２４画素の画像が取得され、ＬＣＤの表示サイズが１７６×２２０画素である場合には、画像サイズを縮小する処理を行う。サイズ変換された原画像データは、フレームバッファ回路１６に出力される。フレームバッファ回路１６では、原画像データをＬＣＤコントローラ４００を介してＬＣＤへ表示するために一時的に格納及び保持するバッファメモリとしての機能を有する。また、ＣＰＵＩ／Ｆ２８を介したＣＰＵ３００からの指令信号を受けて、その指令信号に基づいて固体撮像素子２００で取得された原画像データと予め用意されている装飾画像データとを重ね合わせたり、画像データの回転等の加工処理を行ったりすることにより装飾合成画像データを生成する。装飾合成画像データは、サブＯＳＤバッファ回路１８へ出力される。サブＯＳＤバッファ回路１８は、ＣＰＵＩ／Ｆ２８を介したＣＰＵ３００からの指令信号を受けて、その指令信号に基づいて装飾合成画像データに電源の残量や電波の受信状態を示すアイコンやメニュー等のオンスクリーン画面データを合成して表示用画像データを生成する。
【０００５】
ＬＣＤコントローラ４００は、画像用メモリを搭載している。ＬＣＤコントローラ４００は、サブＯＳＤバッファ回路１８に保持されている表示用画像データを読み出して、画像用メモリに一時的に格納及び保存する。そして、送信同期信号ＶACTに応じて所定の周期（例えば、６０Ｈｚ）で画像用メモリに記憶されている画像データを読み出して、ＬＣＤ表示装置４０２に逐次転送する。これによって、ＬＣＤ表示装置４０２の画面上に画像が表示される。
【０００６】
また、ＪＰＥＧラインバッファ２２は、レート変更バッファ１２からフルサイズの原画像データ、又は、Ｈ／Ｖスケーラ１４からサイズ変更された原画像データ、又は、フレームバッファ制御回路１６から装飾合成画像データを受けて、ＪＰＥＧコーデック２４におけるＪＰＥＧ形式の圧縮処理が終了するまで画像データを保持する。ＪＰＥＧコーデック２４は、ＪＰＥＧラインバッファ２２に保持されている画像データを読み出して、ＪＰＥＧ形式の圧縮処理を行う。圧縮処理によって生成されたＪＰＥＧコードはコードバッファ回路２６に一時的に格納及び保持される。ＣＰＵ３００は、コードバッファ回路２６からＪＰＥＧコードを読み出して、併設されるメモリ（図示しない）に格納及び保持させる。また、Ｈ／Ｖスケーラ１４からコードバッファ回路２６へ画像データを直接送信することによって、サイズ変更された原画像データを圧縮処理せずにＣＰＵ３００に転送し、メモリに保存することもできる。ＪＰＥＧコードで記憶された画像データは、上記処理と逆方向に解凍処理することもできる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように、インターフェース装置では、画像データを格納するためのフレームバッファメモリ、ＪＰＥＧのコードデータを格納するためのコードバッファメモリ、オンスクリーン画像を合成した表示用画像データを格納するためのＯＳＤバッファメモリ等を備えている。従来のインターフェース装置では、これらのバッファメモリとして物理的に個別のメモリを使用しているため、接続される撮像素子や表示装置が変更されることによる画像サイズや表示サイズの変更に対応することができない場合があった。
【０００８】
また、大容量のメモリを搭載し、メモリ空間をタイムシェアリングする構成も知られているが、それぞれのバッファメモリとして同時に処理を行うことができない問題があった。さらに、タイムシェアリングではメモリへのアクセスを高速に行うことが要求されるため、制御クロックを高周波化する必要があり、消費電力が増大する問題も生じていた。
【０００９】
本発明は、上記従来技術の問題を鑑み、処理対象となる画像サイズや表示サイズの変更に対応でき、消費電力も抑えたインターフェース装置及びそのメモリ制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置であって、データを格納及び保持するための複数のメモリと、前記メモリにアクセスして所定の処理を行う複数の処理回路と、前記メモリの各々を、処理対象となるデータを保持するためのバッファメモリとして前記複数の処理回路のいずれかに接続可能とするメモリセレクタと、を備え、前記メモリセレクタは、前記メモリと前記複数の処理回路との接続を切り替えることを特徴とする。
【００１１】
ここで、前記複数の処理回路の各々からバッファメモリにアクセス中であるか否かを示す制御信号を受けて、前記複数の処理回路の総てがバッファメモリにアクセスしていない期間に前記メモリセレクタへメモリ切替信号を出力するタイミング制御回路を備え、前記メモリセレクタは、前記メモリ切替信号に応じて前記メモリと前記複数の処理回路との接続を切り替えることがより好適である。
【００１２】
例えば、前記複数の処理回路は、外部から取得される画像データをバッファリングして加工し、バッファリングされた画像データを出力するフレームバッファ制御回路を含んでも良い。具体的には、有効期間とブランキング期間とが交互に繰り返される所定の周期を有する取得同期信号に同期して取得される画像データを前記メモリセレクタによって接続された第１のバッファメモリにバッファリングし、有効期間とブランキング期間とが交互に繰り返され、前記取得同期信号とは異なる周期を有する送信同期信号に同期して前記メモリセレクタによって接続された第２のバッファメモリに保持された画像データを出力するフレームバッファ制御回路を含み、前記フレームバッファ制御回路は、前記第１のバッファメモリ及び前記第２のバッファメモリに対してそれぞれ独立にアクセス可能である少なくとも２系統の制御部を含み、前記第１のバッファメモリと前記第２のバッファメモリとを排他的に切り替えて前記フレームバッファ制御回路の各制御部に接続するフレームメモリインターフェースをさらに備えても良い。
【００１３】
また、前記複数の処理回路は、前記メモリに格納された画像データに対してオンスクリーン画像データを合成するサブＯＳＤバッファ制御回路を備えても良い。さらに、前記複数の処理回路は、画像データを圧縮処理してコードを生成する圧縮処理回路を備えても良い。
【００１４】
このように、データをバッファメモリに格納する必要がある処理回路を複数備えるインターフェース装置において、限られたメモリ空間を切り替えて各処理回路で利用できるようにする。
【００１５】
より具体的には、前記複数の処理回路と前記メモリとの接続状態を示すモード値が設定されるメモリ制御レジスタを備え、前記メモリセレクタは、前記メモリ制御レジスタに設定されたモード値に基づいて前記メモリの各区画と前記複数の処理回路との接続を切り替える構成とすることが好適である。
【００１６】
本発明の別の態様は、画像データを格納及び保持するための複数のメモリと、前記メモリにアクセスして所定の処理を行う複数の処理回路と、を備え、外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置のメモリ制御方法であって、前記メモリを処理対象となるデータを保持するためのバッファメモリとして用いるために、前記メモリと前記複数の処理回路との接続を切り替える工程を有することを特徴とする。
【００１７】
より具体的には、前記複数の処理回路の各々からバッファメモリにアクセス中であるか否かを調査し、前記複数の処理回路の総てがバッファメモリにアクセスしていない期間を検出する第１の工程と、前記第１の工程において前記複数の処理回路の総てがバッファメモリにアクセスしていない期間に、前記メモリの各々を、処理対象となるデータを保持するためのバッファメモリとして前記複数の処理回路のいずれかに接続する第２の工程と、を備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、画像データの取得、加工及び出力を行うためのインターフェース装置において使用される各種バッファメモリを画像サイズや表示サイズの変更に対応可能なものとすることができる。また、消費電力を増加させることなく、各種バッファメモリへの同時アクセス及び高速アクセスを可能とする。
【発明を実施するための最良の形態】
【００１９】
本発明の実施の形態におけるインターフェース装置１０２は、図１に示すように、固体撮像素子２００、主処理装置（ＣＰＵ）３００、ＬＣＤコントローラ４００及びＬＣＤ表示装置４０２と接続されて使用される。インターフェース装置１０２は、固体撮像素子インターフェース（Ｉ／Ｆ）１０、レート変更バッファ１２、Ｈ／Ｖスケーラ１４、ＬＣＤインターフェース（Ｉ／Ｆ）２０、ＣＰＵインターフェース（Ｉ／Ｆ）２８、フレームバッファ制御回路３０、フレームメモリインターフェース（Ｉ／Ｆ）３２、サブＯＳＤバッファ制御回路３４、サブＯＳＤメモリインターフェース（Ｉ／Ｆ）３６、コードバッファ制御回路３８、コードメモリインターフェース（Ｉ／Ｆ）４０、メモリセレクタ４２、タイミング制御回路４４、メモリ制御レジスタ４６及びメモリ０〜８を含んで構成される。また、インターフェース装置１０２は、さらにＪＰＥＧラインバッファ２２及びＪＰＥＧコーデック（ＣＯＤＥＣ）２４を含んでも良い。
【００２０】
なお、図１において、上記従来技術と同様の機能を有する構成部には同一の符号を付して表している。また、図１において、実線矢印は画像データ等のデータの送受信を示し、破線矢印は制御信号の送受信を示している。
【００２１】
図２に、図１に示したシステムにおける各部に対する制御信号のタイミングチャートを示す。取得同期信号ＶREF及び送信同期信号ＶACTは、インターフェース装置１０２に設けられたタイミングジェネレータ（図示しない）において生成され、各部へ入力される。以下、図１及び図２を参照して、本実施の形態におけるインターフェース装置１０２について説明する。
【００２２】
固体撮像素子２００は、ＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子等及びそのコントローラ等を含んで構成することができる。固体撮像素子２００は、画像信号を固体撮像素子Ｉ／Ｆ１０へ出力する。固体撮像素子２００は、図２（ａ）に示すようにインターフェース装置１０２に搭載されたタイミングジェネレータ（図示しない）で生成された取得同期信号ＶREFを受けて、取得同期信号ＶREFの立ち上がりに同期して新たなフレームの画像信号の取得を開始し、取得同期信号ＶREFがハイレベルを維持している有効期間において画像信号を取得して順次出力する。
【００２３】
固体撮像素子インターフェース１０は、固体撮像素子２００から出力された画像信号を受信する。固体撮像素子インターフェース１０は、固体撮像素子２００と同様に取得同期信号ＶREFを受けることによって、固体撮像素子２００からの出力と同期して画像信号の受信処理を行う。すなわち、取得同期信号ＶREFの立ち上がりに同期して新たなフレームの画像信号の取得を開始し、取得同期信号ＶREFの１有効期間において固体撮像素子２００から１フレーム分の画像信号を順次受信する。また、固体撮像素子インターフェース１０は、画像信号に含まれるダミーデータの除去などを行って原画像データとしてレート変更バッファ１２へ出力する。原画像データは、例えば、ＹＵＶ４２２形式の画像データとすることができる。
【００２４】
レート変更バッファ１２は、ラインバッファを備え、固体撮像素子２００からの原画像データの送信タイミングをインターフェース装置１０２で処理可能なタイミングに変更する。Ｈ／Ｖスケーラ１４は、原画像データをインターフェース装置１０２に接続されるＬＣＤの表示画面のサイズにあった画像サイズに変換する。サイズ変換された原画像データは、フレームバッファ制御回路３０に出力される。
【００２５】
フレームバッファ制御回路３０は、フレームメモリＩ／Ｆ３２を制御することによって、メモリ０〜８の中から選択されたフレームバッファメモリに原画像データを一時的に格納及び保持する。また、フレームバッファ制御回路３０は、原画像データを加工処理する機能も有する。フレームバッファ制御回路３０は、ＣＰＵＩ／Ｆ２８を介してＣＰＵ３００から指令信号を受けて、その指令信号に基づいて固体撮像素子２００から取得された原画像データに様々な加工処理を施して装飾合成画像データを生成する。例えば、原画像データと予め用意されている装飾画像データとをそれぞれ重み付けして加算合成したり、画像データの回転等の加工処理を行ったりする。装飾画像データとは、例えば、原画像データを縁取る額縁画像、原画像データ内に重畳されるキャラクター画像等とすることができる。このような装飾画像データは、フレームバッファ制御回路３０に内蔵される画像メモリやＣＰＵ３００に併設される画像メモリに予め格納及び保持されており、必要に応じてフレームバッファ制御回路３０から読み出されて使用することができる。
【００２６】
本実施の形態におけるフレームバッファ制御回路３０は、２系統のデータ信号線（書込みデータ線ＷＤ０，ＷＤ１、読出しデータ線ＲＤ０，ＲＤ１）及び制御信号線（アドレス指定信号線ＡＤＲＳ０，ＡＤＲＳ１、チップ選択信号線ＣＳ０，ＣＳ１、書込み指定信号線ＷＲ０，ＷＲ１、読出し指定信号線ＲＥ０，ＲＥ１等）を独立に制御できるように構成されている。２画面分のメモリ空間がフレームバッファメモリとして確保された場合には、各系統のデータ信号線及び制御信号線はそれぞれ２画面分のメモリ空間に対してアクセスできるように接続される。これによって、それぞれのメモリ空間に対して独立に画像データの書き込み及び読み出しができる。
【００２７】
フレームバッファ制御回路３０は、第０系統のデータ信号線及び制御信号線を用いて、Ｈ／Ｖスケーラ１４から入力される原画像データをフレームバッファメモリに順次格納していくと共に、その画像データに対して加工処理や圧縮処理を施す。以下、第０系統のデータ信号線及び制御信号線によってアクセスされるメモリを第１のフレームバッファメモリとする。Ｈ／Ｖスケーラ１４からは取得同期信号ＶREFの有効期間に１フレーム分の画像データが出力されるので、フレームバッファ制御回路３０は、取得同期信号ＶREFの有効期間に同期させて１フレーム分の画像データを第１のバッファメモリにバッファリングさせる。このとき、図２（ｃ）に示すように、Ｂｕｓｙ Ａ信号をハイレベルとして、第１のフレームバッファメモリが使用中であることを示す。
【００２８】
一方、第１系統のデータ信号線及び制御信号線を用いて、既にフレームバッファメモリに保持された装飾合成画像データを読み出し、ＪＰＥＧラインバッファ２２及びサブＯＳＤバッファ制御回路３４へ転送する。以下、第１系統のデータ信号線及び制御信号線によってアクセスされるメモリを第２のフレームバッファメモリとする。このとき、図２（ｂ）に示す送信同期信号ＶACTに同期させて画像データを出力する。
【００２９】
送信同期信号ＶACTは、ＬＣＤ表示装置４０２に画像を表示する際の１画面（フレーム）の開始タイミングを示す信号である。送信同期信号ＶACTは、図２（ｂ）に示すように、ハイレベルである有効期間とローレベルであるブランキング期間の組み合わせが繰り返されるパルス状の信号である。固体撮像素子２００での画像の取得に掛かる時間よりもＬＣＤコントローラ４００へ画像データを送出する時間の方が一般的に短いので、送信同期信号ＶACTの周期Ｔ2は取得同期信号ＶREFの周期Ｔ1よりも短く設定される。また、取得同期信号ＶREFの周期Ｔ1は送信同期信号ＶACTの周期Ｔ2の整数倍となるように設定される。具体的には、取得同期信号ＶREFの周期Ｔ1が送信同期信号ＶACTの周期Ｔ2の２〜５倍となるように設定される。従って、図２に示すように、取得同期信号ＶREFの周期Ｔ3を経過する間に送信同期信号ＶACTは複数回繰り返される。
【００３０】
本実施の形態では、送信同期信号ＶACTの１有効期間に１フレーム分の画像データを出力させる。このとき、図２（ｄ）に示すように、Ｂｕｓｙ Ｂ信号をハイレベルとして、第２のフレームバッファメモリが使用中であることを示す。
【００３１】
フレームメモリＩ／Ｆ３２は、フレームバッファ制御回路３０からデータ及び制御信号を受けて、メモリ０〜８の中から選択されたフレームバッファメモリに対する画像データの書き込み及び読み出しの処理を行う機能を有する。本実施の形態におけるフレームメモリＩ／Ｆ３２は、２画面分の画像データを保持できるメモリ空間がバッファメモリとして確保された場合にアクセスを可能とする構成を備えている。
【００３２】
図３に、フレームメモリＩ／Ｆ３２の構成例を示す。フレームメモリＩ／Ｆ３２は、図３に示すように、切替回路５０、アドレスデコーダ５２ａ，５２ｂ、読み出しデータ選択回路５４ａ，５４ｂを含んで構成することができる。
【００３３】
切替回路５０は、タイミングジェネレータ（図示しない）からの切替信号ＶSWTを受けて、フレームバッファ制御回路３０の第０系統のデータ信号線（書込みデータ線ＷＤ０、読出しデータ線ＲＤ０）及び制御信号線（アドレス指定信号線ＡＤＲＳ０、チップ選択信号線ＣＳ０、書込み指定信号線ＷＲ０、読出し指定信号線ＲＥ０等）並びに第１系統のデータ信号線（書込みデータ線ＷＤ１、読出しデータ線ＲＤ１）及び制御信号線（アドレス指定信号線ＡＤＲＳ１、チップ選択信号線ＣＳ１、書込み指定信号線ＷＲ１、読出し指定信号線ＲＥ１等）を、アドレスデコーダ５２ａ及び読み出しデータ選択回路５４ａからなる第１のインターフェース部並びにアドレスデコーダ５２ｂ及び読み出しデータ選択回路５４ｂからなる第２のインターフェース部のいずれか一方にそれぞれ接続する。
【００３４】
例えば、フレームバッファ制御回路３０の第０系統のデータ信号線及び制御信号線がアドレスデコーダ５２ａ及び読み出しデータ選択回路５４ａと接続されているときには、フレームバッファ制御回路３０の第１系統のデータ信号線及び制御信号線がアドレスデコーダ５２ｂ及び読み出しデータ選択回路５４ｂと接続されるようにし、フレームバッファ制御回路３０の第０系統のデータ信号線及び制御信号線をアドレスデコーダ５２ｂ及び読み出しデータ選択回路５４ｂに切り替えたときには、フレームバッファ制御回路３０の第１系統のデータ信号線及び制御信号線がアドレスデコーダ５２ａ及び読み出しデータ選択回路５４ａと接続されるように切り替える。
【００３５】
これによって、フレームバッファ制御回路３０では、２系統設けられているデータ信号線及び制御信号線が実際にどのメモリに接続されているかを認識する必要なく、メモリセレクタ４２によって第１又は第２のバッファメモリとして選択されているメモリに対して仮想メモリ空間としてアクセスすることができる。
【００３６】
なお、第０系統に接続されるメモリは固体撮像素子２００から送信されてくる画像データを順次バッファリング及び加工処理するための第１のフレームバッファメモリであり、第１系統に接続されるメモリはＬＣＤ表示装置４０２に表示している画像データを保持しておく第２のフレームバッファメモリとして使用される。
【００３７】
アドレスデコーダ５２ａ，５２ｂは、フレームバッファ制御回路３０から制御信号（アドレス指定信号線、チップ選択信号線、書込み指定信号線、読出し指定信号線等）を受けて、メモリセレクタ４２を介して接続されたメモリにアクセスするためのアドレス設定等を行い、書込みデータ線によって送信されているデータをメモリに書き込む処理を行う。読み出しデータ選択回路５４ａ，５４ｂは、フレームバッファ制御回路３０から制御信号（アドレス指定信号線）を受けて、アドレスデコーダ５２ａ，５２ｂにより設定されたアドレスから画像データを読み出し、制御信号によって指定されたデータを選択してフレームバッファ制御回路３０に出力する。アドレスデコーダ５２ａ，５２ｂ及び読み出しデータ選択回路５４ａ，５４ｂによるメモリへのアクセス処理は従来技術を適用できる。アドレスデコーダ５２ａ，５２ｂ及びデータ選択回路５４ａ，５４ｂの入出力は、仮想メモリに対するアクセスとして処理されるが、実際にはメモリセレクタ４２によって現実のメモリに対して接続される。
【００３８】
サブＯＳＤバッファ制御回路３４は、ＣＰＵＩ／Ｆ２８を介してＣＰＵ３００からの指令信号を受けて、その指令信号に基づいて装飾合成画像データにオンスクリーン画面データを合成して表示用画像データを生成する。なお、オンスクリーン画像データとは、例えば、電源の残量や電波の受信状態を示すアイコンやメニュー等の電子装置の制御や状態表示に関する画像データとすることができる。但し、これに限定されるものではない。このようなオンスクリーン画像データは、サブＯＳＤバッファ制御回路３４に内蔵される画像メモリやＣＰＵ３００に併設される画像メモリに予め格納及び保持されており、必要に応じてサブＯＳＤバッファ制御回路３４から読み出して使用できるようにすることが好適である。
【００３９】
本実施の形態におけるサブＯＳＤバッファ制御回路３４は、１画面分のメモリ空間に対して画像データの書き込み及び読み出しができるように、１系統のデータ信号線（書込みデータ線ＷＤ３、読出しデータ線ＲＤ３）及び制御信号線（アドレス指定信号線ＡＤＲＳ３、チップ選択信号線ＣＳ３、書込み指定信号線ＷＲ３、読出し指定信号線ＲＥ３等）を制御できるように構成されている。サブＯＳＤバッファ制御回路３４は、データ信号線及び制御信号線を用いて、フレームバッファ制御回路３０から入力される装飾合成画像データをサブＯＳＤバッファメモリに順次バッファリングさせると共に、その画像データに対してオンスクリーン画像データを合成する処理を施す。このとき、本実施の形態では、送信同期信号ＶACTの１有効期間に、フレームバッファ制御回路３０から１フレーム分の装飾合成画像データを受けてバッファリング及び加工処理して、１フレーム分の表示用画像データとして出力させる。このとき、図２（ｅ）に示すように、Ｂｕｓｙ Ｃ信号をハイレベルとして、フレームバッファメモリが使用中であることを示す。
【００４０】
サブＯＳＤメモリＩ／Ｆ３６は、サブＯＳＤバッファ制御回路３４からデータ及び制御信号（アドレス指定信号線、チップ選択信号線、書込み指定信号線、読出し指定信号線等）を受けて、メモリ０〜８の中から選択されたサブＯＳＤバッファメモリに画像データの書き込み及び読み出しを行う。本実施の形態におけるサブＯＳＤメモリＩ／Ｆ３６は、１画面分の画像データを保持できるメモリ空間がバッファメモリとして確保された場合にアクセスを可能とする構成を備えている。
【００４１】
図４に、サブＯＳＤメモリＩ／Ｆ３６の構成例を示す。サブＯＳＤメモリＩ／Ｆ３６は、図４に示すように、アドレスデコーダ５６、読み出しデータ選択回路５８を含んで構成することができる。
【００４２】
アドレスデコーダ５６は、サブＯＳＤバッファ制御回路３４から制御信号（アドレス指定信号線、チップ選択信号線、書込み指定信号線、読出し指定信号線等）を受けて、メモリセレクタ４２を介して接続されたメモリにアクセスするためのアドレス設定等を行い、書き込みデータとして受信した画像データを書き込む処理を行う。読み出しデータ選択回路５８は、サブＯＳＤバッファ制御回路３４から制御信号を受けて、アドレスデコーダ５６により設定されたアドレスから画像データを読み出し、制御信号（アドレス指定信号線）によって指定されたデータを選択してサブＯＳＤバッファ制御回路３４に出力する。アドレスデコーダ５６及びデータ選択回路５８の入出力は、仮想メモリに対するアクセスとして処理されるが、実際にはメモリセレクタ４２によって現実のメモリに対して接続される。アドレスデコーダ５６及び読み出しデータ選択回路５８によるメモリへのアクセス処理は従来技術を適用できる。
【００４３】
サブＯＳＤバッファ制御回路３４で生成された表示用画像データは、ＬＣＤＩ／Ｆ２０を介してＬＣＤコントローラ４００で読み出され、ＬＣＤ表示装置４０２に転送される。具体的には、ＬＣＤＩ／Ｆ２０及びＬＣＤコントローラ４００は、タイミングジェネレータ（図示しない）から送信同期信号ＶACTを受けて、サブＯＳＤバッファ制御回路３４によってサブＯＳＤバッファメモリから読み出された表示用画像データをＬＣＤ表示装置４０２に順次転送する。これにより、ＬＣＤ表示装置４０２は表示用画像データで順次更新され、ＬＣＤ表示装置４０２に画像が表示される。このとき、送信同期信号ＶACTの１有効期間に、サブＯＳＤバッファ制御回路３４から１フレーム分の表示用画像データを取得し、ＬＣＤ表示装置４０２に表示させる。
【００４４】
本実施の形態では、インターフェース装置１０２にＪＰＥＧラインバッファ２２、ＪＰＥＧコーデック（ＣＯＤＥＣ）２４、コードバッファ制御回路３８及びコードメモリＩ／Ｆ４０が設けられても良い。これにより、画像データを圧縮状態又は非圧縮状態で外部メモリに記憶させることができる。
【００４５】
ＪＰＥＧラインバッファ２２は、レート変更バッファ１２からフルサイズの原画像データ、又は、Ｈ／Ｖスケーラ１４からサイズ変更された原画像データ、又は、フレームバッファ制御回路３０から装飾合成画像データを受けて、ＪＰＥＧコーデック２４における処理が終了するまで画像データを保持する。いずれの画像データをＪＰＥＧラインバッファ２２に保持させるかは、ＣＰＵ３００からの制御信号により選択することができる構成とすることが好ましい。ＪＰＥＧコーデック２４は、ＪＰＥＧラインバッファ２２に保持されている画像データを読み出して、ＪＰＥＧ形式の圧縮処理を行う。生成されたＪＰＥＧコードはコードバッファ制御回路３８及びコードメモリＩ／Ｆ４０を介してコードバッファメモリに格納及び保持される。
【００４６】
ここで、圧縮処理は、取得同期信号ＶREFの有効期間に同期して、固体撮像素子２００からの画像データのバッファリングと共に行うことができるが、画像データの転送処理時間等により取得同期信号ＶREFよりも僅かに遅れて処理が行われる。そこで、図２（ｆ）に示すように、Ｂｕｓｙ Ｄ信号をハイレベルとしてコードバッファメモリが使用中であることを示す。
【００４７】
本実施の形態におけるコードバッファ制御回路３８は、コードバッファメモリとして確保されたメモリ空間に対してＪＰＥＧコードの書き込み及び読み出しができるように、１系統のデータ信号線（書込みデータ線ＷＤ４、読出しデータ線ＲＤ４）及び制御信号線（アドレス指定信号線ＡＤＲＳ４、チップ選択信号線ＣＳ４、書込み指定信号線ＲＤ４、読出し指定信号線ＷＲ４等）を制御できるように構成されている。コードバッファ制御回路３８は、取得同期信号ＶREFに同期して、データ信号線及び制御信号線を用いて、ＪＰＥＧコーデック２４又はＣＰＵＩ／Ｆ２８から入力されるＪＰＥＧコードをコードバッファメモリに順次格納及び保持させる。
【００４８】
コードメモリＩ／Ｆ４０は、コードバッファ制御回路３８からデータ及び制御信号を受けて、メモリ０〜８の中から選択されたコードバッファメモリにＪＰＥＧコードの書き込み及び読み出しを行う。図５に、コードメモリＩ／Ｆ４０の構成例を示す。コードメモリＩ／Ｆ４０は、図５に示すように、図４のサブＯＳＤメモリＩ／Ｆ３６とほぼ同様の構成であり、アドレスデコーダ６０、読み出しデータ選択回路６２を含んで構成することができる。
【００４９】
コードバッファ制御回路３８は、コードバッファメモリからＪＰＥＧコードを読み出し、ＣＰＵＩ／Ｆ２８を介してＣＰＵ３００に転送する。ＣＰＵ３００は、外部メモリ（図示しない）にＪＰＥＧコードを格納及び保持させることができる。また、Ｈ／Ｖスケーラ１４からコードバッファ制御回路３８へ画像データを直接送信することによって、サイズ変更された原画像データを圧縮処理せずにＣＰＵ３００に転送し、外部メモリに保存することもできる。すなわち、フルサイズ画像データ、圧縮処理された画像データと共に、装飾合成画像データも圧縮処理したうえでメモリに保存することができる。
【００５０】
外部メモリに格納及び保持されたＪＰＥＧコードは、ＪＰＥＧコーデック２４において画像データに再現することもできる。ＣＰＵ３００は、ユーザからの表示対象となる画像データの指定を受けて、外部メモリに保存されているＪＰＥＧコードを読み出し、ＣＰＵＩ／Ｆ２８を介してコードバッファ制御回路３８へ転送する。コードバッファ制御回路３８は、ＪＰＥＧコードをコードバッファメモリに格納及び保持させると共に、ＪＰＥＧコーデック２４へ転送する。ＪＰＥＧコーデック２４は、ＣＰＵ３００からの解凍処理の指示信号を受けて、コードバッファ制御回路３８から転送されたＪＰＥＧコードをビットマップ形式等の画像データに逆変換する。画像データは、ＪＰＥＧラインバッファ２２を介してＨ／Ｖスケーラ１４へ転送される。Ｈ／Ｖスケーラ１４では、必要に応じて画像データの画面サイズが変換されてフレームバッファ制御回路３０へ出力される。これにより、外部メモリに保存された画像データをＬＣＤ表示装置４０２へ表示させることができる。
【００５１】
メモリセレクタ４２は、メモリ０〜８の各々をフレームメモリＩ／Ｆ３２、サブＯＳＤメモリＩ／Ｆ３６及びコードメモリＩ／Ｆ４０のいずれかの入出力に接続可能とする。メモリ０〜８の接続先は、メモリ制御レジスタ４６に設定されたモード値に基づいて、タイミング制御回路４４からのセレクタ制御信号によって選択される。
【００５２】
各メモリの使用目的は、例えば図６に示すように、メモリ制御レジスタ４６に設定されたモード値よって決定される。各メモリは、コードバッファメモリ（ＣＯＤ）、サブＯＳＤバッファメモリ（ＳＵＢ）又はフレームバッファメモリ（ＦＲＭ）として使用される。本実施の形態では、メモリ０〜８はそれぞれ１６ｋワードのメモリ空間を有するものとする。
【００５３】
モード０では、メモリ０，１をコードバッファメモリとし、メモリ２をサブＯＳＤバッファメモリとし、メモリ３〜５を第１のフレームバッファメモリとし、メモリ６〜８を第２のフレームバッファメモリとする。これにより、各４８ｋワードのメモリ空間を有する第１及び第２のフレームバッファメモリを切り替えることによって、画像出力を止めることなくＱＣＩＦ＋画像データをバッファリングでき、３２ｋワードのコードバッファメモリを備えることによってＶＧＡ画像データのＪＰＥＧ圧縮処理を可能とし、さらに１６ｋワードのサブＯＳＤバッファメモリによりオンスクリーン画像を合成も可能としている。モード１では、メモリ０，１，３，４，５をコードバッファメモリとし、メモリ２をサブＯＳＤバッファメモリとし、メモリ６〜８を第１のフレームバッファメモリとする。これにより、各４８ｋワードのメモリ空間を有するフレームバッファメモリによってＱＣＩＦ＋画像データをバッファリングでき、モード０より大きな８０ｋワードのコードバッファメモリを備えることによってＶＧＡ画像データよりも大きな画像サイズのＪＰＥＧ圧縮処理を可能とし、さらに１６ｋワードのサブＯＳＤバッファメモリによりオンスクリーン画像を合成も可能としている。モード２では、メモリ０，１，３〜８をコードバッファメモリとし、メモリ２をサブＯＳＤバッファメモリとする。これにより、２フレーム分のフレームバッファメモリを総てコードバッファとして使用し、大画面及び高解像度の画像データに対するＪＰＥＧ圧縮処理を可能としている。
【００５４】
メモリ制御レジスタ４６のモード値は、例えば、インターフェース装置１０２に接続される固体撮像素子２００の画面サイズ、ＬＣＤ表示装置４０２の画像サイズ、ＪＰＥＧ圧縮処理で要求される処理速度等、システムの構成やユーザの指示に従って設定される。ＣＰＵ３００は、システム構成やユーザの指示により、メモリ制御レジスタ４６にモード値を設定する。さらに、図２（ｇ）に示すように、タイミング制御回路４４に対して、メモリの切替を行うことを指示する切替指示信号ＳSWTを送出する。
【００５５】
タイミング制御回路４４は、フレームバッファ制御回路３０、サブＯＳＤバッファ制御回路３４及びＪＰＥＧコーデック２４からＢｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号を制御信号として受信し、これらの制御信号に基づいてメモリの切替タイミングを決定する。タイミング制御回路４４は、ＣＰＵ３００から切替指令信号ＳSWTを受けると、図２に示すようにＢｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号の総てがローレベルとなっている時刻ｔ1〜時刻ｔ2の期間、すなわち総てのバッファメモリが使用中でない期間を検出する。タイミング制御回路４４は、図２（ｈ）に示すように、Ｂｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号の総てがローレベルとなっている時刻ｔ1〜時刻ｔ2の期間にメモリ切替信号ＶSWTをメモリセレクタ４２へ出力する。
【００５６】
ここで、Ｂｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号の総てがローレベルとなる期間が存在しない場合には、取得同期信号ＶREF又は送信同期信号ＶACTの位相をずらす処理を行う。これによって、Ｂｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号の総てがローレベルとなる期間を出現させることができる。
【００５７】
メモリセレクタ４２は、複数のセレクタを含んで構成される。セレクタは、インターフェース装置１０２に設けられたメモリ毎に、そのメモリに対する入出力の種類数だけ設けられる。例えば、各メモリが２つのデータ信号線（書込みデータ線ＷＤ３、読出しデータ線ＲＤ３）及び４つの制御信号線（アドレス指定信号線ＡＤＲＳ３、チップ選択信号線ＣＳ３、書込み指定信号線ＷＲ３、読出し指定信号線ＲＥ３等）で制御されている場合、メモリ毎に合計６つのセレクタが設けられる。
【００５８】
各セレクタは、タイミング制御回路４４からのメモリ切替信号ＶSWTを受けると、メモリ制御レジスタ４６に設定されたモード値に基づいて各メモリの入出力を使用目的となるバッファメモリの種類に応じて選択して切り替える。
【００５９】
例えば、図６によれば、メモリ３は、モード０では第１のフレームバッファメモリとして使用され、モード１及び２ではコードバッファメモリとして使用される。従って、図７に示すように、メモリセレクタ４２にはメモリ３に対応付けて６つのセレクタ７０〜７５を設け、フレームメモリＩ／Ｆ３２のアドレスデコーダ５２ａ及びデータ選択回路５４ａと繋がるデータ信号線（ＦＲＭ０＿ＷＤ，，ＦＲＭ０＿ＲＤ）及び制御信号線（ＦＲＭ０＿ＡＤＲＳ，ＦＲＭ０＿ＣＳ，ＦＲＭ０＿ＷＲ，ＦＲＭ０＿ＲＤ）、並びに、コードメモリＩ／Ｆ４０のアドレスデコーダ６０及びデータ選択回路６２と繋がるデータ信号線（ＣＯＤ＿ＷＤ，，ＣＯＤ＿ＲＤ）及び制御信号線（ＣＯＤ＿ＡＤＲＳ，ＣＯＤ＿ＣＳ，ＣＯＤ＿ＷＲ，ＣＯＤ＿ＲＤ）のいずれか一方が選択される各信号線を種類別にセレクタ７０〜７５へ入力する。各セレクタ７０〜７５は、タイミング制御回路４４からモード値及びメモリ切替信号ＶSWTを受けると、モード値に応じて、フレームメモリＩ／Ｆ３２及びコードメモリＩ／Ｆ４０のいずれか一方のデータ信号線及び制御信号線をメモリ３へ排他的に接続する。これによって、モード値に基づいて、メモリ３はフレームメモリＩ／Ｆ３２及びコードメモリＩ／Ｆ４０のいずか一方によって制御されることとなる。
【００６０】
メモリセレクタ４２には、他のメモリ０〜２，４〜８に対するセレクタも同様に設けられる。これによって、メモリ０〜８は、モード値に応じて、それぞれフレームメモリＩ／Ｆ３２、サブＯＳＤメモリＩ／Ｆ３６、コードメモリＩ／Ｆ４０のいずれか１つによって制御されることとなる。
【００６１】
以上のように、本実施の形態によれば、インターフェース装置に設けられたメモリを使用目的に応じて各種バッファメモリとして切り替えることができる。これによって、画像サイズや表示サイズの変更に容易に対応することができる。また、実際にハードウェア上の構成としてメモリが切り替えられるので、タイムシェアリングを行うメモリ制御のようにクロック周波数を増加させる必要もなく、消費電力の増加を抑制することかできる。さらに、各種バッファメモリへの同時アクセスも可能であり、アクセスも高速化することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態における画像処理装置の構成を示す図である。
【図２】本発明の実施の形態におけるタイミングチャートを示す図である。
【図３】本発明の実施の形態におけるフレームメモリＩ／Ｆの構成を示す図である。
【図４】本発明の実施の形態におけるサブＯＳＤメモリＩ／Ｆの構成を示す図である。
【図５】本発明の実施の形態におけるコードメモリＩ／Ｆの構成を示す図である。
【図６】本発明の実施の形態におけるモード値とメモリの使用目的との関係を示す図である。
【図７】本発明の実施の形態におけるメモリセレクタの構成の一部を示す図である。
【図８】従来の画像処理装置の構成を示す図である。
【符号の説明】
【００６３】
０−８ メモリ、１０ 固体撮像素子インターフェース、１２ レート変更バッファ、１４ Ｈ／Ｖスケーラ、１６ フレームバッファ回路、１８ サブＯＳＤバッファ回路、２２ ＪＰＥＧラインバッファ、２４ ＪＰＥＧコーデック、２６ コードバッファ回路、３０ フレームバッファ制御回路、３２ フレームメモリインターフェース、３４ サブＯＳＤバッファ制御回路、３６ サブＯＳＤメモリインターフェース、３８ コードバッファ制御回路、４０ コードメモリインターフェース、４２ メモリセレクタ、４４ タイミング制御回路、４６ メモリ制御レジスタ、５０ 切替回路、５２ａ，５２ｂ，５６，６０ アドレスデコーダ、５４ａ，５４ｂ，５８，６２ 読み出しデータ選択回路、７０−７５ セレクタ、１００，１０２ インターフェース装置、２００ 固体撮像素子、４００ ＬＣＤコントローラ、４０２ ＬＣＤ表示装置。
【技術分野】
【０００１】
本発明は、入力される画像信号を表示装置で表示する際に使用されるインターフェース装置及びそのメモリ制御方法に関する。
【背景技術】
【０００２】
ＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子により撮像された画像を液晶ディスプレイ（ＬＣＤ）等の表示装置を用いて表示する際に、固体撮像素子から画像データの入力を受けて、画像データに対して様々な処理を施したうえで表示装置のコントローラに転送するインターフェース装置が用いられている。例えば、カメラ付携帯電話には、固体撮像素子で取得された画像データを受けて、キャラクター画像や電源の残量や電波の受信状態を示すアイコンやメニュー等のオンスクリーン画面（ＯＳＤ）を合成して表示装置のコントローラに出力するインターフェース装置が搭載されている。
【０００３】
図８は、固体撮像素子で取得された画像とオンスクリーン画像とを合成して表示するためのインターフェース装置１００及びその周辺装置の構成を示すブロック図である。インターフェース装置１００は、固体撮像素子２００、主処理装置（ＣＰＵ）３００、ＬＣＤコントローラ４００及びＬＣＤ表示装置４０２と接続されて使用される。また、インターフェース装置１００は、固体撮像素子インターフェース（Ｉ／Ｆ）１０、レート変更バッファ１２、Ｈ／Ｖスケーラ１４、フレームバッファ回路１６、サブＯＳＤバッファ回路１８、ＬＣＤインターフェース（Ｉ／Ｆ）２０及びＣＰＵインターフェース（Ｉ／Ｆ）２８を含んで構成される。さらにＪＰＥＧラインバッファ２２、ＪＰＥＧコーデック（ＣＯＤＥＣ）２４及びコードバッファ回路２６を含んでも良い。
【０００４】
固体撮像素子２００は、素子外部から光を受けて画像を撮像し、画像信号として出力する。インターフェース装置１００の固体撮像素子インターフェース１０は、固体撮像素子２００から出力された画像信号を受けて、画像信号に含まれるダミーデータの除去などを行ってレート変更バッファ１２へ出力する。レート変更バッファ１２は、ラインバッファを備え、固体撮像素子２００からの原画像データの送信タイミングをインターフェース装置１００で処理可能なタイミングに変更する。Ｈ／Ｖスケーラ１４は、原画像データをインターフェース装置１００に接続されるＬＣＤの表示画面のサイズにあった画像サイズに変換する。例えば、固体撮像素子２００において１２８０×１０２４画素の画像が取得され、ＬＣＤの表示サイズが１７６×２２０画素である場合には、画像サイズを縮小する処理を行う。サイズ変換された原画像データは、フレームバッファ回路１６に出力される。フレームバッファ回路１６では、原画像データをＬＣＤコントローラ４００を介してＬＣＤへ表示するために一時的に格納及び保持するバッファメモリとしての機能を有する。また、ＣＰＵＩ／Ｆ２８を介したＣＰＵ３００からの指令信号を受けて、その指令信号に基づいて固体撮像素子２００で取得された原画像データと予め用意されている装飾画像データとを重ね合わせたり、画像データの回転等の加工処理を行ったりすることにより装飾合成画像データを生成する。装飾合成画像データは、サブＯＳＤバッファ回路１８へ出力される。サブＯＳＤバッファ回路１８は、ＣＰＵＩ／Ｆ２８を介したＣＰＵ３００からの指令信号を受けて、その指令信号に基づいて装飾合成画像データに電源の残量や電波の受信状態を示すアイコンやメニュー等のオンスクリーン画面データを合成して表示用画像データを生成する。
【０００５】
ＬＣＤコントローラ４００は、画像用メモリを搭載している。ＬＣＤコントローラ４００は、サブＯＳＤバッファ回路１８に保持されている表示用画像データを読み出して、画像用メモリに一時的に格納及び保存する。そして、送信同期信号ＶACTに応じて所定の周期（例えば、６０Ｈｚ）で画像用メモリに記憶されている画像データを読み出して、ＬＣＤ表示装置４０２に逐次転送する。これによって、ＬＣＤ表示装置４０２の画面上に画像が表示される。
【０００６】
また、ＪＰＥＧラインバッファ２２は、レート変更バッファ１２からフルサイズの原画像データ、又は、Ｈ／Ｖスケーラ１４からサイズ変更された原画像データ、又は、フレームバッファ制御回路１６から装飾合成画像データを受けて、ＪＰＥＧコーデック２４におけるＪＰＥＧ形式の圧縮処理が終了するまで画像データを保持する。ＪＰＥＧコーデック２４は、ＪＰＥＧラインバッファ２２に保持されている画像データを読み出して、ＪＰＥＧ形式の圧縮処理を行う。圧縮処理によって生成されたＪＰＥＧコードはコードバッファ回路２６に一時的に格納及び保持される。ＣＰＵ３００は、コードバッファ回路２６からＪＰＥＧコードを読み出して、併設されるメモリ（図示しない）に格納及び保持させる。また、Ｈ／Ｖスケーラ１４からコードバッファ回路２６へ画像データを直接送信することによって、サイズ変更された原画像データを圧縮処理せずにＣＰＵ３００に転送し、メモリに保存することもできる。ＪＰＥＧコードで記憶された画像データは、上記処理と逆方向に解凍処理することもできる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように、インターフェース装置では、画像データを格納するためのフレームバッファメモリ、ＪＰＥＧのコードデータを格納するためのコードバッファメモリ、オンスクリーン画像を合成した表示用画像データを格納するためのＯＳＤバッファメモリ等を備えている。従来のインターフェース装置では、これらのバッファメモリとして物理的に個別のメモリを使用しているため、接続される撮像素子や表示装置が変更されることによる画像サイズや表示サイズの変更に対応することができない場合があった。
【０００８】
また、大容量のメモリを搭載し、メモリ空間をタイムシェアリングする構成も知られているが、それぞれのバッファメモリとして同時に処理を行うことができない問題があった。さらに、タイムシェアリングではメモリへのアクセスを高速に行うことが要求されるため、制御クロックを高周波化する必要があり、消費電力が増大する問題も生じていた。
【０００９】
本発明は、上記従来技術の問題を鑑み、処理対象となる画像サイズや表示サイズの変更に対応でき、消費電力も抑えたインターフェース装置及びそのメモリ制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置であって、データを格納及び保持するための複数のメモリと、前記メモリにアクセスして所定の処理を行う複数の処理回路と、前記メモリの各々を、処理対象となるデータを保持するためのバッファメモリとして前記複数の処理回路のいずれかに接続可能とするメモリセレクタと、を備え、前記メモリセレクタは、前記メモリと前記複数の処理回路との接続を切り替えることを特徴とする。
【００１１】
ここで、前記複数の処理回路の各々からバッファメモリにアクセス中であるか否かを示す制御信号を受けて、前記複数の処理回路の総てがバッファメモリにアクセスしていない期間に前記メモリセレクタへメモリ切替信号を出力するタイミング制御回路を備え、前記メモリセレクタは、前記メモリ切替信号に応じて前記メモリと前記複数の処理回路との接続を切り替えることがより好適である。
【００１２】
例えば、前記複数の処理回路は、外部から取得される画像データをバッファリングして加工し、バッファリングされた画像データを出力するフレームバッファ制御回路を含んでも良い。具体的には、有効期間とブランキング期間とが交互に繰り返される所定の周期を有する取得同期信号に同期して取得される画像データを前記メモリセレクタによって接続された第１のバッファメモリにバッファリングし、有効期間とブランキング期間とが交互に繰り返され、前記取得同期信号とは異なる周期を有する送信同期信号に同期して前記メモリセレクタによって接続された第２のバッファメモリに保持された画像データを出力するフレームバッファ制御回路を含み、前記フレームバッファ制御回路は、前記第１のバッファメモリ及び前記第２のバッファメモリに対してそれぞれ独立にアクセス可能である少なくとも２系統の制御部を含み、前記第１のバッファメモリと前記第２のバッファメモリとを排他的に切り替えて前記フレームバッファ制御回路の各制御部に接続するフレームメモリインターフェースをさらに備えても良い。
【００１３】
また、前記複数の処理回路は、前記メモリに格納された画像データに対してオンスクリーン画像データを合成するサブＯＳＤバッファ制御回路を備えても良い。さらに、前記複数の処理回路は、画像データを圧縮処理してコードを生成する圧縮処理回路を備えても良い。
【００１４】
このように、データをバッファメモリに格納する必要がある処理回路を複数備えるインターフェース装置において、限られたメモリ空間を切り替えて各処理回路で利用できるようにする。
【００１５】
より具体的には、前記複数の処理回路と前記メモリとの接続状態を示すモード値が設定されるメモリ制御レジスタを備え、前記メモリセレクタは、前記メモリ制御レジスタに設定されたモード値に基づいて前記メモリの各区画と前記複数の処理回路との接続を切り替える構成とすることが好適である。
【００１６】
本発明の別の態様は、画像データを格納及び保持するための複数のメモリと、前記メモリにアクセスして所定の処理を行う複数の処理回路と、を備え、外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置のメモリ制御方法であって、前記メモリを処理対象となるデータを保持するためのバッファメモリとして用いるために、前記メモリと前記複数の処理回路との接続を切り替える工程を有することを特徴とする。
【００１７】
より具体的には、前記複数の処理回路の各々からバッファメモリにアクセス中であるか否かを調査し、前記複数の処理回路の総てがバッファメモリにアクセスしていない期間を検出する第１の工程と、前記第１の工程において前記複数の処理回路の総てがバッファメモリにアクセスしていない期間に、前記メモリの各々を、処理対象となるデータを保持するためのバッファメモリとして前記複数の処理回路のいずれかに接続する第２の工程と、を備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、画像データの取得、加工及び出力を行うためのインターフェース装置において使用される各種バッファメモリを画像サイズや表示サイズの変更に対応可能なものとすることができる。また、消費電力を増加させることなく、各種バッファメモリへの同時アクセス及び高速アクセスを可能とする。
【発明を実施するための最良の形態】
【００１９】
本発明の実施の形態におけるインターフェース装置１０２は、図１に示すように、固体撮像素子２００、主処理装置（ＣＰＵ）３００、ＬＣＤコントローラ４００及びＬＣＤ表示装置４０２と接続されて使用される。インターフェース装置１０２は、固体撮像素子インターフェース（Ｉ／Ｆ）１０、レート変更バッファ１２、Ｈ／Ｖスケーラ１４、ＬＣＤインターフェース（Ｉ／Ｆ）２０、ＣＰＵインターフェース（Ｉ／Ｆ）２８、フレームバッファ制御回路３０、フレームメモリインターフェース（Ｉ／Ｆ）３２、サブＯＳＤバッファ制御回路３４、サブＯＳＤメモリインターフェース（Ｉ／Ｆ）３６、コードバッファ制御回路３８、コードメモリインターフェース（Ｉ／Ｆ）４０、メモリセレクタ４２、タイミング制御回路４４、メモリ制御レジスタ４６及びメモリ０〜８を含んで構成される。また、インターフェース装置１０２は、さらにＪＰＥＧラインバッファ２２及びＪＰＥＧコーデック（ＣＯＤＥＣ）２４を含んでも良い。
【００２０】
なお、図１において、上記従来技術と同様の機能を有する構成部には同一の符号を付して表している。また、図１において、実線矢印は画像データ等のデータの送受信を示し、破線矢印は制御信号の送受信を示している。
【００２１】
図２に、図１に示したシステムにおける各部に対する制御信号のタイミングチャートを示す。取得同期信号ＶREF及び送信同期信号ＶACTは、インターフェース装置１０２に設けられたタイミングジェネレータ（図示しない）において生成され、各部へ入力される。以下、図１及び図２を参照して、本実施の形態におけるインターフェース装置１０２について説明する。
【００２２】
固体撮像素子２００は、ＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子等及びそのコントローラ等を含んで構成することができる。固体撮像素子２００は、画像信号を固体撮像素子Ｉ／Ｆ１０へ出力する。固体撮像素子２００は、図２（ａ）に示すようにインターフェース装置１０２に搭載されたタイミングジェネレータ（図示しない）で生成された取得同期信号ＶREFを受けて、取得同期信号ＶREFの立ち上がりに同期して新たなフレームの画像信号の取得を開始し、取得同期信号ＶREFがハイレベルを維持している有効期間において画像信号を取得して順次出力する。
【００２３】
固体撮像素子インターフェース１０は、固体撮像素子２００から出力された画像信号を受信する。固体撮像素子インターフェース１０は、固体撮像素子２００と同様に取得同期信号ＶREFを受けることによって、固体撮像素子２００からの出力と同期して画像信号の受信処理を行う。すなわち、取得同期信号ＶREFの立ち上がりに同期して新たなフレームの画像信号の取得を開始し、取得同期信号ＶREFの１有効期間において固体撮像素子２００から１フレーム分の画像信号を順次受信する。また、固体撮像素子インターフェース１０は、画像信号に含まれるダミーデータの除去などを行って原画像データとしてレート変更バッファ１２へ出力する。原画像データは、例えば、ＹＵＶ４２２形式の画像データとすることができる。
【００２４】
レート変更バッファ１２は、ラインバッファを備え、固体撮像素子２００からの原画像データの送信タイミングをインターフェース装置１０２で処理可能なタイミングに変更する。Ｈ／Ｖスケーラ１４は、原画像データをインターフェース装置１０２に接続されるＬＣＤの表示画面のサイズにあった画像サイズに変換する。サイズ変換された原画像データは、フレームバッファ制御回路３０に出力される。
【００２５】
フレームバッファ制御回路３０は、フレームメモリＩ／Ｆ３２を制御することによって、メモリ０〜８の中から選択されたフレームバッファメモリに原画像データを一時的に格納及び保持する。また、フレームバッファ制御回路３０は、原画像データを加工処理する機能も有する。フレームバッファ制御回路３０は、ＣＰＵＩ／Ｆ２８を介してＣＰＵ３００から指令信号を受けて、その指令信号に基づいて固体撮像素子２００から取得された原画像データに様々な加工処理を施して装飾合成画像データを生成する。例えば、原画像データと予め用意されている装飾画像データとをそれぞれ重み付けして加算合成したり、画像データの回転等の加工処理を行ったりする。装飾画像データとは、例えば、原画像データを縁取る額縁画像、原画像データ内に重畳されるキャラクター画像等とすることができる。このような装飾画像データは、フレームバッファ制御回路３０に内蔵される画像メモリやＣＰＵ３００に併設される画像メモリに予め格納及び保持されており、必要に応じてフレームバッファ制御回路３０から読み出されて使用することができる。
【００２６】
本実施の形態におけるフレームバッファ制御回路３０は、２系統のデータ信号線（書込みデータ線ＷＤ０，ＷＤ１、読出しデータ線ＲＤ０，ＲＤ１）及び制御信号線（アドレス指定信号線ＡＤＲＳ０，ＡＤＲＳ１、チップ選択信号線ＣＳ０，ＣＳ１、書込み指定信号線ＷＲ０，ＷＲ１、読出し指定信号線ＲＥ０，ＲＥ１等）を独立に制御できるように構成されている。２画面分のメモリ空間がフレームバッファメモリとして確保された場合には、各系統のデータ信号線及び制御信号線はそれぞれ２画面分のメモリ空間に対してアクセスできるように接続される。これによって、それぞれのメモリ空間に対して独立に画像データの書き込み及び読み出しができる。
【００２７】
フレームバッファ制御回路３０は、第０系統のデータ信号線及び制御信号線を用いて、Ｈ／Ｖスケーラ１４から入力される原画像データをフレームバッファメモリに順次格納していくと共に、その画像データに対して加工処理や圧縮処理を施す。以下、第０系統のデータ信号線及び制御信号線によってアクセスされるメモリを第１のフレームバッファメモリとする。Ｈ／Ｖスケーラ１４からは取得同期信号ＶREFの有効期間に１フレーム分の画像データが出力されるので、フレームバッファ制御回路３０は、取得同期信号ＶREFの有効期間に同期させて１フレーム分の画像データを第１のバッファメモリにバッファリングさせる。このとき、図２（ｃ）に示すように、Ｂｕｓｙ Ａ信号をハイレベルとして、第１のフレームバッファメモリが使用中であることを示す。
【００２８】
一方、第１系統のデータ信号線及び制御信号線を用いて、既にフレームバッファメモリに保持された装飾合成画像データを読み出し、ＪＰＥＧラインバッファ２２及びサブＯＳＤバッファ制御回路３４へ転送する。以下、第１系統のデータ信号線及び制御信号線によってアクセスされるメモリを第２のフレームバッファメモリとする。このとき、図２（ｂ）に示す送信同期信号ＶACTに同期させて画像データを出力する。
【００２９】
送信同期信号ＶACTは、ＬＣＤ表示装置４０２に画像を表示する際の１画面（フレーム）の開始タイミングを示す信号である。送信同期信号ＶACTは、図２（ｂ）に示すように、ハイレベルである有効期間とローレベルであるブランキング期間の組み合わせが繰り返されるパルス状の信号である。固体撮像素子２００での画像の取得に掛かる時間よりもＬＣＤコントローラ４００へ画像データを送出する時間の方が一般的に短いので、送信同期信号ＶACTの周期Ｔ2は取得同期信号ＶREFの周期Ｔ1よりも短く設定される。また、取得同期信号ＶREFの周期Ｔ1は送信同期信号ＶACTの周期Ｔ2の整数倍となるように設定される。具体的には、取得同期信号ＶREFの周期Ｔ1が送信同期信号ＶACTの周期Ｔ2の２〜５倍となるように設定される。従って、図２に示すように、取得同期信号ＶREFの周期Ｔ3を経過する間に送信同期信号ＶACTは複数回繰り返される。
【００３０】
本実施の形態では、送信同期信号ＶACTの１有効期間に１フレーム分の画像データを出力させる。このとき、図２（ｄ）に示すように、Ｂｕｓｙ Ｂ信号をハイレベルとして、第２のフレームバッファメモリが使用中であることを示す。
【００３１】
フレームメモリＩ／Ｆ３２は、フレームバッファ制御回路３０からデータ及び制御信号を受けて、メモリ０〜８の中から選択されたフレームバッファメモリに対する画像データの書き込み及び読み出しの処理を行う機能を有する。本実施の形態におけるフレームメモリＩ／Ｆ３２は、２画面分の画像データを保持できるメモリ空間がバッファメモリとして確保された場合にアクセスを可能とする構成を備えている。
【００３２】
図３に、フレームメモリＩ／Ｆ３２の構成例を示す。フレームメモリＩ／Ｆ３２は、図３に示すように、切替回路５０、アドレスデコーダ５２ａ，５２ｂ、読み出しデータ選択回路５４ａ，５４ｂを含んで構成することができる。
【００３３】
切替回路５０は、タイミングジェネレータ（図示しない）からの切替信号ＶSWTを受けて、フレームバッファ制御回路３０の第０系統のデータ信号線（書込みデータ線ＷＤ０、読出しデータ線ＲＤ０）及び制御信号線（アドレス指定信号線ＡＤＲＳ０、チップ選択信号線ＣＳ０、書込み指定信号線ＷＲ０、読出し指定信号線ＲＥ０等）並びに第１系統のデータ信号線（書込みデータ線ＷＤ１、読出しデータ線ＲＤ１）及び制御信号線（アドレス指定信号線ＡＤＲＳ１、チップ選択信号線ＣＳ１、書込み指定信号線ＷＲ１、読出し指定信号線ＲＥ１等）を、アドレスデコーダ５２ａ及び読み出しデータ選択回路５４ａからなる第１のインターフェース部並びにアドレスデコーダ５２ｂ及び読み出しデータ選択回路５４ｂからなる第２のインターフェース部のいずれか一方にそれぞれ接続する。
【００３４】
例えば、フレームバッファ制御回路３０の第０系統のデータ信号線及び制御信号線がアドレスデコーダ５２ａ及び読み出しデータ選択回路５４ａと接続されているときには、フレームバッファ制御回路３０の第１系統のデータ信号線及び制御信号線がアドレスデコーダ５２ｂ及び読み出しデータ選択回路５４ｂと接続されるようにし、フレームバッファ制御回路３０の第０系統のデータ信号線及び制御信号線をアドレスデコーダ５２ｂ及び読み出しデータ選択回路５４ｂに切り替えたときには、フレームバッファ制御回路３０の第１系統のデータ信号線及び制御信号線がアドレスデコーダ５２ａ及び読み出しデータ選択回路５４ａと接続されるように切り替える。
【００３５】
これによって、フレームバッファ制御回路３０では、２系統設けられているデータ信号線及び制御信号線が実際にどのメモリに接続されているかを認識する必要なく、メモリセレクタ４２によって第１又は第２のバッファメモリとして選択されているメモリに対して仮想メモリ空間としてアクセスすることができる。
【００３６】
なお、第０系統に接続されるメモリは固体撮像素子２００から送信されてくる画像データを順次バッファリング及び加工処理するための第１のフレームバッファメモリであり、第１系統に接続されるメモリはＬＣＤ表示装置４０２に表示している画像データを保持しておく第２のフレームバッファメモリとして使用される。
【００３７】
アドレスデコーダ５２ａ，５２ｂは、フレームバッファ制御回路３０から制御信号（アドレス指定信号線、チップ選択信号線、書込み指定信号線、読出し指定信号線等）を受けて、メモリセレクタ４２を介して接続されたメモリにアクセスするためのアドレス設定等を行い、書込みデータ線によって送信されているデータをメモリに書き込む処理を行う。読み出しデータ選択回路５４ａ，５４ｂは、フレームバッファ制御回路３０から制御信号（アドレス指定信号線）を受けて、アドレスデコーダ５２ａ，５２ｂにより設定されたアドレスから画像データを読み出し、制御信号によって指定されたデータを選択してフレームバッファ制御回路３０に出力する。アドレスデコーダ５２ａ，５２ｂ及び読み出しデータ選択回路５４ａ，５４ｂによるメモリへのアクセス処理は従来技術を適用できる。アドレスデコーダ５２ａ，５２ｂ及びデータ選択回路５４ａ，５４ｂの入出力は、仮想メモリに対するアクセスとして処理されるが、実際にはメモリセレクタ４２によって現実のメモリに対して接続される。
【００３８】
サブＯＳＤバッファ制御回路３４は、ＣＰＵＩ／Ｆ２８を介してＣＰＵ３００からの指令信号を受けて、その指令信号に基づいて装飾合成画像データにオンスクリーン画面データを合成して表示用画像データを生成する。なお、オンスクリーン画像データとは、例えば、電源の残量や電波の受信状態を示すアイコンやメニュー等の電子装置の制御や状態表示に関する画像データとすることができる。但し、これに限定されるものではない。このようなオンスクリーン画像データは、サブＯＳＤバッファ制御回路３４に内蔵される画像メモリやＣＰＵ３００に併設される画像メモリに予め格納及び保持されており、必要に応じてサブＯＳＤバッファ制御回路３４から読み出して使用できるようにすることが好適である。
【００３９】
本実施の形態におけるサブＯＳＤバッファ制御回路３４は、１画面分のメモリ空間に対して画像データの書き込み及び読み出しができるように、１系統のデータ信号線（書込みデータ線ＷＤ３、読出しデータ線ＲＤ３）及び制御信号線（アドレス指定信号線ＡＤＲＳ３、チップ選択信号線ＣＳ３、書込み指定信号線ＷＲ３、読出し指定信号線ＲＥ３等）を制御できるように構成されている。サブＯＳＤバッファ制御回路３４は、データ信号線及び制御信号線を用いて、フレームバッファ制御回路３０から入力される装飾合成画像データをサブＯＳＤバッファメモリに順次バッファリングさせると共に、その画像データに対してオンスクリーン画像データを合成する処理を施す。このとき、本実施の形態では、送信同期信号ＶACTの１有効期間に、フレームバッファ制御回路３０から１フレーム分の装飾合成画像データを受けてバッファリング及び加工処理して、１フレーム分の表示用画像データとして出力させる。このとき、図２（ｅ）に示すように、Ｂｕｓｙ Ｃ信号をハイレベルとして、フレームバッファメモリが使用中であることを示す。
【００４０】
サブＯＳＤメモリＩ／Ｆ３６は、サブＯＳＤバッファ制御回路３４からデータ及び制御信号（アドレス指定信号線、チップ選択信号線、書込み指定信号線、読出し指定信号線等）を受けて、メモリ０〜８の中から選択されたサブＯＳＤバッファメモリに画像データの書き込み及び読み出しを行う。本実施の形態におけるサブＯＳＤメモリＩ／Ｆ３６は、１画面分の画像データを保持できるメモリ空間がバッファメモリとして確保された場合にアクセスを可能とする構成を備えている。
【００４１】
図４に、サブＯＳＤメモリＩ／Ｆ３６の構成例を示す。サブＯＳＤメモリＩ／Ｆ３６は、図４に示すように、アドレスデコーダ５６、読み出しデータ選択回路５８を含んで構成することができる。
【００４２】
アドレスデコーダ５６は、サブＯＳＤバッファ制御回路３４から制御信号（アドレス指定信号線、チップ選択信号線、書込み指定信号線、読出し指定信号線等）を受けて、メモリセレクタ４２を介して接続されたメモリにアクセスするためのアドレス設定等を行い、書き込みデータとして受信した画像データを書き込む処理を行う。読み出しデータ選択回路５８は、サブＯＳＤバッファ制御回路３４から制御信号を受けて、アドレスデコーダ５６により設定されたアドレスから画像データを読み出し、制御信号（アドレス指定信号線）によって指定されたデータを選択してサブＯＳＤバッファ制御回路３４に出力する。アドレスデコーダ５６及びデータ選択回路５８の入出力は、仮想メモリに対するアクセスとして処理されるが、実際にはメモリセレクタ４２によって現実のメモリに対して接続される。アドレスデコーダ５６及び読み出しデータ選択回路５８によるメモリへのアクセス処理は従来技術を適用できる。
【００４３】
サブＯＳＤバッファ制御回路３４で生成された表示用画像データは、ＬＣＤＩ／Ｆ２０を介してＬＣＤコントローラ４００で読み出され、ＬＣＤ表示装置４０２に転送される。具体的には、ＬＣＤＩ／Ｆ２０及びＬＣＤコントローラ４００は、タイミングジェネレータ（図示しない）から送信同期信号ＶACTを受けて、サブＯＳＤバッファ制御回路３４によってサブＯＳＤバッファメモリから読み出された表示用画像データをＬＣＤ表示装置４０２に順次転送する。これにより、ＬＣＤ表示装置４０２は表示用画像データで順次更新され、ＬＣＤ表示装置４０２に画像が表示される。このとき、送信同期信号ＶACTの１有効期間に、サブＯＳＤバッファ制御回路３４から１フレーム分の表示用画像データを取得し、ＬＣＤ表示装置４０２に表示させる。
【００４４】
本実施の形態では、インターフェース装置１０２にＪＰＥＧラインバッファ２２、ＪＰＥＧコーデック（ＣＯＤＥＣ）２４、コードバッファ制御回路３８及びコードメモリＩ／Ｆ４０が設けられても良い。これにより、画像データを圧縮状態又は非圧縮状態で外部メモリに記憶させることができる。
【００４５】
ＪＰＥＧラインバッファ２２は、レート変更バッファ１２からフルサイズの原画像データ、又は、Ｈ／Ｖスケーラ１４からサイズ変更された原画像データ、又は、フレームバッファ制御回路３０から装飾合成画像データを受けて、ＪＰＥＧコーデック２４における処理が終了するまで画像データを保持する。いずれの画像データをＪＰＥＧラインバッファ２２に保持させるかは、ＣＰＵ３００からの制御信号により選択することができる構成とすることが好ましい。ＪＰＥＧコーデック２４は、ＪＰＥＧラインバッファ２２に保持されている画像データを読み出して、ＪＰＥＧ形式の圧縮処理を行う。生成されたＪＰＥＧコードはコードバッファ制御回路３８及びコードメモリＩ／Ｆ４０を介してコードバッファメモリに格納及び保持される。
【００４６】
ここで、圧縮処理は、取得同期信号ＶREFの有効期間に同期して、固体撮像素子２００からの画像データのバッファリングと共に行うことができるが、画像データの転送処理時間等により取得同期信号ＶREFよりも僅かに遅れて処理が行われる。そこで、図２（ｆ）に示すように、Ｂｕｓｙ Ｄ信号をハイレベルとしてコードバッファメモリが使用中であることを示す。
【００４７】
本実施の形態におけるコードバッファ制御回路３８は、コードバッファメモリとして確保されたメモリ空間に対してＪＰＥＧコードの書き込み及び読み出しができるように、１系統のデータ信号線（書込みデータ線ＷＤ４、読出しデータ線ＲＤ４）及び制御信号線（アドレス指定信号線ＡＤＲＳ４、チップ選択信号線ＣＳ４、書込み指定信号線ＲＤ４、読出し指定信号線ＷＲ４等）を制御できるように構成されている。コードバッファ制御回路３８は、取得同期信号ＶREFに同期して、データ信号線及び制御信号線を用いて、ＪＰＥＧコーデック２４又はＣＰＵＩ／Ｆ２８から入力されるＪＰＥＧコードをコードバッファメモリに順次格納及び保持させる。
【００４８】
コードメモリＩ／Ｆ４０は、コードバッファ制御回路３８からデータ及び制御信号を受けて、メモリ０〜８の中から選択されたコードバッファメモリにＪＰＥＧコードの書き込み及び読み出しを行う。図５に、コードメモリＩ／Ｆ４０の構成例を示す。コードメモリＩ／Ｆ４０は、図５に示すように、図４のサブＯＳＤメモリＩ／Ｆ３６とほぼ同様の構成であり、アドレスデコーダ６０、読み出しデータ選択回路６２を含んで構成することができる。
【００４９】
コードバッファ制御回路３８は、コードバッファメモリからＪＰＥＧコードを読み出し、ＣＰＵＩ／Ｆ２８を介してＣＰＵ３００に転送する。ＣＰＵ３００は、外部メモリ（図示しない）にＪＰＥＧコードを格納及び保持させることができる。また、Ｈ／Ｖスケーラ１４からコードバッファ制御回路３８へ画像データを直接送信することによって、サイズ変更された原画像データを圧縮処理せずにＣＰＵ３００に転送し、外部メモリに保存することもできる。すなわち、フルサイズ画像データ、圧縮処理された画像データと共に、装飾合成画像データも圧縮処理したうえでメモリに保存することができる。
【００５０】
外部メモリに格納及び保持されたＪＰＥＧコードは、ＪＰＥＧコーデック２４において画像データに再現することもできる。ＣＰＵ３００は、ユーザからの表示対象となる画像データの指定を受けて、外部メモリに保存されているＪＰＥＧコードを読み出し、ＣＰＵＩ／Ｆ２８を介してコードバッファ制御回路３８へ転送する。コードバッファ制御回路３８は、ＪＰＥＧコードをコードバッファメモリに格納及び保持させると共に、ＪＰＥＧコーデック２４へ転送する。ＪＰＥＧコーデック２４は、ＣＰＵ３００からの解凍処理の指示信号を受けて、コードバッファ制御回路３８から転送されたＪＰＥＧコードをビットマップ形式等の画像データに逆変換する。画像データは、ＪＰＥＧラインバッファ２２を介してＨ／Ｖスケーラ１４へ転送される。Ｈ／Ｖスケーラ１４では、必要に応じて画像データの画面サイズが変換されてフレームバッファ制御回路３０へ出力される。これにより、外部メモリに保存された画像データをＬＣＤ表示装置４０２へ表示させることができる。
【００５１】
メモリセレクタ４２は、メモリ０〜８の各々をフレームメモリＩ／Ｆ３２、サブＯＳＤメモリＩ／Ｆ３６及びコードメモリＩ／Ｆ４０のいずれかの入出力に接続可能とする。メモリ０〜８の接続先は、メモリ制御レジスタ４６に設定されたモード値に基づいて、タイミング制御回路４４からのセレクタ制御信号によって選択される。
【００５２】
各メモリの使用目的は、例えば図６に示すように、メモリ制御レジスタ４６に設定されたモード値よって決定される。各メモリは、コードバッファメモリ（ＣＯＤ）、サブＯＳＤバッファメモリ（ＳＵＢ）又はフレームバッファメモリ（ＦＲＭ）として使用される。本実施の形態では、メモリ０〜８はそれぞれ１６ｋワードのメモリ空間を有するものとする。
【００５３】
モード０では、メモリ０，１をコードバッファメモリとし、メモリ２をサブＯＳＤバッファメモリとし、メモリ３〜５を第１のフレームバッファメモリとし、メモリ６〜８を第２のフレームバッファメモリとする。これにより、各４８ｋワードのメモリ空間を有する第１及び第２のフレームバッファメモリを切り替えることによって、画像出力を止めることなくＱＣＩＦ＋画像データをバッファリングでき、３２ｋワードのコードバッファメモリを備えることによってＶＧＡ画像データのＪＰＥＧ圧縮処理を可能とし、さらに１６ｋワードのサブＯＳＤバッファメモリによりオンスクリーン画像を合成も可能としている。モード１では、メモリ０，１，３，４，５をコードバッファメモリとし、メモリ２をサブＯＳＤバッファメモリとし、メモリ６〜８を第１のフレームバッファメモリとする。これにより、各４８ｋワードのメモリ空間を有するフレームバッファメモリによってＱＣＩＦ＋画像データをバッファリングでき、モード０より大きな８０ｋワードのコードバッファメモリを備えることによってＶＧＡ画像データよりも大きな画像サイズのＪＰＥＧ圧縮処理を可能とし、さらに１６ｋワードのサブＯＳＤバッファメモリによりオンスクリーン画像を合成も可能としている。モード２では、メモリ０，１，３〜８をコードバッファメモリとし、メモリ２をサブＯＳＤバッファメモリとする。これにより、２フレーム分のフレームバッファメモリを総てコードバッファとして使用し、大画面及び高解像度の画像データに対するＪＰＥＧ圧縮処理を可能としている。
【００５４】
メモリ制御レジスタ４６のモード値は、例えば、インターフェース装置１０２に接続される固体撮像素子２００の画面サイズ、ＬＣＤ表示装置４０２の画像サイズ、ＪＰＥＧ圧縮処理で要求される処理速度等、システムの構成やユーザの指示に従って設定される。ＣＰＵ３００は、システム構成やユーザの指示により、メモリ制御レジスタ４６にモード値を設定する。さらに、図２（ｇ）に示すように、タイミング制御回路４４に対して、メモリの切替を行うことを指示する切替指示信号ＳSWTを送出する。
【００５５】
タイミング制御回路４４は、フレームバッファ制御回路３０、サブＯＳＤバッファ制御回路３４及びＪＰＥＧコーデック２４からＢｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号を制御信号として受信し、これらの制御信号に基づいてメモリの切替タイミングを決定する。タイミング制御回路４４は、ＣＰＵ３００から切替指令信号ＳSWTを受けると、図２に示すようにＢｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号の総てがローレベルとなっている時刻ｔ1〜時刻ｔ2の期間、すなわち総てのバッファメモリが使用中でない期間を検出する。タイミング制御回路４４は、図２（ｈ）に示すように、Ｂｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号の総てがローレベルとなっている時刻ｔ1〜時刻ｔ2の期間にメモリ切替信号ＶSWTをメモリセレクタ４２へ出力する。
【００５６】
ここで、Ｂｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号の総てがローレベルとなる期間が存在しない場合には、取得同期信号ＶREF又は送信同期信号ＶACTの位相をずらす処理を行う。これによって、Ｂｕｓｙ Ａ信号〜Ｂｕｓｙ Ｄ信号の総てがローレベルとなる期間を出現させることができる。
【００５７】
メモリセレクタ４２は、複数のセレクタを含んで構成される。セレクタは、インターフェース装置１０２に設けられたメモリ毎に、そのメモリに対する入出力の種類数だけ設けられる。例えば、各メモリが２つのデータ信号線（書込みデータ線ＷＤ３、読出しデータ線ＲＤ３）及び４つの制御信号線（アドレス指定信号線ＡＤＲＳ３、チップ選択信号線ＣＳ３、書込み指定信号線ＷＲ３、読出し指定信号線ＲＥ３等）で制御されている場合、メモリ毎に合計６つのセレクタが設けられる。
【００５８】
各セレクタは、タイミング制御回路４４からのメモリ切替信号ＶSWTを受けると、メモリ制御レジスタ４６に設定されたモード値に基づいて各メモリの入出力を使用目的となるバッファメモリの種類に応じて選択して切り替える。
【００５９】
例えば、図６によれば、メモリ３は、モード０では第１のフレームバッファメモリとして使用され、モード１及び２ではコードバッファメモリとして使用される。従って、図７に示すように、メモリセレクタ４２にはメモリ３に対応付けて６つのセレクタ７０〜７５を設け、フレームメモリＩ／Ｆ３２のアドレスデコーダ５２ａ及びデータ選択回路５４ａと繋がるデータ信号線（ＦＲＭ０＿ＷＤ，，ＦＲＭ０＿ＲＤ）及び制御信号線（ＦＲＭ０＿ＡＤＲＳ，ＦＲＭ０＿ＣＳ，ＦＲＭ０＿ＷＲ，ＦＲＭ０＿ＲＤ）、並びに、コードメモリＩ／Ｆ４０のアドレスデコーダ６０及びデータ選択回路６２と繋がるデータ信号線（ＣＯＤ＿ＷＤ，，ＣＯＤ＿ＲＤ）及び制御信号線（ＣＯＤ＿ＡＤＲＳ，ＣＯＤ＿ＣＳ，ＣＯＤ＿ＷＲ，ＣＯＤ＿ＲＤ）のいずれか一方が選択される各信号線を種類別にセレクタ７０〜７５へ入力する。各セレクタ７０〜７５は、タイミング制御回路４４からモード値及びメモリ切替信号ＶSWTを受けると、モード値に応じて、フレームメモリＩ／Ｆ３２及びコードメモリＩ／Ｆ４０のいずれか一方のデータ信号線及び制御信号線をメモリ３へ排他的に接続する。これによって、モード値に基づいて、メモリ３はフレームメモリＩ／Ｆ３２及びコードメモリＩ／Ｆ４０のいずか一方によって制御されることとなる。
【００６０】
メモリセレクタ４２には、他のメモリ０〜２，４〜８に対するセレクタも同様に設けられる。これによって、メモリ０〜８は、モード値に応じて、それぞれフレームメモリＩ／Ｆ３２、サブＯＳＤメモリＩ／Ｆ３６、コードメモリＩ／Ｆ４０のいずれか１つによって制御されることとなる。
【００６１】
以上のように、本実施の形態によれば、インターフェース装置に設けられたメモリを使用目的に応じて各種バッファメモリとして切り替えることができる。これによって、画像サイズや表示サイズの変更に容易に対応することができる。また、実際にハードウェア上の構成としてメモリが切り替えられるので、タイムシェアリングを行うメモリ制御のようにクロック周波数を増加させる必要もなく、消費電力の増加を抑制することかできる。さらに、各種バッファメモリへの同時アクセスも可能であり、アクセスも高速化することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態における画像処理装置の構成を示す図である。
【図２】本発明の実施の形態におけるタイミングチャートを示す図である。
【図３】本発明の実施の形態におけるフレームメモリＩ／Ｆの構成を示す図である。
【図４】本発明の実施の形態におけるサブＯＳＤメモリＩ／Ｆの構成を示す図である。
【図５】本発明の実施の形態におけるコードメモリＩ／Ｆの構成を示す図である。
【図６】本発明の実施の形態におけるモード値とメモリの使用目的との関係を示す図である。
【図７】本発明の実施の形態におけるメモリセレクタの構成の一部を示す図である。
【図８】従来の画像処理装置の構成を示す図である。
【符号の説明】
【００６３】
０−８ メモリ、１０ 固体撮像素子インターフェース、１２ レート変更バッファ、１４ Ｈ／Ｖスケーラ、１６ フレームバッファ回路、１８ サブＯＳＤバッファ回路、２２ ＪＰＥＧラインバッファ、２４ ＪＰＥＧコーデック、２６ コードバッファ回路、３０ フレームバッファ制御回路、３２ フレームメモリインターフェース、３４ サブＯＳＤバッファ制御回路、３６ サブＯＳＤメモリインターフェース、３８ コードバッファ制御回路、４０ コードメモリインターフェース、４２ メモリセレクタ、４４ タイミング制御回路、４６ メモリ制御レジスタ、５０ 切替回路、５２ａ，５２ｂ，５６，６０ アドレスデコーダ、５４ａ，５４ｂ，５８，６２ 読み出しデータ選択回路、７０−７５ セレクタ、１００，１０２ インターフェース装置、２００ 固体撮像素子、４００ ＬＣＤコントローラ、４０２ ＬＣＤ表示装置。
【特許請求の範囲】
【請求項１】
外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置であって、
データを格納及び保持するための複数のメモリと、
前記メモリにアクセスして所定の処理を行う複数の処理回路と、
前記メモリの各々を、処理対象となるデータを保持するためのバッファメモリとして前記複数の処理回路のいずれかに接続可能とするメモリセレクタと、を備え、
前記メモリセレクタは、前記メモリと前記複数の処理回路との接続を切り替えることを特徴とするインターフェース装置。
【請求項２】
請求項１に記載のインターフェース装置において、
前記複数の処理回路の各々からバッファメモリにアクセス中であるか否かを示す制御信号を受けて、前記複数の処理回路の総てがバッファメモリにアクセスしていない期間に前記メモリセレクタへメモリ切替信号を出力するタイミング制御回路を備え、
前記メモリセレクタは、前記メモリ切替信号に応じて前記メモリと前記複数の処理回路との接続を切り替えることを特徴とするインターフェース装置。
【請求項３】
請求項２に記載のインターフェース装置において、
前記複数の処理回路は、
有効期間とブランキング期間とが交互に繰り返される所定の周期を有する取得同期信号に同期して取得される画像データを前記メモリセレクタによって接続された第１のバッファメモリにバッファリングし、
有効期間とブランキング期間とが交互に繰り返され、前記取得同期信号とは異なる周期を有する送信同期信号に同期して前記メモリセレクタによって接続された第２のバッファメモリに保持された画像データを出力するフレームバッファ制御回路を含み、
前記フレームバッファ制御回路は、前記第１のバッファメモリ及び前記第２のバッファメモリに対してそれぞれ独立にアクセス可能である少なくとも２系統の制御部を含み、
さらに、前記第１のバッファメモリと前記第２のバッファメモリとを排他的に切り替えて前記フレームバッファ制御回路の各制御部に接続するフレームメモリインターフェースを備えることを特徴とするインターフェース装置。
【請求項４】
請求項１〜３のいずれか１つに記載のインターフェース装置において、
前記複数の処理回路は、
前記メモリに格納された画像データに対してオンスクリーン画像データを合成するサブＯＳＤバッファ制御回路を含むことを特徴とするインターフェース装置。
【請求項５】
請求項１〜４のいずれか１つに記載のインターフェース装置において、
前記複数の処理回路は、
画像データを圧縮処理してコードを生成する圧縮処理回路を含むことを特徴とするインターフェース装置。
【請求項６】
請求項１〜５のいずれか１つに記載のインターフェース装置において、
前記複数の処理回路と前記メモリとの接続状態を示すモード値が設定されるメモリ制御レジスタを備え、
前記メモリセレクタは、前記メモリ制御レジスタに設定されたモード値に基づいて前記メモリの各区画と前記複数の処理回路との接続を切り替えることを特徴とするインターフェース装置。
【請求項７】
画像データを格納及び保持するための複数のメモリと、
前記メモリにアクセスして所定の処理を行う複数の処理回路と、を備え、
外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置のメモリ制御方法であって、
前記メモリを処理対象となるデータを保持するためのバッファメモリとして用いるために、前記メモリと前記複数の処理回路との接続を切り替える工程を有することを特徴とするメモリ制御方法。
【請求項８】
画像データを格納及び保持するための複数のメモリと、
前記メモリにアクセスして所定の処理を行う複数の処理回路と、を備え、
外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置のメモリ制御方法であって、
前記複数の処理回路の各々からバッファメモリにアクセス中であるか否かを調査し、前記複数の処理回路の総てがバッファメモリにアクセスしていない期間を検出する第１の工程と、
前記第１の工程において前記複数の処理回路の総てがバッファメモリにアクセスしていない期間に、前記メモリの各々を、処理対象となるデータを保持するためのバッファメモリとして前記複数の処理回路のいずれかに接続する第２の工程と、
を備えることを特徴とするメモリ制御方法。
【請求項１】
外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置であって、
データを格納及び保持するための複数のメモリと、
前記メモリにアクセスして所定の処理を行う複数の処理回路と、
前記メモリの各々を、処理対象となるデータを保持するためのバッファメモリとして前記複数の処理回路のいずれかに接続可能とするメモリセレクタと、を備え、
前記メモリセレクタは、前記メモリと前記複数の処理回路との接続を切り替えることを特徴とするインターフェース装置。
【請求項２】
請求項１に記載のインターフェース装置において、
前記複数の処理回路の各々からバッファメモリにアクセス中であるか否かを示す制御信号を受けて、前記複数の処理回路の総てがバッファメモリにアクセスしていない期間に前記メモリセレクタへメモリ切替信号を出力するタイミング制御回路を備え、
前記メモリセレクタは、前記メモリ切替信号に応じて前記メモリと前記複数の処理回路との接続を切り替えることを特徴とするインターフェース装置。
【請求項３】
請求項２に記載のインターフェース装置において、
前記複数の処理回路は、
有効期間とブランキング期間とが交互に繰り返される所定の周期を有する取得同期信号に同期して取得される画像データを前記メモリセレクタによって接続された第１のバッファメモリにバッファリングし、
有効期間とブランキング期間とが交互に繰り返され、前記取得同期信号とは異なる周期を有する送信同期信号に同期して前記メモリセレクタによって接続された第２のバッファメモリに保持された画像データを出力するフレームバッファ制御回路を含み、
前記フレームバッファ制御回路は、前記第１のバッファメモリ及び前記第２のバッファメモリに対してそれぞれ独立にアクセス可能である少なくとも２系統の制御部を含み、
さらに、前記第１のバッファメモリと前記第２のバッファメモリとを排他的に切り替えて前記フレームバッファ制御回路の各制御部に接続するフレームメモリインターフェースを備えることを特徴とするインターフェース装置。
【請求項４】
請求項１〜３のいずれか１つに記載のインターフェース装置において、
前記複数の処理回路は、
前記メモリに格納された画像データに対してオンスクリーン画像データを合成するサブＯＳＤバッファ制御回路を含むことを特徴とするインターフェース装置。
【請求項５】
請求項１〜４のいずれか１つに記載のインターフェース装置において、
前記複数の処理回路は、
画像データを圧縮処理してコードを生成する圧縮処理回路を含むことを特徴とするインターフェース装置。
【請求項６】
請求項１〜５のいずれか１つに記載のインターフェース装置において、
前記複数の処理回路と前記メモリとの接続状態を示すモード値が設定されるメモリ制御レジスタを備え、
前記メモリセレクタは、前記メモリ制御レジスタに設定されたモード値に基づいて前記メモリの各区画と前記複数の処理回路との接続を切り替えることを特徴とするインターフェース装置。
【請求項７】
画像データを格納及び保持するための複数のメモリと、
前記メモリにアクセスして所定の処理を行う複数の処理回路と、を備え、
外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置のメモリ制御方法であって、
前記メモリを処理対象となるデータを保持するためのバッファメモリとして用いるために、前記メモリと前記複数の処理回路との接続を切り替える工程を有することを特徴とするメモリ制御方法。
【請求項８】
画像データを格納及び保持するための複数のメモリと、
前記メモリにアクセスして所定の処理を行う複数の処理回路と、を備え、
外部から画像データを取得し、画像表示装置で表示可能な表示用画像データとして画像表示装置へ出力するインターフェース装置のメモリ制御方法であって、
前記複数の処理回路の各々からバッファメモリにアクセス中であるか否かを調査し、前記複数の処理回路の総てがバッファメモリにアクセスしていない期間を検出する第１の工程と、
前記第１の工程において前記複数の処理回路の総てがバッファメモリにアクセスしていない期間に、前記メモリの各々を、処理対象となるデータを保持するためのバッファメモリとして前記複数の処理回路のいずれかに接続する第２の工程と、
を備えることを特徴とするメモリ制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−４７４１３（Ｐ２００６−４７４１３Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２２４６５０（Ｐ２００４−２２４６５０）
【出願日】平成１６年７月３０日（２００４．７．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年７月３０日（２００４．７．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]