メモリ制御装置およびカメラシステム
【課題】カメラシステムにおいてアクセス先アドレスが頻繁に切り替わるデータの処理に関しては、データの先読み機能が有効に発揮されない。最小限のメモリ追加によるシステム構成で、アクセスアドレスを随時切り替える必要のある特定のアクセスパターンにおいても、高速なアクセスを実現し、高いアクセス効率を確保する。
【解決手段】メモリ制御部７が外部メモリ３０にアクセスする際のアドレスを取得するアドレス取得手段１０と、順次取得されるアドレスの差分情報を一時記憶するアドレスメモリ部１１と、差分情報を基に順次アクセスのアドレスが一定周期をもつかを認識する周期認識手段１２と、一定周期の連続回数が閾値を超えるか否かを判定する一定周期判定手段１４とを備える。メモリ制御部７は、一定周期の連続回数が閾値を超えると判定されたときに先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って外部メモリに対し先読みのアクセスを行って、その先読みデータをバッファ部９にバッファリングする。
【解決手段】メモリ制御部７が外部メモリ３０にアクセスする際のアドレスを取得するアドレス取得手段１０と、順次取得されるアドレスの差分情報を一時記憶するアドレスメモリ部１１と、差分情報を基に順次アクセスのアドレスが一定周期をもつかを認識する周期認識手段１２と、一定周期の連続回数が閾値を超えるか否かを判定する一定周期判定手段１４とを備える。メモリ制御部７は、一定周期の連続回数が閾値を超えると判定されたときに先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って外部メモリに対し先読みのアクセスを行って、その先読みデータをバッファ部９にバッファリングする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等における外部メモリに対するアクセスを高速に行うメモリ制御装置にかかわり、特にはデータ転送の高速化を実現するためのデータ先読みの技術に関する。
【背景技術】
【０００２】
デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等）においては、ＣＣＤ(Charge Coupled Device)などのイメージセンサで得られた撮像データをＳＤＲＡＭ（Synchronous ＤＲＡＭ）などの外部メモリに一時記憶し、次に外部メモリから撮像データを読み出し、拡大／縮小のズーム処理などの信号処理演算を行い、演算後のデータを一時記憶し、さらにモニタ部に適した表示データに変換したり、長期保存用に符号データに変換する。
【０００３】
近年、イメージセンサの解像度が高くなり、また高解像度の静止画をより高速に連写する必要が出てきたことや高解像度のスムーズな動画までも記録したいという市場要望などがあって、ＳＤＲＡＭ等の外部メモリに対するアクセス速度はますます高速化し、メモリ制御を高速化するための様々な方法が提案されている。
【０００４】
一般的なデジタルカメラのデータ処理として、バンク制御する方法が考えられている。特許文献１は、連続撮影および動画撮影において、メモリ制御にバンク、バンクスケジューリング、バンクのモニタを行うことで、外部入出力処理と内部信号処理の複数並列処理を行う方法の一例を示したものである。
【０００５】
また特許文献２は、キャッシュメモリと主記憶装置の間に設けられたプリフェッチバッファにおけるヒット率を上げるためのもので、データの先読み方法やサーチを行う方法の一例を示したものである。
【特許文献１】特開２００５−１７３９６２号公報
【特許文献２】特開平６−２８１８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１は、外部メモリ上に存在するデータを扱うとき、メモリアクセスをバンク管理することで処理の高速化、効率化を図る。これによると、メモリアクセスが順次アクセスのとき、処理が効率的に実行される。しかし、デジタルカメラの特定データ処理に特化したものではないため、アクセス先アドレスが頻繁に切り替わるデータ処理に関しては、最適で高速なアクセスを発揮するとはいえない。
【０００７】
例えばカメラ特有の処理であるＹＵＶ変換処理に関して説明する。撮像系にて取り込んだデータを表示する形式（例えばＹＵＶ形式）に変換するとき、外部メモリに対しＲデータ、Ｇデータ、Ｂデータのようなアドレスが異なる領域へのアクセスを行い、取得したデータを基にＹＵＶデータを生成する。外部メモリ上に配置されているＲＧＢデータはそれぞれが異なる領域に配置されているため、ＹＵＶ変換する際のアクセスに適した形式とはいえない。そのため、内部バッファにて行う先読み処理が最適に実施できず、都度外部へのアクセスが発生し、変換速度に影響を与える。
【０００８】
特許文献１では、図３で示しているカメラデータ変換時のデータ構成例のデータ変換を行うとき、ＲデータＲ１、ＧデータＧ１１、ＢデータＢ１、ＧデータＧ２１と順次にアクセスが発生するが、ＲデータＲ１に対しＲデータＲ２の先読みが有効に行われないため、アクセス効率が悪い。
【０００９】
また特許文献２は、キャッシュメモリと主記憶装置の間に置かれるプリフェッチバッファを想定していて、大容量メモリが必要である。それにもかかわらず、当該データと前回アクセスデータとのアドレス差分のＫ倍の前後のアドレスを先読みするため、Ｒデータ、Ｂデータ、Ｇデータのようにアドレスが飛ぶ間隔がデータ毎に異なっているデータへのアクセスには効果が薄く、ヒット率が下がる。
【００１０】
以上のように従来の技術においては、外部メモリに対してアクセスを行うとき、データが特定のパターンで構成されていることから順次アクセスができず、アクセスするアドレスを随時切り替える必要があるとき、アクセス効率が悪いため、アクセス速度が低下してしまう。
【００１１】
本発明は、このような事情に鑑みて創作したものであり、アクセスアドレスを随時切り替える必要のある特定のアクセスパターンにおいても、高速なアクセスを実現し、高いアクセス効率を確保することを目的としている。
【課題を解決するための手段】
【００１２】
本発明によるメモリ制御装置は、
外部メモリにアクセスしてデータの読み書きを行うメモリ制御部と、
前記外部メモリに対するアクセスを高速化するためのバッファ部と、
前記メモリ制御部が前記外部メモリにアクセスする際のアドレスを取得するアドレス取得手段と、
前記アドレス取得手段により順次取得されるアドレスの差分情報を一時記憶するアドレスメモリ部と、
前記アドレスメモリ部における差分情報を基に順次アクセスのアドレスが一定周期をもつかを認識する周期認識手段と、
前記周期認識手段による一定周期の連続回数が閾値を超えるか否かを判定する一定周期判定手段とを備え、
前記メモリ制御部は、前記一定周期判定手段によって前記一定周期の連続回数が閾値を超えると判定されたときに、先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って前記外部メモリに対し先読みのアクセスを行って、その先読みデータを前記バッファ部にバッファリングするように構成されているものである。
【００１３】
上記の構成において、メモリ制御部は外部メモリにアクセスし外部メモリに格納されているデータを読み出してバッファ部にバッファリングする。メモリ制御部が読み出したデータをバッファ部にバッファリングするとき、アドレス取得手段がメモリアクセスのアドレスを取得する。メモリ制御部による外部メモリに対するアクセスは順次行われ、アドレスも順次に取得されるが、その順次取得されるアドレスの差分情報がアドレスメモリ部に一時記憶される。そして、周期認識手段はアドレスメモリ部からアドレスの差分情報をチェックし、順次アクセスのアドレスが一定周期をもつかを認識する。さらに、一定周期判定手段は、周期認識手段による一定周期の連続回数が閾値を超えるか否かを判定する。一定周期の連続回数が閾値を超えるとき、メモリ制御部は、先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って外部メモリに対し先読みのアクセスを行って、その先読みデータをバッファ部にバッファリングする。上記の処理を自動実行することで、データ処理におけるアクセスパターンがアクセスアドレスを随時切り替える必要のある特定のパターンであることを認識し、その特定のアクセスパターンにおいても、高速なアクセスを実現し、高いアクセス効率を確保することが可能となる。
【００１４】
上記構成のメモリ制御装置において、前記メモリ制御部は、前記先読み機能がアクティブの状態から、前記周期認識手段または前記一定周期判定手段が前記一定周期でない状態に変化したときに、前記先読み機能をインアクティブにするという態様がある。このように構成すれば、特定のアクセスパターンに対する先読みのアクセスから抜け出すことが可能となる。
【００１５】
また上記の構成のメモリ制御装置において、前記メモリ制御部は、前記先読み機能の発動において、前記外部メモリのデータとしてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色ＲＡＷデータを対象とするという態様がある。ＲＡＷデータというのは、デジタルカメラでイメージセンサが取得する生の（raw）データ（Ｒ，Ｇ，Ｂの３原色のデータ）のことである。ＲＡＷデータは色味、風合いの調整が容易であるが、ファイルサイズが大きく、記録に時間がかかるという特性をもつ。そこで、ＲＡＷデータをＹＵＶデータに変換して、データ量を削減する。ＹＵＶは輝度・色差マルチプレクス信号のことであり、Ｙは輝度データ、Ｕは赤の色差データ、Ｖは青の色差データである。ＹＵＶ信号をＹＣｂＣｒ信号ということもある（ＣｂとＣｒはそれぞれＢ−ＹとＲ−Ｙの色差信号）。一般にＲＧＢデータの各要素データ（Ｒデータ、Ｇデータ、Ｂデータ）は輝度信号Ｙに対して、Ｇ−Ｙ、Ｒ−Ｙ、Ｂ−Ｙの３つの色差信号で表現できるうえ、これら３つの色差信号の冗長を取り除けば、Ｇ−Ｙは、Ｇ−Ｙ＝α（Ｒ−Ｙ）−β（Ｂ−Ｙ）で再現できるので、生成しなくてもよく、データ量の削減が可能である。これは、「人間の視覚特性は輝度信号よりも色差信号に対して鈍感である」と言う事実を利用したものである。ＲＧＢのＲＡＷデータからＹＵＶデータを生成するに当たり、外部メモリからＲデータ、Ｂデータ、Ｇデータを順次に読み出す。このＲデータ、Ｂデータ、Ｇデータへのアクセスパターンはアクセスアドレスを随時切り替える必要のある特定のアクセスパターンとなるので、本発明の手法を適用することにより、高いアクセス効率を確保することが可能となる。
【００１６】
また上記の構成のメモリ制御装置において、前記メモリ制御部は、前記先読み機能の発動において、前記外部メモリのデータとしてＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）の補色ＲＡＷデータを対象とするという態様がある。この場合も、本発明の手法を適用することにより、高いアクセス効率を確保することが可能となる。
【００１７】
また、本発明によるカメラシステムは、上記のいずれかのメモリ制御装置と、光学レンズおよび外部メモリを搭載してなるものである。
【発明の効果】
【００１８】
本発明によれば、データ処理におけるアクセスパターンがアクセスアドレスを随時切り替える必要のある特定のパターンであることを認識し、その特定のアクセスパターンにおいても、高いアクセス効率を確保することができる。
【００１９】
とりわけ、カメラシステムにおいて、最小限のメモリ追加によるシステム構成で、デジタルカメラの特有のデータアクセス処理を効率化することができる。特に、ＲＧＢやその補色のＲＡＷデータを変換してＹＵＶデータを生成するときに、高速処理を実現できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明にかかわるメモリ制御装置を伴うカメラ制御システムの実施の形態を図面を用いて詳細に説明する。なお、以下で説明する実施の形態はあくまで一例であり、様々な改変を行うことが可能である。
【００２１】
図１は本発明の実施の形態におけるメモリ制御装置を伴うカメラ制御システムの構成を示すブロック図である。
【００２２】
このカメラ制御システムは、大きな構成要素として、被写体からの光信号を集光しイメージセンサに入射するレンズ部２０と、撮像によって得られた画像データを表示データ、記録データとして処理するカメラ処理部Ａと、処理する画像データを一時記憶するワーク領域としての外部メモリ３０と、記録データを記録保存する記録媒体４０とで構成されている。
【００２３】
カメラ処理部Ａは、イメージセンサ１と、撮像部２と、画像処理部３と、圧縮伸張部４と、表示出力部５と、表示モニタ部６と、外部メモリ３０にアクセスしてデータの読み書きを行うメモリ制御部７と、ＣＰＵ８と、外部メモリ３０に対するアクセスを高速化するためのバッファ部９と、メモリ制御部７が外部メモリ３０にアクセスする際のアドレスを取得するアドレス取得部１０と、アドレス取得部１０により順次取得されるアドレスの差分情報を一時記憶するアドレスメモリ部１１と、アドレスメモリ部１１における差分情報を基に順次アクセスのアドレスが一定周期をもつかを認識する周期認識部１２と、事前にＣＰＵ８により閾値を格納する閾値保持部１３と、周期認識部１２による一定周期の連続回数が閾値保持部１３の閾値を超えるか否かを判定する一定周期判定部１４とで構成されている。
【００２４】
ＣＰＵ８は、レンズ部２０、イメージセンサ１、撮像部２、画像処理部３、圧縮伸張部４、表示出力部５、メモリ制御部７および閾値保持部１３を制御するように構成されている。アドレス取得部１０は、メモリ制御部７が外部メモリ３０からデータを読み出してバッファ部９へバッファリングする際に、そのデータが一時記憶されていた外部メモリ３０上のアドレスを取得する。メモリ制御部７は、一定周期判定部１４によって一定周期の連続回数が閾値を超えると判定されたときに、先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って外部メモリ３０に対し先読みのアクセスを行って、その先読みデータをバッファ部９の先読みバッファ９ｂにバッファリングするように構成されている。
【００２５】
図２はメモリ制御装置における要部の構成要素を抜粋し、バッファ部９とアドレスメモリ部１１の構成を詳細に示したブロック図である。
【００２６】
バッファ部９は、Ｎ段のバッファ９ａとＮ段の先読みバッファ９ｂから構成されている。バッファ９ａは先読み以外のデータをバッファリングする部分（現在アクセスしているデータをバッファリングしている部分）であり、先読みバッファ９ｂは先読みのデータをバッファリングする部分である。アドレスメモリ部１１は、アドレス取得部１０により取得されたアドレスを差分の状態で退避保存するＮ段分のアドレスメモリ１１ａを備えている。
【００２７】
次に、上記のように構成されたメモリ制御装置を伴うカメラ制御システムの動作を説明する。
【００２８】
被写体からの光信号がレンズ部２０によってイメージセンサ１上に集光され、イメージセンサ１によって電荷信号に変換される。電荷信号は撮像部２によってＡＤ変換され、得られたデジタルの撮像データはメモリ制御部７を介して外部メモリ３０に一時記憶される。
【００２９】
外部メモリ３０の撮像データはメモリ制御部７からバッファ部９を介して画像処理部３に送られて画像処理され、表示データとしてメモリ制御部７を介して外部メモリ３０に格納される。また、圧縮伸張部４によって圧縮処理されて得られた符号データがメモリ制御部７を介して外部メモリ３０に格納される。外部メモリ３０に格納された表示データはメモリ制御部７から表示出力部５を介して表示モニタ部６に出力される。また外部メモリ３０に格納された符号データはメモリ制御部７を介して記録媒体４０に記録保存される。
【００３０】
上記の動作においては、メモリ制御部７が外部メモリ３０に一時記憶されているデータを読み出し、バッファ部９にバッファリングする。メモリ制御部７が外部メモリ３０からデータをバッファ部９に読み出すとき、アドレス取得部１０は読み出しデータのアドレスを取得し、アドレスメモリ部１１はアドレスの差分情報を一時記憶する。アドレスメモリ部１１にアドレスの差分情報が格納されていないときは、初回のアクセスであると判断し、アドレスをそのまま一時記憶する。なお、前記格納情報に関しては、必ずアドレス差分である必要はなく、常にアドレスを退避しておき、別途差分を取る方法で実現しても構わない。
【００３１】
同時に周期認識部１２はアドレスメモリ部１１からアドレスの差分情報を取得し、順次アクセスのアドレスが一定周期をもつかを認識する。さらに、一定周期判定部１４は、周期認識部１２によって認識された一定周期の連続回数を閾値保持部１３に格納されている閾値と比較し、連続回数が閾値を超えていると判断したときにメモリ制御部７の先読み機能をアクティブにする。その結果、メモリ制御部７は、次回アクセスが予想されるアドレスに従って外部メモリ３０にアクセスして読み出したデータを先読みバッファ９ｂにバッファリングする。
【００３２】
上記の処理を自動的に実行することで、カメラデータ処理におけるアクセスパターンがアクセスアドレスを随時切り替える必要のある特定のパターンであることを認識し、その特定のアクセスパターンにおいても、高速なアクセスを実現し、高いアクセス効率を確保する。
【００３３】
図３は本発明の具体的実施例を示すデータ構成であり、この図３を用いて上記の図１、図２での具体的な処理方法の例を説明する。
【００３４】
外部メモリ３０上に一時記憶されているデータがベイヤー配列のＲデータ５１、Ｇデータ５２、Ｂデータ５３、Ｇデータ５４で構成されているものとする。一般的なカメラ処理として、このＲＧＢデータを基にＹＶＵデータを生成し、ＹＵＶ形式のデータの表示読み出しや圧縮処理を行う。そのときの処理速度は、ＲＧＢデータの読み出し処理速度に律速される。ＲＧＢデータは、色情報ごとに配置されているため、高速読み出しがむずかしいデータ形式である。
【００３５】
上記によりバッファ部９にバッファリングされたデータは、画像処理部３にデータ転送され、画像処理されたＹＣデータ５５がバッファ部９、メモリ制御部７を介して外部メモリ３０へ格納される。このとき、バッファ部９では外部メモリ３０へのアクセス効率を良くするため、アクセスバスの形式に沿ったアクセスができるようにバッファし、メモリアクセスする。前記処理により次アクセス時もバッファ部９からデータを読み出すため、高速アクセスを実現できる。
【００３６】
図２を用いてアドレスをＮ段退避する方法をより詳細に示す。外部メモリ３０からメモリ制御部７を介して読み出されたデータは、バッファ部９の先頭にバッファリングされる。このときアクセスしたアドレスは同様にアドレスメモリ部１１の先頭に一時記憶される。次回のアクセスではデータ情報をバッファ部９、アドレスはアドレスメモリ部１１からの差分をアドレスメモリ１１ａに退避する。このアドレスの差分変化量が一定であるとき、先読み機能をアクティブし、アドレスメモリの差分情報から、次回の先読みアドレスを計算し、先読みバッファ９ｂに次アクセスの情報を先読みすることで高速化を実現する。
【産業上の利用可能性】
【００３７】
本発明のメモリ制御装置は、デジタルのカメラシステムの特定データパターンを認識し、大幅なメモリ追加をすることなく処理の高速化を実現する技術として有用である。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態におけるメモリ制御装置を伴うカメラ制御システムの構成を示すブロック図
【図２】本発明の実施の形態のメモリ制御装置における要部の構成要素を抜粋し、バッファ部とアドレスメモリ部の構成を詳細に示したブロック図
【図３】本発明の具体的実施例を示すカメラデータ変換時のデータ構成例
【符号の説明】
【００３９】
Ａ カメラ処理部
１ イメージセンサ
２ 撮像部
３ 画像処理部
４ 圧縮伸張部
５ 表示出力部
６ 表示モニタ部
７ メモリ制御部
８ ＣＰＵ
９ バッファ部
１０ アドレス取得部
１１ アドレスメモリ部
１２ 周期認識部
１３ 一定周期判定部
１４ 閾値保持部
２０ レンズ部
３０ 外部メモリ
４０ 記録媒体
５１ Ｒデータ
５２ Ｇデータ
５３ Ｂデータ
５４ Ｇデータ
５５ ＹＣデータ
【技術分野】
【０００１】
本発明は、デジタルカメラ等における外部メモリに対するアクセスを高速に行うメモリ制御装置にかかわり、特にはデータ転送の高速化を実現するためのデータ先読みの技術に関する。
【背景技術】
【０００２】
デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等）においては、ＣＣＤ(Charge Coupled Device)などのイメージセンサで得られた撮像データをＳＤＲＡＭ（Synchronous ＤＲＡＭ）などの外部メモリに一時記憶し、次に外部メモリから撮像データを読み出し、拡大／縮小のズーム処理などの信号処理演算を行い、演算後のデータを一時記憶し、さらにモニタ部に適した表示データに変換したり、長期保存用に符号データに変換する。
【０００３】
近年、イメージセンサの解像度が高くなり、また高解像度の静止画をより高速に連写する必要が出てきたことや高解像度のスムーズな動画までも記録したいという市場要望などがあって、ＳＤＲＡＭ等の外部メモリに対するアクセス速度はますます高速化し、メモリ制御を高速化するための様々な方法が提案されている。
【０００４】
一般的なデジタルカメラのデータ処理として、バンク制御する方法が考えられている。特許文献１は、連続撮影および動画撮影において、メモリ制御にバンク、バンクスケジューリング、バンクのモニタを行うことで、外部入出力処理と内部信号処理の複数並列処理を行う方法の一例を示したものである。
【０００５】
また特許文献２は、キャッシュメモリと主記憶装置の間に設けられたプリフェッチバッファにおけるヒット率を上げるためのもので、データの先読み方法やサーチを行う方法の一例を示したものである。
【特許文献１】特開２００５−１７３９６２号公報
【特許文献２】特開平６−２８１８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１は、外部メモリ上に存在するデータを扱うとき、メモリアクセスをバンク管理することで処理の高速化、効率化を図る。これによると、メモリアクセスが順次アクセスのとき、処理が効率的に実行される。しかし、デジタルカメラの特定データ処理に特化したものではないため、アクセス先アドレスが頻繁に切り替わるデータ処理に関しては、最適で高速なアクセスを発揮するとはいえない。
【０００７】
例えばカメラ特有の処理であるＹＵＶ変換処理に関して説明する。撮像系にて取り込んだデータを表示する形式（例えばＹＵＶ形式）に変換するとき、外部メモリに対しＲデータ、Ｇデータ、Ｂデータのようなアドレスが異なる領域へのアクセスを行い、取得したデータを基にＹＵＶデータを生成する。外部メモリ上に配置されているＲＧＢデータはそれぞれが異なる領域に配置されているため、ＹＵＶ変換する際のアクセスに適した形式とはいえない。そのため、内部バッファにて行う先読み処理が最適に実施できず、都度外部へのアクセスが発生し、変換速度に影響を与える。
【０００８】
特許文献１では、図３で示しているカメラデータ変換時のデータ構成例のデータ変換を行うとき、ＲデータＲ１、ＧデータＧ１１、ＢデータＢ１、ＧデータＧ２１と順次にアクセスが発生するが、ＲデータＲ１に対しＲデータＲ２の先読みが有効に行われないため、アクセス効率が悪い。
【０００９】
また特許文献２は、キャッシュメモリと主記憶装置の間に置かれるプリフェッチバッファを想定していて、大容量メモリが必要である。それにもかかわらず、当該データと前回アクセスデータとのアドレス差分のＫ倍の前後のアドレスを先読みするため、Ｒデータ、Ｂデータ、Ｇデータのようにアドレスが飛ぶ間隔がデータ毎に異なっているデータへのアクセスには効果が薄く、ヒット率が下がる。
【００１０】
以上のように従来の技術においては、外部メモリに対してアクセスを行うとき、データが特定のパターンで構成されていることから順次アクセスができず、アクセスするアドレスを随時切り替える必要があるとき、アクセス効率が悪いため、アクセス速度が低下してしまう。
【００１１】
本発明は、このような事情に鑑みて創作したものであり、アクセスアドレスを随時切り替える必要のある特定のアクセスパターンにおいても、高速なアクセスを実現し、高いアクセス効率を確保することを目的としている。
【課題を解決するための手段】
【００１２】
本発明によるメモリ制御装置は、
外部メモリにアクセスしてデータの読み書きを行うメモリ制御部と、
前記外部メモリに対するアクセスを高速化するためのバッファ部と、
前記メモリ制御部が前記外部メモリにアクセスする際のアドレスを取得するアドレス取得手段と、
前記アドレス取得手段により順次取得されるアドレスの差分情報を一時記憶するアドレスメモリ部と、
前記アドレスメモリ部における差分情報を基に順次アクセスのアドレスが一定周期をもつかを認識する周期認識手段と、
前記周期認識手段による一定周期の連続回数が閾値を超えるか否かを判定する一定周期判定手段とを備え、
前記メモリ制御部は、前記一定周期判定手段によって前記一定周期の連続回数が閾値を超えると判定されたときに、先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って前記外部メモリに対し先読みのアクセスを行って、その先読みデータを前記バッファ部にバッファリングするように構成されているものである。
【００１３】
上記の構成において、メモリ制御部は外部メモリにアクセスし外部メモリに格納されているデータを読み出してバッファ部にバッファリングする。メモリ制御部が読み出したデータをバッファ部にバッファリングするとき、アドレス取得手段がメモリアクセスのアドレスを取得する。メモリ制御部による外部メモリに対するアクセスは順次行われ、アドレスも順次に取得されるが、その順次取得されるアドレスの差分情報がアドレスメモリ部に一時記憶される。そして、周期認識手段はアドレスメモリ部からアドレスの差分情報をチェックし、順次アクセスのアドレスが一定周期をもつかを認識する。さらに、一定周期判定手段は、周期認識手段による一定周期の連続回数が閾値を超えるか否かを判定する。一定周期の連続回数が閾値を超えるとき、メモリ制御部は、先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って外部メモリに対し先読みのアクセスを行って、その先読みデータをバッファ部にバッファリングする。上記の処理を自動実行することで、データ処理におけるアクセスパターンがアクセスアドレスを随時切り替える必要のある特定のパターンであることを認識し、その特定のアクセスパターンにおいても、高速なアクセスを実現し、高いアクセス効率を確保することが可能となる。
【００１４】
上記構成のメモリ制御装置において、前記メモリ制御部は、前記先読み機能がアクティブの状態から、前記周期認識手段または前記一定周期判定手段が前記一定周期でない状態に変化したときに、前記先読み機能をインアクティブにするという態様がある。このように構成すれば、特定のアクセスパターンに対する先読みのアクセスから抜け出すことが可能となる。
【００１５】
また上記の構成のメモリ制御装置において、前記メモリ制御部は、前記先読み機能の発動において、前記外部メモリのデータとしてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色ＲＡＷデータを対象とするという態様がある。ＲＡＷデータというのは、デジタルカメラでイメージセンサが取得する生の（raw）データ（Ｒ，Ｇ，Ｂの３原色のデータ）のことである。ＲＡＷデータは色味、風合いの調整が容易であるが、ファイルサイズが大きく、記録に時間がかかるという特性をもつ。そこで、ＲＡＷデータをＹＵＶデータに変換して、データ量を削減する。ＹＵＶは輝度・色差マルチプレクス信号のことであり、Ｙは輝度データ、Ｕは赤の色差データ、Ｖは青の色差データである。ＹＵＶ信号をＹＣｂＣｒ信号ということもある（ＣｂとＣｒはそれぞれＢ−ＹとＲ−Ｙの色差信号）。一般にＲＧＢデータの各要素データ（Ｒデータ、Ｇデータ、Ｂデータ）は輝度信号Ｙに対して、Ｇ−Ｙ、Ｒ−Ｙ、Ｂ−Ｙの３つの色差信号で表現できるうえ、これら３つの色差信号の冗長を取り除けば、Ｇ−Ｙは、Ｇ−Ｙ＝α（Ｒ−Ｙ）−β（Ｂ−Ｙ）で再現できるので、生成しなくてもよく、データ量の削減が可能である。これは、「人間の視覚特性は輝度信号よりも色差信号に対して鈍感である」と言う事実を利用したものである。ＲＧＢのＲＡＷデータからＹＵＶデータを生成するに当たり、外部メモリからＲデータ、Ｂデータ、Ｇデータを順次に読み出す。このＲデータ、Ｂデータ、Ｇデータへのアクセスパターンはアクセスアドレスを随時切り替える必要のある特定のアクセスパターンとなるので、本発明の手法を適用することにより、高いアクセス効率を確保することが可能となる。
【００１６】
また上記の構成のメモリ制御装置において、前記メモリ制御部は、前記先読み機能の発動において、前記外部メモリのデータとしてＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）の補色ＲＡＷデータを対象とするという態様がある。この場合も、本発明の手法を適用することにより、高いアクセス効率を確保することが可能となる。
【００１７】
また、本発明によるカメラシステムは、上記のいずれかのメモリ制御装置と、光学レンズおよび外部メモリを搭載してなるものである。
【発明の効果】
【００１８】
本発明によれば、データ処理におけるアクセスパターンがアクセスアドレスを随時切り替える必要のある特定のパターンであることを認識し、その特定のアクセスパターンにおいても、高いアクセス効率を確保することができる。
【００１９】
とりわけ、カメラシステムにおいて、最小限のメモリ追加によるシステム構成で、デジタルカメラの特有のデータアクセス処理を効率化することができる。特に、ＲＧＢやその補色のＲＡＷデータを変換してＹＵＶデータを生成するときに、高速処理を実現できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明にかかわるメモリ制御装置を伴うカメラ制御システムの実施の形態を図面を用いて詳細に説明する。なお、以下で説明する実施の形態はあくまで一例であり、様々な改変を行うことが可能である。
【００２１】
図１は本発明の実施の形態におけるメモリ制御装置を伴うカメラ制御システムの構成を示すブロック図である。
【００２２】
このカメラ制御システムは、大きな構成要素として、被写体からの光信号を集光しイメージセンサに入射するレンズ部２０と、撮像によって得られた画像データを表示データ、記録データとして処理するカメラ処理部Ａと、処理する画像データを一時記憶するワーク領域としての外部メモリ３０と、記録データを記録保存する記録媒体４０とで構成されている。
【００２３】
カメラ処理部Ａは、イメージセンサ１と、撮像部２と、画像処理部３と、圧縮伸張部４と、表示出力部５と、表示モニタ部６と、外部メモリ３０にアクセスしてデータの読み書きを行うメモリ制御部７と、ＣＰＵ８と、外部メモリ３０に対するアクセスを高速化するためのバッファ部９と、メモリ制御部７が外部メモリ３０にアクセスする際のアドレスを取得するアドレス取得部１０と、アドレス取得部１０により順次取得されるアドレスの差分情報を一時記憶するアドレスメモリ部１１と、アドレスメモリ部１１における差分情報を基に順次アクセスのアドレスが一定周期をもつかを認識する周期認識部１２と、事前にＣＰＵ８により閾値を格納する閾値保持部１３と、周期認識部１２による一定周期の連続回数が閾値保持部１３の閾値を超えるか否かを判定する一定周期判定部１４とで構成されている。
【００２４】
ＣＰＵ８は、レンズ部２０、イメージセンサ１、撮像部２、画像処理部３、圧縮伸張部４、表示出力部５、メモリ制御部７および閾値保持部１３を制御するように構成されている。アドレス取得部１０は、メモリ制御部７が外部メモリ３０からデータを読み出してバッファ部９へバッファリングする際に、そのデータが一時記憶されていた外部メモリ３０上のアドレスを取得する。メモリ制御部７は、一定周期判定部１４によって一定周期の連続回数が閾値を超えると判定されたときに、先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って外部メモリ３０に対し先読みのアクセスを行って、その先読みデータをバッファ部９の先読みバッファ９ｂにバッファリングするように構成されている。
【００２５】
図２はメモリ制御装置における要部の構成要素を抜粋し、バッファ部９とアドレスメモリ部１１の構成を詳細に示したブロック図である。
【００２６】
バッファ部９は、Ｎ段のバッファ９ａとＮ段の先読みバッファ９ｂから構成されている。バッファ９ａは先読み以外のデータをバッファリングする部分（現在アクセスしているデータをバッファリングしている部分）であり、先読みバッファ９ｂは先読みのデータをバッファリングする部分である。アドレスメモリ部１１は、アドレス取得部１０により取得されたアドレスを差分の状態で退避保存するＮ段分のアドレスメモリ１１ａを備えている。
【００２７】
次に、上記のように構成されたメモリ制御装置を伴うカメラ制御システムの動作を説明する。
【００２８】
被写体からの光信号がレンズ部２０によってイメージセンサ１上に集光され、イメージセンサ１によって電荷信号に変換される。電荷信号は撮像部２によってＡＤ変換され、得られたデジタルの撮像データはメモリ制御部７を介して外部メモリ３０に一時記憶される。
【００２９】
外部メモリ３０の撮像データはメモリ制御部７からバッファ部９を介して画像処理部３に送られて画像処理され、表示データとしてメモリ制御部７を介して外部メモリ３０に格納される。また、圧縮伸張部４によって圧縮処理されて得られた符号データがメモリ制御部７を介して外部メモリ３０に格納される。外部メモリ３０に格納された表示データはメモリ制御部７から表示出力部５を介して表示モニタ部６に出力される。また外部メモリ３０に格納された符号データはメモリ制御部７を介して記録媒体４０に記録保存される。
【００３０】
上記の動作においては、メモリ制御部７が外部メモリ３０に一時記憶されているデータを読み出し、バッファ部９にバッファリングする。メモリ制御部７が外部メモリ３０からデータをバッファ部９に読み出すとき、アドレス取得部１０は読み出しデータのアドレスを取得し、アドレスメモリ部１１はアドレスの差分情報を一時記憶する。アドレスメモリ部１１にアドレスの差分情報が格納されていないときは、初回のアクセスであると判断し、アドレスをそのまま一時記憶する。なお、前記格納情報に関しては、必ずアドレス差分である必要はなく、常にアドレスを退避しておき、別途差分を取る方法で実現しても構わない。
【００３１】
同時に周期認識部１２はアドレスメモリ部１１からアドレスの差分情報を取得し、順次アクセスのアドレスが一定周期をもつかを認識する。さらに、一定周期判定部１４は、周期認識部１２によって認識された一定周期の連続回数を閾値保持部１３に格納されている閾値と比較し、連続回数が閾値を超えていると判断したときにメモリ制御部７の先読み機能をアクティブにする。その結果、メモリ制御部７は、次回アクセスが予想されるアドレスに従って外部メモリ３０にアクセスして読み出したデータを先読みバッファ９ｂにバッファリングする。
【００３２】
上記の処理を自動的に実行することで、カメラデータ処理におけるアクセスパターンがアクセスアドレスを随時切り替える必要のある特定のパターンであることを認識し、その特定のアクセスパターンにおいても、高速なアクセスを実現し、高いアクセス効率を確保する。
【００３３】
図３は本発明の具体的実施例を示すデータ構成であり、この図３を用いて上記の図１、図２での具体的な処理方法の例を説明する。
【００３４】
外部メモリ３０上に一時記憶されているデータがベイヤー配列のＲデータ５１、Ｇデータ５２、Ｂデータ５３、Ｇデータ５４で構成されているものとする。一般的なカメラ処理として、このＲＧＢデータを基にＹＶＵデータを生成し、ＹＵＶ形式のデータの表示読み出しや圧縮処理を行う。そのときの処理速度は、ＲＧＢデータの読み出し処理速度に律速される。ＲＧＢデータは、色情報ごとに配置されているため、高速読み出しがむずかしいデータ形式である。
【００３５】
上記によりバッファ部９にバッファリングされたデータは、画像処理部３にデータ転送され、画像処理されたＹＣデータ５５がバッファ部９、メモリ制御部７を介して外部メモリ３０へ格納される。このとき、バッファ部９では外部メモリ３０へのアクセス効率を良くするため、アクセスバスの形式に沿ったアクセスができるようにバッファし、メモリアクセスする。前記処理により次アクセス時もバッファ部９からデータを読み出すため、高速アクセスを実現できる。
【００３６】
図２を用いてアドレスをＮ段退避する方法をより詳細に示す。外部メモリ３０からメモリ制御部７を介して読み出されたデータは、バッファ部９の先頭にバッファリングされる。このときアクセスしたアドレスは同様にアドレスメモリ部１１の先頭に一時記憶される。次回のアクセスではデータ情報をバッファ部９、アドレスはアドレスメモリ部１１からの差分をアドレスメモリ１１ａに退避する。このアドレスの差分変化量が一定であるとき、先読み機能をアクティブし、アドレスメモリの差分情報から、次回の先読みアドレスを計算し、先読みバッファ９ｂに次アクセスの情報を先読みすることで高速化を実現する。
【産業上の利用可能性】
【００３７】
本発明のメモリ制御装置は、デジタルのカメラシステムの特定データパターンを認識し、大幅なメモリ追加をすることなく処理の高速化を実現する技術として有用である。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態におけるメモリ制御装置を伴うカメラ制御システムの構成を示すブロック図
【図２】本発明の実施の形態のメモリ制御装置における要部の構成要素を抜粋し、バッファ部とアドレスメモリ部の構成を詳細に示したブロック図
【図３】本発明の具体的実施例を示すカメラデータ変換時のデータ構成例
【符号の説明】
【００３９】
Ａ カメラ処理部
１ イメージセンサ
２ 撮像部
３ 画像処理部
４ 圧縮伸張部
５ 表示出力部
６ 表示モニタ部
７ メモリ制御部
８ ＣＰＵ
９ バッファ部
１０ アドレス取得部
１１ アドレスメモリ部
１２ 周期認識部
１３ 一定周期判定部
１４ 閾値保持部
２０ レンズ部
３０ 外部メモリ
４０ 記録媒体
５１ Ｒデータ
５２ Ｇデータ
５３ Ｂデータ
５４ Ｇデータ
５５ ＹＣデータ
【特許請求の範囲】
【請求項１】
外部メモリにアクセスしてデータの読み書きを行うメモリ制御部と、
前記外部メモリに対するアクセスを高速化するためのバッファ部と、
前記メモリ制御部が前記外部メモリにアクセスする際のアドレスを取得するアドレス取得手段と、
前記アドレス取得手段により順次取得されるアドレスの差分情報を一時記憶するアドレスメモリ部と、
前記アドレスメモリ部における差分情報を基に順次アクセスのアドレスが一定周期をもつかを認識する周期認識手段と、
前記周期認識手段による一定周期の連続回数が閾値を超えるか否かを判定する一定周期判定手段とを備え、
前記メモリ制御部は、前記一定周期判定手段によって前記一定周期の連続回数が閾値を超えると判定されたときに、先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って前記外部メモリに対し先読みのアクセスを行って、その先読みデータを前記バッファ部にバッファリングするように構成されているメモリ制御装置。
【請求項２】
前記メモリ制御部は、前記先読み機能がアクティブの状態から、前記周期認識手段または前記一定周期判定手段が前記一定周期でない状態に変化したときに、前記先読み機能をインアクティブにする請求項１に記載のメモリ制御装置。
【請求項３】
前記メモリ制御部は、前記先読み機能の発動において、前記外部メモリのデータとしてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色ＲＡＷデータを対象とする請求項１または請求項２に記載のメモリ制御装置。
【請求項４】
前記メモリ制御部は、前記先読み機能の発動において、前記外部メモリのデータとしてＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）の補色ＲＡＷデータを対象とする請求項１または請求項２に記載のメモリ制御装置。
【請求項５】
請求項１から請求項４までのいずれかに記載のメモリ制御装置と、光学レンズおよび外部メモリを搭載してなるカメラシステム。
【請求項１】
外部メモリにアクセスしてデータの読み書きを行うメモリ制御部と、
前記外部メモリに対するアクセスを高速化するためのバッファ部と、
前記メモリ制御部が前記外部メモリにアクセスする際のアドレスを取得するアドレス取得手段と、
前記アドレス取得手段により順次取得されるアドレスの差分情報を一時記憶するアドレスメモリ部と、
前記アドレスメモリ部における差分情報を基に順次アクセスのアドレスが一定周期をもつかを認識する周期認識手段と、
前記周期認識手段による一定周期の連続回数が閾値を超えるか否かを判定する一定周期判定手段とを備え、
前記メモリ制御部は、前記一定周期判定手段によって前記一定周期の連続回数が閾値を超えると判定されたときに、先読み機能をアクティブにし、次回アクセスが予想されるアドレスに従って前記外部メモリに対し先読みのアクセスを行って、その先読みデータを前記バッファ部にバッファリングするように構成されているメモリ制御装置。
【請求項２】
前記メモリ制御部は、前記先読み機能がアクティブの状態から、前記周期認識手段または前記一定周期判定手段が前記一定周期でない状態に変化したときに、前記先読み機能をインアクティブにする請求項１に記載のメモリ制御装置。
【請求項３】
前記メモリ制御部は、前記先読み機能の発動において、前記外部メモリのデータとしてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色ＲＡＷデータを対象とする請求項１または請求項２に記載のメモリ制御装置。
【請求項４】
前記メモリ制御部は、前記先読み機能の発動において、前記外部メモリのデータとしてＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）の補色ＲＡＷデータを対象とする請求項１または請求項２に記載のメモリ制御装置。
【請求項５】
請求項１から請求項４までのいずれかに記載のメモリ制御装置と、光学レンズおよび外部メモリを搭載してなるカメラシステム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−１６１６３１（Ｐ２０１０−１６１６３１Ａ）
【公開日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願番号】特願２００９−２４９７（Ｐ２００９−２４９７）
【出願日】平成２１年１月８日（２００９．１．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願日】平成２１年１月８日（２００９．１．８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]