半導体集積回路及び全周囲映像システム
【課題】複数台のカメラでの撮影による画像データを半導体メモリへ格納する場合のバス負荷を軽減する。
【解決手段】半導体集積回路（１０）は、複数のカメラ（３１〜３４）と半導体メモリ（３５）とが接続可能に構成される。この半導体集積回路は、複数の第１インタフェース（１１〜１４）と、第２インタフェース（２１）と、バス（２２）と、複数の画像処理モジュール（１５〜１８）を含む。そして上記画像処理モジュールは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含む。予め指定された領域以外の画像データを、上記画像処理モジュールでの歪み補正対象から外すことにより、半導体メモリに転送される画像データの量を削減する。
【解決手段】半導体集積回路（１０）は、複数のカメラ（３１〜３４）と半導体メモリ（３５）とが接続可能に構成される。この半導体集積回路は、複数の第１インタフェース（１１〜１４）と、第２インタフェース（２１）と、バス（２２）と、複数の画像処理モジュール（１５〜１８）を含む。そして上記画像処理モジュールは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含む。予め指定された領域以外の画像データを、上記画像処理モジュールでの歪み補正対象から外すことにより、半導体メモリに転送される画像データの量を削減する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を行う半導体集積回路に係り、例えば全周囲映像システムに適用して有効な技術に関する。
【背景技術】
【０００２】
駐車場等における車両の安全かつ円滑な運転操作を支援するシステムとして全周囲映像システムが知られている。この全周囲映像システムは、車両に搭載された複数台の車載カメラによる車両の周辺の撮影映像に基づいて、車両の周辺を車両の上方から見下ろしたような画像（俯瞰画像）を生成し、それを車内のディスプレイに表示するようにしている。この種の技術について記載された文献として、特許文献１，２を挙げることができる。
【０００３】
特許文献１によれば、車載カメラとして、魚眼レンズを備えたカメラが用いられ、撮像面に結像された撮影映像のうち、車両周辺画像の生成に使用される所定の使用映像領域内の映像のみを切り出し、切り出された映像を俯瞰画像へと視点変換し、得られた俯瞰画像を合成することで車両周辺画像を形成することが記載されている。
【０００４】
特許文献２には、複数のカメラと、それに対応する歪み補正部、及び投影変換部を備えた車両用画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２６７６０３号公報
【特許文献２】特開２００９−１７１５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
システムの動作に必要な機能を一つの半導体チップに実装する方式として、ＳｏＣ（System-on-a-Chip）を挙げることができる。全周囲映像システムにＳｏＣを適用することについて本願発明者が検討したところ、以下の課題が見いだされた。
【０００７】
全周囲映像システムにおいて、上記複数台の車載カメラでの撮影によって得られた画像を半導体メモリでバッファリングする必要がある。つまり、上記半導体メモリは、プロセッサにおけるバスに結合され、上記複数台の車載カメラでの撮影によって得られた画像データが半導体メモリに順次格納される一方で、当該半導体メモリ内の画像データが読み出されて画像処理されてから表示装置に表示される。
【０００８】
しかしながら、上記複数台の車載カメラでの撮影による画像データをそのままの状態で上記半導体メモリに取り込むには、上記半導体メモリに膨大な記憶容量が必要とされるし、上記半導体メモリに対する書き込みアクセス及び読み出しアクセスによるバス負荷が重くならざるを得ない。特にＳｏＣの場合には、上記半導体メモリに対する書き込みアクセス及び読み出しアクセスによるバス負荷の増大によって、上記バスを利用する他のデータ処理が不所望に遅延することが考えられる。尚、特許文献１，２においては、このような課題について考慮されていない。
【０００９】
本発明の目的は、複数台のカメラでの撮影による画像データを半導体メモリへ格納する場合のバス負荷を軽減するための技術を提供することにある。
【００１０】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１１】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１２】
すなわち、半導体集積回路は、複数のカメラと半導体メモリとが接続可能に構成される。そしてこの半導体集積回路は、上記カメラで撮影することで得られた画像データを取り込むための複数の第１インタフェースと、上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェースと、上記第２インタフェースが結合されたバスとを含む。また上記半導体集積回路は、それぞれ上記第１インタフェースに対応して配置され、それぞれ対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための複数の画像処理モジュールを含む。そして上記画像処理モジュールは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含む。
【発明の効果】
【００１３】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１４】
すなわち、複数台のカメラでの撮影による画像データを半導体メモリへ格納する場合のバス負荷を軽減することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムの構成例ブロック図である。
【図２】図１に示されるプロセッサの主要部における画像の説明図である。
【図３】図１に示されるプロセッサで処理された画像の説明図である。
【図４】図１に示されるプロセッサにおける画像処理モジュールの構成例ブロック図である。
【図５】図１に示されるプロセッサにおける画像処理モジュールで実行されるディスプレイリストのフォーマット説明図である。
【図６】図１に示されるプロセッサにおける画像処理モジュール内のラインメモリと、先頭ライン指定レジスタ、メッシュサイズレジスタ、終了ライン指定レジスタ、ＳＹＮＣＷ命令の関係説明図である。
【図７】図１に示されるプロセッサにおける画像処理モジュール内の処理ブロックで行われる歪み補正処理の説明図である。
【図８】図１に示されるプロセッサに含まれる表示制御部の構成例ブロック図である。
【図９】図１に示される全周囲映像システムに含まれる半導体メモリにおける格納領域の説明図である。
【図１０】図１に示されるプロセッサにおける処理のフローチャートである。
【図１１】図１に示されるプロセッサにおける処理のフローチャートである。
【図１２】全周囲映像システムにおけるカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。
【図１３】全周囲映像システムにおけるカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。
【図１４】図１５に示される構成を採用した場合のカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。
【図１５】本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムの別の構成例ブロック図である。
【発明を実施するための形態】
【００１６】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１７】
〔１〕本発明の代表的な実施の形態に係る半導体集積回路（１０）は、複数のカメラ（３１〜３４）と半導体メモリ（３５）とが接続可能に構成される。そしてこの半導体集積回路は、上記カメラで撮影することで得られた画像データを取り込むための複数の第１インタフェース（１１〜１４）と、上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェース（２１）と、上記第２インタフェースが結合されたバス（２２）とを含む。また上記半導体集積回路は、それぞれ上記第１インタフェースに対応して配置され、それぞれ対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための複数の画像処理モジュール（１５〜１８）を含む。そして上記画像処理モジュール（１５〜１８）は、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含む。
【００１８】
上記の構成によれば、複数の画像処理モジュールにより、予め指定された領域内の画像データについて歪み補正が行われ、その歪み補正後の上記領域内の画像データが、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込まれるようになっている。このため、予め指定された領域以外の画像データが、上記画像処理モジュールでの歪み補正対象から外されることにより、画像処理モジュールからバス及び第２インタフェースを介して半導体メモリに転送される画像データの量を大幅に削減することができるので、上記半導体メモリに対する書き込みアクセスによる上記バスの負荷を軽減することができ、上記バスを利用する他のデータ処理を不所望に遅延させずに済む。また、上記画像処理モジュールでは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理が行われることで、予め指定された領域内の画像データの切り出し処理と、切り出された領域における画像の歪み補正処理とを同時に行うことができる。このため、予め指定された領域内の画像データの切り出し処理と、切り出された領域における画像の歪み補正処理とを別々の処理ブロックで別個に行う場合に比べて、処理の高速化を図ることができる。
【００１９】
〔２〕上記〔１〕において、上記半導体集積回路での処理済みの画像を表示装置に表示するために、上記半導体集積回路には、上記複数の画像処理モジュールで処理された画像データを上記半導体メモリから取り込んで合成して表示装置に表示制御するための表示制御部（１９）を設けることができる。
【００２０】
〔３〕上記〔２〕において、上記画像処理モジュールには、上記第１インタフェースを介して入力された画像データを格納するためのラインメモリ（４１）と、予め形成されたディスプレイリストを格納するためのディスプレイリストバッファ（４３）と、上記ディスプレイリストに従って、上記ラインメモリ内の画像データについて上記歪み補正を行うための処理ブロック（４２）とを設けることができる。
【００２１】
〔４〕上記〔３〕において、上記ディスプレイリストには、上記ラインメモリに格納されている画像データを座標変換してから上記半導体メモリに格納することを指示するための第１命令（描画命令）と、所定の条件成立までは次のディスプレイリストの実行を待たせるための第２命令（ＳＹＮＣＷ命令）とを記述することができる。また上記ディスプレイリストには、上記処理ブロックでの処理により１画面分の画像データが得られた時点で所定の割込み信号を形成するための第３命令（ＴＲＡＰ命令）を記述することができる。上記第１命令、上記第２命令、及び上記第３命令は上記処理部ブロックにおいて実行される。
【００２２】
〔５〕上記〔４〕において、上記半導体集積回路には、上記バスに結合された中央処理装置（２０）を設けることができる。上記中央処理装置は、上記ディスプレイリストにおける上記第３命令に起因する割込み信号に対応する割込み処理によって、上記半導体メモリ内の対応する画像データを、上記バスを介して上記表示制御部に書き込む処理を含む。
【００２３】
〔６〕上記〔５〕において、上記複数のカメラの撮影タイミングの適正化を図るため、上記複数のカメラの撮影タイミングを制御するための同期信号を外部出力可能なポート（１５１）を設けることができる。
【００２４】
〔７〕上記〔６〕に記載の半導体集積回路と、それに結合された上記複数のカメラ及び上記半導体メモリとを備えて全周囲映像システム（１００）を構成することができる。
【００２５】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００２６】
《実施の形態１》
図１には、本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムが示される。図１に示される全周囲映像システム１００は、プロセッサ１０、複数のカメラ３１〜３４、半導体メモリ（ＤＤＲ）３５、及び表示装置（ＬＣＤ）３６を含む。
【００２７】
プロセッサ１０は、特に制限されないが、全周囲映像システムの動作に必要な機能が実装されたＳｏＣとされ、公知の半導体集積回路製造技術によって単結晶シリコン基板などの一つの半導体基板に形成される。図１に示されるプロセッサ１０には、カメラ接続用端子Ｔ１〜Ｔ４、半導体メモリ接続用端子Ｔ５、表示装置接続用端子Ｔ６が設けられている。カメラ接続用端子Ｔ１〜Ｔ４にはカメラ３１〜３４が接続される。カメラ３１〜３４は、車両の前後左右を撮影するために当該車両に取り付けられたものである。このカメラ３１〜３４には、魚眼レンズを備えたカメラを適用することができる。魚眼レンズは約１８０度の画角を有し、広範囲の画像を映し出すことができるが、その画像は歪曲し、特に画像の周辺部は歪みが著しいため、歪み補正が行われる。尚、魚眼レンズに起因する歪みを補正する技術自体は公知である（例えば特許文献１参照）。半導体メモリ（ＤＤＲ）３５は、特に制限されないが、ＤＤＲ ＳＤＲＡＭ（Double-Data-Rate Synchronous Dynamic Random Access Memory）とされ、クロック信号の立ち上がり／立ち下がりのそれぞれでデータをやり取りし、理論上は同一クロックで動作するＳＤＲＡＭの２倍のデータ転送速度を得ることができる。表示装置（ＬＣＤ）３６は、車内の液晶ディスプレイとされる。
【００２８】
図１に示されるプロセッサ１０は、特に制限されないが、インタフェース１１〜１４，２１、画像処理モジュール（ＩＭＲ）１５〜１８、表示制御部（ＤＵ）１９、及び中央処理装置（ＣＰＵ）２０を含む。画像処理モジュール１５〜１８、表示制御部１９、中央処理装置２０及びインタフェース２１は、バス２２によって互いに信号のやり取りが可能に結合される。インタフェース１１〜１４は、それぞれカメラ接続用端子Ｔ１〜Ｔ４に結合され、対応するカメラ３１〜３４からの画像データを取り込む。インタフェース２１は、半導体メモリ接続用端子Ｔ５に対応して配置され、半導体メモリ３５との間でデータのやり取りを可能にする。画像処理モジュール１５〜１８は、それぞれインタフェース１１〜１４に対応して配置され、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記インタフェース２１を介して上記半導体メモリ３５に書き込む機能を有する。尚、画像処理モジュール１５〜１８では、上記歪み補正処理の他に輝度や色相を補正することができる。表示制御部１９は、インタフェース２１を介して上記半導体メモリ３５内の歪み補正処理後の撮影データを取り込んで重ね合わせ処理を行い、その処理結果を表示装置３６に出力する。中央処理装置２０は、所定のプログラムを実行することによって各部の動作制御を行う。この動作制御には、画像処理モジュール１５〜１８や表示制御部１９における各レジスタへの初期設定、半導体メモリ３５へのディスプレイリスト（ＤＬ）の設定、画像処理モジュール１５〜１８で処理された画像データの格納先とされる半導体メモリ３５内データ格納領域の切り替え、表示制御部１９のデータ取込アドレスの再設定等が含まれる。
【００２９】
図２には、図１に示されるプロセッサ１０における主要部の画像が模式的に示される。
【００３０】
魚眼レンズを備えたカメラ３１〜３４での撮影により、画像１，２，３，４が得られる。ここでは、カメラ３１により車両の前方の画像１が得られ、カメラ３２により車両の後方の画像２が得られ、カメラ３３により車両の右側の画像３が得られ、カメラ３４により車両の左側の画像４が得られるものとする。このような画像データが、それぞれ対応するインタフェース１１，１２，１３，１４を介して画像処理モジュール１５，１６，１７，１８に伝達される。図２におけるＡ，Ｂ，Ｃ，Ｄは、それぞれカメラ３１〜３４で撮影され、端子Ｔ１〜Ｔ４を介してプロセッサ１０へ入力され、インタフェース１１，１２，１３，１４から出力された画像を示している。画像処理モジュール１５では、入力された画像１（画像Ａ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が半導体メモリ３５に書き込まれる。画像処理モジュール１６では、入力された画像２（画像Ｂ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が１８０度回転されてから半導体メモリ３５に書き込まれる。画像処理モジュール１７では、入力された画像３（画像Ｃ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が右方向に９０度回転されてから半導体メモリ３５に書き込まれる。画像処理モジュール１８では、入力された画像４（画像Ｄ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が左方向に９０度回転されてから半導体メモリ３５に書き込まれる。このようにして半導体メモリ３５に書き込まれた画像は、表示制御部１９によって読み出される。表示制御部１９では、半導体メモリ３５から読み出した画像が、表示制御部１９内の各プレーンに格納され、上記各プレーンの画像が、例えば図３に示されるように、所定位置に配置されるように合成されて表示装置３６に伝達されて表示される。
【００３１】
図４には、画像処理モジュール１５の構成例が示される。
【００３２】
画像処理モジュール１５は、特に制限されないが、ラインメモリ４１、処理ブロック４２、ディスプレイリストバッファ４３、メモリ制御レジスタ４４、ラインメモリ制御レジスタ４５、ＩＭＲ制御レジスタ（ＣＲ）４６を含む。
【００３３】
ラインメモリ４１は、インタフェース１１を介して入力された画像データを表示系の走査線に対応して格納するためのメモリである。
【００３４】
処理ブロック４２は、予め指定された領域内の画像データについて歪み補正を行う。また、この処理ブロック４２では上記領域内の画像データについて輝度や色相も補正することができる。処理ブロック４２での処理は、所定のディスプレイリスト（ＤＬ）に従って行われる。処理ブロック４２はＤＭＡ（Direct Memory Access）機能を有し、処理ブロック４２で処理された画像データは、このＤＭＡ機能によりバス２２及びインタフェース２１を介して画像メモリ３５に書き込まれる。
【００３５】
上記ディスプレイリストは、処理ブロック４２での処理を一まとめにしたリストである。このディスプレイリストは、予め設定されて半導体メモリ３５に格納されており、画像処理モジュール１５により、必要に応じてディスプレイリストバッファ４３にフェッチされる。
【００３６】
メモリ制御レジスタ４４は、半導体メモリ３５の制御に用いられるレジスタであり、ＤＬスタートアドレスレジスタＤＬＳＡＲと、ディスティネーションスタートアドレスレジスタＤＳＡＲとを含む。ＤＬスタートアドレスレジスタＤＬＳＡＲは、半導体メモリ３５においてディスプレイリストが格納されている記憶領域の先頭アドレスが保持される。ディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５において歪み補正後のデータが格納される記憶領域の先頭アドレスが保持される。
【００３７】
ラインメモリ制御レジスタ４５は、ラインメモリ４１の制御に用いられるレジスタであり、先頭ライン指定レジスタＬＳＰＲ、メッシュサイズレジスタＬＭＳＲ、終了ライン指定レジスタＬＥＰＲを含む。先頭ライン指定レジスタＬＳＰＲは、後述するＳＹＮＣＷ（ＳＹＮＣｈｒｏｎｉｚｅ Ｗａｉｔ）命令による待ち受け解除のためのラインメモリ数を設定するためのレジスタである。メッシュサイズレジスタＬＭＳＲは、ＳＹＮＣＷ命令による待ち受け解除のためのラインメモリ数設定レジスタである。終了ライン指定レジスタＬＥＰＲは、ＳＹＮＣＷ命令による待ち受け解除を行わないためのラインメモリ数設定レジスタである。
【００３８】
ＩＭＲ制御レジスタ４６は、レンダリングスタートビット（ＲＳビット）を有し、このレンダリングスタートビットが論理値“１”に設定されると、ＤＬスタートアドレスレジスタＤＬＳＡＲに設定されたアドレスからディスプレイリストが読み出されてディスプレイリストバッファ４３に書き込まれる。
【００３９】
尚、他の画像処理モジュール１６〜１８は、画像モジュール１５と同一構成とされるため、それについての詳細な説明は省略する。
【００４０】
図５には、ディスプレイリストのフォーマットが示される。
【００４１】
ディスプレイリストには、特に制限されないが、描画命令（ＴＲＩａｎｇｌ命令）、ＳＹＮＣＷ（ＳＹＮＣｈｒｏｎｉｚｅ Ｗａｉｔ）命令、ＴＲＡＰ命令が記述される。
【００４２】
描画命令は、画像処理モジュールにおけるラインメモリ４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換してから半導体メモリ３５に格納することを指示するための命令とされる。この座標変換において、ラインメモリ４１に格納されている画像データのうち、必要とされる領域内の画像データのみが切り出されて、それについての歪み補正が行われる。つまり、ｕ，ｖ座標系からＸ，Ｙ座標系への変換の際に、必要とされる領域内の画像の切り出し（指定された領域の画像の切り出し）、及び当該領域内の画像についての歪み補正が行われる。尚、画像処理モジュール１６〜１８での座標変換においては、表示装置３６での画像表示との関係で１８０度回転処理や９０度回転処理が併せて実行される（図２及び図３参照）。描画命令は、図５の（Ａ）に示されるように３２ビット構成とされ、複数行から成る。１行目における０〜１５ビット目には、描画命令で使用される変換前座標（ｕ，ｖ）及び変換後座標（Ｘ，Ｙ）の個数を示す頂点数Ｎが割り当てられ、１６〜２３ビット目は予約済み（Ｒｅｓｅｒｖｅｄ）とされ、３４〜３１ビット目には描画命令であることを示すオペコード（ＯＰ ＣＯＤＥ）が割り当てられる。描画命令の２行目以降の行数は、頂点数Ｎの２倍（＝Ｎ×２）とされる。これは、変換前座標（ｕ，ｖ）と変換後座標（Ｘ，Ｙ）とが交互に記述されるからである。例えば図５の（Ａ）に示される場合には、座標（変換前座標）（ｕ０，ｖ０）を座標（変換後座標）（Ｘ０，Ｙ０）に変換し、座標（ｕ１，ｖ１）を座標（Ｘ１，Ｙ１）に変換し、座標（ｕ（Ｎ−１），ｖ（Ｎ−１））を座標（Ｘ（Ｎ−１），Ｙ（Ｎ−１））に変換することが指示される。
【００４３】
ＳＹＮＣＷ命令は、条件成立までは次のディスプレイリスト（ＤＬ）の実行を待たせるための命令とされる。ＳＹＮＣＷ命令は、図５の（Ｂ）に示されるように、３２ビット構成とされる。０〜１５ビット目までは予約済みとされ、１６ビット目にはディスプレイリストの実行待ちを示すＳＥＬビットが割り当てられ、１７〜２３ビット目は予約済みとされ、２４〜３１ビット目にはＳＹＮＣＷ命令であることを示すオペコードが割り当てられる。ここで、上記ＳＥＬビットが論理値“１”の場合、画像表示系の垂直同期信号ＶＳＹＮＣ信号が入力された後、ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されるまでディスプレイリストの実行が待たされる。また上記ＳＥＬビットが論理値“０”の場合、ＬＭＳＲに設定されたラインメモリ数の画像データが格納されるまでディスプレイリストの実行が待たされる。
【００４４】
ＴＲＡＰ命令は、ＣＰＵ２０への割り込みを発生させるための命令とされ、図５の（Ｃ）に示されるように３２ビット構成とされる。ＴＲＡＰ命令の０〜２３ビット目は予約済みとされ、２４〜３１ビットにはＴＲＡＰ命令であることを示すオペコードが割り当てられる。
【００４５】
図６には、ラインメモリ４１と、先頭ライン指定レジスタＬＳＰＲ、メッシュサイズレジスタＬＭＳＲ、終了ライン指定レジスタＬＥＰＲ、ＳＹＮＣＷ命令の関係が示される。ここでは一例として、先頭ライン指定レジスタＬＳＰＲに「３」が設定され、メッシュサイズレジスタＬＭＳＲによって「４」が設定され、終了ライン指定レジスタＬＥＰＲに「１５」が設定されているものとする。フェッチされたディスプレイリストにおけるＳＹＮＣＷ命令のＳＥＬビットが論理値“１”の場合、ＬＳＰＲ＋ＬＭＳＲ（＝３＋４）によるラインメモリ数まで画像データが格納されるまでディスプレイリストの実行が待たされる。このため、１ラインから３ラインまでのデータは処理ブロック４２に取り込まれず、この段階ではＳＹＮＣＷ命令の待ち受け解除も行われない（６１）。ＬＳＰＲ＋ＬＭＳＲ（＝３＋４）によるラインメモリ数まで画像データが格納され、条件成立によりＳＹＮＣＷ命令の待ち受け解除されると、次のディスプレイリストがフェッチされる。フェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり４ラインから７ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６２）。次にフェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり８ラインから１１ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６３）。同様に、次にフェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり１２ラインから１５ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６４）。本例では終了ライン指定レジスタＬＥＰＲに「１５」が設定されているため、１６ライン以降の画像データは処理ブロック４２に取り込まれない。
【００４６】
図７には、処理ブロック４２で行われる歪み補正処理が模式的に示される。
【００４７】
図７の（Ａ）はラインメモリ４１に格納された画像を示し、図７の（Ｂ）は、歪み補正されて半導体メモリ３５に格納される画像を示す。ラインメモリ４１には、カメラで撮影されることで得られた画像が書き込まれるが、歪み補正の対象とされるのは、ラインメモリ４１に格納された画像の一部の領域内の画像とされる。図７の（Ａ）に示される例では、４ライン目から１９ライン目に格納された画像７０１が歪み補正の対象とされ、処理ブロック４２に取り込まれる。歪み補正は、ラインメモリに４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換する際に行われる。つまり、ｕ，ｖ座標系からＸ，Ｙ座標系への座標変換において、魚眼レンズを備えたカメラの特性を考慮して座標が修正されることにより歪みが補正された画像７０２を得ることができる。画像７０１における頂点７１〜７５は、歪み補正後の画像７０２における頂点７１’〜７５’に対応している。歪み補正のための座標変換の内容は、ディスプレイリストにおける描画命令（図５（Ａ）参照）によって決定される。
【００４８】
ここで、図１に示される構成に対して、画像処理モジュール１５〜１８において図７に示されるような一部の領域に対する歪み補正処理を行わない場合には、カメラ３１〜３４での撮影により得られた画像データがそのままのサイズで、バス２２及びインタフェース２１を介して半導体メモリ３５に書き込まれることになる。その場合、上記半導体メモリ３５に対する書き込みアクセス及び読み出しアクセスによるバス２２の負荷が重くならざるを得ない。特にＳｏＣの場合には、上記半導体メモリ３５に対する書き込みアクセスによるバス２２の負荷の増大によって、上記バス２２を利用する他のデータ処理が不所望に遅延することが考えられる。
【００４９】
これに対して図１に示される構成によれば、ラインメモリ４１に格納された画像データのうち、４ライン目から１９ライン目に格納された画像７０１が歪み補正の対象とされる。しかも、ラインメモリ４１に格納された画像のｕ，ｖ座標系のｕ座標方向（図面の左右方向）における処理対象は、描画命令（図５の（Ａ）参照）において指定される座標（ｕ，ｖ）によって制限される。このようにして歪み補正の処理対象とされる領域が特定される。歪み補正の処理対象とされる領域は、表示制御部１９で合成されて表示装置３６に表示される画像のサイズを勘案して決定される。つまり、図３に示されるような画像表示を行うために不必要な領域の画像データは、画像処理モジュール１５〜１８での歪み補正対象から外す。それにより、画像処理モジュール１５〜１８からバス２２及びインタフェース２１を介して半導体メモリ３５に転送される画像データの量を大幅に削減することができるので、上記半導体メモリ３５に対する書き込みアクセスによるバス２２の負荷を軽減することができ、上記バス２２を利用する他のデータ処理を不所望に遅延させずに済む。
【００５０】
図８には、表示制御部１９の構成例が示される。
【００５１】
表示制御部１９は、プレーンＰ１〜Ｐ４、重ね合わせ処理部８１、プレーン制御レジスタ８２、重ね合わせ処理制御レジスタ８３、及び表示制御レジスタ８４を含む。
【００５２】
プレーンＰ１〜Ｐ４は表示面を意味しており、それぞれ二つのバッファＢ０，Ｂ１を含んで成る。バッファＢ０，Ｂ１には、処理ブロック４２で歪み補正された画像データが書き込まれる。二つのバッファＢ０，Ｂ１が設けられているのは、バッファＢ０，Ｂ１の一方に画像データの書き込みが行われている期間に、他方のバッファから保持データの読み出しを可能とすることで、プレーン毎の画像データの入出力の円滑化を図るためである。
【００５３】
重ね合わせ処理部８１は、プレーンＰ１〜Ｐ４から出力された画像データを重ね合わせてから表示装置３６に出力する。
【００５４】
プレーン制御レジスタ８２は、プレーンＰ１〜Ｐ４の動作を制御するためのもので、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ，ＰｎＤＳＡ１Ｒ、プレーンモードレジスタＰｎＭＲを含む。このプレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ，ＰｎＤＳＡ１Ｒ、プレーンモードレジスタＰｎＭＲは、それぞれプレーンＰ１〜Ｐ４に対応して４個配置される。つまり、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＤＳＡ０Ｒ，Ｐ２ＤＳＡ０Ｒ，Ｐ３ＤＳＡ０Ｒ，Ｐ４ＤＳＡ０Ｒを含み、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ１Ｒは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＤＳＡ１Ｒ，Ｐ２ＤＳＡ１Ｒ，Ｐ３ＤＳＡ１Ｒ，Ｐ４ＤＳＡ１Ｒを含む。同様にプレーンモードレジスタＰｎＭＲは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＭＲ，Ｐ２ＭＲ，Ｐ３ＭＲ，Ｐ４ＭＲを含む。プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒには、プレーンＰ１〜Ｐ４におけるバッファＢ０の表示領域開始アドレスが設定される。プレーン表示領域開始アドレスレジスタＰｎＤＳＡ１Ｒには、プレーンＰ１〜Ｐ４におけるバッファＢ１の表示領域開始アドレスが設定される。プレーンモードレジスタＰｎＭＲには、プレーンＰ１〜Ｐ４において重ね合わせ処理部８１へ画像データを出力するためのバッファ（Ｂ０又はＢ１）が設定される。
【００５５】
重ね合わせ処理制御レジスタ８３は、重ね合わせ処理部８１の動作を制御するためのもので、表示プレーン優先順位レジスタＤＰＰＲを含む。この表示プレーン優先順位レジスタＤＰＰＲには、プレーンＰ１〜Ｐ４の表示のＯＮ／ＯＦＦと重ね合わせの優先順位が設定される。
【００５６】
表示制御レジスタ８４は、表示装置３６への画像表示を制御するためのもので、表示イネーブル（ＤＥＮ）ビットを設定可能な表示システム制御レジスタＤＳＹＳＲを含む。表示イネーブル（ＤＥＮ）ビットがイネーブル状態にされると、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ又はＰｎＤＳＡ１Ｒに設定されたアドレスから画像データを対応するプレーンのバッファに取り込まれる。
【００５７】
図９には、半導体メモリ３５における記憶領域が示される。
【００５８】
半導体メモリ３５には、ディスプレイリスト（ＤＬ）を格納するためのディスプレイリスト格納領域９１、及び歪み補正後画像データを格納するための歪み補正後画像データ格納領域９２が形成される。
【００５９】
ディスプレイリスト格納領域９１には、画像処理モジュール１５用のディスプレイリストを格納するためのＩＭＲ１５用格納領域、画像処理モジュール１６用のディスプレイリストを格納するためのＩＭＲ１６用格納領域、画像処理モジュール１７用のディスプレイリストを格納するためのＩＭＲ１７用格納領域、画像処理モジュール１８用のディスプレイリストを格納するためのＩＭＲ１８用格納領域が含まれる。このＩＭＲ１５用格納領域、ＩＭＲ１６用格納領域、ＩＭＲ１７用格納領域、ＩＭＲ１８用格納領域には、ＩＭＲ１５用格納領域について代表的に示されるように、ＳＹＮＣＷ命令、描画命令、ＴＲＡＰ命令を含むディスプレイリストが格納される。
【００６０】
歪み補正後画像データ格納領域９２には、ＩＭＲ１５歪み補正後画像データ格納領域、ＩＭＲ１６歪み補正後画像データ格納領域、ＩＭＲ１７歪み補正後画像データ格納領域、ＩＭＲ１８歪み補正後画像データ格納領域が含まれる。ＩＭＲ１５歪み補正後画像データ格納領域には、画像処理モジュール１５からの歪み補正後画像データが格納される。ＩＭＲ１６歪み補正後画像データ格納領域には、画像処理モジュール１６からの歪み補正後画像データが格納される。ＩＭＲ１７歪み補正後画像データ格納領域には、画像処理モジュール１７からの歪み補正後画像データが格納される。ＩＭＲ１８歪み補正後画像データ格納領域には、画像処理モジュール１８からの歪み補正後画像データが格納される。このＩＭＲ１５歪み補正後画像データ格納領域、ＩＭＲ１６歪み補正後画像データ格納領域、ＩＭＲ１７歪み補正後画像データ格納領域、ＩＭＲ１８歪み補正後画像データ格納領域には、ＩＭＲ１５歪み補正後画像データ格納領域について代表的に示されるように、二つの歪み補正処理後画像データ格納領域９３，９４が含まれる。歪み補正処理後画像データ格納領域９３の先頭アドレスは「１０」とされ、歪み補正処理後画像データ格納領域９４の先頭アドレスは「１１」とされる。
【００６１】
図１０及び図１１にはプロセッサ１０における処理のフローチャートが示される。尚、図１０に示される処理と図１１に示される処理とは連続している。
【００６２】
尚、画像処理モジュール（ＩＭＲ）１５に対してプレーンＰ１が対応され、画像処理モジュール（ＩＭＲ）１６に対してプレーンＰ２が対応され、画像処理モジュール（ＩＭＲ）１７に対してプレーンＰ３が対応され、画像処理モジュール（ＩＭＲ）１８に対してプレーンＰ４が対応されるものとする。
【００６３】
先ず、図１０に基づいて、初回の１画面分の処理について説明する。
【００６４】
中央処理装置２０によって、画像処理モジュール（ＩＭＲ）１５〜１８のディスプレイリスト（ＤＬ）が半導体メモリ（ＤＤＲ）３５に格納される（Ｓ１）。
【００６５】
中央処理装置２０によって、画像処理モジュール１５〜１８の各レジスタ（図４参照）に所定の値が設定される（Ｓ２）。画像処理モジュール１５〜１８におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスが設定される。ここで半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスは、例えば図９に示される例では「アドレス１０」とされる。
【００６６】
画像処理モジュール１５〜１８がディスプレイリストのフェッチを開始するために、中央処理装置２０によって、画像処理モジュール１５〜１８におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされる（Ｓ３）。
【００６７】
以上の設定が行われた後、画像処理モジュール１５〜１８は、半導体メモリ３５からディスプレイリストのフェッチを開始し、フェッチしたディスプレイリストを順次実行する（Ｓ４）。このとき、画像処理モジュール１５〜１８によってフェッチされたディスプレイリストにおけるＳＹＮＣＷ命令のＳＥＬビットは論理値“１”とされる。画像処理モジュール１５〜１８は、実行したＳＹＮＣＷ命令のＳＥＬビットが論理値“１”の場合、画像表示系の垂直同期信号ＶＳＹＮＣが入力された後、ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されるまで次のディスプレイリストのフェッチ待ち状態とされる（Ｓ５）。
【００６８】
ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されると、画像処理モジュール１５〜１８は、半導体メモリ３５からディスプレイリストをフェッチし、当該ディスプレイリストにおける描画命令（ＴＲＩａｎｇｌ命令）を実行する（Ｓ６）。この描画命令は、例えば図７に示されるように、画像処理モジュールにおけるラインメモリ４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換してから半導体メモリ３５に格納される。ここでは、画像処理モジュール１５〜１８におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスが「アドレス１０」とされるため、上記描画命令の実行による座標変換後の画像データは、画像データ格納領域９３の「アドレス１０」から順に格納される。尚、画像処理モジュール１６〜１８での座標変換においては１８０度回転処理や９０度回転処理が併せて実行される。ステップＳ６の処理後、次のディスプレイリストのフェッチを開始するが、フェッチしたＳＹＮＣＷ命令のＳＥＬビットは論理値“０”のため、ＬＭＳＲで示されるラインメモリ数に画像データが格納されるまでディスプレイリストの実行待ち状態となる（Ｓ７）。
【００６９】
上記ステップＳ６，Ｓ７の処理は、終了ライン指定レジスタＬＥＰＲで指定したラインメモリ数に達するまで、換言すれば１画面分の画像データが得られるまで繰返される（Ｓ８）。
【００７０】
画像処理モジュール１６〜１８において、１画面分の画像データが得られたら、ディスプレイリストにおけるＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生される（Ｓ９）。中央処理装置２０は、上記割り込みに対応する所定の割込み処理によって、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ１０）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９４の先頭アドレス（アドレス１１）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９３から歪み補正処理後画像データ格納領域９４に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。
【００７１】
そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ１１）。他の画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合も、画像処理モジュール１５の場合と同様に上記ステップＳ４〜Ｓ８の処理が繰返される。
【００７２】
また、画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ０Ｒに半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１０）を設定する（Ｓ１２）。これにより、表示制御部１９におけるプレーンＰ１のバッファＢ０に、歪み補正処理後画像データ格納領域９３の画像データを書き込むことができる。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。
【００７３】
中央処理装置２０が画像処理モジュール１５〜１８の全てに対して、上記ステップＳ１０〜Ｓ１２の処理を終了した場合には、表示制御部１９における表示制御レジスタ８４における表示システム制御レジスタＤＳＹＳＲの表示イネーブル（ＤＥＮ）ビットがイネーブル状態にされ、プレーン表示領域開始アドレスレジスタに設定されたアドレスから画像データが対応するプレーンＰ１〜Ｐ４のバッファＢ０に取り込まれる（Ｓ１３）。さらに中央処理装置２０によって表示プレーン優先順位レジスタＤＰＰＲが設定され、この表示プレーン優先順位レジスタＤＰＰＲに設定された優先順で、プレーンＰ１〜Ｐ４のバッファＢ０からの出力データが重ね合わせ処理部８１で重ね合わされてから表示装置３６へ出力されて表示される（Ｓ１３）。
【００７４】
上記ステップＳ１〜Ｓ１３によって初回の１画面分の処理が行われる。
【００７５】
次に、図１１に基づいて、２回目の１画面分の処理について説明する。
【００７６】
２回目の１画面分の処理では、上記ステップＳ１〜Ｓ７に相当する処理は不要とされ、上記ステップＳ４〜Ｓ８の処理が行われる。そして１画面分の画像データに対して描画処理実行後、ＴＲＡＰ命令が実行されて中央処理装置２０に対する割り込みが発生される（Ｓ１４）。この割り込みにより中央処理装置２０は、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ１５）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレス（アドレス１０）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９４から歪み補正処理後画像データ格納領域９３に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。
【００７７】
そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）がセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ１６）。
【００７８】
画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ１Ｒ（プレーンＰ１に対応するもの）に、半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１１）を設定する（Ｓ１７）。これは、表示制御部１９におけるプレーンＰ１のバッファＢ１に歪み補正処理後画像データ格納領域９３の画像データを格納するためである。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。
【００７９】
画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、次のフレーム出力時にバッファＢ１からの画像データが重ね合わせ処理部８１に出力されるように表示制御部１９におけるプレーンモードレジスタＰｎＭＲに値を設定する（Ｓ１８）。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様にプレーンモードレジスタＰｎＭＲに値が設定される。
【００８０】
次に、図１１に基づいて、３回目の１画面分の処理について説明する。
【００８１】
３回目の１画面分の処理では、上記ステップＳ１〜Ｓ７に相当する処理は不要とされ、上記ステップＳ４〜Ｓ８の処理が行われる。そして１画面分の画像データに対して描画処理実行後、ＴＲＡＰ命令が実行されて中央処理装置２０に対する割り込みが発生される（Ｓ１９）。この割り込みにより中央処理装置２０は、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ２０）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９４の先頭アドレス（アドレス１１）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９３から歪み補正処理後画像データ格納領域９４に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。
【００８２】
そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ２１）。
【００８３】
画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ０Ｒ（プレーンＰ１に対応するもの）に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１０）を設定する（Ｓ２２）。これは、表示制御部１９におけるプレーンＰ１のバッファＢ０に歪み補正処理後画像データ格納領域９３の画像データを格納するためである。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。
【００８４】
画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、次のフレーム出力時にバッファＢ０からの画像データが重ね合わせ処理部８１に出力されるように表示制御部１９におけるプレーンモードレジスタＰｎＭＲに値を設定する（Ｓ２３）。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様にプレーンモードレジスタＰｎＭＲに値が設定される。
【００８５】
以上、初回の１画面分の処理（Ｓ１〜Ｓ１３）、２回目の１画面分の処理（Ｓ１４〜Ｓ１８）、３回目の１画面分の処理（Ｓ１９〜Ｓ２３）について説明したが、４回目以降の１画面分の処理については、上記２回目の１画面分の処理（Ｓ１４〜Ｓ１８）と、上記３回目の１画面分の処理（Ｓ１９〜Ｓ２３）とが交互に繰返される。
【００８６】
《実施の形態２》
実施の形態２について説明する。
【００８７】
例えば図１２に示されるように、カメラの撮影タイミングＳＨ１から次の撮影タイミングＳＨ２までの間に、撮影タイミングＳＨ１で得られた画像データについての歪み補正処理や、その処理画像データの半導体メモリ３５への書き込みが終了していれば特に支障は無い。しかし図１３に示されるように、カメラの撮影タイミングＳＨ１から次の撮影タイミングＳＨ２までの間に、撮影タイミングＳＨ１で得られた画像データについての歪み補正処理や、その処理画像データの半導体メモリ３５への書き込みが終了しない場合には、表示装置３６での画像表示を円滑に行うことができない。そこで図１５に示されるように、プロセッサ１０に、バス２２に結合された汎用ポート１５１と、この汎用ポート１５１からの出力信号をカメラ３１〜３４に伝達するための端子Ｔ７を設ける。汎用ポート１５１から端子Ｔ７を介してカメラ３１〜３４にカメラ同期信号が伝達されるようになっている。このカメラ同期信号は、画像処理モジュール（ＩＭＲ）１５〜１８が１画面分のデータ処理を完了した後、中央処理装置２０が汎用ポートに所定の値を設定することで、パルス状に出力されるものとする。カメラ３１〜３４では、端子Ｔ７を介して伝達されたカメラ同期信号に同期して撮影が行われる。かかる構成によれば、例えば図１４に示されるように、画像処理モジュール（ＩＭＲ）１５〜１８が１画面分のデータ処理を完了した後に、カメラ同期信号に同期して撮影タイミングＳＨ２でカメラ３１〜３４での撮影を行うことができるため、表示装置３６での画像表示を円滑に行うことができる。
【００８８】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【００８９】
例えば、画像処理モジュール１５〜１８における処理ブロック４３において、歪み補正後の画像データに対して、特許文献１に記載されているような視点変換処理を行うことで俯瞰画像を作成するようにしても良い。
【符号の説明】
【００９０】
１０ プロセッサ
１１〜１４，２１ インタフェース
１５〜１８ 画像処理モジュール
１９ 表示制御部
２０ 中央処理装置
３１〜３４ カメラ
３５ 半導体メモリ
３６ 表示装置
４１ ラインメモリ
４２ 処理ブロック
４３ ディスプレイリストバッファ
４４ メモリ制御レジスタ
４５ ラインメモリ制御レジスタ
４６ ＩＭＲ制御レジスタ
１００ 全周囲映像システム
【技術分野】
【０００１】
本発明は、画像処理を行う半導体集積回路に係り、例えば全周囲映像システムに適用して有効な技術に関する。
【背景技術】
【０００２】
駐車場等における車両の安全かつ円滑な運転操作を支援するシステムとして全周囲映像システムが知られている。この全周囲映像システムは、車両に搭載された複数台の車載カメラによる車両の周辺の撮影映像に基づいて、車両の周辺を車両の上方から見下ろしたような画像（俯瞰画像）を生成し、それを車内のディスプレイに表示するようにしている。この種の技術について記載された文献として、特許文献１，２を挙げることができる。
【０００３】
特許文献１によれば、車載カメラとして、魚眼レンズを備えたカメラが用いられ、撮像面に結像された撮影映像のうち、車両周辺画像の生成に使用される所定の使用映像領域内の映像のみを切り出し、切り出された映像を俯瞰画像へと視点変換し、得られた俯瞰画像を合成することで車両周辺画像を形成することが記載されている。
【０００４】
特許文献２には、複数のカメラと、それに対応する歪み補正部、及び投影変換部を備えた車両用画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２６７６０３号公報
【特許文献２】特開２００９−１７１５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
システムの動作に必要な機能を一つの半導体チップに実装する方式として、ＳｏＣ（System-on-a-Chip）を挙げることができる。全周囲映像システムにＳｏＣを適用することについて本願発明者が検討したところ、以下の課題が見いだされた。
【０００７】
全周囲映像システムにおいて、上記複数台の車載カメラでの撮影によって得られた画像を半導体メモリでバッファリングする必要がある。つまり、上記半導体メモリは、プロセッサにおけるバスに結合され、上記複数台の車載カメラでの撮影によって得られた画像データが半導体メモリに順次格納される一方で、当該半導体メモリ内の画像データが読み出されて画像処理されてから表示装置に表示される。
【０００８】
しかしながら、上記複数台の車載カメラでの撮影による画像データをそのままの状態で上記半導体メモリに取り込むには、上記半導体メモリに膨大な記憶容量が必要とされるし、上記半導体メモリに対する書き込みアクセス及び読み出しアクセスによるバス負荷が重くならざるを得ない。特にＳｏＣの場合には、上記半導体メモリに対する書き込みアクセス及び読み出しアクセスによるバス負荷の増大によって、上記バスを利用する他のデータ処理が不所望に遅延することが考えられる。尚、特許文献１，２においては、このような課題について考慮されていない。
【０００９】
本発明の目的は、複数台のカメラでの撮影による画像データを半導体メモリへ格納する場合のバス負荷を軽減するための技術を提供することにある。
【００１０】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１１】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１２】
すなわち、半導体集積回路は、複数のカメラと半導体メモリとが接続可能に構成される。そしてこの半導体集積回路は、上記カメラで撮影することで得られた画像データを取り込むための複数の第１インタフェースと、上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェースと、上記第２インタフェースが結合されたバスとを含む。また上記半導体集積回路は、それぞれ上記第１インタフェースに対応して配置され、それぞれ対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための複数の画像処理モジュールを含む。そして上記画像処理モジュールは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含む。
【発明の効果】
【００１３】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１４】
すなわち、複数台のカメラでの撮影による画像データを半導体メモリへ格納する場合のバス負荷を軽減することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムの構成例ブロック図である。
【図２】図１に示されるプロセッサの主要部における画像の説明図である。
【図３】図１に示されるプロセッサで処理された画像の説明図である。
【図４】図１に示されるプロセッサにおける画像処理モジュールの構成例ブロック図である。
【図５】図１に示されるプロセッサにおける画像処理モジュールで実行されるディスプレイリストのフォーマット説明図である。
【図６】図１に示されるプロセッサにおける画像処理モジュール内のラインメモリと、先頭ライン指定レジスタ、メッシュサイズレジスタ、終了ライン指定レジスタ、ＳＹＮＣＷ命令の関係説明図である。
【図７】図１に示されるプロセッサにおける画像処理モジュール内の処理ブロックで行われる歪み補正処理の説明図である。
【図８】図１に示されるプロセッサに含まれる表示制御部の構成例ブロック図である。
【図９】図１に示される全周囲映像システムに含まれる半導体メモリにおける格納領域の説明図である。
【図１０】図１に示されるプロセッサにおける処理のフローチャートである。
【図１１】図１に示されるプロセッサにおける処理のフローチャートである。
【図１２】全周囲映像システムにおけるカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。
【図１３】全周囲映像システムにおけるカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。
【図１４】図１５に示される構成を採用した場合のカメラの撮影タイミングと半導体メモリへの画像データ格納時間との関係説明図である。
【図１５】本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムの別の構成例ブロック図である。
【発明を実施するための形態】
【００１６】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１７】
〔１〕本発明の代表的な実施の形態に係る半導体集積回路（１０）は、複数のカメラ（３１〜３４）と半導体メモリ（３５）とが接続可能に構成される。そしてこの半導体集積回路は、上記カメラで撮影することで得られた画像データを取り込むための複数の第１インタフェース（１１〜１４）と、上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェース（２１）と、上記第２インタフェースが結合されたバス（２２）とを含む。また上記半導体集積回路は、それぞれ上記第１インタフェースに対応して配置され、それぞれ対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための複数の画像処理モジュール（１５〜１８）を含む。そして上記画像処理モジュール（１５〜１８）は、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含む。
【００１８】
上記の構成によれば、複数の画像処理モジュールにより、予め指定された領域内の画像データについて歪み補正が行われ、その歪み補正後の上記領域内の画像データが、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込まれるようになっている。このため、予め指定された領域以外の画像データが、上記画像処理モジュールでの歪み補正対象から外されることにより、画像処理モジュールからバス及び第２インタフェースを介して半導体メモリに転送される画像データの量を大幅に削減することができるので、上記半導体メモリに対する書き込みアクセスによる上記バスの負荷を軽減することができ、上記バスを利用する他のデータ処理を不所望に遅延させずに済む。また、上記画像処理モジュールでは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理が行われることで、予め指定された領域内の画像データの切り出し処理と、切り出された領域における画像の歪み補正処理とを同時に行うことができる。このため、予め指定された領域内の画像データの切り出し処理と、切り出された領域における画像の歪み補正処理とを別々の処理ブロックで別個に行う場合に比べて、処理の高速化を図ることができる。
【００１９】
〔２〕上記〔１〕において、上記半導体集積回路での処理済みの画像を表示装置に表示するために、上記半導体集積回路には、上記複数の画像処理モジュールで処理された画像データを上記半導体メモリから取り込んで合成して表示装置に表示制御するための表示制御部（１９）を設けることができる。
【００２０】
〔３〕上記〔２〕において、上記画像処理モジュールには、上記第１インタフェースを介して入力された画像データを格納するためのラインメモリ（４１）と、予め形成されたディスプレイリストを格納するためのディスプレイリストバッファ（４３）と、上記ディスプレイリストに従って、上記ラインメモリ内の画像データについて上記歪み補正を行うための処理ブロック（４２）とを設けることができる。
【００２１】
〔４〕上記〔３〕において、上記ディスプレイリストには、上記ラインメモリに格納されている画像データを座標変換してから上記半導体メモリに格納することを指示するための第１命令（描画命令）と、所定の条件成立までは次のディスプレイリストの実行を待たせるための第２命令（ＳＹＮＣＷ命令）とを記述することができる。また上記ディスプレイリストには、上記処理ブロックでの処理により１画面分の画像データが得られた時点で所定の割込み信号を形成するための第３命令（ＴＲＡＰ命令）を記述することができる。上記第１命令、上記第２命令、及び上記第３命令は上記処理部ブロックにおいて実行される。
【００２２】
〔５〕上記〔４〕において、上記半導体集積回路には、上記バスに結合された中央処理装置（２０）を設けることができる。上記中央処理装置は、上記ディスプレイリストにおける上記第３命令に起因する割込み信号に対応する割込み処理によって、上記半導体メモリ内の対応する画像データを、上記バスを介して上記表示制御部に書き込む処理を含む。
【００２３】
〔６〕上記〔５〕において、上記複数のカメラの撮影タイミングの適正化を図るため、上記複数のカメラの撮影タイミングを制御するための同期信号を外部出力可能なポート（１５１）を設けることができる。
【００２４】
〔７〕上記〔６〕に記載の半導体集積回路と、それに結合された上記複数のカメラ及び上記半導体メモリとを備えて全周囲映像システム（１００）を構成することができる。
【００２５】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００２６】
《実施の形態１》
図１には、本発明に係る半導体集積回路の一例とされるプロセッサを含む全周囲映像システムが示される。図１に示される全周囲映像システム１００は、プロセッサ１０、複数のカメラ３１〜３４、半導体メモリ（ＤＤＲ）３５、及び表示装置（ＬＣＤ）３６を含む。
【００２７】
プロセッサ１０は、特に制限されないが、全周囲映像システムの動作に必要な機能が実装されたＳｏＣとされ、公知の半導体集積回路製造技術によって単結晶シリコン基板などの一つの半導体基板に形成される。図１に示されるプロセッサ１０には、カメラ接続用端子Ｔ１〜Ｔ４、半導体メモリ接続用端子Ｔ５、表示装置接続用端子Ｔ６が設けられている。カメラ接続用端子Ｔ１〜Ｔ４にはカメラ３１〜３４が接続される。カメラ３１〜３４は、車両の前後左右を撮影するために当該車両に取り付けられたものである。このカメラ３１〜３４には、魚眼レンズを備えたカメラを適用することができる。魚眼レンズは約１８０度の画角を有し、広範囲の画像を映し出すことができるが、その画像は歪曲し、特に画像の周辺部は歪みが著しいため、歪み補正が行われる。尚、魚眼レンズに起因する歪みを補正する技術自体は公知である（例えば特許文献１参照）。半導体メモリ（ＤＤＲ）３５は、特に制限されないが、ＤＤＲ ＳＤＲＡＭ（Double-Data-Rate Synchronous Dynamic Random Access Memory）とされ、クロック信号の立ち上がり／立ち下がりのそれぞれでデータをやり取りし、理論上は同一クロックで動作するＳＤＲＡＭの２倍のデータ転送速度を得ることができる。表示装置（ＬＣＤ）３６は、車内の液晶ディスプレイとされる。
【００２８】
図１に示されるプロセッサ１０は、特に制限されないが、インタフェース１１〜１４，２１、画像処理モジュール（ＩＭＲ）１５〜１８、表示制御部（ＤＵ）１９、及び中央処理装置（ＣＰＵ）２０を含む。画像処理モジュール１５〜１８、表示制御部１９、中央処理装置２０及びインタフェース２１は、バス２２によって互いに信号のやり取りが可能に結合される。インタフェース１１〜１４は、それぞれカメラ接続用端子Ｔ１〜Ｔ４に結合され、対応するカメラ３１〜３４からの画像データを取り込む。インタフェース２１は、半導体メモリ接続用端子Ｔ５に対応して配置され、半導体メモリ３５との間でデータのやり取りを可能にする。画像処理モジュール１５〜１８は、それぞれインタフェース１１〜１４に対応して配置され、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記インタフェース２１を介して上記半導体メモリ３５に書き込む機能を有する。尚、画像処理モジュール１５〜１８では、上記歪み補正処理の他に輝度や色相を補正することができる。表示制御部１９は、インタフェース２１を介して上記半導体メモリ３５内の歪み補正処理後の撮影データを取り込んで重ね合わせ処理を行い、その処理結果を表示装置３６に出力する。中央処理装置２０は、所定のプログラムを実行することによって各部の動作制御を行う。この動作制御には、画像処理モジュール１５〜１８や表示制御部１９における各レジスタへの初期設定、半導体メモリ３５へのディスプレイリスト（ＤＬ）の設定、画像処理モジュール１５〜１８で処理された画像データの格納先とされる半導体メモリ３５内データ格納領域の切り替え、表示制御部１９のデータ取込アドレスの再設定等が含まれる。
【００２９】
図２には、図１に示されるプロセッサ１０における主要部の画像が模式的に示される。
【００３０】
魚眼レンズを備えたカメラ３１〜３４での撮影により、画像１，２，３，４が得られる。ここでは、カメラ３１により車両の前方の画像１が得られ、カメラ３２により車両の後方の画像２が得られ、カメラ３３により車両の右側の画像３が得られ、カメラ３４により車両の左側の画像４が得られるものとする。このような画像データが、それぞれ対応するインタフェース１１，１２，１３，１４を介して画像処理モジュール１５，１６，１７，１８に伝達される。図２におけるＡ，Ｂ，Ｃ，Ｄは、それぞれカメラ３１〜３４で撮影され、端子Ｔ１〜Ｔ４を介してプロセッサ１０へ入力され、インタフェース１１，１２，１３，１４から出力された画像を示している。画像処理モジュール１５では、入力された画像１（画像Ａ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が半導体メモリ３５に書き込まれる。画像処理モジュール１６では、入力された画像２（画像Ｂ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が１８０度回転されてから半導体メモリ３５に書き込まれる。画像処理モジュール１７では、入力された画像３（画像Ｃ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が右方向に９０度回転されてから半導体メモリ３５に書き込まれる。画像処理モジュール１８では、入力された画像４（画像Ｄ）の予め指定された領域（点線で囲まれた領域）内の画像について、魚眼レンズに起因する歪みが補正され、その歪み補正後の上記領域内の画像が左方向に９０度回転されてから半導体メモリ３５に書き込まれる。このようにして半導体メモリ３５に書き込まれた画像は、表示制御部１９によって読み出される。表示制御部１９では、半導体メモリ３５から読み出した画像が、表示制御部１９内の各プレーンに格納され、上記各プレーンの画像が、例えば図３に示されるように、所定位置に配置されるように合成されて表示装置３６に伝達されて表示される。
【００３１】
図４には、画像処理モジュール１５の構成例が示される。
【００３２】
画像処理モジュール１５は、特に制限されないが、ラインメモリ４１、処理ブロック４２、ディスプレイリストバッファ４３、メモリ制御レジスタ４４、ラインメモリ制御レジスタ４５、ＩＭＲ制御レジスタ（ＣＲ）４６を含む。
【００３３】
ラインメモリ４１は、インタフェース１１を介して入力された画像データを表示系の走査線に対応して格納するためのメモリである。
【００３４】
処理ブロック４２は、予め指定された領域内の画像データについて歪み補正を行う。また、この処理ブロック４２では上記領域内の画像データについて輝度や色相も補正することができる。処理ブロック４２での処理は、所定のディスプレイリスト（ＤＬ）に従って行われる。処理ブロック４２はＤＭＡ（Direct Memory Access）機能を有し、処理ブロック４２で処理された画像データは、このＤＭＡ機能によりバス２２及びインタフェース２１を介して画像メモリ３５に書き込まれる。
【００３５】
上記ディスプレイリストは、処理ブロック４２での処理を一まとめにしたリストである。このディスプレイリストは、予め設定されて半導体メモリ３５に格納されており、画像処理モジュール１５により、必要に応じてディスプレイリストバッファ４３にフェッチされる。
【００３６】
メモリ制御レジスタ４４は、半導体メモリ３５の制御に用いられるレジスタであり、ＤＬスタートアドレスレジスタＤＬＳＡＲと、ディスティネーションスタートアドレスレジスタＤＳＡＲとを含む。ＤＬスタートアドレスレジスタＤＬＳＡＲは、半導体メモリ３５においてディスプレイリストが格納されている記憶領域の先頭アドレスが保持される。ディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５において歪み補正後のデータが格納される記憶領域の先頭アドレスが保持される。
【００３７】
ラインメモリ制御レジスタ４５は、ラインメモリ４１の制御に用いられるレジスタであり、先頭ライン指定レジスタＬＳＰＲ、メッシュサイズレジスタＬＭＳＲ、終了ライン指定レジスタＬＥＰＲを含む。先頭ライン指定レジスタＬＳＰＲは、後述するＳＹＮＣＷ（ＳＹＮＣｈｒｏｎｉｚｅ Ｗａｉｔ）命令による待ち受け解除のためのラインメモリ数を設定するためのレジスタである。メッシュサイズレジスタＬＭＳＲは、ＳＹＮＣＷ命令による待ち受け解除のためのラインメモリ数設定レジスタである。終了ライン指定レジスタＬＥＰＲは、ＳＹＮＣＷ命令による待ち受け解除を行わないためのラインメモリ数設定レジスタである。
【００３８】
ＩＭＲ制御レジスタ４６は、レンダリングスタートビット（ＲＳビット）を有し、このレンダリングスタートビットが論理値“１”に設定されると、ＤＬスタートアドレスレジスタＤＬＳＡＲに設定されたアドレスからディスプレイリストが読み出されてディスプレイリストバッファ４３に書き込まれる。
【００３９】
尚、他の画像処理モジュール１６〜１８は、画像モジュール１５と同一構成とされるため、それについての詳細な説明は省略する。
【００４０】
図５には、ディスプレイリストのフォーマットが示される。
【００４１】
ディスプレイリストには、特に制限されないが、描画命令（ＴＲＩａｎｇｌ命令）、ＳＹＮＣＷ（ＳＹＮＣｈｒｏｎｉｚｅ Ｗａｉｔ）命令、ＴＲＡＰ命令が記述される。
【００４２】
描画命令は、画像処理モジュールにおけるラインメモリ４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換してから半導体メモリ３５に格納することを指示するための命令とされる。この座標変換において、ラインメモリ４１に格納されている画像データのうち、必要とされる領域内の画像データのみが切り出されて、それについての歪み補正が行われる。つまり、ｕ，ｖ座標系からＸ，Ｙ座標系への変換の際に、必要とされる領域内の画像の切り出し（指定された領域の画像の切り出し）、及び当該領域内の画像についての歪み補正が行われる。尚、画像処理モジュール１６〜１８での座標変換においては、表示装置３６での画像表示との関係で１８０度回転処理や９０度回転処理が併せて実行される（図２及び図３参照）。描画命令は、図５の（Ａ）に示されるように３２ビット構成とされ、複数行から成る。１行目における０〜１５ビット目には、描画命令で使用される変換前座標（ｕ，ｖ）及び変換後座標（Ｘ，Ｙ）の個数を示す頂点数Ｎが割り当てられ、１６〜２３ビット目は予約済み（Ｒｅｓｅｒｖｅｄ）とされ、３４〜３１ビット目には描画命令であることを示すオペコード（ＯＰ ＣＯＤＥ）が割り当てられる。描画命令の２行目以降の行数は、頂点数Ｎの２倍（＝Ｎ×２）とされる。これは、変換前座標（ｕ，ｖ）と変換後座標（Ｘ，Ｙ）とが交互に記述されるからである。例えば図５の（Ａ）に示される場合には、座標（変換前座標）（ｕ０，ｖ０）を座標（変換後座標）（Ｘ０，Ｙ０）に変換し、座標（ｕ１，ｖ１）を座標（Ｘ１，Ｙ１）に変換し、座標（ｕ（Ｎ−１），ｖ（Ｎ−１））を座標（Ｘ（Ｎ−１），Ｙ（Ｎ−１））に変換することが指示される。
【００４３】
ＳＹＮＣＷ命令は、条件成立までは次のディスプレイリスト（ＤＬ）の実行を待たせるための命令とされる。ＳＹＮＣＷ命令は、図５の（Ｂ）に示されるように、３２ビット構成とされる。０〜１５ビット目までは予約済みとされ、１６ビット目にはディスプレイリストの実行待ちを示すＳＥＬビットが割り当てられ、１７〜２３ビット目は予約済みとされ、２４〜３１ビット目にはＳＹＮＣＷ命令であることを示すオペコードが割り当てられる。ここで、上記ＳＥＬビットが論理値“１”の場合、画像表示系の垂直同期信号ＶＳＹＮＣ信号が入力された後、ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されるまでディスプレイリストの実行が待たされる。また上記ＳＥＬビットが論理値“０”の場合、ＬＭＳＲに設定されたラインメモリ数の画像データが格納されるまでディスプレイリストの実行が待たされる。
【００４４】
ＴＲＡＰ命令は、ＣＰＵ２０への割り込みを発生させるための命令とされ、図５の（Ｃ）に示されるように３２ビット構成とされる。ＴＲＡＰ命令の０〜２３ビット目は予約済みとされ、２４〜３１ビットにはＴＲＡＰ命令であることを示すオペコードが割り当てられる。
【００４５】
図６には、ラインメモリ４１と、先頭ライン指定レジスタＬＳＰＲ、メッシュサイズレジスタＬＭＳＲ、終了ライン指定レジスタＬＥＰＲ、ＳＹＮＣＷ命令の関係が示される。ここでは一例として、先頭ライン指定レジスタＬＳＰＲに「３」が設定され、メッシュサイズレジスタＬＭＳＲによって「４」が設定され、終了ライン指定レジスタＬＥＰＲに「１５」が設定されているものとする。フェッチされたディスプレイリストにおけるＳＹＮＣＷ命令のＳＥＬビットが論理値“１”の場合、ＬＳＰＲ＋ＬＭＳＲ（＝３＋４）によるラインメモリ数まで画像データが格納されるまでディスプレイリストの実行が待たされる。このため、１ラインから３ラインまでのデータは処理ブロック４２に取り込まれず、この段階ではＳＹＮＣＷ命令の待ち受け解除も行われない（６１）。ＬＳＰＲ＋ＬＭＳＲ（＝３＋４）によるラインメモリ数まで画像データが格納され、条件成立によりＳＹＮＣＷ命令の待ち受け解除されると、次のディスプレイリストがフェッチされる。フェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり４ラインから７ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６２）。次にフェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり８ラインから１１ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６３）。同様に、次にフェッチされたＳＹＮＣＷ命令のＳＥＬビットが論理値“０”の場合、ＬＭＳＲによるライン数、つまり１２ラインから１５ラインまでの画像データが処理ブロック４２に取り込まれ、ＳＹＮＣＷ命令の待ち受けが解除される（６４）。本例では終了ライン指定レジスタＬＥＰＲに「１５」が設定されているため、１６ライン以降の画像データは処理ブロック４２に取り込まれない。
【００４６】
図７には、処理ブロック４２で行われる歪み補正処理が模式的に示される。
【００４７】
図７の（Ａ）はラインメモリ４１に格納された画像を示し、図７の（Ｂ）は、歪み補正されて半導体メモリ３５に格納される画像を示す。ラインメモリ４１には、カメラで撮影されることで得られた画像が書き込まれるが、歪み補正の対象とされるのは、ラインメモリ４１に格納された画像の一部の領域内の画像とされる。図７の（Ａ）に示される例では、４ライン目から１９ライン目に格納された画像７０１が歪み補正の対象とされ、処理ブロック４２に取り込まれる。歪み補正は、ラインメモリに４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換する際に行われる。つまり、ｕ，ｖ座標系からＸ，Ｙ座標系への座標変換において、魚眼レンズを備えたカメラの特性を考慮して座標が修正されることにより歪みが補正された画像７０２を得ることができる。画像７０１における頂点７１〜７５は、歪み補正後の画像７０２における頂点７１’〜７５’に対応している。歪み補正のための座標変換の内容は、ディスプレイリストにおける描画命令（図５（Ａ）参照）によって決定される。
【００４８】
ここで、図１に示される構成に対して、画像処理モジュール１５〜１８において図７に示されるような一部の領域に対する歪み補正処理を行わない場合には、カメラ３１〜３４での撮影により得られた画像データがそのままのサイズで、バス２２及びインタフェース２１を介して半導体メモリ３５に書き込まれることになる。その場合、上記半導体メモリ３５に対する書き込みアクセス及び読み出しアクセスによるバス２２の負荷が重くならざるを得ない。特にＳｏＣの場合には、上記半導体メモリ３５に対する書き込みアクセスによるバス２２の負荷の増大によって、上記バス２２を利用する他のデータ処理が不所望に遅延することが考えられる。
【００４９】
これに対して図１に示される構成によれば、ラインメモリ４１に格納された画像データのうち、４ライン目から１９ライン目に格納された画像７０１が歪み補正の対象とされる。しかも、ラインメモリ４１に格納された画像のｕ，ｖ座標系のｕ座標方向（図面の左右方向）における処理対象は、描画命令（図５の（Ａ）参照）において指定される座標（ｕ，ｖ）によって制限される。このようにして歪み補正の処理対象とされる領域が特定される。歪み補正の処理対象とされる領域は、表示制御部１９で合成されて表示装置３６に表示される画像のサイズを勘案して決定される。つまり、図３に示されるような画像表示を行うために不必要な領域の画像データは、画像処理モジュール１５〜１８での歪み補正対象から外す。それにより、画像処理モジュール１５〜１８からバス２２及びインタフェース２１を介して半導体メモリ３５に転送される画像データの量を大幅に削減することができるので、上記半導体メモリ３５に対する書き込みアクセスによるバス２２の負荷を軽減することができ、上記バス２２を利用する他のデータ処理を不所望に遅延させずに済む。
【００５０】
図８には、表示制御部１９の構成例が示される。
【００５１】
表示制御部１９は、プレーンＰ１〜Ｐ４、重ね合わせ処理部８１、プレーン制御レジスタ８２、重ね合わせ処理制御レジスタ８３、及び表示制御レジスタ８４を含む。
【００５２】
プレーンＰ１〜Ｐ４は表示面を意味しており、それぞれ二つのバッファＢ０，Ｂ１を含んで成る。バッファＢ０，Ｂ１には、処理ブロック４２で歪み補正された画像データが書き込まれる。二つのバッファＢ０，Ｂ１が設けられているのは、バッファＢ０，Ｂ１の一方に画像データの書き込みが行われている期間に、他方のバッファから保持データの読み出しを可能とすることで、プレーン毎の画像データの入出力の円滑化を図るためである。
【００５３】
重ね合わせ処理部８１は、プレーンＰ１〜Ｐ４から出力された画像データを重ね合わせてから表示装置３６に出力する。
【００５４】
プレーン制御レジスタ８２は、プレーンＰ１〜Ｐ４の動作を制御するためのもので、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ，ＰｎＤＳＡ１Ｒ、プレーンモードレジスタＰｎＭＲを含む。このプレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ，ＰｎＤＳＡ１Ｒ、プレーンモードレジスタＰｎＭＲは、それぞれプレーンＰ１〜Ｐ４に対応して４個配置される。つまり、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＤＳＡ０Ｒ，Ｐ２ＤＳＡ０Ｒ，Ｐ３ＤＳＡ０Ｒ，Ｐ４ＤＳＡ０Ｒを含み、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ１Ｒは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＤＳＡ１Ｒ，Ｐ２ＤＳＡ１Ｒ，Ｐ３ＤＳＡ１Ｒ，Ｐ４ＤＳＡ１Ｒを含む。同様にプレーンモードレジスタＰｎＭＲは、それぞれプレーンＰ１〜Ｐ４に対応するＰ１ＭＲ，Ｐ２ＭＲ，Ｐ３ＭＲ，Ｐ４ＭＲを含む。プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒには、プレーンＰ１〜Ｐ４におけるバッファＢ０の表示領域開始アドレスが設定される。プレーン表示領域開始アドレスレジスタＰｎＤＳＡ１Ｒには、プレーンＰ１〜Ｐ４におけるバッファＢ１の表示領域開始アドレスが設定される。プレーンモードレジスタＰｎＭＲには、プレーンＰ１〜Ｐ４において重ね合わせ処理部８１へ画像データを出力するためのバッファ（Ｂ０又はＢ１）が設定される。
【００５５】
重ね合わせ処理制御レジスタ８３は、重ね合わせ処理部８１の動作を制御するためのもので、表示プレーン優先順位レジスタＤＰＰＲを含む。この表示プレーン優先順位レジスタＤＰＰＲには、プレーンＰ１〜Ｐ４の表示のＯＮ／ＯＦＦと重ね合わせの優先順位が設定される。
【００５６】
表示制御レジスタ８４は、表示装置３６への画像表示を制御するためのもので、表示イネーブル（ＤＥＮ）ビットを設定可能な表示システム制御レジスタＤＳＹＳＲを含む。表示イネーブル（ＤＥＮ）ビットがイネーブル状態にされると、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０Ｒ又はＰｎＤＳＡ１Ｒに設定されたアドレスから画像データを対応するプレーンのバッファに取り込まれる。
【００５７】
図９には、半導体メモリ３５における記憶領域が示される。
【００５８】
半導体メモリ３５には、ディスプレイリスト（ＤＬ）を格納するためのディスプレイリスト格納領域９１、及び歪み補正後画像データを格納するための歪み補正後画像データ格納領域９２が形成される。
【００５９】
ディスプレイリスト格納領域９１には、画像処理モジュール１５用のディスプレイリストを格納するためのＩＭＲ１５用格納領域、画像処理モジュール１６用のディスプレイリストを格納するためのＩＭＲ１６用格納領域、画像処理モジュール１７用のディスプレイリストを格納するためのＩＭＲ１７用格納領域、画像処理モジュール１８用のディスプレイリストを格納するためのＩＭＲ１８用格納領域が含まれる。このＩＭＲ１５用格納領域、ＩＭＲ１６用格納領域、ＩＭＲ１７用格納領域、ＩＭＲ１８用格納領域には、ＩＭＲ１５用格納領域について代表的に示されるように、ＳＹＮＣＷ命令、描画命令、ＴＲＡＰ命令を含むディスプレイリストが格納される。
【００６０】
歪み補正後画像データ格納領域９２には、ＩＭＲ１５歪み補正後画像データ格納領域、ＩＭＲ１６歪み補正後画像データ格納領域、ＩＭＲ１７歪み補正後画像データ格納領域、ＩＭＲ１８歪み補正後画像データ格納領域が含まれる。ＩＭＲ１５歪み補正後画像データ格納領域には、画像処理モジュール１５からの歪み補正後画像データが格納される。ＩＭＲ１６歪み補正後画像データ格納領域には、画像処理モジュール１６からの歪み補正後画像データが格納される。ＩＭＲ１７歪み補正後画像データ格納領域には、画像処理モジュール１７からの歪み補正後画像データが格納される。ＩＭＲ１８歪み補正後画像データ格納領域には、画像処理モジュール１８からの歪み補正後画像データが格納される。このＩＭＲ１５歪み補正後画像データ格納領域、ＩＭＲ１６歪み補正後画像データ格納領域、ＩＭＲ１７歪み補正後画像データ格納領域、ＩＭＲ１８歪み補正後画像データ格納領域には、ＩＭＲ１５歪み補正後画像データ格納領域について代表的に示されるように、二つの歪み補正処理後画像データ格納領域９３，９４が含まれる。歪み補正処理後画像データ格納領域９３の先頭アドレスは「１０」とされ、歪み補正処理後画像データ格納領域９４の先頭アドレスは「１１」とされる。
【００６１】
図１０及び図１１にはプロセッサ１０における処理のフローチャートが示される。尚、図１０に示される処理と図１１に示される処理とは連続している。
【００６２】
尚、画像処理モジュール（ＩＭＲ）１５に対してプレーンＰ１が対応され、画像処理モジュール（ＩＭＲ）１６に対してプレーンＰ２が対応され、画像処理モジュール（ＩＭＲ）１７に対してプレーンＰ３が対応され、画像処理モジュール（ＩＭＲ）１８に対してプレーンＰ４が対応されるものとする。
【００６３】
先ず、図１０に基づいて、初回の１画面分の処理について説明する。
【００６４】
中央処理装置２０によって、画像処理モジュール（ＩＭＲ）１５〜１８のディスプレイリスト（ＤＬ）が半導体メモリ（ＤＤＲ）３５に格納される（Ｓ１）。
【００６５】
中央処理装置２０によって、画像処理モジュール１５〜１８の各レジスタ（図４参照）に所定の値が設定される（Ｓ２）。画像処理モジュール１５〜１８におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスが設定される。ここで半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスは、例えば図９に示される例では「アドレス１０」とされる。
【００６６】
画像処理モジュール１５〜１８がディスプレイリストのフェッチを開始するために、中央処理装置２０によって、画像処理モジュール１５〜１８におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされる（Ｓ３）。
【００６７】
以上の設定が行われた後、画像処理モジュール１５〜１８は、半導体メモリ３５からディスプレイリストのフェッチを開始し、フェッチしたディスプレイリストを順次実行する（Ｓ４）。このとき、画像処理モジュール１５〜１８によってフェッチされたディスプレイリストにおけるＳＹＮＣＷ命令のＳＥＬビットは論理値“１”とされる。画像処理モジュール１５〜１８は、実行したＳＹＮＣＷ命令のＳＥＬビットが論理値“１”の場合、画像表示系の垂直同期信号ＶＳＹＮＣが入力された後、ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されるまで次のディスプレイリストのフェッチ待ち状態とされる（Ｓ５）。
【００６８】
ラインメモリ４１に、ＬＳＰＲの設定値とＬＭＳＲの設定値との合計値（ＬＳＰＲ＋ＬＭＳＲ）によって示されるラインメモリ数にまで画像データが格納されると、画像処理モジュール１５〜１８は、半導体メモリ３５からディスプレイリストをフェッチし、当該ディスプレイリストにおける描画命令（ＴＲＩａｎｇｌ命令）を実行する（Ｓ６）。この描画命令は、例えば図７に示されるように、画像処理モジュールにおけるラインメモリ４１に格納されている画像データの座標をｕ，ｖ座標系から、それとは異なるＸ，Ｙ座標系に変換してから半導体メモリ３５に格納される。ここでは、画像処理モジュール１５〜１８におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレスが「アドレス１０」とされるため、上記描画命令の実行による座標変換後の画像データは、画像データ格納領域９３の「アドレス１０」から順に格納される。尚、画像処理モジュール１６〜１８での座標変換においては１８０度回転処理や９０度回転処理が併せて実行される。ステップＳ６の処理後、次のディスプレイリストのフェッチを開始するが、フェッチしたＳＹＮＣＷ命令のＳＥＬビットは論理値“０”のため、ＬＭＳＲで示されるラインメモリ数に画像データが格納されるまでディスプレイリストの実行待ち状態となる（Ｓ７）。
【００６９】
上記ステップＳ６，Ｓ７の処理は、終了ライン指定レジスタＬＥＰＲで指定したラインメモリ数に達するまで、換言すれば１画面分の画像データが得られるまで繰返される（Ｓ８）。
【００７０】
画像処理モジュール１６〜１８において、１画面分の画像データが得られたら、ディスプレイリストにおけるＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生される（Ｓ９）。中央処理装置２０は、上記割り込みに対応する所定の割込み処理によって、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ１０）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９４の先頭アドレス（アドレス１１）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９３から歪み補正処理後画像データ格納領域９４に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。
【００７１】
そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ１１）。他の画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合も、画像処理モジュール１５の場合と同様に上記ステップＳ４〜Ｓ８の処理が繰返される。
【００７２】
また、画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ０Ｒに半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１０）を設定する（Ｓ１２）。これにより、表示制御部１９におけるプレーンＰ１のバッファＢ０に、歪み補正処理後画像データ格納領域９３の画像データを書き込むことができる。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。
【００７３】
中央処理装置２０が画像処理モジュール１５〜１８の全てに対して、上記ステップＳ１０〜Ｓ１２の処理を終了した場合には、表示制御部１９における表示制御レジスタ８４における表示システム制御レジスタＤＳＹＳＲの表示イネーブル（ＤＥＮ）ビットがイネーブル状態にされ、プレーン表示領域開始アドレスレジスタに設定されたアドレスから画像データが対応するプレーンＰ１〜Ｐ４のバッファＢ０に取り込まれる（Ｓ１３）。さらに中央処理装置２０によって表示プレーン優先順位レジスタＤＰＰＲが設定され、この表示プレーン優先順位レジスタＤＰＰＲに設定された優先順で、プレーンＰ１〜Ｐ４のバッファＢ０からの出力データが重ね合わせ処理部８１で重ね合わされてから表示装置３６へ出力されて表示される（Ｓ１３）。
【００７４】
上記ステップＳ１〜Ｓ１３によって初回の１画面分の処理が行われる。
【００７５】
次に、図１１に基づいて、２回目の１画面分の処理について説明する。
【００７６】
２回目の１画面分の処理では、上記ステップＳ１〜Ｓ７に相当する処理は不要とされ、上記ステップＳ４〜Ｓ８の処理が行われる。そして１画面分の画像データに対して描画処理実行後、ＴＲＡＰ命令が実行されて中央処理装置２０に対する割り込みが発生される（Ｓ１４）。この割り込みにより中央処理装置２０は、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ１５）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９３の先頭アドレス（アドレス１０）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９４から歪み補正処理後画像データ格納領域９３に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。
【００７７】
そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）がセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ１６）。
【００７８】
画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ１Ｒ（プレーンＰ１に対応するもの）に、半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１１）を設定する（Ｓ１７）。これは、表示制御部１９におけるプレーンＰ１のバッファＢ１に歪み補正処理後画像データ格納領域９３の画像データを格納するためである。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。
【００７９】
画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、次のフレーム出力時にバッファＢ１からの画像データが重ね合わせ処理部８１に出力されるように表示制御部１９におけるプレーンモードレジスタＰｎＭＲに値を設定する（Ｓ１８）。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様にプレーンモードレジスタＰｎＭＲに値が設定される。
【００８０】
次に、図１１に基づいて、３回目の１画面分の処理について説明する。
【００８１】
３回目の１画面分の処理では、上記ステップＳ１〜Ｓ７に相当する処理は不要とされ、上記ステップＳ４〜Ｓ８の処理が行われる。そして１画面分の画像データに対して描画処理実行後、ＴＲＡＰ命令が実行されて中央処理装置２０に対する割り込みが発生される（Ｓ１９）。この割り込みにより中央処理装置２０は、半導体メモリ３５における歪み補正処理後画像データ格納領域を、それまでの領域から別の領域に変更する（Ｓ２０）。例えば画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０での割り込み処理において、画像処理モジュール１５におけるディスティネーションスタートアドレスレジスタＤＳＡＲには、半導体メモリ３５における歪み補正処理後画像データ格納領域９４の先頭アドレス（アドレス１１）が設定される。これにより、画像処理モジュール１５での歪み補正処理後の画像データの格納領域が、それまでの歪み補正処理後画像データ格納領域９３から歪み補正処理後画像データ格納領域９４に変更される。尚、他の画像処理モジュール１６〜１８においても同様にＴＲＡＰ命令が実行され、中央処理装置２０に対する割り込みが発生されることで歪み補正処理後画像データ格納領域の変更が行われる。
【００８２】
そして画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０によって、画像処理モジュール１５におけるＩＭＲ制御レジスタ（ＣＲ）４６のレンダリングスタートビット（ＲＳ）ビットがセットされ、再び上記ステップＳ４〜Ｓ８の処理が繰返される（Ｓ２１）。
【００８３】
画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合には、中央処理装置２０は、プレーン表示領域開始アドレスレジスタＰｎＤＳＡ０ＲにおけるＰ１ＤＳＡ０Ｒ（プレーンＰ１に対応するもの）に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレス（アドレス１０）を設定する（Ｓ２２）。これは、表示制御部１９におけるプレーンＰ１のバッファＢ０に歪み補正処理後画像データ格納領域９３の画像データを格納するためである。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様に半導体メモリ３５における歪み補正処理後画像データ格納領域９３における先頭アドレスが設定される。
【００８４】
画像処理モジュール１５でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合、中央処理装置２０は、次のフレーム出力時にバッファＢ０からの画像データが重ね合わせ処理部８１に出力されるように表示制御部１９におけるプレーンモードレジスタＰｎＭＲに値を設定する（Ｓ２３）。尚、画像処理モジュール１６〜１８でＴＲＡＰ命令が実行されて中央処理装置２０への割り込みが発生された場合にも、画像処理モジュール１５でＴＲＡＰ命令が実行された場合と同様にプレーンモードレジスタＰｎＭＲに値が設定される。
【００８５】
以上、初回の１画面分の処理（Ｓ１〜Ｓ１３）、２回目の１画面分の処理（Ｓ１４〜Ｓ１８）、３回目の１画面分の処理（Ｓ１９〜Ｓ２３）について説明したが、４回目以降の１画面分の処理については、上記２回目の１画面分の処理（Ｓ１４〜Ｓ１８）と、上記３回目の１画面分の処理（Ｓ１９〜Ｓ２３）とが交互に繰返される。
【００８６】
《実施の形態２》
実施の形態２について説明する。
【００８７】
例えば図１２に示されるように、カメラの撮影タイミングＳＨ１から次の撮影タイミングＳＨ２までの間に、撮影タイミングＳＨ１で得られた画像データについての歪み補正処理や、その処理画像データの半導体メモリ３５への書き込みが終了していれば特に支障は無い。しかし図１３に示されるように、カメラの撮影タイミングＳＨ１から次の撮影タイミングＳＨ２までの間に、撮影タイミングＳＨ１で得られた画像データについての歪み補正処理や、その処理画像データの半導体メモリ３５への書き込みが終了しない場合には、表示装置３６での画像表示を円滑に行うことができない。そこで図１５に示されるように、プロセッサ１０に、バス２２に結合された汎用ポート１５１と、この汎用ポート１５１からの出力信号をカメラ３１〜３４に伝達するための端子Ｔ７を設ける。汎用ポート１５１から端子Ｔ７を介してカメラ３１〜３４にカメラ同期信号が伝達されるようになっている。このカメラ同期信号は、画像処理モジュール（ＩＭＲ）１５〜１８が１画面分のデータ処理を完了した後、中央処理装置２０が汎用ポートに所定の値を設定することで、パルス状に出力されるものとする。カメラ３１〜３４では、端子Ｔ７を介して伝達されたカメラ同期信号に同期して撮影が行われる。かかる構成によれば、例えば図１４に示されるように、画像処理モジュール（ＩＭＲ）１５〜１８が１画面分のデータ処理を完了した後に、カメラ同期信号に同期して撮影タイミングＳＨ２でカメラ３１〜３４での撮影を行うことができるため、表示装置３６での画像表示を円滑に行うことができる。
【００８８】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【００８９】
例えば、画像処理モジュール１５〜１８における処理ブロック４３において、歪み補正後の画像データに対して、特許文献１に記載されているような視点変換処理を行うことで俯瞰画像を作成するようにしても良い。
【符号の説明】
【００９０】
１０ プロセッサ
１１〜１４，２１ インタフェース
１５〜１８ 画像処理モジュール
１９ 表示制御部
２０ 中央処理装置
３１〜３４ カメラ
３５ 半導体メモリ
３６ 表示装置
４１ ラインメモリ
４２ 処理ブロック
４３ ディスプレイリストバッファ
４４ メモリ制御レジスタ
４５ ラインメモリ制御レジスタ
４６ ＩＭＲ制御レジスタ
１００ 全周囲映像システム
【特許請求の範囲】
【請求項１】
複数のカメラと半導体メモリとが接続可能な半導体集積回路であって、
上記カメラで撮影することで得られた画像データを取り込むための複数の第１インタフェースと、
上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェースと、
上記第２インタフェースが結合されたバスと、
それぞれ上記第１インタフェースに対応して配置され、それぞれ対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための複数の画像処理モジュールと、を含み、
上記画像処理モジュールは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含むことを特徴とする半導体集積回路。
【請求項２】
上記半導体集積回路は、上記複数の画像処理モジュールで処理された画像データを上記半導体メモリから取り込んで合成して表示装置に表示制御するための表示制御部を含む請求項1記載の半導体集積回路。
【請求項３】
上記画像処理モジュールは、上記第１インタフェースを介して入力された画像データを格納するためのラインメモリと、
予め形成されたディスプレイリストを格納するためのディスプレイリストバッファと、
上記ディスプレイリストに従って、上記ラインメモリ内の画像データについて上記歪み補正を行うための処理ブロックと、を含む請求項２記載の半導体集積回路。
【請求項４】
上記ディスプレイリストは、上記ラインメモリに格納されている画像データを座標変換してから上記半導体メモリに格納することを指示するための第１命令と、
所定の条件成立までは次のディスプレイリストの実行を待たせるための第２命令と、
上記処理ブロックでの処理により１画面分の画像データが得られた時点で所定の割込み信号を形成するための第３命令と、を含み、
上記処理部ブロックは、上記第１命令、上記第２命令、及び上記第３命令を実行する請求項３記載の半導体集積回路。
【請求項５】
上記半導体集積回路は、上記バスに結合された中央処理装置を含み、
上記中央処理装置は、上記ディスプレイリストにおける上記第３命令に起因する割込み信号に対応する割込み処理によって、上記半導体メモリ内の対応する画像データを、上記バスを介して上記表示制御部に書き込む処理を含む請求項４記載の半導体集積回路。
【請求項６】
上記複数のカメラの撮影タイミングを制御するための同期信号を外部出力可能なポートを含む請求項５記載の半導体集積回路。
【請求項７】
請求項６記載の半導体集積回路と、それに結合された上記複数のカメラ及び上記半導体メモリとを備えた全周囲映像システム。
【請求項１】
複数のカメラと半導体メモリとが接続可能な半導体集積回路であって、
上記カメラで撮影することで得られた画像データを取り込むための複数の第１インタフェースと、
上記半導体メモリとの間でデータのやり取りを可能にする第２インタフェースと、
上記第２インタフェースが結合されたバスと、
それぞれ上記第１インタフェースに対応して配置され、それぞれ対応する第１インタフェースを介して伝達された画像データに対して所定のデータ処理を施すための複数の画像処理モジュールと、を含み、
上記画像処理モジュールは、予め指定された領域内の画像データについて歪み補正を行い、その歪み補正後の上記領域内の画像データを、上記バス及び上記第２インタフェースを介して上記半導体メモリに書き込む処理を含むことを特徴とする半導体集積回路。
【請求項２】
上記半導体集積回路は、上記複数の画像処理モジュールで処理された画像データを上記半導体メモリから取り込んで合成して表示装置に表示制御するための表示制御部を含む請求項1記載の半導体集積回路。
【請求項３】
上記画像処理モジュールは、上記第１インタフェースを介して入力された画像データを格納するためのラインメモリと、
予め形成されたディスプレイリストを格納するためのディスプレイリストバッファと、
上記ディスプレイリストに従って、上記ラインメモリ内の画像データについて上記歪み補正を行うための処理ブロックと、を含む請求項２記載の半導体集積回路。
【請求項４】
上記ディスプレイリストは、上記ラインメモリに格納されている画像データを座標変換してから上記半導体メモリに格納することを指示するための第１命令と、
所定の条件成立までは次のディスプレイリストの実行を待たせるための第２命令と、
上記処理ブロックでの処理により１画面分の画像データが得られた時点で所定の割込み信号を形成するための第３命令と、を含み、
上記処理部ブロックは、上記第１命令、上記第２命令、及び上記第３命令を実行する請求項３記載の半導体集積回路。
【請求項５】
上記半導体集積回路は、上記バスに結合された中央処理装置を含み、
上記中央処理装置は、上記ディスプレイリストにおける上記第３命令に起因する割込み信号に対応する割込み処理によって、上記半導体メモリ内の対応する画像データを、上記バスを介して上記表示制御部に書き込む処理を含む請求項４記載の半導体集積回路。
【請求項６】
上記複数のカメラの撮影タイミングを制御するための同期信号を外部出力可能なポートを含む請求項５記載の半導体集積回路。
【請求項７】
請求項６記載の半導体集積回路と、それに結合された上記複数のカメラ及び上記半導体メモリとを備えた全周囲映像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−９５０７５（Ｐ２０１２−９５０７５Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４０４４４（Ｐ２０１０−２４０４４４）
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]