画像処理装置
【課題】歪補正処理装置のコストの増加を抑制しつつ、歪みを有する画像に対し、その歪みを適切に補正する技術を提供する。
【解決手段】入力画像に含まれる画像歪を補正して出力画像を生成する演算部（１１）と、入力画像を示す入力画像信号をＡＤ変換して得られた入力画像データを保持する入力側メモリ（１２）と、出力画像に対応する出力画像データを保持する出力側メモリ（１４）と、画素データを記憶する記憶領域を有する演算用メモリ（１３）と、画像歪を補正するときに参照される補正処理メモリコピーテーブルデータ（１５）とを具備する画像処理装置（４）を構成する。
演算部（１１）は、処理対象画素情報（２５）に複数の処理対象画素が示されているとき、複数の処理対象画素に対応する画素データを１回のデータ処理で処理する。
【解決手段】入力画像に含まれる画像歪を補正して出力画像を生成する演算部（１１）と、入力画像を示す入力画像信号をＡＤ変換して得られた入力画像データを保持する入力側メモリ（１２）と、出力画像に対応する出力画像データを保持する出力側メモリ（１４）と、画素データを記憶する記憶領域を有する演算用メモリ（１３）と、画像歪を補正するときに参照される補正処理メモリコピーテーブルデータ（１５）とを具備する画像処理装置（４）を構成する。
演算部（１１）は、処理対象画素情報（２５）に複数の処理対象画素が示されているとき、複数の処理対象画素に対応する画素データを１回のデータ処理で処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
バックガイドモニターカメラを備える自動車の普及や、防犯などの目的で設置される監視カメラの増加などに伴って、動画の撮影を行うカメラの低価格化が求められてきている。また、バックガイドモニターカメラや監視カメラなどに使用されるカメラに対しては、広い視野を有することが求められている。
【０００３】
光学レンズを備えるカメラで被写体を撮像する場合、程度の違いはあれ、そのレンズを通した画像に幾何学的歪（歪曲収差）が発生する。撮像装置に備えられる撮影用レンズは、複数のレンズを組み合わせることで、所望の視野や倍率などを確保している。撮像された画像に生じる歪みは、使用される撮影用レンズに含まれる光学レンズの枚数が少ないほど大きくなる。また、より広角なレンズほど、画像に生じる歪みが大きくなることが知られている。
【０００４】
歪曲収差が大きい広角レンズで撮像された画像に対して歪補正を行わない場合、その画像の周辺部は大きく歪んだままになってしまう。ユーザにとって、そのような画像は見難いものである。この歪曲収差を補正する歪補正処理の技術として、撮影用レンズに組み込むレンズの枚数を増加させて、光学的に画像を補正する処理技術が知られている。
【０００５】
しかしながら、一般的に、撮影用レンズに組み込まれるレンズの枚数が大きくなると、撮影用レンズの価格が上昇し、それに伴い撮像装置の価格も上昇する。撮像装置の低価格化の要求を満たすために、撮影用レンズに含まれる光学レンズの枚数を少なくする必要がある。コストの増加を抑えつつ歪み補正を行うには、光学処理よりもデジタル処理での補正が適している。デジタルデータ処理による歪補正処理技術が知られている（例えば、特許文献１参照）。
【０００６】
特許文献１には、歪補正の他、レンズ中心が撮像面の基準位置からずれた場合でも、ずれに対応した歪補正が実現できる技術が開示されている。図１は、特許文献１に開示された画像歪補正処理装置に構成を示すブロック図である。図１を参照すると、特許文献１に開示された画像歪補正処理装置は、カメラ１０１にコントローラ１０２が接続され、コントローラ１０２にディスプレイ１０３が接続されている。コントローラ１０２は、カメラ１０１に接続されたＡＤ変換器１０４と、このＡＤ変換器１０４に接続された演算部１０５と、演算部１０５とディスプレイ１０３との間に接続されたＤＡ変換器１０６とを有している。さらに、コントローラ１０２には、演算部１０５に接続されたメモリ１０７及びＲＯＭ１０８が設けられている。
【０００７】
メモリ１０７はカメラ１０１により取り込まれた画像信号を格納するためのものである。また、ＲＯＭ１０８にはカメラ１０１のレンズ歪による画像のゆがみを補正するための出力画像の各アドレスに対する画素の必要移動量がマップとして予め記憶されている。
【０００８】
図２は、特許文献１に記載の画像歪補正処理装置において、カメラ１０１のレンズ中心と撮像面の基準位置とが一致しているときのＲＯＭのマップ領域と使用領域とを示す図である。図２に示されるように、ＲＯＭ１０８には、予め出力画像に対応したマップデータの使用領域１０９より広いマップ領域１１０の画素の必要移動量が記憶されている。
【０００９】
特許文献１に記載の画像歪補正処理装置で、歪み補正をする場合、カメラ１０１により画面の上端のラインの画像信号が順次取り込まれる。取り込まれた画像信号は、ＡＤ変換器１０４でＡ／Ｄ変換された後、演算部１０５を介してメモリ１０７に書き込まれる。次いで、画面の上端から第２番目のラインの画像信号が取り込まれ、同様にして順次下方のラインの画像信号が取り込まれてメモリ１０７に書き込まれる。
【００１０】
演算部１０５は、カメラ１０１のレンズ歪による画像のゆがみを補正するための各画素の上下左右方向の必要移動量をＲＯＭ１０８の使用領域１０９内のマップデータから読む。演算部１０５は、ＲＯＭ１０８から読み出された移動量に応じて、出力画像の上端のラインに相当する画像信号をメモリ１０７から読み出し、順次ＤＡ変換器１０６でＤ／Ａ変換させてディスプレイ１０３へ出力する。同様に、演算部１０５は、各画素の移動量に応じて出力画像の上端から第２番目のラインに相当する画像信号をメモリ１０７から読み出して出力する。
【００１１】
このようにして、画面の上端のラインから下方のラインへと順に画像信号を取り込んでメモリ１０７に書き込む。各画素の移動量に応じて出力画像の各ラインに相当する画像信号を、順次メモリ１０７から読み出してディスプレイ１０３へ出力する。画面下端のラインの画像信号の書き込みが完了すると、再び画面上端のラインの画像信号の取り込みが循環式に行われる。同様に、出力画像の下端のラインの画像信号の出力が完了すると、再び出力画像の上端のラインに相当する画像信号がメモリ１０７から読み出され、循環式に出力される。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００１−１８６４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
歪補正は、非線形の画像変形処理という処理負荷が重い処理であり、歪曲収差が大きいほど処理負荷が重くなるという性質を持っている。例えば、歪みが小さな画像に比べ、歪みが大きい画像の方が、歪補正を行う場合の各画素の上下左右方向の移動量が大きくなる。また、歪みが小さな画像に比べ、歪みが大きい画像の方が、歪補正処理に要する時間が長くなってしまう。
【００１４】
特許文献１には、演算部１０５が、ＲＯＭ１０８に格納された画像の歪みを補正するためのマップデータ通りに画素移動することにより、歪補正処理された出力画像を得ることができることが記載されている。特許文献１に記載の技術は、演算部１０５の画素移動処理能力が歪補正処理能力を決定している。
【００１５】
歪曲収差が大きい安価な広角レンズを備えた撮像装置で撮影された動画に対し、適切な歪補正処理を行うには、高性能な演算処理回路が必要となる。しかしながら、そのような演算処理回路は高価であり、歪み補正処理装置のコストの増加を引き起こしてしまう。
【００１６】
本発明が解決しようとする課題は、歪補正処理装置のコストの増加を抑制しつつ、歪みを有する画像に対し、その歪みを適切に補正する技術を提供することにある。
【課題を解決するための手段】
【００１７】
以下に、［発明を実施するための形態］で使用される番号を用いて、［課題を解決するための手段］を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１８】
上記の課題を解決するために、入力画像に含まれる画像歪を補正して出力画像を生成する演算部（１１）と、入力画像を示す入力画像信号をＡＤ変換して得られた入力画像データを保持する入力側メモリ（１２）と、出力画像に対応する出力画像データを保持する出力側メモリ（１４）と、画素データを記憶する記憶領域を有する演算用メモリ（１３）と、画像歪を補正するときに参照される補正処理メモリコピーテーブルデータ（１５）とを具備する画像処理装置（４）を構成する。
補正処理メモリコピーテーブルデータ（１５）は、処理の順番が決められている複数のレコードを備えていることが好ましい。その複数のレコードの各々は、演算部（１１）で実行される命令に関する情報を示す命令フィールド（２２）と、命令に応答して１回のデータ処理で処理される少なくとも一つの処理対象画素に関する情報を示す処理対象画素情報（２５）とを備えていることが好ましい。
そして、演算部（１１）は、処理対象画素情報（２５）に複数の処理対象画素が示されているとき、複数の処理対象画素に対応する画素データを１回のデータ処理で処理する。
【００１９】
その画像処理装置（４）において、処理対象画素情報（２５）は、演算部（１１）が読み出す画素データを保持している参照元情報を示す参照元情報フィールド（２４）と、演算部（１１）が画素データを書き込むときの書き込み先情報を示す書き込み先情報フィールド（２３）とを含むものであることが好ましい。
【００２０】
その画像処理装置（４）において、入力画像データは、複数の入力画像画素データを含み、入力側メモリ（１２）は、複数の入力画像画素データの各々に一対一に対応する入力側メモリアドレスを有するものであることが好ましい。また、出力画像データは、複数の出力画像画素データを含み、出力側メモリ（１４）は、複数の出力画像画素データの各々に一対一に対応する出力側メモリアドレスを有するものであることが好ましい。
【００２１】
その画像処理装置（４）において、演算部（１１）は、命令が、読み出し命令のとき、参照元情報に基づいて入力側メモリアドレスを特定して入力画像画素データを読み出し、読み出した入力画像画素データを、転送対象画素データとして、書き込み先情報に基づいて演算用メモリ（１３）の記憶領域に書き込みを行うことが好ましい。また命令が、書き込み命令のとき、参照元情報に基づいて演算用メモリ（１３）の記憶領域を特定して転送対象画素データを読み出し、読み出した転送対象画素データを、出力画像画素データとして、書き込み先情報に基づいて出力側メモリアドレスを特定して出力側メモリ（１４）に書き込みを行うことが好ましい。
【発明の効果】
【００２２】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、歪補正処理装置のコストの増加を抑制しつつ、歪みを有する画像に対し、その歪みを適切に補正する技術を提供することができる。
【００２３】
画素アドレス変換による画像コピーで歪補正処理を実現する場合、メモリコピー処理が処理のボトルネックになっている。本願発明は、このメモリコピー処理を高速化するために、歪補正システムハードウェアに最適化を図ったメモリコピー処理テーブルを備えている。それにより、シーケンシャルなメモリアクセスでメモリコピー処理が行えるようになる。
【図面の簡単な説明】
【００２４】
【図１】図１は、従来の画像歪補正処理装置の構成を示すブロック図である。
【図２】図２は、従来の画像歪補正処理装置において、ＲＯＭのマップ領域と使用領域との対応を示す図である。
【図３】図３は、第１実施形態の撮像システム１の構成を例示するブロック図である。
【図４】図４は、画素アドレス変換データ１６の構成を例示するテーブルである。
【図５】図５は、入力画像用メモリ１２の構成を例示するブロック図である。
【図６】図６は、出力画像用メモリ１４の構成を例示するブロック図である。
【図７】図７は、補正処理メモリコピーテーブルデータ１５の構成を例示するテーブルである。
【図８】図８は、元画像（補正前の画像）と補正画像（補正後の画像）との対応を例示する図である。
【図９】図９は、本実施形態の撮像システム１における画像処理装置４の動作を例示するブロック図である。
【図１０】図１０は、補正処理メモリコピーテーブルデータ１５の作成方法を例示するブロック図である。
【図１１】図１１は、第２実施形態の撮像システム１の構成を例示するブロック図である。
【発明を実施するための形態】
【００２５】
［第１実施形態］
以下、本発明の実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２６】
図３は、本願発明の第１実施形態に係る撮像システム１の構成を例示するブロック図である。図３を参照すると、撮像システム１は、カメラ２と、Ａ／Ｄ変換器３と、画像処理装置４と、Ｄ／Ａ変換器５と、ディスプレイ６とを備えている。画像処理装置４は、入力画像用メモリ１２と、演算部１１と、補正処理メモリコピーテーブルデータ１５と、演算用メモリ１３と、出力画像用メモリ１４とを含んでいる。
【００２７】
画像処理装置４は、カメラ２から供給された画像信号をＡ／Ｄ変換することによって得られた入力画像データに対して、歪補正処理を実行する。画像処理装置４は、その実行結果である出力画像データをＤ／Ａ変換器５に供給する。Ｄ／Ａ変換器５は、出力画像データをＤ／Ａ変換してディスプレイ６に供給する。本実施形態において、画像処理装置４を構成している構成物（演算部１１、入力画像用メモリ１２、演算用メモリ１３および出力画像用メモリ１４）が、１つのＩＣチップに備えられていてもよい。Ａ／Ｄ変換器３は、カメラ画像に対応するアナログ画像信号を受け取り、デジタルデータに変換し、変換結果であるデジタル入力画像データを入力画像用メモリ１２受け渡す。
【００２８】
入力画像用メモリ１２は、入力バッファメモリなどに代表される記憶装置である。入力画像用メモリ１２は、カメラ２から出力された入力画像データを一時的に蓄える。本実施形態の入力画像用メモリ１２は、少なくとも１画面分の画像データを保持することができる。
【００２９】
演算部１１は、画素アドレスが連続している複数の画素データが、メモリアドレスが連続した記憶領域に記憶されている場合、その複数の画素データを一回の処理で扱える機能を備えている。演算部１１には、演算用メモリ１３が接続されている。演算部１１は、補正処理メモリコピーテーブルデータ１５の情報に基づいて、入力画像用メモリ１２から出力画像用メモリ１４へとメモリコピー処理を行う。
【００３０】
演算用メモリ１３は、そのメモリコピー処理の際に、メモリコピーバッファとして使用される。本実施形態の画像処理装置４において、演算部１１は、補正処理メモリコピーテーブルデータ１５の情報に基づいて、入力画像用メモリ１２から出力画像用メモリ１４へデータの転送を行う。本実施形態の画像処理装置４は、補正処理メモリコピーテーブルデータ１５に基づいたメモリコピー処理が行われることによって、処理負荷の軽い歪補正処理を実現する。本実施形態の演算用メモリ１３は、演算部１１が１回の処理で扱える最大データ量の画像データを保持することができることが好ましい。
【００３１】
出力画像用メモリ１４は、ＶＲＡＭなどに代表される記憶装置である。本実施形態の出力画像用メモリ１４は、少なくとも１画面分の画像データを保持することができる。出力画像用メモリ１４には、歪補正後の画像データが保持される。Ｄ／Ａ変換器５は、出力画像用メモリ１４から供給される歪補正後の画像データ（出力画像データ）をＤ／Ａ変換して、ディスプレイ６に表示用のアナログ映像信号として渡す。受け取ったアナログ映像信号によって、ディスプレイ６で映像が表示される。
【００３２】
補正処理メモリコピーテーブルデータ１５は、歪補正処理をメモリコピー処理により画素移動することで実現する際に、効率よくメモリコピー処理が行えるように、メモリコピーの方法、手順を保存したテーブルデータである。補正処理メモリコピーテーブルデータ１５は、画素アドレス変換データ１６の情報を元に構成されている。補正処理メモリコピーテーブルデータ１５を使用してメモリコピーを行うことで、処理時間の低減を図り、歪補正処理能力の向上を実現させている。
【００３３】
図４は、画素アドレス変換データ１６の構成を例示するテーブルである。本実施形態の補正処理メモリコピーテーブルデータ１５は、歪みを有する画像の画素アドレスを変換することで歪補正を行う画像処理装置などで使用される画素アドレス変換データ１６と同等の情報を含んでいる。図４に示されているように、画素アドレス変換データ１６は、画素アドレス変換が実行される前の画素アドレスと、実行された後の画素アドレスとの対応関係をデータとして保持している。
【００３４】
図５は、本実施形態の撮像システム１の入力画像用メモリ１２の構成を例示するブロック図である。入力画像用メモリ１２は、Ａ／Ｄ変換器３から供給される入力画像データの画素アドレスをメモリアドレスに一対一に対応させて保持する。入力画像用メモリ１２は、その入力画像データを構成する複数の画素データを、決められた記憶領域に記憶する。
【００３５】
図６は、本実施形態の撮像システム１の出力画像用メモリ１４の構成を例示するブロック図である。出力画像用メモリ１４は、Ｄ／Ａ変換器５に供給する出力画像データの画素アドレスをメモリアドレスに一対一に対応させて保持する。出力画像用メモリ１４は、その出力画像データを構成する複数の画素データを、決められた記憶領域に記憶する。
【００３６】
図７は、本実施形態の撮像システム１の補正処理メモリコピーテーブルデータ１５の構成を例示するテーブルである。補正処理メモリコピーテーブルデータ１５には、メモリコピーを行うプロセスがテーブル状に並べられている。演算部１１は、この補正処理メモリコピーテーブルデータ１５の並び通りに、入力画像用メモリ１２と演算用メモリ１３との間、および、演算用メモリ１３と出力画像用メモリ１４との間でメモリコピー処理を行う。
【００３７】
図７を参照すると、補正処理メモリコピーテーブルデータ１５は、複数のレコードを備えている。その複数のレコードの各々は、処置順番フィールド２１と、命令フィールド２２と、処理対象画素情報２５を含んでいる。処置順番フィールド２１には、メモリコピー処理リストが記載される。命令フィールド２２には、メモリコピー関連命令情報が記載される。
【００３８】
処理対象画素情報２５は、書き込み先情報フィールド２３と参照元情報フィールド２４とを含んでいる。書き込み先情報フィールド２３には、使用コピーバッファ／レジスタ情報、または、コピー参照元／参照先画素アドレスデータ情報が記載される。同様に、参照元情報フィールド２４には、使用コピーバッファ／レジスタ情報、または、コピー参照元／参照先画素アドレスデータ情報が記載される。
【００３９】
処置順番フィールド２１には、メモリコピー処理リストとして、メモリコピー処理で一度に行う処理内容と、その処理の順番が表記されている。命令フィールド２２には、メモリコピー関連命令情報として、ＲｅａｄやＷｒｉｔｅなどのメモリコピー関連命令情報が表記されている。尚、メモリコピー処理の最適化を行うと、Ｃｏｐｙ命令をＲｅａｄとＷｒｉｔｅに分解して処理したほうが、効率が良くＲｅａｄやＷｒｉｔｅ命令が多く見られる。
【００４０】
書き込み先情報フィールド２３には、入力画像用メモリ１２と演算用メモリ１３との間のメモリコピー処理の場合には、使用コピーバッファ／レジスタ情報として、使用コピーバッファ／レジスタ／ＦＩＦＯである演算用メモリ１３の情報が表記される。また、演算用メモリ１３と出力画像用メモリ１４との間でメモリコピー処理の場合には、書き込み先情報フィールド２３には、コピー参照元／参照先画素アドレスデータ情報として、出力画像用メモリ１４のアドレス情報が表記される。
【００４１】
参照元情報フィールド２４には、入力画像用メモリ１２と演算用メモリ１３との間のメモリコピー処理の場合には、コピー参照元／参照先画素アドレスデータ情報として、入力画像用メモリ１２のアドレス情報が表記される。また、演算用メモリ１３と出力画像用メモリ１４との間でメモリコピー処理の場合には、参照元情報フィールド２４には、使用コピーバッファ／レジスタ情報として、使用コピーバッファ／レジスタ／ＦＩＦＯである演算用メモリ１３の情報が表記される。
【００４２】
上述したように、画素アドレスが連続している複数の画素データが、連続したメモリアドレスで記憶されている場合、本実施形態の演算部１１は、その複数の画素データを一回の処理で扱える機能を備えている。
【００４３】
本実施形態の撮像システム１において、画像処理装置４が複数画素分の画素データを一度に扱うことができれば、歪補正処理を行う場合の処理の高速化が図ることができる。本実施形態の補正処理メモリコピーテーブルデータ１５は、命令フィールド２２にメモリコピー関連命令情報を持っている。そのメモリコピー関連命令情報に基づいて、画像処理装置４の機能に最適化された処理を実現させている。
【００４４】
上述のように、本実施形態の画像処理装置４は、歪み補正機能に応じて、メモリコピー処理の手順の最適化を行って、補正処理メモリコピーテーブルデータ１５として保持している。例えば、ある一つの画素アドレスの画素データを、複数の画素アドレスに対してメモリコピー（画素アドレス変換）を行う場合を例示する。このときに、その一つの画素アドレスの画素データを、一旦レジスタなどの演算用メモリ１３に書き込み、そして、その演算用メモリ１３から、出力画像用メモリ１４に複数回メモリ書き込みを行う方が、処理時間が短い場合、そのような動作になるように補正処理メモリコピーテーブルデータ１５の最適化を行う。
【００４５】
また、参照元である入力画像用メモリ１２から、その一つの画素アドレスの画素データを複数回読みだして、出力画像用メモリ１４に複数回メモリ書き込みを行うほうが、高速にメモリコピーを行うことができる場合、そのような動作になるように補正処理メモリコピーテーブルデータ１５の最適化を行う。
【００４６】
図７を参照すると、補正処理メモリコピーテーブルデータ１５の複数のレコードは、複数の画素アドレスが表記されているレコードを含んでいる。演算部１１は、補正処理メモリコピーテーブルデータ１５に基づいて、一つのメモリコピー関連命令で複数の画素データを処理している。本実施形態の入力画像用メモリ１２や出力画像用メモリ１４が、同時に複数の画素データに対するデータ処理に対応している。演算部１１は、一つのメモリコピー関連命令で複数の画素データを処理することで、歪み補正の処理時間を短くさせている。
【００４７】
図７には、ｋ−２番目の処理で、画素アドレスが連続している４つの画素データを入力画像用メモリ１２から読み出し、演算用メモリ１３である４つのレジスタに、アドレスが連続するように格納する動作が例示されている。次のｋ−１番目の処理で、その演算用メモリ１３の４つのレジスタに保持されている画素データを一回の処理で読み出し、画素アドレスが連続となるように出力画像用メモリ１４に書き込みを行っている。
【００４８】
また、図７に示されているように、ｋ番目の処理、ｋ＋１番目の処理、および、ｋ＋２番目の処理では、入力画像の画素アドレスが（１５６、２）の画素データを、出力画像の画素アドレスが（１５４、２）、（１５５、２）、（１５６、２）になるように、メモリコピーを行っている。また、入力画像の画素アドレスが（１５７、２）の画素データを、出力画像の画素アドレスが（１５７、２）、（１５８、２）になるように、メモリコピーを行っている。また、入力画像の画素アドレスが（１５８、２）の画素データを、出力画像の画素アドレスが（１５９、２）、（１６０、２）になるように、メモリコピーを行っている。さらに、入力画像の画素アドレスが（１５９、２）の画素データを、出力画像の画素アドレスが（１６１、２）になるように、メモリコピーを行っている。
【００４９】
このように、ｋ＋１番目の処理、および、ｋ＋２番目の処理で扱われる書き込みデータの元データが同一であるため、ｋ番目の処理で一度だけレジスタに読み出しを行う。それをｋ＋１番目の処理、および、ｋ＋２番目の処理で書き込みをすることで、その都度読み出す必要がないように効率化が図られている。
【００５０】
図８は、本実施形態の元画像（補正前の画像）と補正画像（補正後の画像）との対応を例示する図である。図８に例示されているように、元画像の画素アドレスが（５，６）の画像データは、補正画像の画素アドレスが（７，８）の画素データとなる。同様に、元画像の画素アドレスが（１８，５）の画像データは、補正画像の画素アドレスが（１９，７）の画素データとなる。画素座標のｘ座標とｙ座標との両方が大きく変化する場合、画素アドレス変換データ１６に示される情報だけでは、連続した画素アドレスの画素データを読み出すことが困難となる、また、画素アドレス変換データ１６に示される情報だけでは、出力画像用メモリ１４に連続な画素データとして書き込むことが困難となる。
【００５１】
本実施形態の画像処理装置４は、図７に示した通り、歪補正処理に必要なメモリコピー処理が既にメモリコピー処理が可能な限り連続なアドレスになるようにメモリコピー処理が並び替えられており、効率の良いメモリアクセスが可能になる。また書き込み元の読み込みアドレスが同じメモリコピー処理に関しては、１度の読み込みで複数の書き込みを行うことでメモリ読み込み、書き込み処理の総処理数削減が実現し、メモリアクセス処理の効率化が行える。
【００５２】
図９は、本実施形態の撮像システム１における画像処理装置４の動作を例示するブロック図である。図９の（ａ）は、比較のために、補正処理メモリコピーテーブルデータ１５使用しない場合の動作を例示している。図９の（ｂ）は、メモリコピー処理のハードウェア機能の最適化例を示している。
図９は、画像データのバス長がデータｂｉｔ幅で６４ｂｉｔ、最小アクセスｂｉｔ幅が
【００５３】
１６ｂｉｔであるようなハードウェア機能の場合での最適化例である。このｂｉｔ幅は、演算部１１の内部ｂｉｔ長と、この演算部１１に接続されている構成物の接続ｂｉｔ長に対応している。
【００５４】
図９の（ａ）に示されているように、画像の最小単位である１画素分のデータ量が１６ｂｉｔであった場合に、１画素分だけメモリコピーを行うと、１度に６４ｂｉｔ幅でデータに読み書きするが、有効なデータはそのうち１６ｂｉｔ分になる。
【００５５】
一方で、図９の（ｂ）に示されているように、データのアドレスが４つ連続した画素である場合には、１度に６４ｂｉｔ分のデータに読み書きが可能になり、メモリコピー処理の効率化が行える。メモリコピー処理では、読み出し処理と書き込み処理、すなわち、入力画像用メモリ１２からの読み出し処理と出力画像用メモリ１４への書き込み処理の２種類の処理が必要であるが、この読み出し／書き込み共に、１度にアクセスするデータが連続したアドレスであると、この場合では最大４つの画素データを１度に処理することが可能になる。
【００５６】
従来技術に対して、本発明の中でも複数分のデータを扱える機能に対してそれを実際に扱えるように処理命令情報を追加した場合の効果は、図６の本発明のメモリアクセス有効データが４つ分全て埋まることはできず、非連続アクセスデータが発生するとメモリアクセス有効データ率が低くなる。そのため、複数分のデータを扱える機能に対してそれを実際に扱えるように処理命令情報を追加するだけでなく、連続アドレスでアクセスできるように処理の並べ替え処理も処理の効率化で必要である。
【００５７】
以上説明したとおり、本実施形態の画像処理装置４は、歪補正システムハードウェアに最適化を図った補正処理メモリコピー処理テーブルデータを持つことにより、メモリコピー処理の最適化が実現でき、歪補正処理能力が向上している。
【００５８】
本実施形態において、補正処理メモリコピーテーブルデータ１５は、事前に作成されていることが好ましい。以下では、その補正処理メモリコピーテーブルデータ１５の作成方法について説明を行う。なお、本実施形態における補正処理メモリコピーテーブルデータ１５の作成タイミングに制限はない。例えば、必要に応じてその都度補正処理メモリコピーテーブルデータ１５を作成する場合であっても、本願の効果を奏することが可能である。
【００５９】
図１０は、補正処理メモリコピーテーブルデータ１５の作成方法を例示するブロック図である。補正用画像３１として、直線や格子状の図形が描かれた印刷物を用いて、補正を行いたいカメラ２で実際にこのカメラ画像データ３２の撮影を行う。撮影されたカメラ画像データ３２を取り込み、補正用画像３１とカメラ画像データ３２との間の相関関係を外部コンピュータ３３にて解析することで、歪みの解析、補正を行い、カメラ画像データ３２の画素データを切り貼りして画素移動による補正を実現するための画素アドレス変換データ１６を作成する。
【００６０】
この歪補正では、レンズによって歪んでしまった画像が、本来はどの位置にあるべき画像なのかを、補正用画像３１を、カメラを通して撮影することにより、カメラの光学特性を知ることなく補正が可能になる。また装置の取り付け後に補正データの作成を行えば、レンズの中心部のずれや、取り付け誤差なども補正される。
【００６１】
補正処理装置アーキテクチャ情報３４には画像用データのメモリデータ長、バスデータ長、画像用メモリ操作仕様、画像取り込みタイミング、画像出力タイミングなどの、入力画像用メモリ１２から出力画像用メモリ１４へとメモリコピー処理する際に関連のあるハードウェア機能情報を使用する。
【００６２】
この補正処理装置アーキテクチャ情報３４と画素アドレス変換データ１６を用いて、メモリコピー処理による画素移動のメモリコピー処理が速くなるよう、メモリコピーの方法、順番を外部コンピュータ３３にて最適化計算を行い、ハードウェア機能最適化されたメモリコピー処理方法である補正処理メモリコピーテーブルデータ１５が作成される。このデータが格納されているのが補正処理メモリコピーテーブルデータ１５である。
【００６３】
［比較例］
以下に、本願発明の比較例について説明を行う。上述した特許文献１の技術において、その文献に具体的な記載がないが、歪補正処理を施した画像データは、ディスプレイ１０３への出力タイミングの関係から、ＤＡ変換器１０６の前で、一旦コントローラ１０２内部の記憶領域に保持される場合がある。特許文献１に記載された画像の歪補正処理は、メモリ１０７からＤＡ変換器１０６直前に搭載される記憶領域へのメモリコピー処理の間に行われるものだといえる。
【００６４】
メモリコピー処理は、連続したアドレスでのシーケンシャルアクセスデータコピーと、不連続なアドレスでのランダムアクセスデータコピーで処理時間が異なる。連続したアドレスでのメモリコピー処理に比べ、不連続になればなるほどメモリコピー処理能力は低下していく。そのため、同じ回数のメモリコピー処理だとしても、不連続なアドレスでの処理になればなるほど、メモリコピー処理に時間がかかり、歪補正処理能力が低下する。
【００６５】
一方で、歪曲収差が大きい（広角率が高い）画像ほど不連続なアドレスでの画像データの並べ替えが必要になる。また、遠近法補正や、拡大補正処理などの、より複雑な補正処理を行うほど不連続なアドレスでの画像データの並べ替えが必要になる。そのため、従来技術では時間がかかる不連続なアドレスでのランダムデータコピーより歪補正処理能力の低下を引き起こしていた。
【００６６】
また、画素アドレス変換データだけしか情報がないと、歪補正システムハードウェア的には連続アドレスであれば複数分の画素データを一度に処理可能な機能であったとしても、アドレスの連続、非連続によりメモリコピー処理内容を変更するようなことができず、一画素単位でしか処理を行わないため、効率的な処理を行えないことがある。
【００６７】
上述した本実施形態の撮像システム１は、歪補正処理として画素アドレス変換データを使用したデジタル処理に対応しつつ、画素移動処理能力不足を解消するために、複数分の画素データを一度に処理可能な構成を備えることで、画素移動処理能力の向上を実現している。
【００６８】
［第２実施形態］
以下に、本願発明の第２実施形態について説明を行う。図１１は、第２実施形態の撮像システム１の構成を例示するブロック図である。第２実施形態の撮像システム１は、第１実施形態のディスプレイ６と画像処理装置４が一体化された画像補正付表示装置４１を構成している。その画像補正付表示装置４１は、画像処理装置４と、表示用インターフェース（Ｃ８）４２と、ディスプレイ４３とを備えている。第２実施形態のディスプレイ４３は、アナログ信号インターフェース仕様ではなく、デジタル信号インターフェース仕様の表示装置である。
【００６９】
図１１に示されているように、第２実施形態の撮像システム１は、カメラ２及び画像補正付表示装置４１から構成されている。画像補正付表示装置４１に備えられている表示用インターフェース（Ｃ８）４２、ディスプレイ４３を除く、他の構成要素は、第１実施形態と同様の構成および動作をするため、詳細な説明を省略する。
【００７０】
出力画像用メモリ１４であるＶＲＡＭには、歪補正後の画像データが保持される。表示用インターフェース（Ｃ８）４２は、そのＶＲＡＭからディスプレイ４３に、表示用のデジタル映像信号を受け渡す。受け取った映像がディスプレイ４３で表示される。
【００７１】
第２実施形態では、第１実施形態とは歪補正処理後の画像出力インターフェースが異なっている。画像出力インターフェースが異なると、信号インターフェース規格に合わせて、画像データの送信方法、送信タイミング、送信周期が変化する。そのような場合には、歪補正処理時間の必要時間が異なり、より速いタイミングでデータを送信する必要が発生する場合がある。その際には、その短いタイミング内に必要な処理時間で歪補正を処理しきることが必要になる。本実施形態の画像処理装置４は、歪補正処理システムハードウェアに最適化を図った補正処理メモリコピー処理テーブルデータを持つことにより、メモリコピー処理の最適化が実現でき、歪補正処理能力の向上が図れる。そのため、歪補正処理時間の短縮が必要な用途でも本発明が適応できる。
【００７２】
上述の複数の実施形態で示したように、本発明によれば、歪補正処理に要する時間を短縮することができ、従来の補正処理装置に比較して、全体で約数倍高速な補正処理装置を構成することができる。例えば、最大４つのカラーデータを扱うことが可能なハードウェア機能が構成されている場合であって、入出力画像が１６ｂｉｔカラーの場合を以下に説明する、その場合、ハードウェア機能への最適化は、最大４並列データを扱え、その際には４倍の効果になる。実際に全ての処理で４並列にて扱うことはできなくても、実効値で約数倍の効果になる。
【００７３】
メモリアクセスの最適化は、メモリコピーを行うための読み込み、書き込み命令の命令順、データ数を並び替えることにより、最適化前に比べ読み込み、書き込み命令数の削減で約数割の向上を実現する。したがって、両方の効果を合わせると約３倍の高速化が実現できる。
【００７４】
本実施形態の画像処理装置４を含む撮像システム１としては、歪補正専用モジュールで処理を実現するものだけでなく、カーナビゲーションシステム用プロセッサで歪補正処理も行うシステムなどにも適用可能である。
【００７５】
また、上述の実施形態では、演算用メモリ１３がレジスタと想定した例で説明している。例えば演算部１１がＤＭＡなどで実現されている場合には、演算用メモリ１３がＦＩＦＯであってもよい。演算用メモリ１３がＦＩＦＯの場合の補正処理メモリコピーテーブルデータ１５では、一画素単位で、ＦＩＦＯ経由でメモリコピーを行うよりも、複数画素分データを、それを保持できるＦＩＦＯに一度に読み出し、一度に書き込むバースト転送のほうが、処理時間が速くなる。そのため、そのような処理になるように処理内容が最適化されている。
【００７６】
また、例えば、市場では、入力画像や出力画像が従来画素アドレス変換データでの画素移動処理で処理しきれていた画面解像度より高い解像度や、既知技術である遠近法補正や、拡大補正処理など、より複雑な歪補正処理が求められている。そのような複雑な歪補正処理では、専用演算器による歪補正処理が一般的に使われている。専用演算器による歪補正処理は、画素アドレス変換データでの画素移動処理方法よりも実装コストが高価である。本願の技術を、その複雑な歪補正処理に適用することで、コストの増加を抑制しつつ歪補正処理能力を向上させることが可能となる。
【００７７】
以上、本願発明の実施の形態を具体的に説明した。本願発明は上述の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【符号の説明】
【００７８】
１…撮像システム
２…カメラ
３…Ａ／Ｄ変換器
４…画像処理装置
５…Ｄ／Ａ変換器
６…ディスプレイ
１１…演算部
１２…入力画像用メモリ
１３…演算用メモリ
１４…出力画像用メモリ
１５…補正処理メモリコピーテーブルデータ
１６…画素アドレス変換データ
２１…処置順番フィールド
２２…命令フィールド
２３…書き込み先情報フィールド
２４…参照元情報フィールド
２５…処理対象画素情報
３１…補正用画像
３２…カメラ画像データ
３３…外部コンピュータ
３４…補正処理装置アーキテクチャ情報
４１…画像補正付表示装置
４２…表示用インターフェース（Ｃ８）
４３…ディスプレイ
１０１…カメラ
１０２…コントローラ
１０３…ディスプレイ
１０４…ＡＤ変換器
１０５…演算部
１０６…ＤＡ変換器
１０７…メモリ
１０８…ＲＯＭ
１０９…使用領域
１１０…マップ領域
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
バックガイドモニターカメラを備える自動車の普及や、防犯などの目的で設置される監視カメラの増加などに伴って、動画の撮影を行うカメラの低価格化が求められてきている。また、バックガイドモニターカメラや監視カメラなどに使用されるカメラに対しては、広い視野を有することが求められている。
【０００３】
光学レンズを備えるカメラで被写体を撮像する場合、程度の違いはあれ、そのレンズを通した画像に幾何学的歪（歪曲収差）が発生する。撮像装置に備えられる撮影用レンズは、複数のレンズを組み合わせることで、所望の視野や倍率などを確保している。撮像された画像に生じる歪みは、使用される撮影用レンズに含まれる光学レンズの枚数が少ないほど大きくなる。また、より広角なレンズほど、画像に生じる歪みが大きくなることが知られている。
【０００４】
歪曲収差が大きい広角レンズで撮像された画像に対して歪補正を行わない場合、その画像の周辺部は大きく歪んだままになってしまう。ユーザにとって、そのような画像は見難いものである。この歪曲収差を補正する歪補正処理の技術として、撮影用レンズに組み込むレンズの枚数を増加させて、光学的に画像を補正する処理技術が知られている。
【０００５】
しかしながら、一般的に、撮影用レンズに組み込まれるレンズの枚数が大きくなると、撮影用レンズの価格が上昇し、それに伴い撮像装置の価格も上昇する。撮像装置の低価格化の要求を満たすために、撮影用レンズに含まれる光学レンズの枚数を少なくする必要がある。コストの増加を抑えつつ歪み補正を行うには、光学処理よりもデジタル処理での補正が適している。デジタルデータ処理による歪補正処理技術が知られている（例えば、特許文献１参照）。
【０００６】
特許文献１には、歪補正の他、レンズ中心が撮像面の基準位置からずれた場合でも、ずれに対応した歪補正が実現できる技術が開示されている。図１は、特許文献１に開示された画像歪補正処理装置に構成を示すブロック図である。図１を参照すると、特許文献１に開示された画像歪補正処理装置は、カメラ１０１にコントローラ１０２が接続され、コントローラ１０２にディスプレイ１０３が接続されている。コントローラ１０２は、カメラ１０１に接続されたＡＤ変換器１０４と、このＡＤ変換器１０４に接続された演算部１０５と、演算部１０５とディスプレイ１０３との間に接続されたＤＡ変換器１０６とを有している。さらに、コントローラ１０２には、演算部１０５に接続されたメモリ１０７及びＲＯＭ１０８が設けられている。
【０００７】
メモリ１０７はカメラ１０１により取り込まれた画像信号を格納するためのものである。また、ＲＯＭ１０８にはカメラ１０１のレンズ歪による画像のゆがみを補正するための出力画像の各アドレスに対する画素の必要移動量がマップとして予め記憶されている。
【０００８】
図２は、特許文献１に記載の画像歪補正処理装置において、カメラ１０１のレンズ中心と撮像面の基準位置とが一致しているときのＲＯＭのマップ領域と使用領域とを示す図である。図２に示されるように、ＲＯＭ１０８には、予め出力画像に対応したマップデータの使用領域１０９より広いマップ領域１１０の画素の必要移動量が記憶されている。
【０００９】
特許文献１に記載の画像歪補正処理装置で、歪み補正をする場合、カメラ１０１により画面の上端のラインの画像信号が順次取り込まれる。取り込まれた画像信号は、ＡＤ変換器１０４でＡ／Ｄ変換された後、演算部１０５を介してメモリ１０７に書き込まれる。次いで、画面の上端から第２番目のラインの画像信号が取り込まれ、同様にして順次下方のラインの画像信号が取り込まれてメモリ１０７に書き込まれる。
【００１０】
演算部１０５は、カメラ１０１のレンズ歪による画像のゆがみを補正するための各画素の上下左右方向の必要移動量をＲＯＭ１０８の使用領域１０９内のマップデータから読む。演算部１０５は、ＲＯＭ１０８から読み出された移動量に応じて、出力画像の上端のラインに相当する画像信号をメモリ１０７から読み出し、順次ＤＡ変換器１０６でＤ／Ａ変換させてディスプレイ１０３へ出力する。同様に、演算部１０５は、各画素の移動量に応じて出力画像の上端から第２番目のラインに相当する画像信号をメモリ１０７から読み出して出力する。
【００１１】
このようにして、画面の上端のラインから下方のラインへと順に画像信号を取り込んでメモリ１０７に書き込む。各画素の移動量に応じて出力画像の各ラインに相当する画像信号を、順次メモリ１０７から読み出してディスプレイ１０３へ出力する。画面下端のラインの画像信号の書き込みが完了すると、再び画面上端のラインの画像信号の取り込みが循環式に行われる。同様に、出力画像の下端のラインの画像信号の出力が完了すると、再び出力画像の上端のラインに相当する画像信号がメモリ１０７から読み出され、循環式に出力される。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００１−１８６４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
歪補正は、非線形の画像変形処理という処理負荷が重い処理であり、歪曲収差が大きいほど処理負荷が重くなるという性質を持っている。例えば、歪みが小さな画像に比べ、歪みが大きい画像の方が、歪補正を行う場合の各画素の上下左右方向の移動量が大きくなる。また、歪みが小さな画像に比べ、歪みが大きい画像の方が、歪補正処理に要する時間が長くなってしまう。
【００１４】
特許文献１には、演算部１０５が、ＲＯＭ１０８に格納された画像の歪みを補正するためのマップデータ通りに画素移動することにより、歪補正処理された出力画像を得ることができることが記載されている。特許文献１に記載の技術は、演算部１０５の画素移動処理能力が歪補正処理能力を決定している。
【００１５】
歪曲収差が大きい安価な広角レンズを備えた撮像装置で撮影された動画に対し、適切な歪補正処理を行うには、高性能な演算処理回路が必要となる。しかしながら、そのような演算処理回路は高価であり、歪み補正処理装置のコストの増加を引き起こしてしまう。
【００１６】
本発明が解決しようとする課題は、歪補正処理装置のコストの増加を抑制しつつ、歪みを有する画像に対し、その歪みを適切に補正する技術を提供することにある。
【課題を解決するための手段】
【００１７】
以下に、［発明を実施するための形態］で使用される番号を用いて、［課題を解決するための手段］を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１８】
上記の課題を解決するために、入力画像に含まれる画像歪を補正して出力画像を生成する演算部（１１）と、入力画像を示す入力画像信号をＡＤ変換して得られた入力画像データを保持する入力側メモリ（１２）と、出力画像に対応する出力画像データを保持する出力側メモリ（１４）と、画素データを記憶する記憶領域を有する演算用メモリ（１３）と、画像歪を補正するときに参照される補正処理メモリコピーテーブルデータ（１５）とを具備する画像処理装置（４）を構成する。
補正処理メモリコピーテーブルデータ（１５）は、処理の順番が決められている複数のレコードを備えていることが好ましい。その複数のレコードの各々は、演算部（１１）で実行される命令に関する情報を示す命令フィールド（２２）と、命令に応答して１回のデータ処理で処理される少なくとも一つの処理対象画素に関する情報を示す処理対象画素情報（２５）とを備えていることが好ましい。
そして、演算部（１１）は、処理対象画素情報（２５）に複数の処理対象画素が示されているとき、複数の処理対象画素に対応する画素データを１回のデータ処理で処理する。
【００１９】
その画像処理装置（４）において、処理対象画素情報（２５）は、演算部（１１）が読み出す画素データを保持している参照元情報を示す参照元情報フィールド（２４）と、演算部（１１）が画素データを書き込むときの書き込み先情報を示す書き込み先情報フィールド（２３）とを含むものであることが好ましい。
【００２０】
その画像処理装置（４）において、入力画像データは、複数の入力画像画素データを含み、入力側メモリ（１２）は、複数の入力画像画素データの各々に一対一に対応する入力側メモリアドレスを有するものであることが好ましい。また、出力画像データは、複数の出力画像画素データを含み、出力側メモリ（１４）は、複数の出力画像画素データの各々に一対一に対応する出力側メモリアドレスを有するものであることが好ましい。
【００２１】
その画像処理装置（４）において、演算部（１１）は、命令が、読み出し命令のとき、参照元情報に基づいて入力側メモリアドレスを特定して入力画像画素データを読み出し、読み出した入力画像画素データを、転送対象画素データとして、書き込み先情報に基づいて演算用メモリ（１３）の記憶領域に書き込みを行うことが好ましい。また命令が、書き込み命令のとき、参照元情報に基づいて演算用メモリ（１３）の記憶領域を特定して転送対象画素データを読み出し、読み出した転送対象画素データを、出力画像画素データとして、書き込み先情報に基づいて出力側メモリアドレスを特定して出力側メモリ（１４）に書き込みを行うことが好ましい。
【発明の効果】
【００２２】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、歪補正処理装置のコストの増加を抑制しつつ、歪みを有する画像に対し、その歪みを適切に補正する技術を提供することができる。
【００２３】
画素アドレス変換による画像コピーで歪補正処理を実現する場合、メモリコピー処理が処理のボトルネックになっている。本願発明は、このメモリコピー処理を高速化するために、歪補正システムハードウェアに最適化を図ったメモリコピー処理テーブルを備えている。それにより、シーケンシャルなメモリアクセスでメモリコピー処理が行えるようになる。
【図面の簡単な説明】
【００２４】
【図１】図１は、従来の画像歪補正処理装置の構成を示すブロック図である。
【図２】図２は、従来の画像歪補正処理装置において、ＲＯＭのマップ領域と使用領域との対応を示す図である。
【図３】図３は、第１実施形態の撮像システム１の構成を例示するブロック図である。
【図４】図４は、画素アドレス変換データ１６の構成を例示するテーブルである。
【図５】図５は、入力画像用メモリ１２の構成を例示するブロック図である。
【図６】図６は、出力画像用メモリ１４の構成を例示するブロック図である。
【図７】図７は、補正処理メモリコピーテーブルデータ１５の構成を例示するテーブルである。
【図８】図８は、元画像（補正前の画像）と補正画像（補正後の画像）との対応を例示する図である。
【図９】図９は、本実施形態の撮像システム１における画像処理装置４の動作を例示するブロック図である。
【図１０】図１０は、補正処理メモリコピーテーブルデータ１５の作成方法を例示するブロック図である。
【図１１】図１１は、第２実施形態の撮像システム１の構成を例示するブロック図である。
【発明を実施するための形態】
【００２５】
［第１実施形態］
以下、本発明の実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２６】
図３は、本願発明の第１実施形態に係る撮像システム１の構成を例示するブロック図である。図３を参照すると、撮像システム１は、カメラ２と、Ａ／Ｄ変換器３と、画像処理装置４と、Ｄ／Ａ変換器５と、ディスプレイ６とを備えている。画像処理装置４は、入力画像用メモリ１２と、演算部１１と、補正処理メモリコピーテーブルデータ１５と、演算用メモリ１３と、出力画像用メモリ１４とを含んでいる。
【００２７】
画像処理装置４は、カメラ２から供給された画像信号をＡ／Ｄ変換することによって得られた入力画像データに対して、歪補正処理を実行する。画像処理装置４は、その実行結果である出力画像データをＤ／Ａ変換器５に供給する。Ｄ／Ａ変換器５は、出力画像データをＤ／Ａ変換してディスプレイ６に供給する。本実施形態において、画像処理装置４を構成している構成物（演算部１１、入力画像用メモリ１２、演算用メモリ１３および出力画像用メモリ１４）が、１つのＩＣチップに備えられていてもよい。Ａ／Ｄ変換器３は、カメラ画像に対応するアナログ画像信号を受け取り、デジタルデータに変換し、変換結果であるデジタル入力画像データを入力画像用メモリ１２受け渡す。
【００２８】
入力画像用メモリ１２は、入力バッファメモリなどに代表される記憶装置である。入力画像用メモリ１２は、カメラ２から出力された入力画像データを一時的に蓄える。本実施形態の入力画像用メモリ１２は、少なくとも１画面分の画像データを保持することができる。
【００２９】
演算部１１は、画素アドレスが連続している複数の画素データが、メモリアドレスが連続した記憶領域に記憶されている場合、その複数の画素データを一回の処理で扱える機能を備えている。演算部１１には、演算用メモリ１３が接続されている。演算部１１は、補正処理メモリコピーテーブルデータ１５の情報に基づいて、入力画像用メモリ１２から出力画像用メモリ１４へとメモリコピー処理を行う。
【００３０】
演算用メモリ１３は、そのメモリコピー処理の際に、メモリコピーバッファとして使用される。本実施形態の画像処理装置４において、演算部１１は、補正処理メモリコピーテーブルデータ１５の情報に基づいて、入力画像用メモリ１２から出力画像用メモリ１４へデータの転送を行う。本実施形態の画像処理装置４は、補正処理メモリコピーテーブルデータ１５に基づいたメモリコピー処理が行われることによって、処理負荷の軽い歪補正処理を実現する。本実施形態の演算用メモリ１３は、演算部１１が１回の処理で扱える最大データ量の画像データを保持することができることが好ましい。
【００３１】
出力画像用メモリ１４は、ＶＲＡＭなどに代表される記憶装置である。本実施形態の出力画像用メモリ１４は、少なくとも１画面分の画像データを保持することができる。出力画像用メモリ１４には、歪補正後の画像データが保持される。Ｄ／Ａ変換器５は、出力画像用メモリ１４から供給される歪補正後の画像データ（出力画像データ）をＤ／Ａ変換して、ディスプレイ６に表示用のアナログ映像信号として渡す。受け取ったアナログ映像信号によって、ディスプレイ６で映像が表示される。
【００３２】
補正処理メモリコピーテーブルデータ１５は、歪補正処理をメモリコピー処理により画素移動することで実現する際に、効率よくメモリコピー処理が行えるように、メモリコピーの方法、手順を保存したテーブルデータである。補正処理メモリコピーテーブルデータ１５は、画素アドレス変換データ１６の情報を元に構成されている。補正処理メモリコピーテーブルデータ１５を使用してメモリコピーを行うことで、処理時間の低減を図り、歪補正処理能力の向上を実現させている。
【００３３】
図４は、画素アドレス変換データ１６の構成を例示するテーブルである。本実施形態の補正処理メモリコピーテーブルデータ１５は、歪みを有する画像の画素アドレスを変換することで歪補正を行う画像処理装置などで使用される画素アドレス変換データ１６と同等の情報を含んでいる。図４に示されているように、画素アドレス変換データ１６は、画素アドレス変換が実行される前の画素アドレスと、実行された後の画素アドレスとの対応関係をデータとして保持している。
【００３４】
図５は、本実施形態の撮像システム１の入力画像用メモリ１２の構成を例示するブロック図である。入力画像用メモリ１２は、Ａ／Ｄ変換器３から供給される入力画像データの画素アドレスをメモリアドレスに一対一に対応させて保持する。入力画像用メモリ１２は、その入力画像データを構成する複数の画素データを、決められた記憶領域に記憶する。
【００３５】
図６は、本実施形態の撮像システム１の出力画像用メモリ１４の構成を例示するブロック図である。出力画像用メモリ１４は、Ｄ／Ａ変換器５に供給する出力画像データの画素アドレスをメモリアドレスに一対一に対応させて保持する。出力画像用メモリ１４は、その出力画像データを構成する複数の画素データを、決められた記憶領域に記憶する。
【００３６】
図７は、本実施形態の撮像システム１の補正処理メモリコピーテーブルデータ１５の構成を例示するテーブルである。補正処理メモリコピーテーブルデータ１５には、メモリコピーを行うプロセスがテーブル状に並べられている。演算部１１は、この補正処理メモリコピーテーブルデータ１５の並び通りに、入力画像用メモリ１２と演算用メモリ１３との間、および、演算用メモリ１３と出力画像用メモリ１４との間でメモリコピー処理を行う。
【００３７】
図７を参照すると、補正処理メモリコピーテーブルデータ１５は、複数のレコードを備えている。その複数のレコードの各々は、処置順番フィールド２１と、命令フィールド２２と、処理対象画素情報２５を含んでいる。処置順番フィールド２１には、メモリコピー処理リストが記載される。命令フィールド２２には、メモリコピー関連命令情報が記載される。
【００３８】
処理対象画素情報２５は、書き込み先情報フィールド２３と参照元情報フィールド２４とを含んでいる。書き込み先情報フィールド２３には、使用コピーバッファ／レジスタ情報、または、コピー参照元／参照先画素アドレスデータ情報が記載される。同様に、参照元情報フィールド２４には、使用コピーバッファ／レジスタ情報、または、コピー参照元／参照先画素アドレスデータ情報が記載される。
【００３９】
処置順番フィールド２１には、メモリコピー処理リストとして、メモリコピー処理で一度に行う処理内容と、その処理の順番が表記されている。命令フィールド２２には、メモリコピー関連命令情報として、ＲｅａｄやＷｒｉｔｅなどのメモリコピー関連命令情報が表記されている。尚、メモリコピー処理の最適化を行うと、Ｃｏｐｙ命令をＲｅａｄとＷｒｉｔｅに分解して処理したほうが、効率が良くＲｅａｄやＷｒｉｔｅ命令が多く見られる。
【００４０】
書き込み先情報フィールド２３には、入力画像用メモリ１２と演算用メモリ１３との間のメモリコピー処理の場合には、使用コピーバッファ／レジスタ情報として、使用コピーバッファ／レジスタ／ＦＩＦＯである演算用メモリ１３の情報が表記される。また、演算用メモリ１３と出力画像用メモリ１４との間でメモリコピー処理の場合には、書き込み先情報フィールド２３には、コピー参照元／参照先画素アドレスデータ情報として、出力画像用メモリ１４のアドレス情報が表記される。
【００４１】
参照元情報フィールド２４には、入力画像用メモリ１２と演算用メモリ１３との間のメモリコピー処理の場合には、コピー参照元／参照先画素アドレスデータ情報として、入力画像用メモリ１２のアドレス情報が表記される。また、演算用メモリ１３と出力画像用メモリ１４との間でメモリコピー処理の場合には、参照元情報フィールド２４には、使用コピーバッファ／レジスタ情報として、使用コピーバッファ／レジスタ／ＦＩＦＯである演算用メモリ１３の情報が表記される。
【００４２】
上述したように、画素アドレスが連続している複数の画素データが、連続したメモリアドレスで記憶されている場合、本実施形態の演算部１１は、その複数の画素データを一回の処理で扱える機能を備えている。
【００４３】
本実施形態の撮像システム１において、画像処理装置４が複数画素分の画素データを一度に扱うことができれば、歪補正処理を行う場合の処理の高速化が図ることができる。本実施形態の補正処理メモリコピーテーブルデータ１５は、命令フィールド２２にメモリコピー関連命令情報を持っている。そのメモリコピー関連命令情報に基づいて、画像処理装置４の機能に最適化された処理を実現させている。
【００４４】
上述のように、本実施形態の画像処理装置４は、歪み補正機能に応じて、メモリコピー処理の手順の最適化を行って、補正処理メモリコピーテーブルデータ１５として保持している。例えば、ある一つの画素アドレスの画素データを、複数の画素アドレスに対してメモリコピー（画素アドレス変換）を行う場合を例示する。このときに、その一つの画素アドレスの画素データを、一旦レジスタなどの演算用メモリ１３に書き込み、そして、その演算用メモリ１３から、出力画像用メモリ１４に複数回メモリ書き込みを行う方が、処理時間が短い場合、そのような動作になるように補正処理メモリコピーテーブルデータ１５の最適化を行う。
【００４５】
また、参照元である入力画像用メモリ１２から、その一つの画素アドレスの画素データを複数回読みだして、出力画像用メモリ１４に複数回メモリ書き込みを行うほうが、高速にメモリコピーを行うことができる場合、そのような動作になるように補正処理メモリコピーテーブルデータ１５の最適化を行う。
【００４６】
図７を参照すると、補正処理メモリコピーテーブルデータ１５の複数のレコードは、複数の画素アドレスが表記されているレコードを含んでいる。演算部１１は、補正処理メモリコピーテーブルデータ１５に基づいて、一つのメモリコピー関連命令で複数の画素データを処理している。本実施形態の入力画像用メモリ１２や出力画像用メモリ１４が、同時に複数の画素データに対するデータ処理に対応している。演算部１１は、一つのメモリコピー関連命令で複数の画素データを処理することで、歪み補正の処理時間を短くさせている。
【００４７】
図７には、ｋ−２番目の処理で、画素アドレスが連続している４つの画素データを入力画像用メモリ１２から読み出し、演算用メモリ１３である４つのレジスタに、アドレスが連続するように格納する動作が例示されている。次のｋ−１番目の処理で、その演算用メモリ１３の４つのレジスタに保持されている画素データを一回の処理で読み出し、画素アドレスが連続となるように出力画像用メモリ１４に書き込みを行っている。
【００４８】
また、図７に示されているように、ｋ番目の処理、ｋ＋１番目の処理、および、ｋ＋２番目の処理では、入力画像の画素アドレスが（１５６、２）の画素データを、出力画像の画素アドレスが（１５４、２）、（１５５、２）、（１５６、２）になるように、メモリコピーを行っている。また、入力画像の画素アドレスが（１５７、２）の画素データを、出力画像の画素アドレスが（１５７、２）、（１５８、２）になるように、メモリコピーを行っている。また、入力画像の画素アドレスが（１５８、２）の画素データを、出力画像の画素アドレスが（１５９、２）、（１６０、２）になるように、メモリコピーを行っている。さらに、入力画像の画素アドレスが（１５９、２）の画素データを、出力画像の画素アドレスが（１６１、２）になるように、メモリコピーを行っている。
【００４９】
このように、ｋ＋１番目の処理、および、ｋ＋２番目の処理で扱われる書き込みデータの元データが同一であるため、ｋ番目の処理で一度だけレジスタに読み出しを行う。それをｋ＋１番目の処理、および、ｋ＋２番目の処理で書き込みをすることで、その都度読み出す必要がないように効率化が図られている。
【００５０】
図８は、本実施形態の元画像（補正前の画像）と補正画像（補正後の画像）との対応を例示する図である。図８に例示されているように、元画像の画素アドレスが（５，６）の画像データは、補正画像の画素アドレスが（７，８）の画素データとなる。同様に、元画像の画素アドレスが（１８，５）の画像データは、補正画像の画素アドレスが（１９，７）の画素データとなる。画素座標のｘ座標とｙ座標との両方が大きく変化する場合、画素アドレス変換データ１６に示される情報だけでは、連続した画素アドレスの画素データを読み出すことが困難となる、また、画素アドレス変換データ１６に示される情報だけでは、出力画像用メモリ１４に連続な画素データとして書き込むことが困難となる。
【００５１】
本実施形態の画像処理装置４は、図７に示した通り、歪補正処理に必要なメモリコピー処理が既にメモリコピー処理が可能な限り連続なアドレスになるようにメモリコピー処理が並び替えられており、効率の良いメモリアクセスが可能になる。また書き込み元の読み込みアドレスが同じメモリコピー処理に関しては、１度の読み込みで複数の書き込みを行うことでメモリ読み込み、書き込み処理の総処理数削減が実現し、メモリアクセス処理の効率化が行える。
【００５２】
図９は、本実施形態の撮像システム１における画像処理装置４の動作を例示するブロック図である。図９の（ａ）は、比較のために、補正処理メモリコピーテーブルデータ１５使用しない場合の動作を例示している。図９の（ｂ）は、メモリコピー処理のハードウェア機能の最適化例を示している。
図９は、画像データのバス長がデータｂｉｔ幅で６４ｂｉｔ、最小アクセスｂｉｔ幅が
【００５３】
１６ｂｉｔであるようなハードウェア機能の場合での最適化例である。このｂｉｔ幅は、演算部１１の内部ｂｉｔ長と、この演算部１１に接続されている構成物の接続ｂｉｔ長に対応している。
【００５４】
図９の（ａ）に示されているように、画像の最小単位である１画素分のデータ量が１６ｂｉｔであった場合に、１画素分だけメモリコピーを行うと、１度に６４ｂｉｔ幅でデータに読み書きするが、有効なデータはそのうち１６ｂｉｔ分になる。
【００５５】
一方で、図９の（ｂ）に示されているように、データのアドレスが４つ連続した画素である場合には、１度に６４ｂｉｔ分のデータに読み書きが可能になり、メモリコピー処理の効率化が行える。メモリコピー処理では、読み出し処理と書き込み処理、すなわち、入力画像用メモリ１２からの読み出し処理と出力画像用メモリ１４への書き込み処理の２種類の処理が必要であるが、この読み出し／書き込み共に、１度にアクセスするデータが連続したアドレスであると、この場合では最大４つの画素データを１度に処理することが可能になる。
【００５６】
従来技術に対して、本発明の中でも複数分のデータを扱える機能に対してそれを実際に扱えるように処理命令情報を追加した場合の効果は、図６の本発明のメモリアクセス有効データが４つ分全て埋まることはできず、非連続アクセスデータが発生するとメモリアクセス有効データ率が低くなる。そのため、複数分のデータを扱える機能に対してそれを実際に扱えるように処理命令情報を追加するだけでなく、連続アドレスでアクセスできるように処理の並べ替え処理も処理の効率化で必要である。
【００５７】
以上説明したとおり、本実施形態の画像処理装置４は、歪補正システムハードウェアに最適化を図った補正処理メモリコピー処理テーブルデータを持つことにより、メモリコピー処理の最適化が実現でき、歪補正処理能力が向上している。
【００５８】
本実施形態において、補正処理メモリコピーテーブルデータ１５は、事前に作成されていることが好ましい。以下では、その補正処理メモリコピーテーブルデータ１５の作成方法について説明を行う。なお、本実施形態における補正処理メモリコピーテーブルデータ１５の作成タイミングに制限はない。例えば、必要に応じてその都度補正処理メモリコピーテーブルデータ１５を作成する場合であっても、本願の効果を奏することが可能である。
【００５９】
図１０は、補正処理メモリコピーテーブルデータ１５の作成方法を例示するブロック図である。補正用画像３１として、直線や格子状の図形が描かれた印刷物を用いて、補正を行いたいカメラ２で実際にこのカメラ画像データ３２の撮影を行う。撮影されたカメラ画像データ３２を取り込み、補正用画像３１とカメラ画像データ３２との間の相関関係を外部コンピュータ３３にて解析することで、歪みの解析、補正を行い、カメラ画像データ３２の画素データを切り貼りして画素移動による補正を実現するための画素アドレス変換データ１６を作成する。
【００６０】
この歪補正では、レンズによって歪んでしまった画像が、本来はどの位置にあるべき画像なのかを、補正用画像３１を、カメラを通して撮影することにより、カメラの光学特性を知ることなく補正が可能になる。また装置の取り付け後に補正データの作成を行えば、レンズの中心部のずれや、取り付け誤差なども補正される。
【００６１】
補正処理装置アーキテクチャ情報３４には画像用データのメモリデータ長、バスデータ長、画像用メモリ操作仕様、画像取り込みタイミング、画像出力タイミングなどの、入力画像用メモリ１２から出力画像用メモリ１４へとメモリコピー処理する際に関連のあるハードウェア機能情報を使用する。
【００６２】
この補正処理装置アーキテクチャ情報３４と画素アドレス変換データ１６を用いて、メモリコピー処理による画素移動のメモリコピー処理が速くなるよう、メモリコピーの方法、順番を外部コンピュータ３３にて最適化計算を行い、ハードウェア機能最適化されたメモリコピー処理方法である補正処理メモリコピーテーブルデータ１５が作成される。このデータが格納されているのが補正処理メモリコピーテーブルデータ１５である。
【００６３】
［比較例］
以下に、本願発明の比較例について説明を行う。上述した特許文献１の技術において、その文献に具体的な記載がないが、歪補正処理を施した画像データは、ディスプレイ１０３への出力タイミングの関係から、ＤＡ変換器１０６の前で、一旦コントローラ１０２内部の記憶領域に保持される場合がある。特許文献１に記載された画像の歪補正処理は、メモリ１０７からＤＡ変換器１０６直前に搭載される記憶領域へのメモリコピー処理の間に行われるものだといえる。
【００６４】
メモリコピー処理は、連続したアドレスでのシーケンシャルアクセスデータコピーと、不連続なアドレスでのランダムアクセスデータコピーで処理時間が異なる。連続したアドレスでのメモリコピー処理に比べ、不連続になればなるほどメモリコピー処理能力は低下していく。そのため、同じ回数のメモリコピー処理だとしても、不連続なアドレスでの処理になればなるほど、メモリコピー処理に時間がかかり、歪補正処理能力が低下する。
【００６５】
一方で、歪曲収差が大きい（広角率が高い）画像ほど不連続なアドレスでの画像データの並べ替えが必要になる。また、遠近法補正や、拡大補正処理などの、より複雑な補正処理を行うほど不連続なアドレスでの画像データの並べ替えが必要になる。そのため、従来技術では時間がかかる不連続なアドレスでのランダムデータコピーより歪補正処理能力の低下を引き起こしていた。
【００６６】
また、画素アドレス変換データだけしか情報がないと、歪補正システムハードウェア的には連続アドレスであれば複数分の画素データを一度に処理可能な機能であったとしても、アドレスの連続、非連続によりメモリコピー処理内容を変更するようなことができず、一画素単位でしか処理を行わないため、効率的な処理を行えないことがある。
【００６７】
上述した本実施形態の撮像システム１は、歪補正処理として画素アドレス変換データを使用したデジタル処理に対応しつつ、画素移動処理能力不足を解消するために、複数分の画素データを一度に処理可能な構成を備えることで、画素移動処理能力の向上を実現している。
【００６８】
［第２実施形態］
以下に、本願発明の第２実施形態について説明を行う。図１１は、第２実施形態の撮像システム１の構成を例示するブロック図である。第２実施形態の撮像システム１は、第１実施形態のディスプレイ６と画像処理装置４が一体化された画像補正付表示装置４１を構成している。その画像補正付表示装置４１は、画像処理装置４と、表示用インターフェース（Ｃ８）４２と、ディスプレイ４３とを備えている。第２実施形態のディスプレイ４３は、アナログ信号インターフェース仕様ではなく、デジタル信号インターフェース仕様の表示装置である。
【００６９】
図１１に示されているように、第２実施形態の撮像システム１は、カメラ２及び画像補正付表示装置４１から構成されている。画像補正付表示装置４１に備えられている表示用インターフェース（Ｃ８）４２、ディスプレイ４３を除く、他の構成要素は、第１実施形態と同様の構成および動作をするため、詳細な説明を省略する。
【００７０】
出力画像用メモリ１４であるＶＲＡＭには、歪補正後の画像データが保持される。表示用インターフェース（Ｃ８）４２は、そのＶＲＡＭからディスプレイ４３に、表示用のデジタル映像信号を受け渡す。受け取った映像がディスプレイ４３で表示される。
【００７１】
第２実施形態では、第１実施形態とは歪補正処理後の画像出力インターフェースが異なっている。画像出力インターフェースが異なると、信号インターフェース規格に合わせて、画像データの送信方法、送信タイミング、送信周期が変化する。そのような場合には、歪補正処理時間の必要時間が異なり、より速いタイミングでデータを送信する必要が発生する場合がある。その際には、その短いタイミング内に必要な処理時間で歪補正を処理しきることが必要になる。本実施形態の画像処理装置４は、歪補正処理システムハードウェアに最適化を図った補正処理メモリコピー処理テーブルデータを持つことにより、メモリコピー処理の最適化が実現でき、歪補正処理能力の向上が図れる。そのため、歪補正処理時間の短縮が必要な用途でも本発明が適応できる。
【００７２】
上述の複数の実施形態で示したように、本発明によれば、歪補正処理に要する時間を短縮することができ、従来の補正処理装置に比較して、全体で約数倍高速な補正処理装置を構成することができる。例えば、最大４つのカラーデータを扱うことが可能なハードウェア機能が構成されている場合であって、入出力画像が１６ｂｉｔカラーの場合を以下に説明する、その場合、ハードウェア機能への最適化は、最大４並列データを扱え、その際には４倍の効果になる。実際に全ての処理で４並列にて扱うことはできなくても、実効値で約数倍の効果になる。
【００７３】
メモリアクセスの最適化は、メモリコピーを行うための読み込み、書き込み命令の命令順、データ数を並び替えることにより、最適化前に比べ読み込み、書き込み命令数の削減で約数割の向上を実現する。したがって、両方の効果を合わせると約３倍の高速化が実現できる。
【００７４】
本実施形態の画像処理装置４を含む撮像システム１としては、歪補正専用モジュールで処理を実現するものだけでなく、カーナビゲーションシステム用プロセッサで歪補正処理も行うシステムなどにも適用可能である。
【００７５】
また、上述の実施形態では、演算用メモリ１３がレジスタと想定した例で説明している。例えば演算部１１がＤＭＡなどで実現されている場合には、演算用メモリ１３がＦＩＦＯであってもよい。演算用メモリ１３がＦＩＦＯの場合の補正処理メモリコピーテーブルデータ１５では、一画素単位で、ＦＩＦＯ経由でメモリコピーを行うよりも、複数画素分データを、それを保持できるＦＩＦＯに一度に読み出し、一度に書き込むバースト転送のほうが、処理時間が速くなる。そのため、そのような処理になるように処理内容が最適化されている。
【００７６】
また、例えば、市場では、入力画像や出力画像が従来画素アドレス変換データでの画素移動処理で処理しきれていた画面解像度より高い解像度や、既知技術である遠近法補正や、拡大補正処理など、より複雑な歪補正処理が求められている。そのような複雑な歪補正処理では、専用演算器による歪補正処理が一般的に使われている。専用演算器による歪補正処理は、画素アドレス変換データでの画素移動処理方法よりも実装コストが高価である。本願の技術を、その複雑な歪補正処理に適用することで、コストの増加を抑制しつつ歪補正処理能力を向上させることが可能となる。
【００７７】
以上、本願発明の実施の形態を具体的に説明した。本願発明は上述の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【符号の説明】
【００７８】
１…撮像システム
２…カメラ
３…Ａ／Ｄ変換器
４…画像処理装置
５…Ｄ／Ａ変換器
６…ディスプレイ
１１…演算部
１２…入力画像用メモリ
１３…演算用メモリ
１４…出力画像用メモリ
１５…補正処理メモリコピーテーブルデータ
１６…画素アドレス変換データ
２１…処置順番フィールド
２２…命令フィールド
２３…書き込み先情報フィールド
２４…参照元情報フィールド
２５…処理対象画素情報
３１…補正用画像
３２…カメラ画像データ
３３…外部コンピュータ
３４…補正処理装置アーキテクチャ情報
４１…画像補正付表示装置
４２…表示用インターフェース（Ｃ８）
４３…ディスプレイ
１０１…カメラ
１０２…コントローラ
１０３…ディスプレイ
１０４…ＡＤ変換器
１０５…演算部
１０６…ＤＡ変換器
１０７…メモリ
１０８…ＲＯＭ
１０９…使用領域
１１０…マップ領域
【特許請求の範囲】
【請求項１】
入力画像に含まれる画像歪を補正して出力画像を生成する演算部と、
前記入力画像を示す入力画像信号をＡＤ変換して得られた入力画像データを保持する入力側メモリと、
前記出力画像に対応する出力画像データを保持する出力側メモリと、
画素データを記憶する記憶領域を有する演算用メモリと、
前記画像歪を補正するときに参照される補正処理メモリコピーテーブルデータと
を具備し、
前記補正処理メモリコピーテーブルデータは、
処理の順番が決められている複数のレコードを備え、
前記複数のレコードの各々は、
前記演算部で実行される命令に関する情報を示す命令フィールドと、
前記命令に応答して１回のデータ処理で処理される少なくとも一つの処理対象画素に関する情報を示す処理対象画素情報と、
を備え、
前記演算部は、
前記処理対象画素情報に複数の処理対象画素が示されているとき、前記複数の処理対象画素に対応する画素データを１回のデータ処理で処理する
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記処理対象画素情報は、
前記演算部が読み出す画素データを保持している参照元情報を示す参照元情報フィールドと、
前記演算部が画素データを書き込むときの書き込み先情報を示す書き込み先情報フィールドと、
を含む
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において
前記入力画像データは、複数の入力画像画素データを含み、
前記入力側メモリは、
前記複数の入力画像画素データの各々に一対一に対応する入力側メモリアドレスを有し、
前記出力画像データは、複数の出力画像画素データを含み、
前記出力側メモリは、
前記複数の出力画像画素データの各々に一対一に対応する出力側メモリアドレスを有する
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記演算部は、
前記命令が、読み出し命令のとき、
前記参照元情報に基づいて前記入力側メモリアドレスを特定して入力画像画素データを読み出し、
読み出した前記入力画像画素データを、転送対象画素データとして、前記書き込み先情報に基づいて前記演算用メモリの前記記憶領域に書き込み、
前記命令が、書き込み命令のとき、
前記参照元情報に基づいて前記演算用メモリの前記記憶領域を特定して前記転送対象画素データを読み出し、
読み出した前記転送対象画素データを、出力画像画素データとして、前記書き込み先情報に基づいて前記出力側メモリアドレスを特定して前記出力側メモリに書き込む
転送対象画素データとして
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記演算部は、
前記処理対象画素情報に複数の参照元情報が示されているとき、前記複数の参照元情報に対応する複数の画素データを１回のデータ処理で読み出し、
前記処理対象画素情報に複数の書き込み先情報が示されているとき、前記複数の書き込み先情報に対応する領域に複数の画素データを１回のデータ処理で書き込む
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、さらに、
二つ以上の画素データを同時に転送できるデータバス幅を有するデータバスを備え、
前記演算部、前記入力側メモリ、前記出力側メモリおよび前記演算用メモリは、前記データバスを介して接続される
画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記入力側メモリは、
１画面分の入力画像画素データを記憶する記憶容量を有し、
前記出力側メモリは、
１画面分の出力画像画素データを記憶する記憶容量を有する
画像処理装置。
【請求項１】
入力画像に含まれる画像歪を補正して出力画像を生成する演算部と、
前記入力画像を示す入力画像信号をＡＤ変換して得られた入力画像データを保持する入力側メモリと、
前記出力画像に対応する出力画像データを保持する出力側メモリと、
画素データを記憶する記憶領域を有する演算用メモリと、
前記画像歪を補正するときに参照される補正処理メモリコピーテーブルデータと
を具備し、
前記補正処理メモリコピーテーブルデータは、
処理の順番が決められている複数のレコードを備え、
前記複数のレコードの各々は、
前記演算部で実行される命令に関する情報を示す命令フィールドと、
前記命令に応答して１回のデータ処理で処理される少なくとも一つの処理対象画素に関する情報を示す処理対象画素情報と、
を備え、
前記演算部は、
前記処理対象画素情報に複数の処理対象画素が示されているとき、前記複数の処理対象画素に対応する画素データを１回のデータ処理で処理する
画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記処理対象画素情報は、
前記演算部が読み出す画素データを保持している参照元情報を示す参照元情報フィールドと、
前記演算部が画素データを書き込むときの書き込み先情報を示す書き込み先情報フィールドと、
を含む
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において
前記入力画像データは、複数の入力画像画素データを含み、
前記入力側メモリは、
前記複数の入力画像画素データの各々に一対一に対応する入力側メモリアドレスを有し、
前記出力画像データは、複数の出力画像画素データを含み、
前記出力側メモリは、
前記複数の出力画像画素データの各々に一対一に対応する出力側メモリアドレスを有する
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記演算部は、
前記命令が、読み出し命令のとき、
前記参照元情報に基づいて前記入力側メモリアドレスを特定して入力画像画素データを読み出し、
読み出した前記入力画像画素データを、転送対象画素データとして、前記書き込み先情報に基づいて前記演算用メモリの前記記憶領域に書き込み、
前記命令が、書き込み命令のとき、
前記参照元情報に基づいて前記演算用メモリの前記記憶領域を特定して前記転送対象画素データを読み出し、
読み出した前記転送対象画素データを、出力画像画素データとして、前記書き込み先情報に基づいて前記出力側メモリアドレスを特定して前記出力側メモリに書き込む
転送対象画素データとして
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記演算部は、
前記処理対象画素情報に複数の参照元情報が示されているとき、前記複数の参照元情報に対応する複数の画素データを１回のデータ処理で読み出し、
前記処理対象画素情報に複数の書き込み先情報が示されているとき、前記複数の書き込み先情報に対応する領域に複数の画素データを１回のデータ処理で書き込む
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、さらに、
二つ以上の画素データを同時に転送できるデータバス幅を有するデータバスを備え、
前記演算部、前記入力側メモリ、前記出力側メモリおよび前記演算用メモリは、前記データバスを介して接続される
画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記入力側メモリは、
１画面分の入力画像画素データを記憶する記憶容量を有し、
前記出力側メモリは、
１画面分の出力画像画素データを記憶する記憶容量を有する
画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１３３５２１（Ｐ２０１２−１３３５２１Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８４２８３（Ｐ２０１０−２８４２８３）
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２１日（２０１０．１２．２１）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]