情報処理装置と情報処理方法およびプログラム
【課題】処理対象のデータを用いた情報処理を効率よく行うことができるようにする。
【解決手段】第２フィルタ処理部２０５は、処理単位毎のデータを順に用いて情報処理を行い、情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る。データ補充部２０４は、第２フィルタ処理部２０５に供給される処理単位毎のデータにおいて、次に情報処理が行われる処理単位のデータの情報処理結果を得るために所定数に含まれるデータを抽出して補充データとして保持し、この保持した補充データと次に情報処理が行われる処理単位のデータを順に第２フィルタ処理部２０５に供給して情報処理を行わせる。このように補充データの保持および供給を行うことで、処理単位の入力に対する第２フィルタ処理部２０５から出力の割合を高めることが可能となり、メモリ帯域の削減、処理時間の短縮、消費電力の削減を図ることができる。
【解決手段】第２フィルタ処理部２０５は、処理単位毎のデータを順に用いて情報処理を行い、情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る。データ補充部２０４は、第２フィルタ処理部２０５に供給される処理単位毎のデータにおいて、次に情報処理が行われる処理単位のデータの情報処理結果を得るために所定数に含まれるデータを抽出して補充データとして保持し、この保持した補充データと次に情報処理が行われる処理単位のデータを順に第２フィルタ処理部２０５に供給して情報処理を行わせる。このように補充データの保持および供給を行うことで、処理単位の入力に対する第２フィルタ処理部２０５から出力の割合を高めることが可能となり、メモリ帯域の削減、処理時間の短縮、消費電力の削減を図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、情報処理装置と情報処理方法およびプログラムに関する。詳しくは、処理対象のデータを用いた情報処理を効率よく行えるようにする。
【背景技術】
【０００２】
従来、処理対象のデータの情報処理例えば画像データのフィルタ処理では、処理性能を低下させることなく、処理に必要なメモリの容量および処理にかかる時間を削減するため、画像をストライプ状に分割して、分割画像領域毎にフィルタ処理が行われている。例えば特許文献１では、画像をストライプ状に分割して、分割画像領域毎に２次元フィルタ処理が行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３０４６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、フィルタ処理では１つ画素のフィルタ処理結果を得るためにタップ数分の画素データが必要である。したがって、分割画像領域のフィルタ処理結果を得るためには、画素データが記憶されているメモリから分割画像領域よりも広い領域の画素データを読み出す必要がある。また、多段のフィルタ処理を行う場合には、前段のフィルタからタップ数分の画素データが出力された後でないと、フィルタ処理結果を出力することができない。したがって、後段のフィルタでは、タップ数分の画素データが前段のフィルタから出力されるまで待ち時間を生じてしまう。
【０００５】
特許文献１では、処理単位を横にずらす場合、横方向にデータの補充を行うので、処理の順番は縦方向の後に横方向の順、処理単位を縦にずらす場合は、縦方向にデータの補充を行うので、横方向の後に縦方向の順となる。しかし、何れの場合でも大きな内部メモリを必要とする部分が前段になり、入力データに比例した内部メモリが必要となる。したがって、大きな内部メモリを設けていない場合、特に撮像装置でよく使われる縮小では小さい出力サイズしか対応できないため、大きな出力サイズに対応するためには一連のフィルタ処理を繰り返さなければならない。
【０００６】
そこで、この技術では、処理対象のデータを用いた情報処理を効率よく行うことができる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この技術の第１の側面は、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理部と、前記情報処理部に供給される処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理を前記情報処理部で行わせるデータ補充部とを備える情報処理装置にある。
【０００８】
この技術においては、処理単位毎のデータを順に用いて情報処理を行い、例えば処理単位毎の画像データを順に用いてフィルタ処理を行い、画像データのフィルタ処理では処理対象の画素位置を基準とした所定数の処理順の画素データが用いられる。ここで、処理単位毎の画像データにおいて、次に処理が行われる処理単位の画像データの情報処理結果を得るために所定数に含まれる画素データが抽出されて、補充データとして保持される。また、補充データと次に情報処理が行われる処理単位の画像データを順に用いて情報処理が行われた場合に、処理単位分の情報処理結果が得られるように補充データの抽出が行われる。画像データのフィルタ処理を多段で行う場合、例えば第１のフィルタ処理部から出力された処理結果から補充データを抽出して、この補充データを次の処理単位の処理結果が第１のフィルタ処理部から出力されるまでの期間を利用して次段の第２のフィルタ処理部に出力する。
【０００９】
また、処理単位で画像データが読み出されるメモリでは、最初の処理単位のデータが、無効データの後に補充データが設けられるように、情報処理を行う画像データが処理単位の位置に対してずらして記憶される。また、補充データは、補充データが次の処理単位のフィルタ処理に用いられたのち、新たな画素データが補充データとして上書きされる。
【００１０】
この技術の第２の側面は、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理工程と、前記情報処理工程で用いる処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理工程で前記情報処理を行わせるデータ補充工程とを含む情報処理方法にある。
【００１１】
この技術の第３の側面は、情報処理をコンピュータで実行させるプログラムであって、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理手順と、前記情報処理手順で用いる処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理工程で前記情報処理を行わせるデータ補充手順とを前記コンピュータで実行させるプログラムにある。
【００１２】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶メディア、通信メディア、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶メディア、あるいは、ネットワークなどの通信メディアによって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１３】
この技術によれば、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータが用いられる。また、次に情報処理が行われる処理単位のデータの情報処理結果を得るために所定数に含まれるデータが補充データとして保持されて、この保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて情報処理が行われる。したがって、処理対象のデータを用いた情報処理を効率よく行うことができるようになる。
【図面の簡単な説明】
【００１４】
【図１】撮像装置の構成を示す図である。
【図２】カメラ信号処理部の第１の構成を示す図である。
【図３】データ補充部の構成を示す図である。
【図４】データ補充部における入力制御部の動作を示すフローチャートである。
【図５】データ補充部における出力制御部の動作を示すフローチャートである。
【図６】５×５画素の領域の画素データを用いたフィルタ処理を説明するための図である。
【図７】画素データを保持する画素位置を示した図である。
【図８】処理対象画像を複数の処理単位に分割した図である。
【図９】処理対象画像と処理単位を例示した図である。
【図１０】最初の処理単位ＢＬ１の処理動作を示す図である。
【図１１】２番目の処理単位ＢＬ２の処理動作を示す図である。
【図１２】３番目の処理単位ＢＬ３の処理動作を示す図である。
【図１３】最後の処理単位ＢＬ４の処理動作を示す図である。
【図１４】最後の処理単位ＢＬ４の第１フィルタ処理結果が保持されている場合の処理動作を示す図である。
【図１５】従来のカメラ信号処理部の構成を示す図である。
【図１６】従来の処理動作を示す図である。
【図１７】画素データの入力と情報処理後の画素データの出力タイミングを示す図である。
【図１８】処理単位をずらす向きと補充データを入力する領域および補充データとして出力する領域の関係を示す図である。
【図１９】カメラ信号処理部の第２の構成を示す図である。
【図２０】処理単位の位置と画像の関係を示す図である。
【図２１】処理対象画像のサイズを示す図である。
【図２２】最初の処理単位ＢＲ１の処理動作を示す図である。
【図２３】２番目の処理単位ＢＲ２の処理動作を示す図である。
【図２４】３番目の処理単位ＢＲ３の処理動作を示す図である。
【図２５】最後の処理単位ＢＲ４の処理動作を示す図である。
【図２６】処理単位を２倍である８画素幅とした場合の最初の処理単位の処理動作を示す図である。
【図２７】処理単位を２倍である８画素幅とした場合の２番目の処理単位の処理動作を示す図である。
【図２８】従来のカメラ信号処理部の構成を示す図である。
【図２９】従来の処理単位の位置と画像の関係を示す図である。
【図３０】従来の処理動作を示す図である。
【図３１】画素データの入力とフィルタ処理後の画素データの出力タイミングを示す図である。
【図３２】データ補充部の前段に縦方向のみのフィルタ処理を行うフィルタ処理部を設けた場合の処理動作を示す図である。
【図３３】第１の構成の動作と第２の構成の動作を組み合わせた動作を示す図である。
【図３４】フィルタ処理動作を示す図である。
【図３５】従来のフィルタ処理順序の制約を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．カメラ信号処理部の第１の構成
３．データ補充部の構成と動作
４．第１の構成の動作
５．カメラ信号処理部の第２の構成
６．第２の構成の動作
７．第１の構成の動作と第２の構成の動作を組み合わせた動作
【００１６】
＜１．撮像装置の構成＞
図１は、本技術の情報処理装置を適用した撮像装置の構成を例示している。撮像装置１０は、撮像レンズ部１１、撮像部１２、カメラ信号処理部２０、揮発性メモリ３１、リサイズ処理部３２、符号化／復号部３３を備えている。さらに、撮像装置１０は、表示インタフェース（Ｉ／Ｆ）４１、表示部４２、メディアインタフェース（Ｉ／Ｆ）４３、記録メディア４４、入力インタフェース（Ｉ／Ｆ）４５、入力部４６、制御部５１、不揮発性メモリ５２、バス５３を備えている。バス５３にはカメラ信号処理部２０や揮発性メモリ３１、リサイズ処理部３２、符号化／復号部３３、表示インタフェース４１、メディアインタフェース４３、入力インタフェース４５、制御部５１等が接続されている。
【００１７】
撮像レンズ部１１は、被写体光を撮像部１２に導くための撮像光学系として機能するものである。撮像レンズ部１１は、撮像部１２の撮像面上に結像される光学像の焦点の調節を行うためのフォーカスレンズや、光学像の変倍を行うためのズームレンズ等が含まれている。
【００１８】
撮像部１２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）やＣＣＤ(Charge Coupled Device）等の固体撮像素子を用いて構成されている。撮像部１２は、光電変換を行い、撮像レンズ部１１によって受光面に結像された光学像に応じた撮像信号を生成してカメラ信号処理部２０に出力する。
【００１９】
カメラ信号処理部２０は、揮発性メモリ３１をワーキングメモリとして利用して、撮像信号の前処理や現像処理を行う。さらに、本技術の情報処理装置（情報処理方法）がカメラ信号処理部２０に適用されて、処理対象のデータを基準とした所定数の処理順のデータを用いた情報処理、例えばタップ数分のデータを用いてフィルタ処理等を行う。なお、カメラ信号処理部２０の詳細については後述する。
【００２０】
揮発性メモリ３１は、撮像装置１０で種々の信号処理を行うためのワーキングメモリとして用いられる。また、揮発性メモリ３１は、撮像装置１０で所望の動作を行うための種々の情報の一時記憶領域等としても用いられる。
【００２１】
リサイズ処理部３２は、揮発性メモリ３１に記憶されているカメラ信号処理後の画像データを読み出して、所望の解像度（画素数）の画像に変換する。例えば、リサイズ処理部３２は、カメラ信号処理が行われた画像データを表示部４２の表示解像度に対応した画像データに変換する。また、リサイズ処理部３２は、ユーザにより指示された解像度に変換して、記録メディア４４に記録できるようにする。また、画像の一部領域を切り出してこの解像度の変換処理を実行して、電子ズームや再生ズームの処理が行われた画像データを生成する。
【００２２】
符号化／復号部３３は、画像データのデータ圧縮処理を行い、得られた符号化データを揮発性メモリ３１に記憶させる。また、符号化／復号部３３は、符号化データを記録メディア４４に記憶させる。また、記録メディア４４に記録されていた符号化データや揮発性メモリ３１に記憶されている符号化データの復号処理を行い、得られた画像データを揮発性メモリ３１や、表示インタフェース４１を介して表示部４２等に出力する。なお、符号化／復号処理は、静止画にあってはＪＰＥＧ（Joint Photographic Coding Experts Group ）の手法が適用される。また、動画にあっては、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９ＷＧ１１のＭＰＥＧ１（Motion Picture Experts Group 1）、ＭＰＥＧ２（Motion Picture Experts Group 2）、ＭＰＥＧ４（Motion Picture Experts Group 4）、ＩＴＵ−ＴのＨ．２６３，Ｈ．２６４/ＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）等、動きベクトルを用いたデータ圧縮手法が適用される。
【００２３】
表示インタフェース４１は、揮発性メモリ３１から読み出されたリサイズ処理後の画像データ等を表示部４２に供給する。また、表示インタフェース４１は、撮像装置１０に搭載される機能を選択するためのメニュー表示や撮像装置１０の設定状態を示す設定状態表示等を行うために例えば制御部５１で生成された表示制御信号を表示部４２に供給する。
【００２４】
表示部４２は、液晶や有機ＥＬ等の平面表示素子を用いて構成されている。表示部４２は、表示インタフェース４１を介して供給された画像データに基づき、撮像動作時のモニタ画像や揮発性メモリ３１に記憶されている画像、記録メディア４４に記録されている画像等の表示や、メニュー表示、設定状態表示等を行う。
【００２５】
メディアインタフェース４３は、記録メディア４４に対してデータの記録や記録されているデータの読み出しを行うためのインタフェースである。記録メディア４４は、半導体メモリカードまたは磁気や光を用いて記録再生を行うディスク状記録メディア等が用いられる。
【００２６】
入力インタフェース４５には入力部４６が接続されている。入力部４６は、操作スイッチやタッチパネル等で構成されており、ユーザ操作に応じた操作信号を生成して入力インタフェース４５を介して制御部５１に出力する。
【００２７】
制御部５１は、ＣＰＵ(Central Processing Unit)等用いて構成されている。制御部５１は、例えば不揮発性メモリ５２に記憶されているプログラムを実行して、撮像装置１０の動作がユーザ操作に応じた動作となるように制御信号を生成して、バス５３を介して各部に供給する。なお、プログラムは、事前に撮像装置１０にインストールされて提供される。また、事前のインストールによる提供に代えて、インターネット等のネットワークを介したインストールによる提供を行ってもよく、記録メディアを利用して提供してもよい。
【００２８】
＜２．カメラ信号処理部の第１の構成＞
図２は、カメラ信号処理部の第１の構成を示している。カメラ信号処理部２０ｎａは、前処理部２０１、現像部２０２、第１フィルタ処理部２０３、データ補充部２０４、第２フィルタ処理部２０５を有している。
【００２９】
前処理部２０１は、撮像部１２から供給された撮像信号のアナログ増幅処理やＡ／Ｄ変換処理等の前処理を行い、前処理が行われた画像データ（現像前画像データ））を揮発性メモリ３１に記憶させる。現像部２０２は、現像前画像データを読み出して、デモザイク処理や明るさ補正や色補正およびホワイトバランス調整等の補正処理を現像処理として行い、現像後画像データを揮発性メモリ３１に記憶させる。
【００３０】
カメラ信号処理部２０ｎａでは、第１フィルタ処理部２０３と第２フィルタ処理部２０５とで多段のフィルタ処理が行われる。第１フィルタ処理部２０３は、例えばノイズ除去部であり、現像後画像データを処理単位毎に読み出して帯域制限等を行い、画像データのノイズ成分を除去する。第２フィルタ処理部２０５は、例えばボケ補正部であり、ノイズ除去後の画像データを用いて、画像のディテールや輪郭部分等を強調するフィルタ処理を行い、画像のボケを補正する。ノイズ除去およびボケ補正が行われた画像データ（リサイズ前画像データ）は、揮発性メモリ３１に記憶される。
【００３１】
データ補充部２０４は、第１フィルタ処理部２０３でフィルタ処理が行われた画像データであって、その後、第２フィルタ処理部２０５で処理単位毎にフィルタ処理を行うときに用いられる画像データを補充データとして、揮発性メモリ３１に記憶させる。また、データ補充部２０４は、第２フィルタ処理部２０５で処理単位毎にフィルタ処理を行う際に必要とされる画素データを、補充データとして揮発性メモリ３１から読み出して第２フィルタ処理部２０５に出力する。また、データ補充部２０４は、第２フィルタ処理部２０５の出力が例えば処理単位のデータ数となるように、画素データを保持して補充データとする。
【００３２】
リサイズ処理部３２は、揮発性メモリ３１に記憶されているリサイズ前画像データを読み出して、所望の解像度（画素数）の画像に変換する処理等を行う。リサイズ処理部３２は、リサイズ後の画像データ（圧縮前画像データ）を揮発性メモリ３１に記憶させる。符号化／復号部３３は、圧縮前画像データの符号化処理を行い、得られた符号化データを揮発性メモリ３１に記憶させる。
【００３３】
＜３．データ補充部の構成と動作＞
図３は、データ補充部の構成を示している。データ補充部２０４は、入力制御部２０４ａと出力制御部２０４ｂを備えている。入力制御部２０４ａは、第１フィルタ処理部２０３から供給されたデータを出力制御部２０４ｂと第２フィルタ処理部２０５に出力する。また、入力制御部２０４ａは、第２フィルタ処理部２０５で処理単位毎にフィルタ処理を行うときに必要となる補充データを揮発性メモリ３１から読み出して、第２フィルタ処理部に出力する。出力制御部２０４ｂは、第２フィルタ処理部２０５で次の処理単位のフィルタ処理を行うときに必要となる画素データを抽出して補充データとして、揮発性メモリ３１に記憶させる。
【００３４】
図４は、データ補充部における入力制御部の動作を示すフローチャートである。ステップＳＴ１１で入力制御部２０４ａは、次のラインの入力データがあるか判別する。入力制御部２０４ａは、次のラインの入力データがある場合にステップＳＴ１２に進み、次のラインの入力データがない場合に１処理単位の動作を終了する。
【００３５】
ステップＳＴ１２で入力制御部２０４ａは、補充データがあるか判別する。入力制御部２０４ａは、フィルタ処理する処理単位の領域に対して補充データが揮発性メモリ３１に記憶されている場合にステップＳＴ１３に進み、記憶されていない場合にステップＳＴ１５に進む。
【００３６】
ステップＳＴ１３で入力制御部２０４ａは、１ライン分の補充データの読み出しが終了したか判別する。入力制御部２０４ａは、１ライン分の補充データの読み出しが終了していない場合にはステップＳＴ１４に進み、終了している場合にはステップＳＴ１５に進む。
【００３７】
ステップＳＴ１４で入力制御部２０４ａは、補充データの読み出しを行ってステップＳＴ１３に戻る。
【００３８】
ステップＳＴ１５で入力制御部２０４ａは、１ライン分の入力データの読み出しが終了したか判別する。入力制御部２０４ａは、１ライン分の入力データの読み出しが終了していない場合にはステップＳＴ１６に進み、１ライン分の入力データの読み出しが終了した場合にはステップＳＴ１１に戻る。
【００３９】
ステップＳＴ１６で入力制御部２０４ａは、入力データの読み出しを行ってステップＳＴ１５に戻る。
【００４０】
図５は、データ補充部における出力制御部の動作を示すフローチャートである。ステップＳＴ２１で出力制御部２０４ｂは、補充データを含む入力データがあるか判別する。出力制御部２０４ｂは、第２フィルタ処理部でフィルタ処理を行う際に必要とされる画素データいわゆる糊代領域の画素データを含む入力データがある場合にステップＳＴ２２に進み、補充データを含む入力データがない場合に処理を終了する。
【００４１】
ステップＳＴ２２で出力制御部２０４ｂは、保持すべきデータ位置か判別する。出力制御部２０４ｂは、入力データが糊代領域の位置のデータである場合にステップＳＴ２３に進み、糊代領域でない位置のデータである場合にステップＳＴ２１に戻る。
【００４２】
ステップＳＴ２３で出力制御部２０４ｂは、データの保持を行う。出力制御部２０４ｂは、糊代領域の位置の入力データを補充データとして揮発性メモリ３１に保持させてステップＳＴ２１に戻る。
【００４３】
このような処理を入力制御部２０４ａと出力制御部２０４ｂで行うと、処理単位の入力データに糊代領域の補充データがライン毎に加えられて、第２フィルタ処理部に出力される。また、入力データにおいて、次の処理単位で糊代領域の位置となる画素データが補充データとして揮発性メモリ３１に記憶される。
【００４４】
＜４．第１の構成の動作＞
図６は、５×５画素の領域の画素データを用いたフィルタ処理を説明するための図である。図６の（Ａ）に示すように、５×５画素の領域を画素単位で順次移動して、各領域の位置毎に画素データを読み出してフィルタ演算を行うと、繰り返して画素データの読み出しを行う画素が多い。例えば点線で示す領域の次に実線で示す領域の画素データを読み出してフィルタ演算を行う場合、重複する領域の画素データの読み出しが繰り返される。このため、読み出した画素データを保持しておき、保持された画素データを再利用すれば、画素データの読み出しを行う画素を少なくできる。図６の（Ｂ）は、５×５画素の領域を画素単位で右方向に順次移動する場合を示しており、２４画素分の画素データは例えば内部メモリに記憶されていることから右下隅の１画素分の画素データを読み出すだけで、フィルタ処理を行うことができる。
【００４５】
ところで、読み出した画素データを保持しておく場合、処理画像の横幅や縦幅が大きいと、保持しておかなければならない画素データが増加して、容量の大きい内部メモリ等が必要となる。図７は、画素データを保持する画素位置を示している。例えば、５×５画素の領域を横方向に移動させる場合、図７の（Ａ）に示す画素位置の画素データを保持しておき、太線で示す２４画素の画素データがフィルタ演算で再利用される。また、例えば、５×５画素の領域を縦方向に移動させる場合には、図７の（Ｂ）に示す画素位置の画素データを保持しておき、太線で示す２４画素の画素データがフィルタ演算で再利用される。なお、５×５画素の領域が１画素分移動される場合、フィルタ演算に用いた５×５画素の領域において、左上隅の画素データを削除して、読み出した右下隅の画素データを新たに保持する。
【００４６】
このように、読み出した画素データを保持しておく場合、画像全体の横幅や縦幅が大きいと容量の大きい内部メモリ等が必要となる。したがって、図８に示すように、領域の移動方向に応じて処理対象画像を複数の処理単位に分割して、処理単位毎に処理を行う。例えば、領域を横方向に移動させる場合、処理対象画像を図８の（Ａ）に示すように処理単位の横幅が短くなるように分割する。また、領域を縦方向に移動させる場合、処理対象画像を図８の（Ｂ）に示すように処理単位の縦幅が短くなるように分割する。さらに、フィルタ演算では、タップ数分の画素データが必要となる。したがって、処理単位間で連続したフィルタ処理を行うことができるように、画像の分割ではタップ数に比例した重複部分（糊代領域）を設けて分割が行われる。
【００４７】
以下、処理単位が縦長の領域の場合についてフィルタ処理を行う場合について説明する。また、縦長の領域では、縦方向のサイズを画像全体の縦方向の画素数とする。また、画像サイズは説明を簡単とするため、例えば図９に示すように２０画素×７画素とする。また、第１フィルタ処理部２０３と第２フィルタ処理部２０５のタップ数を例えば５タップとして、処理単位をＢＬ１〜ＢＬ４とする。
【００４８】
図１０は最初の処理単位ＢＬ１の処理動作を示している。第１フィルタ処理部２０３に対して例えば最初のラインの画素データすなわち画素位置「１」〜「６」の画素データを入力する。この場合、第１フィルタ処理部２０３は、５タップでフィルタ処理を行い、画素位置「１」〜「４」の第１フィルタ処理後の画素データを出力する。なお、画素位置「１」は、画像端の位置であることから、第１フィルタ処理部２０３は画素リピートを行い、不足する画素データ分だけ画像端の画素データを繰り返してフィルタ演算を行う。
【００４９】
データ補充部２０４は、図４に示す入力制御動作と図５に示す出力制御動作を行う。ここで、最初の処理単位ＢＬ１では、揮発性メモリ３１に補充データが記憶されていない。したがって、データ補充部２０４は、最初のラインの画素位置「１」〜「４」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００５０】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１」〜「４」の第１フィルタ処理後の画素データを用いて第２フィルタ処理を行い、画素位置「１」「２」の第１および第２フィルタ処理が行われた画素データを出力する。
【００５１】
ここで、次の処理単位ＢＬ２で、第２フィルタ処理部２０５から画素位置「３」以降の第１，２のフィルタ処理後の画素データを出力するためには、第２フィルタ処理部２０５に対して、画素位置「１」以降の第１フィルタ処理後の画素データを入力する必要がある。また、画素位置「１」からの第１フィルタ処理後の画素データは、最初の処理単位ＢＬ１に対する第１フィルタ処理部２０３のフィルタ処理で生成されている。したがって、データ補充部２０４は、画素位置「１」〜「４」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶させる。
【００５２】
第１フィルタ処理部２０３とデータ補充部２０４と第２フィルタ処理部２０５は、最初の処理単位ＢＬ１の１ライン目の処理が終了すると２ライン目の処理を行う。第１フィルタ処理部２０３は、２ライン目の画素位置「１０１」〜「１０６」の画素データを用いてフィルタ処理を行い、画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを出力する。なお、画素位置「１０１」は、画像端の位置であることから、第１フィルタ処理部２０３は画素リピートを行い、不足する画素データ分だけ画像端の画素データを繰り返してフィルタ演算を行う。
【００５３】
データ補充部２０４は、最初の処理単位ＢＬ１では、揮発性メモリ３１に補充データが記憶されていないので、２ライン目の画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００５４】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを用いてフィルタ処理を行い、画素位置「１０１」「１０２」の第１および第２フィルタ処理が行われた画素データを出力する。
【００５５】
次の処理単位ＢＬ２で第２フィルタ処理部２０５から画素位置「１０３」以降の第１，２のフィルタ処理後の画素データを出力するためには、第２フィルタ処理部２０５に対して、画素位置「１０１」からの第１フィルタ処理後の画素データを入力する必要がある。また、画素位置「１０１」からの第１フィルタ処理後の画素データは、最初の処理単位ＢＬ１に対する第１フィルタ処理部２０３のフィルタ処理で生成されている。したがって、データ補充部２０４は、画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶させる。
【００５６】
以下、処理単位ＢＬ１の各ラインについて同様な処理を行い、第２フィルタ処理部２０５は、画素位置「２０１」「２０２」・・・「６０１」「６０２」の第１および第２フィルタ処理が行われた画素データを出力する。また、データ補充部２０４は、画素位置「２０１」〜「２０４」・・・「６０１」〜「６０４」の第１フィルタ処理が行われた画素データを揮発性メモリ３１に記憶する。
【００５７】
図１１は２番目の処理単位ＢＬ２の処理動作を示している。第１フィルタ処理部２０３に対して例えば最初のラインである画素位置「３」〜「１２」の画素データを入力すると、第１フィルタ処理部２０３は、５タップでフィルタ処理を行い、画素位置「５」〜「１０」の第１フィルタ処理後の画素データを出力する。
【００５８】
データ補充部２０４は、最初の処理単位ＢＬ１の処理を行うことにより、最初のラインの画素位置「１」〜「４」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶している。したがって、データ補充部２０４は、揮発性メモリ３１から画素位置「１」〜「４」の第１フィルタ処理後の画素データを、補充データとして読み出して第２フィルタ処理部２０５に出力する。その後、データ補充部２０４は、画素位置「５」〜「１０」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。なお、図１１では、補充データの画素位置を白抜き文字で示している。
【００５９】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１」〜「１０」の第１フィルタ処理後の画素データを用いて第２フィルタ処理を行い、画素位置「３」〜「８」の第１および第２フィルタ処理が行われた画素データを出力する。ここで、補充データは４画素、処理単位のデータは６画素であり、合計１０画素の画素データを用いて５タップでフィルタ処理を行うことから、第２フィルタ処理部２０５の出力は処理単位のデータ数となる。
【００６０】
このように、データ補充部２０４は、第１フィルタ処理部２０３から出力された画素データを第２フィルタ処理部２０５に供給する前に、最初の処理単位ＢＬ１で生成された第１フィルタ処理後の画素データを揮発性メモリ３１から読み出して補充する。したがって第２フィルタ処理部２０５は、最初の処理単位ＢＬ１の出力に対して連続した画素位置の第１および第２フィルタ処理後の画素データを出力することができる。
【００６１】
また、次の処理単位ＢＬ３で第２フィルタ処理部２０５から画素位置「９」以降の第１，２のフィルタ処理後の画素データを出力するためには、第２フィルタ処理部２０５に対して、画素位置「７」からの第１フィルタ処理後の画素データを入力する必要がある。また、画素位置「７」からの第１フィルタ処理後の画素データは、２番目の処理単位ＢＬ２に対する第１フィルタ処理部２０３のフィルタ処理で生成されている。したがって、データ補充部２０４は、画素位置「７」〜「１０」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶させる。
【００６２】
第１フィルタ処理部２０３とデータ補充部２０４と第２フィルタ処理部２０５は、２番目の処理単位ＢＬ２の１ライン目の処理が終了すると２ライン目の処理を行う。第１フィルタ処理部２０３は、２ライン目の画素位置「１０３」〜「１１２」の画素データを用いてフィルタ処理を行い、画素位置「１０５」〜「１１０」の第１フィルタ処理後の画素データを出力する。
【００６３】
データ補充部２０４は、揮発性メモリ３１に記憶されている２ライン目の画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを読み出して、補充データとして第２フィルタ処理部２０５に出力する。その後、データ補充部２０４は、第１フィルタ処理部２０３から供給された画素位置「１０５」〜「１１０」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００６４】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１０１」〜「１１０」の第１フィルタ処理後の画素データを用いてフィルタ処理を行い、画素位置「１０３」〜「１０８」の第１および第２フィルタ処理が行われた画素データを出力する。
【００６５】
次の処理単位ＢＬ３で第２フィルタ処理部２０５から画素位置「１０９」以降の第１，２のフィルタ処理後の画素データを出力するためには、第２フィルタ処理部２０５に対して、画素位置「１０７」からの第１フィルタ処理後の画素データを入力する必要がある。また、画素位置「１０７」からの第１フィルタ処理後の画素データは、２番目の処理単位ＢＬ２に対する第１フィルタ処理部２０３のフィルタ処理で生成されている。したがって、データ補充部２０４は、画素位置「１０７」〜「１１０」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶させる。
【００６６】
以下、処理単位ＢＬ２の各ラインについて同様な処理を行い、第２フィルタ処理部２０５は、画素位置「２０３」〜「２０８」・・・「６０３」〜「６０８」の第１および第２フィルタ処理が行われた画素データを出力する。また、データ補充部２０４は、画素位置「２０７」〜「２１０」・・・「６０７」〜「６１０」の第１フィルタ処理が行われた画素データを揮発性メモリ３１に記憶させる。
【００６７】
図１２は３番目の処理単位ＢＬ３の処理動作を示している。３番目の処理単位ＢＬ３についても２番目の処理単位ＢＬ２と同様に処理を行う。３番目の処理単位ＢＬ３についてフィルタ処理を行った場合、揮発性メモリ３１に記憶されている画素位置「７」〜「１０」「１０７」〜「１１０」・・・「６０７」〜「６１０」の第１フィルタ処理後の画素データが、補充データとして読み出されて第２フィルタ処理部２０５に供給される。また、第２フィルタ処理部２０５には、第１フィルタ処理部２０３からの画素位置「１１」〜「１６」「１１１」〜「１１６」・・・「６１１」〜「６１６」の第１フィルタ処理後の画素データが供給される。したがって、第２フィルタ処理部２０５から画素位置「９」〜「１４」「１０９」〜「１１４」・・・「６０９」〜「６１４」の第１および第２フィルタ処理後の画素データが出力される。
【００６８】
また、データ補充部２０４によって、画素位置「１３」〜「１６」「１１３」〜「１１６」・・・「６１３」〜「６１６」の第１フィルタ処理後の画素データが揮発性メモリ３１に記憶される。なお、図１２では、補充データの画素位置を白抜き文字で示している。
【００６９】
図１３は最後の処理単位ＢＬ４の処理動作を示している。第１フィルタ処理部２０３に対して最初のラインの画素位置「１５」〜「２０」の画素データを入力すると、第１フィルタ処理部２０３は、５タップでフィルタ処理を行い、画素位置「１７」〜「２０」の第１フィルタ処理後の画素データを出力する。なお、画素位置「２０」は、画像端の位置であることから、第１フィルタ処理部２０３は画素リピートを行う。なお、図１３では、補充データの画素位置を白抜き文字で示している。
【００７０】
データ補充部２０４は、３番目の処理単位ＢＬ３の処理を行うことにより、最初のラインの画素位置「１３」〜「１６」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶している。したがって、データ補充部２０４は、揮発性メモリ３１から画素位置「１３」〜「１６」の第１フィルタ処理後の画素データを読み出して、補充データとして第２フィルタ処理部２０５に出力する。その後、データ補充部２０４は、画素位置「１７」〜「２０」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００７１】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１３」〜「２０」の第１フィルタ処理後の画素データを用いて第２フィルタ処理を行い、画素位置「１５」〜「２０」の第１および第２フィルタ処理が行われた画素データを出力する。なお画像端では画素リピートを行う。
【００７２】
第１フィルタ処理部２０３とデータ補充部２０４と第２フィルタ処理部２０５は、最後の処理単位ＢＬ４の１ライン目の処理が終了すると２ライン目の処理を行う。第１フィルタ処理部２０３は、２ライン目の画素位置「１１５」〜「１２０」の画素データを用いてフィルタ処理を行い、画素位置「１１７」〜「１２０」の第１フィルタ処理後の画素データを出力する。なお、画素位置「１２０」は、画像端の位置であることから、第１フィルタ処理部２０３は画素リピートを行う。
【００７３】
データ補充部２０４は、３番目の処理単位ＢＬ３の処理を行うことにより、２番目のラインの画素位置「１１３」〜「１１６」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶している。したがって、データ補充部２０４は、揮発性メモリ３１から画素位置「１１３」〜「１１６」の第１フィルタ処理後の画素データを読み出して、補充データとして第２フィルタ処理部２０５に出力する。その後、データ補充部２０４は、画素位置「１１７」〜「１２０」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００７４】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１１３」〜「１２０」の第１フィルタ処理後の画素データを用いてフィルタ処理を行い、画素位置「１１５」〜「１２０」の第１および第２フィルタ処理が行われた画素データを出力する。
【００７５】
以下、処理単位ＢＬ４の各ラインについて同様な処理を行い、第２フィルタ処理部２０５は、画素位置「２１５」〜「２２０」・・・「６１５」〜「６２０」の第１および第２フィルタ処理が行われた画素データを出力する。
【００７６】
このように、画素データを保持して、次の処理単位の補充データとして再利用することで、効率よく情報処理を行うことができる。また、補充データのデータ数を調整することで、第２フィルタ処理部２０５の出力を、処理単位のデータ数とすることができる。
【００７７】
図１４は最後の処理単位ＢＬ４の第１フィルタ処理結果が保持されている場合の処理動作を示している。揮発性メモリ３１に処理単位ＢＬ４の各ラインの第１フィルタ処理後の画素データが記憶されている場合、データ補充部２０４は、保持している画素データを第２フィルタ処理部２０５に出力する。例えば、最後の処理単位ＢＬ４が画素位置「１３」〜「１６」「１１３」〜「１１６」・・・「６１３」〜「６１６」の領域である場合、３番目の処理単位ＢＬ３の処理を行うことにより、処理単位ＢＬ４の第１フィルタ処理結果が揮発性メモリ３１に記憶している。
【００７８】
したがって、データ補充部２０４は、揮発性メモリ３１から画素位置「１３」〜「１６」の第１フィルタ処理後の画素データを読み出して第２フィルタ処理部２０５に出力する。
【００７９】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１３」〜「１６」の第１フィルタ処理後の画素データを用いて第２フィルタ処理を行い、画素位置「１５」〜「１６」の第１および第２フィルタ処理が行われた画素データを出力する。
【００８０】
データ補充部２０４と第２フィルタ処理部２０５は、最後の処理単位ＢＬ４の１ライン目の処理が終了すると２ライン目の処理を行う。データ補充部２０４は、揮発性メモリ３１から画素位置「１１３」〜「１１６」の第１フィルタ処理後の画素データを読み出して第２フィルタ処理部２０５に出力する。
【００８１】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１１３」〜「１１６」の第１フィルタ処理後の画素データを用いてフィルタ処理を行い、画素位置「１１５」「１１６」の第１および第２フィルタ処理が行われた画素データを出力する。
【００８２】
以下、処理単位ＢＬ４の各ラインについて同様な処理を行い、第２フィルタ処理部２０５は、画素位置「２１５」「２２６」・・・「６１５」「６２６」の第１および第２フィルタ処理が行われた画素データを出力する。
【００８３】
ここで、本技術の優位性を明確とするため、従来の動作を簡単に説明する。図１５は、従来のカメラ信号処理部２０ｐａの構成を例示しており、第１フィルタ処理部２０３は、フィルタ処理後の画像データを第２フィルタ処理部２０５に供給する。第２フィルタ処理部２０５は第１フィルタ処理部２０３から供給された画像データのフィルタ処理を行って出力する。
【００８４】
図１６は、従来の処理動作を示している。第１フィルタ処理部２０３は、例えば点線で示す処理単位ＢＭ１の最初のラインの画素位置「１」〜「１０」の画素データを用いてフィルタ処理を行い、画素位置「３」〜「８」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００８５】
第２フィルタ処理部２０５は、第１フィルタ処理部２０３から供給された画素位置「３」〜「８」の画素データを用いて第２フィルタ処理を行い、画素位置「５」〜「６」の第１および第２フィルタ処理が行われた画素データを出力する。
【００８６】
以下同様に処理を行い、第１フィルタ処理部２０３は、処理単位ＢＭ１の各ラインの画素位置「１０１」〜「１１０」・・・「６０１」〜「６１０」の画素データを用いて第１フィルタ処理を行い、画素位置「１０３」〜「１０８」・・・「６０３」〜「６０８」の第１フィルタ処理後の画素データを生成する。また、第２フィルタ処理部２０５は、第１フィルタ処理部２０３から供給された画素位置「１０３」〜「１０８」・・・「６０３」〜「６０８」の画素データを用いてフィルタ処理を行い、画素位置「１０５」「１０６」・・・「６０５」「６０６」の第１，２フィルタ処理後の画素データを生成する。
【００８７】
処理単位ＢＭ１の処理が終了すると一点鎖線で示す処理単位ＢＭ２の処理を同様に行う。第１フィルタ処理部２０３は、処理単位ＢＭ２の最初のラインの画素位置「３」〜「１２」の画素データを用いて第１フィルタ処理を行い、画素位置「５」〜「１０」の第１フィルタ処理が行われた画素データを生成して第２フィルタ処理部２０５に出力する。
【００８８】
第２フィルタ処理部２０５は、第１フィルタ処理部２０３から供給された画素位置「５」〜「１０」の画素データを用いて第２フィルタ処理を行い、画素位置「７」〜「８」の第１および第２フィルタ処理が行われた画素データを出力する。以下同様に各ラインについて処理を行うと、第２フィルタ処理部２０５からは、画素位置「７」「８」「１０７」「１０８」・・・「６０７」「６０８」の第１および第２フィルタ処理が行われた画素データが出力される。なた、処理単位を順次右方向に移動させて同様な処理を行うことで、第２フィルタ処理部２０５から第１および第２フィルタ処理が行われた画素データが出力される。
【００８９】
表１は、本技術と従来の情報処理の処理効率を示している。例えば画素データの読み込みや書き出しを行った画素数に対して、第２フィルタ処理部２０５から出力される第１および第２フィルタ処理後の画素数の割合を処理効率とする。この場合、従来の処理では、第１フィルタ処理部２０３に１０画素分の画素データを入力して第２フィルタ処理部２０５から２画素分の画素データが出力されることから、処理効率は「２／１０＝２０％」となる。また、本技術において例えば処理単位ＢＬ２については、第１フィルタ処理部２０３に１０画素分の画素データを入力して第２フィルタ処理部２０５から６画素分の画素データが出力される。また、４画素分の画素データが揮発性メモリ３１に書き込まれて、揮発性メモリ３１に既に記憶されている４画素分の画素データの読み出しが行われる。したがって、処理効率は「６／（１０＋４＋４）＝３３．３％」となる。すなわち、本技術によれば処理効率を高めることができる。
【００９０】
【表１】
【００９１】
さらに、データ補充部２０４にメモリを設けて補充データを保持しておくようにすれば、表２に示すように、外部メモリに画素データを書き出したり、外部メモリから画素データを読み出す必要がない。したがって、処理効率を「６／１０＝６０％」とすることができる。
【００９２】
【表２】
【００９３】
このように、本技術によれば、次の処理単位での処理で必要とされる画素データを補充データとして保持して、この補充データを次の処理単位で用いてフィルタ処理が行われるので、第２フィルタ処理部２０５から出力されるフィルタ処理結果を増加させることができる。
【００９４】
また、本技術によれば、従来の方法に比べて高速に情報処理結果を得ることができる。図１７は、画素データの入力と情報処理後の画素データの出力タイミングを示している。なお、図１７の（Ａ）はデータ補充部２０４を設けた本技術のタイミング、図１７の（Ｂ）は、データ補充部２０４を設けていない従来のタイミングを示している。
【００９５】
図１７の（Ａ）に示すように、処理単位ＢＬ２の例えば最初のラインの画素データが第１フィルタ処理部２０３に入力される場合、第１フィルタ処理部２０３からフィルタ処理後の画素データが出力されるまでの期間を利用して、揮発性メモリ３１から補充データが読み出されて第２フィルタ処理部２０５に出力される。したがって、第１フィルタ処理部２０３からフィルタ処理後の画素データがタップ数だけ出力される前に、第２フィルタ処理部２０５から、第１および第２フィルタ処理が行われた画素データを出力することができる。これに対して、データ補充部２０４を設けていない場合は、図１７の（Ｂ）に示すように、第１フィルタ処理部２０３からフィルタ処理後の画素データがタップ数だけ出力されていないと、第２フィルタ処理部２０５から、第１，２フィルタ処理後の画素データが出力されない。すなわち、本技術によれば、従来に比べて第１および第２フィルタ処理が行われた画素データを、早いタイミングでより多く出力することができるので、処理時間の短縮や消費電力の削減を図ることができる。
【００９６】
また、補充データは、第１フィルタ処理部２０３からフィルタ処理後の画素データが出力されていない期間を利用して挿入されるため、保持用のメモリはレジスタなど高速のメモリである必要がない。また、データ補充部２０４はフィルタ処理部と別個に設けられていることから、フィルタ処理部が変更されてもデータ補充部２０４を使いまわすことが可能であり、フィルタ処理部の内部構成を変更する必要もない。
【００９７】
さらに、図１７の（Ａ）からも明らかなように、補充データは、次の処理単位のフィルタ処理に用いられたのち、新たな補充データに更新される。すなわち、読み出される補充データのメモリ領域と新たに補充データとして書き込む画素データのメモリ領域を個々に設ける必要がないことから、再利用する画素データすなわち補充データを一時保持するために多くのメモリ領域を設ける必要がない。
【００９８】
図１８は処理単位をずらす向きと補充データを入力する領域および補充データとして出力する領域の関係を示している。図１８の（Ａ）は処理単位を矢印で示す右方向に移動させる場合を例示している。処理単位を右方向に移動させる場合、処理単位の右端から所定画素分の領域（黒色領域）の画素データを補充データとして保持して、次の処理単位では保持している補充データを処理単位の左端側に連結させる。図１８の（Ｂ）は処理単位を矢印で示す左方向に移動させる場合を例示している。処理単位を左方向に移動させる場合、処理単位の左端から所定画素分の領域の画素データを補充データとして保持して、次の処理単位では保持している補充データを処理単位の右端側に連結させる。図１８の（Ｃ）は処理単位を矢印で示す下方向に移動させる場合を例示している。処理単位を下方向に移動させる場合、処理単位の下端から所定画素分の領域の画素データを補充データとして保持して、次の処理単位では保持している補充データを処理単位の上端側に連結させる。図１８の（Ｄ）は処理単位を矢印で示す上方向に移動させる場合を例示している。処理単位を上方向に移動させる場合、処理単位の上端から所定画素分の領域の画素データを補充データとして保持して、次の処理単位では保持している補充データを処理単位の下端側に連結させる。このように、処理単位の移動方向に応じて補充データを設定すれば、処理単位の移動方向に係らず、上述のように早いタイミングでより多くのフィルタ出力結果を得ることができる。
【００９９】
＜５．カメラ信号処理部の第２の構成＞
図１９は、カメラ信号処理部の第２の構成を示している。カメラ信号処理部２０ｎｂは、前処理部２０１、現像部２０２、データ補充部２０６、フィルタ処理部２０７を有している。
【０１００】
前処理部２０１は、撮像部１２から供給された撮像信号のアナログ増幅処理やＡ／Ｄ変換処理等の前処理を行い、前処理が行われた画像データ（現像前画像データ）を揮発性メモリ３１に記憶させる。現像部２０２は、現像前画像データを読み出して、デモザイク処理や明るさ補正や色補正およびホワイトバランス調整等の補正処理を現像処理として行い、現像後画像データを揮発性メモリ３１に記憶させる。
【０１０１】
データ補充部２０６は、データ補充部２０４と同様に構成されており、揮発性メモリ３１から読み出された現像後画像データをフィルタ処理部２０７に出力する。また、読み出された画像データの一部を補充データとして揮発性メモリ３１に記憶させる。また、データ補充部２０６は、次の処理単位のフィルタ処理を行う場合、揮発性メモリ３１に記憶した補充データをフィルタ処理部２０７に出力したのち、処理単位の現像後画像データをフィルタ処理部２０７に出力する。
【０１０２】
フィルタ処理部２０７は、例えばノイズ除去部であり、データ補充部２０６から供給された画像データの帯域制限等を行い、画像データのノイズ成分を除去して、ノイズ除去が行われた画像データ（リサイズ前画像データ）を揮発性メモリ３１に記憶させる。
【０１０３】
リサイズ処理部３２は、揮発性メモリ３１に記憶されているリサイズ前画像データを読み出して、所望の解像度（画素数）の画像に変換する処理等を行う。リサイズ処理部３２は、リサイズ後の画像データ（圧縮前画像データ）を揮発性メモリ３１に記憶させる。符号化／復号部３３は、圧縮前画像データの符号化処理を行い、得られた符号化データを揮発性メモリ３１に記憶させる。
【０１０４】
＜６．第２の構成の動作＞
カメラ信号処理部２０ｎｂは、符号化処理やメモリアクセス等に基づく処理単位で、揮発性メモリ３１から現像後画像データを読み出してフィルタ処理を行う場合、読み出し回数を削減できるように処理単位の位置を調整する。具体的には、処理する画像データを、次にフィルタ処理が行われる処理単位のフィルタ処理結果を得るために必要とされる画素データ分だけ、処理単位の移動方向と逆方向に移動させる。また、最初の処理単位では、次の処理単位分のフィルタ処理結果を得るために必要とされる画素データの前に無効データを設けて処理単位のデータとする。また、次の処理単位分のフィルタ処理結果を得るために必要とされる画素データを補充データとして用いる。さらに、補充データを用いてフィルタ処理が行われたとき、処理単位分のフィルタ処理結果が得られるように、処理する画像データを移動させる。
【０１０５】
図２０は、処理単位の位置と画像の関係を示している。処理単位で画像データの読み出しを行う場合、画像のない領域（斜線部で示す領域）には無効データを設定する。
【０１０６】
図２０の（Ａ）は、処理単位に対して現像後画像データを予めずらして記憶させた場合を示している。図２０の（Ｂ）は、処理単位で読み出された画像データを示している。横線の領域は、画素データが補充データとして用いられる画素位置を示している。図２０の（Ｃ）は、前回の処理単位で保持された補充データと、次の処理単位で読み出された画像データとを用いてフィルタ処理を行うことにより得られた画像データを示している。なお、図２０の場合には、８処理単位分の画素データの読み出しが行われている。
【０１０７】
以下、処理単位に対して画像の位置を調整して、補充データを用いた情報処理を行う場合の動作について説明する。なお、画像サイズは説明を簡単とするため、例えば図２１に示すように１２画素×７画素とする。また、処理単位は４画素幅、フィルタ処理部２０７のタップ数を３タップとする。
【０１０８】
図２２は、最初の処理単位ＢＲ１の処理動作を示している。データ補充部２０６、処理単位ＢＲ１の最初のラインについて無効データを除外して、画素位置「１」の画素データを揮発性メモリ３１に記憶する。同様に２ライン目以降についても、無効データを除外して、各画素位置「１０１」・・・「６０１」の画素データを揮発性メモリ３１に記憶させる。
【０１０９】
図２３は、２番目の処理単位ＢＲ２の処理動作を示している。データ補充部２０６は、最初のラインの補充データ、すなわち画素位置「１」の画素データをフィルタ処理部２０７に出力したのち、処理単位ＢＲ２の各画素位置「２」〜「５」の画素データをフィルタ処理部２０７に出力する。なお、図２３では、補充データの画素位置を白抜き文字で示している。また、図２４〜図２７も同様である。
【０１１０】
フィルタ処理部２０７は、画素位置「１」〜「５」の画素データを用いて３タップでフィルタ処理を行い、画素位置「１」〜「４」のフィルタ処理後の画素データを出力する。なお、画素位置「１」は画像端であるから画素リピートを行う。
【０１１１】
次の処理単位ＢＲ３でフィルタ処理部２０７から画素位置「５」以降のフィルタ処理が行われた画素データを出力するためには、フィルタ処理部２０７に対して、画素位置「４」からの画素データを入力する必要がある。また、画素位置「４」からの画素データは、２番目の処理単位ＢＲ２の処理で読み出されている。したがって、データ補充部２０６は、画素位置「４」「５」の画素データを揮発性メモリ３１に記憶させる。
【０１１２】
データ補充部２０６とフィルタ処理部２０７は、２番目の処理単位ＢＲ２の１ライン目の処理が終了すると２ライン目の処理を行う。
【０１１３】
データ補充部２０６は、揮発性メモリ３１に記憶されている２ライン目の画素位置「１０１」の画素データを補充データとしてフィルタ処理部２０７に出力する。その後、データ補充部２０６は、処理単位ＢＲ２の各画素位置「１０２」〜「１０５」の画素データをフィルタ処理部２０７に出力する。
【０１１４】
フィルタ処理部２０７は、画素位置「１０１」〜「１０５」の画素データを用いて３タップでフィルタ処理を行い、画素位置「１０１」〜「１０４」のフィルタ処理後の画素データを出力する。なお、画素位置「１０１」は画像端であるから画素リピートを行う。
【０１１５】
次の処理単位ＢＲ３でフィルタ処理部２０７から画素位置「１０５」以降のフィルタ処理が行われた画素データを出力するためには、フィルタ処理部２０７に対して、画素位置「１０４」からの画素データを入力する必要がある。また、画素位置「１０４」からの画素データは、２番目の処理単位ＢＲ２の処理で読み出されている。したがって、データ補充部２０６は、画素位置「１０４」「１０５」の画素データを揮発性メモリ３１に記憶させる。
【０１１６】
以下、処理単位ＢＬ２の各ラインについて同様な処理を行い、フィルタ処理部２０７は、画素位置「２０１」〜「２０４」・・・「６０１」〜「６０４」のフィルタ処理が行われた画素データを出力する。また、データ補充部２０４は、画素位置「２０４」「２０５」・・・「６０４」「６０５」の画素データを揮発性メモリ３１に記憶させる。
【０１１７】
図２４は、３番目の処理単位ＢＲ３の処理動作を示している。データ補充部２０６は、最初のラインの補充データ、すなわち画素位置「４」「５」の画素データをフィルタ処理部２０７に出力したのち、処理単位ＢＲ３の各画素位置「６」〜「９」の画素データをフィルタ処理部２０７に出力する。
【０１１８】
フィルタ処理部２０７は、画素位置「４」〜「９」の画素データを用いて３タップでフィルタ処理を行い、画素位置「５」〜「８」のフィルタ処理後の画素データを出力する。
【０１１９】
次の処理単位ＢＲ４でフィルタ処理部２０７から画素位置「９」以降のフィルタ処理が行われた画素データを出力するためには、フィルタ処理部２０７に対して、画素位置「８」からの画素データを入力する必要がある。また、画素位置「８」からの画素データは、３番目の処理単位ＢＲ３の処理で読み出されている。したがって、データ補充部２０６は、画素位置「８」「９」の画素データを揮発性メモリ３１に記憶させる。
【０１２０】
データ補充部２０６とフィルタ処理部２０７は、３番目の処理単位ＢＲ３の１ライン目の処理が終了すると２ライン目の処理を行う。
【０１２１】
データ補充部２０６は、揮発性メモリ３１に記憶されている２ライン目の画素位置「１０４」「１０５」の画素データを補充データとしてフィルタ処理部２０７に出力する。その後、データ補充部２０６は、処理単位ＢＲ３の各画素位置「１０６」〜「１０９」の画素データをフィルタ処理部２０７に出力する。
【０１２２】
フィルタ処理部２０７は、画素位置「１０４」〜「１０９」の画素データを用いて３タップでフィルタ処理を行い、画素位置「１０５」〜「１０８」のフィルタ処理後の画素データを出力する。すなわち、フィルタ処理部２０７は、２画素分の補充データと４画素分の読み出し画素データを用いて３タップでフィルタ処理を行うことから、処理単位と等しい４画素分のフィルタ結果を出力できる。
【０１２３】
次の処理単位ＢＲ４でフィルタ処理部２０７から画素位置「１０９」以降のフィルタ処理が行われた画素データを出力するためには、フィルタ処理部２０７に対して、画素位置「１０８」からの画素データを入力する必要がある。また、画素位置「１０８」からの画素データは、３番目の処理単位ＢＲ３の処理で読み出されている。したがって、データ補充部２０６は、画素位置「１０８」「１０９」の画素データを揮発性メモリ３１に記憶させる。
【０１２４】
以下、処理単位ＢＬ３の各ラインについて同様な処理を行い、フィルタ処理部２０７は、画素位置「２０５」〜「２０８」・・・「６０５」〜「６０８」のフィルタ処理が行われた画素データを出力する。また、データ補充部２０４は、画素位置「２０８」「２０９」・・・「６０８」「６０９」の画素データを揮発性メモリ３１に記憶させる。
【０１２５】
図２５は、最後の処理単位ＢＲ４の処理動作を示している。データ補充部２０６は、最初のラインの補充データ、すなわち画素位置「８」「９」の画素データをフィルタ処理部２０７に出力したのち、処理単位ＢＲ４の各画素位置「１０」〜「１２」の画素データをフィルタ処理部２０７に出力する。
【０１２６】
フィルタ処理部２０７は、画素位置「８」〜「１２」の画素データを用いて３タップでフィルタ処理を行い、画素位置「９」〜「１２」のフィルタ処理後の画素データを出力する。なお、画素位置「１２」は、画像端の位置であることから、フィルタ処理部２０７は画素リピートを行う。
【０１２７】
データ補充部２０６とフィルタ処理部２０７は、処理単位ＢＲ４の１ライン目の処理が終了すると２ライン目の処理を行う。
【０１２８】
データ補充部２０６は、揮発性メモリ３１に記憶されている２ライン目の画素位置「１０８」「１０９」の画素データを補充データとしてフィルタ処理部２０７に出力する。その後、データ補充部２０６は、処理単位ＢＲ３の各画素位置「１１０」〜「１１２」の画素データをフィルタ処理部２０７に出力する。
【０１２９】
フィルタ処理部２０７は、画素位置「１０８」〜「１１２」の画素データを用いて３タップでフィルタ処理を行い、画素位置「１０９」〜「１１２」のフィルタ処理後の画素データを出力する。
【０１３０】
以下、処理単位ＢＬ４の各ラインについて同様な処理を行い、フィルタ処理部２０７は、画素位置「２０９」〜「２１２」・・・「６０９」〜「６１２」のフィルタ処理が行われた画素データを出力する。
【０１３１】
このように、画素データの読み出しや、画素データの保持および補充データの供給を行えば、処理単位の読み出し回数を少なくしても、処理結果を得ることができる。また、保持する画素データのデータ数を調整することで、処理結果を処理単位で出力することができる。
【０１３２】
図２６，図２７は、処理単位を２倍である８画素幅とした場合を示している。この場合、最初の処理単位の処理では、図２６に示すように、フィルタ処理部２０７から画素位置「１」〜「４」・・・「６０１」〜「６０４」のフィルタ処理後の画素データが出力される。また、データ補充部２０６は、画素位置「４」「５」「１０４」「１０５」・・・「６０４」「６０５」の画素データを揮発性メモリ３１に記憶する。
【０１３３】
次に、２番目の処理単位の処理では、図２７に示すように、画素位置「４」「５」「１０４」「１０５」・・・「６０４」「６０５」の画素データと２番目の処理単位の画素データを用いてフィルタ処理が行われる。したがって、フィルタ処理部２０７から画素位置「５」〜「１２」・・・「６０５」〜「６１２」のフィルタ処理後の画素データが出力される。
【０１３４】
また、図２１に示すように、揮発性メモリ３１に対して画像を記憶する際に、記憶位置を移動させて、画像のない部分は無効データを設ける。このように画像を記憶すれば、揮発性メモリ３１から処理単位で画像データを読み出してデータ補充部２０６に供給するだけで、次の処理単位の情報処理で必要とされる補充データを、容易に保持させることができる。
【０１３５】
ここで、本技術の優位性を明確とするため、従来の動作を簡単に説明する。図２８は、従来のカメラ信号処理部２０ｐｂを例示しており、フィルタ処理部２０７は、揮発性メモリ３１から読み出された現像後画像データを順次用いてフィルタ処理を行って出力する。
【０１３６】
図２９は、従来の処理単位の位置と画像の関係を示している。処理単位は、図２９の（Ａ）に示すように、画像の開始位置と処理単位の開始位置が一致するように設定されている。図２９の（Ｂ）は、フィルタ処理部２０７からの出力を処理単位とするために読み出された画像データを示している。なお、クロスハッチング領域は、フィルタ処理に用いられない画素データの画素位置を示している。図２９の（Ｃ）は、フィルタ処理部２０７からの出力を示している。
【０１３７】
このように、フィルタ処理部２０７から最初の処理単位分の画像データを出力させるためには、タップ数に応じた余分のデータが必要されるので、２処理単位分の画像データを読み出す必要がある。また、フィルタ処理部２０７から２番目の処理単位分の画像データを出力させるためには、タップ数に応じた余分のデータが左右両側に必要されるので、３処理単位分の画像データを読み出す必要がある。以下同様に、フィルタ処理部２０７から読み出し単位分の画像データを出力させるためには、タップ数に応じた余分のデータを含む読み出し単位分の画像データを追加して読み出す必要がある。なお、図２０では、８処理単位分の画素データの読み出しが必要であるが、図２９では、１９処理単位分の画素データの読み出しが必要となる。
【０１３８】
図３０は、処理単位を４画素幅、フィルタ処理部２０７のタップ数を３タップとした場合の従来の処理動作を示している。例えば点線で示す２処理単位分の領域の画像データすなわち画素位置「１」〜「８」の画素データを読み出してフィルタ処理部２０７に供給することで、フィルタ処理部２０７から画素位置「１」〜「４」のフィルタ処理後の画素データを出力することができる。同様に、画素位置「１０１」〜「１０８」・・・「６０１」〜「６０８」の画素データをフィルタ処理部２０７に供給することで、フィルタ処理部２０７から画素位置「１０１」〜「１０４」・・・「６０１」〜「６０４」のフィルタ処理後の画素データを出力できる。
【０１３９】
次に、一点鎖線で示す３処理単位分の領域の画像データすなわち画素位置「１」〜「１２」の画素データを読み出してフィルタ処理部２０７に供給することで、フィルタ処理部２０７から画素位置「５」〜「８」のフィルタ処理後の画素データを出力できる。同様に、画素位置「１０１」〜「１１２」・・・「６０１」〜「６１２」の画素データを読み出してフィルタ処理部２０７に供給することで、フィルタ処理部２０７から画素位置「１０５」〜「１０８」・・・「６０５」〜「６０８」のフィルタ処理後の画素データを出力できる。
【０１４０】
表３は、本技術と従来のフィルタ処理の処理効率を示している。例えば画素データの読み込みや書き出しを行った画素数に対して、フィルタ処理部２０７から出力されるフィルタ処理後の画素数の割合を処理効率とする。ここで、２回目の処理単位のフィルタ処理結果を得る場合、従来のフィルタ処理では、フィルタ処理部２０７に１２画素分の画素データを入力して４画素分の画素データが出力されることから、処理効率は「４／１０＝３３．３％」となる。また、本技術では２画素分の補充データと処理単位の４画素分の画素データをフィルタ処理部２０７に供給することで４画素分の画素データが出力される。また、２画素分の画素データが補充データとして揮発性メモリ３１に書き込まれる。したがって、処理効率は「４／（４＋２＋２）＝５０％」となる。すなわち、本技術によれば処理効率を高めることができる。
【０１４１】
【表３】
【０１４２】
さらに、データ補充部２０４に内部メモリを設けて補充データを保持させるようにすれば、外部メモリに補充データを書き出したり、外部メモリから補充データを読み出す必要がない。したがって、表４に示すように、処理効率を「４／４＝１００％」とすることができる。
【０１４３】
【表４】
【０１４４】
このように、本技術の第２の構成によれば、処理単位の画像データの読み出し回数を削減できる。したがって、メモリ帯域の削減、処理時間の短縮、消費電力の削減を図ることができる。さらに、１つのフィルタ処理部で処理を行う場合は、図２６や図２７を用いて説明したように、入力と出力の両方をメモリ等における処理単位の倍数にすることが可能であることから、メモリ帯域や処理時間を更に削減できる。
【０１４５】
また、本技術によれば、従来の方法に比べて高速にフィルタ処理結果を得ることができる。
【０１４６】
図３１は、画素データの入力とフィルタ処理後の画素データの出力タイミングを示している。なお、図３１の（Ａ）はデータ補充部２０６を設けた本技術のタイミング、図３１の（Ｂ）は、データ補充部２０６を設けていない従来のタイミングを示している。また、図３１では３回目の処理単位のフィルタ出力結果を得る場合を示している。
【０１４７】
図３１の（Ａ）に示すように、例えば画素位置「６」〜「９」の処理単位の画素データの読み出しが行われる前に、データ補充部２０６によって、揮発性メモリ３１から画素位置「４」「５」の画素データが補充データとしてフィルタ処理部２０７に供給される。したがって、３回目の処理単位の画素データがフィルタ処理部２０７に供給されてタップ数となる前に、フィルタ処理部２０７からフィルタ処理が行われた画素データを出力することができる。これに対して、データ補充部２０６を設けていない従来の構成では、図３１の（Ｂ）に示すように、画素位置「１」〜「４」の処理単位の画素データが読み出されたのち、画素位置「５」〜「８」の処理単位の画素データの読み出しが行われる。したがって、画素位置「４」〜「６」の画素データがフィルタ処理部２０７に入力されないと、画素位置「５」のフィルタ結果を出力することができない。すなわち、本技術によれば、従来に比べてフィルタ処理が行われた画素データを、早いタイミングで出力することができる。
【０１４８】
また、図３１の（Ａ）からも明らかなように、補充データは、次の処理単位のフィルタ処理に用いられたのち、新たな補充データに更新される。すなわち、読み出される補充データのメモリ領域と新たに補充データとして書き込む画素データのメモリ領域を個々に設ける必要がないことから、再利用する画素データすなわち補充データを一時保持するために多くのメモリ領域を設ける必要がない。
【０１４９】
図３２は、データ補充部２０６の前段に縦方向のみのフィルタ処理を行うフィルタ処理部２０９を設けた場合の処理動作を示している。画素データの補充は横方向に対して行われるため横に余分な画素データが必要なければ、縦方向のフィルタ処理部２０９とデータ補充部２０６の入力の横幅は一致する。したがって、縦方向のみのフィルタ処理を行うフィルタ処理部２０９を設けても、上述のように縦方向のみのフィルタ処理を行うフィルタ処理部を設けていない場合と同様に処理することができる。
【０１５０】
＜７．第１の構成の動作と第２の構成の動作を組み合わせた動作＞
上述の第１の構成の動作と第２の構成の動作は、組み合わせて行うこともできる。図３３は、第１の構成の動作と第２の構成の動作を組み合わせた場合を示している。
【０１５１】
データ補充部２０６は、処理単位で読み出した画像データをフィルタ処理部２０７（第１フィルタ処理部２０３に相当）に供給する。また、データ補充部２０６は、処理単位で読み出した画像データをフィルタ処理部２０７に供給する前に、補充データをフィルタ処理部２０７に供給する。また、データ補充部２０６は、読み出した画像データの一部を補充データとして保持させる。
【０１５２】
フィルタ処理部２０７は、データ補充部２０６から供給された画像データのフィルタ処理を行い、フィルタ処理後の画像データをデータ補充部２０４に出力する。
【０１５３】
データ補充部２０４は、保持している補充データを第２フィルタ処理部２０５に供給したのち、フィルタ処理部２０７でフィルタ処理が行われた画像データを第２フィルタ処理部２０５に出力する。また、データ補充部２０４は、フィルタ処理部２０７でフィルタ処理が行われた画像データを補充データとして保持する。
【０１５４】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画像データのフィルタ処理を行い、フィルタ処理後の画像データを出力する。
【０１５５】
このような処理を行えば、フィルタ処理の空き時間を少なくすることができ、また入出力とも所定単位（図３３では４画素単位）とすることができる。したがって、メモリ帯域の削減、処理時間の短縮、消費電力の削減等を図ることができる。
【０１５６】
なお、上述の実施形態ではフィルタ処理として図３４の（Ａ）に示すノイズ除去や図３４の（Ｂ）に示すボケ補正を行う場合を例示したが、図３４の（Ｃ）に示す歪補正処理や図３４の（Ｄ）に示すリサイズ処理等を行うようにしてもよい。
【０１５７】
また、垂直フィルタ処理に横幅の制約がある場合、従来技術では、縮小処理において、水平フィルタ処理を優先して行うことが望ましい。例えば、図３５に示すように、垂直フィルタ処理部の横幅が５００画素まである場合、図３５の（Ａ）に示すように、例えば（１／２）倍に縮小で垂直フィルタ処理を先に行うと、処理できる画像の横幅は５００ピクセルの画像までとなる。しかし、図３５の（Ｂ）に示すように、（１／２）倍の縮小で水平フィルタ処理を先に行うと、画像の横幅が（１／２）倍されてから垂直フィルタ処理が行われるので、１０００ピクセルまでの画像を処理できる。しかし、本技術によれば、補充データを保持しておくだけでよいことから、水平フィルタ処理と垂直フィルタ処理の順番に特に制限を設ける必要がないため、自由度の高いフィルタ処理を行うことができる。
【０１５８】
また、上述の実施形態では画像データのフィルタ処理を行う場合について説明したが、処理対象データの周囲のデータを用いてフィルタ処理を行うデータであれば、画像データに限らず他のデータであってもよい。例えば音声データのフィルタ処理を行う場合にも適用できる。さらに、情報処理はフィルタ処理に限られない。例えば、注目するデータの周囲の一定範囲のデータの順番を入れ替える情報処理を行う暗号化や暗号復号化処理等の場合にも適用できる。
【０１５９】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１６０】
例えば、プログラムは記録メディアとしてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録メディアに、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録メディアは、いわゆるパッケージソフトウェアとして提供することができる。
【０１６１】
また、プログラムは、リムーバブル記録メディアからコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録メディアにインストールすることができる。
【０１６２】
本技術は、上述した実施形態に限定して解釈されるべきではない。この技術の実施形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１６３】
なお、本技術は以下のような構成も取ることができる。
（１） 処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理部と、
前記情報処理部に供給される処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理を前記情報処理部で行わせるデータ補充部と
を備える情報処理装置。
（２） 前記データ補充部は、前記補充データと次に情報処理が行われる処理単位のデータを順に用いて情報処理が前記情報処理部で行われた場合に、前記処理単位分の情報処理結果が得られるように、前記補充データの抽出を行う
（１）に記載の情報処理装置。
（３） 第１の情報処理部と第２の情報処理部を設け、
前記第２の情報処理部は、前記第１の情報処理部の情報処理結果を用いて情報処理を行うものとし、
前記データ補充部は、前記第１の情報処理部から出力される情報処理結果から、次に前記第２の情報処理部で情報処理が行われるデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データを前記第１の情報処理部から次の処理単位のデータの情報処理結果が出力されるまでの期間を利用して前記第２の情報処理部に出力する
（１）または（２）に記載の情報処理装置。
（４） 処理するデータを、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータ分だけ、処理単位の移動方向と逆方向に移動させて、最初の処理単位では前記所定数に含まれるデータの前に無効データを設けた
（１）乃至（３）の何れかに記載の情報処理装置。
（５） 処理単位でデータが読み出されるメモリを有し、
前記メモリでは、最初の処理単位のデータが、無効データの後に前記補充データが設けられるように、情報処理を行うデータの位置をずらして記憶する
（１）乃至（４）の何れかに記載の情報処理装置。
（６） 前記データ補充部は、補充データが次の処理単位の情報処理に用いられたのち、新たな画素データを補充データとして上書きする
（１）乃至（５）の何れかに記載の情報処理装置。
（７） 前記データは画像データである
（１）乃至（６）の何れかに記載の情報処理装置。
【産業上の利用可能性】
【０１６４】
本技術の情報処理装置と情報処理方法およびプログラムでは、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータが用いられる。また、次に情報処理が行われる処理単位のデータの情報処理結果を得るために所定数に含まれるデータが補充データとして保持されて、この保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて情報処理が行われる。したがって、処理対象のデータを用いた情報処理を効率よく行うことができるようになる。
【０１６５】
このため、処理対象のデータの周囲の一定範囲のデータを用いて情報処理を行う電子機器、例えばデジタルスチルカメラ、デジタルビデオカメラ、コンピュータ装置、ゲーム機、テレビジョン装置、電話機、ＰＤＡ、画像再生装置、画像記録装置、ナビゲーション装置、携帯通信端末装置、プリンター、電子書籍再生装置、通信装置などの種々の電子機器に適用できる。
【符号の説明】
【０１６６】
１０・・・撮像装置、１１・・・撮像レンズ部、１２・・・撮像部、２０，２０ｎａ，２０ｎｂ，２０ｐａ，２０ｐｂ・・・カメラ信号処理部、３１・・・揮発性メモリ、３２・・・リサイズ処理部、３３・・・符号化／復号部、４１・・・表示インタフェース（Ｉ／Ｆ）、４２・・・表示部、４３・・・メディアインタフェース（Ｉ／Ｆ）、４４・・・記録メディア、４５・・・入力インタフェース（Ｉ／Ｆ）、４６・・・入力部、５１・・・制御部、５２・・・不揮発性メモリ、５３・・・バス、２０１・・・前処理部、２０２・・・現像部、２０３・・・第１フィルタ処理部、２０４，２０６・・・データ補充部、２０４ａ・・・入力制御部、２０４ｂ・・・出力制御部、２０５・・・第２フィルタ処理部、２０７，２０９・・・フィルタ処理部
【技術分野】
【０００１】
この技術は、情報処理装置と情報処理方法およびプログラムに関する。詳しくは、処理対象のデータを用いた情報処理を効率よく行えるようにする。
【背景技術】
【０００２】
従来、処理対象のデータの情報処理例えば画像データのフィルタ処理では、処理性能を低下させることなく、処理に必要なメモリの容量および処理にかかる時間を削減するため、画像をストライプ状に分割して、分割画像領域毎にフィルタ処理が行われている。例えば特許文献１では、画像をストライプ状に分割して、分割画像領域毎に２次元フィルタ処理が行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３０４６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、フィルタ処理では１つ画素のフィルタ処理結果を得るためにタップ数分の画素データが必要である。したがって、分割画像領域のフィルタ処理結果を得るためには、画素データが記憶されているメモリから分割画像領域よりも広い領域の画素データを読み出す必要がある。また、多段のフィルタ処理を行う場合には、前段のフィルタからタップ数分の画素データが出力された後でないと、フィルタ処理結果を出力することができない。したがって、後段のフィルタでは、タップ数分の画素データが前段のフィルタから出力されるまで待ち時間を生じてしまう。
【０００５】
特許文献１では、処理単位を横にずらす場合、横方向にデータの補充を行うので、処理の順番は縦方向の後に横方向の順、処理単位を縦にずらす場合は、縦方向にデータの補充を行うので、横方向の後に縦方向の順となる。しかし、何れの場合でも大きな内部メモリを必要とする部分が前段になり、入力データに比例した内部メモリが必要となる。したがって、大きな内部メモリを設けていない場合、特に撮像装置でよく使われる縮小では小さい出力サイズしか対応できないため、大きな出力サイズに対応するためには一連のフィルタ処理を繰り返さなければならない。
【０００６】
そこで、この技術では、処理対象のデータを用いた情報処理を効率よく行うことができる情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この技術の第１の側面は、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理部と、前記情報処理部に供給される処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理を前記情報処理部で行わせるデータ補充部とを備える情報処理装置にある。
【０００８】
この技術においては、処理単位毎のデータを順に用いて情報処理を行い、例えば処理単位毎の画像データを順に用いてフィルタ処理を行い、画像データのフィルタ処理では処理対象の画素位置を基準とした所定数の処理順の画素データが用いられる。ここで、処理単位毎の画像データにおいて、次に処理が行われる処理単位の画像データの情報処理結果を得るために所定数に含まれる画素データが抽出されて、補充データとして保持される。また、補充データと次に情報処理が行われる処理単位の画像データを順に用いて情報処理が行われた場合に、処理単位分の情報処理結果が得られるように補充データの抽出が行われる。画像データのフィルタ処理を多段で行う場合、例えば第１のフィルタ処理部から出力された処理結果から補充データを抽出して、この補充データを次の処理単位の処理結果が第１のフィルタ処理部から出力されるまでの期間を利用して次段の第２のフィルタ処理部に出力する。
【０００９】
また、処理単位で画像データが読み出されるメモリでは、最初の処理単位のデータが、無効データの後に補充データが設けられるように、情報処理を行う画像データが処理単位の位置に対してずらして記憶される。また、補充データは、補充データが次の処理単位のフィルタ処理に用いられたのち、新たな画素データが補充データとして上書きされる。
【００１０】
この技術の第２の側面は、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理工程と、前記情報処理工程で用いる処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理工程で前記情報処理を行わせるデータ補充工程とを含む情報処理方法にある。
【００１１】
この技術の第３の側面は、情報処理をコンピュータで実行させるプログラムであって、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理手順と、前記情報処理手順で用いる処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理工程で前記情報処理を行わせるデータ補充手順とを前記コンピュータで実行させるプログラムにある。
【００１２】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶メディア、通信メディア、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶メディア、あるいは、ネットワークなどの通信メディアによって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１３】
この技術によれば、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータが用いられる。また、次に情報処理が行われる処理単位のデータの情報処理結果を得るために所定数に含まれるデータが補充データとして保持されて、この保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて情報処理が行われる。したがって、処理対象のデータを用いた情報処理を効率よく行うことができるようになる。
【図面の簡単な説明】
【００１４】
【図１】撮像装置の構成を示す図である。
【図２】カメラ信号処理部の第１の構成を示す図である。
【図３】データ補充部の構成を示す図である。
【図４】データ補充部における入力制御部の動作を示すフローチャートである。
【図５】データ補充部における出力制御部の動作を示すフローチャートである。
【図６】５×５画素の領域の画素データを用いたフィルタ処理を説明するための図である。
【図７】画素データを保持する画素位置を示した図である。
【図８】処理対象画像を複数の処理単位に分割した図である。
【図９】処理対象画像と処理単位を例示した図である。
【図１０】最初の処理単位ＢＬ１の処理動作を示す図である。
【図１１】２番目の処理単位ＢＬ２の処理動作を示す図である。
【図１２】３番目の処理単位ＢＬ３の処理動作を示す図である。
【図１３】最後の処理単位ＢＬ４の処理動作を示す図である。
【図１４】最後の処理単位ＢＬ４の第１フィルタ処理結果が保持されている場合の処理動作を示す図である。
【図１５】従来のカメラ信号処理部の構成を示す図である。
【図１６】従来の処理動作を示す図である。
【図１７】画素データの入力と情報処理後の画素データの出力タイミングを示す図である。
【図１８】処理単位をずらす向きと補充データを入力する領域および補充データとして出力する領域の関係を示す図である。
【図１９】カメラ信号処理部の第２の構成を示す図である。
【図２０】処理単位の位置と画像の関係を示す図である。
【図２１】処理対象画像のサイズを示す図である。
【図２２】最初の処理単位ＢＲ１の処理動作を示す図である。
【図２３】２番目の処理単位ＢＲ２の処理動作を示す図である。
【図２４】３番目の処理単位ＢＲ３の処理動作を示す図である。
【図２５】最後の処理単位ＢＲ４の処理動作を示す図である。
【図２６】処理単位を２倍である８画素幅とした場合の最初の処理単位の処理動作を示す図である。
【図２７】処理単位を２倍である８画素幅とした場合の２番目の処理単位の処理動作を示す図である。
【図２８】従来のカメラ信号処理部の構成を示す図である。
【図２９】従来の処理単位の位置と画像の関係を示す図である。
【図３０】従来の処理動作を示す図である。
【図３１】画素データの入力とフィルタ処理後の画素データの出力タイミングを示す図である。
【図３２】データ補充部の前段に縦方向のみのフィルタ処理を行うフィルタ処理部を設けた場合の処理動作を示す図である。
【図３３】第１の構成の動作と第２の構成の動作を組み合わせた動作を示す図である。
【図３４】フィルタ処理動作を示す図である。
【図３５】従来のフィルタ処理順序の制約を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．カメラ信号処理部の第１の構成
３．データ補充部の構成と動作
４．第１の構成の動作
５．カメラ信号処理部の第２の構成
６．第２の構成の動作
７．第１の構成の動作と第２の構成の動作を組み合わせた動作
【００１６】
＜１．撮像装置の構成＞
図１は、本技術の情報処理装置を適用した撮像装置の構成を例示している。撮像装置１０は、撮像レンズ部１１、撮像部１２、カメラ信号処理部２０、揮発性メモリ３１、リサイズ処理部３２、符号化／復号部３３を備えている。さらに、撮像装置１０は、表示インタフェース（Ｉ／Ｆ）４１、表示部４２、メディアインタフェース（Ｉ／Ｆ）４３、記録メディア４４、入力インタフェース（Ｉ／Ｆ）４５、入力部４６、制御部５１、不揮発性メモリ５２、バス５３を備えている。バス５３にはカメラ信号処理部２０や揮発性メモリ３１、リサイズ処理部３２、符号化／復号部３３、表示インタフェース４１、メディアインタフェース４３、入力インタフェース４５、制御部５１等が接続されている。
【００１７】
撮像レンズ部１１は、被写体光を撮像部１２に導くための撮像光学系として機能するものである。撮像レンズ部１１は、撮像部１２の撮像面上に結像される光学像の焦点の調節を行うためのフォーカスレンズや、光学像の変倍を行うためのズームレンズ等が含まれている。
【００１８】
撮像部１２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）やＣＣＤ(Charge Coupled Device）等の固体撮像素子を用いて構成されている。撮像部１２は、光電変換を行い、撮像レンズ部１１によって受光面に結像された光学像に応じた撮像信号を生成してカメラ信号処理部２０に出力する。
【００１９】
カメラ信号処理部２０は、揮発性メモリ３１をワーキングメモリとして利用して、撮像信号の前処理や現像処理を行う。さらに、本技術の情報処理装置（情報処理方法）がカメラ信号処理部２０に適用されて、処理対象のデータを基準とした所定数の処理順のデータを用いた情報処理、例えばタップ数分のデータを用いてフィルタ処理等を行う。なお、カメラ信号処理部２０の詳細については後述する。
【００２０】
揮発性メモリ３１は、撮像装置１０で種々の信号処理を行うためのワーキングメモリとして用いられる。また、揮発性メモリ３１は、撮像装置１０で所望の動作を行うための種々の情報の一時記憶領域等としても用いられる。
【００２１】
リサイズ処理部３２は、揮発性メモリ３１に記憶されているカメラ信号処理後の画像データを読み出して、所望の解像度（画素数）の画像に変換する。例えば、リサイズ処理部３２は、カメラ信号処理が行われた画像データを表示部４２の表示解像度に対応した画像データに変換する。また、リサイズ処理部３２は、ユーザにより指示された解像度に変換して、記録メディア４４に記録できるようにする。また、画像の一部領域を切り出してこの解像度の変換処理を実行して、電子ズームや再生ズームの処理が行われた画像データを生成する。
【００２２】
符号化／復号部３３は、画像データのデータ圧縮処理を行い、得られた符号化データを揮発性メモリ３１に記憶させる。また、符号化／復号部３３は、符号化データを記録メディア４４に記憶させる。また、記録メディア４４に記録されていた符号化データや揮発性メモリ３１に記憶されている符号化データの復号処理を行い、得られた画像データを揮発性メモリ３１や、表示インタフェース４１を介して表示部４２等に出力する。なお、符号化／復号処理は、静止画にあってはＪＰＥＧ（Joint Photographic Coding Experts Group ）の手法が適用される。また、動画にあっては、ＩＳＯ/ＩＥＣ ＪＴＣ１/ＳＣ２９ＷＧ１１のＭＰＥＧ１（Motion Picture Experts Group 1）、ＭＰＥＧ２（Motion Picture Experts Group 2）、ＭＰＥＧ４（Motion Picture Experts Group 4）、ＩＴＵ−ＴのＨ．２６３，Ｈ．２６４/ＭＰＥＧ４−ＡＶＣ（Advanced Video Coding）等、動きベクトルを用いたデータ圧縮手法が適用される。
【００２３】
表示インタフェース４１は、揮発性メモリ３１から読み出されたリサイズ処理後の画像データ等を表示部４２に供給する。また、表示インタフェース４１は、撮像装置１０に搭載される機能を選択するためのメニュー表示や撮像装置１０の設定状態を示す設定状態表示等を行うために例えば制御部５１で生成された表示制御信号を表示部４２に供給する。
【００２４】
表示部４２は、液晶や有機ＥＬ等の平面表示素子を用いて構成されている。表示部４２は、表示インタフェース４１を介して供給された画像データに基づき、撮像動作時のモニタ画像や揮発性メモリ３１に記憶されている画像、記録メディア４４に記録されている画像等の表示や、メニュー表示、設定状態表示等を行う。
【００２５】
メディアインタフェース４３は、記録メディア４４に対してデータの記録や記録されているデータの読み出しを行うためのインタフェースである。記録メディア４４は、半導体メモリカードまたは磁気や光を用いて記録再生を行うディスク状記録メディア等が用いられる。
【００２６】
入力インタフェース４５には入力部４６が接続されている。入力部４６は、操作スイッチやタッチパネル等で構成されており、ユーザ操作に応じた操作信号を生成して入力インタフェース４５を介して制御部５１に出力する。
【００２７】
制御部５１は、ＣＰＵ(Central Processing Unit)等用いて構成されている。制御部５１は、例えば不揮発性メモリ５２に記憶されているプログラムを実行して、撮像装置１０の動作がユーザ操作に応じた動作となるように制御信号を生成して、バス５３を介して各部に供給する。なお、プログラムは、事前に撮像装置１０にインストールされて提供される。また、事前のインストールによる提供に代えて、インターネット等のネットワークを介したインストールによる提供を行ってもよく、記録メディアを利用して提供してもよい。
【００２８】
＜２．カメラ信号処理部の第１の構成＞
図２は、カメラ信号処理部の第１の構成を示している。カメラ信号処理部２０ｎａは、前処理部２０１、現像部２０２、第１フィルタ処理部２０３、データ補充部２０４、第２フィルタ処理部２０５を有している。
【００２９】
前処理部２０１は、撮像部１２から供給された撮像信号のアナログ増幅処理やＡ／Ｄ変換処理等の前処理を行い、前処理が行われた画像データ（現像前画像データ））を揮発性メモリ３１に記憶させる。現像部２０２は、現像前画像データを読み出して、デモザイク処理や明るさ補正や色補正およびホワイトバランス調整等の補正処理を現像処理として行い、現像後画像データを揮発性メモリ３１に記憶させる。
【００３０】
カメラ信号処理部２０ｎａでは、第１フィルタ処理部２０３と第２フィルタ処理部２０５とで多段のフィルタ処理が行われる。第１フィルタ処理部２０３は、例えばノイズ除去部であり、現像後画像データを処理単位毎に読み出して帯域制限等を行い、画像データのノイズ成分を除去する。第２フィルタ処理部２０５は、例えばボケ補正部であり、ノイズ除去後の画像データを用いて、画像のディテールや輪郭部分等を強調するフィルタ処理を行い、画像のボケを補正する。ノイズ除去およびボケ補正が行われた画像データ（リサイズ前画像データ）は、揮発性メモリ３１に記憶される。
【００３１】
データ補充部２０４は、第１フィルタ処理部２０３でフィルタ処理が行われた画像データであって、その後、第２フィルタ処理部２０５で処理単位毎にフィルタ処理を行うときに用いられる画像データを補充データとして、揮発性メモリ３１に記憶させる。また、データ補充部２０４は、第２フィルタ処理部２０５で処理単位毎にフィルタ処理を行う際に必要とされる画素データを、補充データとして揮発性メモリ３１から読み出して第２フィルタ処理部２０５に出力する。また、データ補充部２０４は、第２フィルタ処理部２０５の出力が例えば処理単位のデータ数となるように、画素データを保持して補充データとする。
【００３２】
リサイズ処理部３２は、揮発性メモリ３１に記憶されているリサイズ前画像データを読み出して、所望の解像度（画素数）の画像に変換する処理等を行う。リサイズ処理部３２は、リサイズ後の画像データ（圧縮前画像データ）を揮発性メモリ３１に記憶させる。符号化／復号部３３は、圧縮前画像データの符号化処理を行い、得られた符号化データを揮発性メモリ３１に記憶させる。
【００３３】
＜３．データ補充部の構成と動作＞
図３は、データ補充部の構成を示している。データ補充部２０４は、入力制御部２０４ａと出力制御部２０４ｂを備えている。入力制御部２０４ａは、第１フィルタ処理部２０３から供給されたデータを出力制御部２０４ｂと第２フィルタ処理部２０５に出力する。また、入力制御部２０４ａは、第２フィルタ処理部２０５で処理単位毎にフィルタ処理を行うときに必要となる補充データを揮発性メモリ３１から読み出して、第２フィルタ処理部に出力する。出力制御部２０４ｂは、第２フィルタ処理部２０５で次の処理単位のフィルタ処理を行うときに必要となる画素データを抽出して補充データとして、揮発性メモリ３１に記憶させる。
【００３４】
図４は、データ補充部における入力制御部の動作を示すフローチャートである。ステップＳＴ１１で入力制御部２０４ａは、次のラインの入力データがあるか判別する。入力制御部２０４ａは、次のラインの入力データがある場合にステップＳＴ１２に進み、次のラインの入力データがない場合に１処理単位の動作を終了する。
【００３５】
ステップＳＴ１２で入力制御部２０４ａは、補充データがあるか判別する。入力制御部２０４ａは、フィルタ処理する処理単位の領域に対して補充データが揮発性メモリ３１に記憶されている場合にステップＳＴ１３に進み、記憶されていない場合にステップＳＴ１５に進む。
【００３６】
ステップＳＴ１３で入力制御部２０４ａは、１ライン分の補充データの読み出しが終了したか判別する。入力制御部２０４ａは、１ライン分の補充データの読み出しが終了していない場合にはステップＳＴ１４に進み、終了している場合にはステップＳＴ１５に進む。
【００３７】
ステップＳＴ１４で入力制御部２０４ａは、補充データの読み出しを行ってステップＳＴ１３に戻る。
【００３８】
ステップＳＴ１５で入力制御部２０４ａは、１ライン分の入力データの読み出しが終了したか判別する。入力制御部２０４ａは、１ライン分の入力データの読み出しが終了していない場合にはステップＳＴ１６に進み、１ライン分の入力データの読み出しが終了した場合にはステップＳＴ１１に戻る。
【００３９】
ステップＳＴ１６で入力制御部２０４ａは、入力データの読み出しを行ってステップＳＴ１５に戻る。
【００４０】
図５は、データ補充部における出力制御部の動作を示すフローチャートである。ステップＳＴ２１で出力制御部２０４ｂは、補充データを含む入力データがあるか判別する。出力制御部２０４ｂは、第２フィルタ処理部でフィルタ処理を行う際に必要とされる画素データいわゆる糊代領域の画素データを含む入力データがある場合にステップＳＴ２２に進み、補充データを含む入力データがない場合に処理を終了する。
【００４１】
ステップＳＴ２２で出力制御部２０４ｂは、保持すべきデータ位置か判別する。出力制御部２０４ｂは、入力データが糊代領域の位置のデータである場合にステップＳＴ２３に進み、糊代領域でない位置のデータである場合にステップＳＴ２１に戻る。
【００４２】
ステップＳＴ２３で出力制御部２０４ｂは、データの保持を行う。出力制御部２０４ｂは、糊代領域の位置の入力データを補充データとして揮発性メモリ３１に保持させてステップＳＴ２１に戻る。
【００４３】
このような処理を入力制御部２０４ａと出力制御部２０４ｂで行うと、処理単位の入力データに糊代領域の補充データがライン毎に加えられて、第２フィルタ処理部に出力される。また、入力データにおいて、次の処理単位で糊代領域の位置となる画素データが補充データとして揮発性メモリ３１に記憶される。
【００４４】
＜４．第１の構成の動作＞
図６は、５×５画素の領域の画素データを用いたフィルタ処理を説明するための図である。図６の（Ａ）に示すように、５×５画素の領域を画素単位で順次移動して、各領域の位置毎に画素データを読み出してフィルタ演算を行うと、繰り返して画素データの読み出しを行う画素が多い。例えば点線で示す領域の次に実線で示す領域の画素データを読み出してフィルタ演算を行う場合、重複する領域の画素データの読み出しが繰り返される。このため、読み出した画素データを保持しておき、保持された画素データを再利用すれば、画素データの読み出しを行う画素を少なくできる。図６の（Ｂ）は、５×５画素の領域を画素単位で右方向に順次移動する場合を示しており、２４画素分の画素データは例えば内部メモリに記憶されていることから右下隅の１画素分の画素データを読み出すだけで、フィルタ処理を行うことができる。
【００４５】
ところで、読み出した画素データを保持しておく場合、処理画像の横幅や縦幅が大きいと、保持しておかなければならない画素データが増加して、容量の大きい内部メモリ等が必要となる。図７は、画素データを保持する画素位置を示している。例えば、５×５画素の領域を横方向に移動させる場合、図７の（Ａ）に示す画素位置の画素データを保持しておき、太線で示す２４画素の画素データがフィルタ演算で再利用される。また、例えば、５×５画素の領域を縦方向に移動させる場合には、図７の（Ｂ）に示す画素位置の画素データを保持しておき、太線で示す２４画素の画素データがフィルタ演算で再利用される。なお、５×５画素の領域が１画素分移動される場合、フィルタ演算に用いた５×５画素の領域において、左上隅の画素データを削除して、読み出した右下隅の画素データを新たに保持する。
【００４６】
このように、読み出した画素データを保持しておく場合、画像全体の横幅や縦幅が大きいと容量の大きい内部メモリ等が必要となる。したがって、図８に示すように、領域の移動方向に応じて処理対象画像を複数の処理単位に分割して、処理単位毎に処理を行う。例えば、領域を横方向に移動させる場合、処理対象画像を図８の（Ａ）に示すように処理単位の横幅が短くなるように分割する。また、領域を縦方向に移動させる場合、処理対象画像を図８の（Ｂ）に示すように処理単位の縦幅が短くなるように分割する。さらに、フィルタ演算では、タップ数分の画素データが必要となる。したがって、処理単位間で連続したフィルタ処理を行うことができるように、画像の分割ではタップ数に比例した重複部分（糊代領域）を設けて分割が行われる。
【００４７】
以下、処理単位が縦長の領域の場合についてフィルタ処理を行う場合について説明する。また、縦長の領域では、縦方向のサイズを画像全体の縦方向の画素数とする。また、画像サイズは説明を簡単とするため、例えば図９に示すように２０画素×７画素とする。また、第１フィルタ処理部２０３と第２フィルタ処理部２０５のタップ数を例えば５タップとして、処理単位をＢＬ１〜ＢＬ４とする。
【００４８】
図１０は最初の処理単位ＢＬ１の処理動作を示している。第１フィルタ処理部２０３に対して例えば最初のラインの画素データすなわち画素位置「１」〜「６」の画素データを入力する。この場合、第１フィルタ処理部２０３は、５タップでフィルタ処理を行い、画素位置「１」〜「４」の第１フィルタ処理後の画素データを出力する。なお、画素位置「１」は、画像端の位置であることから、第１フィルタ処理部２０３は画素リピートを行い、不足する画素データ分だけ画像端の画素データを繰り返してフィルタ演算を行う。
【００４９】
データ補充部２０４は、図４に示す入力制御動作と図５に示す出力制御動作を行う。ここで、最初の処理単位ＢＬ１では、揮発性メモリ３１に補充データが記憶されていない。したがって、データ補充部２０４は、最初のラインの画素位置「１」〜「４」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００５０】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１」〜「４」の第１フィルタ処理後の画素データを用いて第２フィルタ処理を行い、画素位置「１」「２」の第１および第２フィルタ処理が行われた画素データを出力する。
【００５１】
ここで、次の処理単位ＢＬ２で、第２フィルタ処理部２０５から画素位置「３」以降の第１，２のフィルタ処理後の画素データを出力するためには、第２フィルタ処理部２０５に対して、画素位置「１」以降の第１フィルタ処理後の画素データを入力する必要がある。また、画素位置「１」からの第１フィルタ処理後の画素データは、最初の処理単位ＢＬ１に対する第１フィルタ処理部２０３のフィルタ処理で生成されている。したがって、データ補充部２０４は、画素位置「１」〜「４」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶させる。
【００５２】
第１フィルタ処理部２０３とデータ補充部２０４と第２フィルタ処理部２０５は、最初の処理単位ＢＬ１の１ライン目の処理が終了すると２ライン目の処理を行う。第１フィルタ処理部２０３は、２ライン目の画素位置「１０１」〜「１０６」の画素データを用いてフィルタ処理を行い、画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを出力する。なお、画素位置「１０１」は、画像端の位置であることから、第１フィルタ処理部２０３は画素リピートを行い、不足する画素データ分だけ画像端の画素データを繰り返してフィルタ演算を行う。
【００５３】
データ補充部２０４は、最初の処理単位ＢＬ１では、揮発性メモリ３１に補充データが記憶されていないので、２ライン目の画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００５４】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを用いてフィルタ処理を行い、画素位置「１０１」「１０２」の第１および第２フィルタ処理が行われた画素データを出力する。
【００５５】
次の処理単位ＢＬ２で第２フィルタ処理部２０５から画素位置「１０３」以降の第１，２のフィルタ処理後の画素データを出力するためには、第２フィルタ処理部２０５に対して、画素位置「１０１」からの第１フィルタ処理後の画素データを入力する必要がある。また、画素位置「１０１」からの第１フィルタ処理後の画素データは、最初の処理単位ＢＬ１に対する第１フィルタ処理部２０３のフィルタ処理で生成されている。したがって、データ補充部２０４は、画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶させる。
【００５６】
以下、処理単位ＢＬ１の各ラインについて同様な処理を行い、第２フィルタ処理部２０５は、画素位置「２０１」「２０２」・・・「６０１」「６０２」の第１および第２フィルタ処理が行われた画素データを出力する。また、データ補充部２０４は、画素位置「２０１」〜「２０４」・・・「６０１」〜「６０４」の第１フィルタ処理が行われた画素データを揮発性メモリ３１に記憶する。
【００５７】
図１１は２番目の処理単位ＢＬ２の処理動作を示している。第１フィルタ処理部２０３に対して例えば最初のラインである画素位置「３」〜「１２」の画素データを入力すると、第１フィルタ処理部２０３は、５タップでフィルタ処理を行い、画素位置「５」〜「１０」の第１フィルタ処理後の画素データを出力する。
【００５８】
データ補充部２０４は、最初の処理単位ＢＬ１の処理を行うことにより、最初のラインの画素位置「１」〜「４」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶している。したがって、データ補充部２０４は、揮発性メモリ３１から画素位置「１」〜「４」の第１フィルタ処理後の画素データを、補充データとして読み出して第２フィルタ処理部２０５に出力する。その後、データ補充部２０４は、画素位置「５」〜「１０」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。なお、図１１では、補充データの画素位置を白抜き文字で示している。
【００５９】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１」〜「１０」の第１フィルタ処理後の画素データを用いて第２フィルタ処理を行い、画素位置「３」〜「８」の第１および第２フィルタ処理が行われた画素データを出力する。ここで、補充データは４画素、処理単位のデータは６画素であり、合計１０画素の画素データを用いて５タップでフィルタ処理を行うことから、第２フィルタ処理部２０５の出力は処理単位のデータ数となる。
【００６０】
このように、データ補充部２０４は、第１フィルタ処理部２０３から出力された画素データを第２フィルタ処理部２０５に供給する前に、最初の処理単位ＢＬ１で生成された第１フィルタ処理後の画素データを揮発性メモリ３１から読み出して補充する。したがって第２フィルタ処理部２０５は、最初の処理単位ＢＬ１の出力に対して連続した画素位置の第１および第２フィルタ処理後の画素データを出力することができる。
【００６１】
また、次の処理単位ＢＬ３で第２フィルタ処理部２０５から画素位置「９」以降の第１，２のフィルタ処理後の画素データを出力するためには、第２フィルタ処理部２０５に対して、画素位置「７」からの第１フィルタ処理後の画素データを入力する必要がある。また、画素位置「７」からの第１フィルタ処理後の画素データは、２番目の処理単位ＢＬ２に対する第１フィルタ処理部２０３のフィルタ処理で生成されている。したがって、データ補充部２０４は、画素位置「７」〜「１０」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶させる。
【００６２】
第１フィルタ処理部２０３とデータ補充部２０４と第２フィルタ処理部２０５は、２番目の処理単位ＢＬ２の１ライン目の処理が終了すると２ライン目の処理を行う。第１フィルタ処理部２０３は、２ライン目の画素位置「１０３」〜「１１２」の画素データを用いてフィルタ処理を行い、画素位置「１０５」〜「１１０」の第１フィルタ処理後の画素データを出力する。
【００６３】
データ補充部２０４は、揮発性メモリ３１に記憶されている２ライン目の画素位置「１０１」〜「１０４」の第１フィルタ処理後の画素データを読み出して、補充データとして第２フィルタ処理部２０５に出力する。その後、データ補充部２０４は、第１フィルタ処理部２０３から供給された画素位置「１０５」〜「１１０」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００６４】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１０１」〜「１１０」の第１フィルタ処理後の画素データを用いてフィルタ処理を行い、画素位置「１０３」〜「１０８」の第１および第２フィルタ処理が行われた画素データを出力する。
【００６５】
次の処理単位ＢＬ３で第２フィルタ処理部２０５から画素位置「１０９」以降の第１，２のフィルタ処理後の画素データを出力するためには、第２フィルタ処理部２０５に対して、画素位置「１０７」からの第１フィルタ処理後の画素データを入力する必要がある。また、画素位置「１０７」からの第１フィルタ処理後の画素データは、２番目の処理単位ＢＬ２に対する第１フィルタ処理部２０３のフィルタ処理で生成されている。したがって、データ補充部２０４は、画素位置「１０７」〜「１１０」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶させる。
【００６６】
以下、処理単位ＢＬ２の各ラインについて同様な処理を行い、第２フィルタ処理部２０５は、画素位置「２０３」〜「２０８」・・・「６０３」〜「６０８」の第１および第２フィルタ処理が行われた画素データを出力する。また、データ補充部２０４は、画素位置「２０７」〜「２１０」・・・「６０７」〜「６１０」の第１フィルタ処理が行われた画素データを揮発性メモリ３１に記憶させる。
【００６７】
図１２は３番目の処理単位ＢＬ３の処理動作を示している。３番目の処理単位ＢＬ３についても２番目の処理単位ＢＬ２と同様に処理を行う。３番目の処理単位ＢＬ３についてフィルタ処理を行った場合、揮発性メモリ３１に記憶されている画素位置「７」〜「１０」「１０７」〜「１１０」・・・「６０７」〜「６１０」の第１フィルタ処理後の画素データが、補充データとして読み出されて第２フィルタ処理部２０５に供給される。また、第２フィルタ処理部２０５には、第１フィルタ処理部２０３からの画素位置「１１」〜「１６」「１１１」〜「１１６」・・・「６１１」〜「６１６」の第１フィルタ処理後の画素データが供給される。したがって、第２フィルタ処理部２０５から画素位置「９」〜「１４」「１０９」〜「１１４」・・・「６０９」〜「６１４」の第１および第２フィルタ処理後の画素データが出力される。
【００６８】
また、データ補充部２０４によって、画素位置「１３」〜「１６」「１１３」〜「１１６」・・・「６１３」〜「６１６」の第１フィルタ処理後の画素データが揮発性メモリ３１に記憶される。なお、図１２では、補充データの画素位置を白抜き文字で示している。
【００６９】
図１３は最後の処理単位ＢＬ４の処理動作を示している。第１フィルタ処理部２０３に対して最初のラインの画素位置「１５」〜「２０」の画素データを入力すると、第１フィルタ処理部２０３は、５タップでフィルタ処理を行い、画素位置「１７」〜「２０」の第１フィルタ処理後の画素データを出力する。なお、画素位置「２０」は、画像端の位置であることから、第１フィルタ処理部２０３は画素リピートを行う。なお、図１３では、補充データの画素位置を白抜き文字で示している。
【００７０】
データ補充部２０４は、３番目の処理単位ＢＬ３の処理を行うことにより、最初のラインの画素位置「１３」〜「１６」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶している。したがって、データ補充部２０４は、揮発性メモリ３１から画素位置「１３」〜「１６」の第１フィルタ処理後の画素データを読み出して、補充データとして第２フィルタ処理部２０５に出力する。その後、データ補充部２０４は、画素位置「１７」〜「２０」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００７１】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１３」〜「２０」の第１フィルタ処理後の画素データを用いて第２フィルタ処理を行い、画素位置「１５」〜「２０」の第１および第２フィルタ処理が行われた画素データを出力する。なお画像端では画素リピートを行う。
【００７２】
第１フィルタ処理部２０３とデータ補充部２０４と第２フィルタ処理部２０５は、最後の処理単位ＢＬ４の１ライン目の処理が終了すると２ライン目の処理を行う。第１フィルタ処理部２０３は、２ライン目の画素位置「１１５」〜「１２０」の画素データを用いてフィルタ処理を行い、画素位置「１１７」〜「１２０」の第１フィルタ処理後の画素データを出力する。なお、画素位置「１２０」は、画像端の位置であることから、第１フィルタ処理部２０３は画素リピートを行う。
【００７３】
データ補充部２０４は、３番目の処理単位ＢＬ３の処理を行うことにより、２番目のラインの画素位置「１１３」〜「１１６」の第１フィルタ処理後の画素データを揮発性メモリ３１に記憶している。したがって、データ補充部２０４は、揮発性メモリ３１から画素位置「１１３」〜「１１６」の第１フィルタ処理後の画素データを読み出して、補充データとして第２フィルタ処理部２０５に出力する。その後、データ補充部２０４は、画素位置「１１７」〜「１２０」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００７４】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１１３」〜「１２０」の第１フィルタ処理後の画素データを用いてフィルタ処理を行い、画素位置「１１５」〜「１２０」の第１および第２フィルタ処理が行われた画素データを出力する。
【００７５】
以下、処理単位ＢＬ４の各ラインについて同様な処理を行い、第２フィルタ処理部２０５は、画素位置「２１５」〜「２２０」・・・「６１５」〜「６２０」の第１および第２フィルタ処理が行われた画素データを出力する。
【００７６】
このように、画素データを保持して、次の処理単位の補充データとして再利用することで、効率よく情報処理を行うことができる。また、補充データのデータ数を調整することで、第２フィルタ処理部２０５の出力を、処理単位のデータ数とすることができる。
【００７７】
図１４は最後の処理単位ＢＬ４の第１フィルタ処理結果が保持されている場合の処理動作を示している。揮発性メモリ３１に処理単位ＢＬ４の各ラインの第１フィルタ処理後の画素データが記憶されている場合、データ補充部２０４は、保持している画素データを第２フィルタ処理部２０５に出力する。例えば、最後の処理単位ＢＬ４が画素位置「１３」〜「１６」「１１３」〜「１１６」・・・「６１３」〜「６１６」の領域である場合、３番目の処理単位ＢＬ３の処理を行うことにより、処理単位ＢＬ４の第１フィルタ処理結果が揮発性メモリ３１に記憶している。
【００７８】
したがって、データ補充部２０４は、揮発性メモリ３１から画素位置「１３」〜「１６」の第１フィルタ処理後の画素データを読み出して第２フィルタ処理部２０５に出力する。
【００７９】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１３」〜「１６」の第１フィルタ処理後の画素データを用いて第２フィルタ処理を行い、画素位置「１５」〜「１６」の第１および第２フィルタ処理が行われた画素データを出力する。
【００８０】
データ補充部２０４と第２フィルタ処理部２０５は、最後の処理単位ＢＬ４の１ライン目の処理が終了すると２ライン目の処理を行う。データ補充部２０４は、揮発性メモリ３１から画素位置「１１３」〜「１１６」の第１フィルタ処理後の画素データを読み出して第２フィルタ処理部２０５に出力する。
【００８１】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画素位置「１１３」〜「１１６」の第１フィルタ処理後の画素データを用いてフィルタ処理を行い、画素位置「１１５」「１１６」の第１および第２フィルタ処理が行われた画素データを出力する。
【００８２】
以下、処理単位ＢＬ４の各ラインについて同様な処理を行い、第２フィルタ処理部２０５は、画素位置「２１５」「２２６」・・・「６１５」「６２６」の第１および第２フィルタ処理が行われた画素データを出力する。
【００８３】
ここで、本技術の優位性を明確とするため、従来の動作を簡単に説明する。図１５は、従来のカメラ信号処理部２０ｐａの構成を例示しており、第１フィルタ処理部２０３は、フィルタ処理後の画像データを第２フィルタ処理部２０５に供給する。第２フィルタ処理部２０５は第１フィルタ処理部２０３から供給された画像データのフィルタ処理を行って出力する。
【００８４】
図１６は、従来の処理動作を示している。第１フィルタ処理部２０３は、例えば点線で示す処理単位ＢＭ１の最初のラインの画素位置「１」〜「１０」の画素データを用いてフィルタ処理を行い、画素位置「３」〜「８」の第１フィルタ処理後の画素データを第２フィルタ処理部２０５に出力する。
【００８５】
第２フィルタ処理部２０５は、第１フィルタ処理部２０３から供給された画素位置「３」〜「８」の画素データを用いて第２フィルタ処理を行い、画素位置「５」〜「６」の第１および第２フィルタ処理が行われた画素データを出力する。
【００８６】
以下同様に処理を行い、第１フィルタ処理部２０３は、処理単位ＢＭ１の各ラインの画素位置「１０１」〜「１１０」・・・「６０１」〜「６１０」の画素データを用いて第１フィルタ処理を行い、画素位置「１０３」〜「１０８」・・・「６０３」〜「６０８」の第１フィルタ処理後の画素データを生成する。また、第２フィルタ処理部２０５は、第１フィルタ処理部２０３から供給された画素位置「１０３」〜「１０８」・・・「６０３」〜「６０８」の画素データを用いてフィルタ処理を行い、画素位置「１０５」「１０６」・・・「６０５」「６０６」の第１，２フィルタ処理後の画素データを生成する。
【００８７】
処理単位ＢＭ１の処理が終了すると一点鎖線で示す処理単位ＢＭ２の処理を同様に行う。第１フィルタ処理部２０３は、処理単位ＢＭ２の最初のラインの画素位置「３」〜「１２」の画素データを用いて第１フィルタ処理を行い、画素位置「５」〜「１０」の第１フィルタ処理が行われた画素データを生成して第２フィルタ処理部２０５に出力する。
【００８８】
第２フィルタ処理部２０５は、第１フィルタ処理部２０３から供給された画素位置「５」〜「１０」の画素データを用いて第２フィルタ処理を行い、画素位置「７」〜「８」の第１および第２フィルタ処理が行われた画素データを出力する。以下同様に各ラインについて処理を行うと、第２フィルタ処理部２０５からは、画素位置「７」「８」「１０７」「１０８」・・・「６０７」「６０８」の第１および第２フィルタ処理が行われた画素データが出力される。なた、処理単位を順次右方向に移動させて同様な処理を行うことで、第２フィルタ処理部２０５から第１および第２フィルタ処理が行われた画素データが出力される。
【００８９】
表１は、本技術と従来の情報処理の処理効率を示している。例えば画素データの読み込みや書き出しを行った画素数に対して、第２フィルタ処理部２０５から出力される第１および第２フィルタ処理後の画素数の割合を処理効率とする。この場合、従来の処理では、第１フィルタ処理部２０３に１０画素分の画素データを入力して第２フィルタ処理部２０５から２画素分の画素データが出力されることから、処理効率は「２／１０＝２０％」となる。また、本技術において例えば処理単位ＢＬ２については、第１フィルタ処理部２０３に１０画素分の画素データを入力して第２フィルタ処理部２０５から６画素分の画素データが出力される。また、４画素分の画素データが揮発性メモリ３１に書き込まれて、揮発性メモリ３１に既に記憶されている４画素分の画素データの読み出しが行われる。したがって、処理効率は「６／（１０＋４＋４）＝３３．３％」となる。すなわち、本技術によれば処理効率を高めることができる。
【００９０】
【表１】
【００９１】
さらに、データ補充部２０４にメモリを設けて補充データを保持しておくようにすれば、表２に示すように、外部メモリに画素データを書き出したり、外部メモリから画素データを読み出す必要がない。したがって、処理効率を「６／１０＝６０％」とすることができる。
【００９２】
【表２】
【００９３】
このように、本技術によれば、次の処理単位での処理で必要とされる画素データを補充データとして保持して、この補充データを次の処理単位で用いてフィルタ処理が行われるので、第２フィルタ処理部２０５から出力されるフィルタ処理結果を増加させることができる。
【００９４】
また、本技術によれば、従来の方法に比べて高速に情報処理結果を得ることができる。図１７は、画素データの入力と情報処理後の画素データの出力タイミングを示している。なお、図１７の（Ａ）はデータ補充部２０４を設けた本技術のタイミング、図１７の（Ｂ）は、データ補充部２０４を設けていない従来のタイミングを示している。
【００９５】
図１７の（Ａ）に示すように、処理単位ＢＬ２の例えば最初のラインの画素データが第１フィルタ処理部２０３に入力される場合、第１フィルタ処理部２０３からフィルタ処理後の画素データが出力されるまでの期間を利用して、揮発性メモリ３１から補充データが読み出されて第２フィルタ処理部２０５に出力される。したがって、第１フィルタ処理部２０３からフィルタ処理後の画素データがタップ数だけ出力される前に、第２フィルタ処理部２０５から、第１および第２フィルタ処理が行われた画素データを出力することができる。これに対して、データ補充部２０４を設けていない場合は、図１７の（Ｂ）に示すように、第１フィルタ処理部２０３からフィルタ処理後の画素データがタップ数だけ出力されていないと、第２フィルタ処理部２０５から、第１，２フィルタ処理後の画素データが出力されない。すなわち、本技術によれば、従来に比べて第１および第２フィルタ処理が行われた画素データを、早いタイミングでより多く出力することができるので、処理時間の短縮や消費電力の削減を図ることができる。
【００９６】
また、補充データは、第１フィルタ処理部２０３からフィルタ処理後の画素データが出力されていない期間を利用して挿入されるため、保持用のメモリはレジスタなど高速のメモリである必要がない。また、データ補充部２０４はフィルタ処理部と別個に設けられていることから、フィルタ処理部が変更されてもデータ補充部２０４を使いまわすことが可能であり、フィルタ処理部の内部構成を変更する必要もない。
【００９７】
さらに、図１７の（Ａ）からも明らかなように、補充データは、次の処理単位のフィルタ処理に用いられたのち、新たな補充データに更新される。すなわち、読み出される補充データのメモリ領域と新たに補充データとして書き込む画素データのメモリ領域を個々に設ける必要がないことから、再利用する画素データすなわち補充データを一時保持するために多くのメモリ領域を設ける必要がない。
【００９８】
図１８は処理単位をずらす向きと補充データを入力する領域および補充データとして出力する領域の関係を示している。図１８の（Ａ）は処理単位を矢印で示す右方向に移動させる場合を例示している。処理単位を右方向に移動させる場合、処理単位の右端から所定画素分の領域（黒色領域）の画素データを補充データとして保持して、次の処理単位では保持している補充データを処理単位の左端側に連結させる。図１８の（Ｂ）は処理単位を矢印で示す左方向に移動させる場合を例示している。処理単位を左方向に移動させる場合、処理単位の左端から所定画素分の領域の画素データを補充データとして保持して、次の処理単位では保持している補充データを処理単位の右端側に連結させる。図１８の（Ｃ）は処理単位を矢印で示す下方向に移動させる場合を例示している。処理単位を下方向に移動させる場合、処理単位の下端から所定画素分の領域の画素データを補充データとして保持して、次の処理単位では保持している補充データを処理単位の上端側に連結させる。図１８の（Ｄ）は処理単位を矢印で示す上方向に移動させる場合を例示している。処理単位を上方向に移動させる場合、処理単位の上端から所定画素分の領域の画素データを補充データとして保持して、次の処理単位では保持している補充データを処理単位の下端側に連結させる。このように、処理単位の移動方向に応じて補充データを設定すれば、処理単位の移動方向に係らず、上述のように早いタイミングでより多くのフィルタ出力結果を得ることができる。
【００９９】
＜５．カメラ信号処理部の第２の構成＞
図１９は、カメラ信号処理部の第２の構成を示している。カメラ信号処理部２０ｎｂは、前処理部２０１、現像部２０２、データ補充部２０６、フィルタ処理部２０７を有している。
【０１００】
前処理部２０１は、撮像部１２から供給された撮像信号のアナログ増幅処理やＡ／Ｄ変換処理等の前処理を行い、前処理が行われた画像データ（現像前画像データ）を揮発性メモリ３１に記憶させる。現像部２０２は、現像前画像データを読み出して、デモザイク処理や明るさ補正や色補正およびホワイトバランス調整等の補正処理を現像処理として行い、現像後画像データを揮発性メモリ３１に記憶させる。
【０１０１】
データ補充部２０６は、データ補充部２０４と同様に構成されており、揮発性メモリ３１から読み出された現像後画像データをフィルタ処理部２０７に出力する。また、読み出された画像データの一部を補充データとして揮発性メモリ３１に記憶させる。また、データ補充部２０６は、次の処理単位のフィルタ処理を行う場合、揮発性メモリ３１に記憶した補充データをフィルタ処理部２０７に出力したのち、処理単位の現像後画像データをフィルタ処理部２０７に出力する。
【０１０２】
フィルタ処理部２０７は、例えばノイズ除去部であり、データ補充部２０６から供給された画像データの帯域制限等を行い、画像データのノイズ成分を除去して、ノイズ除去が行われた画像データ（リサイズ前画像データ）を揮発性メモリ３１に記憶させる。
【０１０３】
リサイズ処理部３２は、揮発性メモリ３１に記憶されているリサイズ前画像データを読み出して、所望の解像度（画素数）の画像に変換する処理等を行う。リサイズ処理部３２は、リサイズ後の画像データ（圧縮前画像データ）を揮発性メモリ３１に記憶させる。符号化／復号部３３は、圧縮前画像データの符号化処理を行い、得られた符号化データを揮発性メモリ３１に記憶させる。
【０１０４】
＜６．第２の構成の動作＞
カメラ信号処理部２０ｎｂは、符号化処理やメモリアクセス等に基づく処理単位で、揮発性メモリ３１から現像後画像データを読み出してフィルタ処理を行う場合、読み出し回数を削減できるように処理単位の位置を調整する。具体的には、処理する画像データを、次にフィルタ処理が行われる処理単位のフィルタ処理結果を得るために必要とされる画素データ分だけ、処理単位の移動方向と逆方向に移動させる。また、最初の処理単位では、次の処理単位分のフィルタ処理結果を得るために必要とされる画素データの前に無効データを設けて処理単位のデータとする。また、次の処理単位分のフィルタ処理結果を得るために必要とされる画素データを補充データとして用いる。さらに、補充データを用いてフィルタ処理が行われたとき、処理単位分のフィルタ処理結果が得られるように、処理する画像データを移動させる。
【０１０５】
図２０は、処理単位の位置と画像の関係を示している。処理単位で画像データの読み出しを行う場合、画像のない領域（斜線部で示す領域）には無効データを設定する。
【０１０６】
図２０の（Ａ）は、処理単位に対して現像後画像データを予めずらして記憶させた場合を示している。図２０の（Ｂ）は、処理単位で読み出された画像データを示している。横線の領域は、画素データが補充データとして用いられる画素位置を示している。図２０の（Ｃ）は、前回の処理単位で保持された補充データと、次の処理単位で読み出された画像データとを用いてフィルタ処理を行うことにより得られた画像データを示している。なお、図２０の場合には、８処理単位分の画素データの読み出しが行われている。
【０１０７】
以下、処理単位に対して画像の位置を調整して、補充データを用いた情報処理を行う場合の動作について説明する。なお、画像サイズは説明を簡単とするため、例えば図２１に示すように１２画素×７画素とする。また、処理単位は４画素幅、フィルタ処理部２０７のタップ数を３タップとする。
【０１０８】
図２２は、最初の処理単位ＢＲ１の処理動作を示している。データ補充部２０６、処理単位ＢＲ１の最初のラインについて無効データを除外して、画素位置「１」の画素データを揮発性メモリ３１に記憶する。同様に２ライン目以降についても、無効データを除外して、各画素位置「１０１」・・・「６０１」の画素データを揮発性メモリ３１に記憶させる。
【０１０９】
図２３は、２番目の処理単位ＢＲ２の処理動作を示している。データ補充部２０６は、最初のラインの補充データ、すなわち画素位置「１」の画素データをフィルタ処理部２０７に出力したのち、処理単位ＢＲ２の各画素位置「２」〜「５」の画素データをフィルタ処理部２０７に出力する。なお、図２３では、補充データの画素位置を白抜き文字で示している。また、図２４〜図２７も同様である。
【０１１０】
フィルタ処理部２０７は、画素位置「１」〜「５」の画素データを用いて３タップでフィルタ処理を行い、画素位置「１」〜「４」のフィルタ処理後の画素データを出力する。なお、画素位置「１」は画像端であるから画素リピートを行う。
【０１１１】
次の処理単位ＢＲ３でフィルタ処理部２０７から画素位置「５」以降のフィルタ処理が行われた画素データを出力するためには、フィルタ処理部２０７に対して、画素位置「４」からの画素データを入力する必要がある。また、画素位置「４」からの画素データは、２番目の処理単位ＢＲ２の処理で読み出されている。したがって、データ補充部２０６は、画素位置「４」「５」の画素データを揮発性メモリ３１に記憶させる。
【０１１２】
データ補充部２０６とフィルタ処理部２０７は、２番目の処理単位ＢＲ２の１ライン目の処理が終了すると２ライン目の処理を行う。
【０１１３】
データ補充部２０６は、揮発性メモリ３１に記憶されている２ライン目の画素位置「１０１」の画素データを補充データとしてフィルタ処理部２０７に出力する。その後、データ補充部２０６は、処理単位ＢＲ２の各画素位置「１０２」〜「１０５」の画素データをフィルタ処理部２０７に出力する。
【０１１４】
フィルタ処理部２０７は、画素位置「１０１」〜「１０５」の画素データを用いて３タップでフィルタ処理を行い、画素位置「１０１」〜「１０４」のフィルタ処理後の画素データを出力する。なお、画素位置「１０１」は画像端であるから画素リピートを行う。
【０１１５】
次の処理単位ＢＲ３でフィルタ処理部２０７から画素位置「１０５」以降のフィルタ処理が行われた画素データを出力するためには、フィルタ処理部２０７に対して、画素位置「１０４」からの画素データを入力する必要がある。また、画素位置「１０４」からの画素データは、２番目の処理単位ＢＲ２の処理で読み出されている。したがって、データ補充部２０６は、画素位置「１０４」「１０５」の画素データを揮発性メモリ３１に記憶させる。
【０１１６】
以下、処理単位ＢＬ２の各ラインについて同様な処理を行い、フィルタ処理部２０７は、画素位置「２０１」〜「２０４」・・・「６０１」〜「６０４」のフィルタ処理が行われた画素データを出力する。また、データ補充部２０４は、画素位置「２０４」「２０５」・・・「６０４」「６０５」の画素データを揮発性メモリ３１に記憶させる。
【０１１７】
図２４は、３番目の処理単位ＢＲ３の処理動作を示している。データ補充部２０６は、最初のラインの補充データ、すなわち画素位置「４」「５」の画素データをフィルタ処理部２０７に出力したのち、処理単位ＢＲ３の各画素位置「６」〜「９」の画素データをフィルタ処理部２０７に出力する。
【０１１８】
フィルタ処理部２０７は、画素位置「４」〜「９」の画素データを用いて３タップでフィルタ処理を行い、画素位置「５」〜「８」のフィルタ処理後の画素データを出力する。
【０１１９】
次の処理単位ＢＲ４でフィルタ処理部２０７から画素位置「９」以降のフィルタ処理が行われた画素データを出力するためには、フィルタ処理部２０７に対して、画素位置「８」からの画素データを入力する必要がある。また、画素位置「８」からの画素データは、３番目の処理単位ＢＲ３の処理で読み出されている。したがって、データ補充部２０６は、画素位置「８」「９」の画素データを揮発性メモリ３１に記憶させる。
【０１２０】
データ補充部２０６とフィルタ処理部２０７は、３番目の処理単位ＢＲ３の１ライン目の処理が終了すると２ライン目の処理を行う。
【０１２１】
データ補充部２０６は、揮発性メモリ３１に記憶されている２ライン目の画素位置「１０４」「１０５」の画素データを補充データとしてフィルタ処理部２０７に出力する。その後、データ補充部２０６は、処理単位ＢＲ３の各画素位置「１０６」〜「１０９」の画素データをフィルタ処理部２０７に出力する。
【０１２２】
フィルタ処理部２０７は、画素位置「１０４」〜「１０９」の画素データを用いて３タップでフィルタ処理を行い、画素位置「１０５」〜「１０８」のフィルタ処理後の画素データを出力する。すなわち、フィルタ処理部２０７は、２画素分の補充データと４画素分の読み出し画素データを用いて３タップでフィルタ処理を行うことから、処理単位と等しい４画素分のフィルタ結果を出力できる。
【０１２３】
次の処理単位ＢＲ４でフィルタ処理部２０７から画素位置「１０９」以降のフィルタ処理が行われた画素データを出力するためには、フィルタ処理部２０７に対して、画素位置「１０８」からの画素データを入力する必要がある。また、画素位置「１０８」からの画素データは、３番目の処理単位ＢＲ３の処理で読み出されている。したがって、データ補充部２０６は、画素位置「１０８」「１０９」の画素データを揮発性メモリ３１に記憶させる。
【０１２４】
以下、処理単位ＢＬ３の各ラインについて同様な処理を行い、フィルタ処理部２０７は、画素位置「２０５」〜「２０８」・・・「６０５」〜「６０８」のフィルタ処理が行われた画素データを出力する。また、データ補充部２０４は、画素位置「２０８」「２０９」・・・「６０８」「６０９」の画素データを揮発性メモリ３１に記憶させる。
【０１２５】
図２５は、最後の処理単位ＢＲ４の処理動作を示している。データ補充部２０６は、最初のラインの補充データ、すなわち画素位置「８」「９」の画素データをフィルタ処理部２０７に出力したのち、処理単位ＢＲ４の各画素位置「１０」〜「１２」の画素データをフィルタ処理部２０７に出力する。
【０１２６】
フィルタ処理部２０７は、画素位置「８」〜「１２」の画素データを用いて３タップでフィルタ処理を行い、画素位置「９」〜「１２」のフィルタ処理後の画素データを出力する。なお、画素位置「１２」は、画像端の位置であることから、フィルタ処理部２０７は画素リピートを行う。
【０１２７】
データ補充部２０６とフィルタ処理部２０７は、処理単位ＢＲ４の１ライン目の処理が終了すると２ライン目の処理を行う。
【０１２８】
データ補充部２０６は、揮発性メモリ３１に記憶されている２ライン目の画素位置「１０８」「１０９」の画素データを補充データとしてフィルタ処理部２０７に出力する。その後、データ補充部２０６は、処理単位ＢＲ３の各画素位置「１１０」〜「１１２」の画素データをフィルタ処理部２０７に出力する。
【０１２９】
フィルタ処理部２０７は、画素位置「１０８」〜「１１２」の画素データを用いて３タップでフィルタ処理を行い、画素位置「１０９」〜「１１２」のフィルタ処理後の画素データを出力する。
【０１３０】
以下、処理単位ＢＬ４の各ラインについて同様な処理を行い、フィルタ処理部２０７は、画素位置「２０９」〜「２１２」・・・「６０９」〜「６１２」のフィルタ処理が行われた画素データを出力する。
【０１３１】
このように、画素データの読み出しや、画素データの保持および補充データの供給を行えば、処理単位の読み出し回数を少なくしても、処理結果を得ることができる。また、保持する画素データのデータ数を調整することで、処理結果を処理単位で出力することができる。
【０１３２】
図２６，図２７は、処理単位を２倍である８画素幅とした場合を示している。この場合、最初の処理単位の処理では、図２６に示すように、フィルタ処理部２０７から画素位置「１」〜「４」・・・「６０１」〜「６０４」のフィルタ処理後の画素データが出力される。また、データ補充部２０６は、画素位置「４」「５」「１０４」「１０５」・・・「６０４」「６０５」の画素データを揮発性メモリ３１に記憶する。
【０１３３】
次に、２番目の処理単位の処理では、図２７に示すように、画素位置「４」「５」「１０４」「１０５」・・・「６０４」「６０５」の画素データと２番目の処理単位の画素データを用いてフィルタ処理が行われる。したがって、フィルタ処理部２０７から画素位置「５」〜「１２」・・・「６０５」〜「６１２」のフィルタ処理後の画素データが出力される。
【０１３４】
また、図２１に示すように、揮発性メモリ３１に対して画像を記憶する際に、記憶位置を移動させて、画像のない部分は無効データを設ける。このように画像を記憶すれば、揮発性メモリ３１から処理単位で画像データを読み出してデータ補充部２０６に供給するだけで、次の処理単位の情報処理で必要とされる補充データを、容易に保持させることができる。
【０１３５】
ここで、本技術の優位性を明確とするため、従来の動作を簡単に説明する。図２８は、従来のカメラ信号処理部２０ｐｂを例示しており、フィルタ処理部２０７は、揮発性メモリ３１から読み出された現像後画像データを順次用いてフィルタ処理を行って出力する。
【０１３６】
図２９は、従来の処理単位の位置と画像の関係を示している。処理単位は、図２９の（Ａ）に示すように、画像の開始位置と処理単位の開始位置が一致するように設定されている。図２９の（Ｂ）は、フィルタ処理部２０７からの出力を処理単位とするために読み出された画像データを示している。なお、クロスハッチング領域は、フィルタ処理に用いられない画素データの画素位置を示している。図２９の（Ｃ）は、フィルタ処理部２０７からの出力を示している。
【０１３７】
このように、フィルタ処理部２０７から最初の処理単位分の画像データを出力させるためには、タップ数に応じた余分のデータが必要されるので、２処理単位分の画像データを読み出す必要がある。また、フィルタ処理部２０７から２番目の処理単位分の画像データを出力させるためには、タップ数に応じた余分のデータが左右両側に必要されるので、３処理単位分の画像データを読み出す必要がある。以下同様に、フィルタ処理部２０７から読み出し単位分の画像データを出力させるためには、タップ数に応じた余分のデータを含む読み出し単位分の画像データを追加して読み出す必要がある。なお、図２０では、８処理単位分の画素データの読み出しが必要であるが、図２９では、１９処理単位分の画素データの読み出しが必要となる。
【０１３８】
図３０は、処理単位を４画素幅、フィルタ処理部２０７のタップ数を３タップとした場合の従来の処理動作を示している。例えば点線で示す２処理単位分の領域の画像データすなわち画素位置「１」〜「８」の画素データを読み出してフィルタ処理部２０７に供給することで、フィルタ処理部２０７から画素位置「１」〜「４」のフィルタ処理後の画素データを出力することができる。同様に、画素位置「１０１」〜「１０８」・・・「６０１」〜「６０８」の画素データをフィルタ処理部２０７に供給することで、フィルタ処理部２０７から画素位置「１０１」〜「１０４」・・・「６０１」〜「６０４」のフィルタ処理後の画素データを出力できる。
【０１３９】
次に、一点鎖線で示す３処理単位分の領域の画像データすなわち画素位置「１」〜「１２」の画素データを読み出してフィルタ処理部２０７に供給することで、フィルタ処理部２０７から画素位置「５」〜「８」のフィルタ処理後の画素データを出力できる。同様に、画素位置「１０１」〜「１１２」・・・「６０１」〜「６１２」の画素データを読み出してフィルタ処理部２０７に供給することで、フィルタ処理部２０７から画素位置「１０５」〜「１０８」・・・「６０５」〜「６０８」のフィルタ処理後の画素データを出力できる。
【０１４０】
表３は、本技術と従来のフィルタ処理の処理効率を示している。例えば画素データの読み込みや書き出しを行った画素数に対して、フィルタ処理部２０７から出力されるフィルタ処理後の画素数の割合を処理効率とする。ここで、２回目の処理単位のフィルタ処理結果を得る場合、従来のフィルタ処理では、フィルタ処理部２０７に１２画素分の画素データを入力して４画素分の画素データが出力されることから、処理効率は「４／１０＝３３．３％」となる。また、本技術では２画素分の補充データと処理単位の４画素分の画素データをフィルタ処理部２０７に供給することで４画素分の画素データが出力される。また、２画素分の画素データが補充データとして揮発性メモリ３１に書き込まれる。したがって、処理効率は「４／（４＋２＋２）＝５０％」となる。すなわち、本技術によれば処理効率を高めることができる。
【０１４１】
【表３】
【０１４２】
さらに、データ補充部２０４に内部メモリを設けて補充データを保持させるようにすれば、外部メモリに補充データを書き出したり、外部メモリから補充データを読み出す必要がない。したがって、表４に示すように、処理効率を「４／４＝１００％」とすることができる。
【０１４３】
【表４】
【０１４４】
このように、本技術の第２の構成によれば、処理単位の画像データの読み出し回数を削減できる。したがって、メモリ帯域の削減、処理時間の短縮、消費電力の削減を図ることができる。さらに、１つのフィルタ処理部で処理を行う場合は、図２６や図２７を用いて説明したように、入力と出力の両方をメモリ等における処理単位の倍数にすることが可能であることから、メモリ帯域や処理時間を更に削減できる。
【０１４５】
また、本技術によれば、従来の方法に比べて高速にフィルタ処理結果を得ることができる。
【０１４６】
図３１は、画素データの入力とフィルタ処理後の画素データの出力タイミングを示している。なお、図３１の（Ａ）はデータ補充部２０６を設けた本技術のタイミング、図３１の（Ｂ）は、データ補充部２０６を設けていない従来のタイミングを示している。また、図３１では３回目の処理単位のフィルタ出力結果を得る場合を示している。
【０１４７】
図３１の（Ａ）に示すように、例えば画素位置「６」〜「９」の処理単位の画素データの読み出しが行われる前に、データ補充部２０６によって、揮発性メモリ３１から画素位置「４」「５」の画素データが補充データとしてフィルタ処理部２０７に供給される。したがって、３回目の処理単位の画素データがフィルタ処理部２０７に供給されてタップ数となる前に、フィルタ処理部２０７からフィルタ処理が行われた画素データを出力することができる。これに対して、データ補充部２０６を設けていない従来の構成では、図３１の（Ｂ）に示すように、画素位置「１」〜「４」の処理単位の画素データが読み出されたのち、画素位置「５」〜「８」の処理単位の画素データの読み出しが行われる。したがって、画素位置「４」〜「６」の画素データがフィルタ処理部２０７に入力されないと、画素位置「５」のフィルタ結果を出力することができない。すなわち、本技術によれば、従来に比べてフィルタ処理が行われた画素データを、早いタイミングで出力することができる。
【０１４８】
また、図３１の（Ａ）からも明らかなように、補充データは、次の処理単位のフィルタ処理に用いられたのち、新たな補充データに更新される。すなわち、読み出される補充データのメモリ領域と新たに補充データとして書き込む画素データのメモリ領域を個々に設ける必要がないことから、再利用する画素データすなわち補充データを一時保持するために多くのメモリ領域を設ける必要がない。
【０１４９】
図３２は、データ補充部２０６の前段に縦方向のみのフィルタ処理を行うフィルタ処理部２０９を設けた場合の処理動作を示している。画素データの補充は横方向に対して行われるため横に余分な画素データが必要なければ、縦方向のフィルタ処理部２０９とデータ補充部２０６の入力の横幅は一致する。したがって、縦方向のみのフィルタ処理を行うフィルタ処理部２０９を設けても、上述のように縦方向のみのフィルタ処理を行うフィルタ処理部を設けていない場合と同様に処理することができる。
【０１５０】
＜７．第１の構成の動作と第２の構成の動作を組み合わせた動作＞
上述の第１の構成の動作と第２の構成の動作は、組み合わせて行うこともできる。図３３は、第１の構成の動作と第２の構成の動作を組み合わせた場合を示している。
【０１５１】
データ補充部２０６は、処理単位で読み出した画像データをフィルタ処理部２０７（第１フィルタ処理部２０３に相当）に供給する。また、データ補充部２０６は、処理単位で読み出した画像データをフィルタ処理部２０７に供給する前に、補充データをフィルタ処理部２０７に供給する。また、データ補充部２０６は、読み出した画像データの一部を補充データとして保持させる。
【０１５２】
フィルタ処理部２０７は、データ補充部２０６から供給された画像データのフィルタ処理を行い、フィルタ処理後の画像データをデータ補充部２０４に出力する。
【０１５３】
データ補充部２０４は、保持している補充データを第２フィルタ処理部２０５に供給したのち、フィルタ処理部２０７でフィルタ処理が行われた画像データを第２フィルタ処理部２０５に出力する。また、データ補充部２０４は、フィルタ処理部２０７でフィルタ処理が行われた画像データを補充データとして保持する。
【０１５４】
第２フィルタ処理部２０５は、データ補充部２０４から供給された画像データのフィルタ処理を行い、フィルタ処理後の画像データを出力する。
【０１５５】
このような処理を行えば、フィルタ処理の空き時間を少なくすることができ、また入出力とも所定単位（図３３では４画素単位）とすることができる。したがって、メモリ帯域の削減、処理時間の短縮、消費電力の削減等を図ることができる。
【０１５６】
なお、上述の実施形態ではフィルタ処理として図３４の（Ａ）に示すノイズ除去や図３４の（Ｂ）に示すボケ補正を行う場合を例示したが、図３４の（Ｃ）に示す歪補正処理や図３４の（Ｄ）に示すリサイズ処理等を行うようにしてもよい。
【０１５７】
また、垂直フィルタ処理に横幅の制約がある場合、従来技術では、縮小処理において、水平フィルタ処理を優先して行うことが望ましい。例えば、図３５に示すように、垂直フィルタ処理部の横幅が５００画素まである場合、図３５の（Ａ）に示すように、例えば（１／２）倍に縮小で垂直フィルタ処理を先に行うと、処理できる画像の横幅は５００ピクセルの画像までとなる。しかし、図３５の（Ｂ）に示すように、（１／２）倍の縮小で水平フィルタ処理を先に行うと、画像の横幅が（１／２）倍されてから垂直フィルタ処理が行われるので、１０００ピクセルまでの画像を処理できる。しかし、本技術によれば、補充データを保持しておくだけでよいことから、水平フィルタ処理と垂直フィルタ処理の順番に特に制限を設ける必要がないため、自由度の高いフィルタ処理を行うことができる。
【０１５８】
また、上述の実施形態では画像データのフィルタ処理を行う場合について説明したが、処理対象データの周囲のデータを用いてフィルタ処理を行うデータであれば、画像データに限らず他のデータであってもよい。例えば音声データのフィルタ処理を行う場合にも適用できる。さらに、情報処理はフィルタ処理に限られない。例えば、注目するデータの周囲の一定範囲のデータの順番を入れ替える情報処理を行う暗号化や暗号復号化処理等の場合にも適用できる。
【０１５９】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１６０】
例えば、プログラムは記録メディアとしてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録メディアに、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録メディアは、いわゆるパッケージソフトウェアとして提供することができる。
【０１６１】
また、プログラムは、リムーバブル記録メディアからコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録メディアにインストールすることができる。
【０１６２】
本技術は、上述した実施形態に限定して解釈されるべきではない。この技術の実施形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１６３】
なお、本技術は以下のような構成も取ることができる。
（１） 処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理部と、
前記情報処理部に供給される処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理を前記情報処理部で行わせるデータ補充部と
を備える情報処理装置。
（２） 前記データ補充部は、前記補充データと次に情報処理が行われる処理単位のデータを順に用いて情報処理が前記情報処理部で行われた場合に、前記処理単位分の情報処理結果が得られるように、前記補充データの抽出を行う
（１）に記載の情報処理装置。
（３） 第１の情報処理部と第２の情報処理部を設け、
前記第２の情報処理部は、前記第１の情報処理部の情報処理結果を用いて情報処理を行うものとし、
前記データ補充部は、前記第１の情報処理部から出力される情報処理結果から、次に前記第２の情報処理部で情報処理が行われるデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データを前記第１の情報処理部から次の処理単位のデータの情報処理結果が出力されるまでの期間を利用して前記第２の情報処理部に出力する
（１）または（２）に記載の情報処理装置。
（４） 処理するデータを、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータ分だけ、処理単位の移動方向と逆方向に移動させて、最初の処理単位では前記所定数に含まれるデータの前に無効データを設けた
（１）乃至（３）の何れかに記載の情報処理装置。
（５） 処理単位でデータが読み出されるメモリを有し、
前記メモリでは、最初の処理単位のデータが、無効データの後に前記補充データが設けられるように、情報処理を行うデータの位置をずらして記憶する
（１）乃至（４）の何れかに記載の情報処理装置。
（６） 前記データ補充部は、補充データが次の処理単位の情報処理に用いられたのち、新たな画素データを補充データとして上書きする
（１）乃至（５）の何れかに記載の情報処理装置。
（７） 前記データは画像データである
（１）乃至（６）の何れかに記載の情報処理装置。
【産業上の利用可能性】
【０１６４】
本技術の情報処理装置と情報処理方法およびプログラムでは、処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータが用いられる。また、次に情報処理が行われる処理単位のデータの情報処理結果を得るために所定数に含まれるデータが補充データとして保持されて、この保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて情報処理が行われる。したがって、処理対象のデータを用いた情報処理を効率よく行うことができるようになる。
【０１６５】
このため、処理対象のデータの周囲の一定範囲のデータを用いて情報処理を行う電子機器、例えばデジタルスチルカメラ、デジタルビデオカメラ、コンピュータ装置、ゲーム機、テレビジョン装置、電話機、ＰＤＡ、画像再生装置、画像記録装置、ナビゲーション装置、携帯通信端末装置、プリンター、電子書籍再生装置、通信装置などの種々の電子機器に適用できる。
【符号の説明】
【０１６６】
１０・・・撮像装置、１１・・・撮像レンズ部、１２・・・撮像部、２０，２０ｎａ，２０ｎｂ，２０ｐａ，２０ｐｂ・・・カメラ信号処理部、３１・・・揮発性メモリ、３２・・・リサイズ処理部、３３・・・符号化／復号部、４１・・・表示インタフェース（Ｉ／Ｆ）、４２・・・表示部、４３・・・メディアインタフェース（Ｉ／Ｆ）、４４・・・記録メディア、４５・・・入力インタフェース（Ｉ／Ｆ）、４６・・・入力部、５１・・・制御部、５２・・・不揮発性メモリ、５３・・・バス、２０１・・・前処理部、２０２・・・現像部、２０３・・・第１フィルタ処理部、２０４，２０６・・・データ補充部、２０４ａ・・・入力制御部、２０４ｂ・・・出力制御部、２０５・・・第２フィルタ処理部、２０７，２０９・・・フィルタ処理部
【特許請求の範囲】
【請求項１】
処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理部と、
前記情報処理部に供給される処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理を前記情報処理部で行わせるデータ補充部と
を備える情報処理装置。
【請求項２】
前記データ補充部は、前記補充データと次に情報処理が行われる処理単位のデータを順に用いて情報処理が前記情報処理部で行われた場合に、前記処理単位分の情報処理結果が得られるように、前記補充データの抽出を行う
請求項１記載の情報処理装置。
【請求項３】
第１の情報処理部と第２の情報処理部を設け、
前記第２の情報処理部は、前記第１の情報処理部の情報処理結果を用いて情報処理を行うものとし、
前記データ補充部は、前記第１の情報処理部から出力される情報処理結果から、次に前記第２の情報処理部で情報処理が行われるデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データを前記第１の情報処理部から次の処理単位のデータの情報処理結果が出力されるまでの期間を利用して前記第２の情報処理部に出力する
請求項１記載の情報処理装置。
【請求項４】
処理するデータを、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータ分だけ、処理単位の移動方向と逆方向に移動させて、最初の処理単位では前記所定数に含まれるデータの前に無効データを設けた
請求項１記載の情報処理装置。
【請求項５】
処理単位でデータが読み出されるメモリを有し、
前記メモリでは、最初の処理単位のデータが、無効データの後に前記補充データが設けられるように、情報処理を行うデータの位置をずらして記憶する
請求項４記載の情報処理装置。
【請求項６】
前記データ補充部は、補充データが次の処理単位の情報処理に用いられたのち、新たな補充データに更新する
請求項１記載の情報処理装置。
【請求項７】
前記データは画像データである
請求項１記載の情報処理装置。
【請求項８】
処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理工程と、
前記情報処理工程で用いる処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理工程で前記情報処理を行わせるデータ補充工程と
を含む情報処理方法。
【請求項９】
情報処理をコンピュータで実行させるプログラムであって、
処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理手順と、
前記情報処理手順で用いる処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理工程で前記情報処理を行わせるデータ補充手順と
を前記コンピュータで実行させるプログラム。
【請求項１】
処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理部と、
前記情報処理部に供給される処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理を前記情報処理部で行わせるデータ補充部と
を備える情報処理装置。
【請求項２】
前記データ補充部は、前記補充データと次に情報処理が行われる処理単位のデータを順に用いて情報処理が前記情報処理部で行われた場合に、前記処理単位分の情報処理結果が得られるように、前記補充データの抽出を行う
請求項１記載の情報処理装置。
【請求項３】
第１の情報処理部と第２の情報処理部を設け、
前記第２の情報処理部は、前記第１の情報処理部の情報処理結果を用いて情報処理を行うものとし、
前記データ補充部は、前記第１の情報処理部から出力される情報処理結果から、次に前記第２の情報処理部で情報処理が行われるデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データを前記第１の情報処理部から次の処理単位のデータの情報処理結果が出力されるまでの期間を利用して前記第２の情報処理部に出力する
請求項１記載の情報処理装置。
【請求項４】
処理するデータを、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータ分だけ、処理単位の移動方向と逆方向に移動させて、最初の処理単位では前記所定数に含まれるデータの前に無効データを設けた
請求項１記載の情報処理装置。
【請求項５】
処理単位でデータが読み出されるメモリを有し、
前記メモリでは、最初の処理単位のデータが、無効データの後に前記補充データが設けられるように、情報処理を行うデータの位置をずらして記憶する
請求項４記載の情報処理装置。
【請求項６】
前記データ補充部は、補充データが次の処理単位の情報処理に用いられたのち、新たな補充データに更新する
請求項１記載の情報処理装置。
【請求項７】
前記データは画像データである
請求項１記載の情報処理装置。
【請求項８】
処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理工程と、
前記情報処理工程で用いる処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理工程で前記情報処理を行わせるデータ補充工程と
を含む情報処理方法。
【請求項９】
情報処理をコンピュータで実行させるプログラムであって、
処理単位毎のデータを順に用いて情報処理を行い、該データの情報処理では処理対象のデータを基準とした所定数の処理順のデータを用いて情報処理結果を得る情報処理手順と、
前記情報処理手順で用いる処理単位毎のデータにおいて、次に前記情報処理が行われる処理単位のデータの情報処理結果を得るために前記所定数に含まれるデータを抽出して補充データとして保持し、該保持した補充データと次に情報処理が行われる処理単位のデータを順に用いて前記情報処理工程で前記情報処理を行わせるデータ補充手順と
を前記コンピュータで実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２０１２−２５２６７３（Ｐ２０１２−２５２６７３Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２７１８４（Ｐ２０１１−１２７１８４）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]