画像処理装置
【課題】画像フィルタに制限されずに希望する画像処理回路を構築することを可能とする画像処理手順を学習することができ、画像処理の処理速度を向上させることが可能な画像処理装置を提供する。
【解決手段】画像処理装置１は、プロセッサ２と、シフトレジスタ３と、学習ユニット４と、マルチプレクサ５と、学習手段６とを備えている。さらに、各学習ユニット４ｘは、関数処理回路が並列に配置された演算ユニットと各関数処理回路に入力するデータを選択する選択器で構成されている。複数個が直列に連結されている学習ユニット４の各選択器は、画像処理の手順を示す選択信号ＳＳに従って各関数処理回路に入力するデータを選択し、学習手段６は各学習ユニット４の選択器に割り当てる選択信号ＳＳを学習により最適化する。
【解決手段】画像処理装置１は、プロセッサ２と、シフトレジスタ３と、学習ユニット４と、マルチプレクサ５と、学習手段６とを備えている。さらに、各学習ユニット４ｘは、関数処理回路が並列に配置された演算ユニットと各関数処理回路に入力するデータを選択する選択器で構成されている。複数個が直列に連結されている学習ユニット４の各選択器は、画像処理の手順を示す選択信号ＳＳに従って各関数処理回路に入力するデータを選択し、学習手段６は各学習ユニット４の選択器に割り当てる選択信号ＳＳを学習により最適化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、画像処理を行うための関数処理回路を選択する選択信号を学習により形成可能な画像処理装置に関する。
【背景技術】
【０００２】
近年、ＴＶカメラやＣＣＤカメラ等の画像入力手段で被写体や風景等を撮像し、得られた動画像に画像処理を施して、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出するための画像処理装置の研究が盛んに行われている。
【０００３】
静止画像に対する画像処理としては、各種画像フィルタを図１７に示すように木構造状に組み合わせた処理プログラムに基づいて入力画像に画像処理を施す画像処理技術（ＡＣＴＩＴ、非特許文献１参照）が開発されている。
【非特許文献１】青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記のような画像処理装置では、画像処理に用いられる画像フィルタの組み合わせの範囲内でしか画像処理を行うことができず、必ずしも思い通りの画像処理を行うことができない場合がある。また、学習の際に予めどのような種類の画像フィルタをそれぞれ何個ずつ用意するかによって画像処理の最適化が制限を受ける。
【０００５】
一方、このような画像処理装置を車両やロボット等に搭載する場合、例えば、汎用コンピュータを用いて画像処理装置を構成し、前記処理プログラムをソフトウエア処理するように構成すると画像処理に時間がかかる。そのため、画像データをリアルタイムに処理すること、すなわち実用的な時間内で処理することが必ずしも容易にはできない。
【０００６】
本発明は、前記事情に鑑みてなされたものであり、画像フィルタに制限されずに希望する画像処理回路を構築することを可能とする画像処理手順を学習することができる画像処理装置を提供することを目的とする。さらに、画像処理の処理速度を向上させることが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記の問題を解決するために、第１の発明は、
画像処理の手順を学習する画像処理装置であって、
関数処理回路が並列に配置された演算ユニットと前記各関数処理回路に入力するデータを選択する選択器とからなる学習ユニットと、
前記学習ユニットによる演算の順序を最適化する学習手段とを備え、
前記学習ユニットは、複数個が直列に連結され、
前記複数の学習ユニットの各選択器は、画像処理の手順を示す選択信号に従って各関数処理回路に入力するデータを選択し、
前記学習手段は、各学習ユニットの選択器に割り当てる前記選択信号を学習により最適化することを特徴とする。
【０００８】
第２の発明は、第１の発明の画像処理装置において、前記学習ユニットは、自らに属する各選択器からそれぞれに対応する関数処理回路へのデータの入力をクロック信号に合わせ同期させて行うことを特徴とする。
【０００９】
第３の発明は、第１または第２の発明の画像処理装置において、前記学習手段は、各学習ユニットの選択器に割り当てる前記選択信号の列を遺伝子とし、画像処理により得られるべき目標画像を教師画像として遺伝的アルゴリズムの手法に基づいて学習を行うことを特徴とする。
【００１０】
第４の発明は、第３の発明の画像処理装置において、前記学習手段は、前記遺伝子が前記関数処理回路に用いられる定数を含み、前記学習により前記定数の最適化を同時に行うことを特徴とする。
【００１１】
第５の発明は、第３または第４の発明の画像処理装置において、前記学習手段は、前記学習において、教師画像である画像処理により得られるべき目標画像と演算により算出された出力画像との各画素の輝度値の差に基づいて評価値を算出することを特徴とする。
【００１２】
第６の発明は、第３から第５の発明のいずれかの画像処理装置において、前記学習手段は、前記学習において、演算を行う前記関数処理回路の数に基づいて評価値を算出することを特徴とする。
【００１３】
第７の発明は、第３から第６の発明のいずれかの画像処理装置において、
前記関数処理回路は、入力されたデータを１クロック分遅延させる機能を有する遅延回路を含み、
前記学習手段は、前記学習において、前記遅延回路しか演算を行わない学習ユニットの数に基づいて評価値を算出することを特徴とする。
【００１４】
第８の発明は、第７の発明の画像処理装置において、前記学習手段は、算出した最適化された前記選択信号から前記遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分を削除して新たに最適化された選択信号を再構成して出力することを特徴とする。
【００１５】
第９の発明は、第３から第８の発明のいずれかの画像処理装置において、前記学習手段は、前記教師画像中から任意に選択された所定個数の画素について評価値の算出を行うことを特徴とする。
【００１６】
第１０の発明は、第３から第８の発明のいずれかの画像処理装置において、前記学習手段は、前記教師画像の輝度値が０でない画素の中から任意に選択された所定個数の画素について評価値の算出を行うことを特徴とする。
【００１７】
第１１の発明は、第１から第１０の発明のいずれかの画像処理装置であって、
前記画像処理装置の学習手段により最適化された前記選択信号に従って画像処理を行わせると遅延処理の演算しか行わない学習ユニットがある場合には、当該学習ユニットによる演算処理を削除し、当該学習ユニットの処理下流側に遅延処理以外の演算を行う他の学習ユニットがある場合には当該他の学習ユニットの演算処理を上流側の学習ユニットに移して、遅延処理以外の演算を行う最下流の学習ユニットから出力される処理結果を出力することを特徴とする。
【００１８】
第１２の発明は、第１から第１０の発明のいずれかの画像処理装置であり、最適化された前記選択信号に基づいて画像処理を行う画像処理装置であって、
前記画像処理装置が前記選択信号に従って画像処理を行った場合に遅延処理の演算しか行わない学習ユニットに対応する演算処理があるときは、前記選択信号から当該演算処理に対応する信号部分を削除して選択信号を再構成し、再構成された選択信号に基づいて前記関数処理回路による画像処理回路を構築することを特徴とする。
【発明の効果】
【００１９】
第１の発明によれば、従来の画像処理装置のような画像フィルタの組み合わせではなく加算器のような単純な関数処理回路の組み合わせで構築された画像処理回路に対する画像処理手順を提供することができる。そのため、その手順に従えば、画像処理の種類が画像フィルタやその組み合わせに制限されずに思い通りの画像処理を行うことが可能な画像処理回路を構築することが可能となる。
【００２０】
また、希望する画像処理を学習するために複数の教師画像に基づいて学習を行うことで、希望する画像処理をさらに精度良く行うことができる画像処理回路を構築するための画像処理手順を提供することが可能となる。
【００２１】
さらに、第１の発明に係る画像処理装置により出力される最適化された選択信号に従えば、処理プログラムによるソフトウエア処理と同等の画像処理をハードウエア処理で行ってクロック単位で演算処理を行うようにすることができるため、画像処理装置の画像処理速度を飛躍的に向上させることが可能となり、画像データをリアルタイムに処理することが可能となる。
【００２２】
第２の発明によれば、前記第１の発明の効果に加え、関数処理回路の演算処理をクロック信号に合わせて同期させて行うことが可能となるため、関数処理回路による処理時間の違いに起因して演算処理に乱れが生じることを防止することが可能となり、的確なタイミングで演算処理を行って最適化された選択信号を確実に獲得することが可能となる。
【００２３】
第３の発明によれば、前記各発明の効果に加え、遺伝的アルゴリズムの手法に基づく学習により最適化された選択信号を得ることで、人為的に最適化された選択信号を構成する場合と比較して、効率良くかつより的確に最適化された選択信号を獲得することが可能となる。
【００２４】
第４の発明によれば、前記各発明の効果に加え、遺伝的アルゴリズムの手法に基づいて関数処理回路の定数の最適値を容易にかつ的確に獲得することが可能となる。
【００２５】
第５の発明によれば、前記各発明の効果に加え、選択信号の最適化において、教師画像と出力画像との各画素の輝度値の差に基づいて評価値を算出することで、入力画像に演算処理を施して教師画像をより良く再現し、希望する画像処理を的確に行うことを可能にする最適化された選択信号を獲得することが可能となる。
【００２６】
第６の発明によれば、前記各発明の効果に加え、選択信号の最適化において、演算を行う関数処理回路の数に基づいて評価値を算出し、使用する関数処理回路の数が少ない選択信号に対してより良い評価を与えることで、出力される最適化された選択信号をリソースの数を低減可能な選択信号として出力することが可能になる。
【００２７】
第７の発明によれば、前記各発明の効果に加え、選択信号の最適化において、遅延回路しか演算を行わない学習ユニットの数に基づいて評価値を算出し、そのような学習ユニットを多く含む選択信号に対してより良い評価を与えることで、最適化された選択信号には遅延回路しか行わない学習ユニットによる演算処理が多数含まれたものとなる。
【００２８】
そのため、装置への実装の段階で、例えば、遅延回路しか演算を行わない学習ユニットによる演算処理を削除することで削除された学習ユニット分だけ処理時間をさらに短縮することが可能となり、処理速度をさらに向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【００２９】
第８の発明によれば、遅延回路しか行わない学習ユニットによる演算処理が多数含まれた最適化された選択信号からそのような学習ユニットに対応する信号部分を削除して新たに最適化された選択信号を再構成することで、再構成された選択信号が実装された装置では、削除された学習ユニット分だけ処理時間をさらに短縮することが可能となり、処理速度をさらに向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。このように第８の発明では、前記第７の発明の効果がより的確に発揮される。
【００３０】
第９の発明によれば、学習手段における学習の際、例えば、２５６×２５６画素の画像に対して最初から全画素について遺伝的アルゴリズムの手法を適用すると探索範囲が非常に大きくなり最適解に収束するまでの時間が非常に長くかかるが、少数の画素に限定して個体を進化させることで、少数の画素に対しても評価が低いような選択信号を有する個体が早急に淘汰される。
【００３１】
そのため、前記各発明の効果に加え、最終的に全画素について遺伝的アルゴリズムの手法を適用する際には、既に評価値がある程度高い個体が比較的多数存在する状態となり、最適解への収束の速度を向上させることが可能となる。
【００３２】
第１０の発明によれば、学習手段における学習において、入力に対して出力を与えないような意味のない選択信号を有する個体が生成されることを許す場合、意味のない選択信号からの出力画像の各画素の輝度値は０になる。一方、前記第９の発明のように教師画像の全画素中から選択された少数の画素の輝度値が０であると、意味のない個体が最高の評価を得てしまうため、意味があり評価値が高い個体を多数生き残らせて最適解への収束の速度を向上させるという目的が達成できなくなる。
【００３３】
そのため、前記のような場合には、教師画像の輝度値が０でない画素の中から少数の画素を任意に選択して評価値の算出を行うことで、前記第９の発明と同様の効果を得ることが可能となる。
【００３４】
第１１の発明によれば、画像処理装置において、遅延処理の演算しか行わない学習ユニットによる演算処理を削除し、当該学習ユニットの処理下流側で行われる遅延処理以外の演算を上流側に移すことで、前記各発明の効果が的確に発揮されるとともに、遅延処理の演算しか行わない学習ユニットの演算処理が削除される分だけ処理時間をさらに短縮し、処理速度を向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【００３５】
第１２の発明によれば、前記各発明の効果が的確に発揮されるとともに、最適化された選択信号の中に存在する遅延処理の演算しか行わない学習ユニットに対応する演算処理の信号部分を削除して選択信号を再構成し、再構成された選択信号に基づいて組み立てられた関数処理回路によって画像処理を行うことで、前記削除された信号部分の分だけより少ないリソースで画像処理回路を構成することが可能となる。また、その分処理時間をさらに短縮することが可能となり、処理速度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明に係る画像処理装置の実施の形態について、図面を参照して説明する。
【００３７】
［第１の実施の形態］
第１の実施形態では、画像処理装置がＦＰＧＡ（Field Programmable Gate Array）評価用ボード（ALTERA社製）上に構築される場合について述べるが、これに限定されない。
【００３８】
本実施形態に係る画像処理装置１は、画像処理の手順を自律的に学習する装置である。画像処理装置１は、図１に示すように、プロセッサ２と、シフトレジスタ３と、複数の学習ユニット４と、マルチプレクサ５と、学習手段６とを備えている。
【００３９】
本実施形態では、画像処理の対象となる画像データは、画像を構成する各画素の０〜２５５の２５６階調の輝度階調に補正された輝度値のデータであり、以下、個々の画素の輝度値のデータを画素データという。また、本実施形態では、画像のサイズが２５６×２５６画素であり、また、画像中の３×３画素を対象に画像処理を行う場合について説明する。
【００４０】
また、本実施形態では、画像のデータは、原画像の水平方向に延びる１画素幅のライン上を左端の画素から右方向に、かつ、最上端のラインから順次下方のラインに向かう順番で１画素ずつ入力され画像処理される場合について述べる。
【００４１】
プロセッサ２は、シフトレジスタ３や学習ユニット４、マルチプレクサ５にクロック信号ＣＬＫを送信してそれらをクロックに同期させて動作させるようになっている。また、各学習ユニット４とマルチプレクサ５に後述する学習手段６から送信されてくる選択信号ＳＳを送信するようになっている。
【００４２】
シフトレジスタ３はラインバッファ機能を有し、少なくとも５１４個の画素データを一時保存できるようになっている。シフトレジスタ３には、図２（Ａ）〜（Ｃ）に示すように、画素データがクロックごとに学習手段６から順次入力されるようになっており、シフトレジスタ３はこれらの画素データを順々にシフトさせるようになっている。なお、図２（Ａ）〜（Ｃ）で、００、０１、０２はそれぞれ画像の第０行第０列目、第０行第１列目、第０行第２列目の画素データを表している。
【００４３】
シフトレジスタ３は、先頭の画素データが図３に示すように５１３番地にシフトしたクロックタイミングで、２５６番地の画素データを中心に０、１、２５５、２５６、２５７、５１１、５１２、５１３の各番地の画素データとこのクロックタイミングで入力された画素データとの９個の画素データを学習ユニット４に送信するようになっている。
【００４４】
また、シフトレジスタ３は、次のクロックタイミングでそれらの画素データをシフトさせるとともに、シフトされた前記番地の８個の画素データとこのクロックタイミングで入力された画素データとの９個の画素データを学習ユニット４に送信するようになっている。以下、この動作を繰り返す。
【００４５】
なお、２５６×２５６画素の画像中のｎ×ｎ画素を対象に画像処理を行う場合には、図４に示すように、シフトレジスタ３は少なくとも２５７×（ｎ−１）個の画素データを一時保存できる容量を有するものであることが望ましい。
【００４６】
学習ユニット４は、図５に示すように、関数処理回路Ｆ１〜Ｆ９が並列に配置された演算ユニット４１と、演算ユニット４１の各関数処理回路Ｆ１〜Ｆ９に入力する画像データを選択する選択器４２とで構成されている。演算ユニット４１の各関数処理回路Ｆ１〜Ｆ９および選択器４２にはそれぞれプロセッサ２からのクロック信号ＣＬＫが入力されるようになっている。
【００４７】
演算ユニット４１の関数処理回路Ｆには、２入力の加算器ADDRや減算器SUB、１入力の乗算器MULTや絶対値ABS、遅延回路DFF、含意素子IF_THEN等の単純な演算を行う関数処理回路が用いられている。
【００４８】
ここで、本実施形態では、乗算器MULTは入力されたデータを定数倍するものであり、その定数は学習手段６における学習で最適化されるようになっている。また、本実施形態では、定数は各学習ユニット４で同一の値とされているが、異なった値としてもよい。また、遅延回路DFFにはディレイフリップフロップ（Delay flip-flop）が用いられており、1クロックの遅延が行われるようになっている。さらに、本実施形態では、含意素子IF_THENは入力されるデータの値が２５５より大きい場合には２５５にするようになっている。
【００４９】
以下、演算ユニット４１の関数処理回路Ｆの構成例として、図６に示すように、加算器ADDRを４個、減算器SUB、乗算器MULT、絶対値ABS、遅延回路DFF、含意素子IF_THENをそれぞれ１個ずつの計９個の関数処理回路を組み合わせる場合について述べる。しかし、関数処理回路Ｆの構成はこれに限定されず、用いられる関数処理回路Ｆの種類や数は適宜設定される。また、学習ユニット４の数も適宜設定される。
【００５０】
選択器４２には、学習手段６からプロセッサ２を経由して送信される選択信号ＳＳが入力されるようになっている。また、本実施形態では、選択器４２には、シフトレジスタ３や処理の上流側の学習ユニット４から９個のデータが入力され、２入力の４個の加算器ADDRおよび減算器SUBにそれぞれ２個ずつ、および１入力の乗算器MULT、絶対値ABS、遅延回路DFF、含意素子IF_THENにそれぞれ１個ずつデータを入力するために計１４個のデータを出力するようになっている。
【００５１】
選択器４２の構造は、図６の円内に示される拡大図のように、１個の出力につきそれぞれ１個のマルチプレクサ様の素子が対応付けられており、素子により入力された９個のデータの中から１つのデータが選択されて出力され、対応する関数処理回路Ｆに入力されるようになっている。本実施形態では、選択器４２には１４個のマルチプレクサ様の素子が内蔵されている。
【００５２】
また、選択器４２のそれぞれの素子は、学習手段６から送信される選択信号ＳＳに従って対応する関数処理回路に入力するデータを選択し、或いは選択せずに関数処理回路にデータを入力しないようになっている。
【００５３】
選択信号ＳＳは、各学習ユニット４に画像処理の手順を示すための信号であり、本実施形態では、例えば図７に示すように、各学習ユニット４の選択器４２の各素子およびマルチプレクサ５が選択すべき入力データ番号が列記された選択信号の列である。各学習ユニット４の選択器４２は選択信号ＳＳの中から自らが指定されている数値部分を読み出して、各素子に選択信号を予め割り当てるようになっている。なお、図７の選択信号ＳＳ中、−で示される数値部分は選択信号が割り当てられていないことを示しており、対応する素子からはデータが出力されない。
【００５４】
図７に示した選択信号ＳＳの例では、選択信号ＳＳが入力されると、学習ユニット４ａの選択器４２ａは１番目の素子に０、２番目の素子に１、…、８番目の素子に８、１１番目の素子に４をそれぞれ割り当て、学習ユニット４ｂの選択器４２ｂは１番目の素子に０、…、４番目の素子に３、１３番目の素子に６をそれぞれ割り当ててセットアップする。
【００５５】
各素子は、図８に示すように、このようにして予め割り当てられた選択信号に従ってそれぞれの番号の入力データを選択して対応する関数処理回路Ｆにデータを送信するようになっている。このように、各学習ユニット４の選択器の各素子に選択信号が割り当てられることで、各学習ユニット４による画像処理の手順が決定される。
【００５６】
また、選択器４２は、プロセッサ２から送信されるクロック信号ＣＬＫの立ち上がりに合わせて各素子からデータを出力させて対応する各関数処理回路Ｆにデータを同期させて入力し、演算ユニット４１の各関数処理回路Ｆは、次のクロック信号ＣＬＫの立ち上がりで同時に演算を開始して演算後のデータを出力するようになっている。
【００５７】
なお、図１に示した複数の学習ユニット４ａ〜４ｎは、すべて図５や図６に示した学習ユニット４と同一の構成を有している。そして、選択信号ＳＳによって処理に供される関数処理回路Ｆが選択され、それぞれ異なる演算を行うようになっている。
【００５８】
マルチプレクサ５には、処理の最下流の学習ユニット４ｎからの出力データが入力されるようになっており、マルチプレクサ５は、学習手段６からプロセッサ２を経由して送信される選択信号ＳＳに従って入力されたデータの中からデータを選択して出力するようになっている。
【００５９】
学習手段６は、図１に示すように、学習ユニット４ａ〜４ｎの各選択器に割り当てる選択信号ＳＳを予め学習により最適化し、最適化された選択信号ＳＳsuitを出力するように構成されている。
【００６０】
本実施形態では、学習は、遺伝的アルゴリズムの手法に基づいて行われるようになっており、学習手段６には、学習に用いられる図９に示すような原画像Ｄと教師画像としての画像処理により得られるべき図１０に示すような目標画像Ｔが入力されるようになっている。また、評価値の算出の際に重み付けするための図１１に示すような重み画像Ｗを入力しておくことも可能である。
【００６１】
なお、目標画像Ｔおよび重み画像Ｗは原画像Ｄに基づいて予め作成される。図１０に示した目標画像Ｔは、抽出領域ＥＸに属する画素の輝度値は２５５に、非抽出領域ＮＥに属する画素の輝度値は０になるように作成されている。また、図１１に示した重み画像Ｗは、目標画像Ｔの抽出領域ＥＸと非抽出領域ＮＥに対応してそれぞれの領域で重みｗがそれぞれの面積比の逆数の比になるように作成されるようになっている。
【００６２】
原画像Ｄ、目標画像Ｔおよび重み画像Ｗは学習手段６の図示しない記憶手段に保存されるようになっている。
【００６３】
一方、本実施形態に係る学習手段６では、まず、教師画像である目標画像Ｔ中の１０画素等の所定個数の画素に対して学習を行い、その後、目標画像Ｔの全画素に対して学習を行うように構成されている。
【００６４】
また、個体の評価を、出力画像Ｄoutと目標画像Ｔとの各画素の輝度値の差のほか、出力画像Ｄoutを得るために用いた関数処理回路の数や、遅延回路しか演算を行わない学習ユニットを除いた実質的な演算を行う学習ユニットの数に基づいて判断するように構成されている。
【００６５】
図１２は、本実施形態に係る学習手段の構成を示すブロック図である。学習手段６は、初期個体生成手段６１と、評価値算出手段６２と、終了判定手段６３と、親選択手段６４と、交叉手段６５と、突然変異手段６６とを備えている。
【００６６】
初期個体生成手段６１は、学習開始指示に応じて、図７に示したような各学習ユニット４ａ〜４ｎの各選択器およびマルチプレクサ５に割り当てる選択信号ＳＳの列を遺伝子とする個体をランダムに例えば１００個体等の一定数生成させるようになっている。また、初期個体生成手段６１は、各個体ごとに乗算器MULTで用いられる定数をランダムに生成させて選択信号ＳＳのヘッダに書き込むようになっている。定数を各学習ユニット４ａ〜４ｎで個別に設定する場合には、各学習ユニット４ａ〜４ｎのそれぞれについて定数をランダムに生成させてヘッダに書き込む。
【００６７】
個体を生成し或いは交叉させ突然変異させる際には、意味のない個体が生じるような生成や交叉、突然変異を行わないように予め設定しておくことが好ましい。ここで、意味のない個体とは、その個体に含まれる選択信号ＳＳに従うと、例えば、学習ユニット４の関数処理回路Ｆで演算されて出力されたデータが次の学習ユニット４での演算に用いられなかったり、学習ユニット４の関数処理回路Ｆからデータの出力がないにもかかわらずその関数処理回路Ｆからの出力を次の学習ユニット４の関数処理回路Ｆに入力するような個体である。また、最終の学習ユニット４ｎからの出力データをマルチプレクサ５が誤った選択をして出力しないような個体も意味のない個体とされる。
【００６８】
評価値算出手段６２は、図１３に示すように、入力された教師画像である目標画像Ｔの画像中から例えば１０個の画素Ｐをランダムに選択する。また、図１４に示すように、目標画像Ｔ中から選択された１０個の画素Ｐのそれぞれについて、原画像Ｄ中から対応する位置の画素を抽出し、その画素およびその周囲の８画素の計９画素の画素データをそれぞれ画素データの組ＣＯＭとして抽出するようになっている。なお、図１３や図１４では、画素が実際より大きく表現されている。また、１０個の画素Ｐは各世代ごとにランダムに選択される。
【００６９】
評価値算出手段６２は、続いて、初期個体生成手段６１から送信されてきた全個体中の１つの個体について、それに含まれる選択信号ＳＳをプロセッサ２を介して各学習ユニット４ａ〜４ｎに送信して各選択器４２の各素子をセットアップする。また、各学習ユニット４ａ〜４ｎは、ヘッダから乗算器MULTの定数を読み出して、自らの演算ユニット４１の乗算器MULTをセットアップする。
【００７０】
そして、評価値算出手段６２は、前記画素データの組ＣＯＭの９個の画素データをシフトレジスタ３を介さずに１組ずつ直接学習ユニット４ａに入力する。学習ユニット４ａ〜４ｎでは９個の画素データの入力に対して演算が行われ、マルチプレクサ５から１つの画素画像Ｄoutの画素データが出力されて評価値算出手段６２に入力される。
【００７１】
評価値算出手段６２は、このシミュレーション演算を組ＣＯＭのすべてについて行い、その個体について、目標画像Ｔと出力画像Ｄoutとの各画素の輝度値の差に基づく評価値Ｑ１を下記（１）式に従って算出するようになっている。
【００７２】
【数１】
【００７３】
ここで、本実施形態では、前記（１）式のｍは１０であり、Ｔｋはｋ番目の画素Ｐの輝度値、Ｄoutｋは対応するｋ番目の組ＣＯＭに基づいて算出された出力画像Ｄoutの画素の輝度値を表す。
【００７４】
なお、前述した重み画像Ｗを用いて下記（２）式に従って評価値Ｑ１を重み付けして算出することも可能である。
【００７５】
【数２】
【００７６】
ここで、Ｗｋは、目標画像Ｔのｋ番目の画素Ｐに対応する重み画像Ｗ上の位置の画素の輝度値を表す。ｍ、Ｔｋ、Ｄoutｋについては前記（１）式と同様である。
【００７７】
また、評価値算出手段６２は、同時に、個体に含まれる選択信号ＳＳから出力画像Ｄoutを得るために用いた関数処理回路の数Ｍおよび遅延回路DFFしか演算を行わない学習ユニットの数Ｎを算出し、下記（３）式および（４）式に従って評価値Ｑ２、Ｑ３を算出するようになっている。なお、下記（３）式のＦＮは本実施形態における関数処理回路Ｆの総数を表し、下記（４）式のＵＮは本実施形態における学習ユニット４の総数を表す。
【００７８】
【数３】
【００７９】
なお、遅延回路DFFしか演算を行わない学習ユニットとは、例えば図１５に示すような学習ユニットをいい、図８に示した学習ユニット４ｂのように遅延回路DFFの演算を行うが他の関数処理回路Ｆでも演算を行う学習ユニットは含まれない。また、遅延回路DFFを複数備える学習ユニットにおいて複数の遅延回路DFFで演算が行われ他の関数処理回路Ｆでは演算が行われないような学習ユニットは遅延回路DFFしか演算を行わない学習ユニットに含まれる。さらに、図８において、例えば学習ユニット４ａでは遅延回路DFFしか演算を行わずその出力データに対して学習ユニット４ｂの加算器ADDRによる演算が行われるような場合には、学習ユニット４ａが遅延回路DFFしか演算を行わない学習ユニットに含まれる。
【００８０】
評価値算出手段６２は、評価値Ｑ２、Ｑ３を評価値Ｑ１とともにそれぞれ各個体に対応付けるようになっている。評価値算出手段６２は、以上のようにして１００個の個体すべてについて評価値Ｑ１、Ｑ２、Ｑ３を算出するようになっている。
【００８１】
終了判定手段６３は、評価値算出手段６２から送信された各個体とメモリ６７にエリート保存されている個体があればそれを含めてすべての個体の中で評価値Ｑ１が目標評価値である１に達した個体がなければ、各個体を親選択手段６４に送信するようになっている。
【００８２】
親選択手段６４は、各個体の中で評価値Ｑ１が最も高い個体をエリート保存してメモリ６７に隔離するとともに、その個体のコピーと残りの個体との中から評価値Ｑ１に基づいてトーナメント選択により次世代に残すべき１００個体の処理プログラムの選択およびそれらの処理プログラムの増殖を行うようになっている。なお、ルーレット選択や期待値選択、ランキング選択等の他の方法で親選択を行うことも可能である。
【００８３】
交叉手段６５では、親選択手段６４で選択され増殖された親個体について２個体ずつ対にして、それぞれの個体対ごとにランダムに選ばれた交叉部分で所定の割合で互いに交叉させて、子個体を生成させるようになっている。また、突然変異手段６６では、各個体ごとに所定の割合で選択信号ＳＳの数値の変更や選択信号ＳＳのヘッダ部分に書き込まれた乗算器MULTの定数の変更等が行われるようになっている。
【００８４】
このようにして、評価値Ｑ１が１の個体が現れるまで前記シミュレーション演算や世代交代が繰り返されるようになっている。
【００８５】
終了判定手段６３は、評価値Ｑ１が目標評価値である１の個体が現れると、評価値算出手段６２に対して目標画像Ｔの画像中からランダムに選択する画素Ｐの数を１００個に増やすように指示を出すようになっている。
【００８６】
そのため、評価値算出手段６２では、次世代からは、目標画像Ｔ中から選択された１００個の画素Ｐのそれぞれについて、原画像Ｄ中から対応する位置の画素を抽出し、その画素およびその周囲の８画素の計９画素の画素データをそれぞれ画素データの組ＣＯＭを１００組抽出するようになっている。そして、その１００組についてシミュレーション演算を行い、前記（１）式または（２）式中のｎを１００として各個体について評価値Ｑ１を新たに算出するようになっている。
【００８７】
このように、終了判定手段６３は、評価値Ｑ１が設定された目標評価値に達した個体が現れると、目標画像Ｔ中からランダムに選択する画素数を増やすように評価値算出手段６２に指示を送るようになっている。画素数はこの後、例えば１０００画素、１００００画素のように増加され、最終的には原画像Ｄの全画素数である２５６×２５６＝６５５３６画素まで増加される。また、目標評価値は、例えば１０画素では１、１００画素では０．９５、１０００画素では０．９、１００００画素では０．８５のように徐々に小さい値が設定されるようになっている。
【００８８】
なお、目標画像Ｔ中からランダムに選択する画素数を増やす基準を、例えば設定された世代数ごととすることも可能である。また、画素数が原画像Ｄの全画素数まで増加された段階で、評価値算出手段６２は、原画像Ｄの水平方向に延びる１画素幅のライン上を左端の画素から右方向に、かつ、最上端のラインから順次下方のラインに向かう順番で１画素ずつ画素データをシフトレジスタ３に入力する。シフトレジスタ３からは９個の画素データが順次学習ユニット４ａに入力される。
【００８９】
一方、学習手段６は、終了判定手段６３により評価値算出手段６２におけるシミュレーション演算の範囲が原画像Ｄの全画素まで拡大され、評価値Ｑ１が例えば０．８等に設定された目標評価値以上の個体が現れると、エリート保存の基準と終了判定の基準を変更するようになっている。
【００９０】
具体的には、本実施形態では、親選択手段６４は、メモリ６７に保存されているエリート個体の評価値Ｑ１、Ｑ２、Ｑ３のいずれに対してもそれらに等しいかそれらを上回る評価値Ｑ１、Ｑ２、Ｑ３を有する個体が現れない限りエリートを更新しないようになっている。すなわち、評価値Ｑ１がエリート以上の個体が現れても、その個体の評価値Ｑ２或いは評価値Ｑ３がエリートの評価値Ｑ２或いは評価値Ｑ３より小さければエリートとしないようになっている。
【００９１】
また、終了判定手段６３は、終了判定の基準を変更するようになっている。本実施形態では、終了判定手段６３は、原画像Ｄの全画素に対するシミュレーション演算で評価値Ｑ１が０．８以上の個体が現れた段階で、予め設定された最終的な目標評価値Ｑａ、Ｑｂ、Ｑｃ以上の評価値Ｑ１、Ｑ２、Ｑ３を有する個体が現れることを最終的な終了判定の基準として設定するようになっている。なお、この他にも、例えば、予め設定された世代数に達した時点で終了することを最終的な終了判定の基準として設定するように構成することも可能である。
【００９２】
終了判定手段６３は、この最終的な終了判定基準が満たされたと判定すると、以上のルーチンを終了するようになっている。そして、終了判定手段６３は、最終的な終了判定基準を満した個体からそれに含まれる選択信号ＳＳを抽出し、選択信号ＳＳに遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分があればその信号部分を選択信号ＳＳから削除するようになっている。
【００９３】
終了判定手段６３は、このようにして再構成した選択信号ＳＳを、各学習ユニット４ａ〜４ｎに割り当てるべき最適化された選択信号ＳＳsuitとして出力するようになっている。
【００９４】
次に、本実施形態に係る画像処理装置１の作用について説明する。
【００９５】
本実施形態の画像処理装置１のプロセッサ２、シフトレジスタ３、学習ユニット４およびマルチプレクサ５の作用については前記構成で述べたとおりであるので説明を省略する。
【００９６】
学習手段６は、まず、初期個体生成手段６１が生成した個体の中から、前記（１）式または（２）式に従って算出される評価値Ｑ１が低い個体すなわち教師画像である目標画像Ｔと出力画像Ｄoutとの各画素の輝度値の差が大きい個体を淘汰するために、目標画像Ｔ上の限定された数の画素を対象として進化過程を進める。
【００９７】
このように少数の画素に限定して個体を進化させることで、目標画像Ｔ上の限定された数の画素を対象としても目標画像Ｔとの輝度値の差が大きい出力画像Ｄoutしか出力できないような選択信号ＳＳを有する個体が早急に淘汰される。
【００９８】
従って、終了判定手段６３が評価値算出手段６２におけるシミュレーション演算の範囲を原画像Ｄの全画素まで拡大する際には、既に目標画像Ｔとの距離が近い出力画像Ｄoutを出力させ得る選択信号ＳＳを含む個体が比較的多数存在する状態となり、最適解への収束の速度が向上する。
【００９９】
一方、学習手段６は、この時点で終了判定条件を切り替え、評価値Ｑ１が例えば０．８等に設定された目標評価値以上の個体が現れた段階で、評価値Ｑ１のみによる評価を離れて評価値Ｑ２や評価値Ｑ３をも考慮して最適解を探索するようになる。
【０１００】
評価値Ｑ２は、前記（３）式に示されるように、出力画像Ｄoutを得るために用いた関数処理回路の数Ｍが少ないほど大きな値を取る。従って、評価値Ｑ２が高い値であるということは、その個体に含まれる選択信号ＳＳによれば、より少ないリソースすなわち関数処理回路で画像処理回路を構成することができることを意味する。
【０１０１】
また、評価値Ｑ３は、前記（４）式に示されるように、遅延回路DFFしか演算を行わない学習ユニットの数Ｎが多いほど大きな値を取る。従って、評価値Ｑ３が高い値であるということは、その個体に含まれる選択信号ＳＳによれば、より多くの遅延回路DFFしか演算を行わない学習ユニットが含まれる画像処理回路が構成されることを意味する。
【０１０２】
遅延回路DFFしか演算を行わない学習ユニットによる演算処理は、実装段階ではいわば省略してもよい演算処理である。また、学習ユニットの数が増えるほど遅延回路DFFしか演算を行わない学習ユニットの数も増える可能性が高くなり、省略できる演算処理の数も増える可能性が高くなる。
【０１０３】
そのため、本実施形態のように、最終的な終了判定基準を満たした選択信号ＳＳからさらに遅延回路DFFしか演算を行わない学習ユニットに対応する信号部分を削除して新たに最適化された選択信号ＳＳsuitを再構成することで、削除された学習ユニット分だけ処理時間が短縮され、処理速度が向上する。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【０１０４】
前述したように、本実施形態では１個の学習ユニットの処理あたり選択器４２と演算ユニット４１の２クロックを要するから、結局、削除された学習ユニットの個数の２倍のクロック数分の処理時間の短縮と処理速度の向上を図ることができる。また、本実施形態では１個の学習ユニットあたり９個の関数処理回路が用いられているから、その分リソースを減らすことができる。
【０１０５】
評価値Ｑ２、Ｑ３はそれぞれ前記のような意味を持つものであり、本実施形態では、出力画像Ｄoutと目標画像Ｔとの輝度値の差を小さくすることを前提としてリソースの低減と処理速度の向上との両方を達成することを目的として、前述したような厳しい最終的な終了判定の基準を設定した。しかし、リソースの数を減らすことを重視して評価値Ｑ２が高い個体を新たなエリートとしたり、処理時間の短縮や処理速度を向上を優先ために評価値Ｑ３が高い個体をエリートとして更新するように構成することも可能である。
【０１０６】
以上のように、本実施形態に係る画像処理装置１によれば、まず、従来の画像処理装置のような画像フィルタの組み合わせではなく、加算器ADDRのような単純な関数処理回路Ｆの組み合わせで構築された画像処理回路に対する画像処理手順を提供することができるため、その手順に従えば、画像処理の種類が画像フィルタやその組み合わせに制限されず、思い通りの画像処理を行うことが可能な画像処理回路を構築することが可能となる。
【０１０７】
また、本実施形態では、教師画像として目標画像Ｔを１種類だけ与えて学習を行う場合について述べたが、希望する画像処理を学習するためにさらに複数の教師画像に基づいて学習を行うことで、希望する画像処理をさらに精度良く行うことができる画像処理回路を構築するための画像処理手順を提供することが可能となる。
【０１０８】
さらに、本実施形態に係る画像処理装置１により出力される最適化された選択信号ＳＳsuitに従えば、処理プログラムによるソフトウエア処理と同等の画像処理をハードウエア処理で行ってクロック単位で演算処理を行うようにすることができるため、画像処理速度を飛躍的に向上させることが可能となり、画像データをリアルタイムに処理することが可能となる。
【０１０９】
また、選択信号ＳＳの最適化において、使用する関数処理回路Ｆの数が少ない選択信号に対してより良い評価を与えることで、出力される最適化された選択信号ＳＳsuitをリソースの数を低減可能な選択信号として出力することが可能になる。
【０１１０】
また、遅延回路DFFしか行わない学習ユニットは実装段階では省いてよい演算処理であるから、選択信号ＳＳの最適化において、遅延回路DFFしか行わない学習ユニットを多く含む選択信号に対してより良い評価を与えることで、最終的な終了判定基準を満たした選択信号ＳＳには遅延回路DFFしか行わない学習ユニットによる演算処理が多数含まれたものとなる。
【０１１１】
そのため、そのような選択信号ＳＳから遅延回路DFFしか演算を行わない学習ユニットに対応する信号部分を削除して新たに最適化された選択信号ＳＳsuitを再構成することで、削除された学習ユニット分だけ処理時間をさらに短縮することが可能となり、処理速度を向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【０１１２】
なお、学習手段６における遺伝的アルゴリズムを用いた学習において、個体の生成や交叉、突然変異の際に前述したような意味のない個体が生成等されないような制限を加えない場合には、学習ユニット４ａ〜４ｎに画素データを入力してもマルチプレクサ５からデータが出力されず、結果的に輝度値が０のデータが出力されたことと同じになる場合がある。
【０１１３】
このような場合に、教師画像である目標画像Ｔから任意に例えば１０個の画素を選択してそれらがすべて輝度値０の画素であると、意味のない個体の評価値Ｑ１が１という最高の評価を得てしまうため、目標画像Ｔから少数画素を選択して進化過程を進め意味があり評価値が高い個体を多数生き残らせて最適解への収束の速度を向上させるという目的が達成できなくなる。
【０１１４】
そのため、前記のような制限を設けずに目標画像Ｔから少数の画素を選択して進化過程を進める場合には、目標画像Ｔの輝度値が０でない画素の中から少数の画素を任意に選択して評価値Ｑ１の算出を行うように構成することが好ましい。
【０１１５】
また、学習手段６の終了判定手段６３において、選択信号ＳＳから遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分の削除に加えて、さらに、余分な関数処理回路Ｆを削除するように構成すれば、より少ないリソースで画像処理回路を構成することが可能となる。
【０１１６】
具体的には、例えば、本実施形態のように１個の学習ユニットにつき４個の加算器ADDRを設けたが、最適化された選択信号ＳＳsuitを解析して１個の学習ユニットにつき最大で３個の加算器ADDRしか使用していない場合には、選択信号ＳＳsuitを３個の加算器ADDRを用いるように改変して新たな最適化された選択信号ＳＳsuitとすることで、使用する加算器ADDRの数を低減させることが可能となる。
【０１１７】
さらに、本実施形態では、目標画像Ｔとして、抽出領域ＥＸの画素の輝度値が２５５、非抽出領域ＮＥの画素の輝度値が０の画像の場合を示したが、目標画像Ｔをこのような２値的な画像として作成する必要はなく、各画素が０〜２５５の輝度値を有する画像として作成することが可能である。
【０１１８】
また、本実施形態では、原画像Ｄすなわち学習ユニット４ａ〜４ｎの演算処理に入力される画像が１種類の画像である場合について述べたが、この他にも、例えば、２種類の画像を入力してその２種類の画像に対して加算や減算等を行うように構成することも可能である。
【０１１９】
例えば、２種類の画像を入力するように構成する場合には、本実施形態のシフトレジスタ３を２つ設け、２つのシフトレジスタから出力される１８個の画素データを学習ユニット４ａに入力するように構成する。また、学習ユニット４の演算ユニット４１の関数処理回路Ｆを計１８個備えるようにし、最終的に学習ユニット４ｎから出力される１８個のデータから１個のデータをマルチプレクサ５で選択して出力するように構成する。
【０１２０】
［第２の実施の形態］
次に、前記第１の実施形態に係る画像処理装置１を改良した画像処理装置について説明する。第１の実施形態と同様の機能を奏する部材については同一の符号を付して説明する。
【０１２１】
第２の実施形態に係る画像処理装置１０は、図１６に示すように、基本的には第１の実施形態に示した画像処理装置１の構成と同様であるが、学習手段６での学習により得られた最適化された選択信号ＳＳsuitがプロセッサ２に出力されるようになっていて、プロセッサ２から各学習ユニット４ａ〜４ｎに送られて各学習ユニット４ａ〜４ｎがセットアップされるようになっている。
【０１２２】
また、シフトレジスタ３には、外部から画像データＤinが入力されるようになっていて、マルチプレクサ５からの出力が出力データＤoutとして外部に出力されるようになっている。さらに、各学習ユニット４ａ〜４ｎの出力がすべてマルチプレクサ５に入力されるように配線されている。
【０１２３】
また、プロセッサ２は、学習手段６から送信されてきた最適化された選択信号ＳＳsuitをチェックして、選択信号ＳＳsuitの中に遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分があればその信号部分を選択信号ＳＳから削除して、最適化された選択信号ＳＳsuitを再構成するようになっている。
【０１２４】
なお、学習手段６による学習は画像処理装置１０の稼動開始前に行われ、画像処理装置１０の実稼動中には学習手段６の動作は停止されるようになっている。
【０１２５】
このように最適化された選択信号ＳＳsuitを再構成することで、遅延処理の演算しか行わない学習ユニットによる演算処理を削除し、その学習ユニットの処理下流側に遅延処理以外の演算処理を行う他の学習ユニットがある場合には当該他の学習ユニットの演算処理を上流側の学習ユニットに移すことが可能となる。
【０１２６】
そして、遅延処理以外の演算を行う最下流の学習ユニットから出力される処理結果がマルチプレクサ５に送信され、マルチプレクサ５がその学習ユニットからの出力を選択することで出力データＤoutが出力される。
【０１２７】
以上のように、本実施形態に係る画像処理装置１０によれば、前記第１の実施形態で述べた画像処理装置１の効果と同様の効果が有効に発揮され、画像データＤinをリアルタイムに画像処理することが可能となる。
【０１２８】
特に、再構成された最適化された選択信号ＳＳsuitにより、遅延処理の演算しか行わない学習ユニットの演算処理を削除して、その処理下流側で行われる遅延処理以外の演算処理をより上流側の学習ユニットで行うことが可能となる。また、遅延処理の演算しか行わない学習ユニットの演算処理を削除して、その出力を直接マルチプレクサ５に入力させることができる。
【０１２９】
そのため、遅延処理の演算しか行わない学習ユニットの演算処理が削除される分だけ処理時間をさらに短縮することが可能となり、処理速度を向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【０１３０】
また、本実施形態に係る画像処理装置１０では、学習手段６の構成がそのまま残されているため、学習手段６で初期個体を新たに生成して別の教師画像に基づいて学習を行って最適化された選択信号ＳＳsuitを得ることで既に学習された画像処理とは異なる種類の画像処理を行うことが可能となり、新たな画像処理の機能を獲得することが可能となる。
【０１３１】
なお、本実施形態に係る画像処理装置１０を、最初に学習された画像処理に専用の装置とする場合には、遅延処理以外の演算処理を行う最終の学習ユニットからの出力のみをマルチプレクサ５に入力するように配線することができる。
【０１３２】
［第３の実施の形態］
次に、前記第１の実施形態に係る画像処理装置１の改良型として、最適化された選択信号ＳＳsuitを用いて画像処理を行う画像処理装置について説明する。
【０１３３】
第３の実施形態に係る画像処理装置では、各関数処理回路Ｆを図１に示した学習ユニットのように構成しない場合もある。しかし、その場合でも、最適化された選択信号ＳＳsuitの中に遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分があるときは、その信号部分を選択信号ＳＳsuitから削除して最適化された選択信号ＳＳsuitを再構成したうえで、再構成された選択信号ＳＳsuitに基づいて加算器ADDRや減算器SUB、乗算器MULT、絶対値ABS、遅延回路DFF、含意素子IF_THEN等を接続して関数処理回路による画像処理回路を構築する。
【０１３４】
このように再構成された最適化された選択信号ＳＳsuitに基づいて画像処理回路を構築することで、本実施形態に係る画像処理装置では、前記第１の実施形態で述べた画像処理装置１の効果と同様の効果が有効に発揮され、画像データをリアルタイムに画像処理することが可能となる。
【０１３５】
また、最適化された選択信号ＳＳsuitの中の遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分を削除して画像処理回路を構築できるので、その分処理時間をさらに短縮することが可能となり、処理速度を向上させることが可能となる。また、削除された学習ユニットに対応する分だけ少ないリソースで画像処理回路を構成することが可能となる。
【０１３６】
さらに、最適化された選択信号ＳＳsuitに基づいてデータの演算処理に関与しない関数処理回路を省いて画像処理回路を構築することができるため、さらに少ないリソースで画像処理回路を構成することが可能となる。
【図面の簡単な説明】
【０１３７】
【図１】第１実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】シフトレジスタ内での画素データのシフトを説明する図である。
【図３】演算処理の対象となる３×３画素の画素データのシフトレジスタ内での番地を示す図である。
【図４】ｎ×ｎ画素の画素データのシフトレジスタ内での保存位置を示す図である。
【図５】学習ユニットの構成を示すブロック図である。
【図６】本実施形態における学習ユニットの構成例を示すブロック図である。
【図７】選択信号の構成を示す図である。
【図８】図７の選択信号が割り当てられた学習ユニットにおけるデータ処理の流れを説明する図である。
【図９】本実施形態で用いられる原画像を示す図である。
【図１０】本実施形態で用いられる目標画像を示す図である。
【図１１】重み画像を示す図である。
【図１２】学習手段の構成を示すブロック図である。
【図１３】目標画像中から選択された画素を表す図である。
【図１４】図１３の画素に対応する原画像中の画素位置に抽出された画素の組を表す図である。
【図１５】遅延回路しか演算を行わない学習ユニットの例を示す図である。
【図１６】第２実施形態に係る画像処理装置の構成を示すブロック図である。
【図１７】画像フィルタを木構造状に組み合わせた処理プログラムを表す図である。
【符号の説明】
【０１３８】
１、１０ 画像処理装置
４ 学習ユニット
４１ 演算ユニット
４２ 選択器
６ 学習手段
Ｆ 関数処理回路
DFF 遅延回路
ＳＳ 選択信号
ＳＳsuit 最適化された選択信号
ＣＬＫ クロック信号
Ｔ 目標画像
Ｄout 出力画像
Ｑ１、Ｑ２、Ｑ３ 評価値
Ｍ 関数処理回路の数
Ｎ 遅延回路しか演算を行わない学習ユニットの数
Ｐ 教師画像中から選択された画素
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特に、画像処理を行うための関数処理回路を選択する選択信号を学習により形成可能な画像処理装置に関する。
【背景技術】
【０００２】
近年、ＴＶカメラやＣＣＤカメラ等の画像入力手段で被写体や風景等を撮像し、得られた動画像に画像処理を施して、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出するための画像処理装置の研究が盛んに行われている。
【０００３】
静止画像に対する画像処理としては、各種画像フィルタを図１７に示すように木構造状に組み合わせた処理プログラムに基づいて入力画像に画像処理を施す画像処理技術（ＡＣＴＩＴ、非特許文献１参照）が開発されている。
【非特許文献１】青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記のような画像処理装置では、画像処理に用いられる画像フィルタの組み合わせの範囲内でしか画像処理を行うことができず、必ずしも思い通りの画像処理を行うことができない場合がある。また、学習の際に予めどのような種類の画像フィルタをそれぞれ何個ずつ用意するかによって画像処理の最適化が制限を受ける。
【０００５】
一方、このような画像処理装置を車両やロボット等に搭載する場合、例えば、汎用コンピュータを用いて画像処理装置を構成し、前記処理プログラムをソフトウエア処理するように構成すると画像処理に時間がかかる。そのため、画像データをリアルタイムに処理すること、すなわち実用的な時間内で処理することが必ずしも容易にはできない。
【０００６】
本発明は、前記事情に鑑みてなされたものであり、画像フィルタに制限されずに希望する画像処理回路を構築することを可能とする画像処理手順を学習することができる画像処理装置を提供することを目的とする。さらに、画像処理の処理速度を向上させることが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記の問題を解決するために、第１の発明は、
画像処理の手順を学習する画像処理装置であって、
関数処理回路が並列に配置された演算ユニットと前記各関数処理回路に入力するデータを選択する選択器とからなる学習ユニットと、
前記学習ユニットによる演算の順序を最適化する学習手段とを備え、
前記学習ユニットは、複数個が直列に連結され、
前記複数の学習ユニットの各選択器は、画像処理の手順を示す選択信号に従って各関数処理回路に入力するデータを選択し、
前記学習手段は、各学習ユニットの選択器に割り当てる前記選択信号を学習により最適化することを特徴とする。
【０００８】
第２の発明は、第１の発明の画像処理装置において、前記学習ユニットは、自らに属する各選択器からそれぞれに対応する関数処理回路へのデータの入力をクロック信号に合わせ同期させて行うことを特徴とする。
【０００９】
第３の発明は、第１または第２の発明の画像処理装置において、前記学習手段は、各学習ユニットの選択器に割り当てる前記選択信号の列を遺伝子とし、画像処理により得られるべき目標画像を教師画像として遺伝的アルゴリズムの手法に基づいて学習を行うことを特徴とする。
【００１０】
第４の発明は、第３の発明の画像処理装置において、前記学習手段は、前記遺伝子が前記関数処理回路に用いられる定数を含み、前記学習により前記定数の最適化を同時に行うことを特徴とする。
【００１１】
第５の発明は、第３または第４の発明の画像処理装置において、前記学習手段は、前記学習において、教師画像である画像処理により得られるべき目標画像と演算により算出された出力画像との各画素の輝度値の差に基づいて評価値を算出することを特徴とする。
【００１２】
第６の発明は、第３から第５の発明のいずれかの画像処理装置において、前記学習手段は、前記学習において、演算を行う前記関数処理回路の数に基づいて評価値を算出することを特徴とする。
【００１３】
第７の発明は、第３から第６の発明のいずれかの画像処理装置において、
前記関数処理回路は、入力されたデータを１クロック分遅延させる機能を有する遅延回路を含み、
前記学習手段は、前記学習において、前記遅延回路しか演算を行わない学習ユニットの数に基づいて評価値を算出することを特徴とする。
【００１４】
第８の発明は、第７の発明の画像処理装置において、前記学習手段は、算出した最適化された前記選択信号から前記遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分を削除して新たに最適化された選択信号を再構成して出力することを特徴とする。
【００１５】
第９の発明は、第３から第８の発明のいずれかの画像処理装置において、前記学習手段は、前記教師画像中から任意に選択された所定個数の画素について評価値の算出を行うことを特徴とする。
【００１６】
第１０の発明は、第３から第８の発明のいずれかの画像処理装置において、前記学習手段は、前記教師画像の輝度値が０でない画素の中から任意に選択された所定個数の画素について評価値の算出を行うことを特徴とする。
【００１７】
第１１の発明は、第１から第１０の発明のいずれかの画像処理装置であって、
前記画像処理装置の学習手段により最適化された前記選択信号に従って画像処理を行わせると遅延処理の演算しか行わない学習ユニットがある場合には、当該学習ユニットによる演算処理を削除し、当該学習ユニットの処理下流側に遅延処理以外の演算を行う他の学習ユニットがある場合には当該他の学習ユニットの演算処理を上流側の学習ユニットに移して、遅延処理以外の演算を行う最下流の学習ユニットから出力される処理結果を出力することを特徴とする。
【００１８】
第１２の発明は、第１から第１０の発明のいずれかの画像処理装置であり、最適化された前記選択信号に基づいて画像処理を行う画像処理装置であって、
前記画像処理装置が前記選択信号に従って画像処理を行った場合に遅延処理の演算しか行わない学習ユニットに対応する演算処理があるときは、前記選択信号から当該演算処理に対応する信号部分を削除して選択信号を再構成し、再構成された選択信号に基づいて前記関数処理回路による画像処理回路を構築することを特徴とする。
【発明の効果】
【００１９】
第１の発明によれば、従来の画像処理装置のような画像フィルタの組み合わせではなく加算器のような単純な関数処理回路の組み合わせで構築された画像処理回路に対する画像処理手順を提供することができる。そのため、その手順に従えば、画像処理の種類が画像フィルタやその組み合わせに制限されずに思い通りの画像処理を行うことが可能な画像処理回路を構築することが可能となる。
【００２０】
また、希望する画像処理を学習するために複数の教師画像に基づいて学習を行うことで、希望する画像処理をさらに精度良く行うことができる画像処理回路を構築するための画像処理手順を提供することが可能となる。
【００２１】
さらに、第１の発明に係る画像処理装置により出力される最適化された選択信号に従えば、処理プログラムによるソフトウエア処理と同等の画像処理をハードウエア処理で行ってクロック単位で演算処理を行うようにすることができるため、画像処理装置の画像処理速度を飛躍的に向上させることが可能となり、画像データをリアルタイムに処理することが可能となる。
【００２２】
第２の発明によれば、前記第１の発明の効果に加え、関数処理回路の演算処理をクロック信号に合わせて同期させて行うことが可能となるため、関数処理回路による処理時間の違いに起因して演算処理に乱れが生じることを防止することが可能となり、的確なタイミングで演算処理を行って最適化された選択信号を確実に獲得することが可能となる。
【００２３】
第３の発明によれば、前記各発明の効果に加え、遺伝的アルゴリズムの手法に基づく学習により最適化された選択信号を得ることで、人為的に最適化された選択信号を構成する場合と比較して、効率良くかつより的確に最適化された選択信号を獲得することが可能となる。
【００２４】
第４の発明によれば、前記各発明の効果に加え、遺伝的アルゴリズムの手法に基づいて関数処理回路の定数の最適値を容易にかつ的確に獲得することが可能となる。
【００２５】
第５の発明によれば、前記各発明の効果に加え、選択信号の最適化において、教師画像と出力画像との各画素の輝度値の差に基づいて評価値を算出することで、入力画像に演算処理を施して教師画像をより良く再現し、希望する画像処理を的確に行うことを可能にする最適化された選択信号を獲得することが可能となる。
【００２６】
第６の発明によれば、前記各発明の効果に加え、選択信号の最適化において、演算を行う関数処理回路の数に基づいて評価値を算出し、使用する関数処理回路の数が少ない選択信号に対してより良い評価を与えることで、出力される最適化された選択信号をリソースの数を低減可能な選択信号として出力することが可能になる。
【００２７】
第７の発明によれば、前記各発明の効果に加え、選択信号の最適化において、遅延回路しか演算を行わない学習ユニットの数に基づいて評価値を算出し、そのような学習ユニットを多く含む選択信号に対してより良い評価を与えることで、最適化された選択信号には遅延回路しか行わない学習ユニットによる演算処理が多数含まれたものとなる。
【００２８】
そのため、装置への実装の段階で、例えば、遅延回路しか演算を行わない学習ユニットによる演算処理を削除することで削除された学習ユニット分だけ処理時間をさらに短縮することが可能となり、処理速度をさらに向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【００２９】
第８の発明によれば、遅延回路しか行わない学習ユニットによる演算処理が多数含まれた最適化された選択信号からそのような学習ユニットに対応する信号部分を削除して新たに最適化された選択信号を再構成することで、再構成された選択信号が実装された装置では、削除された学習ユニット分だけ処理時間をさらに短縮することが可能となり、処理速度をさらに向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。このように第８の発明では、前記第７の発明の効果がより的確に発揮される。
【００３０】
第９の発明によれば、学習手段における学習の際、例えば、２５６×２５６画素の画像に対して最初から全画素について遺伝的アルゴリズムの手法を適用すると探索範囲が非常に大きくなり最適解に収束するまでの時間が非常に長くかかるが、少数の画素に限定して個体を進化させることで、少数の画素に対しても評価が低いような選択信号を有する個体が早急に淘汰される。
【００３１】
そのため、前記各発明の効果に加え、最終的に全画素について遺伝的アルゴリズムの手法を適用する際には、既に評価値がある程度高い個体が比較的多数存在する状態となり、最適解への収束の速度を向上させることが可能となる。
【００３２】
第１０の発明によれば、学習手段における学習において、入力に対して出力を与えないような意味のない選択信号を有する個体が生成されることを許す場合、意味のない選択信号からの出力画像の各画素の輝度値は０になる。一方、前記第９の発明のように教師画像の全画素中から選択された少数の画素の輝度値が０であると、意味のない個体が最高の評価を得てしまうため、意味があり評価値が高い個体を多数生き残らせて最適解への収束の速度を向上させるという目的が達成できなくなる。
【００３３】
そのため、前記のような場合には、教師画像の輝度値が０でない画素の中から少数の画素を任意に選択して評価値の算出を行うことで、前記第９の発明と同様の効果を得ることが可能となる。
【００３４】
第１１の発明によれば、画像処理装置において、遅延処理の演算しか行わない学習ユニットによる演算処理を削除し、当該学習ユニットの処理下流側で行われる遅延処理以外の演算を上流側に移すことで、前記各発明の効果が的確に発揮されるとともに、遅延処理の演算しか行わない学習ユニットの演算処理が削除される分だけ処理時間をさらに短縮し、処理速度を向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【００３５】
第１２の発明によれば、前記各発明の効果が的確に発揮されるとともに、最適化された選択信号の中に存在する遅延処理の演算しか行わない学習ユニットに対応する演算処理の信号部分を削除して選択信号を再構成し、再構成された選択信号に基づいて組み立てられた関数処理回路によって画像処理を行うことで、前記削除された信号部分の分だけより少ないリソースで画像処理回路を構成することが可能となる。また、その分処理時間をさらに短縮することが可能となり、処理速度を向上させることが可能となる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明に係る画像処理装置の実施の形態について、図面を参照して説明する。
【００３７】
［第１の実施の形態］
第１の実施形態では、画像処理装置がＦＰＧＡ（Field Programmable Gate Array）評価用ボード（ALTERA社製）上に構築される場合について述べるが、これに限定されない。
【００３８】
本実施形態に係る画像処理装置１は、画像処理の手順を自律的に学習する装置である。画像処理装置１は、図１に示すように、プロセッサ２と、シフトレジスタ３と、複数の学習ユニット４と、マルチプレクサ５と、学習手段６とを備えている。
【００３９】
本実施形態では、画像処理の対象となる画像データは、画像を構成する各画素の０〜２５５の２５６階調の輝度階調に補正された輝度値のデータであり、以下、個々の画素の輝度値のデータを画素データという。また、本実施形態では、画像のサイズが２５６×２５６画素であり、また、画像中の３×３画素を対象に画像処理を行う場合について説明する。
【００４０】
また、本実施形態では、画像のデータは、原画像の水平方向に延びる１画素幅のライン上を左端の画素から右方向に、かつ、最上端のラインから順次下方のラインに向かう順番で１画素ずつ入力され画像処理される場合について述べる。
【００４１】
プロセッサ２は、シフトレジスタ３や学習ユニット４、マルチプレクサ５にクロック信号ＣＬＫを送信してそれらをクロックに同期させて動作させるようになっている。また、各学習ユニット４とマルチプレクサ５に後述する学習手段６から送信されてくる選択信号ＳＳを送信するようになっている。
【００４２】
シフトレジスタ３はラインバッファ機能を有し、少なくとも５１４個の画素データを一時保存できるようになっている。シフトレジスタ３には、図２（Ａ）〜（Ｃ）に示すように、画素データがクロックごとに学習手段６から順次入力されるようになっており、シフトレジスタ３はこれらの画素データを順々にシフトさせるようになっている。なお、図２（Ａ）〜（Ｃ）で、００、０１、０２はそれぞれ画像の第０行第０列目、第０行第１列目、第０行第２列目の画素データを表している。
【００４３】
シフトレジスタ３は、先頭の画素データが図３に示すように５１３番地にシフトしたクロックタイミングで、２５６番地の画素データを中心に０、１、２５５、２５６、２５７、５１１、５１２、５１３の各番地の画素データとこのクロックタイミングで入力された画素データとの９個の画素データを学習ユニット４に送信するようになっている。
【００４４】
また、シフトレジスタ３は、次のクロックタイミングでそれらの画素データをシフトさせるとともに、シフトされた前記番地の８個の画素データとこのクロックタイミングで入力された画素データとの９個の画素データを学習ユニット４に送信するようになっている。以下、この動作を繰り返す。
【００４５】
なお、２５６×２５６画素の画像中のｎ×ｎ画素を対象に画像処理を行う場合には、図４に示すように、シフトレジスタ３は少なくとも２５７×（ｎ−１）個の画素データを一時保存できる容量を有するものであることが望ましい。
【００４６】
学習ユニット４は、図５に示すように、関数処理回路Ｆ１〜Ｆ９が並列に配置された演算ユニット４１と、演算ユニット４１の各関数処理回路Ｆ１〜Ｆ９に入力する画像データを選択する選択器４２とで構成されている。演算ユニット４１の各関数処理回路Ｆ１〜Ｆ９および選択器４２にはそれぞれプロセッサ２からのクロック信号ＣＬＫが入力されるようになっている。
【００４７】
演算ユニット４１の関数処理回路Ｆには、２入力の加算器ADDRや減算器SUB、１入力の乗算器MULTや絶対値ABS、遅延回路DFF、含意素子IF_THEN等の単純な演算を行う関数処理回路が用いられている。
【００４８】
ここで、本実施形態では、乗算器MULTは入力されたデータを定数倍するものであり、その定数は学習手段６における学習で最適化されるようになっている。また、本実施形態では、定数は各学習ユニット４で同一の値とされているが、異なった値としてもよい。また、遅延回路DFFにはディレイフリップフロップ（Delay flip-flop）が用いられており、1クロックの遅延が行われるようになっている。さらに、本実施形態では、含意素子IF_THENは入力されるデータの値が２５５より大きい場合には２５５にするようになっている。
【００４９】
以下、演算ユニット４１の関数処理回路Ｆの構成例として、図６に示すように、加算器ADDRを４個、減算器SUB、乗算器MULT、絶対値ABS、遅延回路DFF、含意素子IF_THENをそれぞれ１個ずつの計９個の関数処理回路を組み合わせる場合について述べる。しかし、関数処理回路Ｆの構成はこれに限定されず、用いられる関数処理回路Ｆの種類や数は適宜設定される。また、学習ユニット４の数も適宜設定される。
【００５０】
選択器４２には、学習手段６からプロセッサ２を経由して送信される選択信号ＳＳが入力されるようになっている。また、本実施形態では、選択器４２には、シフトレジスタ３や処理の上流側の学習ユニット４から９個のデータが入力され、２入力の４個の加算器ADDRおよび減算器SUBにそれぞれ２個ずつ、および１入力の乗算器MULT、絶対値ABS、遅延回路DFF、含意素子IF_THENにそれぞれ１個ずつデータを入力するために計１４個のデータを出力するようになっている。
【００５１】
選択器４２の構造は、図６の円内に示される拡大図のように、１個の出力につきそれぞれ１個のマルチプレクサ様の素子が対応付けられており、素子により入力された９個のデータの中から１つのデータが選択されて出力され、対応する関数処理回路Ｆに入力されるようになっている。本実施形態では、選択器４２には１４個のマルチプレクサ様の素子が内蔵されている。
【００５２】
また、選択器４２のそれぞれの素子は、学習手段６から送信される選択信号ＳＳに従って対応する関数処理回路に入力するデータを選択し、或いは選択せずに関数処理回路にデータを入力しないようになっている。
【００５３】
選択信号ＳＳは、各学習ユニット４に画像処理の手順を示すための信号であり、本実施形態では、例えば図７に示すように、各学習ユニット４の選択器４２の各素子およびマルチプレクサ５が選択すべき入力データ番号が列記された選択信号の列である。各学習ユニット４の選択器４２は選択信号ＳＳの中から自らが指定されている数値部分を読み出して、各素子に選択信号を予め割り当てるようになっている。なお、図７の選択信号ＳＳ中、−で示される数値部分は選択信号が割り当てられていないことを示しており、対応する素子からはデータが出力されない。
【００５４】
図７に示した選択信号ＳＳの例では、選択信号ＳＳが入力されると、学習ユニット４ａの選択器４２ａは１番目の素子に０、２番目の素子に１、…、８番目の素子に８、１１番目の素子に４をそれぞれ割り当て、学習ユニット４ｂの選択器４２ｂは１番目の素子に０、…、４番目の素子に３、１３番目の素子に６をそれぞれ割り当ててセットアップする。
【００５５】
各素子は、図８に示すように、このようにして予め割り当てられた選択信号に従ってそれぞれの番号の入力データを選択して対応する関数処理回路Ｆにデータを送信するようになっている。このように、各学習ユニット４の選択器の各素子に選択信号が割り当てられることで、各学習ユニット４による画像処理の手順が決定される。
【００５６】
また、選択器４２は、プロセッサ２から送信されるクロック信号ＣＬＫの立ち上がりに合わせて各素子からデータを出力させて対応する各関数処理回路Ｆにデータを同期させて入力し、演算ユニット４１の各関数処理回路Ｆは、次のクロック信号ＣＬＫの立ち上がりで同時に演算を開始して演算後のデータを出力するようになっている。
【００５７】
なお、図１に示した複数の学習ユニット４ａ〜４ｎは、すべて図５や図６に示した学習ユニット４と同一の構成を有している。そして、選択信号ＳＳによって処理に供される関数処理回路Ｆが選択され、それぞれ異なる演算を行うようになっている。
【００５８】
マルチプレクサ５には、処理の最下流の学習ユニット４ｎからの出力データが入力されるようになっており、マルチプレクサ５は、学習手段６からプロセッサ２を経由して送信される選択信号ＳＳに従って入力されたデータの中からデータを選択して出力するようになっている。
【００５９】
学習手段６は、図１に示すように、学習ユニット４ａ〜４ｎの各選択器に割り当てる選択信号ＳＳを予め学習により最適化し、最適化された選択信号ＳＳsuitを出力するように構成されている。
【００６０】
本実施形態では、学習は、遺伝的アルゴリズムの手法に基づいて行われるようになっており、学習手段６には、学習に用いられる図９に示すような原画像Ｄと教師画像としての画像処理により得られるべき図１０に示すような目標画像Ｔが入力されるようになっている。また、評価値の算出の際に重み付けするための図１１に示すような重み画像Ｗを入力しておくことも可能である。
【００６１】
なお、目標画像Ｔおよび重み画像Ｗは原画像Ｄに基づいて予め作成される。図１０に示した目標画像Ｔは、抽出領域ＥＸに属する画素の輝度値は２５５に、非抽出領域ＮＥに属する画素の輝度値は０になるように作成されている。また、図１１に示した重み画像Ｗは、目標画像Ｔの抽出領域ＥＸと非抽出領域ＮＥに対応してそれぞれの領域で重みｗがそれぞれの面積比の逆数の比になるように作成されるようになっている。
【００６２】
原画像Ｄ、目標画像Ｔおよび重み画像Ｗは学習手段６の図示しない記憶手段に保存されるようになっている。
【００６３】
一方、本実施形態に係る学習手段６では、まず、教師画像である目標画像Ｔ中の１０画素等の所定個数の画素に対して学習を行い、その後、目標画像Ｔの全画素に対して学習を行うように構成されている。
【００６４】
また、個体の評価を、出力画像Ｄoutと目標画像Ｔとの各画素の輝度値の差のほか、出力画像Ｄoutを得るために用いた関数処理回路の数や、遅延回路しか演算を行わない学習ユニットを除いた実質的な演算を行う学習ユニットの数に基づいて判断するように構成されている。
【００６５】
図１２は、本実施形態に係る学習手段の構成を示すブロック図である。学習手段６は、初期個体生成手段６１と、評価値算出手段６２と、終了判定手段６３と、親選択手段６４と、交叉手段６５と、突然変異手段６６とを備えている。
【００６６】
初期個体生成手段６１は、学習開始指示に応じて、図７に示したような各学習ユニット４ａ〜４ｎの各選択器およびマルチプレクサ５に割り当てる選択信号ＳＳの列を遺伝子とする個体をランダムに例えば１００個体等の一定数生成させるようになっている。また、初期個体生成手段６１は、各個体ごとに乗算器MULTで用いられる定数をランダムに生成させて選択信号ＳＳのヘッダに書き込むようになっている。定数を各学習ユニット４ａ〜４ｎで個別に設定する場合には、各学習ユニット４ａ〜４ｎのそれぞれについて定数をランダムに生成させてヘッダに書き込む。
【００６７】
個体を生成し或いは交叉させ突然変異させる際には、意味のない個体が生じるような生成や交叉、突然変異を行わないように予め設定しておくことが好ましい。ここで、意味のない個体とは、その個体に含まれる選択信号ＳＳに従うと、例えば、学習ユニット４の関数処理回路Ｆで演算されて出力されたデータが次の学習ユニット４での演算に用いられなかったり、学習ユニット４の関数処理回路Ｆからデータの出力がないにもかかわらずその関数処理回路Ｆからの出力を次の学習ユニット４の関数処理回路Ｆに入力するような個体である。また、最終の学習ユニット４ｎからの出力データをマルチプレクサ５が誤った選択をして出力しないような個体も意味のない個体とされる。
【００６８】
評価値算出手段６２は、図１３に示すように、入力された教師画像である目標画像Ｔの画像中から例えば１０個の画素Ｐをランダムに選択する。また、図１４に示すように、目標画像Ｔ中から選択された１０個の画素Ｐのそれぞれについて、原画像Ｄ中から対応する位置の画素を抽出し、その画素およびその周囲の８画素の計９画素の画素データをそれぞれ画素データの組ＣＯＭとして抽出するようになっている。なお、図１３や図１４では、画素が実際より大きく表現されている。また、１０個の画素Ｐは各世代ごとにランダムに選択される。
【００６９】
評価値算出手段６２は、続いて、初期個体生成手段６１から送信されてきた全個体中の１つの個体について、それに含まれる選択信号ＳＳをプロセッサ２を介して各学習ユニット４ａ〜４ｎに送信して各選択器４２の各素子をセットアップする。また、各学習ユニット４ａ〜４ｎは、ヘッダから乗算器MULTの定数を読み出して、自らの演算ユニット４１の乗算器MULTをセットアップする。
【００７０】
そして、評価値算出手段６２は、前記画素データの組ＣＯＭの９個の画素データをシフトレジスタ３を介さずに１組ずつ直接学習ユニット４ａに入力する。学習ユニット４ａ〜４ｎでは９個の画素データの入力に対して演算が行われ、マルチプレクサ５から１つの画素画像Ｄoutの画素データが出力されて評価値算出手段６２に入力される。
【００７１】
評価値算出手段６２は、このシミュレーション演算を組ＣＯＭのすべてについて行い、その個体について、目標画像Ｔと出力画像Ｄoutとの各画素の輝度値の差に基づく評価値Ｑ１を下記（１）式に従って算出するようになっている。
【００７２】
【数１】
【００７３】
ここで、本実施形態では、前記（１）式のｍは１０であり、Ｔｋはｋ番目の画素Ｐの輝度値、Ｄoutｋは対応するｋ番目の組ＣＯＭに基づいて算出された出力画像Ｄoutの画素の輝度値を表す。
【００７４】
なお、前述した重み画像Ｗを用いて下記（２）式に従って評価値Ｑ１を重み付けして算出することも可能である。
【００７５】
【数２】
【００７６】
ここで、Ｗｋは、目標画像Ｔのｋ番目の画素Ｐに対応する重み画像Ｗ上の位置の画素の輝度値を表す。ｍ、Ｔｋ、Ｄoutｋについては前記（１）式と同様である。
【００７７】
また、評価値算出手段６２は、同時に、個体に含まれる選択信号ＳＳから出力画像Ｄoutを得るために用いた関数処理回路の数Ｍおよび遅延回路DFFしか演算を行わない学習ユニットの数Ｎを算出し、下記（３）式および（４）式に従って評価値Ｑ２、Ｑ３を算出するようになっている。なお、下記（３）式のＦＮは本実施形態における関数処理回路Ｆの総数を表し、下記（４）式のＵＮは本実施形態における学習ユニット４の総数を表す。
【００７８】
【数３】
【００７９】
なお、遅延回路DFFしか演算を行わない学習ユニットとは、例えば図１５に示すような学習ユニットをいい、図８に示した学習ユニット４ｂのように遅延回路DFFの演算を行うが他の関数処理回路Ｆでも演算を行う学習ユニットは含まれない。また、遅延回路DFFを複数備える学習ユニットにおいて複数の遅延回路DFFで演算が行われ他の関数処理回路Ｆでは演算が行われないような学習ユニットは遅延回路DFFしか演算を行わない学習ユニットに含まれる。さらに、図８において、例えば学習ユニット４ａでは遅延回路DFFしか演算を行わずその出力データに対して学習ユニット４ｂの加算器ADDRによる演算が行われるような場合には、学習ユニット４ａが遅延回路DFFしか演算を行わない学習ユニットに含まれる。
【００８０】
評価値算出手段６２は、評価値Ｑ２、Ｑ３を評価値Ｑ１とともにそれぞれ各個体に対応付けるようになっている。評価値算出手段６２は、以上のようにして１００個の個体すべてについて評価値Ｑ１、Ｑ２、Ｑ３を算出するようになっている。
【００８１】
終了判定手段６３は、評価値算出手段６２から送信された各個体とメモリ６７にエリート保存されている個体があればそれを含めてすべての個体の中で評価値Ｑ１が目標評価値である１に達した個体がなければ、各個体を親選択手段６４に送信するようになっている。
【００８２】
親選択手段６４は、各個体の中で評価値Ｑ１が最も高い個体をエリート保存してメモリ６７に隔離するとともに、その個体のコピーと残りの個体との中から評価値Ｑ１に基づいてトーナメント選択により次世代に残すべき１００個体の処理プログラムの選択およびそれらの処理プログラムの増殖を行うようになっている。なお、ルーレット選択や期待値選択、ランキング選択等の他の方法で親選択を行うことも可能である。
【００８３】
交叉手段６５では、親選択手段６４で選択され増殖された親個体について２個体ずつ対にして、それぞれの個体対ごとにランダムに選ばれた交叉部分で所定の割合で互いに交叉させて、子個体を生成させるようになっている。また、突然変異手段６６では、各個体ごとに所定の割合で選択信号ＳＳの数値の変更や選択信号ＳＳのヘッダ部分に書き込まれた乗算器MULTの定数の変更等が行われるようになっている。
【００８４】
このようにして、評価値Ｑ１が１の個体が現れるまで前記シミュレーション演算や世代交代が繰り返されるようになっている。
【００８５】
終了判定手段６３は、評価値Ｑ１が目標評価値である１の個体が現れると、評価値算出手段６２に対して目標画像Ｔの画像中からランダムに選択する画素Ｐの数を１００個に増やすように指示を出すようになっている。
【００８６】
そのため、評価値算出手段６２では、次世代からは、目標画像Ｔ中から選択された１００個の画素Ｐのそれぞれについて、原画像Ｄ中から対応する位置の画素を抽出し、その画素およびその周囲の８画素の計９画素の画素データをそれぞれ画素データの組ＣＯＭを１００組抽出するようになっている。そして、その１００組についてシミュレーション演算を行い、前記（１）式または（２）式中のｎを１００として各個体について評価値Ｑ１を新たに算出するようになっている。
【００８７】
このように、終了判定手段６３は、評価値Ｑ１が設定された目標評価値に達した個体が現れると、目標画像Ｔ中からランダムに選択する画素数を増やすように評価値算出手段６２に指示を送るようになっている。画素数はこの後、例えば１０００画素、１００００画素のように増加され、最終的には原画像Ｄの全画素数である２５６×２５６＝６５５３６画素まで増加される。また、目標評価値は、例えば１０画素では１、１００画素では０．９５、１０００画素では０．９、１００００画素では０．８５のように徐々に小さい値が設定されるようになっている。
【００８８】
なお、目標画像Ｔ中からランダムに選択する画素数を増やす基準を、例えば設定された世代数ごととすることも可能である。また、画素数が原画像Ｄの全画素数まで増加された段階で、評価値算出手段６２は、原画像Ｄの水平方向に延びる１画素幅のライン上を左端の画素から右方向に、かつ、最上端のラインから順次下方のラインに向かう順番で１画素ずつ画素データをシフトレジスタ３に入力する。シフトレジスタ３からは９個の画素データが順次学習ユニット４ａに入力される。
【００８９】
一方、学習手段６は、終了判定手段６３により評価値算出手段６２におけるシミュレーション演算の範囲が原画像Ｄの全画素まで拡大され、評価値Ｑ１が例えば０．８等に設定された目標評価値以上の個体が現れると、エリート保存の基準と終了判定の基準を変更するようになっている。
【００９０】
具体的には、本実施形態では、親選択手段６４は、メモリ６７に保存されているエリート個体の評価値Ｑ１、Ｑ２、Ｑ３のいずれに対してもそれらに等しいかそれらを上回る評価値Ｑ１、Ｑ２、Ｑ３を有する個体が現れない限りエリートを更新しないようになっている。すなわち、評価値Ｑ１がエリート以上の個体が現れても、その個体の評価値Ｑ２或いは評価値Ｑ３がエリートの評価値Ｑ２或いは評価値Ｑ３より小さければエリートとしないようになっている。
【００９１】
また、終了判定手段６３は、終了判定の基準を変更するようになっている。本実施形態では、終了判定手段６３は、原画像Ｄの全画素に対するシミュレーション演算で評価値Ｑ１が０．８以上の個体が現れた段階で、予め設定された最終的な目標評価値Ｑａ、Ｑｂ、Ｑｃ以上の評価値Ｑ１、Ｑ２、Ｑ３を有する個体が現れることを最終的な終了判定の基準として設定するようになっている。なお、この他にも、例えば、予め設定された世代数に達した時点で終了することを最終的な終了判定の基準として設定するように構成することも可能である。
【００９２】
終了判定手段６３は、この最終的な終了判定基準が満たされたと判定すると、以上のルーチンを終了するようになっている。そして、終了判定手段６３は、最終的な終了判定基準を満した個体からそれに含まれる選択信号ＳＳを抽出し、選択信号ＳＳに遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分があればその信号部分を選択信号ＳＳから削除するようになっている。
【００９３】
終了判定手段６３は、このようにして再構成した選択信号ＳＳを、各学習ユニット４ａ〜４ｎに割り当てるべき最適化された選択信号ＳＳsuitとして出力するようになっている。
【００９４】
次に、本実施形態に係る画像処理装置１の作用について説明する。
【００９５】
本実施形態の画像処理装置１のプロセッサ２、シフトレジスタ３、学習ユニット４およびマルチプレクサ５の作用については前記構成で述べたとおりであるので説明を省略する。
【００９６】
学習手段６は、まず、初期個体生成手段６１が生成した個体の中から、前記（１）式または（２）式に従って算出される評価値Ｑ１が低い個体すなわち教師画像である目標画像Ｔと出力画像Ｄoutとの各画素の輝度値の差が大きい個体を淘汰するために、目標画像Ｔ上の限定された数の画素を対象として進化過程を進める。
【００９７】
このように少数の画素に限定して個体を進化させることで、目標画像Ｔ上の限定された数の画素を対象としても目標画像Ｔとの輝度値の差が大きい出力画像Ｄoutしか出力できないような選択信号ＳＳを有する個体が早急に淘汰される。
【００９８】
従って、終了判定手段６３が評価値算出手段６２におけるシミュレーション演算の範囲を原画像Ｄの全画素まで拡大する際には、既に目標画像Ｔとの距離が近い出力画像Ｄoutを出力させ得る選択信号ＳＳを含む個体が比較的多数存在する状態となり、最適解への収束の速度が向上する。
【００９９】
一方、学習手段６は、この時点で終了判定条件を切り替え、評価値Ｑ１が例えば０．８等に設定された目標評価値以上の個体が現れた段階で、評価値Ｑ１のみによる評価を離れて評価値Ｑ２や評価値Ｑ３をも考慮して最適解を探索するようになる。
【０１００】
評価値Ｑ２は、前記（３）式に示されるように、出力画像Ｄoutを得るために用いた関数処理回路の数Ｍが少ないほど大きな値を取る。従って、評価値Ｑ２が高い値であるということは、その個体に含まれる選択信号ＳＳによれば、より少ないリソースすなわち関数処理回路で画像処理回路を構成することができることを意味する。
【０１０１】
また、評価値Ｑ３は、前記（４）式に示されるように、遅延回路DFFしか演算を行わない学習ユニットの数Ｎが多いほど大きな値を取る。従って、評価値Ｑ３が高い値であるということは、その個体に含まれる選択信号ＳＳによれば、より多くの遅延回路DFFしか演算を行わない学習ユニットが含まれる画像処理回路が構成されることを意味する。
【０１０２】
遅延回路DFFしか演算を行わない学習ユニットによる演算処理は、実装段階ではいわば省略してもよい演算処理である。また、学習ユニットの数が増えるほど遅延回路DFFしか演算を行わない学習ユニットの数も増える可能性が高くなり、省略できる演算処理の数も増える可能性が高くなる。
【０１０３】
そのため、本実施形態のように、最終的な終了判定基準を満たした選択信号ＳＳからさらに遅延回路DFFしか演算を行わない学習ユニットに対応する信号部分を削除して新たに最適化された選択信号ＳＳsuitを再構成することで、削除された学習ユニット分だけ処理時間が短縮され、処理速度が向上する。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【０１０４】
前述したように、本実施形態では１個の学習ユニットの処理あたり選択器４２と演算ユニット４１の２クロックを要するから、結局、削除された学習ユニットの個数の２倍のクロック数分の処理時間の短縮と処理速度の向上を図ることができる。また、本実施形態では１個の学習ユニットあたり９個の関数処理回路が用いられているから、その分リソースを減らすことができる。
【０１０５】
評価値Ｑ２、Ｑ３はそれぞれ前記のような意味を持つものであり、本実施形態では、出力画像Ｄoutと目標画像Ｔとの輝度値の差を小さくすることを前提としてリソースの低減と処理速度の向上との両方を達成することを目的として、前述したような厳しい最終的な終了判定の基準を設定した。しかし、リソースの数を減らすことを重視して評価値Ｑ２が高い個体を新たなエリートとしたり、処理時間の短縮や処理速度を向上を優先ために評価値Ｑ３が高い個体をエリートとして更新するように構成することも可能である。
【０１０６】
以上のように、本実施形態に係る画像処理装置１によれば、まず、従来の画像処理装置のような画像フィルタの組み合わせではなく、加算器ADDRのような単純な関数処理回路Ｆの組み合わせで構築された画像処理回路に対する画像処理手順を提供することができるため、その手順に従えば、画像処理の種類が画像フィルタやその組み合わせに制限されず、思い通りの画像処理を行うことが可能な画像処理回路を構築することが可能となる。
【０１０７】
また、本実施形態では、教師画像として目標画像Ｔを１種類だけ与えて学習を行う場合について述べたが、希望する画像処理を学習するためにさらに複数の教師画像に基づいて学習を行うことで、希望する画像処理をさらに精度良く行うことができる画像処理回路を構築するための画像処理手順を提供することが可能となる。
【０１０８】
さらに、本実施形態に係る画像処理装置１により出力される最適化された選択信号ＳＳsuitに従えば、処理プログラムによるソフトウエア処理と同等の画像処理をハードウエア処理で行ってクロック単位で演算処理を行うようにすることができるため、画像処理速度を飛躍的に向上させることが可能となり、画像データをリアルタイムに処理することが可能となる。
【０１０９】
また、選択信号ＳＳの最適化において、使用する関数処理回路Ｆの数が少ない選択信号に対してより良い評価を与えることで、出力される最適化された選択信号ＳＳsuitをリソースの数を低減可能な選択信号として出力することが可能になる。
【０１１０】
また、遅延回路DFFしか行わない学習ユニットは実装段階では省いてよい演算処理であるから、選択信号ＳＳの最適化において、遅延回路DFFしか行わない学習ユニットを多く含む選択信号に対してより良い評価を与えることで、最終的な終了判定基準を満たした選択信号ＳＳには遅延回路DFFしか行わない学習ユニットによる演算処理が多数含まれたものとなる。
【０１１１】
そのため、そのような選択信号ＳＳから遅延回路DFFしか演算を行わない学習ユニットに対応する信号部分を削除して新たに最適化された選択信号ＳＳsuitを再構成することで、削除された学習ユニット分だけ処理時間をさらに短縮することが可能となり、処理速度を向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【０１１２】
なお、学習手段６における遺伝的アルゴリズムを用いた学習において、個体の生成や交叉、突然変異の際に前述したような意味のない個体が生成等されないような制限を加えない場合には、学習ユニット４ａ〜４ｎに画素データを入力してもマルチプレクサ５からデータが出力されず、結果的に輝度値が０のデータが出力されたことと同じになる場合がある。
【０１１３】
このような場合に、教師画像である目標画像Ｔから任意に例えば１０個の画素を選択してそれらがすべて輝度値０の画素であると、意味のない個体の評価値Ｑ１が１という最高の評価を得てしまうため、目標画像Ｔから少数画素を選択して進化過程を進め意味があり評価値が高い個体を多数生き残らせて最適解への収束の速度を向上させるという目的が達成できなくなる。
【０１１４】
そのため、前記のような制限を設けずに目標画像Ｔから少数の画素を選択して進化過程を進める場合には、目標画像Ｔの輝度値が０でない画素の中から少数の画素を任意に選択して評価値Ｑ１の算出を行うように構成することが好ましい。
【０１１５】
また、学習手段６の終了判定手段６３において、選択信号ＳＳから遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分の削除に加えて、さらに、余分な関数処理回路Ｆを削除するように構成すれば、より少ないリソースで画像処理回路を構成することが可能となる。
【０１１６】
具体的には、例えば、本実施形態のように１個の学習ユニットにつき４個の加算器ADDRを設けたが、最適化された選択信号ＳＳsuitを解析して１個の学習ユニットにつき最大で３個の加算器ADDRしか使用していない場合には、選択信号ＳＳsuitを３個の加算器ADDRを用いるように改変して新たな最適化された選択信号ＳＳsuitとすることで、使用する加算器ADDRの数を低減させることが可能となる。
【０１１７】
さらに、本実施形態では、目標画像Ｔとして、抽出領域ＥＸの画素の輝度値が２５５、非抽出領域ＮＥの画素の輝度値が０の画像の場合を示したが、目標画像Ｔをこのような２値的な画像として作成する必要はなく、各画素が０〜２５５の輝度値を有する画像として作成することが可能である。
【０１１８】
また、本実施形態では、原画像Ｄすなわち学習ユニット４ａ〜４ｎの演算処理に入力される画像が１種類の画像である場合について述べたが、この他にも、例えば、２種類の画像を入力してその２種類の画像に対して加算や減算等を行うように構成することも可能である。
【０１１９】
例えば、２種類の画像を入力するように構成する場合には、本実施形態のシフトレジスタ３を２つ設け、２つのシフトレジスタから出力される１８個の画素データを学習ユニット４ａに入力するように構成する。また、学習ユニット４の演算ユニット４１の関数処理回路Ｆを計１８個備えるようにし、最終的に学習ユニット４ｎから出力される１８個のデータから１個のデータをマルチプレクサ５で選択して出力するように構成する。
【０１２０】
［第２の実施の形態］
次に、前記第１の実施形態に係る画像処理装置１を改良した画像処理装置について説明する。第１の実施形態と同様の機能を奏する部材については同一の符号を付して説明する。
【０１２１】
第２の実施形態に係る画像処理装置１０は、図１６に示すように、基本的には第１の実施形態に示した画像処理装置１の構成と同様であるが、学習手段６での学習により得られた最適化された選択信号ＳＳsuitがプロセッサ２に出力されるようになっていて、プロセッサ２から各学習ユニット４ａ〜４ｎに送られて各学習ユニット４ａ〜４ｎがセットアップされるようになっている。
【０１２２】
また、シフトレジスタ３には、外部から画像データＤinが入力されるようになっていて、マルチプレクサ５からの出力が出力データＤoutとして外部に出力されるようになっている。さらに、各学習ユニット４ａ〜４ｎの出力がすべてマルチプレクサ５に入力されるように配線されている。
【０１２３】
また、プロセッサ２は、学習手段６から送信されてきた最適化された選択信号ＳＳsuitをチェックして、選択信号ＳＳsuitの中に遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分があればその信号部分を選択信号ＳＳから削除して、最適化された選択信号ＳＳsuitを再構成するようになっている。
【０１２４】
なお、学習手段６による学習は画像処理装置１０の稼動開始前に行われ、画像処理装置１０の実稼動中には学習手段６の動作は停止されるようになっている。
【０１２５】
このように最適化された選択信号ＳＳsuitを再構成することで、遅延処理の演算しか行わない学習ユニットによる演算処理を削除し、その学習ユニットの処理下流側に遅延処理以外の演算処理を行う他の学習ユニットがある場合には当該他の学習ユニットの演算処理を上流側の学習ユニットに移すことが可能となる。
【０１２６】
そして、遅延処理以外の演算を行う最下流の学習ユニットから出力される処理結果がマルチプレクサ５に送信され、マルチプレクサ５がその学習ユニットからの出力を選択することで出力データＤoutが出力される。
【０１２７】
以上のように、本実施形態に係る画像処理装置１０によれば、前記第１の実施形態で述べた画像処理装置１の効果と同様の効果が有効に発揮され、画像データＤinをリアルタイムに画像処理することが可能となる。
【０１２８】
特に、再構成された最適化された選択信号ＳＳsuitにより、遅延処理の演算しか行わない学習ユニットの演算処理を削除して、その処理下流側で行われる遅延処理以外の演算処理をより上流側の学習ユニットで行うことが可能となる。また、遅延処理の演算しか行わない学習ユニットの演算処理を削除して、その出力を直接マルチプレクサ５に入力させることができる。
【０１２９】
そのため、遅延処理の演算しか行わない学習ユニットの演算処理が削除される分だけ処理時間をさらに短縮することが可能となり、処理速度を向上させることが可能となる。また、削除された学習ユニット分だけ少ないリソースで画像処理回路を構成することが可能となる。
【０１３０】
また、本実施形態に係る画像処理装置１０では、学習手段６の構成がそのまま残されているため、学習手段６で初期個体を新たに生成して別の教師画像に基づいて学習を行って最適化された選択信号ＳＳsuitを得ることで既に学習された画像処理とは異なる種類の画像処理を行うことが可能となり、新たな画像処理の機能を獲得することが可能となる。
【０１３１】
なお、本実施形態に係る画像処理装置１０を、最初に学習された画像処理に専用の装置とする場合には、遅延処理以外の演算処理を行う最終の学習ユニットからの出力のみをマルチプレクサ５に入力するように配線することができる。
【０１３２】
［第３の実施の形態］
次に、前記第１の実施形態に係る画像処理装置１の改良型として、最適化された選択信号ＳＳsuitを用いて画像処理を行う画像処理装置について説明する。
【０１３３】
第３の実施形態に係る画像処理装置では、各関数処理回路Ｆを図１に示した学習ユニットのように構成しない場合もある。しかし、その場合でも、最適化された選択信号ＳＳsuitの中に遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分があるときは、その信号部分を選択信号ＳＳsuitから削除して最適化された選択信号ＳＳsuitを再構成したうえで、再構成された選択信号ＳＳsuitに基づいて加算器ADDRや減算器SUB、乗算器MULT、絶対値ABS、遅延回路DFF、含意素子IF_THEN等を接続して関数処理回路による画像処理回路を構築する。
【０１３４】
このように再構成された最適化された選択信号ＳＳsuitに基づいて画像処理回路を構築することで、本実施形態に係る画像処理装置では、前記第１の実施形態で述べた画像処理装置１の効果と同様の効果が有効に発揮され、画像データをリアルタイムに画像処理することが可能となる。
【０１３５】
また、最適化された選択信号ＳＳsuitの中の遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分を削除して画像処理回路を構築できるので、その分処理時間をさらに短縮することが可能となり、処理速度を向上させることが可能となる。また、削除された学習ユニットに対応する分だけ少ないリソースで画像処理回路を構成することが可能となる。
【０１３６】
さらに、最適化された選択信号ＳＳsuitに基づいてデータの演算処理に関与しない関数処理回路を省いて画像処理回路を構築することができるため、さらに少ないリソースで画像処理回路を構成することが可能となる。
【図面の簡単な説明】
【０１３７】
【図１】第１実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】シフトレジスタ内での画素データのシフトを説明する図である。
【図３】演算処理の対象となる３×３画素の画素データのシフトレジスタ内での番地を示す図である。
【図４】ｎ×ｎ画素の画素データのシフトレジスタ内での保存位置を示す図である。
【図５】学習ユニットの構成を示すブロック図である。
【図６】本実施形態における学習ユニットの構成例を示すブロック図である。
【図７】選択信号の構成を示す図である。
【図８】図７の選択信号が割り当てられた学習ユニットにおけるデータ処理の流れを説明する図である。
【図９】本実施形態で用いられる原画像を示す図である。
【図１０】本実施形態で用いられる目標画像を示す図である。
【図１１】重み画像を示す図である。
【図１２】学習手段の構成を示すブロック図である。
【図１３】目標画像中から選択された画素を表す図である。
【図１４】図１３の画素に対応する原画像中の画素位置に抽出された画素の組を表す図である。
【図１５】遅延回路しか演算を行わない学習ユニットの例を示す図である。
【図１６】第２実施形態に係る画像処理装置の構成を示すブロック図である。
【図１７】画像フィルタを木構造状に組み合わせた処理プログラムを表す図である。
【符号の説明】
【０１３８】
１、１０ 画像処理装置
４ 学習ユニット
４１ 演算ユニット
４２ 選択器
６ 学習手段
Ｆ 関数処理回路
DFF 遅延回路
ＳＳ 選択信号
ＳＳsuit 最適化された選択信号
ＣＬＫ クロック信号
Ｔ 目標画像
Ｄout 出力画像
Ｑ１、Ｑ２、Ｑ３ 評価値
Ｍ 関数処理回路の数
Ｎ 遅延回路しか演算を行わない学習ユニットの数
Ｐ 教師画像中から選択された画素
【特許請求の範囲】
【請求項１】
画像処理の手順を学習する画像処理装置であって、
関数処理回路が並列に配置された演算ユニットと前記各関数処理回路に入力するデータを選択する選択器とからなる学習ユニットと、
前記学習ユニットによる演算の順序を最適化する学習手段とを備え、
前記学習ユニットは、複数個が直列に連結され、
前記複数の学習ユニットの各選択器は、画像処理の手順を示す選択信号に従って各関数処理回路に入力するデータを選択し、
前記学習手段は、各学習ユニットの選択器に割り当てる前記選択信号を学習により最適化することを特徴とする画像処理装置。
【請求項２】
前記学習ユニットは、自らに属する各選択器からそれぞれに対応する関数処理回路へのデータの入力をクロック信号に合わせ同期させて行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記学習手段は、各学習ユニットの選択器に割り当てる前記選択信号の列を遺伝子とし、画像処理により得られるべき目標画像を教師画像として遺伝的アルゴリズムの手法に基づいて学習を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記学習手段は、前記遺伝子が前記関数処理回路に用いられる定数を含み、前記学習により前記定数の最適化を同時に行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記学習手段は、前記学習において、教師画像である画像処理により得られるべき目標画像と演算により算出された出力画像との各画素の輝度値の差に基づいて評価値を算出することを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記学習手段は、前記学習において、演算を行う前記関数処理回路の数に基づいて評価値を算出することを特徴とする請求項３から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記関数処理回路は、入力されたデータを１クロック分遅延させる機能を有する遅延回路を含み、
前記学習手段は、前記学習において、前記遅延回路しか演算を行わない学習ユニットの数に基づいて評価値を算出することを特徴とする請求項３から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記学習手段は、算出した最適化された前記選択信号から前記遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分を削除して新たに最適化された選択信号を再構成して出力することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記学習手段は、前記教師画像中から任意に選択された所定個数の画素について評価値の算出を行うことを特徴とする請求項３から請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記学習手段は、前記教師画像の輝度値が０でない画素の中から任意に選択された所定個数の画素について評価値の算出を行うことを特徴とする請求項３から請求項８のいずれか一項に記載の画像処理装置。
【請求項１１】
請求項１から請求項１０のいずれか一項に記載の画像処理装置であって、
前記画像処理装置の学習手段により最適化された前記選択信号に従って画像処理を行わせると遅延処理の演算しか行わない学習ユニットがある場合には、当該学習ユニットによる演算処理を削除し、当該学習ユニットの処理下流側に遅延処理以外の演算を行う他の学習ユニットがある場合には当該他の学習ユニットの演算処理を上流側の学習ユニットに移して、遅延処理以外の演算を行う最下流の学習ユニットから出力される処理結果を出力することを特徴とする画像処理装置。
【請求項１２】
請求項１から請求項１０のいずれか一項に記載され、最適化された前記選択信号に基づいて画像処理を行う画像処理装置であって、
前記画像処理装置が前記選択信号に従って画像処理を行った場合に遅延処理の演算しか行わない学習ユニットに対応する演算処理があるときは、前記選択信号から当該演算処理に対応する信号部分を削除して選択信号を再構成し、再構成された選択信号に基づいて前記関数処理回路による画像処理回路を構築することを特徴とする画像処理装置。
【請求項１】
画像処理の手順を学習する画像処理装置であって、
関数処理回路が並列に配置された演算ユニットと前記各関数処理回路に入力するデータを選択する選択器とからなる学習ユニットと、
前記学習ユニットによる演算の順序を最適化する学習手段とを備え、
前記学習ユニットは、複数個が直列に連結され、
前記複数の学習ユニットの各選択器は、画像処理の手順を示す選択信号に従って各関数処理回路に入力するデータを選択し、
前記学習手段は、各学習ユニットの選択器に割り当てる前記選択信号を学習により最適化することを特徴とする画像処理装置。
【請求項２】
前記学習ユニットは、自らに属する各選択器からそれぞれに対応する関数処理回路へのデータの入力をクロック信号に合わせ同期させて行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記学習手段は、各学習ユニットの選択器に割り当てる前記選択信号の列を遺伝子とし、画像処理により得られるべき目標画像を教師画像として遺伝的アルゴリズムの手法に基づいて学習を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記学習手段は、前記遺伝子が前記関数処理回路に用いられる定数を含み、前記学習により前記定数の最適化を同時に行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記学習手段は、前記学習において、教師画像である画像処理により得られるべき目標画像と演算により算出された出力画像との各画素の輝度値の差に基づいて評価値を算出することを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記学習手段は、前記学習において、演算を行う前記関数処理回路の数に基づいて評価値を算出することを特徴とする請求項３から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記関数処理回路は、入力されたデータを１クロック分遅延させる機能を有する遅延回路を含み、
前記学習手段は、前記学習において、前記遅延回路しか演算を行わない学習ユニットの数に基づいて評価値を算出することを特徴とする請求項３から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記学習手段は、算出した最適化された前記選択信号から前記遅延処理の演算しか行わない学習ユニットによる演算処理に対応する信号部分を削除して新たに最適化された選択信号を再構成して出力することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記学習手段は、前記教師画像中から任意に選択された所定個数の画素について評価値の算出を行うことを特徴とする請求項３から請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記学習手段は、前記教師画像の輝度値が０でない画素の中から任意に選択された所定個数の画素について評価値の算出を行うことを特徴とする請求項３から請求項８のいずれか一項に記載の画像処理装置。
【請求項１１】
請求項１から請求項１０のいずれか一項に記載の画像処理装置であって、
前記画像処理装置の学習手段により最適化された前記選択信号に従って画像処理を行わせると遅延処理の演算しか行わない学習ユニットがある場合には、当該学習ユニットによる演算処理を削除し、当該学習ユニットの処理下流側に遅延処理以外の演算を行う他の学習ユニットがある場合には当該他の学習ユニットの演算処理を上流側の学習ユニットに移して、遅延処理以外の演算を行う最下流の学習ユニットから出力される処理結果を出力することを特徴とする画像処理装置。
【請求項１２】
請求項１から請求項１０のいずれか一項に記載され、最適化された前記選択信号に基づいて画像処理を行う画像処理装置であって、
前記画像処理装置が前記選択信号に従って画像処理を行った場合に遅延処理の演算しか行わない学習ユニットに対応する演算処理があるときは、前記選択信号から当該演算処理に対応する信号部分を削除して選択信号を再構成し、再構成された選択信号に基づいて前記関数処理回路による画像処理回路を構築することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００７−２７９９６７（Ｐ２００７−２７９９６７Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０４３２３（Ｐ２００６−１０４３２３）
【出願日】平成１８年４月５日（２００６．４．５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月５日（２００６．４．５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]