画像処理装置
【課題】ヒストグラム生成時におけるヒストグラムＲＡＭへの書き込みアクセスと、ヒストグラム参照時におけるヒストグラムの読み出しアクセスとが衝突することがない、リアルタイムのヒストグラム処理が可能な画像処理装置を提供する。
【解決手段】画像処理装置１は、入力画像データに基づきヒストグラムが生成される第１期間の終了後、ヒストグラムＲＡＭ１０５に保持された当該ヒストグラムをＣＰＵに対して参照可能に開放する第２期間の終了時刻を基準としてＣＰＵ１０６がヒストグラムの参照処理に要する所定の時間だけ遡った時刻から、当該第２期間の終了までの間は、ＣＰＵ参照可能信号（フラグ）１１２を立ち下げ、ＣＰＵ１０６による前記ヒストグラムの参照を禁止する制御を行う。
【解決手段】画像処理装置１は、入力画像データに基づきヒストグラムが生成される第１期間の終了後、ヒストグラムＲＡＭ１０５に保持された当該ヒストグラムをＣＰＵに対して参照可能に開放する第２期間の終了時刻を基準としてＣＰＵ１０６がヒストグラムの参照処理に要する所定の時間だけ遡った時刻から、当該第２期間の終了までの間は、ＣＰＵ参照可能信号（フラグ）１１２を立ち下げ、ＣＰＵ１０６による前記ヒストグラムの参照を禁止する制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、リアルタイムで逐次入力される画像データに基づき画素濃度ヒストグラムを生成するヒストグラム生成回路に関する。
【背景技術】
【０００２】
入力画像データに基づき画素濃度ヒストグラムを生成し、これを活用することは、特許文献１〜３の例に示されているように、画像処理の分野で多用されている。特に、特許文献１では、画像の中での対象物と背景がヒストグラム上での特徴となって現れることから、これを利用して対象物と背景を分離する手段を示している。例えば、背景に属する画素はヒストグラムの黒寄りにピークを作り、対象物に属する画素はヒストグラムの白寄りにピークを作る特徴があるとすると、２つのピークの間の谷間に閾値を設け、閾値以下ならば背景、閾値以上ならば対象物として識別可能となる。
【０００３】
ここで、ヒストグラムの生成はハードウェアで行い、その後のピークの間の谷間を検出し、その谷間の位置から閾値を獲得するといった処理はＣＰＵが行う、といった役割分担は、特許文献４において既に提案されている。特許文献４の例では、画像を所定の領域に分割して（分割の仕方はＣＰＵ指定）、当該領域毎にヒストグラムを生成するように構成されているが、基本的にはハードウェアにより画素濃度ヒストグラムがＲＡＭに生成されると、ＣＰＵがアドレスバス、データバスを介して生成されたヒストグラムを参照する構成である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−３７３０７９号公報
【特許文献２】特開２００８−２４２７３３号公報
【特許文献３】特開２００４−５６３９１号公報
【特許文献４】特開平２−２２４０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した、入力画像の画素濃度ヒストグラムをハードウェアによりＲＡＭ上に生成し、これをＣＰＵが参照するヒストグラム生成回路において、画像の入力がリアルタイムである場合には、タイミングを十分に考慮する必要がある。
【０００６】
即ち、画像の入力がリアルタイムである場合、画像の入力タイミングが例えば撮像装置により決定され、画像の入力期間中は、ＲＡＭに生成されたヒストグラムの書き込みアクセスが断続して発生し続けるため、ＣＰＵはその合間を縫ってＲＡＭを参照し、ヒストグラム生成結果を取得する必要がある。ＣＰＵが「合間を縫う」事に失敗すると、ＲＡＭに対する書き込みと読み出しが衝突し、ヒストグラムの生成が完了しないうちにＣＰＵがＲＡＭを参照してしまったり、ＣＰＵによるヒストグラムの参照が完了しないうちから、次のヒストグラム生成がハードウェアにより開始されてしまったり、といった様々な誤動作を引き起こしてしまう。
【０００７】
本発明は、上記の状況に鑑み、ハードウェアによるヒストグラムのＲＡＭへの書き込みとＣＰＵによるヒストグラムの読み出しが衝突しないように、ヒストグラムの生成と参照のタイミング調整を容易に行うことが可能な画像処理装置を提供することをその目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明に係る画像処理装置は、入力画像データに基づきヒストグラム処理をリアルタイムで実行する画像処理装置であって、入力画像データに基づきヒストグラムを生成し、ヒストグラムＲＡＭに保持する第１期間、及び、前記ヒストグラムＲＡＭに保持された前記ヒストグラムをＣＰＵに対して参照可能に開放する第２期間が交互に繰り返され、前記第２期間の終了時刻を基準として前記ＣＰＵが前記ヒストグラムの参照処理に要する所定の時間だけ遡った時刻から前記第２期間の終了までの第３期間の間、前記ＣＰＵによる前記ヒストグラムの参照を禁止する制御を行うことを第１の特徴とする。
【０００９】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記ヒストグラムの参照を開始可能とする参照可能フラグを前記ＣＰＵに対して出力するフラグ出力回路を備え、前記フラグ出力回路は、少なくとも前記第３期間の間、前記参照可能フラグを前記ＣＰＵに対して出力しないことが好ましい。
【００１０】
上記第１の特徴の画像処理装置に依れば、上記第３期間の間ＣＰＵに対するヒストグラムの参照を禁止する制御を行うことにより、ハードウェアによるヒストグラムＲＡＭへの書き込みとＣＰＵによるヒストグラムの読み出しが衝突することなく、確実にヒストグラムの参照を完了することができる。尚、当該制御は、ＣＰＵへのフラグに基づいて行うことが好適である。
【００１１】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第２期間の開始から前記第２期間内の前記第３期間の開始までの期間が、パラメータにより設定可能に構成されていることが好ましい。
【００１２】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第３期間の開始時刻が、画素クロックを基準として設定されることが好ましい。
【００１３】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第３期間の開始時刻が、有効画素に属する画素クロックを基準として設定されることが好ましい。
【００１４】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第３期間の開始時刻が、水平同期信号を基準として設定されることが好ましい。
【００１５】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第３期間には、前記ヒストグラムの初期化処理に要する期間が含まれることを第２の特徴とする。
【００１６】
上記第２の特徴の画像処理装置に依れば、ＣＰＵによるヒストグラムの参照処理に要する時間、及び、ヒストグラムの初期化処理に要する時間を考慮して、ハードウェアによるヒストグラムの生成、並びにヒストグラムの初期化処理と重ならないように、ＣＰＵによるヒストグラムの参照処理を完了することができる。
【００１７】
上記第１乃至第２の特徴の本発明に係る画像処理装置は、更に、前記第１期間において生成された前記ヒストグラムの評価処理を行う評価回路を備え、前記第２期間の開始から、前記第２期間の開始時刻を基準として前記評価回路が前記ヒストグラムの評価に要する時間だけ経過した時刻までの期間の間、前記ＣＰＵによる前記ヒストグラムの参照を禁止する制御を行うことを第３の特徴とする。
【００１８】
上記第３の特徴の画像処理装置に依れば、ＣＰＵによるヒストグラムの参照処理に要する時間、及び、評価回路がヒストグラムの評価に要する時間を考慮して、ハードウェアによるヒストグラムの生成処理、並びに、評価処理と重ならないように、ＣＰＵによるヒストグラムの参照処理を完了することができる。尚、評価処理としては、例えば以下の処理が挙げられるが、これに限られるものではない。
【００１９】
上記第３の特徴の本発明に係る画像処理装置は、更に、前記評価処理は、所定の画素領域において、画素値の累積分布確率が所定の割合となる画素値を求める処理であることが好ましい。
【００２０】
上記第３の特徴の本発明に係る画像処理装置は、更に、前記評価処理は、背景に属する画素の典型値を求める処理であることが好ましい。
【００２１】
上記第３の特徴の本発明に係る画像処理装置は、更に、前記評価処理は、対象物に属する画素の典型値を求める処理であることが好ましい。
【００２２】
上記第１乃至第３の何れかの特徴の本発明に係る画像処理装置は、更に、前記第１期間の開始から終了まで、及び、前記第２期間の開始から終了までが、夫々、入力画像の１フレーム期間であることが好ましい。
【００２３】
上記第１乃至第３の何れかの特徴の本発明に係る画像処理装置は、更に、複数の前記ヒストグラムＲＡＭを有し、うち少なくとも二つの前記ヒストグラムＲＡＭにおいて、一方の前記ヒストグラムＲＡＭにおける前記第１期間の開始と同時に、他方の前記ヒストグラムＲＡＭにおける前記第２期間が開始され、一方の前記ヒストグラムＲＡＭにおける前記第１期間の終了と同時に、他方の前記ヒストグラムＲＡＭにおける前記第２期間が終了されることを第４の特徴とする。
【００２４】
上記第４の特徴の画像処理装置に依れば、入力画像データに基づきヒストグラムの生成を行う第１期間（ヒストグラム生成フェーズ）と、生成されたヒストグラムをＣＰＵに対して参照可能に開放する第２期間（ヒストグラム参照フェーズ）とが互いに逆のフェーズで動作する二つのヒストグラムＲＡＭを備えることで、ヒストグラムの生成およびＣＰＵによる参照を毎期間行うことができ、よりリアルタイム性を向上させることができる。
【発明の効果】
【００２５】
従って、本発明に依れば、ヒストグラムＲＡＭがＣＰＵにとって参照可能か否かが容易に判断可能となり、ヒストグラムの生成と参照のタイミング調整が容易な画像処理装置を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る画像処理装置の構成例を示す回路ブロック図。
【図２】本発明に係る画像処理装置における各信号のタイミングチャート。
【図３】従来構成の画像処理装置における各信号のタイミングチャート。
【図４】本発明に係る画像処理装置において、ＣＰＵ参照可能信号のパルス幅を設定可能なワンショット回路（パルス発生回路）の例を示す図。
【図５】本発明に係る画像処理装置において、ＣＰＵ参照可能信号のパルス幅を設定可能なワンショット回路（パルス発生回路）の他の例を示す図。
【図６】本発明に係る画像処理装置において、ＣＰＵ参照可能信号のパルス幅をカウンタを用いて設定する場合の構成例を示す回路ブロック図。
【図７】本発明の第２実施形態に係る画像処理装置の動作を示すタイミングチャート。
【図８】本発明の第３実施形態に係る画像処理装置の構成例を示す回路ブロック図。
【図９】本発明の第３実施形態に係る画像処理装置における各信号のタイミングチャート。
【図１０】本発明の第４実施形態に係る画像処理装置の構成例を示す回路ブロック図。
【図１１】本発明の第４実施形態に係る画像処理装置における各信号のタイミングチャート。
【発明を実施するための形態】
【００２７】
〈第１実施形態〉
本発明の一実施形態に係る画像処理装置１の構成例を図１に示す。尚、以降の実施形態の説明に用いる図面では、同一の構成要素には同一の符号を付すこととし、また、名称及び機能も同一であるので、同様の説明を繰り返すことはしない。
【００２８】
図１の回路ブロック図に示すように、画像処理装置１は、微分回路１０１、トグル回路１０２、インクリメンタ１０３、マルチプレクサ１０４、ヒストグラムＲＡＭ１０５、ＣＰＵ１０６、ワンショット回路１０７を備え、入力画像データに基づき、リアルタイムで、ＣＰＵ１０５を介することなくハードウェアによりヒストグラムの生成が可能に構成されている。尚、上記ヒストグラム生成の元となる入力画像データは、ＣＭＯＳイメージセンサ等を備えた撮像装置から、画像データが逐次画像処理装置１に入力される場合を想定しているが、これに限られるものではない。
【００２９】
図２に画像処理装置１における各信号のタイミングチャートを示す。尚、本実施形態では、入力画像データに基づきヒストグラムを生成し、ヒストグラムＲＡＭに保持する第１期間、及び、当該ヒストグラムをＣＰＵに対して参照可能に開放する第２期間を、ともに入力画像の１フレーム期間としているが、必ずしもこの必要はない。
【００３０】
以下に、図１及び図２を参照し、本実施形態における画像処理装置１の処理動作について説明する。
【００３１】
画像処理装置１において、微分回路１０１は、入力された垂直同期信号を１画素クロック幅のパルスに整形し、トグル回路１０２に入力する。
【００３２】
すると、トグル回路１０２は、図２に示すように、当該１画素クロック幅の垂直同期信号が入力される毎に出力を反転し、トグル信号１１１を生成する。トグル信号１１１は、画像処理装置１が、第１期間（ヒストグラム生成フェーズ）にあるか、第２期間（ＣＰＵからのヒストグラム参照フェーズ）にあるかを示す信号であり、ここでは、トグル信号１１１が“０”（低レベル）のとき第１期間、“１”（高レベル）のとき第２期間にあるとする。
【００３３】
トグル信号１１１はマルチプレクサ１０４の制御入力に入力され、当該入力信号が“０”の時はマルチプレクサ１０４の上側の入力がヒストグラムＲＡＭ１０５の入力と接続され、“１”の時はマルチプレクサ１０４の下側の入力がヒストグラムＲＡＭ１０５の入力と接続される。即ち、トグル信号１１１が“０”の時は、データイネーブル信号１１３がヒストグラムＲＡＭ１０５のＷＥ入力（書込みイネーブル入力）、画素の濃度データ１１４が同Ａ入力（アドレス入力）、インクリメンタ１０３によりカウントアップされた読み出しデータが同ＤＩ入力（データ入力）に接続され、ヒストグラム生成動作を行う。一方、トグル信号１１１が“１”の時は、ヒストグラムＲＡＭ１０５のＷＥ入力、Ａ入力、ＤＩ入力は全てＣＰＵバスに接続され、ＣＰＵ１０６からのアクセスが可能となる。
【００３４】
更に、トグル信号１１１はＣＰＵ１０６のＩＮＴ入力（割り込み入力）に接続されており、第２期間の開始をＣＰＵ１０６に通知する。尚、トグル信号１１１をＣＰＵがポーリングする等の割り込み以外の手段を用いて、第２期間の開始をＣＰＵ１０６が検知してもよい。
【００３５】
更に、本実施形態において、トグル信号１１１は、ワンショット回路１０７により所定のパルス幅の信号に整形され、ＣＰＵ参照可能信号１１２としてＣＰＵ１０６のＦＬＡＧ入力に入力され、ＣＰＵ１０６はこれを参照して、ヒストグラムＲＡＭ１０５に保持されたヒストグラムの参照を開始してもよいか否かを判断する。ＦＬＡＧがオンの場合、ＣＰＵ１０６によるヒストグラムの参照を開始可能であり、ＦＬＡＧがオフの場合、ＣＰＵ１０６によるヒストグラムの参照が禁止されるように制御される。
【００３６】
図３に、ＣＰＵ参照可能信号１１２が無く、割り込み入力のみに基づいてＣＰＵがヒストグラムの参照を開始する従来構成の画像処理装置における各信号のタイミングチャートを示す。ＣＰＵが割り込みの入力を受け、これに応答する形のみでヒストグラムＲＡＭ１０５を参照しに行った場合、ＣＰＵの割り込み応答が非常に早い時（図３（ａ））、或いは、ＣＰＵの割り込み応答が早い時（図３（ｂ））にはヒストグラムの参照が成功するが、ＣＰＵの割り込み応答が非常に遅い時（図３（ｃ））には、ヒストグラムの参照期間の一部が第１期間と重なり、ＣＰＵがヒストグラムを参照している途中で次のヒストグラムの生成が始まってしまっており、ＣＰＵはヒストグラムの参照を正常に完了することができない。しかしながら、ＣＰＵから見た場合、自身の割り込み応答が図３（ａ）〜図３（ｃ）の何れに該当するかを判別することができない。
【００３７】
これに対し、本実施形態に係る画像処理装置１では、ワンショット回路１０７から出力され、ＦＬＡＧ入力に入力されるＣＰＵ参照可能信号１１２に基づいて、ＣＰＵ１０６がヒストグラムの参照が可能か否かを判断することができる。図２に示されているように、ＣＰＵ参照可能信号１１２は、ヒストグラムをＣＰＵに対して参照可能に開放する第２期間から、ＣＰＵがヒストグラムの参照に要する時間を差し引いた幅に整形されている。このため、ＣＰＵ１０６の割り込み応答が上述の図３（ｃ）のように非常に遅く、ＣＰＵ１０６によるヒストグラムの参照中に第１期間の開始が想定される状況では、ＣＰＵ１０６がヒストグラムの参照を開始しようとする時点でＣＰＵ参照可能信号１１２の出力パルスは既に立ち下がっており、ＦＬＡＧがオフとなっているため、ＣＰＵ１０６はヒストグラムの参照を行わず、次の第２期間の開始を待ち、次の第２期間でＦＬＡＧがオンとなるのを待って、ヒストグラムの参照を開始する。
【００３８】
即ち、本実施形態に係る画像処理装置１では、第２期間の終了時刻を基準として少なくともＣＰＵがヒストグラムの参照処理に要する時間だけ遡った時刻から第２期間の終了までの第３期間の間は、ＦＬＡＧ入力がオフになっているため、当該第３期間内におけるＣＰＵによるヒストグラムの参照が禁止される。この結果、ヒストグラムを生成中にＣＰＵ１０６がヒストグラムＲＡＭ１０５にアクセスし、生成中の当該ヒストグラムを参照するといった事態が回避される。
【００３９】
図４及び図５にパルス幅が設定可能なワンショット回路１０７の構成例を示す。図４は受動素子を用いてＣＰＵ参照可能信号１１２のパルス幅を設定する場合の例であり、具体的に単安定マルチバイブレータＩＣ（米国フェアチャイルド社のＤＭ７４１２３）を用いて構成した例である。ＩＣに接続するコンデンサの容量Ｃｘ、抵抗の抵抗値Ｒｘを適宜設定することで、ＣＰＵ参照可能信号１１２のパルス幅を設定可能とする構成である。
【００４０】
図５は能動素子を用いてＣＰＵ参照可能信号１１２のパルス幅を設定する場合の例であり、トグル信号１１１と、当該トグル信号１１１を遅延回路を介して遅延させた信号を反転させた信号との論理積を取ることによりＣＰＵ参照可能信号１１２が生成される。遅延回路は、偶数個のインバータ回路をカスケード接続してなり、当該カスケード接続されるインバータの個数を設定することで、ＣＰＵ参照可能信号１１２のバルス幅を設定可能とする構成である。
【００４１】
図６は所定のパルス幅のＣＰＵ参照可能信号１１２の生成に何らかのクロックにより動作するカウンタ１０９ａを用いた構成である。ここで、「何らかのクロック」としては、画素クロック、或いは、入力画像の水平同期入力信号を用いることができる。更に、画素クロックとデータイネーブル信号１１３の論理積を取ったものを使用してもよい。有効画素に属する画素クロックのみに基づいてカウント値が計数される。このようにすることで、有効画素数に対する割合（例えば、有効画素数の１／１０）の形で、技術者にとって容易に且つ直感的にＣＰＵ参照可能信号１１２の立ち下がりタイミングを設定する事が可能となる。
【００４２】
カウンタ１０９ａは、“１”状態へのトグル信号１１１の立ち上がりを受けて計数を開始し、当該クロックのカウント数が所定値以下の場合は当該“１”状態のトグル信号をそのままＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力するが、カウント数が所定値を超えると、トグル信号１１１の“０”状態に相当する信号を、ＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力する。これにより、ＣＰＵ参照可能信号１１２のパルス幅が、当該クロックを基準として設定される。尚、当該ＣＰＵ参照可能信号１１２のパルス幅は、パルス幅設定回路１０８からの信号により再設定が可能に構成されている。
【００４３】
上述の画像処理回路１によれば、第３期間中はＣＰＵ参照可能信号１１２をオフとする制御を行うことで、ＣＰＵ参照可能信号１１２に基づいて、ハードウェアによるヒストグラムのＲＡＭ１０５への書き込みと衝突しないように、ヒストグラムの参照が可能か否かをＣＰＵ１０６が自分で判断することができ、ヒストグラムの生成と参照のタイミング調整を容易に行うことが可能な画像処理装置が実現されている。
【００４４】
〈第２実施形態〉
本発明に係る画像処理装置の他の実施形態を図７のタイミングチャートに示す。図７は、ヒストグラムの生成フェーズである第１期間の開始に先立って、ヒストグラムの初期化を行うフェーズを直前の第２期間内に設ける場合の各信号のタイミングチャートであり、これに伴って、ＣＰＵ参照可能信号１１２の立ち下がりを、当該ヒストグラムの初期化に要する時間分前倒しする構成である。ここで、ヒストグラムの初期化とは、直前に採取したヒストグラムデータを全て廃棄し、ヒストグラムＲＡＭ１０５の内容を全て“０”にクリアする処理である。
【００４５】
図７に示すように、本実施形態では、ＣＰＵ１０６のＦＬＡＧ入力がオフとなる第３期間は、ＣＰＵがヒストグラムの参照に要する時間と、ヒストグラムの初期化に要する時間との和になっている。このため、ＣＰＵ参照可能信号１１２のパルス幅は、当該第３期間が少なくとも当該ヒストグラムの参照、および、当該ヒストグラムの初期化に要する時間の和よりも長くなるように、例えば図６のパルス幅設定回路１０８により設定され、当該パルス幅設定回路１０８により設定されたパルス幅で、カウンタ１０９ａによりＣＰＵ１０６のフラグ入力に出力される。
【００４６】
〈第３実施形態〉
本発明に係る画像処理装置の更に他の実施形態を図８に示す。図８に示す画像処理装置２は、図６に示す画像処理装置において、ＣＰＵによるヒストグラムの参照に先立ってヒストグラムの評価処理を行う評価回路１１０を更に備え、その評価結果をＣＰＵ１０６に返すようにした構成である。そして、当該ヒストグラムの評価処理に要する時間だけ、ＣＰＵ参照可能信号１１２の立ち上がりを後ろに遅らせている。図９に画像処理装置２における各信号のタイミングチャートを示す。
【００４７】
評価処理とは、例えば、所定の画素領域において、画素値の累積分布確率が所定の割合となる画素値を求める処理が挙げられ、より具体的には、対象物（背景）に属する画素の典型値を求める処理を挙げることができる。
【００４８】
所定の画素領域（例えば、有効画素領域全体）において、画面の４割程度が対象物に属し、残りの６割程度が背景に属すると仮定する。背景は白寄りの色であり、対象物は黒寄りの色であるとする。しかしながら、背景とも対象物とも画素値だけでは判定できない「グレーゾーン」の画素がいくらか存在する。若しくは４０％：６０％の対象物と背景の比率が、撮像した場合に応じて揺らぐ。ここで、全体の２０％程度が「グレーゾーン」、乃至は揺らぎの幅が２０％程度、と仮定すると、４０％の白寄りの背景画素のうち、黒寄りの１０％の画素は対象物側に張り出し、６０％の黒寄りの対象物の画素のうち、白寄りの１０％の画素は背景側に張り出して、グレーゾーンの画素になっている。このとき、黒寄りの３０％の画素が対象物に属する画素として判定され、白寄りの５０％の画素が背景に属する画素として判定される。従って、対象物に属する画素の典型値を求める場合は、中央値である黒寄りの１５％目（白寄りの８５％目）の画素値が、典型値として採用可能であり、背景に属する画素の典型値を求める場合は、中央値である白寄りの２５％目（黒寄りの７５％目）の画素値が、典型値として採用可能である。或いは、対象物に属する画素の境界値である黒寄りの３０％目（白寄りの７０％目）の画素値、または背景に属する画素の境界値である白寄りの５０％目（黒寄りの５０％目）の画素値を典型値として採用することができる。
【００４９】
尚、評価に用いる画素値としては、ＲＧＢ表現におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各輝度値に対し典型値を求めることも可能であるが、上述の例では、むしろ、Ｙｕｖ表現におけるＹ（カラー画像をモノクロ画像に変換した際の、そのモノクロ画像の階調値）に対して当該典型値を求めるのがより好ましい構成である。
【００５０】
評価回路１１０は、ヒストグラムが生成された後、第２期間の開始に伴って、直前の第１期間において生成されたヒストグラムに対して上述の評価処理を行い、その結果をＣＰＵ１０６に渡す。そして本実施形態において、画像処理装置２は、第２期間の開始から少なくとも評価回路１１０が当該ヒストグラムの評価処理に要する時間が経過するまでの期間、ＣＰＵ１０６のＦＬＡＧ入力をオフとし、ＣＰＵ１０６による当該ヒストグラムの参照が禁止されるように制御する。
【００５１】
パルス幅設定回路１０８は、ＣＰＵ参照可能信号１１２の立ち上がり時刻および立ち下がり時刻を設定し、カウンタ１０９ｂは、上記のパルス幅設定回路１０８による設定情報に基づき、所定のパルス幅のＣＰＵ参照可能信号１１２をＦＬＡＧ入力に出力する。
【００５２】
カウンタ１０９ｂは、第２期間の開始に伴い、“１”状態へのトグル信号１１１の立ち上がりを受けて計数を開始し、カウント数が第１の所定値以下の場合は当該トグル信号１１１の“０”状態に相当する信号を、ＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力する。従って、ＦＬＡＧ入力がオフとなり、ＣＰＵによる当該ヒストグラムの参照は禁止される。その後、カウント数が第１の所定値を超えると、カウンタ１０９ｂは、“１”状態のトグル信号１１１をそのままＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力する。この結果、ＣＰＵ参照可能信号１１２のパルスが立ち上がり、ヒストグラムがＣＰＵに対して参照可能となる。更にカウント数が第２の所定値を超えると、カウンタ１０９ｂは、再びトグル信号１１１の“０”状態に相当する信号をＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力し、ＦＬＡＧ入力がオフとなる。
【００５３】
尚、ＣＰＵ参照可能信号１１２の立ち上がりを第２期間の開始から後ろに遅らせるのに併せて、ＣＰＵへの割り込み出力のタイミングを後ろにずらしてもよい。
【００５４】
上述の画像処理装置２では、ヒストグラムの初期化に要する期間、ヒストグラムの評価に要する期間、及び、ＣＰＵがヒストグラムの参照に要する期間を考慮しつつ、ＣＰＵ参照可能信号１１２に基づいて、ハードウェアによるヒストグラムのＲＡＭ１０５への書き込みと衝突しないように、ヒストグラムの参照が可能か否かをＣＰＵが自分で判断することができ、ヒストグラムの生成と参照のタイミング調整を容易に行うことが可能な画像処理装置が実現されている。
【００５５】
〈第４実施形態〉
本発明に係る画像処理装置の更に他の実施形態を図１０に示す。図１０に示す画像処理装置３は、２組のインクリメンタ１０３ａ，１０３ｂ、マルチプレクサ１０４ａ，１０４ｂ、及び、ヒストグラムＲＡＭ１０５ａ，１０５ｂを夫々備え、マルチプレクサ１０４ａと１０４ｂは互いに逆のタイミングで出力先を切り替えるように構成されている。即ち、トグル信号１１１が“０”の時はデータイネーブル信号１１３がヒストグラムＲＡＭ１０５ａのＷＥ入力（書込みイネーブル入力）、画素の濃度データ１１４が同Ａ入力（アドレス入力）、インクリメンタ１０３によりカウントアップされた読み出しデータが同ＤＩ入力（データ入力）に接続され、ヒストグラム生成動作を行うとともに、ヒストグラムＲＡＭ１０５ｂのＷＥ入力、Ａ入力、ＤＩ入力は全てＣＰＵバスに接続され、ＣＰＵからのアクセスが可能となっている。逆に、トグル信号１１１が“１”の時はデータイネーブル信号１１３がヒストグラムＲＡＭ１０５ｂのＷＥ入力（書込みイネーブル入力）、画素の濃度データ１１４が同Ａ入力（アドレス入力）、インクリメンタ１０３によりカウントアップされた読み出しデータが同ＤＩ入力（データ入力）に接続され、ヒストグラム生成動作を行うとともに、ヒストグラムＲＡＭ１０５ａのＷＥ入力、Ａ入力、ＤＩ入力は全てＣＰＵバスに接続され、ＣＰＵからのアクセスが可能となっている。
【００５６】
図１１に画像処理装置３における各信号のタイミングチャートを示す。図１１に示すように、ヒストグラムＲＡＭ１０５ａと１０５ｂは、第１期間（ヒストグラム生成フェーズ）と第２期間（ＣＰＵからのヒストグラム参照フェーズ）が互いに逆のフェーズで動作し、ＣＰＵから見た場合ヒストグラムの生成ないし評価結果を毎フレーム期間獲得することができるため、リアルタイム性を向上させることができる。
【００５７】
本実施形態では、カウンタ１０９ｃは、トグル信号１１１の立ち上がり或いは立ち下がりに伴い計数を開始し、カウント数に応じてＣＰＵ参照可能信号１１２の信号レベルを切り替え、当該トグル信号１１１の“０”状態に相当する信号、あるいは “１”状態に相当する信号のいずれかを、ＦＬＡＧ入力に出力する。
【００５８】
画像処理装置３の他の構成、特に、微分回路１０１、トグル回路１０２、インクリメンタ１０３ａ，１０３ｂ、マルチプレクサ１０４ａ，１０４ｂ、ヒストグラムＲＡＭ１０５ａ、１０５ｂ、パルス幅設定回路１０８、評価回路１１０の個々の回路およびその動作については、上述の画像処理装置２と同様であるので説明を割愛する。
【００５９】
以上、本発明に係る画像処理装置１〜３を例として本発明の実施形態について詳細に説明したが、これらは本発明の好適な実施形態の一例である。本発明の実施形態はこれらに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
【産業上の利用可能性】
【００６０】
本発明は、画像処理装置に利用可能であり、特に、リアルタイムで逐次入力される画像データに基づき画素濃度ヒストグラムを生成するヒストグラム生成回路としての利用に適している。
【符号の説明】
【００６１】
１〜３： 本発明に係る画像処理装置
１０１： 微分回路
１０２： トグル回路
１０３，１０３ａ，１０３ｂ： インクリメンタ
１０４，１０４ａ，１０４ｂ： マルチプレクサ
１０５，１０５ａ，１０５ｂ： ヒストグラムＲＡＭ
１０６： ＣＰＵ
１０７： ワンショット回路
１０８： パルス幅設定回路
１０９ａ〜１０９ｃ： カウンタ
１１０： 評価回路
１１１： トグル信号
１１２： ＣＰＵ参照可能信号
１１３： データイネーブル信号
１１４： 画素濃度データ
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、リアルタイムで逐次入力される画像データに基づき画素濃度ヒストグラムを生成するヒストグラム生成回路に関する。
【背景技術】
【０００２】
入力画像データに基づき画素濃度ヒストグラムを生成し、これを活用することは、特許文献１〜３の例に示されているように、画像処理の分野で多用されている。特に、特許文献１では、画像の中での対象物と背景がヒストグラム上での特徴となって現れることから、これを利用して対象物と背景を分離する手段を示している。例えば、背景に属する画素はヒストグラムの黒寄りにピークを作り、対象物に属する画素はヒストグラムの白寄りにピークを作る特徴があるとすると、２つのピークの間の谷間に閾値を設け、閾値以下ならば背景、閾値以上ならば対象物として識別可能となる。
【０００３】
ここで、ヒストグラムの生成はハードウェアで行い、その後のピークの間の谷間を検出し、その谷間の位置から閾値を獲得するといった処理はＣＰＵが行う、といった役割分担は、特許文献４において既に提案されている。特許文献４の例では、画像を所定の領域に分割して（分割の仕方はＣＰＵ指定）、当該領域毎にヒストグラムを生成するように構成されているが、基本的にはハードウェアにより画素濃度ヒストグラムがＲＡＭに生成されると、ＣＰＵがアドレスバス、データバスを介して生成されたヒストグラムを参照する構成である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−３７３０７９号公報
【特許文献２】特開２００８−２４２７３３号公報
【特許文献３】特開２００４−５６３９１号公報
【特許文献４】特開平２−２２４０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した、入力画像の画素濃度ヒストグラムをハードウェアによりＲＡＭ上に生成し、これをＣＰＵが参照するヒストグラム生成回路において、画像の入力がリアルタイムである場合には、タイミングを十分に考慮する必要がある。
【０００６】
即ち、画像の入力がリアルタイムである場合、画像の入力タイミングが例えば撮像装置により決定され、画像の入力期間中は、ＲＡＭに生成されたヒストグラムの書き込みアクセスが断続して発生し続けるため、ＣＰＵはその合間を縫ってＲＡＭを参照し、ヒストグラム生成結果を取得する必要がある。ＣＰＵが「合間を縫う」事に失敗すると、ＲＡＭに対する書き込みと読み出しが衝突し、ヒストグラムの生成が完了しないうちにＣＰＵがＲＡＭを参照してしまったり、ＣＰＵによるヒストグラムの参照が完了しないうちから、次のヒストグラム生成がハードウェアにより開始されてしまったり、といった様々な誤動作を引き起こしてしまう。
【０００７】
本発明は、上記の状況に鑑み、ハードウェアによるヒストグラムのＲＡＭへの書き込みとＣＰＵによるヒストグラムの読み出しが衝突しないように、ヒストグラムの生成と参照のタイミング調整を容易に行うことが可能な画像処理装置を提供することをその目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明に係る画像処理装置は、入力画像データに基づきヒストグラム処理をリアルタイムで実行する画像処理装置であって、入力画像データに基づきヒストグラムを生成し、ヒストグラムＲＡＭに保持する第１期間、及び、前記ヒストグラムＲＡＭに保持された前記ヒストグラムをＣＰＵに対して参照可能に開放する第２期間が交互に繰り返され、前記第２期間の終了時刻を基準として前記ＣＰＵが前記ヒストグラムの参照処理に要する所定の時間だけ遡った時刻から前記第２期間の終了までの第３期間の間、前記ＣＰＵによる前記ヒストグラムの参照を禁止する制御を行うことを第１の特徴とする。
【０００９】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記ヒストグラムの参照を開始可能とする参照可能フラグを前記ＣＰＵに対して出力するフラグ出力回路を備え、前記フラグ出力回路は、少なくとも前記第３期間の間、前記参照可能フラグを前記ＣＰＵに対して出力しないことが好ましい。
【００１０】
上記第１の特徴の画像処理装置に依れば、上記第３期間の間ＣＰＵに対するヒストグラムの参照を禁止する制御を行うことにより、ハードウェアによるヒストグラムＲＡＭへの書き込みとＣＰＵによるヒストグラムの読み出しが衝突することなく、確実にヒストグラムの参照を完了することができる。尚、当該制御は、ＣＰＵへのフラグに基づいて行うことが好適である。
【００１１】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第２期間の開始から前記第２期間内の前記第３期間の開始までの期間が、パラメータにより設定可能に構成されていることが好ましい。
【００１２】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第３期間の開始時刻が、画素クロックを基準として設定されることが好ましい。
【００１３】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第３期間の開始時刻が、有効画素に属する画素クロックを基準として設定されることが好ましい。
【００１４】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第３期間の開始時刻が、水平同期信号を基準として設定されることが好ましい。
【００１５】
上記第１の特徴の本発明に係る画像処理装置は、更に、前記第３期間には、前記ヒストグラムの初期化処理に要する期間が含まれることを第２の特徴とする。
【００１６】
上記第２の特徴の画像処理装置に依れば、ＣＰＵによるヒストグラムの参照処理に要する時間、及び、ヒストグラムの初期化処理に要する時間を考慮して、ハードウェアによるヒストグラムの生成、並びにヒストグラムの初期化処理と重ならないように、ＣＰＵによるヒストグラムの参照処理を完了することができる。
【００１７】
上記第１乃至第２の特徴の本発明に係る画像処理装置は、更に、前記第１期間において生成された前記ヒストグラムの評価処理を行う評価回路を備え、前記第２期間の開始から、前記第２期間の開始時刻を基準として前記評価回路が前記ヒストグラムの評価に要する時間だけ経過した時刻までの期間の間、前記ＣＰＵによる前記ヒストグラムの参照を禁止する制御を行うことを第３の特徴とする。
【００１８】
上記第３の特徴の画像処理装置に依れば、ＣＰＵによるヒストグラムの参照処理に要する時間、及び、評価回路がヒストグラムの評価に要する時間を考慮して、ハードウェアによるヒストグラムの生成処理、並びに、評価処理と重ならないように、ＣＰＵによるヒストグラムの参照処理を完了することができる。尚、評価処理としては、例えば以下の処理が挙げられるが、これに限られるものではない。
【００１９】
上記第３の特徴の本発明に係る画像処理装置は、更に、前記評価処理は、所定の画素領域において、画素値の累積分布確率が所定の割合となる画素値を求める処理であることが好ましい。
【００２０】
上記第３の特徴の本発明に係る画像処理装置は、更に、前記評価処理は、背景に属する画素の典型値を求める処理であることが好ましい。
【００２１】
上記第３の特徴の本発明に係る画像処理装置は、更に、前記評価処理は、対象物に属する画素の典型値を求める処理であることが好ましい。
【００２２】
上記第１乃至第３の何れかの特徴の本発明に係る画像処理装置は、更に、前記第１期間の開始から終了まで、及び、前記第２期間の開始から終了までが、夫々、入力画像の１フレーム期間であることが好ましい。
【００２３】
上記第１乃至第３の何れかの特徴の本発明に係る画像処理装置は、更に、複数の前記ヒストグラムＲＡＭを有し、うち少なくとも二つの前記ヒストグラムＲＡＭにおいて、一方の前記ヒストグラムＲＡＭにおける前記第１期間の開始と同時に、他方の前記ヒストグラムＲＡＭにおける前記第２期間が開始され、一方の前記ヒストグラムＲＡＭにおける前記第１期間の終了と同時に、他方の前記ヒストグラムＲＡＭにおける前記第２期間が終了されることを第４の特徴とする。
【００２４】
上記第４の特徴の画像処理装置に依れば、入力画像データに基づきヒストグラムの生成を行う第１期間（ヒストグラム生成フェーズ）と、生成されたヒストグラムをＣＰＵに対して参照可能に開放する第２期間（ヒストグラム参照フェーズ）とが互いに逆のフェーズで動作する二つのヒストグラムＲＡＭを備えることで、ヒストグラムの生成およびＣＰＵによる参照を毎期間行うことができ、よりリアルタイム性を向上させることができる。
【発明の効果】
【００２５】
従って、本発明に依れば、ヒストグラムＲＡＭがＣＰＵにとって参照可能か否かが容易に判断可能となり、ヒストグラムの生成と参照のタイミング調整が容易な画像処理装置を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る画像処理装置の構成例を示す回路ブロック図。
【図２】本発明に係る画像処理装置における各信号のタイミングチャート。
【図３】従来構成の画像処理装置における各信号のタイミングチャート。
【図４】本発明に係る画像処理装置において、ＣＰＵ参照可能信号のパルス幅を設定可能なワンショット回路（パルス発生回路）の例を示す図。
【図５】本発明に係る画像処理装置において、ＣＰＵ参照可能信号のパルス幅を設定可能なワンショット回路（パルス発生回路）の他の例を示す図。
【図６】本発明に係る画像処理装置において、ＣＰＵ参照可能信号のパルス幅をカウンタを用いて設定する場合の構成例を示す回路ブロック図。
【図７】本発明の第２実施形態に係る画像処理装置の動作を示すタイミングチャート。
【図８】本発明の第３実施形態に係る画像処理装置の構成例を示す回路ブロック図。
【図９】本発明の第３実施形態に係る画像処理装置における各信号のタイミングチャート。
【図１０】本発明の第４実施形態に係る画像処理装置の構成例を示す回路ブロック図。
【図１１】本発明の第４実施形態に係る画像処理装置における各信号のタイミングチャート。
【発明を実施するための形態】
【００２７】
〈第１実施形態〉
本発明の一実施形態に係る画像処理装置１の構成例を図１に示す。尚、以降の実施形態の説明に用いる図面では、同一の構成要素には同一の符号を付すこととし、また、名称及び機能も同一であるので、同様の説明を繰り返すことはしない。
【００２８】
図１の回路ブロック図に示すように、画像処理装置１は、微分回路１０１、トグル回路１０２、インクリメンタ１０３、マルチプレクサ１０４、ヒストグラムＲＡＭ１０５、ＣＰＵ１０６、ワンショット回路１０７を備え、入力画像データに基づき、リアルタイムで、ＣＰＵ１０５を介することなくハードウェアによりヒストグラムの生成が可能に構成されている。尚、上記ヒストグラム生成の元となる入力画像データは、ＣＭＯＳイメージセンサ等を備えた撮像装置から、画像データが逐次画像処理装置１に入力される場合を想定しているが、これに限られるものではない。
【００２９】
図２に画像処理装置１における各信号のタイミングチャートを示す。尚、本実施形態では、入力画像データに基づきヒストグラムを生成し、ヒストグラムＲＡＭに保持する第１期間、及び、当該ヒストグラムをＣＰＵに対して参照可能に開放する第２期間を、ともに入力画像の１フレーム期間としているが、必ずしもこの必要はない。
【００３０】
以下に、図１及び図２を参照し、本実施形態における画像処理装置１の処理動作について説明する。
【００３１】
画像処理装置１において、微分回路１０１は、入力された垂直同期信号を１画素クロック幅のパルスに整形し、トグル回路１０２に入力する。
【００３２】
すると、トグル回路１０２は、図２に示すように、当該１画素クロック幅の垂直同期信号が入力される毎に出力を反転し、トグル信号１１１を生成する。トグル信号１１１は、画像処理装置１が、第１期間（ヒストグラム生成フェーズ）にあるか、第２期間（ＣＰＵからのヒストグラム参照フェーズ）にあるかを示す信号であり、ここでは、トグル信号１１１が“０”（低レベル）のとき第１期間、“１”（高レベル）のとき第２期間にあるとする。
【００３３】
トグル信号１１１はマルチプレクサ１０４の制御入力に入力され、当該入力信号が“０”の時はマルチプレクサ１０４の上側の入力がヒストグラムＲＡＭ１０５の入力と接続され、“１”の時はマルチプレクサ１０４の下側の入力がヒストグラムＲＡＭ１０５の入力と接続される。即ち、トグル信号１１１が“０”の時は、データイネーブル信号１１３がヒストグラムＲＡＭ１０５のＷＥ入力（書込みイネーブル入力）、画素の濃度データ１１４が同Ａ入力（アドレス入力）、インクリメンタ１０３によりカウントアップされた読み出しデータが同ＤＩ入力（データ入力）に接続され、ヒストグラム生成動作を行う。一方、トグル信号１１１が“１”の時は、ヒストグラムＲＡＭ１０５のＷＥ入力、Ａ入力、ＤＩ入力は全てＣＰＵバスに接続され、ＣＰＵ１０６からのアクセスが可能となる。
【００３４】
更に、トグル信号１１１はＣＰＵ１０６のＩＮＴ入力（割り込み入力）に接続されており、第２期間の開始をＣＰＵ１０６に通知する。尚、トグル信号１１１をＣＰＵがポーリングする等の割り込み以外の手段を用いて、第２期間の開始をＣＰＵ１０６が検知してもよい。
【００３５】
更に、本実施形態において、トグル信号１１１は、ワンショット回路１０７により所定のパルス幅の信号に整形され、ＣＰＵ参照可能信号１１２としてＣＰＵ１０６のＦＬＡＧ入力に入力され、ＣＰＵ１０６はこれを参照して、ヒストグラムＲＡＭ１０５に保持されたヒストグラムの参照を開始してもよいか否かを判断する。ＦＬＡＧがオンの場合、ＣＰＵ１０６によるヒストグラムの参照を開始可能であり、ＦＬＡＧがオフの場合、ＣＰＵ１０６によるヒストグラムの参照が禁止されるように制御される。
【００３６】
図３に、ＣＰＵ参照可能信号１１２が無く、割り込み入力のみに基づいてＣＰＵがヒストグラムの参照を開始する従来構成の画像処理装置における各信号のタイミングチャートを示す。ＣＰＵが割り込みの入力を受け、これに応答する形のみでヒストグラムＲＡＭ１０５を参照しに行った場合、ＣＰＵの割り込み応答が非常に早い時（図３（ａ））、或いは、ＣＰＵの割り込み応答が早い時（図３（ｂ））にはヒストグラムの参照が成功するが、ＣＰＵの割り込み応答が非常に遅い時（図３（ｃ））には、ヒストグラムの参照期間の一部が第１期間と重なり、ＣＰＵがヒストグラムを参照している途中で次のヒストグラムの生成が始まってしまっており、ＣＰＵはヒストグラムの参照を正常に完了することができない。しかしながら、ＣＰＵから見た場合、自身の割り込み応答が図３（ａ）〜図３（ｃ）の何れに該当するかを判別することができない。
【００３７】
これに対し、本実施形態に係る画像処理装置１では、ワンショット回路１０７から出力され、ＦＬＡＧ入力に入力されるＣＰＵ参照可能信号１１２に基づいて、ＣＰＵ１０６がヒストグラムの参照が可能か否かを判断することができる。図２に示されているように、ＣＰＵ参照可能信号１１２は、ヒストグラムをＣＰＵに対して参照可能に開放する第２期間から、ＣＰＵがヒストグラムの参照に要する時間を差し引いた幅に整形されている。このため、ＣＰＵ１０６の割り込み応答が上述の図３（ｃ）のように非常に遅く、ＣＰＵ１０６によるヒストグラムの参照中に第１期間の開始が想定される状況では、ＣＰＵ１０６がヒストグラムの参照を開始しようとする時点でＣＰＵ参照可能信号１１２の出力パルスは既に立ち下がっており、ＦＬＡＧがオフとなっているため、ＣＰＵ１０６はヒストグラムの参照を行わず、次の第２期間の開始を待ち、次の第２期間でＦＬＡＧがオンとなるのを待って、ヒストグラムの参照を開始する。
【００３８】
即ち、本実施形態に係る画像処理装置１では、第２期間の終了時刻を基準として少なくともＣＰＵがヒストグラムの参照処理に要する時間だけ遡った時刻から第２期間の終了までの第３期間の間は、ＦＬＡＧ入力がオフになっているため、当該第３期間内におけるＣＰＵによるヒストグラムの参照が禁止される。この結果、ヒストグラムを生成中にＣＰＵ１０６がヒストグラムＲＡＭ１０５にアクセスし、生成中の当該ヒストグラムを参照するといった事態が回避される。
【００３９】
図４及び図５にパルス幅が設定可能なワンショット回路１０７の構成例を示す。図４は受動素子を用いてＣＰＵ参照可能信号１１２のパルス幅を設定する場合の例であり、具体的に単安定マルチバイブレータＩＣ（米国フェアチャイルド社のＤＭ７４１２３）を用いて構成した例である。ＩＣに接続するコンデンサの容量Ｃｘ、抵抗の抵抗値Ｒｘを適宜設定することで、ＣＰＵ参照可能信号１１２のパルス幅を設定可能とする構成である。
【００４０】
図５は能動素子を用いてＣＰＵ参照可能信号１１２のパルス幅を設定する場合の例であり、トグル信号１１１と、当該トグル信号１１１を遅延回路を介して遅延させた信号を反転させた信号との論理積を取ることによりＣＰＵ参照可能信号１１２が生成される。遅延回路は、偶数個のインバータ回路をカスケード接続してなり、当該カスケード接続されるインバータの個数を設定することで、ＣＰＵ参照可能信号１１２のバルス幅を設定可能とする構成である。
【００４１】
図６は所定のパルス幅のＣＰＵ参照可能信号１１２の生成に何らかのクロックにより動作するカウンタ１０９ａを用いた構成である。ここで、「何らかのクロック」としては、画素クロック、或いは、入力画像の水平同期入力信号を用いることができる。更に、画素クロックとデータイネーブル信号１１３の論理積を取ったものを使用してもよい。有効画素に属する画素クロックのみに基づいてカウント値が計数される。このようにすることで、有効画素数に対する割合（例えば、有効画素数の１／１０）の形で、技術者にとって容易に且つ直感的にＣＰＵ参照可能信号１１２の立ち下がりタイミングを設定する事が可能となる。
【００４２】
カウンタ１０９ａは、“１”状態へのトグル信号１１１の立ち上がりを受けて計数を開始し、当該クロックのカウント数が所定値以下の場合は当該“１”状態のトグル信号をそのままＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力するが、カウント数が所定値を超えると、トグル信号１１１の“０”状態に相当する信号を、ＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力する。これにより、ＣＰＵ参照可能信号１１２のパルス幅が、当該クロックを基準として設定される。尚、当該ＣＰＵ参照可能信号１１２のパルス幅は、パルス幅設定回路１０８からの信号により再設定が可能に構成されている。
【００４３】
上述の画像処理回路１によれば、第３期間中はＣＰＵ参照可能信号１１２をオフとする制御を行うことで、ＣＰＵ参照可能信号１１２に基づいて、ハードウェアによるヒストグラムのＲＡＭ１０５への書き込みと衝突しないように、ヒストグラムの参照が可能か否かをＣＰＵ１０６が自分で判断することができ、ヒストグラムの生成と参照のタイミング調整を容易に行うことが可能な画像処理装置が実現されている。
【００４４】
〈第２実施形態〉
本発明に係る画像処理装置の他の実施形態を図７のタイミングチャートに示す。図７は、ヒストグラムの生成フェーズである第１期間の開始に先立って、ヒストグラムの初期化を行うフェーズを直前の第２期間内に設ける場合の各信号のタイミングチャートであり、これに伴って、ＣＰＵ参照可能信号１１２の立ち下がりを、当該ヒストグラムの初期化に要する時間分前倒しする構成である。ここで、ヒストグラムの初期化とは、直前に採取したヒストグラムデータを全て廃棄し、ヒストグラムＲＡＭ１０５の内容を全て“０”にクリアする処理である。
【００４５】
図７に示すように、本実施形態では、ＣＰＵ１０６のＦＬＡＧ入力がオフとなる第３期間は、ＣＰＵがヒストグラムの参照に要する時間と、ヒストグラムの初期化に要する時間との和になっている。このため、ＣＰＵ参照可能信号１１２のパルス幅は、当該第３期間が少なくとも当該ヒストグラムの参照、および、当該ヒストグラムの初期化に要する時間の和よりも長くなるように、例えば図６のパルス幅設定回路１０８により設定され、当該パルス幅設定回路１０８により設定されたパルス幅で、カウンタ１０９ａによりＣＰＵ１０６のフラグ入力に出力される。
【００４６】
〈第３実施形態〉
本発明に係る画像処理装置の更に他の実施形態を図８に示す。図８に示す画像処理装置２は、図６に示す画像処理装置において、ＣＰＵによるヒストグラムの参照に先立ってヒストグラムの評価処理を行う評価回路１１０を更に備え、その評価結果をＣＰＵ１０６に返すようにした構成である。そして、当該ヒストグラムの評価処理に要する時間だけ、ＣＰＵ参照可能信号１１２の立ち上がりを後ろに遅らせている。図９に画像処理装置２における各信号のタイミングチャートを示す。
【００４７】
評価処理とは、例えば、所定の画素領域において、画素値の累積分布確率が所定の割合となる画素値を求める処理が挙げられ、より具体的には、対象物（背景）に属する画素の典型値を求める処理を挙げることができる。
【００４８】
所定の画素領域（例えば、有効画素領域全体）において、画面の４割程度が対象物に属し、残りの６割程度が背景に属すると仮定する。背景は白寄りの色であり、対象物は黒寄りの色であるとする。しかしながら、背景とも対象物とも画素値だけでは判定できない「グレーゾーン」の画素がいくらか存在する。若しくは４０％：６０％の対象物と背景の比率が、撮像した場合に応じて揺らぐ。ここで、全体の２０％程度が「グレーゾーン」、乃至は揺らぎの幅が２０％程度、と仮定すると、４０％の白寄りの背景画素のうち、黒寄りの１０％の画素は対象物側に張り出し、６０％の黒寄りの対象物の画素のうち、白寄りの１０％の画素は背景側に張り出して、グレーゾーンの画素になっている。このとき、黒寄りの３０％の画素が対象物に属する画素として判定され、白寄りの５０％の画素が背景に属する画素として判定される。従って、対象物に属する画素の典型値を求める場合は、中央値である黒寄りの１５％目（白寄りの８５％目）の画素値が、典型値として採用可能であり、背景に属する画素の典型値を求める場合は、中央値である白寄りの２５％目（黒寄りの７５％目）の画素値が、典型値として採用可能である。或いは、対象物に属する画素の境界値である黒寄りの３０％目（白寄りの７０％目）の画素値、または背景に属する画素の境界値である白寄りの５０％目（黒寄りの５０％目）の画素値を典型値として採用することができる。
【００４９】
尚、評価に用いる画素値としては、ＲＧＢ表現におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各輝度値に対し典型値を求めることも可能であるが、上述の例では、むしろ、Ｙｕｖ表現におけるＹ（カラー画像をモノクロ画像に変換した際の、そのモノクロ画像の階調値）に対して当該典型値を求めるのがより好ましい構成である。
【００５０】
評価回路１１０は、ヒストグラムが生成された後、第２期間の開始に伴って、直前の第１期間において生成されたヒストグラムに対して上述の評価処理を行い、その結果をＣＰＵ１０６に渡す。そして本実施形態において、画像処理装置２は、第２期間の開始から少なくとも評価回路１１０が当該ヒストグラムの評価処理に要する時間が経過するまでの期間、ＣＰＵ１０６のＦＬＡＧ入力をオフとし、ＣＰＵ１０６による当該ヒストグラムの参照が禁止されるように制御する。
【００５１】
パルス幅設定回路１０８は、ＣＰＵ参照可能信号１１２の立ち上がり時刻および立ち下がり時刻を設定し、カウンタ１０９ｂは、上記のパルス幅設定回路１０８による設定情報に基づき、所定のパルス幅のＣＰＵ参照可能信号１１２をＦＬＡＧ入力に出力する。
【００５２】
カウンタ１０９ｂは、第２期間の開始に伴い、“１”状態へのトグル信号１１１の立ち上がりを受けて計数を開始し、カウント数が第１の所定値以下の場合は当該トグル信号１１１の“０”状態に相当する信号を、ＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力する。従って、ＦＬＡＧ入力がオフとなり、ＣＰＵによる当該ヒストグラムの参照は禁止される。その後、カウント数が第１の所定値を超えると、カウンタ１０９ｂは、“１”状態のトグル信号１１１をそのままＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力する。この結果、ＣＰＵ参照可能信号１１２のパルスが立ち上がり、ヒストグラムがＣＰＵに対して参照可能となる。更にカウント数が第２の所定値を超えると、カウンタ１０９ｂは、再びトグル信号１１１の“０”状態に相当する信号をＣＰＵ参照可能信号１１２としてＦＬＡＧ入力に出力し、ＦＬＡＧ入力がオフとなる。
【００５３】
尚、ＣＰＵ参照可能信号１１２の立ち上がりを第２期間の開始から後ろに遅らせるのに併せて、ＣＰＵへの割り込み出力のタイミングを後ろにずらしてもよい。
【００５４】
上述の画像処理装置２では、ヒストグラムの初期化に要する期間、ヒストグラムの評価に要する期間、及び、ＣＰＵがヒストグラムの参照に要する期間を考慮しつつ、ＣＰＵ参照可能信号１１２に基づいて、ハードウェアによるヒストグラムのＲＡＭ１０５への書き込みと衝突しないように、ヒストグラムの参照が可能か否かをＣＰＵが自分で判断することができ、ヒストグラムの生成と参照のタイミング調整を容易に行うことが可能な画像処理装置が実現されている。
【００５５】
〈第４実施形態〉
本発明に係る画像処理装置の更に他の実施形態を図１０に示す。図１０に示す画像処理装置３は、２組のインクリメンタ１０３ａ，１０３ｂ、マルチプレクサ１０４ａ，１０４ｂ、及び、ヒストグラムＲＡＭ１０５ａ，１０５ｂを夫々備え、マルチプレクサ１０４ａと１０４ｂは互いに逆のタイミングで出力先を切り替えるように構成されている。即ち、トグル信号１１１が“０”の時はデータイネーブル信号１１３がヒストグラムＲＡＭ１０５ａのＷＥ入力（書込みイネーブル入力）、画素の濃度データ１１４が同Ａ入力（アドレス入力）、インクリメンタ１０３によりカウントアップされた読み出しデータが同ＤＩ入力（データ入力）に接続され、ヒストグラム生成動作を行うとともに、ヒストグラムＲＡＭ１０５ｂのＷＥ入力、Ａ入力、ＤＩ入力は全てＣＰＵバスに接続され、ＣＰＵからのアクセスが可能となっている。逆に、トグル信号１１１が“１”の時はデータイネーブル信号１１３がヒストグラムＲＡＭ１０５ｂのＷＥ入力（書込みイネーブル入力）、画素の濃度データ１１４が同Ａ入力（アドレス入力）、インクリメンタ１０３によりカウントアップされた読み出しデータが同ＤＩ入力（データ入力）に接続され、ヒストグラム生成動作を行うとともに、ヒストグラムＲＡＭ１０５ａのＷＥ入力、Ａ入力、ＤＩ入力は全てＣＰＵバスに接続され、ＣＰＵからのアクセスが可能となっている。
【００５６】
図１１に画像処理装置３における各信号のタイミングチャートを示す。図１１に示すように、ヒストグラムＲＡＭ１０５ａと１０５ｂは、第１期間（ヒストグラム生成フェーズ）と第２期間（ＣＰＵからのヒストグラム参照フェーズ）が互いに逆のフェーズで動作し、ＣＰＵから見た場合ヒストグラムの生成ないし評価結果を毎フレーム期間獲得することができるため、リアルタイム性を向上させることができる。
【００５７】
本実施形態では、カウンタ１０９ｃは、トグル信号１１１の立ち上がり或いは立ち下がりに伴い計数を開始し、カウント数に応じてＣＰＵ参照可能信号１１２の信号レベルを切り替え、当該トグル信号１１１の“０”状態に相当する信号、あるいは “１”状態に相当する信号のいずれかを、ＦＬＡＧ入力に出力する。
【００５８】
画像処理装置３の他の構成、特に、微分回路１０１、トグル回路１０２、インクリメンタ１０３ａ，１０３ｂ、マルチプレクサ１０４ａ，１０４ｂ、ヒストグラムＲＡＭ１０５ａ、１０５ｂ、パルス幅設定回路１０８、評価回路１１０の個々の回路およびその動作については、上述の画像処理装置２と同様であるので説明を割愛する。
【００５９】
以上、本発明に係る画像処理装置１〜３を例として本発明の実施形態について詳細に説明したが、これらは本発明の好適な実施形態の一例である。本発明の実施形態はこれらに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
【産業上の利用可能性】
【００６０】
本発明は、画像処理装置に利用可能であり、特に、リアルタイムで逐次入力される画像データに基づき画素濃度ヒストグラムを生成するヒストグラム生成回路としての利用に適している。
【符号の説明】
【００６１】
１〜３： 本発明に係る画像処理装置
１０１： 微分回路
１０２： トグル回路
１０３，１０３ａ，１０３ｂ： インクリメンタ
１０４，１０４ａ，１０４ｂ： マルチプレクサ
１０５，１０５ａ，１０５ｂ： ヒストグラムＲＡＭ
１０６： ＣＰＵ
１０７： ワンショット回路
１０８： パルス幅設定回路
１０９ａ〜１０９ｃ： カウンタ
１１０： 評価回路
１１１： トグル信号
１１２： ＣＰＵ参照可能信号
１１３： データイネーブル信号
１１４： 画素濃度データ
【特許請求の範囲】
【請求項１】
入力画像データに基づきヒストグラム処理をリアルタイムで実行する画像処理装置であって、
入力画像データに基づきヒストグラムを生成し、ヒストグラムＲＡＭに保持する第１期間、及び、前記ヒストグラムＲＡＭに保持された前記ヒストグラムをＣＰＵに対して参照可能に開放する第２期間が交互に繰り返され、
前記第２期間の終了時刻を基準として前記ＣＰＵが前記ヒストグラムの参照処理に要する所定の時間だけ遡った時刻から前記第２期間の終了までの第３期間の間、前記ＣＰＵによる前記ヒストグラムの参照を禁止する制御を行うことを特徴とする画像処理装置。
【請求項２】
前記ヒストグラムの参照を開始可能とする参照可能フラグを前記ＣＰＵに対して出力するフラグ出力回路を備え、
前記フラグ出力回路は、少なくとも前記第３期間の間、前記参照可能フラグを前記ＣＰＵに対して出力しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２期間の開始から前記第２期間内の前記第３期間の開始までの期間が、パラメータにより設定可能に構成されていることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第３期間の開始時刻が、画素クロックを基準として設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第３期間の開始時刻が、有効画素に属する画素クロックを基準として設定されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第３期間の開始時刻が、水平同期信号を基準として設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記第３期間には、前記ヒストグラムの初期化処理に要する期間が含まれることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記第１期間において生成された前記ヒストグラムの評価処理を行う評価回路を備え、
前記第２期間の開始から、前記第２期間の開始時刻を基準として前記評価回路が前記ヒストグラムの評価に要する時間だけ経過した時刻までの期間の間、前記ＣＰＵによる前記ヒストグラムの参照を禁止する制御を行うことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項９】
前記評価処理は、所定の画素領域において、画素値の累積分布確率が所定の割合となる画素値を求める処理であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記評価処理は、背景に属する画素の典型値を求める処理であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記評価処理は、対象物に属する画素の典型値を求める処理であることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記第１期間の開始から終了まで、及び、前記第２期間の開始から終了までが、夫々、入力画像の１フレーム期間であることを特徴とする請求項１〜１１の何れか一項に記載の画像処理装置。
【請求項１３】
複数の前記ヒストグラムＲＡＭを有し、
うち少なくとも二つの前記ヒストグラムＲＡＭにおいて、
一方の前記ヒストグラムＲＡＭにおける前記第１期間の開始と同時に、他方の前記ヒストグラムＲＡＭにおける前記第２期間が開始され、
一方の前記ヒストグラムＲＡＭにおける前記第１期間の終了と同時に、他方の前記ヒストグラムＲＡＭにおける前記第２期間が終了されることを特徴とする請求項１２に記載の画像処理装置。
【請求項１】
入力画像データに基づきヒストグラム処理をリアルタイムで実行する画像処理装置であって、
入力画像データに基づきヒストグラムを生成し、ヒストグラムＲＡＭに保持する第１期間、及び、前記ヒストグラムＲＡＭに保持された前記ヒストグラムをＣＰＵに対して参照可能に開放する第２期間が交互に繰り返され、
前記第２期間の終了時刻を基準として前記ＣＰＵが前記ヒストグラムの参照処理に要する所定の時間だけ遡った時刻から前記第２期間の終了までの第３期間の間、前記ＣＰＵによる前記ヒストグラムの参照を禁止する制御を行うことを特徴とする画像処理装置。
【請求項２】
前記ヒストグラムの参照を開始可能とする参照可能フラグを前記ＣＰＵに対して出力するフラグ出力回路を備え、
前記フラグ出力回路は、少なくとも前記第３期間の間、前記参照可能フラグを前記ＣＰＵに対して出力しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２期間の開始から前記第２期間内の前記第３期間の開始までの期間が、パラメータにより設定可能に構成されていることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第３期間の開始時刻が、画素クロックを基準として設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第３期間の開始時刻が、有効画素に属する画素クロックを基準として設定されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第３期間の開始時刻が、水平同期信号を基準として設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記第３期間には、前記ヒストグラムの初期化処理に要する期間が含まれることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記第１期間において生成された前記ヒストグラムの評価処理を行う評価回路を備え、
前記第２期間の開始から、前記第２期間の開始時刻を基準として前記評価回路が前記ヒストグラムの評価に要する時間だけ経過した時刻までの期間の間、前記ＣＰＵによる前記ヒストグラムの参照を禁止する制御を行うことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
【請求項９】
前記評価処理は、所定の画素領域において、画素値の累積分布確率が所定の割合となる画素値を求める処理であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記評価処理は、背景に属する画素の典型値を求める処理であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記評価処理は、対象物に属する画素の典型値を求める処理であることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記第１期間の開始から終了まで、及び、前記第２期間の開始から終了までが、夫々、入力画像の１フレーム期間であることを特徴とする請求項１〜１１の何れか一項に記載の画像処理装置。
【請求項１３】
複数の前記ヒストグラムＲＡＭを有し、
うち少なくとも二つの前記ヒストグラムＲＡＭにおいて、
一方の前記ヒストグラムＲＡＭにおける前記第１期間の開始と同時に、他方の前記ヒストグラムＲＡＭにおける前記第２期間が開始され、
一方の前記ヒストグラムＲＡＭにおける前記第１期間の終了と同時に、他方の前記ヒストグラムＲＡＭにおける前記第２期間が終了されることを特徴とする請求項１２に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−８９０５１（Ｐ２０１２−８９０５１Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３７１９９（Ｐ２０１０−２３７１９９）
【出願日】平成２２年１０月２２日（２０１０．１０．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月２２日（２０１０．１０．２２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]