画像処理方法及び手段
本発明は、一般に画像処理に関し、特に、飛行及び航空輸送と、陸上輸送と、船舶輸送と、潜水作業と、水中検査と、医療調査と、海洋考古学と、陸上考古学と、農業と、監視及びセキュリティと、食品安全と、エネルギーシステムと、林業のような広範囲の用途について、カラー画像中の物理的な物体表現の人による検出を容易化する方法及び手段に関する。本発明は、カラー画素マトリクス毎に別々に実行されるヒストグラム等化処理ステップ（２５０）を実行することにより、少なくとも２個の別個のカラー画素マトリクスＭｉによって形成されたカラー画像表現Ｉｃのための画像処理方法を提供することによってこれを実現する。種々の前処理がヒストグラム等化処理ステップ（２５０）より前に適用される。本発明は、本発明による方法を使用して種々の用途に適した多数のデバイスをさらに提供する。
【発明の詳細な説明】
【相互参照】
【０００１】
本願は、２００４年６月６日に出願され、発明の名称が“Ａ ｍｅｔｈｏｄ ｔｈａｔ ｉｍｐｒｏｖｅｓ ｈｕｍａｎ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ ｃｏｌｏｕｒ ｉｍａｇｅｓ ｗｉｔｈ ｌｉｍｉｔｅｄ ｓｐｅｃｔｒａｌ ｃｏｎｔｅｎｔ”であり、共にスイス国民であるＡｎｄｅｒｓ ＨｏｌｍとＯｌｌｅ Ｈｏｌｍによる米国仮出願第６０／５２１６５０号と関連付けられる。米国仮出願第６０／５２１６５０号は参考することにより本明細書に組み込まれ、本願中でのその仮出願の記載によって本発明に関する先行技術としては認められない。
【技術分野】
【０００２】
本発明は、一般に画像処理に関し、特に、飛行及び航空輸送と、陸上輸送と、船舶輸送と、潜水作業と、水中検査と、医療調査と、海洋考古学と、陸上考古学と、農業と、監視及びセキュリティと、食品安全と、エネルギーシステムと、林業のような広範囲の用途について、カラー画像中の物理的な物体表現の効率的な検出のための方法及び手段に関する。
【背景】
【０００３】
人の網膜に投影され、続いて脳の視覚野で「映」される物体Ｏを仮定する。像Ｉの品質は、Ｏを「理解」するためにＩがどの程度有効であるかによって、及び／又は、ＯとＩの間で認められる類似性として記述される。よって、以下のａ）からｄ）、すなわち、
ａ）目と物体との間の空間（何もない空間、空気、液体）は、霧、靄、煙、雪、塵、シルト、又は、その他のタイプの分散粒子（例えば、血球）によって「汚染」され、
ｂ）目と物体との間の空間（気体、液体）は、標準空気又は真空とは異なる、波長に依存する相対的な透過性があり、
ｃ）物体Ｏはカラーの内容が制限され、
ｄ）像は、網膜受容器が輝度又は色差を分離するため特に制限された能力を有するという条件、例えば、低光条件下で捕捉される、
のうちの一つ、又は、組み合わせが起こり、認知される像Ｉの品質が大幅に乱され、このことは、Ｉの解釈が不完全になり得ることを意味する。このような視覚的な見え方の乱れは、身体内部（例えば、目）の調査、航空交通管制、運転、その他の陸上若しくは海上交通、水中作業、消火活動、又は、その他の監視状況のような状況に深刻な実際的な影響がある。眼底における病理学的な細部は、血液汚染のため見落とされる可能性があり、航空機又は船舶は霧中で行方不明になる可能性があり、消防士は煙中で迷う可能性があり、運転手は事故のため進めなくなる可能性がある。したがって、このような状況では、人による像の解釈を容易化する可能性を提供する、すなわち、人の視覚を強化する効率的な画像改善システムの欠如は、重大な問題となる。以下では、ある種の関心領域と問題が昌実される。
【０００４】
［飛行及び航空輸送］
空港、及び／又は、コックピットの外側／内側における霧、スモッグ、靄、雪、煙、雨、例えば、バッタ、ハチといった虫及び昆虫のような生物の雲、黄昏及び夜明け、又は、不適切な、すなわち、肉眼による細部認知のため不適切な照明のような低光条件は、一般に飛行のセキュリティリスクとなり、深刻な航空輸送管制問題を引き起こし、その結果として、フライトの経路変更又は取り消しを伴う。明らかに、これらの問題は、さらに、航空会社と乗客の双方に負の経済効果をもたらし、最悪の場合、命にかかわる事故を生じることさえある。航空輸送が最新式のナビゲーション及びレーダーシステムによって誘導、管制されるとしても、視覚的な接触をもつ必要性が依然としてある。非常に多数の事故が視認性の低下と未知の物体の移動とによって引き起こされている。たとえ僅かでも視認性の増加は、パイロットと航空交通管制官に困難な状況に対処するより良い機会を与えるであろう。したがって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【０００５】
［陸上輸送］
同様に、スモッグ、靄、雪、煙、雨、例えば、バッタ、ハチといった虫及び昆虫のような生物の雲、黄昏及び夜明け、又は、不適切な、すなわち、肉眼による細部認知のため不適切な照明のような低光条件は、道路及び鉄道の安全に関して問題となり、さらに貨物輸送のコストを増加させる。よって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【０００６】
［船舶輸送］
船舶は通常は非常に高度なナビゲーション装置、例えば、レーダー、ＧＰＳなどを備えているが、それでもなお乗組員は、例えば、海岸、小型船舶、及び、その他の船舶と視覚的な接触をもつことが必要である。スモッグ、靄、雪、煙、雨、例えば、バッタ、ハチといった虫及び昆虫のような生物の雲、黄昏及び夜明け、又は、不適切な、すなわち、肉眼による細部認知のため不適切な照明のような低光条件を含む環境においてこのような視覚的な接触をもつことは問題である。その結果として、安全性と船舶輸送コストのいずれかが妥協される。よって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【０００７】
［海底用途］
シルト、粒子、「浮遊」する堆積物、水による波長フィルタリング、不適切な照明、すなわち、水中での肉眼による細部認知のため不適切な照明、藻、プランクトンなどのような生物の雲は、いずれも、人による像の理解を水中でより困難にさせる。一般的な問題は、海底近くでのあらゆる水中作業は海底シルトのため困難であり、どの程度容易に海底シルトが乱されるか、ということである。この海底の乱れは、視認性を著しく低下させる濃い「霧」を作る。このことは、例えば、ビデオ録画装置を伴う水中車両を使用するときに、潜水中に、又は、例えば、水中での据え付け作業中に、安全上の問題と経済的な問題の両方である。例えば、ダイバーは、方位を見失い、悲劇的な結末を伴うことがあり、ある種の建造及び／又は据え付け作業は必要以上に高価になり、これらの問題のため実行不能になることがある。一例として、橋、ダム、オイル及びガスのパイプライン、掘削プラットフォーム部品、電気通信ケーブルなどのような水中の基盤設備は、建設／据え付け、検査、及び、保守される必要があり、これらの活動はすべてが、効率的に実行されるように、水中像の正確な解釈を必要とする。さらに、商業用又はレジャー用の船舶及びボートは、海面下で保守と検査をされなければならない。ボートが小型であるならば、保守と検査は、海からボートを持ち上げることによって行われる。船舶が大型であるならば、保守と検査は、ダイバー又はビデオ搭載ＲＯＶ（遠隔操作車両）のいずれかによって行われる。処理されたビデオ映像は、潜在的な問題の非常に優れた光景を提供する。問題は、海底が偶然に乱されたときに、シルトは動かなくなるまで、それ以上の作業を妨げることである。これは、危険であると同時に、効率の問題を招く。水中での建設又は検査は、水質と、シルトと、粒子の量と、その他の上記の視認性妨害に依存した視認性の問題のため困難である。
【０００８】
よって、可能であれば、ビデオ搭載型「遠隔操作車両」（ＲＯＶ）と組み合わせて、このような活動を実行し、安全性を高めるため必要とされる時間とコストを削減するように、このような状況における人による像の解釈を容易化する方法及び手段を見出すことが必要である。
【０００９】
［医療用途］
血球のような様々な粒子は、医療録画又は観察状況（例えば、眼科診療、眼底検査、皮膚画像検査、内視鏡画像中の局所的な細胞変動の特定など）において、人による画像の解釈をより困難にさせ、誤診及び／又は正確な医療処置に関して誤った判断につながる可能性がある。人に苦痛を与える以外に、これは、社会と患者の双方にコストの点で経済的な問題を生じ、一部の患者は、残りの人生を深刻なハンディキャップと共に生きなければならない。よって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【００１０】
［海洋考古学］
海洋考古学は、重大な視認性問題を伴う海底の乱れを意味する。多くの場合に、アーティファクトを取り出す可能性は、「真空化」とフィルタリングだけであるが、大量の情報、例えば、アーティファクトの位置を破壊する。よって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【００１１】
［陸上考古学］
航空機に搭載されたビデオ装置を利用することが可能であるならば、発掘場所の発見は非常に効率的である。しかし、問題は、土色の差によって遺跡を、例えば、住居及びその他の建造物から穴を発見する能力を備えた効率的な画像処理テクノロジーが今日では利用できないことである。よって、この問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【００１２】
さらに、発掘における年代推定の多くは、様々な時代から始まる土層の違いについての知識によって行われる。したがって、正確かつ確実な方式で土壌の「歴史的年代」を推定する可能性を提供する、様々な土壌の検出及び解釈を容易化する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１３】
［農業］
汚染土壌領域は周囲と色が僅かに異なる。色差は非常に小さいので、純然たる視覚検査で色差を検出することは困難である。よって、汚染土壌の検出を容易化する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１４】
作物品質及び生長状態は、僅かな色差に見ることができる。色差は非常に小さいので、純然たる視覚検査で色差を検出することは困難である。正確、確実、かつ、効率的な方式で、上記色差に基づいて作物品質及び生長状態を検出する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１５】
［食品安全］
食品及び飲食物の品質低下は、しばしば小さな色変化として現れ、例えば、肉は腐ると黒っぽくなる。正確、確実、かつ、効率的な方式で、上記色変化に基づいて、食品の品質低下を検出する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１６】
［エネルギーシステム］
多くの場合に、エアボーン検査が、例えば、暴風等の後に電源障害の場合に、電力グリッドネットワーク計画、保守及び制御の目的のため実行される。よって、このようなエアボーン検査中に捕捉された画像の正確な解釈を容易化する能力を備えた効率的な方法及び手段を提供し、電力グリッドネットワークの効率的な計画、動作、保守及び制御を容易化することが必要である。
【００１７】
［林業］
多くの場合に、エアボーン検査が、例えば、品質、生長、健康状態、環境問題、違法伐採などを調査／推定するため、森林保守及び制御の際に使用される。よって、このようなエアボーン検査中に捕捉された画像の正確な解釈を容易化する能力を備えた効率的な方法及び手段を提供し、森林の効率的な検査、保守及び制御を可能にすることが必要である。
【００１８】
［モニタリング／セキュリティ／監視］
空港ターミナルビルの屋根の真下に取り付けられた監視パンカメラを仮定する。カメラはチルトされ、主に滑走路へ向けられる。カメラは、セキュリティ監視、ならびに、一般的な活動監視のため使用される。さらに気象条件は霧がかっていること仮定する。このような状況では、例えば、着衣によって認識される許可されていない人員、及び／又は、特定の形式及び／又は反射特性を有する物体の検出は、低視認性によって妨げられる。よって、異なる画像条件中に捕捉されたカラー画像中の許可されていない人と許可されている人を正確に識別する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１９】
この背景セクションに記載された情報は本発明をより良く理解することを目的とし、この背景セクション中での言及によって本発明に関する先行技術であると認められる情報はない。
【００２０】
したがって、上記の問題を解決するか、又は、緩和し、例えば、上記の用途のため、効率的かつ効果的にカラー画像中の種々の物体表現を検出する能力を備えた方法及び手段を見つけることが必要である。
【概要】
【００２１】
本発明の目的は、上記の問題を解決するか、又は、緩和し、例えば、上記の用途のため、効率的かつ効果的にカラー画像中の種々の物体表現を検出する能力を備えた方法及び手段を提供することである。
【００２２】
本発明の目的は、人によるカラー画像の解釈を容易化することである。
【００２３】
本発明の別の目的は、広範囲の異なる用途及び状況において、経済的な方式で、人によるカラー画像の解釈を容易化するため、使い易く、インタラクティブであり、多目的に用いられる画像処理手段を提供することである。
【００２４】
本発明のさらなる目的は、特に上記の様々な用途に適し、上記の問題／欠点を解決／緩和し、及び／又は、効率的かつ効果的に上記の要求を満たす装置を提供することである。
【００２５】
本発明は、基本的に、人によるカラー画像中の物理的な物体表現の検出を容易化する画像処理方法と、本発明の方法に従って動作する装置とデバイスの組を提供することによりこの目的を達成する。
【００２６】
第１の態様によれば、本発明は、少なくとも２個の別個のカラー画素マトリクスＭＮによって形成されるカラー画像ＩＣ中の物理的な物体表現を検出する方法であって、上記画像ＩＣが少なくともヒストグラム等化処理ステップによって処理され、ヒストグラム等化処理ステップが、
上記少なくとも２個の別個のカラー画素マトリクスＭＮから、少なくとも第１のカラー画素マトリクスＭ１を選択するステップと、
少なくとも上記第１のカラー画素マトリクスＭ１に対してヒストグラム等化処理ステップを別々に実行し、上記第１のカラー画素マトリクスの更新バージョンＭ１’を形成するステップと、
上記画像Ｉｃの更新バージョンＩＣ’が少なくとも上記更新されたカラー画素マトリクスＭ１’を含むようにＩＣ’を形成するステップと、
上記更新バージョンＩＣ’をディスプレイに表示するステップと、
を備え、
上記更新されたカラー画像表現ＩＣ’が、上記カラー画像表現ＩＣ’中の上記物体表現の正しさを明らかにすることにより、人による上記物体表現の検出を容易化する方法を提供することによって上記目的を達成する。
【００２７】
本発明によれば、上記ヒストグラム等化処理ステップは、通常は、上記カラー画素マトリクスＭＮのそれぞれに対して別々に実行され、上記カラー画素マトリクスの更新バージョンＭＮ’を形成し、上記画像ＩＣの更新バージョンＩＣ’が上記更新されたカラー画素マトリクスＭＮ’のすべてを含むようにＩＣ’を形成する。
【００２８】
一実施形態では、本発明による方法は、上記ヒストグラム等化処理ステップの前に実行される第１のタイプの前処理ステップを含み、上記第１のタイプの前処理ステップが、
少なくとも１個の特定のカラー画素マトリクスに対して輝度ヒストグラムＩＨＩを作成するステップと、
上記輝度ヒストグラムＩＨＩに関して画素輝度値の少なくとも１個の範囲を選択するステップと、
上記範囲内の輝度ヒストグラム値を捨てることにより、上記輝度ヒストグラムの更新バージョンＩＨＩ’を作成するステップと、
後に続くヒストグラム等化処理ステップにさらなる処理のための入力としてＩＨＩ’を供給するステップと、
を備える。
【００２９】
別の実施形態では、本発明による方法は、上記ヒストグラム等化処理ステップの前に実行される第２のタイプの前処理ステップを含み、上記第２のタイプの前処理ステップが、
上記画像表現ＩＣ中の少なくとも１個の望ましくない画素領域を特定するステップと、
上記領域内のすべての画素値を捨て、上記画像表現の更新バージョンＩＣ’を形成するステップと、
後に続くヒストグラム等化処理ステップにさらなる処理のための入力としてＩ’ＨＩを供給するステップとを備える。上記特定ステップは、例えば、テキスト認識アルゴリズムのような画像セグメンテーションアルゴリズムによって実行される。特定ステップは、例えば、上記画像ＩＣを表示するディスプレイの上でポインティング手段を動かすことにより、ヒューマンインタラクションを含むことがある。
【００３０】
一実施形態では、上記ヒストグラム等化処理ステップは、
上記第１のカラー画素マトリクスＭ１に対して輝度分布ヒストグラムＩＤＨを計算するステップと、
上記ＩＤＨに対して正規化された累積和ＮＣＳを算出するステップと、
上記正規化された累積和ＮＣＳに対してスレッショルド値Ｋを選択するステップと、
ＩＤＨ中で、上記スレッショルド値Ｋに基づいて画素輝度値の第１の範囲ＲＡＢを定義する画素輝度値Ａ及びＢを特定するステップと、
上記範囲ＲＡＢの外側にあるすべての画素値を捨てることにより、上記輝度分布ヒストグラムの更新バージョンＩＤＨ’を形成するステップと、
上記第１の範囲ＲＡＢ内の画素値を画素輝度値の第２のより大きい範囲ＲＡＢ’に写像するステップと、
を備える。上記スレッショルド値Ｋは、制御手段を位置合わせすることによりヒューマンインタラクションによって選択してもよい。
【００３１】
さらなる実施形態では、本発明による方法は、少なくとも約４００〜８００ｎｍのスペクトル範囲を有するセンサを使用することにより、上記カラー画像表現ＩＣを捕捉するステップを備える。
【００３２】
なおさらなる実施形態では、本発明による処理方法は、１画像単位で連続的なカラー画像の系列に適用される。
【００３３】
なおさらなる実施形態では、本発明による方法は、
上記ヒストグラム等化処理ステップの前に、記憶手段内で上記カラー画像表現ＩＣをコピーし、上記画像ＩＣの少なくとも２個の記憶されたバージョンＩＣ、ＩＣ２を上記記憶手段中に形成することにより、ＩＣの少なくとも１個の全く同じバージョンを記憶するステップと、
上記少なくとも２個の全く同じカラー画像ＩＣ、ＩＣ２に対して、前処理のタイプ及び／又は伸張率Ｋ、及び／又は、マトリクス結合に関して、ＩＣ２のパラメータ設定とは異なるパラメータ設定をＩＣに対して使用して、上記ヒストグラム等化処理ステップを並列に実行するステップと、
少なくとも２個の更新された画像ＩＣ’、ＩＣ２’を形成するステップと、
上記更新された画像ＩＣ’、ＩＣ２’をディスプレイ手段に表示するステップと、
を備える。
【００３４】
第２の態様によれば、本発明は、コンピュータプログラムコード手段が記憶され、上記プログラムがコンピュータにロードされたときに、上記記憶されたプログラムコード手段が本発明による方法を実現する少なくとも１個のプロシージャをコンピュータに実行させる、コンピュータ読み取り可能な媒体を提供する。
【００３５】
第３の態様によれば、本発明は、捕捉手段によって、又は、データ通信手段を介して、又は、ビデオ接続手段を介して記憶手段に捕捉されたカラー画像ＩＣのデジタル表現へアクセスできる処理手段を有し、上記記憶手段が、プログラムコード手段が上記処理手段にロードされたときに、上記処理手段に本発明による方法を実現する少なくとも１個のプロシージャを実行させるプログラムコード手段を記憶している画像処理装置を提供する。
【００３６】
一実施形態では、画像処理装置は、上記処理手段と相互接続され、上記スレッショルド値Ｋ、したがって、上記ヒストグラム等化処理ステップにおける輝度分布拡張の程度のインタラクティブ制御を可能にさせるインタラクティブ制御手段を備える。
【００３７】
上記ディスプレイ手段はインタラクティブポインティング手段と相互作用するように配置される。
【００３８】
一実施形態では、本発明による画像処理装置は、インタラクティブ前処理選択手段、及び／又は、上記更新された画像ＩＣ’を形成するため使用される更新されたカラー画素マトリクスＭＮ’の特定の組み合わせのインタラクティブ選択を可能にする選択手段を備える。
【００３９】
第４の態様によれば、本発明は、本発明の第３の態様による装置を備えるカメラを提供する。
【００４０】
第５の態様によれば、本発明は、本発明の第３の態様による装置を備えるビデオカメラを提供する。
【００４１】
第６の態様によれば、本発明は、特定の照明条件を供給する手段と、本発明の第３、第４又は第５の態様による装置とを備える、カラー画像中の物理的な物体表現を検出する検出器デバイスを提供する。
【００４２】
第７の態様によれば、本発明は、本発明の第３、第４、第５又は第６の態様による装置を備えるセキュリティ監視及び／又はモニターシステムを提供する。
【００４３】
第８の態様によれば、本発明は、本発明の第３、第４、第５、第６又は第７の態様による装置を備える車両を提供する。
【００４４】
第９の態様によれば、本発明は、上記画像処理装置が上記画像ＩＣを車両の少なくとも１個のフロントガラスに投影するため適したディスプレイ手段を備える、本発明の第８の態様による車両を提供する。
【００４５】
第１０の態様によれば、本発明は、本発明の第３、第４、第５、第６又は第７の態様による装置と通信するカラー画像捕捉手段を備える遠隔操作車両を提供する。
【００４６】
第１１の態様によれば、本発明は、目の内側からカラー画像を捕捉する手段を備え、上記捕捉手段が本発明の第３、第４、第５、第６又は第７の態様による装置と接続された、人の目の内部を検査する装置を提供する。
【００４７】
第１２の態様によれば、本発明は、目で見るため配置されたカラー画像ディスプレイ手段を備え、上記ディスプレイ手段が本発明の第３、第４、第５、第６又は第７の態様による装置と接続された、フェイスマスクを提供する。
【００４８】
本発明は上述のように要約されるが、本発明は請求項１〜２７によって定義されている。
【００４９】
本発明のこれら及びその他の特長、態様及び利点とその他の特長、態様及び利点は、以下の説明と請求項を添付図面と共に読むとき、明白になる。
【詳細な説明】
【００５０】
本発明は、次に添付図面を参照してより詳細に説明される。
【００５１】
図１は、本発明によるカラー画像処理装置１００を示す機能ブロック図である。装置１００は、基本的には適合デジタルビデオカメラである。レンズ１０１、例えば、標準的なカメラレンズは、少なくとも人の目に見える波長を透過する。センサ１０２は、少なくとも人の目に見える波長に適した感度をもつデジタルセンサアレイを形成するように配置され、すなわち、画像を捕捉するため使用されるセンサ１０２のスペクトル範囲は少なくとも人の視覚の波長を網羅するため適合し、このことは標準的なフィルム又は通常のデジタルカメラセンサ（おおよそ４００〜８００ｎｍの波長）を意味する。センサアレイの各素子（すなわち、画素）は、いくつかの原色、標準的には赤、緑及び青に対する値を一時的に蓄積する。デジタイザ１０３は、センサ１０２によって捕捉されたカラー画像を上記カラー画像のデジタル表現Ｉｃに変換するアナログ表現を従来型のＡ／Ｄ変換器である。装置１００は、当業者には既知であるように、さらなる記憶手段１０４、すなわち、適当なＲＡＭメモリと、処理手段１０５、例えば、ＣＰＵ、ＡＳＩＣ回路、その他の適当なハードウェアに相互接続されたＡＬＵとを有する。カラー画像を適当なフォーマットに変換する変換器を備える通信制御ユニット１０６は、処理手段１０５を、アナログ画像／ビデオ入力／出力接続ユニット１０８と、デジタル画像／ビデオ入力／出力コネクション１０７とに相互接続する。コネクション１０７は、デジタルカメラのような外部デバイスとの通信のため適合した特別のコネクションでもよく、及び／又は、例えば、従来型の電話モデムコネクション若しくはＵＳＢポートとして実現されるインターネットコネクションのようなネットワークコネクションでもよい。ディスプレイ１０９は、記憶手段１０４、及び／又は、処理手段１０５と接続され、メモリ１０４に記憶されたカラー画像の表示を可能にする。
【００５２】
一実施形態では、ディスプレイ１０９、処理手段１０５、及び、記憶手段１０４は、ディスプレイ１０９に表示されたカラー画像中の領域のインタラクティブ選択を、インタラクティブポインティング手段１２０、例えば、コンピュータマウス等々を使用して可能にするように配置される。このことは既知であるので、本明細書ではこれ以上説明されない。
【００５３】
一実施形態では、処理手段１０５は、セレクタボタン、ノブなどのようなインタラクティブ制御手段１１０及び／又は１３０及び／又は１４０と相互接続され、詳細に後述されるように、前処理ステップ２１５、２４０のインタラクティブ制御と、ヒストグラム等化処理ステップ２５０のパラメータ値のインタラクティブ制御とを可能にする。一実施形態では、制御手段１３０は、後述されるように、用途に応じてどのタイプの前処理を適用すべきであるかを選択する５個の別個の位置をもつノブであるが、その他の可能性もある。一実施形態では、制御手段１４０は、用途に応じて、カラー画像を更新するときに使用すべき更新されたカラー画素マトリクスＭｉの特定の組み合わせを選択する７個の別個の位置をもつノブであるが、その他の可能性もある。一般に、制御手段１１０は、後述されるように、用途に応じて適当なスレッショルド値Ｋを選択するＮ個の別個の位置をもつノブである。
【００５４】
図２は、本発明による方法を示すフローチャートを示す。この方法は、一般に、記憶手段１０４に記憶されたソフトウェアプログラムを処理手段１０５へロードすることにより実行される。
【００５５】
図２を参照すると、本発明による方法は、記憶手段１０４に記憶されたバージョンのカラー画像表現Ｉｃを獲得するため捕捉ステップ２１０で始まる。ライブ画像は、既知の方法で、レンズ１０１を通して、さらにセンサ１０２によって捕捉され、次に、Ａ／Ｄ変換器１０３によってデジタルフォーマットに変換され、次に、メモリ１０４に記憶されるか、又は、コネクション１０７若しくは１０８を介して外部デバイスから直接的に読み出される。アナログビデオ画像は、既知の方法で、入力コネクション１０８を介して読み込まれ、処理手段１０５及び／又は通信制御ユニット１０６によって復号化され、適当なデジタルフォーマットＩｃに符号化され、次に、メモリ１０４に記憶される。デジタルビデオ画像は、既知の方法で、入力コネクション１０７を介して読み込まれ、できれば、処理手段１０５及び／又は通信制御ユニット１０６によって、より適当なデータフォーマットＩｃに移され、次に、メモリ１０４に記憶される。よって、ステップ２１０の後、メモリ１０４には、適当なフォーマットで記憶されたカラー画像のデジタル表現Ｉｃが存在する。一実施形態では、適当なフォーマットは、Ｉｃが別個の色チャンネルの組、又は、通常は赤のための１個のマトリクスと緑のための１個のマトリクスと青のための１個のマトリクスであるカラー画素マトリクスＭｉの組で構成されていることを意味する。本発明によれば、上記マトリクスの組は、少なくとも２個の別個のカラーマトリクスを備える。しかし、どのようなカラー画像であっても、既知の方法で、上記の適当なフォーマットＩｃに変換可能であるため、本発明は、すべてのタイプのカラー画像、例えば、シアン−マゼンタ−黄−黒で符号化された画像に適用される。
【００５６】
この方法は、次に、選択ステップ２１１へ進み、処理手段１０５がインタラクティブ制御手段１１０、１３０及び１４０のそれぞれの位置を読む。制御手段１３０がその第１の位置（１）に合わされているならば、この方法は、後で詳述される前処理ステップ２１５へ進む。制御手段１３０がその第２の位置（２）、第３の位置（３）、又は、第４の位置（４）にあるならば、この方法は、後で詳述される前処理ステップ２４０へ進む。制御手段１３０がその第５の位置（５）にあるならば、この方法は、ヒストグラム等化処理ステップ２５０へ進み、少なくとも１個の上記カラー画素マトリクスＭ１に対し、更新されたバージョンＭ１’が作成される。ステップ２５０は、図３を参照して後で詳述される。前処理ステップ２１５及び２４０から、この方法は、ヒストグラム等化処理ステップ２５０へ進む。ステップ２５０の後、本発明による方法はステップ２９０へ進み、上記更新された画素マトリクスバージョンＭ１’を、少なくとも１個の他の画素マトリクスＭｉ又は更新された画素マトリクスＭｉ’と組み合わせることにより、画像Ｉｃの更新バージョンＩｃ’が作成される。ステップ２９０において、更新された画像表現Ｉｃ’がメモリ１０４に記憶される。ステップ２９５において、メモリ１０４内の更新された画像表現Ｉｃ’が既知の方法でディスプレイ１０９に表示される。
【００５７】
したがって、本発明によれば、ヒストグラム等化処理ステップは、少なくとも１個の画素マトリクスに対して実行されるが、最良の結果は、通常は、３個の画素マトリクスすべてがヒストグラム等化されたときに得られるので、上記画像の更新バージョンＩｃ’は、３個のカラー画素マトリクスのすべて、すなわち、緑、赤及び青の更新バージョンにより構成される。しかし、画素マトリクスのすべてをヒストグラム等化しない方が有利な場合がある。本発明によって重要な点は、ヒストグラム等化処理ステップ２５０が、異なるカラー画素マトリクスＭｉに対して別々に実行されることである。
【００５８】
よって、図３に示された一実施形態では、ヒストグラム等化処理ステップ２５０は、上記第１のカラー画素マトリクスＭ１、例えば、緑に対する第１のヒストグラム等化処理ステップ３６０と、第２のカラー画素マトリクスＭ２、例えば、赤に対する第２のヒストグラム等化処理ステップ３７０と、残りのカラー画素マトリクスＭ３、例えば、この例では、青に対する第３のヒストグラム等化処理ステップ３８０とを備える。本発明による方法は、ステップ３８０の後にステップ３８５へ進む。上記更新ステップ２９０で使用される更新された画素マトリクスＭｉ’の選択がステップ３８５において行われる。したがって、更新された画像Ｉｃ’は、ステップ２９０の後、少なくともこれらの選択されたマトリクスＭｉにより構成される。一実施形態では、ステップ３８５における選択は、選択手段１５０を位置合わせすることによりインタラクティブに実行される。よって、一実施形態では、選択手段１４０がその第１、第２、又は、第３の位置にあるとき、１個の更新されたカラーマトリクスＭ１だけが、すなわち、緑又は赤又は青が選択され、選択手段１４０がその第４、第５、又は、第６の位置にあるとき、２個の更新されたカラー画素マトリクスＭｉの組み合わせ、すなわち、赤と緑、赤と青、又は、緑と青が選択され、選択手段１４０がその第７の位置にあるとき、３個の更新されたカラー画素マトリクスＭｉのすべてが選択されるが、しかし、当業者に明白なその他の可能性もある。
【００５９】
ヒストグラム等化処理ステップ３６０、３７０及び３８０は完全に類似しているので、ステップ３６０だけが、図４、５、６、７及び８を参照してここで詳述される。
【００６０】
一実施形態では、ヒストグラム等化処理ステップは図４に示されるように実行される。図４に示されているように、ヒストグラム等化はステップ４０１で始まり、当該カラー画素マトリクスＭｉに対する輝度分布ヒストグラムＩＤＨが計算される。これは、すべての量子化されたカラー輝度値、例えば、８ビット量子化の場合には２５６個、すなわち、２８＝２５６の値に関して、特定のカラー輝度を有する上記マトリクスＭｉ中の画素の個数を計数し、図５に示されるように上記計数に基づいてヒストグラム分布図を形成することにより行われる。図５は、ヒストグラム等化処理ステップ２５０の前及び後におけるカラーマトリクスＭｉに対するＩＤＨを、それぞれ、灰色の円形及び黒色の三角形として示す。図５に示されるように、ヒストグラム等化前に、カラー画素マトリクスＭｉは、約６０〜１６０の量子化値の範囲内の輝度値だけを含む。ヒストグラム等化処理ステップ２５０は、例えば、図５に灰色バーによって示された結果を形成するように、輝度分布を「引き伸ば」す。
【００６１】
この方法は、ステップ４０１からステップ４１０へ進み、図６に示されるように、ＩＤＨの正規化された累積和ＮＣＳが算出される。図６において、灰色円形は、ヒストグラム等化前のＩＤＨを表現し、黒色三角形は上記ＩＤＨに対するＮＣＳを示す。この方法は、次にステップ４２０へ進み、適当なスレッショルド値Ｋが選択される。これは、制御手段１１０を位置合わせすることによってインタラクティブに達成される。本発明によれば、Ｋの選択は、用途及び／又は環境条件に依存し、例えば、Ｋの適当な値は、霧中の着陸地面に関してＫ１であり、水中深くの用途に関してＫ２であり、恒温水中の水中用途に関してＫ３であり、以下同様に続く。
【００６２】
一般に、Ｋは、「引き伸ば」されるべきＩＤＨの量を決定する伸張率、すなわち、輝度分布拡張の程度である。標準的に、ＩＤＨは、図５に示されるようにその最大限の範囲まで引き伸ばされるが、本発明はそれに限定されない。
【００６３】
一実施形態では、Ｋは、図７に示されるように、パーセンテージスレッショルド値を表現する。ステップ４２０の後、この方法はステップ４３０へ進み、輝度分布ヒストグラムＩＤＨが、図５に示されるように、当初の画素値をより広い輝度値の範囲に再写像することにより、更新バージョンＩＤＨ’を形成するように引き伸ばされる。このことは、図７に示されているように、最初にＩＤＨに対する第１の範囲ＲＡＢを選択することによって、例えば、上記パーセンテージスレッショルド値Ｋ及び１−Ｋと対応する値Ａ及びＢを有するＮＣＳが計算中の輝度値を特定することによって達成される。図７において、Ｋは５％に設定され、輝度目盛上で、Ａの値は約８０であり、Ｂの値は約１４０である。範囲ＲＡＢの外側にあるすべての輝度値、すなわち、Ａに満たないか、又は、Ｂを超える輝度値は、その後、ＩＤＨから除去され、ＩＤＨの画素値が画素輝度値の第２のより広い範囲ＲＡＢ’に写像される。ＲＡＢ’は、標準的には、図５に示されるように量子化範囲全体であるが、他の可能性もある。再写像ステップは、当業者には既知であるように、適当なルックアップテーブルを形成することにより、１画素単位で実行される。ヒストグラム等化処理ステップ２５０は、したがって、図８に示されるように、より直線的な累積ヒストグラムを与える。
【００６４】
ヒストグラム等化は、それ自体は、複数の画像処理テキスト、例えば、Ｇｏｎｚａｌｅｚ，Ｒ．Ｃ．及びＷｉｎｔｚ，Ｐ．著、Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ａｄｄｄｉｓｏｎ−Ｗｅｓｌｅｙ，Ｒｅａｄｉｎｇ，ＭＡ，１９８７に記載された確立されたアルゴリズムである。本発明に基づいて重要な点は、ヒストグラム等化処理ステップが、個別のカラー画素マトリクスＭＮ毎に別々に実行されることである。市販されているソフトウェアプログラムＰｈｏｔｏｓｈｏｐＴＭは、個別の色チャンネルに対するヒストグラム等化を実行するため予め組み込まれた機能を有し、これらの機能は本発明を実行する部分として使用される。
【００６５】
一実施形態では、３個の別個のヒストグラム等化処理ステップ３６０、３７０及び３８０はすべて、同じスレッショルド値Ｋを使用し、カラー画像の更新バージョンＩｃはすべての更新されたマトリクスＭｉ’により構成されるが、本発明はこれに限定されない。
【００６６】
一実施形態では、本発明による映像化システムは、画像の異なるセクション／部分に対し異なるＫの選択を許容し、累積ヒストグラム計算は画像中のあらゆる画素の局所近傍に基づく。このことは、例えば、Ｋの手動制御を無効にするセグメンテーションアルゴリズムを使用することにより、異なるＫ値が画像中の異なるセグメントに対して使用されることを意味する。例えば、高電力ランプを使用する海底に近い水中深くの作業のような、目を見えなくする多数の粒子を伴う用途では、本実施形態は有利である。
【００６７】
フィルム、すなわち、画像の系列の場合、本発明によれば、異なるＫの値が系列中の異なる画像に適用される。
【００６８】
リアルタイムの用途のため特に有利な別の可能性は、本発明による方法を少なくとも２個の全く同一の、すなわち、一方がもう一方のコピーである画像系列に並列に適用し、画像系列を隣同士で表示することである。特定のパラメータ設定、すなわち、前処理のタイプ、マトリクス組み合わせ、及び、Ｋ値の確立した組み合わせは、よって、「最良」画像系列を生成し、「最良」画像系列は、現在のところ、リアルタイムで隣同士に並列表示している間に、より優れた代替的な設定を走査する「スキャン」画像系列と比較される。「スキャン」画像系列がより高次で認知される画質を提供するならば、すなわち、特定の物体表現がより際立つならば、エンドユーザは、前処理のタイプと、マトリクス組み合わせと、Ｋ値の確立した組み合わせを使用して、「最良」画像系列になるこの系列を選択するが、以前の「最良」系列は、それでもなおより優れたパラメータを走査するため始まる。このようにして、環境の変化に応じた連続的な適応と適切なパラメータ制御が効率的な方法で得られる。図１０は、この実施形態がどのように実現されるかを示すフローチャートである。
【００６９】
図２を参照して説明されたステップ２１１又は２１５又は２２０又は２３０の後、図１０のステップ１０において、上記カラー画像表現Ｉｃの少なくとも１個のコピーが作成され、上記記憶手段１０４に記憶される。よって、上記画像Ｉｃの少なくとも２個の記憶されたバージョンＩｃ、Ｉｃ２は、ステップ１０の後に、記憶手段１０４に存在する。ステップ２０において、ヒストグラム等化処理ステップは、通常は、Ｉｃ２に対するパラメータ設定に関して、前処理のタイプ、及び／又は、伸張率Ｋ、及び／又は、マトリクス組み合わせＩｃの点で異なるパラメータ設定を用いて、上記少なくとも２個の全く同一のカラー画像Ｉｃ、Ｉｃ２に対して並列に実行される。ステップ２０は、図２、３及び４を参照して説明され、ＩｃとＩＣ２に対し別個に適用されるステップ２５０に他ならない。ステップ３０において、更新された画像バージョンＩｃ’、Ｉｃ２’が形成される。ステップ３０は、図２を参照して説明され、Ｉｃ’及びＩｃ２’に別個に適用されるステップ２９０に他ならない。Ｉｃ’及びＩｃ２’は、その後に、ステップ４０においてディスプレイ手段１０９に表示される。
【００７０】
次に、もう一度図２を参照して、前処理ステップ２１５、２２０、２２５、２３０及び２４０がより詳しく説明される。
【００７１】
ステップ２１５において、画像中に人工的に導入されたアーティファクトのカラーの内容が特定され、図９に示されているように除去される。このようなアーティファクトは、アナログビデオ信号がデジタルデバイスによって捕捉されたときに起こることがよくある。これらの画像は、しばしば、位置、日付、時刻、状態などを示すため、黒／白フレーム、及び／又は、テキスト、及び／又は、レタリングを含む。よって、図９において、図９の「白」値に対応する高輝度画素値と、図９の「黒」値に対応する低輝度画素値は、ヒストグラム等化処理ステップの前に捨てられる。これは、画像処理の知られているアルゴリズムを使用することによって達成される。
【００７２】
ステップ２４０は、ステップ２２０又は２２５及び２３０のいずれか、又は、図２には示されていないそれらの組み合わせによって実現される。ステップ２４０において、画像Ｉｃの望ましくないセグメントが特定され、除去される。
【００７３】
ステップ２２０において、テキスト認識アルゴリズムは、ヒストグラム等化処理ステップの前に除去すべき画像Ｉｃ中のセグメントを特定する。上記セグメント中の全画素値は、このようにして捨てられる。
【００７４】
ステップ２２５において、画像Ｉｃは、ヒューマンインタラクションによって、例えば、上記画像を表示するディスプレイ１０９の上でポインティング手段１２０を動かすことによって、セグメント化される。
【００７５】
ステップ２３０において、特定の用途に適合した画像セグメンテーションアルゴリズムは、例えば、高電力ランプを使用する海底に近い水中深くの作業で、目を見えなくする多数の粒子が画像中に「浮遊」する画像Ｉｃ中の捨てるべきセグメント／画素を特定し、スレッショルド値を超える輝度を有する全画素が捨てられる。別の可能性は、画像中で、油田掘削デバイスの部品／複数の部品のような既知の形をもつ特定の「確定的」な物体／複数の物体を特定するセグメンテーションアルゴリズムを使用することである。このようなアルゴリズムは既知であり、本明細書では詳細に説明されない。
【００７６】
本発明による方法は、チャンネル／色毎にカラー画像のスペクトルダイナミックレンジが比較的狭い輝度値のセグメントに限定／制限される状況で最良の結果を与えるように思われる。しかしながら、本発明はこの状況だけに、限定されない。
【００７７】
本発明による装置は、本発明による方法を実現する少なくとも１個のプロシージャを上記処理手段１０５に実行させるため、上記メモリ１０４に記憶されるべきコンピュータプログラムコード手段が記憶された、例えば、ハードディスクメモリ、ＣＤ−ＲＯＭ、磁気テープ、フラッシュメモリなどのコンピュータ読み取り可能な媒体によって実現される。代替案として、当業者には既知であるように、例えば、ＡＳＩＣ回路のような純粋なハードウェアロジックが使用される。
【００７８】
一実施形態では、本発明は、適合したカメラ、又は、ビデオカメラの形式で実現され、これによって、経済的な選択肢として、扱いやすい、比較的小型かつ軽量の装置であって、携帯型であり、かつ、多用途である装置を提供する。
【００７９】
別の実施形態では、本発明による装置は、用途に応じた特定の方式で適合した検出器デバイスの形式で実現され、例えば、特定のランプが最適照明条件を提供するため特定の方式で配置され、例えば、食品衛生の場合には、肉のスライスは下から照明される。航空安全性の場合、検出器は、最適位置で、例えば、機首の下で航空機本体と空気力学的に一体化されたレンズを備える。同様に、車両用途の場合、検出器ディスプレイ手段は、画像をフロントガラスなどに投影するため適合する。
【００８０】
さらに別の実施形態では、本発明は、本発明による少なくとも１台の装置を備えるセキュリティ監視及び／又はモニターシステムの形式で実現される。
【００８１】
さらに別の実施形態では、本発明は、例えば、電気又は光ケーブル、無線リンクなどを用いて、本発明による装置と通信するカラー画像捕捉手段を備える遠隔操作車両の形式で実現される。このようにして、画像捕捉手段だけが厳しい（ＲＯＶ）条件、例えば、水中のために設計されればよいので、これは経済的な解決策である。
【００８２】
さらに別の実施形態では、本発明は、目の内部からカラー画像を捕捉する手段を備え、上記捕捉手段が本発明による方法を実行する装置と接続された、人の目の内側部分を検査する装置の形式で実現される。装置は多数の方式で適合し、例えば、目に向けられた特定のランプによって最適な照明条件を獲得し、又は、最適ズーム及び／又は解像度を提供し、及び／又は、輝度グラフの伸張に関して、例えば、Ｋの選択、更新された画像を形成するための更新されたカラーマトリクスの組み合わせ、前処理のタイプのような特定の予め組み込まれたパラメータ設定を有し、特定の異常及び／又は疾病の効率的かつ効果的な検出、及び／又は、患者条件を改善するためのその他の配置、例えば、誤った診断の危険性及び／又は検査のために要する時間を最小限に抑えるために快適であり、かつ、堅固な頭部のサポートを提供する。
【００８３】
さらに別の実施形態では、本発明は、目で見るため配置されたカラー画像ディスプレイ手段を備え、上記ディスプレイ手段が本発明による方法を実行する装置と接続された、フェイスマスクの形式で実現される。フェイスマスクは、例えば、霧が立ちこめた／煙が立ちこめた環境での救援活動中に、例えば、消火活動中に、又は、コックピット内の火災などの場合に、増幅された視覚のための特に効果的な手段を提供する適合ゴーグルの形式でもよい。
【００８４】
本発明は、単なる例として説明されているが、これらの例に限定されることがなく、例えば、本発明による装置は、多種多様の方式で、単一のデバイス、又は、複数の物理的に別個のデバイスに組み込まれ、本発明は、本願中で明示的に言及されていない技術分野、例えば、軍事応用などに適用される。多数の変形が当業者によって行われる。したがって、発明の範囲は特許請求の範囲だけによって定められる。
【図面の簡単な説明】
【００８５】
【図１】本発明による装置の機能ブロック図である。
【図２】本発明による方法を示すフローチャートである。
【図３】図２のステップ２５０を示すフローチャートである。
【図４】図３のステップ３６０を示すフローチャートである。
【図５】単色チャンネルに対するヒストグラム等化の前及び後の輝度分布図ＩＤＨ及びＩＤＨ’を示す図である。
【図６】単色チャンネルに対する正規化された累積和ＮＣＳの形成を示す図である。
【図７】スレッショルド値Ｋを選択することによる適当な範囲ＲＡＢの選択を示す図である。
【図８】ＮＣＳの線形化効果を示す図である。
【図９】本発明の一実施形態による前処理ステップを示す図である。
【図１０】本発明による方法の一実施形態を示すフローチャートである。
【相互参照】
【０００１】
本願は、２００４年６月６日に出願され、発明の名称が“Ａ ｍｅｔｈｏｄ ｔｈａｔ ｉｍｐｒｏｖｅｓ ｈｕｍａｎ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ ｃｏｌｏｕｒ ｉｍａｇｅｓ ｗｉｔｈ ｌｉｍｉｔｅｄ ｓｐｅｃｔｒａｌ ｃｏｎｔｅｎｔ”であり、共にスイス国民であるＡｎｄｅｒｓ ＨｏｌｍとＯｌｌｅ Ｈｏｌｍによる米国仮出願第６０／５２１６５０号と関連付けられる。米国仮出願第６０／５２１６５０号は参考することにより本明細書に組み込まれ、本願中でのその仮出願の記載によって本発明に関する先行技術としては認められない。
【技術分野】
【０００２】
本発明は、一般に画像処理に関し、特に、飛行及び航空輸送と、陸上輸送と、船舶輸送と、潜水作業と、水中検査と、医療調査と、海洋考古学と、陸上考古学と、農業と、監視及びセキュリティと、食品安全と、エネルギーシステムと、林業のような広範囲の用途について、カラー画像中の物理的な物体表現の効率的な検出のための方法及び手段に関する。
【背景】
【０００３】
人の網膜に投影され、続いて脳の視覚野で「映」される物体Ｏを仮定する。像Ｉの品質は、Ｏを「理解」するためにＩがどの程度有効であるかによって、及び／又は、ＯとＩの間で認められる類似性として記述される。よって、以下のａ）からｄ）、すなわち、
ａ）目と物体との間の空間（何もない空間、空気、液体）は、霧、靄、煙、雪、塵、シルト、又は、その他のタイプの分散粒子（例えば、血球）によって「汚染」され、
ｂ）目と物体との間の空間（気体、液体）は、標準空気又は真空とは異なる、波長に依存する相対的な透過性があり、
ｃ）物体Ｏはカラーの内容が制限され、
ｄ）像は、網膜受容器が輝度又は色差を分離するため特に制限された能力を有するという条件、例えば、低光条件下で捕捉される、
のうちの一つ、又は、組み合わせが起こり、認知される像Ｉの品質が大幅に乱され、このことは、Ｉの解釈が不完全になり得ることを意味する。このような視覚的な見え方の乱れは、身体内部（例えば、目）の調査、航空交通管制、運転、その他の陸上若しくは海上交通、水中作業、消火活動、又は、その他の監視状況のような状況に深刻な実際的な影響がある。眼底における病理学的な細部は、血液汚染のため見落とされる可能性があり、航空機又は船舶は霧中で行方不明になる可能性があり、消防士は煙中で迷う可能性があり、運転手は事故のため進めなくなる可能性がある。したがって、このような状況では、人による像の解釈を容易化する可能性を提供する、すなわち、人の視覚を強化する効率的な画像改善システムの欠如は、重大な問題となる。以下では、ある種の関心領域と問題が昌実される。
【０００４】
［飛行及び航空輸送］
空港、及び／又は、コックピットの外側／内側における霧、スモッグ、靄、雪、煙、雨、例えば、バッタ、ハチといった虫及び昆虫のような生物の雲、黄昏及び夜明け、又は、不適切な、すなわち、肉眼による細部認知のため不適切な照明のような低光条件は、一般に飛行のセキュリティリスクとなり、深刻な航空輸送管制問題を引き起こし、その結果として、フライトの経路変更又は取り消しを伴う。明らかに、これらの問題は、さらに、航空会社と乗客の双方に負の経済効果をもたらし、最悪の場合、命にかかわる事故を生じることさえある。航空輸送が最新式のナビゲーション及びレーダーシステムによって誘導、管制されるとしても、視覚的な接触をもつ必要性が依然としてある。非常に多数の事故が視認性の低下と未知の物体の移動とによって引き起こされている。たとえ僅かでも視認性の増加は、パイロットと航空交通管制官に困難な状況に対処するより良い機会を与えるであろう。したがって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【０００５】
［陸上輸送］
同様に、スモッグ、靄、雪、煙、雨、例えば、バッタ、ハチといった虫及び昆虫のような生物の雲、黄昏及び夜明け、又は、不適切な、すなわち、肉眼による細部認知のため不適切な照明のような低光条件は、道路及び鉄道の安全に関して問題となり、さらに貨物輸送のコストを増加させる。よって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【０００６】
［船舶輸送］
船舶は通常は非常に高度なナビゲーション装置、例えば、レーダー、ＧＰＳなどを備えているが、それでもなお乗組員は、例えば、海岸、小型船舶、及び、その他の船舶と視覚的な接触をもつことが必要である。スモッグ、靄、雪、煙、雨、例えば、バッタ、ハチといった虫及び昆虫のような生物の雲、黄昏及び夜明け、又は、不適切な、すなわち、肉眼による細部認知のため不適切な照明のような低光条件を含む環境においてこのような視覚的な接触をもつことは問題である。その結果として、安全性と船舶輸送コストのいずれかが妥協される。よって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【０００７】
［海底用途］
シルト、粒子、「浮遊」する堆積物、水による波長フィルタリング、不適切な照明、すなわち、水中での肉眼による細部認知のため不適切な照明、藻、プランクトンなどのような生物の雲は、いずれも、人による像の理解を水中でより困難にさせる。一般的な問題は、海底近くでのあらゆる水中作業は海底シルトのため困難であり、どの程度容易に海底シルトが乱されるか、ということである。この海底の乱れは、視認性を著しく低下させる濃い「霧」を作る。このことは、例えば、ビデオ録画装置を伴う水中車両を使用するときに、潜水中に、又は、例えば、水中での据え付け作業中に、安全上の問題と経済的な問題の両方である。例えば、ダイバーは、方位を見失い、悲劇的な結末を伴うことがあり、ある種の建造及び／又は据え付け作業は必要以上に高価になり、これらの問題のため実行不能になることがある。一例として、橋、ダム、オイル及びガスのパイプライン、掘削プラットフォーム部品、電気通信ケーブルなどのような水中の基盤設備は、建設／据え付け、検査、及び、保守される必要があり、これらの活動はすべてが、効率的に実行されるように、水中像の正確な解釈を必要とする。さらに、商業用又はレジャー用の船舶及びボートは、海面下で保守と検査をされなければならない。ボートが小型であるならば、保守と検査は、海からボートを持ち上げることによって行われる。船舶が大型であるならば、保守と検査は、ダイバー又はビデオ搭載ＲＯＶ（遠隔操作車両）のいずれかによって行われる。処理されたビデオ映像は、潜在的な問題の非常に優れた光景を提供する。問題は、海底が偶然に乱されたときに、シルトは動かなくなるまで、それ以上の作業を妨げることである。これは、危険であると同時に、効率の問題を招く。水中での建設又は検査は、水質と、シルトと、粒子の量と、その他の上記の視認性妨害に依存した視認性の問題のため困難である。
【０００８】
よって、可能であれば、ビデオ搭載型「遠隔操作車両」（ＲＯＶ）と組み合わせて、このような活動を実行し、安全性を高めるため必要とされる時間とコストを削減するように、このような状況における人による像の解釈を容易化する方法及び手段を見出すことが必要である。
【０００９】
［医療用途］
血球のような様々な粒子は、医療録画又は観察状況（例えば、眼科診療、眼底検査、皮膚画像検査、内視鏡画像中の局所的な細胞変動の特定など）において、人による画像の解釈をより困難にさせ、誤診及び／又は正確な医療処置に関して誤った判断につながる可能性がある。人に苦痛を与える以外に、これは、社会と患者の双方にコストの点で経済的な問題を生じ、一部の患者は、残りの人生を深刻なハンディキャップと共に生きなければならない。よって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【００１０】
［海洋考古学］
海洋考古学は、重大な視認性問題を伴う海底の乱れを意味する。多くの場合に、アーティファクトを取り出す可能性は、「真空化」とフィルタリングだけであるが、大量の情報、例えば、アーティファクトの位置を破壊する。よって、これらの問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【００１１】
［陸上考古学］
航空機に搭載されたビデオ装置を利用することが可能であるならば、発掘場所の発見は非常に効率的である。しかし、問題は、土色の差によって遺跡を、例えば、住居及びその他の建造物から穴を発見する能力を備えた効率的な画像処理テクノロジーが今日では利用できないことである。よって、この問題を解決するか、又は、軽減する手段及び方法を提供する必要性がある。
【００１２】
さらに、発掘における年代推定の多くは、様々な時代から始まる土層の違いについての知識によって行われる。したがって、正確かつ確実な方式で土壌の「歴史的年代」を推定する可能性を提供する、様々な土壌の検出及び解釈を容易化する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１３】
［農業］
汚染土壌領域は周囲と色が僅かに異なる。色差は非常に小さいので、純然たる視覚検査で色差を検出することは困難である。よって、汚染土壌の検出を容易化する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１４】
作物品質及び生長状態は、僅かな色差に見ることができる。色差は非常に小さいので、純然たる視覚検査で色差を検出することは困難である。正確、確実、かつ、効率的な方式で、上記色差に基づいて作物品質及び生長状態を検出する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１５】
［食品安全］
食品及び飲食物の品質低下は、しばしば小さな色変化として現れ、例えば、肉は腐ると黒っぽくなる。正確、確実、かつ、効率的な方式で、上記色変化に基づいて、食品の品質低下を検出する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１６】
［エネルギーシステム］
多くの場合に、エアボーン検査が、例えば、暴風等の後に電源障害の場合に、電力グリッドネットワーク計画、保守及び制御の目的のため実行される。よって、このようなエアボーン検査中に捕捉された画像の正確な解釈を容易化する能力を備えた効率的な方法及び手段を提供し、電力グリッドネットワークの効率的な計画、動作、保守及び制御を容易化することが必要である。
【００１７】
［林業］
多くの場合に、エアボーン検査が、例えば、品質、生長、健康状態、環境問題、違法伐採などを調査／推定するため、森林保守及び制御の際に使用される。よって、このようなエアボーン検査中に捕捉された画像の正確な解釈を容易化する能力を備えた効率的な方法及び手段を提供し、森林の効率的な検査、保守及び制御を可能にすることが必要である。
【００１８】
［モニタリング／セキュリティ／監視］
空港ターミナルビルの屋根の真下に取り付けられた監視パンカメラを仮定する。カメラはチルトされ、主に滑走路へ向けられる。カメラは、セキュリティ監視、ならびに、一般的な活動監視のため使用される。さらに気象条件は霧がかっていること仮定する。このような状況では、例えば、着衣によって認識される許可されていない人員、及び／又は、特定の形式及び／又は反射特性を有する物体の検出は、低視認性によって妨げられる。よって、異なる画像条件中に捕捉されたカラー画像中の許可されていない人と許可されている人を正確に識別する能力を備えた効率的な方法及び手段を提供することが必要である。
【００１９】
この背景セクションに記載された情報は本発明をより良く理解することを目的とし、この背景セクション中での言及によって本発明に関する先行技術であると認められる情報はない。
【００２０】
したがって、上記の問題を解決するか、又は、緩和し、例えば、上記の用途のため、効率的かつ効果的にカラー画像中の種々の物体表現を検出する能力を備えた方法及び手段を見つけることが必要である。
【概要】
【００２１】
本発明の目的は、上記の問題を解決するか、又は、緩和し、例えば、上記の用途のため、効率的かつ効果的にカラー画像中の種々の物体表現を検出する能力を備えた方法及び手段を提供することである。
【００２２】
本発明の目的は、人によるカラー画像の解釈を容易化することである。
【００２３】
本発明の別の目的は、広範囲の異なる用途及び状況において、経済的な方式で、人によるカラー画像の解釈を容易化するため、使い易く、インタラクティブであり、多目的に用いられる画像処理手段を提供することである。
【００２４】
本発明のさらなる目的は、特に上記の様々な用途に適し、上記の問題／欠点を解決／緩和し、及び／又は、効率的かつ効果的に上記の要求を満たす装置を提供することである。
【００２５】
本発明は、基本的に、人によるカラー画像中の物理的な物体表現の検出を容易化する画像処理方法と、本発明の方法に従って動作する装置とデバイスの組を提供することによりこの目的を達成する。
【００２６】
第１の態様によれば、本発明は、少なくとも２個の別個のカラー画素マトリクスＭＮによって形成されるカラー画像ＩＣ中の物理的な物体表現を検出する方法であって、上記画像ＩＣが少なくともヒストグラム等化処理ステップによって処理され、ヒストグラム等化処理ステップが、
上記少なくとも２個の別個のカラー画素マトリクスＭＮから、少なくとも第１のカラー画素マトリクスＭ１を選択するステップと、
少なくとも上記第１のカラー画素マトリクスＭ１に対してヒストグラム等化処理ステップを別々に実行し、上記第１のカラー画素マトリクスの更新バージョンＭ１’を形成するステップと、
上記画像Ｉｃの更新バージョンＩＣ’が少なくとも上記更新されたカラー画素マトリクスＭ１’を含むようにＩＣ’を形成するステップと、
上記更新バージョンＩＣ’をディスプレイに表示するステップと、
を備え、
上記更新されたカラー画像表現ＩＣ’が、上記カラー画像表現ＩＣ’中の上記物体表現の正しさを明らかにすることにより、人による上記物体表現の検出を容易化する方法を提供することによって上記目的を達成する。
【００２７】
本発明によれば、上記ヒストグラム等化処理ステップは、通常は、上記カラー画素マトリクスＭＮのそれぞれに対して別々に実行され、上記カラー画素マトリクスの更新バージョンＭＮ’を形成し、上記画像ＩＣの更新バージョンＩＣ’が上記更新されたカラー画素マトリクスＭＮ’のすべてを含むようにＩＣ’を形成する。
【００２８】
一実施形態では、本発明による方法は、上記ヒストグラム等化処理ステップの前に実行される第１のタイプの前処理ステップを含み、上記第１のタイプの前処理ステップが、
少なくとも１個の特定のカラー画素マトリクスに対して輝度ヒストグラムＩＨＩを作成するステップと、
上記輝度ヒストグラムＩＨＩに関して画素輝度値の少なくとも１個の範囲を選択するステップと、
上記範囲内の輝度ヒストグラム値を捨てることにより、上記輝度ヒストグラムの更新バージョンＩＨＩ’を作成するステップと、
後に続くヒストグラム等化処理ステップにさらなる処理のための入力としてＩＨＩ’を供給するステップと、
を備える。
【００２９】
別の実施形態では、本発明による方法は、上記ヒストグラム等化処理ステップの前に実行される第２のタイプの前処理ステップを含み、上記第２のタイプの前処理ステップが、
上記画像表現ＩＣ中の少なくとも１個の望ましくない画素領域を特定するステップと、
上記領域内のすべての画素値を捨て、上記画像表現の更新バージョンＩＣ’を形成するステップと、
後に続くヒストグラム等化処理ステップにさらなる処理のための入力としてＩ’ＨＩを供給するステップとを備える。上記特定ステップは、例えば、テキスト認識アルゴリズムのような画像セグメンテーションアルゴリズムによって実行される。特定ステップは、例えば、上記画像ＩＣを表示するディスプレイの上でポインティング手段を動かすことにより、ヒューマンインタラクションを含むことがある。
【００３０】
一実施形態では、上記ヒストグラム等化処理ステップは、
上記第１のカラー画素マトリクスＭ１に対して輝度分布ヒストグラムＩＤＨを計算するステップと、
上記ＩＤＨに対して正規化された累積和ＮＣＳを算出するステップと、
上記正規化された累積和ＮＣＳに対してスレッショルド値Ｋを選択するステップと、
ＩＤＨ中で、上記スレッショルド値Ｋに基づいて画素輝度値の第１の範囲ＲＡＢを定義する画素輝度値Ａ及びＢを特定するステップと、
上記範囲ＲＡＢの外側にあるすべての画素値を捨てることにより、上記輝度分布ヒストグラムの更新バージョンＩＤＨ’を形成するステップと、
上記第１の範囲ＲＡＢ内の画素値を画素輝度値の第２のより大きい範囲ＲＡＢ’に写像するステップと、
を備える。上記スレッショルド値Ｋは、制御手段を位置合わせすることによりヒューマンインタラクションによって選択してもよい。
【００３１】
さらなる実施形態では、本発明による方法は、少なくとも約４００〜８００ｎｍのスペクトル範囲を有するセンサを使用することにより、上記カラー画像表現ＩＣを捕捉するステップを備える。
【００３２】
なおさらなる実施形態では、本発明による処理方法は、１画像単位で連続的なカラー画像の系列に適用される。
【００３３】
なおさらなる実施形態では、本発明による方法は、
上記ヒストグラム等化処理ステップの前に、記憶手段内で上記カラー画像表現ＩＣをコピーし、上記画像ＩＣの少なくとも２個の記憶されたバージョンＩＣ、ＩＣ２を上記記憶手段中に形成することにより、ＩＣの少なくとも１個の全く同じバージョンを記憶するステップと、
上記少なくとも２個の全く同じカラー画像ＩＣ、ＩＣ２に対して、前処理のタイプ及び／又は伸張率Ｋ、及び／又は、マトリクス結合に関して、ＩＣ２のパラメータ設定とは異なるパラメータ設定をＩＣに対して使用して、上記ヒストグラム等化処理ステップを並列に実行するステップと、
少なくとも２個の更新された画像ＩＣ’、ＩＣ２’を形成するステップと、
上記更新された画像ＩＣ’、ＩＣ２’をディスプレイ手段に表示するステップと、
を備える。
【００３４】
第２の態様によれば、本発明は、コンピュータプログラムコード手段が記憶され、上記プログラムがコンピュータにロードされたときに、上記記憶されたプログラムコード手段が本発明による方法を実現する少なくとも１個のプロシージャをコンピュータに実行させる、コンピュータ読み取り可能な媒体を提供する。
【００３５】
第３の態様によれば、本発明は、捕捉手段によって、又は、データ通信手段を介して、又は、ビデオ接続手段を介して記憶手段に捕捉されたカラー画像ＩＣのデジタル表現へアクセスできる処理手段を有し、上記記憶手段が、プログラムコード手段が上記処理手段にロードされたときに、上記処理手段に本発明による方法を実現する少なくとも１個のプロシージャを実行させるプログラムコード手段を記憶している画像処理装置を提供する。
【００３６】
一実施形態では、画像処理装置は、上記処理手段と相互接続され、上記スレッショルド値Ｋ、したがって、上記ヒストグラム等化処理ステップにおける輝度分布拡張の程度のインタラクティブ制御を可能にさせるインタラクティブ制御手段を備える。
【００３７】
上記ディスプレイ手段はインタラクティブポインティング手段と相互作用するように配置される。
【００３８】
一実施形態では、本発明による画像処理装置は、インタラクティブ前処理選択手段、及び／又は、上記更新された画像ＩＣ’を形成するため使用される更新されたカラー画素マトリクスＭＮ’の特定の組み合わせのインタラクティブ選択を可能にする選択手段を備える。
【００３９】
第４の態様によれば、本発明は、本発明の第３の態様による装置を備えるカメラを提供する。
【００４０】
第５の態様によれば、本発明は、本発明の第３の態様による装置を備えるビデオカメラを提供する。
【００４１】
第６の態様によれば、本発明は、特定の照明条件を供給する手段と、本発明の第３、第４又は第５の態様による装置とを備える、カラー画像中の物理的な物体表現を検出する検出器デバイスを提供する。
【００４２】
第７の態様によれば、本発明は、本発明の第３、第４、第５又は第６の態様による装置を備えるセキュリティ監視及び／又はモニターシステムを提供する。
【００４３】
第８の態様によれば、本発明は、本発明の第３、第４、第５、第６又は第７の態様による装置を備える車両を提供する。
【００４４】
第９の態様によれば、本発明は、上記画像処理装置が上記画像ＩＣを車両の少なくとも１個のフロントガラスに投影するため適したディスプレイ手段を備える、本発明の第８の態様による車両を提供する。
【００４５】
第１０の態様によれば、本発明は、本発明の第３、第４、第５、第６又は第７の態様による装置と通信するカラー画像捕捉手段を備える遠隔操作車両を提供する。
【００４６】
第１１の態様によれば、本発明は、目の内側からカラー画像を捕捉する手段を備え、上記捕捉手段が本発明の第３、第４、第５、第６又は第７の態様による装置と接続された、人の目の内部を検査する装置を提供する。
【００４７】
第１２の態様によれば、本発明は、目で見るため配置されたカラー画像ディスプレイ手段を備え、上記ディスプレイ手段が本発明の第３、第４、第５、第６又は第７の態様による装置と接続された、フェイスマスクを提供する。
【００４８】
本発明は上述のように要約されるが、本発明は請求項１〜２７によって定義されている。
【００４９】
本発明のこれら及びその他の特長、態様及び利点とその他の特長、態様及び利点は、以下の説明と請求項を添付図面と共に読むとき、明白になる。
【詳細な説明】
【００５０】
本発明は、次に添付図面を参照してより詳細に説明される。
【００５１】
図１は、本発明によるカラー画像処理装置１００を示す機能ブロック図である。装置１００は、基本的には適合デジタルビデオカメラである。レンズ１０１、例えば、標準的なカメラレンズは、少なくとも人の目に見える波長を透過する。センサ１０２は、少なくとも人の目に見える波長に適した感度をもつデジタルセンサアレイを形成するように配置され、すなわち、画像を捕捉するため使用されるセンサ１０２のスペクトル範囲は少なくとも人の視覚の波長を網羅するため適合し、このことは標準的なフィルム又は通常のデジタルカメラセンサ（おおよそ４００〜８００ｎｍの波長）を意味する。センサアレイの各素子（すなわち、画素）は、いくつかの原色、標準的には赤、緑及び青に対する値を一時的に蓄積する。デジタイザ１０３は、センサ１０２によって捕捉されたカラー画像を上記カラー画像のデジタル表現Ｉｃに変換するアナログ表現を従来型のＡ／Ｄ変換器である。装置１００は、当業者には既知であるように、さらなる記憶手段１０４、すなわち、適当なＲＡＭメモリと、処理手段１０５、例えば、ＣＰＵ、ＡＳＩＣ回路、その他の適当なハードウェアに相互接続されたＡＬＵとを有する。カラー画像を適当なフォーマットに変換する変換器を備える通信制御ユニット１０６は、処理手段１０５を、アナログ画像／ビデオ入力／出力接続ユニット１０８と、デジタル画像／ビデオ入力／出力コネクション１０７とに相互接続する。コネクション１０７は、デジタルカメラのような外部デバイスとの通信のため適合した特別のコネクションでもよく、及び／又は、例えば、従来型の電話モデムコネクション若しくはＵＳＢポートとして実現されるインターネットコネクションのようなネットワークコネクションでもよい。ディスプレイ１０９は、記憶手段１０４、及び／又は、処理手段１０５と接続され、メモリ１０４に記憶されたカラー画像の表示を可能にする。
【００５２】
一実施形態では、ディスプレイ１０９、処理手段１０５、及び、記憶手段１０４は、ディスプレイ１０９に表示されたカラー画像中の領域のインタラクティブ選択を、インタラクティブポインティング手段１２０、例えば、コンピュータマウス等々を使用して可能にするように配置される。このことは既知であるので、本明細書ではこれ以上説明されない。
【００５３】
一実施形態では、処理手段１０５は、セレクタボタン、ノブなどのようなインタラクティブ制御手段１１０及び／又は１３０及び／又は１４０と相互接続され、詳細に後述されるように、前処理ステップ２１５、２４０のインタラクティブ制御と、ヒストグラム等化処理ステップ２５０のパラメータ値のインタラクティブ制御とを可能にする。一実施形態では、制御手段１３０は、後述されるように、用途に応じてどのタイプの前処理を適用すべきであるかを選択する５個の別個の位置をもつノブであるが、その他の可能性もある。一実施形態では、制御手段１４０は、用途に応じて、カラー画像を更新するときに使用すべき更新されたカラー画素マトリクスＭｉの特定の組み合わせを選択する７個の別個の位置をもつノブであるが、その他の可能性もある。一般に、制御手段１１０は、後述されるように、用途に応じて適当なスレッショルド値Ｋを選択するＮ個の別個の位置をもつノブである。
【００５４】
図２は、本発明による方法を示すフローチャートを示す。この方法は、一般に、記憶手段１０４に記憶されたソフトウェアプログラムを処理手段１０５へロードすることにより実行される。
【００５５】
図２を参照すると、本発明による方法は、記憶手段１０４に記憶されたバージョンのカラー画像表現Ｉｃを獲得するため捕捉ステップ２１０で始まる。ライブ画像は、既知の方法で、レンズ１０１を通して、さらにセンサ１０２によって捕捉され、次に、Ａ／Ｄ変換器１０３によってデジタルフォーマットに変換され、次に、メモリ１０４に記憶されるか、又は、コネクション１０７若しくは１０８を介して外部デバイスから直接的に読み出される。アナログビデオ画像は、既知の方法で、入力コネクション１０８を介して読み込まれ、処理手段１０５及び／又は通信制御ユニット１０６によって復号化され、適当なデジタルフォーマットＩｃに符号化され、次に、メモリ１０４に記憶される。デジタルビデオ画像は、既知の方法で、入力コネクション１０７を介して読み込まれ、できれば、処理手段１０５及び／又は通信制御ユニット１０６によって、より適当なデータフォーマットＩｃに移され、次に、メモリ１０４に記憶される。よって、ステップ２１０の後、メモリ１０４には、適当なフォーマットで記憶されたカラー画像のデジタル表現Ｉｃが存在する。一実施形態では、適当なフォーマットは、Ｉｃが別個の色チャンネルの組、又は、通常は赤のための１個のマトリクスと緑のための１個のマトリクスと青のための１個のマトリクスであるカラー画素マトリクスＭｉの組で構成されていることを意味する。本発明によれば、上記マトリクスの組は、少なくとも２個の別個のカラーマトリクスを備える。しかし、どのようなカラー画像であっても、既知の方法で、上記の適当なフォーマットＩｃに変換可能であるため、本発明は、すべてのタイプのカラー画像、例えば、シアン−マゼンタ−黄−黒で符号化された画像に適用される。
【００５６】
この方法は、次に、選択ステップ２１１へ進み、処理手段１０５がインタラクティブ制御手段１１０、１３０及び１４０のそれぞれの位置を読む。制御手段１３０がその第１の位置（１）に合わされているならば、この方法は、後で詳述される前処理ステップ２１５へ進む。制御手段１３０がその第２の位置（２）、第３の位置（３）、又は、第４の位置（４）にあるならば、この方法は、後で詳述される前処理ステップ２４０へ進む。制御手段１３０がその第５の位置（５）にあるならば、この方法は、ヒストグラム等化処理ステップ２５０へ進み、少なくとも１個の上記カラー画素マトリクスＭ１に対し、更新されたバージョンＭ１’が作成される。ステップ２５０は、図３を参照して後で詳述される。前処理ステップ２１５及び２４０から、この方法は、ヒストグラム等化処理ステップ２５０へ進む。ステップ２５０の後、本発明による方法はステップ２９０へ進み、上記更新された画素マトリクスバージョンＭ１’を、少なくとも１個の他の画素マトリクスＭｉ又は更新された画素マトリクスＭｉ’と組み合わせることにより、画像Ｉｃの更新バージョンＩｃ’が作成される。ステップ２９０において、更新された画像表現Ｉｃ’がメモリ１０４に記憶される。ステップ２９５において、メモリ１０４内の更新された画像表現Ｉｃ’が既知の方法でディスプレイ１０９に表示される。
【００５７】
したがって、本発明によれば、ヒストグラム等化処理ステップは、少なくとも１個の画素マトリクスに対して実行されるが、最良の結果は、通常は、３個の画素マトリクスすべてがヒストグラム等化されたときに得られるので、上記画像の更新バージョンＩｃ’は、３個のカラー画素マトリクスのすべて、すなわち、緑、赤及び青の更新バージョンにより構成される。しかし、画素マトリクスのすべてをヒストグラム等化しない方が有利な場合がある。本発明によって重要な点は、ヒストグラム等化処理ステップ２５０が、異なるカラー画素マトリクスＭｉに対して別々に実行されることである。
【００５８】
よって、図３に示された一実施形態では、ヒストグラム等化処理ステップ２５０は、上記第１のカラー画素マトリクスＭ１、例えば、緑に対する第１のヒストグラム等化処理ステップ３６０と、第２のカラー画素マトリクスＭ２、例えば、赤に対する第２のヒストグラム等化処理ステップ３７０と、残りのカラー画素マトリクスＭ３、例えば、この例では、青に対する第３のヒストグラム等化処理ステップ３８０とを備える。本発明による方法は、ステップ３８０の後にステップ３８５へ進む。上記更新ステップ２９０で使用される更新された画素マトリクスＭｉ’の選択がステップ３８５において行われる。したがって、更新された画像Ｉｃ’は、ステップ２９０の後、少なくともこれらの選択されたマトリクスＭｉにより構成される。一実施形態では、ステップ３８５における選択は、選択手段１５０を位置合わせすることによりインタラクティブに実行される。よって、一実施形態では、選択手段１４０がその第１、第２、又は、第３の位置にあるとき、１個の更新されたカラーマトリクスＭ１だけが、すなわち、緑又は赤又は青が選択され、選択手段１４０がその第４、第５、又は、第６の位置にあるとき、２個の更新されたカラー画素マトリクスＭｉの組み合わせ、すなわち、赤と緑、赤と青、又は、緑と青が選択され、選択手段１４０がその第７の位置にあるとき、３個の更新されたカラー画素マトリクスＭｉのすべてが選択されるが、しかし、当業者に明白なその他の可能性もある。
【００５９】
ヒストグラム等化処理ステップ３６０、３７０及び３８０は完全に類似しているので、ステップ３６０だけが、図４、５、６、７及び８を参照してここで詳述される。
【００６０】
一実施形態では、ヒストグラム等化処理ステップは図４に示されるように実行される。図４に示されているように、ヒストグラム等化はステップ４０１で始まり、当該カラー画素マトリクスＭｉに対する輝度分布ヒストグラムＩＤＨが計算される。これは、すべての量子化されたカラー輝度値、例えば、８ビット量子化の場合には２５６個、すなわち、２８＝２５６の値に関して、特定のカラー輝度を有する上記マトリクスＭｉ中の画素の個数を計数し、図５に示されるように上記計数に基づいてヒストグラム分布図を形成することにより行われる。図５は、ヒストグラム等化処理ステップ２５０の前及び後におけるカラーマトリクスＭｉに対するＩＤＨを、それぞれ、灰色の円形及び黒色の三角形として示す。図５に示されるように、ヒストグラム等化前に、カラー画素マトリクスＭｉは、約６０〜１６０の量子化値の範囲内の輝度値だけを含む。ヒストグラム等化処理ステップ２５０は、例えば、図５に灰色バーによって示された結果を形成するように、輝度分布を「引き伸ば」す。
【００６１】
この方法は、ステップ４０１からステップ４１０へ進み、図６に示されるように、ＩＤＨの正規化された累積和ＮＣＳが算出される。図６において、灰色円形は、ヒストグラム等化前のＩＤＨを表現し、黒色三角形は上記ＩＤＨに対するＮＣＳを示す。この方法は、次にステップ４２０へ進み、適当なスレッショルド値Ｋが選択される。これは、制御手段１１０を位置合わせすることによってインタラクティブに達成される。本発明によれば、Ｋの選択は、用途及び／又は環境条件に依存し、例えば、Ｋの適当な値は、霧中の着陸地面に関してＫ１であり、水中深くの用途に関してＫ２であり、恒温水中の水中用途に関してＫ３であり、以下同様に続く。
【００６２】
一般に、Ｋは、「引き伸ば」されるべきＩＤＨの量を決定する伸張率、すなわち、輝度分布拡張の程度である。標準的に、ＩＤＨは、図５に示されるようにその最大限の範囲まで引き伸ばされるが、本発明はそれに限定されない。
【００６３】
一実施形態では、Ｋは、図７に示されるように、パーセンテージスレッショルド値を表現する。ステップ４２０の後、この方法はステップ４３０へ進み、輝度分布ヒストグラムＩＤＨが、図５に示されるように、当初の画素値をより広い輝度値の範囲に再写像することにより、更新バージョンＩＤＨ’を形成するように引き伸ばされる。このことは、図７に示されているように、最初にＩＤＨに対する第１の範囲ＲＡＢを選択することによって、例えば、上記パーセンテージスレッショルド値Ｋ及び１−Ｋと対応する値Ａ及びＢを有するＮＣＳが計算中の輝度値を特定することによって達成される。図７において、Ｋは５％に設定され、輝度目盛上で、Ａの値は約８０であり、Ｂの値は約１４０である。範囲ＲＡＢの外側にあるすべての輝度値、すなわち、Ａに満たないか、又は、Ｂを超える輝度値は、その後、ＩＤＨから除去され、ＩＤＨの画素値が画素輝度値の第２のより広い範囲ＲＡＢ’に写像される。ＲＡＢ’は、標準的には、図５に示されるように量子化範囲全体であるが、他の可能性もある。再写像ステップは、当業者には既知であるように、適当なルックアップテーブルを形成することにより、１画素単位で実行される。ヒストグラム等化処理ステップ２５０は、したがって、図８に示されるように、より直線的な累積ヒストグラムを与える。
【００６４】
ヒストグラム等化は、それ自体は、複数の画像処理テキスト、例えば、Ｇｏｎｚａｌｅｚ，Ｒ．Ｃ．及びＷｉｎｔｚ，Ｐ．著、Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ａｄｄｄｉｓｏｎ−Ｗｅｓｌｅｙ，Ｒｅａｄｉｎｇ，ＭＡ，１９８７に記載された確立されたアルゴリズムである。本発明に基づいて重要な点は、ヒストグラム等化処理ステップが、個別のカラー画素マトリクスＭＮ毎に別々に実行されることである。市販されているソフトウェアプログラムＰｈｏｔｏｓｈｏｐＴＭは、個別の色チャンネルに対するヒストグラム等化を実行するため予め組み込まれた機能を有し、これらの機能は本発明を実行する部分として使用される。
【００６５】
一実施形態では、３個の別個のヒストグラム等化処理ステップ３６０、３７０及び３８０はすべて、同じスレッショルド値Ｋを使用し、カラー画像の更新バージョンＩｃはすべての更新されたマトリクスＭｉ’により構成されるが、本発明はこれに限定されない。
【００６６】
一実施形態では、本発明による映像化システムは、画像の異なるセクション／部分に対し異なるＫの選択を許容し、累積ヒストグラム計算は画像中のあらゆる画素の局所近傍に基づく。このことは、例えば、Ｋの手動制御を無効にするセグメンテーションアルゴリズムを使用することにより、異なるＫ値が画像中の異なるセグメントに対して使用されることを意味する。例えば、高電力ランプを使用する海底に近い水中深くの作業のような、目を見えなくする多数の粒子を伴う用途では、本実施形態は有利である。
【００６７】
フィルム、すなわち、画像の系列の場合、本発明によれば、異なるＫの値が系列中の異なる画像に適用される。
【００６８】
リアルタイムの用途のため特に有利な別の可能性は、本発明による方法を少なくとも２個の全く同一の、すなわち、一方がもう一方のコピーである画像系列に並列に適用し、画像系列を隣同士で表示することである。特定のパラメータ設定、すなわち、前処理のタイプ、マトリクス組み合わせ、及び、Ｋ値の確立した組み合わせは、よって、「最良」画像系列を生成し、「最良」画像系列は、現在のところ、リアルタイムで隣同士に並列表示している間に、より優れた代替的な設定を走査する「スキャン」画像系列と比較される。「スキャン」画像系列がより高次で認知される画質を提供するならば、すなわち、特定の物体表現がより際立つならば、エンドユーザは、前処理のタイプと、マトリクス組み合わせと、Ｋ値の確立した組み合わせを使用して、「最良」画像系列になるこの系列を選択するが、以前の「最良」系列は、それでもなおより優れたパラメータを走査するため始まる。このようにして、環境の変化に応じた連続的な適応と適切なパラメータ制御が効率的な方法で得られる。図１０は、この実施形態がどのように実現されるかを示すフローチャートである。
【００６９】
図２を参照して説明されたステップ２１１又は２１５又は２２０又は２３０の後、図１０のステップ１０において、上記カラー画像表現Ｉｃの少なくとも１個のコピーが作成され、上記記憶手段１０４に記憶される。よって、上記画像Ｉｃの少なくとも２個の記憶されたバージョンＩｃ、Ｉｃ２は、ステップ１０の後に、記憶手段１０４に存在する。ステップ２０において、ヒストグラム等化処理ステップは、通常は、Ｉｃ２に対するパラメータ設定に関して、前処理のタイプ、及び／又は、伸張率Ｋ、及び／又は、マトリクス組み合わせＩｃの点で異なるパラメータ設定を用いて、上記少なくとも２個の全く同一のカラー画像Ｉｃ、Ｉｃ２に対して並列に実行される。ステップ２０は、図２、３及び４を参照して説明され、ＩｃとＩＣ２に対し別個に適用されるステップ２５０に他ならない。ステップ３０において、更新された画像バージョンＩｃ’、Ｉｃ２’が形成される。ステップ３０は、図２を参照して説明され、Ｉｃ’及びＩｃ２’に別個に適用されるステップ２９０に他ならない。Ｉｃ’及びＩｃ２’は、その後に、ステップ４０においてディスプレイ手段１０９に表示される。
【００７０】
次に、もう一度図２を参照して、前処理ステップ２１５、２２０、２２５、２３０及び２４０がより詳しく説明される。
【００７１】
ステップ２１５において、画像中に人工的に導入されたアーティファクトのカラーの内容が特定され、図９に示されているように除去される。このようなアーティファクトは、アナログビデオ信号がデジタルデバイスによって捕捉されたときに起こることがよくある。これらの画像は、しばしば、位置、日付、時刻、状態などを示すため、黒／白フレーム、及び／又は、テキスト、及び／又は、レタリングを含む。よって、図９において、図９の「白」値に対応する高輝度画素値と、図９の「黒」値に対応する低輝度画素値は、ヒストグラム等化処理ステップの前に捨てられる。これは、画像処理の知られているアルゴリズムを使用することによって達成される。
【００７２】
ステップ２４０は、ステップ２２０又は２２５及び２３０のいずれか、又は、図２には示されていないそれらの組み合わせによって実現される。ステップ２４０において、画像Ｉｃの望ましくないセグメントが特定され、除去される。
【００７３】
ステップ２２０において、テキスト認識アルゴリズムは、ヒストグラム等化処理ステップの前に除去すべき画像Ｉｃ中のセグメントを特定する。上記セグメント中の全画素値は、このようにして捨てられる。
【００７４】
ステップ２２５において、画像Ｉｃは、ヒューマンインタラクションによって、例えば、上記画像を表示するディスプレイ１０９の上でポインティング手段１２０を動かすことによって、セグメント化される。
【００７５】
ステップ２３０において、特定の用途に適合した画像セグメンテーションアルゴリズムは、例えば、高電力ランプを使用する海底に近い水中深くの作業で、目を見えなくする多数の粒子が画像中に「浮遊」する画像Ｉｃ中の捨てるべきセグメント／画素を特定し、スレッショルド値を超える輝度を有する全画素が捨てられる。別の可能性は、画像中で、油田掘削デバイスの部品／複数の部品のような既知の形をもつ特定の「確定的」な物体／複数の物体を特定するセグメンテーションアルゴリズムを使用することである。このようなアルゴリズムは既知であり、本明細書では詳細に説明されない。
【００７６】
本発明による方法は、チャンネル／色毎にカラー画像のスペクトルダイナミックレンジが比較的狭い輝度値のセグメントに限定／制限される状況で最良の結果を与えるように思われる。しかしながら、本発明はこの状況だけに、限定されない。
【００７７】
本発明による装置は、本発明による方法を実現する少なくとも１個のプロシージャを上記処理手段１０５に実行させるため、上記メモリ１０４に記憶されるべきコンピュータプログラムコード手段が記憶された、例えば、ハードディスクメモリ、ＣＤ−ＲＯＭ、磁気テープ、フラッシュメモリなどのコンピュータ読み取り可能な媒体によって実現される。代替案として、当業者には既知であるように、例えば、ＡＳＩＣ回路のような純粋なハードウェアロジックが使用される。
【００７８】
一実施形態では、本発明は、適合したカメラ、又は、ビデオカメラの形式で実現され、これによって、経済的な選択肢として、扱いやすい、比較的小型かつ軽量の装置であって、携帯型であり、かつ、多用途である装置を提供する。
【００７９】
別の実施形態では、本発明による装置は、用途に応じた特定の方式で適合した検出器デバイスの形式で実現され、例えば、特定のランプが最適照明条件を提供するため特定の方式で配置され、例えば、食品衛生の場合には、肉のスライスは下から照明される。航空安全性の場合、検出器は、最適位置で、例えば、機首の下で航空機本体と空気力学的に一体化されたレンズを備える。同様に、車両用途の場合、検出器ディスプレイ手段は、画像をフロントガラスなどに投影するため適合する。
【００８０】
さらに別の実施形態では、本発明は、本発明による少なくとも１台の装置を備えるセキュリティ監視及び／又はモニターシステムの形式で実現される。
【００８１】
さらに別の実施形態では、本発明は、例えば、電気又は光ケーブル、無線リンクなどを用いて、本発明による装置と通信するカラー画像捕捉手段を備える遠隔操作車両の形式で実現される。このようにして、画像捕捉手段だけが厳しい（ＲＯＶ）条件、例えば、水中のために設計されればよいので、これは経済的な解決策である。
【００８２】
さらに別の実施形態では、本発明は、目の内部からカラー画像を捕捉する手段を備え、上記捕捉手段が本発明による方法を実行する装置と接続された、人の目の内側部分を検査する装置の形式で実現される。装置は多数の方式で適合し、例えば、目に向けられた特定のランプによって最適な照明条件を獲得し、又は、最適ズーム及び／又は解像度を提供し、及び／又は、輝度グラフの伸張に関して、例えば、Ｋの選択、更新された画像を形成するための更新されたカラーマトリクスの組み合わせ、前処理のタイプのような特定の予め組み込まれたパラメータ設定を有し、特定の異常及び／又は疾病の効率的かつ効果的な検出、及び／又は、患者条件を改善するためのその他の配置、例えば、誤った診断の危険性及び／又は検査のために要する時間を最小限に抑えるために快適であり、かつ、堅固な頭部のサポートを提供する。
【００８３】
さらに別の実施形態では、本発明は、目で見るため配置されたカラー画像ディスプレイ手段を備え、上記ディスプレイ手段が本発明による方法を実行する装置と接続された、フェイスマスクの形式で実現される。フェイスマスクは、例えば、霧が立ちこめた／煙が立ちこめた環境での救援活動中に、例えば、消火活動中に、又は、コックピット内の火災などの場合に、増幅された視覚のための特に効果的な手段を提供する適合ゴーグルの形式でもよい。
【００８４】
本発明は、単なる例として説明されているが、これらの例に限定されることがなく、例えば、本発明による装置は、多種多様の方式で、単一のデバイス、又は、複数の物理的に別個のデバイスに組み込まれ、本発明は、本願中で明示的に言及されていない技術分野、例えば、軍事応用などに適用される。多数の変形が当業者によって行われる。したがって、発明の範囲は特許請求の範囲だけによって定められる。
【図面の簡単な説明】
【００８５】
【図１】本発明による装置の機能ブロック図である。
【図２】本発明による方法を示すフローチャートである。
【図３】図２のステップ２５０を示すフローチャートである。
【図４】図３のステップ３６０を示すフローチャートである。
【図５】単色チャンネルに対するヒストグラム等化の前及び後の輝度分布図ＩＤＨ及びＩＤＨ’を示す図である。
【図６】単色チャンネルに対する正規化された累積和ＮＣＳの形成を示す図である。
【図７】スレッショルド値Ｋを選択することによる適当な範囲ＲＡＢの選択を示す図である。
【図８】ＮＣＳの線形化効果を示す図である。
【図９】本発明の一実施形態による前処理ステップを示す図である。
【図１０】本発明による方法の一実施形態を示すフローチャートである。
【特許請求の範囲】
【請求項１】
少なくとも２個の別個のカラー画素マトリクスＭＮにより形成されたカラー画像ＩＣ中の物理的な物体表現を検出する方法において、
前記少なくとも２個の別個のカラー画素マトリクスＭＮから、少なくとも第１のカラー画素マトリクスＭ１を選択するステップと、
少なくとも前記第１のカラー画素マトリクスＭ１に対してヒストグラム等化処理ステップ（３６０）を別々に実行し、前記第１のカラー画素マトリクスの更新バージョンＭ１’を形成するステップと、
前記画像Ｉｃの更新バージョンＩＣ’が少なくとも前記更新されたカラー画素マトリクスＭ１’を含むように前記更新バージョンＩＣ’を形成するステップと、
前記更新バージョンＩＣ’をディスプレイ（１０９）に表示するステップと、
を備えるヒストグラム等化処理ステップ（２５０）によって、前記画像ＩＣが少なくとも処理され、
前記更新されたカラー画像表現ＩＣ’が、前記カラー画像表現ＩＣ’中の前記物体表現の正しさを明らかにすることにより、人による前記物体表現の検出を容易化することを特徴とする方法。
【請求項２】
前記ヒストグラム等化処理ステップが前記カラー画素マトリクスＭＮのそれぞれに対して別々に実行され、前記カラー画素マトリクスの更新バージョンＭＮ’を形成し、前記画像ＩＣの更新バージョンＩＣ’が前記更新されたカラー画素マトリクスＭＮ’のすべてを含むように前記更新バージョンＩＣ’を形成することをさらに特徴とする、請求項１に記載の方法。
【請求項３】
前処理ステップ（２１５）が前記ヒストグラム等化処理ステップ（２５０）の前に実行され、
前記前処理ステップ（２１５）が、
少なくとも１個の特定のカラー画素マトリクスに対して輝度ヒストグラムＩＨＩを作成するステップと、
前記輝度ヒストグラムＩＨＩに関して画素輝度値の少なくとも１個の範囲を選択するステップと、
前記範囲内の輝度ヒストグラム値を捨てることにより、前記輝度ヒストグラムの更新バージョンＩＨＩ’を作成するステップと、
後に続く前記ヒストグラム等化処理ステップ（２５０）にさらなる処理のための入力としてＩＨＩ’を供給するステップと、
を備えることをさらに特徴とする、請求項１又は２に記載の方法。
【請求項４】
前処理ステップ（２４０）が前記ヒストグラム等化処理ステップ（２５０）の前に実行され、
前記前処理ステップ（２４０）が、
前記画像表現ＩＣ中の少なくとも１個の望ましくない画素領域を特定するステップと、
前記領域内のすべての画素値を捨て、前記画像表現の更新バージョンＩＣ’を形成するステップと、
後に続く前記ヒストグラム等化処理ステップ（２５０）にさらなる処理のための入力としてＩ’ＨＩを供給するステップと、
を備えることをさらに特徴とする、請求項１又は２に記載の方法。
【請求項５】
前記特定ステップが画像セグメンテーションアルゴリズム（２３０）によって実行されることをさらに特徴とする、請求項４に記載の方法。
【請求項６】
前記特定ステップがテキスト認識アルゴリズム（２２０）によって実行されることをさらに特徴とする、請求項４に記載の方法。
【請求項７】
前記特定ステップが前記画像ＩＣを表示するディスプレイの上でポインティング手段（１２０）を動かすことによるヒューマンインタラクション（２３５）を備えることをさらに特徴とする、請求項４に記載の方法。
【請求項８】
前記ヒストグラム等化処理ステップ（２５０，３６０）が、
前記第１のカラー画素マトリクスＭ１に対して輝度分布ヒストグラムＩＤＨを計算するステップと、
前記ＩＤＨに対して正規化された累積和ＮＣＳを算出するステップと、
前記正規化された累積和ＮＣＳに対してスレッショルド値Ｋを選択するステップと、
前記ＩＤＨ中で、前記スレッショルド値Ｋに基づいて画素輝度値の第１の範囲ＲＡＢを定義する画素輝度値Ａ及びＢを特定するステップと、
前記範囲ＲＡＢの外側にあるすべての画素値を捨てることにより、前記輝度分布ヒストグラムの更新バージョンＩＤＨ’を形成するステップと、
前記第１の範囲ＲＡＢ内の画素値を画素輝度値の第２のより広い範囲ＲＡＢ’に写像するステップと、
を備えることをさらに特徴とする、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記スレッショルド値Ｋを選択するステップが、制御手段（１１０）を位置合わせすることによるヒューマンインタラクションを備えることをさらに特徴とする、請求項８に記載の方法。
【請求項１０】
少なくとも約４００〜８００ｎｍのスペクトル範囲を有するセンサを使用することにより、前記カラー画像表現ＩＣを捕捉するステップをさらに備えることをさらに特徴とする、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
１画像単位で連続的なカラー画像の系列に適用されることをさらに特徴とする、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記ヒストグラム等化処理ステップ（２５０）の前に、記憶手段１０４内で前記カラー画像表現ＩＣをコピーし、前記画像ＩＣの少なくとも２個の記憶されたバージョンＩＣ、ＩＣ２を前記記憶手段１０４中に形成することにより、前記画像ＩＣの少なくとも１個の全く同じバージョンを記憶するステップを備え、
前記ヒストグラム等化処理ステップ（２５０）が、前記少なくとも２個の全く同じカラー画像ＩＣ、ＩＣ２に対して、ＩＣのための前処理のタイプ及び／又は伸張率Ｋ及び／又はマトリクス結合に関して、ＩＣ２のためのパラメータ設定とは異なるパラメータ設定を使用して、並列に実行され、
少なくとも２個の更新された画像ＩＣ’、ＩＣ２’を形成するステップと、
前記更新された画像ＩＣ’、ＩＣ２’をディスプレイ手段（１０９）に表示するステップと、
を備えることをさらに特徴とする、請求項１〜１１のうちいずれかに記載の方法。
【請求項１３】
プログラムがコンピュータにロードされたときに、請求項１〜１２のいずれか一項に記載の方法を実現する少なくとも１個のプロシージャを前記コンピュータに実行させるプログラムコード手段を備えることを特徴とするプログラムコード手段が記憶されたコンピュータ読み取り可能な媒体。
【請求項１４】
捕捉手段（１０１，１０２，１０３）によって、又は、データ通信手段（１０７）を介して、又は、ビデオ接続手段（１０８）を介して記憶手段（１０４）に捕捉されたカラー画像ＩＣのデジタル表現へアクセスできる処理手段（１０５）を有する画像処理装置（１００）において、
前記記憶手段（１０４）が、プログラムコード手段が前記処理手段（１０５）にロードされたときに、請求項１〜１２のいずれか一項に記載の方法を実現する少なくとも１個のプロシージャを前記処理手段（１０５）に実行させるプログラムコード手段を記憶していることを特徴とする画像処理装置（１００）。
【請求項１５】
前記処理手段（１０５）と相互接続され、スレッショルド値Ｋ、したがって、前記ヒストグラム等化処理ステップ（２５０）における輝度分布拡張の程度のインタラクティブ制御を可能にさせるインタラクティブ制御手段（１１０）によって特徴付けられる、請求項１４に記載の画像処理装置（１００）。
【請求項１６】
ディスプレイ手段（１０９）及び／又は一体化された画像捕捉手段（１０１，１０２，１０３）をさらに備えることを特徴とする、請求項１４に記載の画像処理装置（１００）。
【請求項１７】
ディスプレイ手段（１０９）と相互作用するように配置されたインタラクティブ前処理選択手段（１３０）及び／又はインタラクティブポインティング手段（１２０）を備えることを特徴とする、請求項１４に記載の画像処理装置（１００）。
【請求項１８】
前記更新された画像ＩＣ’を形成するために更新されたカラー画素マトリクスＭＮ’の特定の組み合わせのインタラクティブ選択（３８５）を可能にする選択手段（１４０）を備えることを特徴とする、請求項１４に記載の画像処理装置（１００）。
【請求項１９】
請求項１４〜１８のいずれか一項に記載の装置を備えることを特徴とするカメラ。
【請求項２０】
請求項１４〜１８のいずれか一項に記載の装置を備えることを特徴とするビデオカメラ。
【請求項２１】
特定の照明条件を提供する手段を備え、カラー画像中の物理的な物体表現を検出する検出器デバイスにおいて、
請求項１４〜２０のいずれか一項に記載の装置を備えることを特徴とする検出器デバイス。
【請求項２２】
請求項１４〜２１のいずれか一項に記載の装置を備えることを特徴とするセキュリティ監視及び／又はモニターシステム。
【請求項２３】
請求項１４〜２１のいずれか一項に記載の装置を備えることを特徴とする車両。
【請求項２４】
前記装置が前記画像ＩＣを当該車両の少なくとも１個のフロントガラスに投影するため適したディスプレイ手段を備えることを特徴とする、請求項２３に記載の車両。
【請求項２５】
請求項１４〜２１のいずれか一項に記載の装置と通信するカラー画像捕捉手段を有することを特徴とする遠隔操作車両。
【請求項２６】
目の内側からカラー画像を捕捉する手段を備え、人の目の内部を検査する装置において、
前記捕捉手段が請求項１４〜２１のいずれか一項に記載の装置と接続されることを特徴とする装置。
【請求項２７】
目で見るため配置されたカラー画像ディスプレイ手段を備えるフェイスマスクにおいて、
前記ディスプレイ手段が請求項１４〜２１のいずれか一項に記載の装置と接続されることを特徴とするフェイスマスク。
【請求項１】
少なくとも２個の別個のカラー画素マトリクスＭＮにより形成されたカラー画像ＩＣ中の物理的な物体表現を検出する方法において、
前記少なくとも２個の別個のカラー画素マトリクスＭＮから、少なくとも第１のカラー画素マトリクスＭ１を選択するステップと、
少なくとも前記第１のカラー画素マトリクスＭ１に対してヒストグラム等化処理ステップ（３６０）を別々に実行し、前記第１のカラー画素マトリクスの更新バージョンＭ１’を形成するステップと、
前記画像Ｉｃの更新バージョンＩＣ’が少なくとも前記更新されたカラー画素マトリクスＭ１’を含むように前記更新バージョンＩＣ’を形成するステップと、
前記更新バージョンＩＣ’をディスプレイ（１０９）に表示するステップと、
を備えるヒストグラム等化処理ステップ（２５０）によって、前記画像ＩＣが少なくとも処理され、
前記更新されたカラー画像表現ＩＣ’が、前記カラー画像表現ＩＣ’中の前記物体表現の正しさを明らかにすることにより、人による前記物体表現の検出を容易化することを特徴とする方法。
【請求項２】
前記ヒストグラム等化処理ステップが前記カラー画素マトリクスＭＮのそれぞれに対して別々に実行され、前記カラー画素マトリクスの更新バージョンＭＮ’を形成し、前記画像ＩＣの更新バージョンＩＣ’が前記更新されたカラー画素マトリクスＭＮ’のすべてを含むように前記更新バージョンＩＣ’を形成することをさらに特徴とする、請求項１に記載の方法。
【請求項３】
前処理ステップ（２１５）が前記ヒストグラム等化処理ステップ（２５０）の前に実行され、
前記前処理ステップ（２１５）が、
少なくとも１個の特定のカラー画素マトリクスに対して輝度ヒストグラムＩＨＩを作成するステップと、
前記輝度ヒストグラムＩＨＩに関して画素輝度値の少なくとも１個の範囲を選択するステップと、
前記範囲内の輝度ヒストグラム値を捨てることにより、前記輝度ヒストグラムの更新バージョンＩＨＩ’を作成するステップと、
後に続く前記ヒストグラム等化処理ステップ（２５０）にさらなる処理のための入力としてＩＨＩ’を供給するステップと、
を備えることをさらに特徴とする、請求項１又は２に記載の方法。
【請求項４】
前処理ステップ（２４０）が前記ヒストグラム等化処理ステップ（２５０）の前に実行され、
前記前処理ステップ（２４０）が、
前記画像表現ＩＣ中の少なくとも１個の望ましくない画素領域を特定するステップと、
前記領域内のすべての画素値を捨て、前記画像表現の更新バージョンＩＣ’を形成するステップと、
後に続く前記ヒストグラム等化処理ステップ（２５０）にさらなる処理のための入力としてＩ’ＨＩを供給するステップと、
を備えることをさらに特徴とする、請求項１又は２に記載の方法。
【請求項５】
前記特定ステップが画像セグメンテーションアルゴリズム（２３０）によって実行されることをさらに特徴とする、請求項４に記載の方法。
【請求項６】
前記特定ステップがテキスト認識アルゴリズム（２２０）によって実行されることをさらに特徴とする、請求項４に記載の方法。
【請求項７】
前記特定ステップが前記画像ＩＣを表示するディスプレイの上でポインティング手段（１２０）を動かすことによるヒューマンインタラクション（２３５）を備えることをさらに特徴とする、請求項４に記載の方法。
【請求項８】
前記ヒストグラム等化処理ステップ（２５０，３６０）が、
前記第１のカラー画素マトリクスＭ１に対して輝度分布ヒストグラムＩＤＨを計算するステップと、
前記ＩＤＨに対して正規化された累積和ＮＣＳを算出するステップと、
前記正規化された累積和ＮＣＳに対してスレッショルド値Ｋを選択するステップと、
前記ＩＤＨ中で、前記スレッショルド値Ｋに基づいて画素輝度値の第１の範囲ＲＡＢを定義する画素輝度値Ａ及びＢを特定するステップと、
前記範囲ＲＡＢの外側にあるすべての画素値を捨てることにより、前記輝度分布ヒストグラムの更新バージョンＩＤＨ’を形成するステップと、
前記第１の範囲ＲＡＢ内の画素値を画素輝度値の第２のより広い範囲ＲＡＢ’に写像するステップと、
を備えることをさらに特徴とする、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記スレッショルド値Ｋを選択するステップが、制御手段（１１０）を位置合わせすることによるヒューマンインタラクションを備えることをさらに特徴とする、請求項８に記載の方法。
【請求項１０】
少なくとも約４００〜８００ｎｍのスペクトル範囲を有するセンサを使用することにより、前記カラー画像表現ＩＣを捕捉するステップをさらに備えることをさらに特徴とする、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
１画像単位で連続的なカラー画像の系列に適用されることをさらに特徴とする、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記ヒストグラム等化処理ステップ（２５０）の前に、記憶手段１０４内で前記カラー画像表現ＩＣをコピーし、前記画像ＩＣの少なくとも２個の記憶されたバージョンＩＣ、ＩＣ２を前記記憶手段１０４中に形成することにより、前記画像ＩＣの少なくとも１個の全く同じバージョンを記憶するステップを備え、
前記ヒストグラム等化処理ステップ（２５０）が、前記少なくとも２個の全く同じカラー画像ＩＣ、ＩＣ２に対して、ＩＣのための前処理のタイプ及び／又は伸張率Ｋ及び／又はマトリクス結合に関して、ＩＣ２のためのパラメータ設定とは異なるパラメータ設定を使用して、並列に実行され、
少なくとも２個の更新された画像ＩＣ’、ＩＣ２’を形成するステップと、
前記更新された画像ＩＣ’、ＩＣ２’をディスプレイ手段（１０９）に表示するステップと、
を備えることをさらに特徴とする、請求項１〜１１のうちいずれかに記載の方法。
【請求項１３】
プログラムがコンピュータにロードされたときに、請求項１〜１２のいずれか一項に記載の方法を実現する少なくとも１個のプロシージャを前記コンピュータに実行させるプログラムコード手段を備えることを特徴とするプログラムコード手段が記憶されたコンピュータ読み取り可能な媒体。
【請求項１４】
捕捉手段（１０１，１０２，１０３）によって、又は、データ通信手段（１０７）を介して、又は、ビデオ接続手段（１０８）を介して記憶手段（１０４）に捕捉されたカラー画像ＩＣのデジタル表現へアクセスできる処理手段（１０５）を有する画像処理装置（１００）において、
前記記憶手段（１０４）が、プログラムコード手段が前記処理手段（１０５）にロードされたときに、請求項１〜１２のいずれか一項に記載の方法を実現する少なくとも１個のプロシージャを前記処理手段（１０５）に実行させるプログラムコード手段を記憶していることを特徴とする画像処理装置（１００）。
【請求項１５】
前記処理手段（１０５）と相互接続され、スレッショルド値Ｋ、したがって、前記ヒストグラム等化処理ステップ（２５０）における輝度分布拡張の程度のインタラクティブ制御を可能にさせるインタラクティブ制御手段（１１０）によって特徴付けられる、請求項１４に記載の画像処理装置（１００）。
【請求項１６】
ディスプレイ手段（１０９）及び／又は一体化された画像捕捉手段（１０１，１０２，１０３）をさらに備えることを特徴とする、請求項１４に記載の画像処理装置（１００）。
【請求項１７】
ディスプレイ手段（１０９）と相互作用するように配置されたインタラクティブ前処理選択手段（１３０）及び／又はインタラクティブポインティング手段（１２０）を備えることを特徴とする、請求項１４に記載の画像処理装置（１００）。
【請求項１８】
前記更新された画像ＩＣ’を形成するために更新されたカラー画素マトリクスＭＮ’の特定の組み合わせのインタラクティブ選択（３８５）を可能にする選択手段（１４０）を備えることを特徴とする、請求項１４に記載の画像処理装置（１００）。
【請求項１９】
請求項１４〜１８のいずれか一項に記載の装置を備えることを特徴とするカメラ。
【請求項２０】
請求項１４〜１８のいずれか一項に記載の装置を備えることを特徴とするビデオカメラ。
【請求項２１】
特定の照明条件を提供する手段を備え、カラー画像中の物理的な物体表現を検出する検出器デバイスにおいて、
請求項１４〜２０のいずれか一項に記載の装置を備えることを特徴とする検出器デバイス。
【請求項２２】
請求項１４〜２１のいずれか一項に記載の装置を備えることを特徴とするセキュリティ監視及び／又はモニターシステム。
【請求項２３】
請求項１４〜２１のいずれか一項に記載の装置を備えることを特徴とする車両。
【請求項２４】
前記装置が前記画像ＩＣを当該車両の少なくとも１個のフロントガラスに投影するため適したディスプレイ手段を備えることを特徴とする、請求項２３に記載の車両。
【請求項２５】
請求項１４〜２１のいずれか一項に記載の装置と通信するカラー画像捕捉手段を有することを特徴とする遠隔操作車両。
【請求項２６】
目の内側からカラー画像を捕捉する手段を備え、人の目の内部を検査する装置において、
前記捕捉手段が請求項１４〜２１のいずれか一項に記載の装置と接続されることを特徴とする装置。
【請求項２７】
目で見るため配置されたカラー画像ディスプレイ手段を備えるフェイスマスクにおいて、
前記ディスプレイ手段が請求項１４〜２１のいずれか一項に記載の装置と接続されることを特徴とするフェイスマスク。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公表番号】特表２００８−５０２０６２（Ｐ２００８−５０２０６２Ａ）
【公表日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願番号】特願２００７−５２６４２７（Ｐ２００７−５２６４２７）
【出願日】平成１７年６月８日（２００５．６．８）
【国際出願番号】ＰＣＴ／ＥＰ２００５／０５２６４５
【国際公開番号】ＷＯ２００５／１２２０８５
【国際公開日】平成１７年１２月２２日（２００５．１２．２２）
【出願人】（５０６４１０７１８）ライン アーベー (1)
【Ｆターム（参考）】
【公表日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願日】平成１７年６月８日（２００５．６．８）
【国際出願番号】ＰＣＴ／ＥＰ２００５／０５２６４５
【国際公開番号】ＷＯ２００５／１２２０８５
【国際公開日】平成１７年１２月２２日（２００５．１２．２２）
【出願人】（５０６４１０７１８）ライン アーベー (1)
【Ｆターム（参考）】
[ Back to top ]