画像処理装置および画像処理方法
【課題】 表示される画像を収差補正するにあたり、当該画像に白色細線が含まれていた場合でも、偽色の発生を抑制できるようにする。
【解決手段】 画像処理装置であって、画像を処理する際の注目画素が、前記画像に含まれる輝度の高い細線を構成する白色細線画素であるか否かを判断する手段（７０２）と、白色細線画素であると判断された場合に、前記注目画素に対して平滑化処理を行う手段（７０２）と、色収差に起因する結像位置のずれ量を示す情報を示す情報に基づいて、前記平滑化処理された注目画素の位置を変換する手段（７０６）と、変換された注目画素を補間処理し、所定の表示位置における色情報を再構成する手段（７０７）とを備える。
【解決手段】 画像処理装置であって、画像を処理する際の注目画素が、前記画像に含まれる輝度の高い細線を構成する白色細線画素であるか否かを判断する手段（７０２）と、白色細線画素であると判断された場合に、前記注目画素に対して平滑化処理を行う手段（７０２）と、色収差に起因する結像位置のずれ量を示す情報を示す情報に基づいて、前記平滑化処理された注目画素の位置を変換する手段（７０６）と、変換された注目画素を補間処理し、所定の表示位置における色情報を再構成する手段（７０７）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示光学系において生じる色収差を補正するための画像処理技術に関するものである。
【背景技術】
【０００２】
従来より、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。更に、当該ＭＲ技術の１つとして、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下ＨＭＤ）を利用する技術が知られている。ＨＭＤの場合、その装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、当該撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示する。これにより、ＨＭＤ装着者は、複合現実画像を観察することが可能となる。
【０００３】
このようにＨＭＤでは、ＣＣＤ等の電荷結合素子により被写体を撮像して該被写体のデジタル画像データを得るとともに、ＣＧ画像を重畳したＭＲ画像（複合現実画像）を液晶等の表示デバイスを介して装着者に表示する構成となっている。このため、撮像及び表示のための光学系（撮像光学系及び表示光学系）において生じる収差を補正することが重要となってくる。レンズの歪曲収差に起因して、表示される画像が樽型の画像や糸巻き型の画像となったり、レンズの倍率色収差に起因して、被写体の境界部分に赤や青や緑の色にじみが生じたりするなど、画像の品質に影響を与えるおそれがあるからである。
【０００４】
一般に、撮像光学系及び表示光学系において生じる収差に対する補正については、光学的補正によるアプローチと、信号処理を用いた電子的補正によるアプローチとが挙げられる。このうち、ＨＭＤのように頭部に装着する装置では、小型化・軽量化することが不可欠であるため、サイズや重量の増大が不可避な光学的補正によるアプローチよりも、信号処理を用いた電子的補正によるアプローチが選択される。電子的補正によるアプローチを選択した場合、更に、廉価なレンズの採用やレンズ枚数の削減によるコスト低減効果が得られるという利点もあるからである。
【０００５】
このような信号処理を用いた電子的補正では、通常、２つのプロセスにより収差補正が実現される。第１のプロセスは、理想的な光学系で得られる結像位置と実際の収差の影響を受けた結像位置との対応関係に基づいて、歪んだ画像の各画素を理想的な位置へと座標変換する座標変換プロセスである。また、第２のプロセスは、座標変換された各画素に基づいて格子上に各画素の色情報を再構成する補間プロセスである。
【０００６】
このうち、座標変換プロセスでは、画素毎に座標変換処理を行うことで、画像の歪みである歪曲収差の補正を実現し、画素を構成する色毎に座標変換処理を行うことで、色ずれである倍率色収差の補正を実現する。
【０００７】
ここで、座標変換プロセスにより収差が補正された各画素は、撮像系であるか表示系であるかによらず、最終的に、規定する格子点上に存在していなければならない。このため、画素補間プロセスでは、座標変換プロセスによって格子点上にない画素が生じた場合に、当該画素の色情報を格子点上に再構成する処理を行う。具体的には、一般的な解像度変換手法で用いられる線形補間や高次の双三次補間（バイキュービック）を使用し、当該画素と近傍の格子点との位置関係（距離）によって重み付けを行い、各格子点上の色情報を算出する。
【０００８】
このような信号処理を用いた収差補正については、従来より、種々の提案がなされている。例えば、下記特許文献１では、画素補間プロセスに対して、キュービック・コンボリューション（ＢｉＣｕｂｉｃ）を使用することで、より高画質な収差補正を実現する構成が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−１１２６９号公報
【特許文献２】特開平５−３２８１０６号号公報
【特許文献３】特開２００３−１０２０２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、信号処理を用いた従来の収差補正には、以下のような問題点がある。すなわち、表示光学系の収差補正では、原画像に高輝度の白色細線が含まれていた場合、補間プロセスを実行することによって、偽色が発生する。当該偽色は、自然画像では目立たない一方が、ワイヤーフレーム等のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）やＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能によって人為的に作られた画像では、その発生が顕著になるという特性がある。また、本来画素が存在しない位置にある画素を、格子点との位置関係に合わせて再構成することで発生することから、偽色は収差補正の量によらず発生し、また、画像の周辺部のみならず中央部においても発生する。このようなことから、収差補正における偽色の発生を抑制することは、ＨＭＤ等における表示において特に重要な課題であるといえる。
【００１１】
なお、偽色の発生を抑制するための技術としては、例えば、上記特許文献２や特許文献３に、モアレ除去や撮像系で発生する偽色の発生をローパスフィルタを用いて抑制する構成が開示されている。しかしながら、上記特許文献２及び３に開示された当該構成は、いずれも、エッジ部の保存を目的として処理する技術であるため、上記補間プロセスに適用した場合、白色細線において発生する偽色をかえって助長させてしまう結果となる。
【００１２】
本発明は上記課題に鑑みなされたものであり、表示される画像を収差補正するにあたり、当該画像に白色細線が含まれていた場合でも、偽色の発生を抑制できるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
表示される画像を処理する画像処理装置であって、
前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅よりも細い白色細線を構成する白色細線画素であるか否かを判断する判断手段と、
前記判断手段において白色細線画素であると判断された場合には、前記注目画素に対して平滑化処理を行うよう動作し、前記判断手段において白色細線画素でないと判断された場合には、前記注目画素に対して平滑化処理を行わないよう動作することで、該注目画素の色情報を算出する算出手段と、
前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記算出手段により色情報が算出された前記注目画素の位置を変換する変換手段と、
前記変換手段により変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間手段とを備える。
【発明の効果】
【００１４】
本発明によれば、表示される画像を収差補正するにあたり、当該画像に白色細線が含まれていた場合でも、偽色の発生を抑制することができるようになる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に画像処理方法が実行されるＭＲシステムのシステム構成を示す図である。
【図２】ＭＲシステムの機能構成を示す図である。
【図３】ＭＲシステムを構成する画像合成装置のハードウェア構成を示す図である。
【図４】ＭＲシステムを構成するＨＭＤのハードウェア構成を示す図である。
【図５】歪曲収差並びに倍率色収差を説明する図である。
【図６】表示光学系の一構成例を示す図である。
【図７】ＨＭＤの表示系収差補正部の機能構成を示す図である。
【図８】表示系収差補正部における収差補正処理の流れを示す図である。
【図９】表示系収差補正部を構成する適応的平滑化処理部の機能ブロック図である。
【図１０】表示系収差補正部において用いられる各種マトリックスを示す図である。
【図１１】適応的平滑化処理における白色細線検出処理の流れを示す。
【図１２】適応的平滑化処理における平滑化処理の流れを示す図である。
【図１３】表示系収差補正部において座標変換処理を実行する際に用いられる収差補正テーブルの一例を示す図である。
【図１４】座標変換処理の流れを示す図である。
【図１５】座標変換処理の一例である三次補間の概念を示す模式図である。
【図１６】表示系収差補正部における補間処理の流れを示す図である。
【図１７Ａ】偽色発生のメカニズムと表示系収差補正部における収差補正処理による偽色抑制の効果を説明するための模式図である。
【図１７Ｂ】偽色発生のメカニズムと表示系収差補正部における収差補正処理による偽色抑制の効果を説明するための模式図である。
【図１８】第２の実施形態に係る画像処理方法が実行される表示系収差補正部による適応的平滑化処理における白色細線検出処理の流れを示す図である。
【図１９】適応的平滑化処理における平滑化処理の流れを示す図である。
【図２０】第３の実施形態に係る画像処理方法が実行される表示系収差補正部の機能構成を示す図である。
【図２１】表示系収差補正部における収差補正処理の流れを示す図である。
【図２２】表示系収差補正部による適応的補間処理において用いられる補間曲線の例を示す図である。
【図２３】表示系収差補正部における適応的補間処理の流れを示す図である。
【図２４】第４の実施形態に係る画像処理方法が実行される表示系収差補正部の機能構成を示す図である。
【図２５】表示系収差補正部における収差補正処理の流れを示す図である。
【図２６】表示系収差補正部による適応的補間処理において用いられる補間曲線の例を示す図である。
【図２７】表示系収差補正部における適応的補間処理の流れを示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の各実施形態について説明する。
【００１７】
［第１の実施形態］
＜１．ＭＲシステムのシステム構成＞
図１は、本発明の第１の実施形態にかかる画像処理方法が実行されるＭＲシステム１００のシステム構成を示す図である。
【００１８】
現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術である複合現実感、いわゆるＭＲ技術では、撮像機能付表示装置が利用される。なお、以下では、撮像機能付表示装置をＨＭＤと略すこととする。ただし、撮像機能付表示装置は、双眼鏡のような手持ちタイプのものでもよく、頭部装着型のものに限られるものではない。
【００１９】
ＨＭＤでは、撮像ユニットにおいて取得した装着者の視点による現実空間の撮像画像に、装着者の位置、方向などの三次元位置姿勢情報に基づいて生成したＣＧ画像を重畳し、表示ユニットに表示するよう構成されている。当該構成により、ＨＭＤ装着者は、観察している現実空間内に、ＣＧで描画されたオブジェクトがあたかも存在しているかのような複合現実感を体感することができる。
【００２０】
図１に示すように、当該ＨＭＤを利用したＭＲシステム１００は、通常、ＨＭＤ１０１のほか、コントローラ１０２と、画像合成装置１０３とにより構成することができる。
【００２１】
このうち、ＨＭＤ１０１は、上述したように装着者の観察している現実空間の画像を取得するための撮像ユニットを備える。また、撮像ユニットにおいて撮像した現実空間の撮像画像や、画像合成装置１０３からの出力画像、または画像合成装置１０３で生成したＣＧ画像を現実空間の撮像画像に重畳した合成画像などを、表示画像として装着者に提供するための表示ユニットを有する。更に、ＨＭＤ１０１は、コントローラ１０２と通信を行う機能を備える。なお、ＨＭＤ１０１は、コントローラ１０２からの電源供給を受けて駆動するように構成してもよいし、バッテリーで駆動するように構成してもよい。
【００２２】
一方、コントローラ１０２と接続された画像合成装置１０３は、ＣＧ画像を生成するＣＧ描画部と、現実空間の撮像画像とＣＧ画像とを合成する画像合成部とを備える。
【００２３】
画像合成装置１０３はコントローラ１０２を介して、ＨＭＤ１０１と通信を行うよう構成され、画像合成部において合成された合成画像は、コントローラ１０２を介してＨＭＤ１０１に送信され、表示ユニットにおいて表示される。
【００２４】
一方、コントローラ１０２（画像処理装置）には、画像の解像度を変換する機能や色空間を変換する機能に加え、本実施形態にかかる画像処理方法による表示光学系の収差補正処理機能を含む各種画像処理機能ならびに伝送フォーマット変換機能が配されている。
【００２５】
なお、図１のＭＲシステムでは、画像合成装置１０３とコントローラ１０２とを別々のハードウェアとして構成しているが、本発明はこのような構成に限定されるものではない。例えば、コントローラ１０２が有する機能と画像合成装置１０３が有する機能とを統合し、専用の画像合成装置を構成するようにしてもよい。
【００２６】
また、図１のＭＲシステムでは、各々の装置を有線で接続することとしているが、本発明はこれに限定されず、これらの一部またはすべてを無線で接続するように構成してもよい。
【００２７】
あるいは、コントローラ１０２の機能の一部または全部をＨＭＤ１０１側に取り込むように構成してもよい。なお、以下のＭＲシステムでは、コントローラ１０２とＨＭＤ１０１がそれぞれ有する機能を組み合わせたものを改めてＨＭＤ１０１（画像処理装置）と表記して説明を行うこととする。
【００２８】
＜２．ＭＲシステムの機能構成＞
図２は、第１の実施形態にかかる画像処理方法が実行されるＭＲシステム２００の機能構成を示す図である。
【００２９】
図２において、２０１は、ビデオシースルー型のＨＭＤである。ＨＭＤ２０１は、現実空間を撮像する撮像ユニット２０３と、ＣＧ画像が重畳されたＭＲ画像を表示する表示ユニット２０８と備える。また、ＣＧ画像の生成、合成を行う画像合成装置２１１との間で通信を行うためのＩ／Ｆ２０６と、ＨＭＤ２０１の位置姿勢情報を出力する三次元位置姿勢センサ２０５と、撮像系収差補正部２０４と表示系収差補正部２０７とを備える。以下、ＨＭＤ２０１の各部について説明する。
【００３０】
撮像ユニット２０３は、ＨＭＤ装着者の視線位置と略一致する現実空間を撮像する。撮像ユニット２０３は、ステレオ画像の生成が可能な右目用、左目用の二組の撮像素子と撮像光学系および信号処理回路とから構成される。
【００３１】
撮像系収差補正部２０４は、撮像光学系で生じる収差を補正する。なお、収差補正の処理の内容は撮像系、表示系ともに基本的には同じである。
【００３２】
三次元位置姿勢センサ２０５は、ＨＭＤ装着者の位置姿勢情報を得るためのセンサであり、後述する位置姿勢情報生成部２１３で用いられる情報を生成する。三次元位置姿勢センサ２０５としては、例えば、磁気センサやジャイロセンサ（加速度、角速度）が使用される。なお、三次元位置姿勢センサ２０５は、撮像画像のみから位置姿勢情報を取得するＭＲシステムの場合にあっては、必ずしも搭載が必須のデバイスではない。
【００３３】
２０６は、撮像ユニット２０３で撮像された撮像画像を画像合成装置２１１に伝送し、また合成されたＭＲ画像をＨＭＤ２０１へ伝送するためのＩ／Ｆである。Ｉ／Ｆ２０６は、ＨＭＤ２０１と画像合成装置２１１との間のデータ通信を行う際に、インターフェースとして機能するものである。なお、これについては、画像合成装置２１１側に設けられているＩ／Ｆ２１２についても同様である。ただし、Ｉ／Ｆ２０６、２１２のいずれも、リアルタイム性が求められるため、大容量の伝送が可能な通信規格が採用されることが望ましい。有線系であれば、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバを使用するのが望ましい。また、無線系であれば、ＩＥＥＥ８０２．１１のワイヤレスＬＡＮ、ＩＥＥＥ８０２．１５のワイヤレスＰＡＮ規格等に準拠した高速無線通信を使用するのが望ましい。なお、本実施形態では、有線系であれば光ファイバを、無線系であればＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）を使用することとする。光ファイバの伝送帯域は数Ｇｂｐｓ、ＵＷＢは数百Ｍｂｐｓである。
【００３４】
表示系収差補正部２０７は、表示光学系で生じる収差を補正する。なお、表示系収差補正部２０７の詳細は後述する。
【００３５】
表示ユニット２０８は、合成されたＭＲ画像を表示する。撮像ユニット２０３と同様に、右目用、左目用の二組の表示デバイスと表示光学系とから構成される。表示デバイスとしては、例えば、小型の液晶ディスプレイやＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）による網膜スキャンタイプのデバイスが使用可能である。なお、表示光学系の構成については後述する。
【００３６】
一方、画像合成装置２１１は、ＨＭＤ２０１から受け取った撮像画像に基づいて位置姿勢情報を生成したり、位置姿勢情報に基づいてＣＧ画像を生成し、撮像画像と合成を行ったりする。画像合成装置２１１は、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置により構成される。以下、画像合成装置２１１の各部について説明する。
【００３７】
２１２は、画像処理装置側のＩ／Ｆである。Ｉ／Ｆ２１２の機能は、ＨＭＤ２０１内のＩ／Ｆ２０６と同じであるため、ここでは説明は省略する。
【００３８】
２１３は、受け取った撮像画像から、ＨＭＤ装着者の位置姿勢を示す位置姿勢情報を生成する位置姿勢情報生成部である。撮像画像からマーカやマーカの代わりとなる特徴点を抽出することにより位置姿勢情報を生成する。なお、位置姿勢情報生成部２１３は、不図示の客観視点による撮像画像や、ＨＭＤ２０１に取り付けられた三次元位置姿勢センサ２０５による情報を補足的に使用する構成となっており、撮像画像中にマーカや特徴点がない場合にも対応することが可能である。
【００３９】
２１４は、コンテンツＤＢ２１５に保持されているそれぞれの仮想物体に係るデータを用いて、それぞれの仮想物体を仮想空間中に配置した仮想空間を形成するＣＧ画像描画部である。ＣＧ画像描画部２１４では、形成した仮想空間においてＨＭＤ装着者の視点から見た場合の仮想画像（ＣＧ画像）を生成する。なお、所定の位置姿勢のＨＭＤ装着者の視点から見た場合の仮想空間の画像を生成する処理については周知であるので、ここでは詳細な説明は省略する。
【００４０】
２１５は、仮想画像のコンテンツを納めたコンテンツＤＢであり、仮想空間を構成する各仮想物体に係るデータを保持するＤＢ（データベース）である。仮想物体に係るデータには、例えば、仮想物体の配置・位置姿勢や、その動作則を示すデータが含まれる。また、仮想物体がポリゴンにより構成されている場合には、各ポリゴンの法線ベクトルデータやその色データ、ポリゴンを構成する各頂点の位置データ等が含まれる。また、仮想物体にテクスチャマッピングを施す場合には、テクスチャデータも含まれる。
【００４１】
２１６は、撮像画像とＣＧ画像とを合成し、ＭＲ画像を生成するＭＲ画像合成部である。ここで生成したＭＲ画像は、Ｉ／Ｆ２１２を介してＨＭＤ２０１に送られ、ＨＭＤ２０１の表示ユニット２０８にて表示される。
【００４２】
以上のような機能構成のもと、撮像ユニット２０３で撮像された撮像画像は、以下のような流れにより処理される。すなわち、撮像系収差補正部２０４において撮像光学系の収差が補正され、画像処理装置２０２へと送信される。そして、画像処理装置２０２において、受け取った撮像画像中のマーカや特徴量に基づいて、ＨＭＤ２０１の位置姿勢情報が算出される。その後、算出された位置姿勢情報に基づいて生成されたＣＧ画像が、撮像画像に重畳され、合成画像であるＭＲ画像が生成される。生成されたＭＲ画像は、Ｉ／Ｆ２１２を介してＨＭＤ２０１へと送られる。
【００４３】
ＨＭＤ２０１では、撮像光学系と同様に、表示系収差補正部２０７において表示光学系の収差が補正された後、表示ユニット２０８に表示される。このような処理の流れにより、収差の補正されたＭＲ画像がＨＭＤ装着者の瞳に導かれることとなる。
【００４４】
＜３．画像合成装置のハードウェア構成＞
次に、画像合成装置２１１のハードウェア構成について説明する。図３は、画像合成装置２１１のハードウェア構成を示すブロック図である。図３において、３０１はＣＰＵであり、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータに基づいて処理を実行することにより、コンピュータ全体の制御を行うと共に、画像合成装置２１１が有する各種機能を実現する。
【００４５】
ＲＡＭ３０２は、外部記憶装置３０６からロードされたプログラムやデータ、Ｉ／Ｆ３０７を介して外部（本実施形態の場合、ＨＭＤ２０１）から受信したデータ等を一時的に記憶するエリアを提供する。また、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアも提供する。なお、ＲＡＭ３０２は、これらのエリアを適宜提供することができる。ＲＯＭ３０３は、コンピュータの設定データやブートプログラム（ＢＩＯＳ）等を格納する。
【００４６】
３０４は操作部であり、キーボードやマウスなどにより構成されている。コンピュータの使用者は、操作部３０４を操作することにより、ＣＰＵ３０１に対して各種の指示を入力する。３０５は表示部であり、ＣＲＴや液晶画面等により構成される。ＣＰＵ３０１や不図示のグラフィックスボードによる処理結果は、画像や文字として、表示部３０５に表示される。
【００４７】
３０６は外部記憶装置であり、ハードディスクドライブ装置に代表される大容量情報記憶装置により構成される。外部記憶装置３０６には、ＯＳ（オペレーティングシステム）や、各種処理をＣＰＵ３０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１によって実行される。
【００４８】
３０７はＩ／Ｆであり、図２に示したＩ／Ｆ２１２に対応する。Ｉ／Ｆ３０７は、ＨＭＤ２０１とのデータ通信を行うためのインターフェースとして機能する。３０８は上記各部を繋ぐバスである。
【００４９】
＜４．ＨＭＤのハードウェア構成＞
次に、ＨＭＤ２０１のハードウェア構成について説明する。図４は、ＨＭＤ２０１のハードウェア構成を示すブロック図である。図４において、４０１は撮像ユニットであり、図２の撮像ユニット２０３に対応する。４０２は表示ユニットであり、図２の表示ユニット２０８に対応する。４０３はＲＡＭであり、ＣＰＵ４０６が各種処理を行うために用いるワークエリアや、Ｉ／Ｆ２０６を介して外部（ここでは画像処理装置２０２）から受信したデータを一時的に記憶するためのエリアを提供する。
【００５０】
４０４はＲＯＭであり、ＨＭＤ２０１が行う後述の各種処理をＣＰＵ４０６に実行させるためのプログラムやデータが格納されている。４０５は三次元位置姿勢センサであり、図２の三次元位置姿勢センサ２０５に対応する。４０６はＣＰＵであり、ＨＭＤ２０１の初期設定を行ったり、各種デバイスの制御を行うプログラムを実行する。４０７はＩ／Ｆであり、図２のＩ／Ｆ２０６に対応する。
【００５１】
４０８は収差補正ＬＳＩであり、図２の撮像系収差補正部２０４および表示系収差補正部２０７に対応する。ここでは専用集積回路であるＡＳＩＣを想定しているが、信号処理プロセッサであるＤＳＰによってソフト的に機能を記述することで実現してもよい。４０９は上記各部を繋ぐバスである。
【００５２】
＜５．歪曲収差及び倍率色収差についての説明＞
次に、歪曲収差及び倍率色収差について説明する。図５は、歪曲収差及び倍率色収差を説明するための図である。図５（Ａ）は歪曲のない状態を、図５（Ｂ）は歪曲した状態を、図５（Ｃ）は歪曲に加えて倍率色収差が生じた状態をそれぞれ示している。
【００５３】
図５（Ｃ）では、ＲＧＢ三原色のうち、Ｇｒｅｅｎを実線で、Ｒｅｄを破線で、Ｂｌｕｅを一点鎖線で表している。このように、色毎に収差が生じるのは、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各波長によってレンズでの屈折率が異なるためである。撮像光学系ではＧｒｅｅｎの像に対して、Ｒｅｄの像は外側に、Ｂｌｕｅの像は内側に結ばれる現象が起こり、白黒の被写体であってもその像のエッジには色にじみ（色ずれ）が生じる。また、カラー画像の被写体の場合も境界領域等の色味が変わるエッジ部分においては同様の色にじみが生じる。
【００５４】
実レンズにおける結像においては、図５（Ａ）のような図形を撮像した場合に、図５（Ｃ）のように画像が歪み、また、色によって結像位置（倍率）が異なる現象が生じる。一般に、単色における画像の歪みは「歪曲収差」と呼ばれ、色の違いによる倍率の差は「倍率色収差」と呼ばれている。
【００５５】
光の屈折は波長が短いほど顕著で、凸レンズをイメージした撮像光学系では外側に赤色がずれるが、拡大光学系である表示光学系では、逆に青色が外側にずれることになる。電子的な収差補正処理では、ずれる方向と逆方向にずらすように補正を行うこととなる。例えば、表示光学系の収差補正であれば、青色を内側に、赤色を外側に配置するように画像を形成することで表示光学系の収差と相殺され、各色の色ずれが生じることのない好ましい画像が、瞳位置において提供されることとなる。
【００５６】
＜６．表示ユニットの光学系の説明＞
次に、ＨＭＤ２０１の表示ユニット４０２の光学系について説明する。図６は表示光学系の一例を示す図である。図６において、６０１は表示パネルである。表示パネル６０１は、ＴＦＴ液晶や有機ＥＬのデバイスにより構成されており、ＴＦＴ液晶の場合にあっては、不図示のバックライトを光源とした光が各色のフィルタを経由して照射されることとなる。一方、有機ＥＬデバイスの場合には、自発光であるためバックライトは不要となる。ＨＭＤ装着者に提示されるカラー画像は、表示パネル６０１上に形成される。
【００５７】
６０２は、小型の表示パネル６０１からの光線を拡大し瞳に導くための自由曲面プリズムである。自由曲面プリズムの場合、単なるレンズを用いた場合と比べて、表示パネル６０１の薄型、小型化を実現することができる。
【００５８】
６０３は、表示パネルで形成した画像の結像点である。この結像位置に瞳を配置させることで、ＨＭＤ装着者は、表示パネル６０１の画像を、拡大された大画面の表示画像として観察することができる。
【００５９】
一般に表示光学系で生じる各種収差は複数のレンズ群によってその影響を抑えることができるが、小型のＨＭＤの実現には表示光学系の簡略化および小型・軽量化が欠かせない。そのため、上述したように、ＨＭＤ２０１では、各種収差を電子的に補正することとしている。
【００６０】
＜７．表示系収差補正部の機能構成＞
次に、ＨＭＤ２０１の表示系収差補正部２０７の機能構成について説明する。図７は、表示系収差補正部２０７の機能構成を示すブロック図である。図７において、７０１は、ＲＧＢの色成分を持つ画素からなる画像データを格納するバッファである。７０２は、バッファ７０１に格納された画像を読み出し、平滑化対象となる画素を検出し、検出された画素に対して平滑化処理を行う適応的平滑化処理部である。なお、適応的平滑化処理部７０２の詳細については後述する。
【００６１】
７０３は、適応的平滑化処理部７０２より出力された画像について、ＲＧＢの色成分に分離する色分離部である。７０４は収差補正テーブルであり、「注目画素」（処理を実行しようとしている画素）についての変換後の座標値を算出するための補正値を格納する。収差補正テーブル７０４には、容量削減のため、特定色の変換後の座標値と、特定色を除く他色についての、当該特定色を基準とした場合の差分値とが格納されているものとする。なお、収差補正テーブル７０４のテーブル構成および格納されている値についての詳細は後述する。
【００６２】
７０５は、各色の補正値を選択する補正値選択部であり、注目画素の座標値に対応する変換座標を算出するための補正値を収差補正テーブル７０４から読み出す。
【００６３】
７０６は、補正値選択部７０５で選択された補正値に基づいて、注目画素の各色成分の変換後の座標値を算出する座標算出部である。座標算出部７０６では、各種補間式を用いた補間演算によって変換後の座標値を算出する。なお、座標算出部７０６における処理の詳細は後述する。
【００６４】
７０７は、変換後の注目画素の色情報を、該注目画素の近傍の補間位置に再構成する補間処理を行う補間処理部である。ここでは、それぞれＧｒｅｅｎ、Ｒｅｄ、Ｂｌｕｅの各色について補間位置における輝度値を算出する。なお、ここでいう「補間位置」とは表示パネル上の表示画素（格子点上）の位置を指すものとする。入力画像と出力画像の画像サイズの変換、すなわち解像度変換を行う場合には、補間処理部７０７において併せて当該処理を実施するものとする。なお、補間処理部７０７における処理の詳細は後述する。
【００６５】
７０８は、補間処理後の各色の画像に対して、適応的平滑化処理部７０２における平滑化処理によって鈍った白色細線を先鋭化する適応的先鋭化処理部である。適応的先鋭化処理部７０８では、平滑化対象となった画素か否かの判断を行い、平滑化対象となった画素であると判断された画素に対して、先鋭化処理を行う。なお、適応的先鋭化処理部７０８における先鋭化処理の概要については後述する。
【００６６】
７０９は、それぞれの色成分毎に求められた新たな輝度値をもとに、表示画素における各色成分の輝度値を結合する色結合部である。色結合部７０９では、例えば、各色８ビットの入力データが存在する場合、変換後の画素を結合することにより、各色８ビットの入力に対して、合計２４ビットの画素データを出力する。
【００６７】
なお、図７では不図示であるが、表示系収差補正部２０７には、入力された画像データを、収差補正処理が可能な画像フォーマットに変換する前処理部が備えられていてもよい。画像フォーマット変換としては、例えば、入力画像の各画素の画素情報が、座標値と輝度値と色差値とで構成される場合にあっては、当該画素情報を座標値と輝度値と各色成分（例えばＲＧＢの各色）とに構成し直す処理を行う。また、画像の色味の補正や輝度値の調整、および、その後の画像フォーマットへの変換等を行う後処理部が、必要に応じて表示系収差補正部２０７に追加されてもよい。
【００６８】
以上の機能構成のもと、表示系収差補正部２０７では、入力されたＲＧＢの各プレーン画像に対して、適応的平滑化処理部７０２で検出された白色細線への平滑化処理を実施する。そして、平滑化処理された画像に対して、座標変換処理と補間処理とを施すことによって表示光学系の収差を打ち消す補正を行う。更に、収差補正された画像に対して、必要に応じてエッジの先鋭化を実現する先鋭化処理を施し、白色細線のエッジが鈍りを解消する。更に、先鋭化処理された各色画像プレーンを結合し、カラー画像として表示する。
【００６９】
表示系収差補正部２０７ではこのような流れにより処理を行うことで、白色細線に生じる偽色を抑制した画像を表示することが可能となる。なお、偽色抑制の実現において、適応的先鋭化処理部７０８による先鋭化処理は必須の処理ではなく、よりメリハリの効いた好ましい画像の提供を目的とした処理である。
【００７０】
＜８．表示系収差補正部による収差補正処理の流れ＞
次に、表示系収差補正部２０７における収差補正処理の流れについて説明する。図８は、表示系収差補正部２０７における収差補正処理の流れを示すフローチャートである。ステップＳ８０１では、収差補正を行うにあたり前処理を行うか否かを判断する。ここでいう前処理とは、例えば、色収差補正が適用できる画像フォーマットへの変換処理などである。前処理を行う場合にはステップＳ８０２へ進み、行わない場合にはステップＳ８０３へ進む。ステップＳ８０２では、前処理として、色収差補正が適用できる画像フォーマットへの変換処理等を実施する。
【００７１】
ステップＳ８０３では、平滑化対象となる白色細線を検出し、検出された白色細線に対する平滑化処理を実施する。なお、適応的平滑化処理の詳細については別フローを用いて後述する。
【００７２】
ステップＳ８０４では、平滑化処理された画像について、ＲＧＢの三原色で構成される各画素の色情報を各色プレーン（色成分）ごとに分離する。なお、ここではＲＧＢの三原色により分離することとしているが、収差補正テーブル自体が他の色成分の位置ずれ量を示す補正値からなる場合には、ＲＧＢ以外の色により分離するように構成してもよい（例えば補色系のＣＭＹＫ等）。
【００７３】
ステップＳ８０５では、各画素の色ごとにどの位置に結像点がずれるのか、あるいは、理想的な結像点へ導くためには、どこに画素を配置すれば良いのか、を示す変換後の座標値を算出する。なお、座標変換処理の詳細については別フローを用いて後述する。
【００７４】
ステップＳ８０６では、ステップＳ８０５で得られた座標変換された注目画素の画素情報と参照画素の画素情報とに基づいて、新たな構成位置（「補間位置」）において、各色成分の輝度値を再構成する補間処理を行う。なお、「参照画素」とは、座標変換された注目画素が、表示パネル上の表示位置（格子点上）にない画素（つまり、補間処理が必要な「補間画素」）であった場合に、当該補間画素の近傍にある画素であって、表示パネル上の表示位置にある画素を指すものとする。つまり、補間画素の各色成分の輝度値は、参照画素の位置において（補間位置において）、再構成されることとなる。なお、補間処理の詳細についても別フローを用いて後述する。
【００７５】
ステップＳ８０７では、補間処理が行われた画像のうち、平滑化処理によって鈍った白色細線を先鋭化すべく、平滑化対象となった画素を対象として先鋭化処理を実施する。具体的には、平滑化対象となった画素を対象として、後述するラプラシアンフィルタなどのフィルタによるマトリクス演算を行う。なお、白色細線の検出処理は、座標変換処理前の画像に対して行われているため、座標変換処理後の画像における平滑化対象となった画素か否かの判断は、白色細線の検出処理結果と座標変換処理に用いた補正値とに基づいて行われるものとする。
【００７６】
ステップＳ８０８では、色成分毎に座標変換処理、補間処理を行った各画素の色情報に基づいて、新たな画素の色情報を再結合する色結合処理を実施する。
【００７７】
ステップＳ８０７では、収差補正処理後に、色補正や画像フォーマット変換等の後処理を行うか否かを判断する。後処理を行うと判断した場合にはステップＳ８１０へ進み、行わないと判断した場合には収差補正処理を終了する。ステップＳ８１０では、収差補正処理された画像に対して後処理を実施する。
【００７８】
＜９．適応的平滑化処理及び適応的先鋭化処理についての説明＞
次に、表示系収差補正部２０７において実行される適応的平滑化処理（ステップＳ８０３）及び適応的先鋭化処理（ステップＳ８０７）の詳細について説明する。
【００７９】
＜９．１ 適応的平滑化処理部及び適応的先鋭化処理部の機能構成＞
はじめに、適応的平滑化処理を実行する適応的平滑化処理部７０２及び適応的先鋭化処理を実行する適応的先鋭化処理部７０８の機能構成について説明する。図９は、適応的平滑化処理部７０２の機能ブロック図である。
【００８０】
図９において、９０１は、表示される画像中に含まれる白色細線を検出する白色細線検出部である。表示画像を格納しているバッファ７０１から白色細線検出に必要な領域を読みだし、後述する参照マトリクスを用いて、注目画素が白色細線を形成する画素の一部であるか否かを判断する白色細線検出処理を実施する。検出結果は後段の適応的先鋭化処理（ステップＳ８０３）において使用される。なお、白色細線検出処理の詳細は後述する。
【００８１】
９０２は、タイミング調整用のバッファである。９０３は平滑化を実施する平滑化フィルタである。平滑化フィルタ９０３は、Ｍ行×Ｎ列のマトリクスにより構成されており、当該平滑化フィルタ９０３により、注目画素に対して指定された係数による重み付けが行われることにより、平滑化処理が実現される。
【００８２】
９０４は、平滑化処理を制御する制御部である。平滑化の度合いを平滑化フィルタの形状、サイズ、係数を変更することによって制御する。
【００８３】
９０５は、白色細線の検出結果に基づき、平滑化フィルタ９０３からの出力（平滑化処理された画素）とタイミング調整用バッファ９０２からの出力（平滑化処理がされていない画素）とを選択するセレクタである。
【００８４】
一方、適応的先鋭化処理部７０８も、適応的平滑化処理部７０２と基本的に同様の機能構成を有する。ただし、適応的先鋭化処理部７０８では、平滑化フィルタ９０３の代わりに、先鋭化フィルタが用いられる。また、先鋭化フィルタによる先鋭化対象となる画素は、適応的平滑化処理部７０２より送信された白色細線の検出結果と座標変換処理に用いた補正値とにより導き出される画素である。
【００８５】
＜９．２ 適応的平滑化処理及び適応的先鋭化処理において用いられるマトリックス＞
次に、適応的平滑化処理及び適応的先鋭化処理において用いられるマトリックスについて説明する。図１０は、適応的平滑化処理で使用される参照マトリクス及び平滑化フィルタ、及び、適応的先鋭化処理で使用される先鋭化フィルタの構成を示した図である。
【００８６】
図１０（ａ）は、白色細線検出用の参照マトリクスの一例を示している。ここでは参照マトリクスを３行×５列のマトリクスとして示しているが、参照マトリクスは、このサイズに限られるものではない。白色細線検出部９０１では、参照マトリクス中央の注目画素が白色細線の一部を構成する白色細線画素であるのか、白色細線を構成しない非該当画素であるのかを、当該参照マトリクス内の画素の値に基づいて判断する。つまり、「白色細線画素」とは、平滑化処理の対象となる画素（及び先鋭化処理の対象となる画素）を指す。
【００８７】
なお、白色細線が３画素の幅で構成されている場合、白色細線の外側の画素が白色画素ではないことを判断するためには、３画素より広い領域を参照する必要がある。つまり、上記参照マトリクスの場合、縦線では３画素の幅まで、横線では１画素の幅まで検出することが可能である。参照マトリクスのサイズ及び形状は検出したい白色細線の線幅によって、制御部９０４によって任意に変更されるものとする。
【００８８】
図１０（ｂ）は、平滑化フィルタ９０３のマトリクスの一例を示している。図１０（ｂ）に示すマトリクスによれば、注目画素の輝度値を２倍した値とその周囲８画素の輝度値との和を１０で割った値を新たに注目画素の輝度値とする平滑化処理が行われる。なお、ここで示したフィルタ係数（重み付け係数）は一例であり、この値に限られるものではない。より平滑化の効果を強めたい場合には、注目画素の重み付け係数の値を周囲の係数と比べて相対的に小さくすればよい。逆に平滑化の効果を弱めたい場合には、注目画素の重み付け係数の値を周囲の係数と比べて相対的に大きくすればよい。また、参照マトリクスのサイズを大きくすることで平滑化の度合いを強めることも可能である。さらには、新たに算出された平滑化処理後の輝度値が元の輝度値と比べてある閾値以上の差がない場合には、元の輝度値を採用するといった処理が加えられてもよい。
【００８９】
図１０（ｃ）は、先鋭化フィルタのマトリクスの一例を示している。図１０（ｃ）に示すマトリクスによれば、注目画素の輝度値を１０倍した値からその周囲８画素の輝度値の和を引いた値を２で割った値を、新たに注目画素の輝度値とする先鋭化処理が行われる。なお、ここで示したフィルタ係数（重み付け係数）は一例であり、この値に限られるものではない。例えば、ラプラシアンフィルタのように、注目画素の対角画素のみを参照するようにしてもよい。
【００９０】
＜９．３ 適応的平滑化処理における白色細線検出処理の流れ＞
次に、適応的平滑化処理（ステップＳ８０３）における白色細線検出処理の流れについて説明する。図１１は、白色細線検出処理の流れを示すフローチャートである。上述した参照マトリクスを利用して、注目画素が白色細線の一部を構成する白色細線画素であるか否かを判断する。
【００９１】
ステップＳ１１０１では、参照マトリクス内の各画素の輝度値を取得する。ステップＳ１１０２では、参照マトリクス内の注目画素が白色であるのか否かを判断する。白色であるか否かの判断は、ＲＧＢの各輝度値がそれぞれ任意の閾値以上であるか否かを判断することによって行う。例えば、各色８ビットデータの場合、１９２以上の値を各色成分が持っていれば白色と判断する。注目画素が白色であると判断された場合には、ステップＳ１１０３へ進み、注目画素が白色でないと判断された場合にはステップＳ１１０６へ進む。
【００９２】
ステップＳ１１０３では、参照マトリクス内の注目画素以外の画素に、注目画素と同一の輝度値を持つ画素が存在するか否かを判断する。これは、注目画素が白色細線の一部を構成する画素であるなら、マトリクス内に同一またはほぼ同一の輝度値を持つ画素が存在するはずだからである。同一輝度値を持つ画素が存在すると判断された場合にはステップＳ１１０４へ、存在しない、すなわち注目画素が白色の孤立画素であると判断された場合にはステップＳ１１０６へ進む。
【００９３】
ステップＳ１１０４では、参照マトリクス内に任意の閾値以下の値を持つ輝度値の低い画素が存在するか否かを判断する。例えば、各色８ビットデータの場合、各色成分が９６より小さい輝度値を持っているのであれば、白色細線とその周辺とでコントラストの差が大きいと判断することができる。コントラストが大きい場合、収差補正による補間処理時に偽色が目立ちやすくなることから、平滑化処理が必要であると判断することができる。逆に白色細線の外周（背景部分）の輝度値が相対的に大きい場合には、補間処理時の偽色が目立ちにくい。このため、平滑化処理が不要と判断することができる。そこで、任意の閾値以下の輝度値を持つ画素が存在する場合にはステップＳ１１０５へ進み、存在しない場合にはステップＳ１１０６へ進む。
【００９４】
ステップＳ１１０５では、ステップＳ１１０２からステップＳ１１０４までの条件を満たしていることを受けて、注目画素が白色細線の一部を構成する白色細線画素（平滑化対象となる画素）であると判断し、白色細線検出処理を終了する。
【００９５】
一方、ステップＳ１１０６では、ステップＳ１１０２からステップＳ１１０４までの条件の何れかを満たしていないことを受けて、平滑化対象とならない非該当画素であると判断し、白色細線検出処理を終了する。
【００９６】
＜９．４ 適応的平滑化処理における平滑化処理の流れ＞
次に、適応的平滑化処理（ステップＳ８０３）における平滑化処理の流れについて説明する。図１２は、平滑化処理の流れを示すフローチャートである。ステップＳ１２０１では、平滑化処理におけるフィルタ演算の際の平滑化フィルタ９０３のマトリクス内の各画素の輝度値を取得する。
【００９７】
ステップＳ１２０２では、図１１のフローチャートで説明した白色細線検出処理の検出結果を把握する。ステップＳ１２０３では、平滑化フィルタ９０３のマトリクス内に白色細線の一部を構成する白色細線画素が存在するか否かを判断する。存在する場合にはステップＳ１２０４へ進み、存在しない場合には平滑化処理を終了する。
【００９８】
ステップＳ１２０４では、平滑化フィルタ９０３のマトリクス内に白色細線の一部を構成する白色細線画素が含まれることを受けて、フィルタ演算を実施する。
【００９９】
＜１０．座標変換処理及び補間処理についての説明＞
次に、表示系収差補正部２０７において実行される座標変換処理（ステップＳ８０５）及び補間処理（ステップＳ８０６）について説明する。
【０１００】
＜１０．１ 収差補正テーブルの説明＞
はじめに、座標変換処理に用いられる収差補正テーブル７０４について説明する。図１３は、収差補正テーブル７０４の一例を示す図である。図１３に示すように、収差補正テーブル７０４には、特定の画素の変換前座標と、変換後座標（または変換後座標との差分値）とが格納されている。注目画素に基づいて特定の画素のＸ−Ｙ座標を指定することで、基準色（本実施形態ではＧ）は変換後座標を、基準色以外の他色（ＲとＢ）については基準色についての変換後座標との差分値を得ることができる。つまり、Ｒの変換後座標は、格納されている差分値１３０１（Ｇｘ―Ｒｘ）とＧの変換後座標Ｇｘとから求めることができる。また、Ｂの変換後座標は、格納されている差分値１３０２（Ｂｘ―Ｇｘ）と、Ｇの変換後座標Ｇｘとから求めることができる。
【０１０１】
なお、本実施形態では座標変換前の座標についても収差補正テーブルとして構成することとしたが、本発明はこれに限定されず、座標変換前の座標をメモリアクセス時のアドレスと対応づけるようにしてもよい。このように構成することにより、変換前座標をメモリ領域内に確保する必要がなくなり、メモリサイズをさらに削減することが可能となる。
【０１０２】
＜１０．２ 座標変換処理の流れ＞
図１４は、座標変換処理の流れを示すフローチャートである。二次元の座標系における表示中心座標（ｘ０，ｙ０）を原点としてレンズの歪曲収差情報、色収差情報および解像度情報に基づいて、二次元座標系における各画素における位置ずれ量を求める。そして、該位置ずれ量に基づいてｘ軸方向、ｙ軸方向に各画素を座標変換する。
【０１０３】
なお、本実施形態では収差補正テーブルのサイズを削減するため、変換前座標と変換後座標との関係は、画像内の画素すべてに対して保持するのではなく、サンプリングされた代表点のみを持ち、間の画素については補間演算によって求めるものとする。
【０１０４】
ステップＳ１４０１では、注目画素の座標を指定する。ステップＳ１４０２では、注目画素に対応する収差補正テーブル内の特定の画素の座標を指定する。ここでは注目画素に対応する収差補正テーブル内の特定の画素の座標の指定を、ステップＳ１４０１の後に行うこととしているが、本発明はこれに限定されない。例えば、ステップＳ１４０１の前に行うよう、ステップＳ１４０１とＳ１４０２の順番を入れ替えるようにしてもよい。
【０１０５】
ステップＳ１４０３では、注目画素の座標変換後の座標値を得るために必要な補正値を収差補正テーブルから取得する。ステップＳ１４０４では、ステップＳ１４０３において収差補正テーブルより取得された補正値を用いて、注目画素についての変換後の座標値を取得する。具体的には、歪曲収差であれば画素の位置ずれ量、また、色収差であれば各色成分の変換後の座標を算出するための色成分ごとの位置ずれ量を用いて、注目画素についての変換後の座標値を取得する。なお、格納されている収差補正テーブルで示される変換前座標はサンプリングされた代表値のため、その間の値は補間演算によって求めることとする。この補間演算には、線形補間の他、三次の補間曲線や補間曲面およびスプライン曲線や近似多項式などを用いるものとするが、特にそのような補間式に限定されるものではない。
【０１０６】
ステップＳ１４０５では、全画素に対して上記座標変換処理を実行したかどうかを判断する。全画素に対して処理が終了したと判断された場合には、座標変換処理を終了する。一方、全画素に対して上記座標変換処理を実行していないと判断された場合には、ステップＳ１４０１に戻り、対応する画素の収差を補正するための座標変換処理を継続する。
【０１０７】
＜１０．３ 補間処理の概要＞
次に補間処理について説明する。はじめに補間処理の概要について説明する。図１５は、三次補間処理の概念を示す模式図である。収差補正における補間処理では、座標変換後の注目画素の色情報を補間位置に再構成する補間処理として、三次補間式を使用することで画像の高画質化を実現している。ここでは一般的な三次補間処理の概念について説明する。なお、補間処理は線形補間を用いても、あるいは、より高次の補間式を用いてもよい。
【０１０８】
座標変換した注目画素の画素位置と各色成分の輝度値とに基づいて、二次元座標系における補間位置の画素情報（ＲＧＢの各輝度値）を補間演算によって求めるのが補間処理である。図１５の例では、補間演算において補間画素１５０１のｘ座標ｓｘとｙ座標ｓｙとを指定し、まず参照画素と補間画素との間の正規化された距離ｐｘとｐｙを求める。そして、求めた距離ｐｘとｐｙを用いて、ｘとｙの各座標について重み係数を求める。求める際に使用する三次関数が上記各三次式による補間曲線となり、バイキュービックであれば式（１）および式（２）が、ラグランジュであれば（３）および（４）が該当する三次補間式となる。
【０１０９】
バイキュービック補間曲線（周囲１６点から双三次補間）
【０１１０】
【数１】
【０１１１】
ラグランジュ補間曲線（周囲１６点から双三次補間）
【０１１２】
【数２】
【０１１３】
ｘ、ｙそれぞれの座標に対して上記三次補間式にｐｘとｐｙの値を代入することで、参照画素の重み係数を算出する。なお、ｐｘとｐｙは正規化されているものとする。通常の解像度変換であれば格子が正方形で一定の値となるが、座標変換によって変換された各補間画素は正方形を構成しないため、ここでは参照画素の間隔を１として正規化を行っている。以後は説明を簡略化するため、参照画素は正規化された軸上に存在するものとする。
【０１１４】
図１５では補間画素１５０１の周囲の点線で囲まれた部分が正規化された１の領域となる。すなわちｙとｙ＋１の軸およびｘとｘ＋１の軸上に存在する４つの参照画素と補間画素との距離ｐｘ、ｐｙはともに１よりも小さくなる。逆にその周りの１２画素は１と２との間の値をとる。最近傍４画素の重み係数の演算の際に使用する三次補間式は、バイキュービックであれば（１）に、ラグランジュであれば（３）となる。外周１２画素の重み係数の演算の際に使用する三次補間式は、バイキュービックであれば（２）に、ラグランジュであれば（４）となる。これらの重み係数をｘ方向、ｙ方向それぞれに求めた後、参照画素の輝度値とこれらｘとｙの重み係数とを掛け合わせ、周辺１６画素の輝度値に加算した値が補間位置における新たな輝度値となる。
【０１１５】
なお、実際の処理では、最近傍４画素すべてが正規化された格子内または格子上に存在するわけではなく、逆に周辺１２画素が正規化された１以上の値をとるとは限られず、いずれも収差補正量によって変化する。
【０１１６】
＜１０．４ 補間処理の流れ＞
次に補間処理の流れについて説明する。図１６は、補間処理の流れを示すフローチャートである。ここでは上記三次補間式を使用した補間処理について説明する。
【０１１７】
ステップＳ１６０１では、新たに補間を行う補間画素の位置について、座標の指定を行う。ステップ１６０２では、補間画素の近傍１６点の参照画素を指定する。
【０１１８】
ステップＳ１６０３では、参照画素である近傍１６画素のそれぞれの座標を取得する。この座標は正規化された値である。ステップＳ１６０４では、補間画素と各参照画素との距離を算出する。なお、当該距離は代表点の間隔で正規化された値として準備する。なお、本実施形態では、二次元空間を対象としているため、ｘ座標、ｙ座標それぞれの値を求める。
【０１１９】
ステップＳ１６０５では、補間曲線または補間直線にステップＳ１６０４で算出した距離を代入することで各参照画素の重み係数を求める。ここでは三次補間式の採用を想定しているが、線形補間（バイリニア）アルゴリズムを採用しても構わない。ステップＳ１６０６では、各参照画素の値とｘ、ｙ座標における重み係数の積とを加算し、補間位置の輝度値を演算する。
【０１２０】
ステップＳ１６０７では、全画素に対して上記処理を実行したか否かを判断する。全画素に対して上記処理を実行したと判断された場合には補間処理を終了する。一方、上記処理を実行していない画素があると判断された場合には、ステップＳ１６０１に戻り、当該画素について上記処理を実行する。
【０１２１】
＜１１．表示系収差補間部による収差補正処理の効果＞
次に、表示系収差補正部２０７における収差補正処理による偽色発生抑制の効果について説明する。なお、説明に際しては、はじめに、画像に含まれる白色細線を収差補正処理した場合の、偽色発生のメカニズムについて説明する。
【０１２２】
図１７Ａ、図１７Ｂは、偽色発生のメカニズムと表示系収差補正部２０７における収差補正処理による偽色発生抑制の効果を説明するための模式図である。ここでは、説明を簡略化するため、線幅が一画素で構成される白色細線について説明する。なお、線幅が複数画素で構成される場合においても同様のメカニズムに従って偽色が発生するため、表示系収差補正部２０７における収差補正処理による偽色発生抑制の効果についての説明は同様である。
【０１２３】
図１７Ａの（ａ）は、収差補正前の白色細線の例を、図１７Ａの（ｂ）は、収差補正を実現する補間処理によって再現された白色細線の例を示している。図１７Ａの（ｂ）は単色（Ｒ、Ｇ、Ｂの何れか）の線を示している。図１７Ａの（ｃ）は、図１７Ａの（ｂ）で示される単色の白色細線が各色重なることで発生する偽色のパターンの例を示している。
【０１２４】
図１７Ｂの（ｄ）は、表示系収差補正部２０７において、平滑化処理を適用した収差補正前の白色細線の例を、図１７Ｂの（ｅ）は、平滑化処理が適用された後の補間処理によって再現された白色細線の例を示している。また、図１７Ｂの（ｆ）は、図１７Ｂの（ｅ）で示される単色の白色細線が各色重なっても偽色の発生が抑制されるパターンを示している。更に、図１７Ｂの（ｇ）は、図１７Ｂの（ｅ）に対して先鋭化処理を適用した場合の単色の白色細線の例を示している。
【０１２５】
色収差の補正においては、画像を構成するＲＧＢ各色の単色画像プレーン毎に、座標変換処理と補間処理とを行っている。偽色は、補間処理された画素が複数の画素で表現される場合と単画素で表現される場合とで、局所的な輝度差が生じることに起因して発生する。
【０１２６】
図１７Ａの（ａ）は、収差補正前の原画像中の白色細線の例である。ここでは、単一の輝度でかつ、単画素によって白色細線が構成されているものとする。
【０１２７】
図１７Ａの（ｂ）は、図１７Ａの（ａ）で示される白色細線に対して、座標変換処理及び補間処理を行うことにより再現された白色細線を示している。収差の影響をキャンセルする逆補正を適用したため、直線が曲線や斜め線として再構成される。補間処理により再構成された線は、（ｂ）に示すように単一画素で構成される箇所と複数画素で構成される箇所とが交互に繰り返されることとなる。
【０１２８】
ここで、単一画素で構成される場合と、複数画素で構成される場合とでは、全体的な輝度値は保存されるものの、局所的には画素毎に輝度値が異なることとなる。つまり、原画像では一様な白色細線を表現していても、補間処理後の画像では、輝度値の強弱が生じ、ユーザが視認する表示画像上では輝度ムラとなってあらわれることになる。収差補正時の画素の構成に一般的な補間処理を適用した場合、このような輝度ムラが発生する。
【０１２９】
補間処理を適用した画像では、単一画素で表現されることは稀であるが、複数の画素によって構成される際にも、一つの画素の値が大きく、表示される複数の輝度値に対して支配的な場合には、その画素を単一画素と見なすことができる。
【０１３０】
図１７Ａの（ｃ）は、収差補正を適用して表示光学系により白色細線を再構成した場合に生じる偽色パターンの例を示しており、白色細線上にＲＧＢの各色が周期的に現れることを示している。
【０１３１】
更に、図１７Ａの（ａ）の白色細線に対して収差補正を行った場合、ＲＧＢの色成分毎に座標変換処理と補間処理とによって画素を生成するため、図１７Ａの（ｂ）で示したようにＲＧＢ各色の白色細線がそれぞれに固有の輝度ムラを持つこととなる。これらの各色細線を結合・合成して白色細線を再構成すると、更に、色毎の強弱（輝度ムラ）がずれることで、周期的な偽色が白色細線上に現れることとなる。例えば、白色細線上のある一点において、ＲとＧが複数の画素で構成され、Ｂが単画素で構成されていた場合、輝度値を比較すると、Ｂの輝度がＲとＧと比べて高いため、合成された画素には、白色細線上にＢの色が強く現れることになる。
【０１３２】
このような偽色の発生は、補間処理を行った画像において生じるものであり、表示光学系の収差補正の量には関係なく発生し、また、画像の外周部のみならず中央部においても発生する。
【０１３３】
一方、図１７Ｂの（ｄ）は、収差補正前の原画像中の白色細線に平滑化処理を適用した例を示している。単一の輝度でかつ、単画素によって線が構成されている白色細線が、平滑化処理によって元の白色細線部分の輝度値が低下し、白色細線に隣接する画素にも輝度値が振り分けられることとなる。
【０１３４】
図１７Ｂの（ｅ）は、補間処理された単色の白色細線の例を示している。偽色は、補間処理によって再構成された白色細線上の局所的な画素の値の強弱に起因して発生するため、この画素値の強弱を低減させることにより、偽色の発生を目立たなくすることが可能である。
【０１３５】
つまり、平滑化フィルタによる平滑化処理を適用し、単一画素で表現される画素の輝度値を下げると共に、白色細線の周辺画素へも輝度値を分配することで、全体的な輝度値を保存しつつ、各色の輝度ムラを低減させることが可能となる。この結果、結合・合成された白色細線においても偽色の発生が抑制されることとなる。なお、本実施形態における平滑化処理は、色毎に独立して適用されるものとする。
【０１３６】
図１７Ｂの（ｆ）は、単色の白色細線が各色成分が重なっても偽色の発生が抑制されるパターンを示している。色成分毎に平滑化処理を適用して白色細線を再構成した場合、白色細線の最高輝度値は多少低下するものの、輝度ムラの発生が抑えられた偽色の少ない白色細線を表示画像として生成することが可能となる。
【０１３７】
なお、平滑化対象となる白色細線画素の検出に際しては、注目画素が白色であって、かつ、当該白色である画素に隣接する画素が低輝度の画素のみを白色細線画素とした。つまり、注目画素が白色であっても、隣接する画素の輝度値が比較的大きな値の場合には、非該当画素とした。これは、注目画素に隣接する画素の輝度値が比較的大きな値の場合、偽色の発生が目立たないからである。
【０１３８】
このような平滑化対象となる白色細線画素は、一般的には自然画像に存在しない画像要素であって、ＭＲやＶＲ用途で人為的に生成されたＣＧ画像やアノテーション目的に挿入された文字やアイコンを表示した画像に含まれる。また、細線が白色ではない場合、例えば緑色や赤色の線であれば周期的な輝度ムラは生じるものの偽色は発生しないため、非該当画素とした。
【０１３９】
図１７Ｂの（ｇ）は、平滑化処理が適用された白色細線に対して、先鋭化処理を施した例を示している。平滑化処理の適用のみでは全体的な輝度はほぼ保存されるものの、人間の目にはエッジ部分が鈍った線として見える。そこで、白色細線を構成する画素に対して、先鋭化処理を適用し、下がった輝度値を上げることで、線自体は太く視認されるものの、白色が白色として視認される先鋭度の高い白色細線を表示画像として提供することが可能となる。
【０１４０】
以上説明してきたように、本実施形態では、表示光学系によって生じる色収差を信号処理によって補正する際に、注目画素が、表示画像に含まれる白色細線画素であるか否かを判断する構成とした。そして、白色細線画素と判断された注目画素について、補間処理前に平滑化処理を行う構成とした。これにより、補間処理時に生じる偽色の発生を抑制することが可能となった。
【０１４１】
更に、本実施形態では、平滑化対象となった画素に対して、先鋭化処理を適用し、白色細線の先鋭度を上げる構成とした。これにより、エッジの保存された視認性の高い白色細線を表示させることが可能となった。
【０１４２】
このように、本実施形態では、白色細線検出処理、平滑化処理および先鋭化処理という比較的処理負荷の小さな処理を組み合わせによって表示画質の向上を実現した。このため高画質化と処理の高速化および装置の小型化が実現されうるバランスの取れた色収差補正機能を提供することが可能となる。
【０１４３】
［第２の実施形態］
本発明の第２の実施形態について説明する。本実施形態にかかる画像処理方法は、第１の実施形態に係る画像処理方法が、白色細線画素と判断されたすべての画素に対して平滑化処理を適用していたのに対して、白色細線画素の中央部を除く外周画素に対してのみ、平滑化処理を適用する点に特徴がある。当該画像処理方法の場合、白色細線の線幅が２画素以内であれば効果は変わらないが、３画素以上の線幅を持つ場合、白色細線の中央部の輝度値が低下することを抑制することができるという効果がある。以下、当該点を中心に本実施形態に係る画像処理方法について説明する。
【０１４４】
＜１．適応的平滑化処理における白色細線検出処理の流れ＞
図１８は、適応的平滑化処理における白色細線検出処理の流れを示すフローチャートである。ステップＳ１８０１では、参照マトリクス内の各画素の輝度値を取得する。ステップＳ１８０２では、注目画素が白色であるか否かを判断する。なお、当該処理内容は図１１のステップＳ１１０２と同様である。注目画素が白色である場合には、ステップＳ１８０３へ進み、注目画素が白色でない場合にはステップＳ１８０８へ進む。
【０１４５】
ステップＳ１８０３では、参照マトリクス内の注目画素以外の画素に、注目画素と同一の輝度値を持つ画素が存在するか否かを判断する。なお、当該処理内容は、図１１のステップＳ１１０３と同様である。同一輝度値を持つ画素が存在すると判断された場合にはステップＳ１８０４へ進み、存在しない、すなわち注目画素が孤立画素であると判断された場合はステップＳ１８０８へ進む。
【０１４６】
ステップＳ１８０４では、参照マトリクス内に任意の閾値以下の輝度値の低い画素が存在するか否かを判断する。この処理内容は、図１１のステップＳ１１０４と同様である。任意の閾値以下の輝度値を持つ画素が存在する場合には、ステップＳ１８０５へ進み、存在しない場合にはステップＳ１８０８へ進む。
【０１４７】
ステップＳ１８０５では、注目画素の外周画素も白色であるか否かを判断する。注目画素のみならず、その外周画素も白色である場合には、該注目画素が白色細線の中央部に位置する画素であると判断することができる。外周画素も白色であると判断された場合には、ステップＳ１８０６へ進み、一部でも白色でない画素が含まれる場合には、ステップＳ１８０７へ進む。
【０１４８】
ステップＳ１８０６では、注目画素が白色細線の一部を構成する画素であって、かつ、白色細線の外周部に位置しない中央部の画素（平滑化対象とならない「白色細線中央画素」）であると判断し、処理を終了する。
【０１４９】
ステップＳ１８０７では、注目画素が白色細線の外周部にあたる画素（平滑化処理の対象となる「白色細線外周画素」）であると判断し処理を終了する。
【０１５０】
ステップＳ１８０８では、ステップＳ１８０２からステップＳ１８０４までの条件の何れかを満たしていないことから、平滑化対象とならない非該当画素であると判断し処理を終了する。
【０１５１】
＜２．適応的平滑化処理における平滑化処理の流れ＞
次に、適応的平滑化処理における平滑化処理の流れについて説明する。図１９は、適応的平滑化処理における平滑化処理の流れを示すフローチャートである。ステップＳ１９０１及びステップＳ１９０２における処理内容は、図１２のステップＳ１２０１及びステップＳ１２０２における処理内容と同様であるため、ここでは説明を省略する。
【０１５２】
ステップＳ１９０３では、注目画素が白色細線を構成する画素の一部で、かつ、非該当画素と隣接する白色細線の外周画素であるか（つまり、平滑化処理の対象となる白色細線外周画素であるか）否かを判断する。白色細線外周画素であると判断された場合には、ステップＳ１９０４へ進み、白色細線外周画素でないと判断された場合（つまり、白色細線中央画素または非該当画素であると判断された場合）には処理を終了する。
【０１５３】
ステップＳ１９０４では、上述したフィルタ演算を実施することで、注目画素を平滑化し、処理を終了する。
【０１５４】
このように、第１の実施形態では平滑化処理と先鋭化処理とを組み合わせて白色細線を再構成していたのに対して、本実施形態によれば、白色細線外周画素のみに平滑化処理を適用することで、先鋭化処理を行わない構成とすることが可能となる。この場合、先鋭度は多少落ちるものの、上記第１の実施形態と同様、白色細線の輝度値（白色細線の中央部のピークの輝度値）を保持したまま、偽色発生を抑制することが可能となる。
【０１５５】
なお、本実施形態の場合、適用可能な白色細線の幅は限られるが、適応的先鋭化処理を省くことができるため、第１の実施形態に比べ、処理負荷を低減させることが可能となる。なお、線幅に合わせて第１の実施形態で説明した画像処理方法と本実施形態で説明した画像処理方法とを組み合わせるように構成してもよい。
【０１５６】
［第３の実施形態］
本発明の第３の実施形態について説明する。上記第１の実施形態では平滑化処理とその後の補間処理とを別プロセスとして実現していた。これに対して、本実施形態に係る画像処理方法では、平滑化対象となる白色細線画素について補間処理を行う際に、平滑化効果の高い補間曲線を採用する構成とし、同一プロセス上で画素の平滑化と補間とを実現している点に特徴がある。以下、この点を中心に本実施形態に係る画像処理方法について詳細に説明する。
【０１５７】
＜１．表示系収差補正部の機能構成＞
はじめに、本実施形態に係る画像処理方法を実現する表示系収差補正部について説明する。図２０は、本実施形態に係る画像処理方法を実現する表示系収差補正部２０００の機能構成を示すブロック図である。図２０に示す、バッファ２００１、色分離部２００３、収差補正テーブル２００４、補正値選択部２００５は、上記第１の実施形態において図７を用いて説明した対応する各機能ブロックと同じである。また、図２０に示す、座標算出部２００６、適応的先鋭化処理部２００８、および色結合部２００９の各機能ブロックについても、上記第１の実施形態において図７を用いて説明した対応する各機能ブロックと同じである。このため、ここではこれらの機能ブロックについての説明は省略する。
【０１５８】
２００２は、表示画像中に含まれる白色細線を検出する白色細線検出部である。白色細線検出部２００２では、表示画像を格納しているバッファ２００１から白色細線検出に必要な領域を読みだし、前述した参照マトリクスを用いて、注目画素が白色細線の一部を構成する白色細線画素であるか否かを判断する。
【０１５９】
２００７は、変換後の注目画素の色情報を注目画素近傍の補間位置に再構成する補間処理を行う適応的補間処理部である。適応的補間処理部２００７では、白色細線検出部２００２における検出結果に基づき、注目画素が白色細線画素である場合には、補間式として平滑化効果の高いものを選択したうえで、補間処理を実施する。なお、補間処理の詳細については後述する。
【０１６０】
以上の構成により、偽色の発生を抑制する平滑化の効果が、補間処理の段階で実現されることとなり、表示系収差補正部２０００を実現するための処理回路の規模を縮小することが可能となる。
【０１６１】
＜２．表示系収差補正部による収差補正処理の流れ＞
次に、表示系収差補正部２０００による収差補正処理の流れについて説明する。図２１は、表示系収差補正部２０００による収差補正処理の流れを示すフローチャートである。ステップＳ２１０１、２１０２、２１０４、２１０５、および２１０７から２１１０までの処理内容は、上記第１の実施形態において図８を用いて説明した対応するステップの処理内容と同じであるため、ここでは説明は省略する。
【０１６２】
ステップＳ２１０３では、平滑化効果のある補間処理を行う対象となる画素として、白色細線の一部を構成する白色細線画素を検出する。処理の内容は第１の実施形態において図１１を用いて説明した処理内容とほぼ同じである。なお、上記第１の実施形態における白色細線検出処理では、白色細線を構成する画素の一部であるか、非該当画素であるかを判断していたが、ここでは、当該判断に加えて白色細線に隣接する非該当画素（「白色細線隣接画素」）であるか否かについても判断する。
【０１６３】
ステップＳ２１０６では、ステップＳ２１０５で得られた座標変換された注目画素の画素情報と参照画素の画素情報とに基づいて、新たな構成位置（補間位置）において、各色成分の輝度値を再構成する補間処理を行う。その際、注目画素がステップＳ２１０３で白色細線画素であると判断されていた場合には、平滑化効果を有する補間曲線を適用する。なお、適応的補間処理の詳細については以下に説明する。
【０１６４】
＜３．適応的補間処理についての説明＞
次に、表示系収差補正部２０００において実行される適応的補間処理（ステップＳ２１０６）について説明する。
【０１６５】
＜３．１ 補間曲線の説明＞
はじめに、適応的補間処理（ステップＳ２１０６）において用いられる補間曲線について説明する。図２２は、適応的補間処理（ステップＳ２１０６）において用いられる補間曲線の一例を示す図である。図２２において、２２０１（一点鎖線）は、バイキュービックのフィルタ形状を示す補間曲線である。同様に、２２０２（細い実線）はラグランジェ補間曲線を、２２０３（点線）はバイリニア直線を、２２０４（実線）はＢ−ＳＰＬＩＮＥ曲線（実線）をそれぞれ示している。軸上の数値は画素間隔で正規化した値である。なお、周囲の参照画素と補間画素との関係式であるバイキュービックとラグランジェに関しては上述したとおりである。
【０１６６】
補間処理を実現するフィルタ形状として、線形補間（一次補間）であるバイリニアよりも０と１の間においてより大きな値となる（上側に曲線が位置する）曲線は、先鋭化の効果が高い。一般に線形補間であるバイリニアを使用すると補間画素は周辺４画素の加算平均となるため、エッジ成分が失われた鈍い画像になることが知られている。逆にバイキュービックでは、周辺１６画素に重み付けを行った３次の演算を行い、エッジ成分を残した高画質な画像を得ることができる。
【０１６７】
つまり、先鋭化の効果でいえば、バイキュービック２２０１が最も高く、次いでラグランジェ２２０２、バイリニア２２０３、Ｂ−ＳＰＬＩＮＥ曲線２２０４の順番となる。反対に平滑化の効果でいえば、その順番は逆となる。
【０１６８】
通常の補間処理では高画質化を実現するためバイキュービック２２０１を使用し、平滑化の効果を得たい場合には、平滑化の度合いに応じて図に示した他の補間式、補間曲線・直線を採用する。なお、白色細線を構成する画素の一部と判断された白色細線画素についての補間処理においては、その参照マトリクス内に含まれる白色の画素の数によって平滑化の効果の異なる補間曲線を選択し、補間画素を生成する。
【０１６９】
例えば、参照マトリクス内の補間位置の近傍４画素すべてが白色細線画素である場合には、当該補間画素は白色細線中央画素であることが想定されるため、平滑化効果を有するラグランジェ曲線を選択する。
【０１７０】
＜３．２ 適応的補間処理の流れ＞
次に、適応的補間処理（ステップＳ２１０６）の詳細な処理の流れについて説明する。図２３は、適応的補間処理の詳細な処理の流れを示すフローチャートである。なお、ここでは通常使用の補間曲線としてバイキュービックを用いるものとする。
【０１７１】
ステップＳ２３０１から２３０４までの処理内容は、上記第１の実施形態において図１７を用いて説明した対応するステップの処理内容と同じであるため、ここでは説明は省略する。
【０１７２】
ステップＳ２３０５では、参照マトリクス内に含まれる注目画素が白色細線の一部を構成する白色細線画素であるかどうかを判断し、白色細線検出処理の検出結果を把握する。
【０１７３】
ステップＳ２３０６では、補間位置の近傍４画素に白色細線を構成する白色細線画素が含まれるか否かを判断する。含まれると判断された場合にはステップＳ２３０７に進み、含まれないと判断された場合にはステップＳ２３１０に進む。
【０１７４】
ステップＳ２３０７では、さらに当該近傍４画素内に白色細線隣接画素が含まれるか否かを判断する。含まれると判断された場合にはステップＳ２３０９に進み、含まれないと判断された場合にはステップＳ２３０８に進む。
【０１７５】
ステップＳ２３０８では、平滑化効果を有する補間処理を行う。通常の補間処理が前述したバイキュービックで行われるのに対して、ここでは、例えばラグランジェや線形補間による補間処理を行う。
【０１７６】
ステップＳ２３０９では、強度の平滑化効果を有する補間処理を行う。例えば、前述したＢ−ＳＰＬＩＮＥ曲線による補間処理を行う。
【０１７７】
ステップＳ２３１０では、通常の補間処理を行う。ここでは、バイキュービックによる補間処理を行う。
【０１７８】
ステップＳ２３１１では、全画素に対して上記処理を実行したか否かを判断する。全画素に対して上記処理を実行したと判断された場合には、処理を終了する。上記処理を実行していない画素があると判断された場合には、ステップＳ２３０１に戻り、対応する画素について上記処理を実行する。
【０１７９】
以上の説明から明らかなように、本実施形態では、補間処理時に平滑化効果の高い補間曲線に選択的に切り替える構成とした。これにより、平滑化と補間処理とを同一プロセス上で実現することが可能となった。また、本実施形態のように同一プロセス上で実現する構成とすることで、同じ三次補間式を採用した場合に、係数の変更のみで切り替えが可能となるため、比較的容易に収差補正機能を実現することが可能となる。このため、上記第１及び第２の実施形態と比較して、ハードウェア構成の回路規模を低減させることが可能となる。
【０１８０】
［第４の実施形態］
本発明の第４の実施形態について説明する。上記第３の実施形態では、平滑化処理とその後の補間処理とを同一プロセスで実現する構成とした。これに対して、本実施形態に係る画像処理方法では、白色細線画素に対する補間処理時に、先鋭化効果の高い補間曲線を採用することで、同一プロセス上で先鋭化処理と補間処理とを実現している点に特徴がある。以下、この点を中心に本実施形態に係る画像処理方法について詳細を説明する。
【０１８１】
＜１．表示系収差補正部の機能構成＞
はじめに、本実施形態に係る画像処理方法を実現する表示系収差補正部について説明する。図２４は、本実施形態に係る画像処理方法を実現する表示系収差補正部２４００の機能構成を示すブロック図である。なお、図２４に示す、バッファ２４０１、適応的平滑化処理部２４０２、色分離部２４０３、収差補正テーブル２４０４の処理内容は、上記第１の実施形態において図７を用いて説明した対応する各機能ブロックの処理内容と同じである。また、補正値選択部２４０５、座標算出部２４０６、および色結合部２４０８の各機能ブロックの処理内容についても、上記第１の実施形態において図７を用いて説明した対応する各機能ブロックの処理内容と同じである。したがって、ここでは、これらの機能ブロックについての説明は省略する。
【０１８２】
２４０７は、変換後の注目画素の色情報を注目画素近傍の補間位置に再構成する補間処理を行う適応的補間処理部である。適応的補間処理部２４０７では、白色細線検出部の検出結果に基づき、注目画素が白色細線画素である場合には、補間処理時に採用する補間式として先鋭化効果の高いものを選択したうえで、補間処理を実施する。
【０１８３】
このような構成とすることにより、偽色の発生を抑制する平滑化処理を行ったあとに実現されるべき先鋭化処理が、補間処理の段階で実現されることとなり、表示系収差補正部２４００を実現するための処理回路の規模を縮小することが可能となる。
【０１８４】
＜２．表示系収差補正部による収差補正処理の流れ＞
次に、表示系収差補正部２４００による収差補正処理の流れについて説明する。図２５は、表示系収差補正部２４００による収差補正処理の流れを示すフローチャートである。ステップＳ２５０１から２５０５、および２５０７から２５０９までの処理内容は、上記第１の実施形態において図８を用いて説明した対応するステップの処理内容と同じであるため、ここでは説明は省略する。なお、ステップＳ２５０３における適応的平滑化処理では、上記第３の実施形態の白色細線検出処理で説明した白色細線隣接画素であるか否かの判断も行うものとする。
【０１８５】
ステップＳ２５０６では、ステップＳ２５０５で得られた座標変換された注目画素の画素情報と参照画素の画素情報とに基づいて、新たな構成位置（補間位置）において、各色成分の輝度値を再構成する補間処理を行う。その際、注目画素がステップＳ２５０３で白色細線画素であると判断されていた場合には、先鋭化効果の高い補間曲線を適用する。
【０１８６】
＜３．適応的補間処理についての説明＞
次に、表示系収差補正部２４００において実行される適応的補間処理（ステップＳ２５０６）について説明する。
【０１８７】
＜３．１ 補間曲線の説明＞
はじめに、適応的補間処理（ステップＳ２５０６）において用いられる補間曲線について説明する。図２６は、適応的補間処理（ステップＳ２５０６）において用いられる補間曲線の一例を示す図である。図２６において、２６０１（一点鎖線）は、バイキュービックのフィルタ形状を示す補間曲線である。同様に、２６０２（点線）はバイリニア直線を、２６０３と２６０４（共に実線）は先鋭化効果の高い曲線をそれぞれ示している。軸上の数値は画素間隔で正規化した値であるのは、上記第３の実施形態と同様である。周囲の参照画素と補間画素との関係式であるバイキュービックとラグランジェに関しては上述したとおりである。ここでは先鋭化効果の高い曲線の式を示す。
【０１８８】
中程度の先鋭度を示す先鋭化曲線２６０３
【０１８９】
【数３】
【０１９０】
強度の先鋭度を示す先鋭化曲線２６０４
【０１９１】
【数４】
【０１９２】
なお、ここで示した先鋭化効果の高い補間曲線は、バイキュービックよりも先鋭化効果が高くなるように計算した独自の曲線である。ここで示した曲線以外でも、先に説明したように、バイキュービックと比較して、０と１の間においてより大きな値となる（上側に曲線が位置する）曲線であれば、いかなる曲線であっても構わない。
【０１９３】
先鋭化効果は、強度の先鋭化曲線２６０４が最も高く、次いで中程度の先鋭化曲線２６０３、バイキュービック２６０１、バイリニア２６０２の順番となる。
【０１９４】
通常の補間処理では高画質化を実現するため、バイキュービック２６０１を使用し、先鋭化の効果を得たい場合には、平滑化処理の度合いに応じて図２６に示した他の補間式、補間曲線を採用する。
【０１９５】
白色細線の一部を構成する画素と判断された白色細線画素についての補間処理においては、その参照マトリクス内に含まれる白色の画素の数に応じて、先鋭化の効果の異なる補間曲線を選択し、補間処理を実施する。例えば、参照マトリクス内の補間画素の近傍４画素すべてが白色細線画素である場合には、当該補間画素は白色細線中央画素であることが想定されるため、先鋭化効果を有する先鋭化曲線２６０３を選択する。
【０１９６】
＜３．２ 適応的補間処理の流れ＞
次に、適応的補間処理（ステップＳ２５０６）の詳細な処理の流れについて説明する。図２７は、適応的補間処理の流れを示すフローチャートである。なお、ここでは通常の補間曲線としてバイキュービックを用いるものとする。
【０１９７】
ステップＳ２７０１からＳ２７０７までの処理内容は、上記第３の実施形態において図２３を用いて説明した各ステップの処理内容と同じであるため、ここでは説明は省略する。
【０１９８】
ステップＳ２７０８では、先鋭化効果を有する補間処理を行う。通常の補間処理としてバイキュービックが用いられていた場合には、ここでは、例えば、先鋭化曲線２６０３を用いた補間処理を行う。
【０１９９】
ステップＳ２３０９では、強度の先鋭化効果を有する補間処理を行う。具体的には、先鋭化曲線２６０４を用いた補間処理を行う。ステップＳ２３１０では、通常の補間処理を行う。ここではバイキュービックを用いて補間処理を行う。
【０２００】
ステップＳ２７１１では、全画素に対して上記処理を実行したか否かを判断する。全画素に対して上記処理を実行したと判断された場合には、処理を終了する。一方、上記処理を実行していない画素があると判断された場合には、ステップＳ２７０１に戻り、対応する画素に対して上記処理を実行する。
【０２０１】
以上の説明から明らかなように、本実施形態では、補間処理時に先鋭化効果の高い補間曲線に選択的に切り替える構成とした。これにより、先鋭化処理と補間処理とを同一プロセス上で実現することが可能となった。また、本実施形態のように、同一プロセスで実現する構成とすることで、同じ三次補間式を採用した場合に、係数の変更のみで実現できるため、上記第３の実施形態と同様、ハードウェア構成の回路規模を低減することが可能となる。
【０２０２】
［第５の実施形態］
上記第１から第４の実施形態では、本発明に係る画像処理方法を、ＭＲシステムにおいてＨＭＤに表示される全ての画像に対して適用する場合について説明した。
【０２０３】
しかしながら、画像処理装置２０２が生成した表示画像中に、ＣＧ画像により構成されたワイヤーフレームや文字等が含まれるかどうかは、予め白色細線を生成する画像処理装置２０２側で把握することができる。そこで、白色細線およびそれに類する白色画素を含む画像が生成されたか否かについての情報を、画像処理装置２０２からＨＭＤ２０１へと送信し、適応的平滑化処理の適用を切り換えるように構成してもよい。
【０２０４】
また、ＨＭＤ２０１内部でＯＳＤ等によって警告表示や情報表示のための文字を表示することが可能である場合、それらの表示の有無をＨＭＤ２０１で判断し、適応的平滑化処理の適用を切り換えるように構成してもよい。
【０２０５】
また、上記第１から第４まで実施形態では、表示光学系のバリエーションについては特に言及しなかった。しかしながら、レンズ、プリズムなどの光学部材として、上下または左右非対称系のものを採用した表示光学系であってもよいし、また、複数レンズの組み合わせや結像面を複数回生成する表示光学系であってもよい。
【０２０６】
また、上記第１から第４の実施形態では、座標変換処理としてアドレス変換を例に説明を行ったが、従来技術で説明した解像度変換手法や近似多項式を用いた数値演算による座標変換処理を採用してもよい。
【０２０７】
また、上記第１から第４の実施形態では、接眼の拡大光学系を採用するＨＭＤにおいて収差補正を行う場合について説明を行った。しかしながら、収差補正の適用先は、ＨＭＤに限定されるものではなく、表示光学系を有しその収差の補正が必要な、デジタルカメラやカメラ付きの携帯電話およびデジタルビデオカメラ、背面投射型のテレビやカメラ等に搭載されるＥＶＦ等であってもよい。
【０２０８】
また、上記第１から第４の実施形態で説明した構成は、互いに組み合わせて使用してもよいことは言うまでもない。さらには、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に相当し得るものである。したがって、このような様々な組み合わせによるシステムもまた、本発明の範疇に属するものである。
【０２０９】
［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、表示光学系において生じる色収差を補正するための画像処理技術に関するものである。
【背景技術】
【０００２】
従来より、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。更に、当該ＭＲ技術の１つとして、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下ＨＭＤ）を利用する技術が知られている。ＨＭＤの場合、その装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、当該撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示する。これにより、ＨＭＤ装着者は、複合現実画像を観察することが可能となる。
【０００３】
このようにＨＭＤでは、ＣＣＤ等の電荷結合素子により被写体を撮像して該被写体のデジタル画像データを得るとともに、ＣＧ画像を重畳したＭＲ画像（複合現実画像）を液晶等の表示デバイスを介して装着者に表示する構成となっている。このため、撮像及び表示のための光学系（撮像光学系及び表示光学系）において生じる収差を補正することが重要となってくる。レンズの歪曲収差に起因して、表示される画像が樽型の画像や糸巻き型の画像となったり、レンズの倍率色収差に起因して、被写体の境界部分に赤や青や緑の色にじみが生じたりするなど、画像の品質に影響を与えるおそれがあるからである。
【０００４】
一般に、撮像光学系及び表示光学系において生じる収差に対する補正については、光学的補正によるアプローチと、信号処理を用いた電子的補正によるアプローチとが挙げられる。このうち、ＨＭＤのように頭部に装着する装置では、小型化・軽量化することが不可欠であるため、サイズや重量の増大が不可避な光学的補正によるアプローチよりも、信号処理を用いた電子的補正によるアプローチが選択される。電子的補正によるアプローチを選択した場合、更に、廉価なレンズの採用やレンズ枚数の削減によるコスト低減効果が得られるという利点もあるからである。
【０００５】
このような信号処理を用いた電子的補正では、通常、２つのプロセスにより収差補正が実現される。第１のプロセスは、理想的な光学系で得られる結像位置と実際の収差の影響を受けた結像位置との対応関係に基づいて、歪んだ画像の各画素を理想的な位置へと座標変換する座標変換プロセスである。また、第２のプロセスは、座標変換された各画素に基づいて格子上に各画素の色情報を再構成する補間プロセスである。
【０００６】
このうち、座標変換プロセスでは、画素毎に座標変換処理を行うことで、画像の歪みである歪曲収差の補正を実現し、画素を構成する色毎に座標変換処理を行うことで、色ずれである倍率色収差の補正を実現する。
【０００７】
ここで、座標変換プロセスにより収差が補正された各画素は、撮像系であるか表示系であるかによらず、最終的に、規定する格子点上に存在していなければならない。このため、画素補間プロセスでは、座標変換プロセスによって格子点上にない画素が生じた場合に、当該画素の色情報を格子点上に再構成する処理を行う。具体的には、一般的な解像度変換手法で用いられる線形補間や高次の双三次補間（バイキュービック）を使用し、当該画素と近傍の格子点との位置関係（距離）によって重み付けを行い、各格子点上の色情報を算出する。
【０００８】
このような信号処理を用いた収差補正については、従来より、種々の提案がなされている。例えば、下記特許文献１では、画素補間プロセスに対して、キュービック・コンボリューション（ＢｉＣｕｂｉｃ）を使用することで、より高画質な収差補正を実現する構成が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−１１２６９号公報
【特許文献２】特開平５−３２８１０６号号公報
【特許文献３】特開２００３−１０２０２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、信号処理を用いた従来の収差補正には、以下のような問題点がある。すなわち、表示光学系の収差補正では、原画像に高輝度の白色細線が含まれていた場合、補間プロセスを実行することによって、偽色が発生する。当該偽色は、自然画像では目立たない一方が、ワイヤーフレーム等のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）やＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能によって人為的に作られた画像では、その発生が顕著になるという特性がある。また、本来画素が存在しない位置にある画素を、格子点との位置関係に合わせて再構成することで発生することから、偽色は収差補正の量によらず発生し、また、画像の周辺部のみならず中央部においても発生する。このようなことから、収差補正における偽色の発生を抑制することは、ＨＭＤ等における表示において特に重要な課題であるといえる。
【００１１】
なお、偽色の発生を抑制するための技術としては、例えば、上記特許文献２や特許文献３に、モアレ除去や撮像系で発生する偽色の発生をローパスフィルタを用いて抑制する構成が開示されている。しかしながら、上記特許文献２及び３に開示された当該構成は、いずれも、エッジ部の保存を目的として処理する技術であるため、上記補間プロセスに適用した場合、白色細線において発生する偽色をかえって助長させてしまう結果となる。
【００１２】
本発明は上記課題に鑑みなされたものであり、表示される画像を収差補正するにあたり、当該画像に白色細線が含まれていた場合でも、偽色の発生を抑制できるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
表示される画像を処理する画像処理装置であって、
前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅よりも細い白色細線を構成する白色細線画素であるか否かを判断する判断手段と、
前記判断手段において白色細線画素であると判断された場合には、前記注目画素に対して平滑化処理を行うよう動作し、前記判断手段において白色細線画素でないと判断された場合には、前記注目画素に対して平滑化処理を行わないよう動作することで、該注目画素の色情報を算出する算出手段と、
前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記算出手段により色情報が算出された前記注目画素の位置を変換する変換手段と、
前記変換手段により変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間手段とを備える。
【発明の効果】
【００１４】
本発明によれば、表示される画像を収差補正するにあたり、当該画像に白色細線が含まれていた場合でも、偽色の発生を抑制することができるようになる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に画像処理方法が実行されるＭＲシステムのシステム構成を示す図である。
【図２】ＭＲシステムの機能構成を示す図である。
【図３】ＭＲシステムを構成する画像合成装置のハードウェア構成を示す図である。
【図４】ＭＲシステムを構成するＨＭＤのハードウェア構成を示す図である。
【図５】歪曲収差並びに倍率色収差を説明する図である。
【図６】表示光学系の一構成例を示す図である。
【図７】ＨＭＤの表示系収差補正部の機能構成を示す図である。
【図８】表示系収差補正部における収差補正処理の流れを示す図である。
【図９】表示系収差補正部を構成する適応的平滑化処理部の機能ブロック図である。
【図１０】表示系収差補正部において用いられる各種マトリックスを示す図である。
【図１１】適応的平滑化処理における白色細線検出処理の流れを示す。
【図１２】適応的平滑化処理における平滑化処理の流れを示す図である。
【図１３】表示系収差補正部において座標変換処理を実行する際に用いられる収差補正テーブルの一例を示す図である。
【図１４】座標変換処理の流れを示す図である。
【図１５】座標変換処理の一例である三次補間の概念を示す模式図である。
【図１６】表示系収差補正部における補間処理の流れを示す図である。
【図１７Ａ】偽色発生のメカニズムと表示系収差補正部における収差補正処理による偽色抑制の効果を説明するための模式図である。
【図１７Ｂ】偽色発生のメカニズムと表示系収差補正部における収差補正処理による偽色抑制の効果を説明するための模式図である。
【図１８】第２の実施形態に係る画像処理方法が実行される表示系収差補正部による適応的平滑化処理における白色細線検出処理の流れを示す図である。
【図１９】適応的平滑化処理における平滑化処理の流れを示す図である。
【図２０】第３の実施形態に係る画像処理方法が実行される表示系収差補正部の機能構成を示す図である。
【図２１】表示系収差補正部における収差補正処理の流れを示す図である。
【図２２】表示系収差補正部による適応的補間処理において用いられる補間曲線の例を示す図である。
【図２３】表示系収差補正部における適応的補間処理の流れを示す図である。
【図２４】第４の実施形態に係る画像処理方法が実行される表示系収差補正部の機能構成を示す図である。
【図２５】表示系収差補正部における収差補正処理の流れを示す図である。
【図２６】表示系収差補正部による適応的補間処理において用いられる補間曲線の例を示す図である。
【図２７】表示系収差補正部における適応的補間処理の流れを示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の各実施形態について説明する。
【００１７】
［第１の実施形態］
＜１．ＭＲシステムのシステム構成＞
図１は、本発明の第１の実施形態にかかる画像処理方法が実行されるＭＲシステム１００のシステム構成を示す図である。
【００１８】
現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術である複合現実感、いわゆるＭＲ技術では、撮像機能付表示装置が利用される。なお、以下では、撮像機能付表示装置をＨＭＤと略すこととする。ただし、撮像機能付表示装置は、双眼鏡のような手持ちタイプのものでもよく、頭部装着型のものに限られるものではない。
【００１９】
ＨＭＤでは、撮像ユニットにおいて取得した装着者の視点による現実空間の撮像画像に、装着者の位置、方向などの三次元位置姿勢情報に基づいて生成したＣＧ画像を重畳し、表示ユニットに表示するよう構成されている。当該構成により、ＨＭＤ装着者は、観察している現実空間内に、ＣＧで描画されたオブジェクトがあたかも存在しているかのような複合現実感を体感することができる。
【００２０】
図１に示すように、当該ＨＭＤを利用したＭＲシステム１００は、通常、ＨＭＤ１０１のほか、コントローラ１０２と、画像合成装置１０３とにより構成することができる。
【００２１】
このうち、ＨＭＤ１０１は、上述したように装着者の観察している現実空間の画像を取得するための撮像ユニットを備える。また、撮像ユニットにおいて撮像した現実空間の撮像画像や、画像合成装置１０３からの出力画像、または画像合成装置１０３で生成したＣＧ画像を現実空間の撮像画像に重畳した合成画像などを、表示画像として装着者に提供するための表示ユニットを有する。更に、ＨＭＤ１０１は、コントローラ１０２と通信を行う機能を備える。なお、ＨＭＤ１０１は、コントローラ１０２からの電源供給を受けて駆動するように構成してもよいし、バッテリーで駆動するように構成してもよい。
【００２２】
一方、コントローラ１０２と接続された画像合成装置１０３は、ＣＧ画像を生成するＣＧ描画部と、現実空間の撮像画像とＣＧ画像とを合成する画像合成部とを備える。
【００２３】
画像合成装置１０３はコントローラ１０２を介して、ＨＭＤ１０１と通信を行うよう構成され、画像合成部において合成された合成画像は、コントローラ１０２を介してＨＭＤ１０１に送信され、表示ユニットにおいて表示される。
【００２４】
一方、コントローラ１０２（画像処理装置）には、画像の解像度を変換する機能や色空間を変換する機能に加え、本実施形態にかかる画像処理方法による表示光学系の収差補正処理機能を含む各種画像処理機能ならびに伝送フォーマット変換機能が配されている。
【００２５】
なお、図１のＭＲシステムでは、画像合成装置１０３とコントローラ１０２とを別々のハードウェアとして構成しているが、本発明はこのような構成に限定されるものではない。例えば、コントローラ１０２が有する機能と画像合成装置１０３が有する機能とを統合し、専用の画像合成装置を構成するようにしてもよい。
【００２６】
また、図１のＭＲシステムでは、各々の装置を有線で接続することとしているが、本発明はこれに限定されず、これらの一部またはすべてを無線で接続するように構成してもよい。
【００２７】
あるいは、コントローラ１０２の機能の一部または全部をＨＭＤ１０１側に取り込むように構成してもよい。なお、以下のＭＲシステムでは、コントローラ１０２とＨＭＤ１０１がそれぞれ有する機能を組み合わせたものを改めてＨＭＤ１０１（画像処理装置）と表記して説明を行うこととする。
【００２８】
＜２．ＭＲシステムの機能構成＞
図２は、第１の実施形態にかかる画像処理方法が実行されるＭＲシステム２００の機能構成を示す図である。
【００２９】
図２において、２０１は、ビデオシースルー型のＨＭＤである。ＨＭＤ２０１は、現実空間を撮像する撮像ユニット２０３と、ＣＧ画像が重畳されたＭＲ画像を表示する表示ユニット２０８と備える。また、ＣＧ画像の生成、合成を行う画像合成装置２１１との間で通信を行うためのＩ／Ｆ２０６と、ＨＭＤ２０１の位置姿勢情報を出力する三次元位置姿勢センサ２０５と、撮像系収差補正部２０４と表示系収差補正部２０７とを備える。以下、ＨＭＤ２０１の各部について説明する。
【００３０】
撮像ユニット２０３は、ＨＭＤ装着者の視線位置と略一致する現実空間を撮像する。撮像ユニット２０３は、ステレオ画像の生成が可能な右目用、左目用の二組の撮像素子と撮像光学系および信号処理回路とから構成される。
【００３１】
撮像系収差補正部２０４は、撮像光学系で生じる収差を補正する。なお、収差補正の処理の内容は撮像系、表示系ともに基本的には同じである。
【００３２】
三次元位置姿勢センサ２０５は、ＨＭＤ装着者の位置姿勢情報を得るためのセンサであり、後述する位置姿勢情報生成部２１３で用いられる情報を生成する。三次元位置姿勢センサ２０５としては、例えば、磁気センサやジャイロセンサ（加速度、角速度）が使用される。なお、三次元位置姿勢センサ２０５は、撮像画像のみから位置姿勢情報を取得するＭＲシステムの場合にあっては、必ずしも搭載が必須のデバイスではない。
【００３３】
２０６は、撮像ユニット２０３で撮像された撮像画像を画像合成装置２１１に伝送し、また合成されたＭＲ画像をＨＭＤ２０１へ伝送するためのＩ／Ｆである。Ｉ／Ｆ２０６は、ＨＭＤ２０１と画像合成装置２１１との間のデータ通信を行う際に、インターフェースとして機能するものである。なお、これについては、画像合成装置２１１側に設けられているＩ／Ｆ２１２についても同様である。ただし、Ｉ／Ｆ２０６、２１２のいずれも、リアルタイム性が求められるため、大容量の伝送が可能な通信規格が採用されることが望ましい。有線系であれば、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバを使用するのが望ましい。また、無線系であれば、ＩＥＥＥ８０２．１１のワイヤレスＬＡＮ、ＩＥＥＥ８０２．１５のワイヤレスＰＡＮ規格等に準拠した高速無線通信を使用するのが望ましい。なお、本実施形態では、有線系であれば光ファイバを、無線系であればＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）を使用することとする。光ファイバの伝送帯域は数Ｇｂｐｓ、ＵＷＢは数百Ｍｂｐｓである。
【００３４】
表示系収差補正部２０７は、表示光学系で生じる収差を補正する。なお、表示系収差補正部２０７の詳細は後述する。
【００３５】
表示ユニット２０８は、合成されたＭＲ画像を表示する。撮像ユニット２０３と同様に、右目用、左目用の二組の表示デバイスと表示光学系とから構成される。表示デバイスとしては、例えば、小型の液晶ディスプレイやＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）による網膜スキャンタイプのデバイスが使用可能である。なお、表示光学系の構成については後述する。
【００３６】
一方、画像合成装置２１１は、ＨＭＤ２０１から受け取った撮像画像に基づいて位置姿勢情報を生成したり、位置姿勢情報に基づいてＣＧ画像を生成し、撮像画像と合成を行ったりする。画像合成装置２１１は、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置により構成される。以下、画像合成装置２１１の各部について説明する。
【００３７】
２１２は、画像処理装置側のＩ／Ｆである。Ｉ／Ｆ２１２の機能は、ＨＭＤ２０１内のＩ／Ｆ２０６と同じであるため、ここでは説明は省略する。
【００３８】
２１３は、受け取った撮像画像から、ＨＭＤ装着者の位置姿勢を示す位置姿勢情報を生成する位置姿勢情報生成部である。撮像画像からマーカやマーカの代わりとなる特徴点を抽出することにより位置姿勢情報を生成する。なお、位置姿勢情報生成部２１３は、不図示の客観視点による撮像画像や、ＨＭＤ２０１に取り付けられた三次元位置姿勢センサ２０５による情報を補足的に使用する構成となっており、撮像画像中にマーカや特徴点がない場合にも対応することが可能である。
【００３９】
２１４は、コンテンツＤＢ２１５に保持されているそれぞれの仮想物体に係るデータを用いて、それぞれの仮想物体を仮想空間中に配置した仮想空間を形成するＣＧ画像描画部である。ＣＧ画像描画部２１４では、形成した仮想空間においてＨＭＤ装着者の視点から見た場合の仮想画像（ＣＧ画像）を生成する。なお、所定の位置姿勢のＨＭＤ装着者の視点から見た場合の仮想空間の画像を生成する処理については周知であるので、ここでは詳細な説明は省略する。
【００４０】
２１５は、仮想画像のコンテンツを納めたコンテンツＤＢであり、仮想空間を構成する各仮想物体に係るデータを保持するＤＢ（データベース）である。仮想物体に係るデータには、例えば、仮想物体の配置・位置姿勢や、その動作則を示すデータが含まれる。また、仮想物体がポリゴンにより構成されている場合には、各ポリゴンの法線ベクトルデータやその色データ、ポリゴンを構成する各頂点の位置データ等が含まれる。また、仮想物体にテクスチャマッピングを施す場合には、テクスチャデータも含まれる。
【００４１】
２１６は、撮像画像とＣＧ画像とを合成し、ＭＲ画像を生成するＭＲ画像合成部である。ここで生成したＭＲ画像は、Ｉ／Ｆ２１２を介してＨＭＤ２０１に送られ、ＨＭＤ２０１の表示ユニット２０８にて表示される。
【００４２】
以上のような機能構成のもと、撮像ユニット２０３で撮像された撮像画像は、以下のような流れにより処理される。すなわち、撮像系収差補正部２０４において撮像光学系の収差が補正され、画像処理装置２０２へと送信される。そして、画像処理装置２０２において、受け取った撮像画像中のマーカや特徴量に基づいて、ＨＭＤ２０１の位置姿勢情報が算出される。その後、算出された位置姿勢情報に基づいて生成されたＣＧ画像が、撮像画像に重畳され、合成画像であるＭＲ画像が生成される。生成されたＭＲ画像は、Ｉ／Ｆ２１２を介してＨＭＤ２０１へと送られる。
【００４３】
ＨＭＤ２０１では、撮像光学系と同様に、表示系収差補正部２０７において表示光学系の収差が補正された後、表示ユニット２０８に表示される。このような処理の流れにより、収差の補正されたＭＲ画像がＨＭＤ装着者の瞳に導かれることとなる。
【００４４】
＜３．画像合成装置のハードウェア構成＞
次に、画像合成装置２１１のハードウェア構成について説明する。図３は、画像合成装置２１１のハードウェア構成を示すブロック図である。図３において、３０１はＣＰＵであり、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータに基づいて処理を実行することにより、コンピュータ全体の制御を行うと共に、画像合成装置２１１が有する各種機能を実現する。
【００４５】
ＲＡＭ３０２は、外部記憶装置３０６からロードされたプログラムやデータ、Ｉ／Ｆ３０７を介して外部（本実施形態の場合、ＨＭＤ２０１）から受信したデータ等を一時的に記憶するエリアを提供する。また、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアも提供する。なお、ＲＡＭ３０２は、これらのエリアを適宜提供することができる。ＲＯＭ３０３は、コンピュータの設定データやブートプログラム（ＢＩＯＳ）等を格納する。
【００４６】
３０４は操作部であり、キーボードやマウスなどにより構成されている。コンピュータの使用者は、操作部３０４を操作することにより、ＣＰＵ３０１に対して各種の指示を入力する。３０５は表示部であり、ＣＲＴや液晶画面等により構成される。ＣＰＵ３０１や不図示のグラフィックスボードによる処理結果は、画像や文字として、表示部３０５に表示される。
【００４７】
３０６は外部記憶装置であり、ハードディスクドライブ装置に代表される大容量情報記憶装置により構成される。外部記憶装置３０６には、ＯＳ（オペレーティングシステム）や、各種処理をＣＰＵ３０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１によって実行される。
【００４８】
３０７はＩ／Ｆであり、図２に示したＩ／Ｆ２１２に対応する。Ｉ／Ｆ３０７は、ＨＭＤ２０１とのデータ通信を行うためのインターフェースとして機能する。３０８は上記各部を繋ぐバスである。
【００４９】
＜４．ＨＭＤのハードウェア構成＞
次に、ＨＭＤ２０１のハードウェア構成について説明する。図４は、ＨＭＤ２０１のハードウェア構成を示すブロック図である。図４において、４０１は撮像ユニットであり、図２の撮像ユニット２０３に対応する。４０２は表示ユニットであり、図２の表示ユニット２０８に対応する。４０３はＲＡＭであり、ＣＰＵ４０６が各種処理を行うために用いるワークエリアや、Ｉ／Ｆ２０６を介して外部（ここでは画像処理装置２０２）から受信したデータを一時的に記憶するためのエリアを提供する。
【００５０】
４０４はＲＯＭであり、ＨＭＤ２０１が行う後述の各種処理をＣＰＵ４０６に実行させるためのプログラムやデータが格納されている。４０５は三次元位置姿勢センサであり、図２の三次元位置姿勢センサ２０５に対応する。４０６はＣＰＵであり、ＨＭＤ２０１の初期設定を行ったり、各種デバイスの制御を行うプログラムを実行する。４０７はＩ／Ｆであり、図２のＩ／Ｆ２０６に対応する。
【００５１】
４０８は収差補正ＬＳＩであり、図２の撮像系収差補正部２０４および表示系収差補正部２０７に対応する。ここでは専用集積回路であるＡＳＩＣを想定しているが、信号処理プロセッサであるＤＳＰによってソフト的に機能を記述することで実現してもよい。４０９は上記各部を繋ぐバスである。
【００５２】
＜５．歪曲収差及び倍率色収差についての説明＞
次に、歪曲収差及び倍率色収差について説明する。図５は、歪曲収差及び倍率色収差を説明するための図である。図５（Ａ）は歪曲のない状態を、図５（Ｂ）は歪曲した状態を、図５（Ｃ）は歪曲に加えて倍率色収差が生じた状態をそれぞれ示している。
【００５３】
図５（Ｃ）では、ＲＧＢ三原色のうち、Ｇｒｅｅｎを実線で、Ｒｅｄを破線で、Ｂｌｕｅを一点鎖線で表している。このように、色毎に収差が生じるのは、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各波長によってレンズでの屈折率が異なるためである。撮像光学系ではＧｒｅｅｎの像に対して、Ｒｅｄの像は外側に、Ｂｌｕｅの像は内側に結ばれる現象が起こり、白黒の被写体であってもその像のエッジには色にじみ（色ずれ）が生じる。また、カラー画像の被写体の場合も境界領域等の色味が変わるエッジ部分においては同様の色にじみが生じる。
【００５４】
実レンズにおける結像においては、図５（Ａ）のような図形を撮像した場合に、図５（Ｃ）のように画像が歪み、また、色によって結像位置（倍率）が異なる現象が生じる。一般に、単色における画像の歪みは「歪曲収差」と呼ばれ、色の違いによる倍率の差は「倍率色収差」と呼ばれている。
【００５５】
光の屈折は波長が短いほど顕著で、凸レンズをイメージした撮像光学系では外側に赤色がずれるが、拡大光学系である表示光学系では、逆に青色が外側にずれることになる。電子的な収差補正処理では、ずれる方向と逆方向にずらすように補正を行うこととなる。例えば、表示光学系の収差補正であれば、青色を内側に、赤色を外側に配置するように画像を形成することで表示光学系の収差と相殺され、各色の色ずれが生じることのない好ましい画像が、瞳位置において提供されることとなる。
【００５６】
＜６．表示ユニットの光学系の説明＞
次に、ＨＭＤ２０１の表示ユニット４０２の光学系について説明する。図６は表示光学系の一例を示す図である。図６において、６０１は表示パネルである。表示パネル６０１は、ＴＦＴ液晶や有機ＥＬのデバイスにより構成されており、ＴＦＴ液晶の場合にあっては、不図示のバックライトを光源とした光が各色のフィルタを経由して照射されることとなる。一方、有機ＥＬデバイスの場合には、自発光であるためバックライトは不要となる。ＨＭＤ装着者に提示されるカラー画像は、表示パネル６０１上に形成される。
【００５７】
６０２は、小型の表示パネル６０１からの光線を拡大し瞳に導くための自由曲面プリズムである。自由曲面プリズムの場合、単なるレンズを用いた場合と比べて、表示パネル６０１の薄型、小型化を実現することができる。
【００５８】
６０３は、表示パネルで形成した画像の結像点である。この結像位置に瞳を配置させることで、ＨＭＤ装着者は、表示パネル６０１の画像を、拡大された大画面の表示画像として観察することができる。
【００５９】
一般に表示光学系で生じる各種収差は複数のレンズ群によってその影響を抑えることができるが、小型のＨＭＤの実現には表示光学系の簡略化および小型・軽量化が欠かせない。そのため、上述したように、ＨＭＤ２０１では、各種収差を電子的に補正することとしている。
【００６０】
＜７．表示系収差補正部の機能構成＞
次に、ＨＭＤ２０１の表示系収差補正部２０７の機能構成について説明する。図７は、表示系収差補正部２０７の機能構成を示すブロック図である。図７において、７０１は、ＲＧＢの色成分を持つ画素からなる画像データを格納するバッファである。７０２は、バッファ７０１に格納された画像を読み出し、平滑化対象となる画素を検出し、検出された画素に対して平滑化処理を行う適応的平滑化処理部である。なお、適応的平滑化処理部７０２の詳細については後述する。
【００６１】
７０３は、適応的平滑化処理部７０２より出力された画像について、ＲＧＢの色成分に分離する色分離部である。７０４は収差補正テーブルであり、「注目画素」（処理を実行しようとしている画素）についての変換後の座標値を算出するための補正値を格納する。収差補正テーブル７０４には、容量削減のため、特定色の変換後の座標値と、特定色を除く他色についての、当該特定色を基準とした場合の差分値とが格納されているものとする。なお、収差補正テーブル７０４のテーブル構成および格納されている値についての詳細は後述する。
【００６２】
７０５は、各色の補正値を選択する補正値選択部であり、注目画素の座標値に対応する変換座標を算出するための補正値を収差補正テーブル７０４から読み出す。
【００６３】
７０６は、補正値選択部７０５で選択された補正値に基づいて、注目画素の各色成分の変換後の座標値を算出する座標算出部である。座標算出部７０６では、各種補間式を用いた補間演算によって変換後の座標値を算出する。なお、座標算出部７０６における処理の詳細は後述する。
【００６４】
７０７は、変換後の注目画素の色情報を、該注目画素の近傍の補間位置に再構成する補間処理を行う補間処理部である。ここでは、それぞれＧｒｅｅｎ、Ｒｅｄ、Ｂｌｕｅの各色について補間位置における輝度値を算出する。なお、ここでいう「補間位置」とは表示パネル上の表示画素（格子点上）の位置を指すものとする。入力画像と出力画像の画像サイズの変換、すなわち解像度変換を行う場合には、補間処理部７０７において併せて当該処理を実施するものとする。なお、補間処理部７０７における処理の詳細は後述する。
【００６５】
７０８は、補間処理後の各色の画像に対して、適応的平滑化処理部７０２における平滑化処理によって鈍った白色細線を先鋭化する適応的先鋭化処理部である。適応的先鋭化処理部７０８では、平滑化対象となった画素か否かの判断を行い、平滑化対象となった画素であると判断された画素に対して、先鋭化処理を行う。なお、適応的先鋭化処理部７０８における先鋭化処理の概要については後述する。
【００６６】
７０９は、それぞれの色成分毎に求められた新たな輝度値をもとに、表示画素における各色成分の輝度値を結合する色結合部である。色結合部７０９では、例えば、各色８ビットの入力データが存在する場合、変換後の画素を結合することにより、各色８ビットの入力に対して、合計２４ビットの画素データを出力する。
【００６７】
なお、図７では不図示であるが、表示系収差補正部２０７には、入力された画像データを、収差補正処理が可能な画像フォーマットに変換する前処理部が備えられていてもよい。画像フォーマット変換としては、例えば、入力画像の各画素の画素情報が、座標値と輝度値と色差値とで構成される場合にあっては、当該画素情報を座標値と輝度値と各色成分（例えばＲＧＢの各色）とに構成し直す処理を行う。また、画像の色味の補正や輝度値の調整、および、その後の画像フォーマットへの変換等を行う後処理部が、必要に応じて表示系収差補正部２０７に追加されてもよい。
【００６８】
以上の機能構成のもと、表示系収差補正部２０７では、入力されたＲＧＢの各プレーン画像に対して、適応的平滑化処理部７０２で検出された白色細線への平滑化処理を実施する。そして、平滑化処理された画像に対して、座標変換処理と補間処理とを施すことによって表示光学系の収差を打ち消す補正を行う。更に、収差補正された画像に対して、必要に応じてエッジの先鋭化を実現する先鋭化処理を施し、白色細線のエッジが鈍りを解消する。更に、先鋭化処理された各色画像プレーンを結合し、カラー画像として表示する。
【００６９】
表示系収差補正部２０７ではこのような流れにより処理を行うことで、白色細線に生じる偽色を抑制した画像を表示することが可能となる。なお、偽色抑制の実現において、適応的先鋭化処理部７０８による先鋭化処理は必須の処理ではなく、よりメリハリの効いた好ましい画像の提供を目的とした処理である。
【００７０】
＜８．表示系収差補正部による収差補正処理の流れ＞
次に、表示系収差補正部２０７における収差補正処理の流れについて説明する。図８は、表示系収差補正部２０７における収差補正処理の流れを示すフローチャートである。ステップＳ８０１では、収差補正を行うにあたり前処理を行うか否かを判断する。ここでいう前処理とは、例えば、色収差補正が適用できる画像フォーマットへの変換処理などである。前処理を行う場合にはステップＳ８０２へ進み、行わない場合にはステップＳ８０３へ進む。ステップＳ８０２では、前処理として、色収差補正が適用できる画像フォーマットへの変換処理等を実施する。
【００７１】
ステップＳ８０３では、平滑化対象となる白色細線を検出し、検出された白色細線に対する平滑化処理を実施する。なお、適応的平滑化処理の詳細については別フローを用いて後述する。
【００７２】
ステップＳ８０４では、平滑化処理された画像について、ＲＧＢの三原色で構成される各画素の色情報を各色プレーン（色成分）ごとに分離する。なお、ここではＲＧＢの三原色により分離することとしているが、収差補正テーブル自体が他の色成分の位置ずれ量を示す補正値からなる場合には、ＲＧＢ以外の色により分離するように構成してもよい（例えば補色系のＣＭＹＫ等）。
【００７３】
ステップＳ８０５では、各画素の色ごとにどの位置に結像点がずれるのか、あるいは、理想的な結像点へ導くためには、どこに画素を配置すれば良いのか、を示す変換後の座標値を算出する。なお、座標変換処理の詳細については別フローを用いて後述する。
【００７４】
ステップＳ８０６では、ステップＳ８０５で得られた座標変換された注目画素の画素情報と参照画素の画素情報とに基づいて、新たな構成位置（「補間位置」）において、各色成分の輝度値を再構成する補間処理を行う。なお、「参照画素」とは、座標変換された注目画素が、表示パネル上の表示位置（格子点上）にない画素（つまり、補間処理が必要な「補間画素」）であった場合に、当該補間画素の近傍にある画素であって、表示パネル上の表示位置にある画素を指すものとする。つまり、補間画素の各色成分の輝度値は、参照画素の位置において（補間位置において）、再構成されることとなる。なお、補間処理の詳細についても別フローを用いて後述する。
【００７５】
ステップＳ８０７では、補間処理が行われた画像のうち、平滑化処理によって鈍った白色細線を先鋭化すべく、平滑化対象となった画素を対象として先鋭化処理を実施する。具体的には、平滑化対象となった画素を対象として、後述するラプラシアンフィルタなどのフィルタによるマトリクス演算を行う。なお、白色細線の検出処理は、座標変換処理前の画像に対して行われているため、座標変換処理後の画像における平滑化対象となった画素か否かの判断は、白色細線の検出処理結果と座標変換処理に用いた補正値とに基づいて行われるものとする。
【００７６】
ステップＳ８０８では、色成分毎に座標変換処理、補間処理を行った各画素の色情報に基づいて、新たな画素の色情報を再結合する色結合処理を実施する。
【００７７】
ステップＳ８０７では、収差補正処理後に、色補正や画像フォーマット変換等の後処理を行うか否かを判断する。後処理を行うと判断した場合にはステップＳ８１０へ進み、行わないと判断した場合には収差補正処理を終了する。ステップＳ８１０では、収差補正処理された画像に対して後処理を実施する。
【００７８】
＜９．適応的平滑化処理及び適応的先鋭化処理についての説明＞
次に、表示系収差補正部２０７において実行される適応的平滑化処理（ステップＳ８０３）及び適応的先鋭化処理（ステップＳ８０７）の詳細について説明する。
【００７９】
＜９．１ 適応的平滑化処理部及び適応的先鋭化処理部の機能構成＞
はじめに、適応的平滑化処理を実行する適応的平滑化処理部７０２及び適応的先鋭化処理を実行する適応的先鋭化処理部７０８の機能構成について説明する。図９は、適応的平滑化処理部７０２の機能ブロック図である。
【００８０】
図９において、９０１は、表示される画像中に含まれる白色細線を検出する白色細線検出部である。表示画像を格納しているバッファ７０１から白色細線検出に必要な領域を読みだし、後述する参照マトリクスを用いて、注目画素が白色細線を形成する画素の一部であるか否かを判断する白色細線検出処理を実施する。検出結果は後段の適応的先鋭化処理（ステップＳ８０３）において使用される。なお、白色細線検出処理の詳細は後述する。
【００８１】
９０２は、タイミング調整用のバッファである。９０３は平滑化を実施する平滑化フィルタである。平滑化フィルタ９０３は、Ｍ行×Ｎ列のマトリクスにより構成されており、当該平滑化フィルタ９０３により、注目画素に対して指定された係数による重み付けが行われることにより、平滑化処理が実現される。
【００８２】
９０４は、平滑化処理を制御する制御部である。平滑化の度合いを平滑化フィルタの形状、サイズ、係数を変更することによって制御する。
【００８３】
９０５は、白色細線の検出結果に基づき、平滑化フィルタ９０３からの出力（平滑化処理された画素）とタイミング調整用バッファ９０２からの出力（平滑化処理がされていない画素）とを選択するセレクタである。
【００８４】
一方、適応的先鋭化処理部７０８も、適応的平滑化処理部７０２と基本的に同様の機能構成を有する。ただし、適応的先鋭化処理部７０８では、平滑化フィルタ９０３の代わりに、先鋭化フィルタが用いられる。また、先鋭化フィルタによる先鋭化対象となる画素は、適応的平滑化処理部７０２より送信された白色細線の検出結果と座標変換処理に用いた補正値とにより導き出される画素である。
【００８５】
＜９．２ 適応的平滑化処理及び適応的先鋭化処理において用いられるマトリックス＞
次に、適応的平滑化処理及び適応的先鋭化処理において用いられるマトリックスについて説明する。図１０は、適応的平滑化処理で使用される参照マトリクス及び平滑化フィルタ、及び、適応的先鋭化処理で使用される先鋭化フィルタの構成を示した図である。
【００８６】
図１０（ａ）は、白色細線検出用の参照マトリクスの一例を示している。ここでは参照マトリクスを３行×５列のマトリクスとして示しているが、参照マトリクスは、このサイズに限られるものではない。白色細線検出部９０１では、参照マトリクス中央の注目画素が白色細線の一部を構成する白色細線画素であるのか、白色細線を構成しない非該当画素であるのかを、当該参照マトリクス内の画素の値に基づいて判断する。つまり、「白色細線画素」とは、平滑化処理の対象となる画素（及び先鋭化処理の対象となる画素）を指す。
【００８７】
なお、白色細線が３画素の幅で構成されている場合、白色細線の外側の画素が白色画素ではないことを判断するためには、３画素より広い領域を参照する必要がある。つまり、上記参照マトリクスの場合、縦線では３画素の幅まで、横線では１画素の幅まで検出することが可能である。参照マトリクスのサイズ及び形状は検出したい白色細線の線幅によって、制御部９０４によって任意に変更されるものとする。
【００８８】
図１０（ｂ）は、平滑化フィルタ９０３のマトリクスの一例を示している。図１０（ｂ）に示すマトリクスによれば、注目画素の輝度値を２倍した値とその周囲８画素の輝度値との和を１０で割った値を新たに注目画素の輝度値とする平滑化処理が行われる。なお、ここで示したフィルタ係数（重み付け係数）は一例であり、この値に限られるものではない。より平滑化の効果を強めたい場合には、注目画素の重み付け係数の値を周囲の係数と比べて相対的に小さくすればよい。逆に平滑化の効果を弱めたい場合には、注目画素の重み付け係数の値を周囲の係数と比べて相対的に大きくすればよい。また、参照マトリクスのサイズを大きくすることで平滑化の度合いを強めることも可能である。さらには、新たに算出された平滑化処理後の輝度値が元の輝度値と比べてある閾値以上の差がない場合には、元の輝度値を採用するといった処理が加えられてもよい。
【００８９】
図１０（ｃ）は、先鋭化フィルタのマトリクスの一例を示している。図１０（ｃ）に示すマトリクスによれば、注目画素の輝度値を１０倍した値からその周囲８画素の輝度値の和を引いた値を２で割った値を、新たに注目画素の輝度値とする先鋭化処理が行われる。なお、ここで示したフィルタ係数（重み付け係数）は一例であり、この値に限られるものではない。例えば、ラプラシアンフィルタのように、注目画素の対角画素のみを参照するようにしてもよい。
【００９０】
＜９．３ 適応的平滑化処理における白色細線検出処理の流れ＞
次に、適応的平滑化処理（ステップＳ８０３）における白色細線検出処理の流れについて説明する。図１１は、白色細線検出処理の流れを示すフローチャートである。上述した参照マトリクスを利用して、注目画素が白色細線の一部を構成する白色細線画素であるか否かを判断する。
【００９１】
ステップＳ１１０１では、参照マトリクス内の各画素の輝度値を取得する。ステップＳ１１０２では、参照マトリクス内の注目画素が白色であるのか否かを判断する。白色であるか否かの判断は、ＲＧＢの各輝度値がそれぞれ任意の閾値以上であるか否かを判断することによって行う。例えば、各色８ビットデータの場合、１９２以上の値を各色成分が持っていれば白色と判断する。注目画素が白色であると判断された場合には、ステップＳ１１０３へ進み、注目画素が白色でないと判断された場合にはステップＳ１１０６へ進む。
【００９２】
ステップＳ１１０３では、参照マトリクス内の注目画素以外の画素に、注目画素と同一の輝度値を持つ画素が存在するか否かを判断する。これは、注目画素が白色細線の一部を構成する画素であるなら、マトリクス内に同一またはほぼ同一の輝度値を持つ画素が存在するはずだからである。同一輝度値を持つ画素が存在すると判断された場合にはステップＳ１１０４へ、存在しない、すなわち注目画素が白色の孤立画素であると判断された場合にはステップＳ１１０６へ進む。
【００９３】
ステップＳ１１０４では、参照マトリクス内に任意の閾値以下の値を持つ輝度値の低い画素が存在するか否かを判断する。例えば、各色８ビットデータの場合、各色成分が９６より小さい輝度値を持っているのであれば、白色細線とその周辺とでコントラストの差が大きいと判断することができる。コントラストが大きい場合、収差補正による補間処理時に偽色が目立ちやすくなることから、平滑化処理が必要であると判断することができる。逆に白色細線の外周（背景部分）の輝度値が相対的に大きい場合には、補間処理時の偽色が目立ちにくい。このため、平滑化処理が不要と判断することができる。そこで、任意の閾値以下の輝度値を持つ画素が存在する場合にはステップＳ１１０５へ進み、存在しない場合にはステップＳ１１０６へ進む。
【００９４】
ステップＳ１１０５では、ステップＳ１１０２からステップＳ１１０４までの条件を満たしていることを受けて、注目画素が白色細線の一部を構成する白色細線画素（平滑化対象となる画素）であると判断し、白色細線検出処理を終了する。
【００９５】
一方、ステップＳ１１０６では、ステップＳ１１０２からステップＳ１１０４までの条件の何れかを満たしていないことを受けて、平滑化対象とならない非該当画素であると判断し、白色細線検出処理を終了する。
【００９６】
＜９．４ 適応的平滑化処理における平滑化処理の流れ＞
次に、適応的平滑化処理（ステップＳ８０３）における平滑化処理の流れについて説明する。図１２は、平滑化処理の流れを示すフローチャートである。ステップＳ１２０１では、平滑化処理におけるフィルタ演算の際の平滑化フィルタ９０３のマトリクス内の各画素の輝度値を取得する。
【００９７】
ステップＳ１２０２では、図１１のフローチャートで説明した白色細線検出処理の検出結果を把握する。ステップＳ１２０３では、平滑化フィルタ９０３のマトリクス内に白色細線の一部を構成する白色細線画素が存在するか否かを判断する。存在する場合にはステップＳ１２０４へ進み、存在しない場合には平滑化処理を終了する。
【００９８】
ステップＳ１２０４では、平滑化フィルタ９０３のマトリクス内に白色細線の一部を構成する白色細線画素が含まれることを受けて、フィルタ演算を実施する。
【００９９】
＜１０．座標変換処理及び補間処理についての説明＞
次に、表示系収差補正部２０７において実行される座標変換処理（ステップＳ８０５）及び補間処理（ステップＳ８０６）について説明する。
【０１００】
＜１０．１ 収差補正テーブルの説明＞
はじめに、座標変換処理に用いられる収差補正テーブル７０４について説明する。図１３は、収差補正テーブル７０４の一例を示す図である。図１３に示すように、収差補正テーブル７０４には、特定の画素の変換前座標と、変換後座標（または変換後座標との差分値）とが格納されている。注目画素に基づいて特定の画素のＸ−Ｙ座標を指定することで、基準色（本実施形態ではＧ）は変換後座標を、基準色以外の他色（ＲとＢ）については基準色についての変換後座標との差分値を得ることができる。つまり、Ｒの変換後座標は、格納されている差分値１３０１（Ｇｘ―Ｒｘ）とＧの変換後座標Ｇｘとから求めることができる。また、Ｂの変換後座標は、格納されている差分値１３０２（Ｂｘ―Ｇｘ）と、Ｇの変換後座標Ｇｘとから求めることができる。
【０１０１】
なお、本実施形態では座標変換前の座標についても収差補正テーブルとして構成することとしたが、本発明はこれに限定されず、座標変換前の座標をメモリアクセス時のアドレスと対応づけるようにしてもよい。このように構成することにより、変換前座標をメモリ領域内に確保する必要がなくなり、メモリサイズをさらに削減することが可能となる。
【０１０２】
＜１０．２ 座標変換処理の流れ＞
図１４は、座標変換処理の流れを示すフローチャートである。二次元の座標系における表示中心座標（ｘ０，ｙ０）を原点としてレンズの歪曲収差情報、色収差情報および解像度情報に基づいて、二次元座標系における各画素における位置ずれ量を求める。そして、該位置ずれ量に基づいてｘ軸方向、ｙ軸方向に各画素を座標変換する。
【０１０３】
なお、本実施形態では収差補正テーブルのサイズを削減するため、変換前座標と変換後座標との関係は、画像内の画素すべてに対して保持するのではなく、サンプリングされた代表点のみを持ち、間の画素については補間演算によって求めるものとする。
【０１０４】
ステップＳ１４０１では、注目画素の座標を指定する。ステップＳ１４０２では、注目画素に対応する収差補正テーブル内の特定の画素の座標を指定する。ここでは注目画素に対応する収差補正テーブル内の特定の画素の座標の指定を、ステップＳ１４０１の後に行うこととしているが、本発明はこれに限定されない。例えば、ステップＳ１４０１の前に行うよう、ステップＳ１４０１とＳ１４０２の順番を入れ替えるようにしてもよい。
【０１０５】
ステップＳ１４０３では、注目画素の座標変換後の座標値を得るために必要な補正値を収差補正テーブルから取得する。ステップＳ１４０４では、ステップＳ１４０３において収差補正テーブルより取得された補正値を用いて、注目画素についての変換後の座標値を取得する。具体的には、歪曲収差であれば画素の位置ずれ量、また、色収差であれば各色成分の変換後の座標を算出するための色成分ごとの位置ずれ量を用いて、注目画素についての変換後の座標値を取得する。なお、格納されている収差補正テーブルで示される変換前座標はサンプリングされた代表値のため、その間の値は補間演算によって求めることとする。この補間演算には、線形補間の他、三次の補間曲線や補間曲面およびスプライン曲線や近似多項式などを用いるものとするが、特にそのような補間式に限定されるものではない。
【０１０６】
ステップＳ１４０５では、全画素に対して上記座標変換処理を実行したかどうかを判断する。全画素に対して処理が終了したと判断された場合には、座標変換処理を終了する。一方、全画素に対して上記座標変換処理を実行していないと判断された場合には、ステップＳ１４０１に戻り、対応する画素の収差を補正するための座標変換処理を継続する。
【０１０７】
＜１０．３ 補間処理の概要＞
次に補間処理について説明する。はじめに補間処理の概要について説明する。図１５は、三次補間処理の概念を示す模式図である。収差補正における補間処理では、座標変換後の注目画素の色情報を補間位置に再構成する補間処理として、三次補間式を使用することで画像の高画質化を実現している。ここでは一般的な三次補間処理の概念について説明する。なお、補間処理は線形補間を用いても、あるいは、より高次の補間式を用いてもよい。
【０１０８】
座標変換した注目画素の画素位置と各色成分の輝度値とに基づいて、二次元座標系における補間位置の画素情報（ＲＧＢの各輝度値）を補間演算によって求めるのが補間処理である。図１５の例では、補間演算において補間画素１５０１のｘ座標ｓｘとｙ座標ｓｙとを指定し、まず参照画素と補間画素との間の正規化された距離ｐｘとｐｙを求める。そして、求めた距離ｐｘとｐｙを用いて、ｘとｙの各座標について重み係数を求める。求める際に使用する三次関数が上記各三次式による補間曲線となり、バイキュービックであれば式（１）および式（２）が、ラグランジュであれば（３）および（４）が該当する三次補間式となる。
【０１０９】
バイキュービック補間曲線（周囲１６点から双三次補間）
【０１１０】
【数１】
【０１１１】
ラグランジュ補間曲線（周囲１６点から双三次補間）
【０１１２】
【数２】
【０１１３】
ｘ、ｙそれぞれの座標に対して上記三次補間式にｐｘとｐｙの値を代入することで、参照画素の重み係数を算出する。なお、ｐｘとｐｙは正規化されているものとする。通常の解像度変換であれば格子が正方形で一定の値となるが、座標変換によって変換された各補間画素は正方形を構成しないため、ここでは参照画素の間隔を１として正規化を行っている。以後は説明を簡略化するため、参照画素は正規化された軸上に存在するものとする。
【０１１４】
図１５では補間画素１５０１の周囲の点線で囲まれた部分が正規化された１の領域となる。すなわちｙとｙ＋１の軸およびｘとｘ＋１の軸上に存在する４つの参照画素と補間画素との距離ｐｘ、ｐｙはともに１よりも小さくなる。逆にその周りの１２画素は１と２との間の値をとる。最近傍４画素の重み係数の演算の際に使用する三次補間式は、バイキュービックであれば（１）に、ラグランジュであれば（３）となる。外周１２画素の重み係数の演算の際に使用する三次補間式は、バイキュービックであれば（２）に、ラグランジュであれば（４）となる。これらの重み係数をｘ方向、ｙ方向それぞれに求めた後、参照画素の輝度値とこれらｘとｙの重み係数とを掛け合わせ、周辺１６画素の輝度値に加算した値が補間位置における新たな輝度値となる。
【０１１５】
なお、実際の処理では、最近傍４画素すべてが正規化された格子内または格子上に存在するわけではなく、逆に周辺１２画素が正規化された１以上の値をとるとは限られず、いずれも収差補正量によって変化する。
【０１１６】
＜１０．４ 補間処理の流れ＞
次に補間処理の流れについて説明する。図１６は、補間処理の流れを示すフローチャートである。ここでは上記三次補間式を使用した補間処理について説明する。
【０１１７】
ステップＳ１６０１では、新たに補間を行う補間画素の位置について、座標の指定を行う。ステップ１６０２では、補間画素の近傍１６点の参照画素を指定する。
【０１１８】
ステップＳ１６０３では、参照画素である近傍１６画素のそれぞれの座標を取得する。この座標は正規化された値である。ステップＳ１６０４では、補間画素と各参照画素との距離を算出する。なお、当該距離は代表点の間隔で正規化された値として準備する。なお、本実施形態では、二次元空間を対象としているため、ｘ座標、ｙ座標それぞれの値を求める。
【０１１９】
ステップＳ１６０５では、補間曲線または補間直線にステップＳ１６０４で算出した距離を代入することで各参照画素の重み係数を求める。ここでは三次補間式の採用を想定しているが、線形補間（バイリニア）アルゴリズムを採用しても構わない。ステップＳ１６０６では、各参照画素の値とｘ、ｙ座標における重み係数の積とを加算し、補間位置の輝度値を演算する。
【０１２０】
ステップＳ１６０７では、全画素に対して上記処理を実行したか否かを判断する。全画素に対して上記処理を実行したと判断された場合には補間処理を終了する。一方、上記処理を実行していない画素があると判断された場合には、ステップＳ１６０１に戻り、当該画素について上記処理を実行する。
【０１２１】
＜１１．表示系収差補間部による収差補正処理の効果＞
次に、表示系収差補正部２０７における収差補正処理による偽色発生抑制の効果について説明する。なお、説明に際しては、はじめに、画像に含まれる白色細線を収差補正処理した場合の、偽色発生のメカニズムについて説明する。
【０１２２】
図１７Ａ、図１７Ｂは、偽色発生のメカニズムと表示系収差補正部２０７における収差補正処理による偽色発生抑制の効果を説明するための模式図である。ここでは、説明を簡略化するため、線幅が一画素で構成される白色細線について説明する。なお、線幅が複数画素で構成される場合においても同様のメカニズムに従って偽色が発生するため、表示系収差補正部２０７における収差補正処理による偽色発生抑制の効果についての説明は同様である。
【０１２３】
図１７Ａの（ａ）は、収差補正前の白色細線の例を、図１７Ａの（ｂ）は、収差補正を実現する補間処理によって再現された白色細線の例を示している。図１７Ａの（ｂ）は単色（Ｒ、Ｇ、Ｂの何れか）の線を示している。図１７Ａの（ｃ）は、図１７Ａの（ｂ）で示される単色の白色細線が各色重なることで発生する偽色のパターンの例を示している。
【０１２４】
図１７Ｂの（ｄ）は、表示系収差補正部２０７において、平滑化処理を適用した収差補正前の白色細線の例を、図１７Ｂの（ｅ）は、平滑化処理が適用された後の補間処理によって再現された白色細線の例を示している。また、図１７Ｂの（ｆ）は、図１７Ｂの（ｅ）で示される単色の白色細線が各色重なっても偽色の発生が抑制されるパターンを示している。更に、図１７Ｂの（ｇ）は、図１７Ｂの（ｅ）に対して先鋭化処理を適用した場合の単色の白色細線の例を示している。
【０１２５】
色収差の補正においては、画像を構成するＲＧＢ各色の単色画像プレーン毎に、座標変換処理と補間処理とを行っている。偽色は、補間処理された画素が複数の画素で表現される場合と単画素で表現される場合とで、局所的な輝度差が生じることに起因して発生する。
【０１２６】
図１７Ａの（ａ）は、収差補正前の原画像中の白色細線の例である。ここでは、単一の輝度でかつ、単画素によって白色細線が構成されているものとする。
【０１２７】
図１７Ａの（ｂ）は、図１７Ａの（ａ）で示される白色細線に対して、座標変換処理及び補間処理を行うことにより再現された白色細線を示している。収差の影響をキャンセルする逆補正を適用したため、直線が曲線や斜め線として再構成される。補間処理により再構成された線は、（ｂ）に示すように単一画素で構成される箇所と複数画素で構成される箇所とが交互に繰り返されることとなる。
【０１２８】
ここで、単一画素で構成される場合と、複数画素で構成される場合とでは、全体的な輝度値は保存されるものの、局所的には画素毎に輝度値が異なることとなる。つまり、原画像では一様な白色細線を表現していても、補間処理後の画像では、輝度値の強弱が生じ、ユーザが視認する表示画像上では輝度ムラとなってあらわれることになる。収差補正時の画素の構成に一般的な補間処理を適用した場合、このような輝度ムラが発生する。
【０１２９】
補間処理を適用した画像では、単一画素で表現されることは稀であるが、複数の画素によって構成される際にも、一つの画素の値が大きく、表示される複数の輝度値に対して支配的な場合には、その画素を単一画素と見なすことができる。
【０１３０】
図１７Ａの（ｃ）は、収差補正を適用して表示光学系により白色細線を再構成した場合に生じる偽色パターンの例を示しており、白色細線上にＲＧＢの各色が周期的に現れることを示している。
【０１３１】
更に、図１７Ａの（ａ）の白色細線に対して収差補正を行った場合、ＲＧＢの色成分毎に座標変換処理と補間処理とによって画素を生成するため、図１７Ａの（ｂ）で示したようにＲＧＢ各色の白色細線がそれぞれに固有の輝度ムラを持つこととなる。これらの各色細線を結合・合成して白色細線を再構成すると、更に、色毎の強弱（輝度ムラ）がずれることで、周期的な偽色が白色細線上に現れることとなる。例えば、白色細線上のある一点において、ＲとＧが複数の画素で構成され、Ｂが単画素で構成されていた場合、輝度値を比較すると、Ｂの輝度がＲとＧと比べて高いため、合成された画素には、白色細線上にＢの色が強く現れることになる。
【０１３２】
このような偽色の発生は、補間処理を行った画像において生じるものであり、表示光学系の収差補正の量には関係なく発生し、また、画像の外周部のみならず中央部においても発生する。
【０１３３】
一方、図１７Ｂの（ｄ）は、収差補正前の原画像中の白色細線に平滑化処理を適用した例を示している。単一の輝度でかつ、単画素によって線が構成されている白色細線が、平滑化処理によって元の白色細線部分の輝度値が低下し、白色細線に隣接する画素にも輝度値が振り分けられることとなる。
【０１３４】
図１７Ｂの（ｅ）は、補間処理された単色の白色細線の例を示している。偽色は、補間処理によって再構成された白色細線上の局所的な画素の値の強弱に起因して発生するため、この画素値の強弱を低減させることにより、偽色の発生を目立たなくすることが可能である。
【０１３５】
つまり、平滑化フィルタによる平滑化処理を適用し、単一画素で表現される画素の輝度値を下げると共に、白色細線の周辺画素へも輝度値を分配することで、全体的な輝度値を保存しつつ、各色の輝度ムラを低減させることが可能となる。この結果、結合・合成された白色細線においても偽色の発生が抑制されることとなる。なお、本実施形態における平滑化処理は、色毎に独立して適用されるものとする。
【０１３６】
図１７Ｂの（ｆ）は、単色の白色細線が各色成分が重なっても偽色の発生が抑制されるパターンを示している。色成分毎に平滑化処理を適用して白色細線を再構成した場合、白色細線の最高輝度値は多少低下するものの、輝度ムラの発生が抑えられた偽色の少ない白色細線を表示画像として生成することが可能となる。
【０１３７】
なお、平滑化対象となる白色細線画素の検出に際しては、注目画素が白色であって、かつ、当該白色である画素に隣接する画素が低輝度の画素のみを白色細線画素とした。つまり、注目画素が白色であっても、隣接する画素の輝度値が比較的大きな値の場合には、非該当画素とした。これは、注目画素に隣接する画素の輝度値が比較的大きな値の場合、偽色の発生が目立たないからである。
【０１３８】
このような平滑化対象となる白色細線画素は、一般的には自然画像に存在しない画像要素であって、ＭＲやＶＲ用途で人為的に生成されたＣＧ画像やアノテーション目的に挿入された文字やアイコンを表示した画像に含まれる。また、細線が白色ではない場合、例えば緑色や赤色の線であれば周期的な輝度ムラは生じるものの偽色は発生しないため、非該当画素とした。
【０１３９】
図１７Ｂの（ｇ）は、平滑化処理が適用された白色細線に対して、先鋭化処理を施した例を示している。平滑化処理の適用のみでは全体的な輝度はほぼ保存されるものの、人間の目にはエッジ部分が鈍った線として見える。そこで、白色細線を構成する画素に対して、先鋭化処理を適用し、下がった輝度値を上げることで、線自体は太く視認されるものの、白色が白色として視認される先鋭度の高い白色細線を表示画像として提供することが可能となる。
【０１４０】
以上説明してきたように、本実施形態では、表示光学系によって生じる色収差を信号処理によって補正する際に、注目画素が、表示画像に含まれる白色細線画素であるか否かを判断する構成とした。そして、白色細線画素と判断された注目画素について、補間処理前に平滑化処理を行う構成とした。これにより、補間処理時に生じる偽色の発生を抑制することが可能となった。
【０１４１】
更に、本実施形態では、平滑化対象となった画素に対して、先鋭化処理を適用し、白色細線の先鋭度を上げる構成とした。これにより、エッジの保存された視認性の高い白色細線を表示させることが可能となった。
【０１４２】
このように、本実施形態では、白色細線検出処理、平滑化処理および先鋭化処理という比較的処理負荷の小さな処理を組み合わせによって表示画質の向上を実現した。このため高画質化と処理の高速化および装置の小型化が実現されうるバランスの取れた色収差補正機能を提供することが可能となる。
【０１４３】
［第２の実施形態］
本発明の第２の実施形態について説明する。本実施形態にかかる画像処理方法は、第１の実施形態に係る画像処理方法が、白色細線画素と判断されたすべての画素に対して平滑化処理を適用していたのに対して、白色細線画素の中央部を除く外周画素に対してのみ、平滑化処理を適用する点に特徴がある。当該画像処理方法の場合、白色細線の線幅が２画素以内であれば効果は変わらないが、３画素以上の線幅を持つ場合、白色細線の中央部の輝度値が低下することを抑制することができるという効果がある。以下、当該点を中心に本実施形態に係る画像処理方法について説明する。
【０１４４】
＜１．適応的平滑化処理における白色細線検出処理の流れ＞
図１８は、適応的平滑化処理における白色細線検出処理の流れを示すフローチャートである。ステップＳ１８０１では、参照マトリクス内の各画素の輝度値を取得する。ステップＳ１８０２では、注目画素が白色であるか否かを判断する。なお、当該処理内容は図１１のステップＳ１１０２と同様である。注目画素が白色である場合には、ステップＳ１８０３へ進み、注目画素が白色でない場合にはステップＳ１８０８へ進む。
【０１４５】
ステップＳ１８０３では、参照マトリクス内の注目画素以外の画素に、注目画素と同一の輝度値を持つ画素が存在するか否かを判断する。なお、当該処理内容は、図１１のステップＳ１１０３と同様である。同一輝度値を持つ画素が存在すると判断された場合にはステップＳ１８０４へ進み、存在しない、すなわち注目画素が孤立画素であると判断された場合はステップＳ１８０８へ進む。
【０１４６】
ステップＳ１８０４では、参照マトリクス内に任意の閾値以下の輝度値の低い画素が存在するか否かを判断する。この処理内容は、図１１のステップＳ１１０４と同様である。任意の閾値以下の輝度値を持つ画素が存在する場合には、ステップＳ１８０５へ進み、存在しない場合にはステップＳ１８０８へ進む。
【０１４７】
ステップＳ１８０５では、注目画素の外周画素も白色であるか否かを判断する。注目画素のみならず、その外周画素も白色である場合には、該注目画素が白色細線の中央部に位置する画素であると判断することができる。外周画素も白色であると判断された場合には、ステップＳ１８０６へ進み、一部でも白色でない画素が含まれる場合には、ステップＳ１８０７へ進む。
【０１４８】
ステップＳ１８０６では、注目画素が白色細線の一部を構成する画素であって、かつ、白色細線の外周部に位置しない中央部の画素（平滑化対象とならない「白色細線中央画素」）であると判断し、処理を終了する。
【０１４９】
ステップＳ１８０７では、注目画素が白色細線の外周部にあたる画素（平滑化処理の対象となる「白色細線外周画素」）であると判断し処理を終了する。
【０１５０】
ステップＳ１８０８では、ステップＳ１８０２からステップＳ１８０４までの条件の何れかを満たしていないことから、平滑化対象とならない非該当画素であると判断し処理を終了する。
【０１５１】
＜２．適応的平滑化処理における平滑化処理の流れ＞
次に、適応的平滑化処理における平滑化処理の流れについて説明する。図１９は、適応的平滑化処理における平滑化処理の流れを示すフローチャートである。ステップＳ１９０１及びステップＳ１９０２における処理内容は、図１２のステップＳ１２０１及びステップＳ１２０２における処理内容と同様であるため、ここでは説明を省略する。
【０１５２】
ステップＳ１９０３では、注目画素が白色細線を構成する画素の一部で、かつ、非該当画素と隣接する白色細線の外周画素であるか（つまり、平滑化処理の対象となる白色細線外周画素であるか）否かを判断する。白色細線外周画素であると判断された場合には、ステップＳ１９０４へ進み、白色細線外周画素でないと判断された場合（つまり、白色細線中央画素または非該当画素であると判断された場合）には処理を終了する。
【０１５３】
ステップＳ１９０４では、上述したフィルタ演算を実施することで、注目画素を平滑化し、処理を終了する。
【０１５４】
このように、第１の実施形態では平滑化処理と先鋭化処理とを組み合わせて白色細線を再構成していたのに対して、本実施形態によれば、白色細線外周画素のみに平滑化処理を適用することで、先鋭化処理を行わない構成とすることが可能となる。この場合、先鋭度は多少落ちるものの、上記第１の実施形態と同様、白色細線の輝度値（白色細線の中央部のピークの輝度値）を保持したまま、偽色発生を抑制することが可能となる。
【０１５５】
なお、本実施形態の場合、適用可能な白色細線の幅は限られるが、適応的先鋭化処理を省くことができるため、第１の実施形態に比べ、処理負荷を低減させることが可能となる。なお、線幅に合わせて第１の実施形態で説明した画像処理方法と本実施形態で説明した画像処理方法とを組み合わせるように構成してもよい。
【０１５６】
［第３の実施形態］
本発明の第３の実施形態について説明する。上記第１の実施形態では平滑化処理とその後の補間処理とを別プロセスとして実現していた。これに対して、本実施形態に係る画像処理方法では、平滑化対象となる白色細線画素について補間処理を行う際に、平滑化効果の高い補間曲線を採用する構成とし、同一プロセス上で画素の平滑化と補間とを実現している点に特徴がある。以下、この点を中心に本実施形態に係る画像処理方法について詳細に説明する。
【０１５７】
＜１．表示系収差補正部の機能構成＞
はじめに、本実施形態に係る画像処理方法を実現する表示系収差補正部について説明する。図２０は、本実施形態に係る画像処理方法を実現する表示系収差補正部２０００の機能構成を示すブロック図である。図２０に示す、バッファ２００１、色分離部２００３、収差補正テーブル２００４、補正値選択部２００５は、上記第１の実施形態において図７を用いて説明した対応する各機能ブロックと同じである。また、図２０に示す、座標算出部２００６、適応的先鋭化処理部２００８、および色結合部２００９の各機能ブロックについても、上記第１の実施形態において図７を用いて説明した対応する各機能ブロックと同じである。このため、ここではこれらの機能ブロックについての説明は省略する。
【０１５８】
２００２は、表示画像中に含まれる白色細線を検出する白色細線検出部である。白色細線検出部２００２では、表示画像を格納しているバッファ２００１から白色細線検出に必要な領域を読みだし、前述した参照マトリクスを用いて、注目画素が白色細線の一部を構成する白色細線画素であるか否かを判断する。
【０１５９】
２００７は、変換後の注目画素の色情報を注目画素近傍の補間位置に再構成する補間処理を行う適応的補間処理部である。適応的補間処理部２００７では、白色細線検出部２００２における検出結果に基づき、注目画素が白色細線画素である場合には、補間式として平滑化効果の高いものを選択したうえで、補間処理を実施する。なお、補間処理の詳細については後述する。
【０１６０】
以上の構成により、偽色の発生を抑制する平滑化の効果が、補間処理の段階で実現されることとなり、表示系収差補正部２０００を実現するための処理回路の規模を縮小することが可能となる。
【０１６１】
＜２．表示系収差補正部による収差補正処理の流れ＞
次に、表示系収差補正部２０００による収差補正処理の流れについて説明する。図２１は、表示系収差補正部２０００による収差補正処理の流れを示すフローチャートである。ステップＳ２１０１、２１０２、２１０４、２１０５、および２１０７から２１１０までの処理内容は、上記第１の実施形態において図８を用いて説明した対応するステップの処理内容と同じであるため、ここでは説明は省略する。
【０１６２】
ステップＳ２１０３では、平滑化効果のある補間処理を行う対象となる画素として、白色細線の一部を構成する白色細線画素を検出する。処理の内容は第１の実施形態において図１１を用いて説明した処理内容とほぼ同じである。なお、上記第１の実施形態における白色細線検出処理では、白色細線を構成する画素の一部であるか、非該当画素であるかを判断していたが、ここでは、当該判断に加えて白色細線に隣接する非該当画素（「白色細線隣接画素」）であるか否かについても判断する。
【０１６３】
ステップＳ２１０６では、ステップＳ２１０５で得られた座標変換された注目画素の画素情報と参照画素の画素情報とに基づいて、新たな構成位置（補間位置）において、各色成分の輝度値を再構成する補間処理を行う。その際、注目画素がステップＳ２１０３で白色細線画素であると判断されていた場合には、平滑化効果を有する補間曲線を適用する。なお、適応的補間処理の詳細については以下に説明する。
【０１６４】
＜３．適応的補間処理についての説明＞
次に、表示系収差補正部２０００において実行される適応的補間処理（ステップＳ２１０６）について説明する。
【０１６５】
＜３．１ 補間曲線の説明＞
はじめに、適応的補間処理（ステップＳ２１０６）において用いられる補間曲線について説明する。図２２は、適応的補間処理（ステップＳ２１０６）において用いられる補間曲線の一例を示す図である。図２２において、２２０１（一点鎖線）は、バイキュービックのフィルタ形状を示す補間曲線である。同様に、２２０２（細い実線）はラグランジェ補間曲線を、２２０３（点線）はバイリニア直線を、２２０４（実線）はＢ−ＳＰＬＩＮＥ曲線（実線）をそれぞれ示している。軸上の数値は画素間隔で正規化した値である。なお、周囲の参照画素と補間画素との関係式であるバイキュービックとラグランジェに関しては上述したとおりである。
【０１６６】
補間処理を実現するフィルタ形状として、線形補間（一次補間）であるバイリニアよりも０と１の間においてより大きな値となる（上側に曲線が位置する）曲線は、先鋭化の効果が高い。一般に線形補間であるバイリニアを使用すると補間画素は周辺４画素の加算平均となるため、エッジ成分が失われた鈍い画像になることが知られている。逆にバイキュービックでは、周辺１６画素に重み付けを行った３次の演算を行い、エッジ成分を残した高画質な画像を得ることができる。
【０１６７】
つまり、先鋭化の効果でいえば、バイキュービック２２０１が最も高く、次いでラグランジェ２２０２、バイリニア２２０３、Ｂ−ＳＰＬＩＮＥ曲線２２０４の順番となる。反対に平滑化の効果でいえば、その順番は逆となる。
【０１６８】
通常の補間処理では高画質化を実現するためバイキュービック２２０１を使用し、平滑化の効果を得たい場合には、平滑化の度合いに応じて図に示した他の補間式、補間曲線・直線を採用する。なお、白色細線を構成する画素の一部と判断された白色細線画素についての補間処理においては、その参照マトリクス内に含まれる白色の画素の数によって平滑化の効果の異なる補間曲線を選択し、補間画素を生成する。
【０１６９】
例えば、参照マトリクス内の補間位置の近傍４画素すべてが白色細線画素である場合には、当該補間画素は白色細線中央画素であることが想定されるため、平滑化効果を有するラグランジェ曲線を選択する。
【０１７０】
＜３．２ 適応的補間処理の流れ＞
次に、適応的補間処理（ステップＳ２１０６）の詳細な処理の流れについて説明する。図２３は、適応的補間処理の詳細な処理の流れを示すフローチャートである。なお、ここでは通常使用の補間曲線としてバイキュービックを用いるものとする。
【０１７１】
ステップＳ２３０１から２３０４までの処理内容は、上記第１の実施形態において図１７を用いて説明した対応するステップの処理内容と同じであるため、ここでは説明は省略する。
【０１７２】
ステップＳ２３０５では、参照マトリクス内に含まれる注目画素が白色細線の一部を構成する白色細線画素であるかどうかを判断し、白色細線検出処理の検出結果を把握する。
【０１７３】
ステップＳ２３０６では、補間位置の近傍４画素に白色細線を構成する白色細線画素が含まれるか否かを判断する。含まれると判断された場合にはステップＳ２３０７に進み、含まれないと判断された場合にはステップＳ２３１０に進む。
【０１７４】
ステップＳ２３０７では、さらに当該近傍４画素内に白色細線隣接画素が含まれるか否かを判断する。含まれると判断された場合にはステップＳ２３０９に進み、含まれないと判断された場合にはステップＳ２３０８に進む。
【０１７５】
ステップＳ２３０８では、平滑化効果を有する補間処理を行う。通常の補間処理が前述したバイキュービックで行われるのに対して、ここでは、例えばラグランジェや線形補間による補間処理を行う。
【０１７６】
ステップＳ２３０９では、強度の平滑化効果を有する補間処理を行う。例えば、前述したＢ−ＳＰＬＩＮＥ曲線による補間処理を行う。
【０１７７】
ステップＳ２３１０では、通常の補間処理を行う。ここでは、バイキュービックによる補間処理を行う。
【０１７８】
ステップＳ２３１１では、全画素に対して上記処理を実行したか否かを判断する。全画素に対して上記処理を実行したと判断された場合には、処理を終了する。上記処理を実行していない画素があると判断された場合には、ステップＳ２３０１に戻り、対応する画素について上記処理を実行する。
【０１７９】
以上の説明から明らかなように、本実施形態では、補間処理時に平滑化効果の高い補間曲線に選択的に切り替える構成とした。これにより、平滑化と補間処理とを同一プロセス上で実現することが可能となった。また、本実施形態のように同一プロセス上で実現する構成とすることで、同じ三次補間式を採用した場合に、係数の変更のみで切り替えが可能となるため、比較的容易に収差補正機能を実現することが可能となる。このため、上記第１及び第２の実施形態と比較して、ハードウェア構成の回路規模を低減させることが可能となる。
【０１８０】
［第４の実施形態］
本発明の第４の実施形態について説明する。上記第３の実施形態では、平滑化処理とその後の補間処理とを同一プロセスで実現する構成とした。これに対して、本実施形態に係る画像処理方法では、白色細線画素に対する補間処理時に、先鋭化効果の高い補間曲線を採用することで、同一プロセス上で先鋭化処理と補間処理とを実現している点に特徴がある。以下、この点を中心に本実施形態に係る画像処理方法について詳細を説明する。
【０１８１】
＜１．表示系収差補正部の機能構成＞
はじめに、本実施形態に係る画像処理方法を実現する表示系収差補正部について説明する。図２４は、本実施形態に係る画像処理方法を実現する表示系収差補正部２４００の機能構成を示すブロック図である。なお、図２４に示す、バッファ２４０１、適応的平滑化処理部２４０２、色分離部２４０３、収差補正テーブル２４０４の処理内容は、上記第１の実施形態において図７を用いて説明した対応する各機能ブロックの処理内容と同じである。また、補正値選択部２４０５、座標算出部２４０６、および色結合部２４０８の各機能ブロックの処理内容についても、上記第１の実施形態において図７を用いて説明した対応する各機能ブロックの処理内容と同じである。したがって、ここでは、これらの機能ブロックについての説明は省略する。
【０１８２】
２４０７は、変換後の注目画素の色情報を注目画素近傍の補間位置に再構成する補間処理を行う適応的補間処理部である。適応的補間処理部２４０７では、白色細線検出部の検出結果に基づき、注目画素が白色細線画素である場合には、補間処理時に採用する補間式として先鋭化効果の高いものを選択したうえで、補間処理を実施する。
【０１８３】
このような構成とすることにより、偽色の発生を抑制する平滑化処理を行ったあとに実現されるべき先鋭化処理が、補間処理の段階で実現されることとなり、表示系収差補正部２４００を実現するための処理回路の規模を縮小することが可能となる。
【０１８４】
＜２．表示系収差補正部による収差補正処理の流れ＞
次に、表示系収差補正部２４００による収差補正処理の流れについて説明する。図２５は、表示系収差補正部２４００による収差補正処理の流れを示すフローチャートである。ステップＳ２５０１から２５０５、および２５０７から２５０９までの処理内容は、上記第１の実施形態において図８を用いて説明した対応するステップの処理内容と同じであるため、ここでは説明は省略する。なお、ステップＳ２５０３における適応的平滑化処理では、上記第３の実施形態の白色細線検出処理で説明した白色細線隣接画素であるか否かの判断も行うものとする。
【０１８５】
ステップＳ２５０６では、ステップＳ２５０５で得られた座標変換された注目画素の画素情報と参照画素の画素情報とに基づいて、新たな構成位置（補間位置）において、各色成分の輝度値を再構成する補間処理を行う。その際、注目画素がステップＳ２５０３で白色細線画素であると判断されていた場合には、先鋭化効果の高い補間曲線を適用する。
【０１８６】
＜３．適応的補間処理についての説明＞
次に、表示系収差補正部２４００において実行される適応的補間処理（ステップＳ２５０６）について説明する。
【０１８７】
＜３．１ 補間曲線の説明＞
はじめに、適応的補間処理（ステップＳ２５０６）において用いられる補間曲線について説明する。図２６は、適応的補間処理（ステップＳ２５０６）において用いられる補間曲線の一例を示す図である。図２６において、２６０１（一点鎖線）は、バイキュービックのフィルタ形状を示す補間曲線である。同様に、２６０２（点線）はバイリニア直線を、２６０３と２６０４（共に実線）は先鋭化効果の高い曲線をそれぞれ示している。軸上の数値は画素間隔で正規化した値であるのは、上記第３の実施形態と同様である。周囲の参照画素と補間画素との関係式であるバイキュービックとラグランジェに関しては上述したとおりである。ここでは先鋭化効果の高い曲線の式を示す。
【０１８８】
中程度の先鋭度を示す先鋭化曲線２６０３
【０１８９】
【数３】
【０１９０】
強度の先鋭度を示す先鋭化曲線２６０４
【０１９１】
【数４】
【０１９２】
なお、ここで示した先鋭化効果の高い補間曲線は、バイキュービックよりも先鋭化効果が高くなるように計算した独自の曲線である。ここで示した曲線以外でも、先に説明したように、バイキュービックと比較して、０と１の間においてより大きな値となる（上側に曲線が位置する）曲線であれば、いかなる曲線であっても構わない。
【０１９３】
先鋭化効果は、強度の先鋭化曲線２６０４が最も高く、次いで中程度の先鋭化曲線２６０３、バイキュービック２６０１、バイリニア２６０２の順番となる。
【０１９４】
通常の補間処理では高画質化を実現するため、バイキュービック２６０１を使用し、先鋭化の効果を得たい場合には、平滑化処理の度合いに応じて図２６に示した他の補間式、補間曲線を採用する。
【０１９５】
白色細線の一部を構成する画素と判断された白色細線画素についての補間処理においては、その参照マトリクス内に含まれる白色の画素の数に応じて、先鋭化の効果の異なる補間曲線を選択し、補間処理を実施する。例えば、参照マトリクス内の補間画素の近傍４画素すべてが白色細線画素である場合には、当該補間画素は白色細線中央画素であることが想定されるため、先鋭化効果を有する先鋭化曲線２６０３を選択する。
【０１９６】
＜３．２ 適応的補間処理の流れ＞
次に、適応的補間処理（ステップＳ２５０６）の詳細な処理の流れについて説明する。図２７は、適応的補間処理の流れを示すフローチャートである。なお、ここでは通常の補間曲線としてバイキュービックを用いるものとする。
【０１９７】
ステップＳ２７０１からＳ２７０７までの処理内容は、上記第３の実施形態において図２３を用いて説明した各ステップの処理内容と同じであるため、ここでは説明は省略する。
【０１９８】
ステップＳ２７０８では、先鋭化効果を有する補間処理を行う。通常の補間処理としてバイキュービックが用いられていた場合には、ここでは、例えば、先鋭化曲線２６０３を用いた補間処理を行う。
【０１９９】
ステップＳ２３０９では、強度の先鋭化効果を有する補間処理を行う。具体的には、先鋭化曲線２６０４を用いた補間処理を行う。ステップＳ２３１０では、通常の補間処理を行う。ここではバイキュービックを用いて補間処理を行う。
【０２００】
ステップＳ２７１１では、全画素に対して上記処理を実行したか否かを判断する。全画素に対して上記処理を実行したと判断された場合には、処理を終了する。一方、上記処理を実行していない画素があると判断された場合には、ステップＳ２７０１に戻り、対応する画素に対して上記処理を実行する。
【０２０１】
以上の説明から明らかなように、本実施形態では、補間処理時に先鋭化効果の高い補間曲線に選択的に切り替える構成とした。これにより、先鋭化処理と補間処理とを同一プロセス上で実現することが可能となった。また、本実施形態のように、同一プロセスで実現する構成とすることで、同じ三次補間式を採用した場合に、係数の変更のみで実現できるため、上記第３の実施形態と同様、ハードウェア構成の回路規模を低減することが可能となる。
【０２０２】
［第５の実施形態］
上記第１から第４の実施形態では、本発明に係る画像処理方法を、ＭＲシステムにおいてＨＭＤに表示される全ての画像に対して適用する場合について説明した。
【０２０３】
しかしながら、画像処理装置２０２が生成した表示画像中に、ＣＧ画像により構成されたワイヤーフレームや文字等が含まれるかどうかは、予め白色細線を生成する画像処理装置２０２側で把握することができる。そこで、白色細線およびそれに類する白色画素を含む画像が生成されたか否かについての情報を、画像処理装置２０２からＨＭＤ２０１へと送信し、適応的平滑化処理の適用を切り換えるように構成してもよい。
【０２０４】
また、ＨＭＤ２０１内部でＯＳＤ等によって警告表示や情報表示のための文字を表示することが可能である場合、それらの表示の有無をＨＭＤ２０１で判断し、適応的平滑化処理の適用を切り換えるように構成してもよい。
【０２０５】
また、上記第１から第４まで実施形態では、表示光学系のバリエーションについては特に言及しなかった。しかしながら、レンズ、プリズムなどの光学部材として、上下または左右非対称系のものを採用した表示光学系であってもよいし、また、複数レンズの組み合わせや結像面を複数回生成する表示光学系であってもよい。
【０２０６】
また、上記第１から第４の実施形態では、座標変換処理としてアドレス変換を例に説明を行ったが、従来技術で説明した解像度変換手法や近似多項式を用いた数値演算による座標変換処理を採用してもよい。
【０２０７】
また、上記第１から第４の実施形態では、接眼の拡大光学系を採用するＨＭＤにおいて収差補正を行う場合について説明を行った。しかしながら、収差補正の適用先は、ＨＭＤに限定されるものではなく、表示光学系を有しその収差の補正が必要な、デジタルカメラやカメラ付きの携帯電話およびデジタルビデオカメラ、背面投射型のテレビやカメラ等に搭載されるＥＶＦ等であってもよい。
【０２０８】
また、上記第１から第４の実施形態で説明した構成は、互いに組み合わせて使用してもよいことは言うまでもない。さらには、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に相当し得るものである。したがって、このような様々な組み合わせによるシステムもまた、本発明の範疇に属するものである。
【０２０９】
［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
表示される画像を処理する画像処理装置であって、
前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅よりも細い白色細線を構成する白色細線画素であるか否かを判断する判断手段と、
前記判断手段において白色細線画素であると判断された場合には、前記注目画素に対して平滑化処理を行うよう動作し、前記判断手段において白色細線画素でないと判断された場合には、前記注目画素に対して平滑化処理を行わないよう動作することで、該注目画素の色情報を算出する算出手段と、
前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記算出手段により色情報が算出された前記注目画素の位置を変換する変換手段と、
前記変換手段により変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記補間手段により補間処理された前記注目画素のうち、前記判断手段において白色細線画素であると判断された注目画素に対して、先鋭化処理を行う先鋭化処理手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補間手段は、前記判断手段において白色細線画素であると判断された注目画素と、白色細線画素でないと判断された注目画素とで、先鋭化効果の異なる補間曲線を用いて、前記補間処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判断手段において白色細線画素であると判断された場合に前記補間処理において用いられる補間曲線は、前記判断手段において白色細線画素でないと判断された場合に前記補間処理において用いられる補間曲線と比べて、先鋭化効果の高い補間曲線であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記算出手段は、前記判断手段において白色細線画素であると判断された場合であって、前記注目画素が、前記白色細線の外周部を構成する画素である白色細線外周画素である場合に、前記平滑化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
表示される画像を処理する画像処理装置であって、
前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅より細い白色細線を構成する白色細線画素であるか否かを判断する判断手段と、
前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記注目画素の位置を変換する変換手段と、
前記変換手段により変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間手段と、を備え、
前記補間手段は、前記注目画素が、前記判断手段において白色細線画素であると判断された場合と、白色細線画素でないと判断された場合とで、平滑化効果の異なる補間曲線を用いて前記補間処理を行うことを特徴とする画像処理装置。
【請求項７】
前記判断手段において白色細線画素であると判断された場合に前記補間処理において用いられる補間曲線は、前記判断手段において白色細線画素でないと判断された場合に前記補間処理において用いられる補間曲線と比べて、平滑化効果の高い補間曲線であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記補間手段により補間処理された前記注目画素のうち、前記判断手段において白色細線画素であると判断された注目画素に対して、先鋭化処理を行う先鋭化処理手段を更に備えることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記判断手段は、前記注目画素が所定の輝度値より高い画素であって、該注目画素の周辺に、該注目画素と同一の輝度値を有する画素が存在し、かつ、該注目画素の周辺に所定の閾値以下の輝度値を有する画素が存在する場合に、前記白色細線画素であると判断することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
表示される画像を処理する画像処理装置における画像処理方法であって、
判断手段が、前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅よりも細い白色細線を構成する白色細線画素であるか否かを判断する判断工程と、
算出手段が、前記判断工程において白色細線画素であると判断された場合には、前記注目画素に対して平滑化処理を行うよう動作し、前記判断工程において白色細線画素でないと判断された場合には、前記注目画素に対して平滑化処理を行わないよう動作することで、該注目画素の色情報を算出する算出工程と、
変換手段が、前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記算出工程において色情報が算出された前記注目画素の位置を変換する変換工程と、
補間手段が、前記変換工程において変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
表示される画像を処理する画像処理装置における画像処理方法であって、
判断手段が、前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅よりも細い白色細線を構成する白色細線画素であるか否かを判断する判断工程と、
変換手段が、前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記注目画素の位置を変換する変換工程と、
補間手段が、前記変換工程において変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間工程と、を備え、
前記補間工程は、前記注目画素が、前記判断工程において白色細線画素であると判断された場合と、白色細線画素でないと判断された場合とで、平滑化効果の異なる補間曲線を用いて前記補間処理を行うことを特徴とする画像処理方法。
【請求項１２】
請求項１０または１１に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１０または１１に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶した記憶媒体。
【請求項１】
表示される画像を処理する画像処理装置であって、
前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅よりも細い白色細線を構成する白色細線画素であるか否かを判断する判断手段と、
前記判断手段において白色細線画素であると判断された場合には、前記注目画素に対して平滑化処理を行うよう動作し、前記判断手段において白色細線画素でないと判断された場合には、前記注目画素に対して平滑化処理を行わないよう動作することで、該注目画素の色情報を算出する算出手段と、
前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記算出手段により色情報が算出された前記注目画素の位置を変換する変換手段と、
前記変換手段により変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記補間手段により補間処理された前記注目画素のうち、前記判断手段において白色細線画素であると判断された注目画素に対して、先鋭化処理を行う先鋭化処理手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補間手段は、前記判断手段において白色細線画素であると判断された注目画素と、白色細線画素でないと判断された注目画素とで、先鋭化効果の異なる補間曲線を用いて、前記補間処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記判断手段において白色細線画素であると判断された場合に前記補間処理において用いられる補間曲線は、前記判断手段において白色細線画素でないと判断された場合に前記補間処理において用いられる補間曲線と比べて、先鋭化効果の高い補間曲線であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記算出手段は、前記判断手段において白色細線画素であると判断された場合であって、前記注目画素が、前記白色細線の外周部を構成する画素である白色細線外周画素である場合に、前記平滑化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
表示される画像を処理する画像処理装置であって、
前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅より細い白色細線を構成する白色細線画素であるか否かを判断する判断手段と、
前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記注目画素の位置を変換する変換手段と、
前記変換手段により変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間手段と、を備え、
前記補間手段は、前記注目画素が、前記判断手段において白色細線画素であると判断された場合と、白色細線画素でないと判断された場合とで、平滑化効果の異なる補間曲線を用いて前記補間処理を行うことを特徴とする画像処理装置。
【請求項７】
前記判断手段において白色細線画素であると判断された場合に前記補間処理において用いられる補間曲線は、前記判断手段において白色細線画素でないと判断された場合に前記補間処理において用いられる補間曲線と比べて、平滑化効果の高い補間曲線であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記補間手段により補間処理された前記注目画素のうち、前記判断手段において白色細線画素であると判断された注目画素に対して、先鋭化処理を行う先鋭化処理手段を更に備えることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記判断手段は、前記注目画素が所定の輝度値より高い画素であって、該注目画素の周辺に、該注目画素と同一の輝度値を有する画素が存在し、かつ、該注目画素の周辺に所定の閾値以下の輝度値を有する画素が存在する場合に、前記白色細線画素であると判断することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
表示される画像を処理する画像処理装置における画像処理方法であって、
判断手段が、前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅よりも細い白色細線を構成する白色細線画素であるか否かを判断する判断工程と、
算出手段が、前記判断工程において白色細線画素であると判断された場合には、前記注目画素に対して平滑化処理を行うよう動作し、前記判断工程において白色細線画素でないと判断された場合には、前記注目画素に対して平滑化処理を行わないよう動作することで、該注目画素の色情報を算出する算出工程と、
変換手段が、前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記算出工程において色情報が算出された前記注目画素の位置を変換する変換工程と、
補間手段が、前記変換工程において変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
表示される画像を処理する画像処理装置における画像処理方法であって、
判断手段が、前記画像を処理する際の注目画素が、前記画像に含まれる、所定の輝度値より高く所定の幅よりも細い白色細線を構成する白色細線画素であるか否かを判断する判断工程と、
変換手段が、前記画像を表示するための表示光学系において生じる色収差に起因する結像位置のずれ量を示す情報に基づいて、前記注目画素の位置を変換する変換工程と、
補間手段が、前記変換工程において変換された前記注目画素の色情報を、該注目画素の近傍の画素であって、前記表示光学系において画像を表示する際の表示位置に対応する画素の色情報により再現することで、該注目画素の補間処理を行う補間工程と、を備え、
前記補間工程は、前記注目画素が、前記判断工程において白色細線画素であると判断された場合と、白色細線画素でないと判断された場合とで、平滑化効果の異なる補間曲線を用いて前記補間処理を行うことを特徴とする画像処理方法。
【請求項１２】
請求項１０または１１に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１０または１１に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図１７Ａ】
【図１７Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図１７Ａ】
【図１７Ｂ】
【公開番号】特開２０１１−１３９１５８（Ｐ２０１１−１３９１５８Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９６３６８（Ｐ２００９−２９６３６８）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]