説明

画像処理システム

この画像処理システムは、歯科用に適用された場合の例であって、患者(59)の義歯を製作する際に撮影装置(1A)により各異なる波長の複数の照明光LEDを発光させながら患者(59)の歯部の撮影を行い、画像データが取得される。上記画像データは、処理装置である歯科用ファイリングシステム(2A)に伝達され、そこで色再現データが演算により求められる。さらに、上記色再現データは、公衆回線を介して歯科技工所(55)に送信される。そこで、陶材配合比計算データベース(56)を検索し、患者(59)の歯部の色合いに合致する義歯陶材の配合データが求められ、患者(59)の歯の色に極めて近い義歯が製作される。

【発明の詳細な説明】
【技術分野】
この発明は、被写体の分光スペクトル画像情報を取得し、取得画像から被写体の画像の高精度の色再現や検査、判定等を行う画像処理システムに関する。
【背景技術】
近年、健康に対する関心が高まり、更に、審美の追求からホワイトニングへの要求が高まっている。従来、皮膚科、エスティティックサロン、美容カウンセリングなどでは肌診断用カメラが用いられ診断に供されてきた。特に皮膚科の場合、皮膚表面の診断として、皮溝や皮丘の画像から特徴を捉えカウンセリングが行われている。なお、上記肌診断用カメラに関しては、特開平8−149352号公報や、特開平7−322103号公報等に提案がなされている。
一方、歯科治療における義歯製作に関しては、従来では義歯の色を決定するに際して、シェードガイドによって患者本人の歯の色と比較することにより色の等級の判定が行われている。
上述のように皮膚科、歯科をはじめとして正確な色再現が求められているが、従来の高精度な色再現システムとして特開2000−152269号公報に開示されたシステムは、外部照明下の被写体をマルチスペクトル下で撮影するカメラを適用するものである。このシステムでは、被写体分光スペクトルの高精度な推定のために多数の回転可能な分光フィルタを用い、その回転によって多バンドのデータを取得し、高色再現を実現可能とするものである。
上述した皮膚科、歯科、さらに、正確な色再現を求める他の分野として、例えば、自動車の塗装色、建物の塗装色、食料品の分光特性、衣料品の染色などでは色を忠実に色再現して、診断、検査、確認や判別に供することが求められている。また、それらの装置に対しては、検査作業性から小型軽量、さらには、ハンディであることも要求されている。
しかしながら、上述した上記特開平8−149352号公報や特開平7−322103号公報等の肌診断用カメラの例は、ハンディなものではあるが、再現性、高色再現について十分なものとはいえない。また、上記特開2000−152269号公報に開示された回転フィルタ型を適用する高色再現システムは、固定配置型で重量が重く、更には、外部照明のため、色再現処理のためには、別途照明センサが必要であった。
また、従来の歯科治療において、歯の色を選択する場合、前述したように色の濃淡を示すシェードガイドで比較判断されていたが、主観的であり、また、室内光の劣化、変化によっても影響を受け、誤差を生じていた。また、記録を写真で行っていたがカメラ設定の確認が必要であったり、画像の大きさも合わせにくく、さらには、フィルム感度や現像感度が一定しないなど正確さに欠いていた。
その他、従来の小型撮影装置を適用する色再現画像システムにおける問題点として、
(1)簡単な構成の携帯可能な撮影装置により環境光に左右されない状態でより正確な分光画像データを取得できるようなものの提案はまだなされていない。
(2)被写体が正反射するような光沢のある被写体であった場合、取り込まれた画像データに光源による高輝度部分が生じる可能性があるが、この点を簡単な装置で解決するものの提案もまだなされていない。
(3)色再現を高精度にするために、基準色を配した色票によるキャリブレーション処理が行われているが、上記色票は、撮影装置とは別途に用意されるために、保管管理が必要となる。この補完管理は人手で扱われるために、色票に汚れが付き易く、また、管理の方法によっては外光に曝されて劣化する可能性があった。
(4)被写体を照明する光源の配置によってシェーディングが発生する可能性があるが、上記シェーディングを簡単な装置で防止する必要がある。
(5)人体の血流状態や、体温、脈拍、心拍等の管理に対して色再現画像システムを適用すれば、正確な診断を容易に行うことが可能になるがそれらの提案がなされていない。
(5)人体患部の撮影に際してその撮影位置の特定、または、撮影被写体像の大きさ等の管理を容易に行うことが可能なシステムがまだ提案されていない。
本発明は上記事情に鑑みてなされたものであり、高精度の色再現や検査、判定が可能であり、情報通信処理に対しても好適であり、しかも、その撮像部が小型軽量で携帯性に優れている画像処理システムを提供することを目的としている。
【発明の開示】
第1の発明は、被写体を撮影するための撮像光学系と、上記被写体からの被写体信号を取得するための撮像素子部と、それぞれ異なる分光分布特性を有する複数の照明光源と、画像撮影操作を行うための撮影操作部とを有し、上記複数の照明光源を上記撮像素子部の露光タイミングと連動し、かつ、上記複数の照明光源を選択的に点灯させることにより複数の被写体分光画像を得る画像撮影部と、上記画像撮像部で撮影された上記被写体分光画像を記憶するための画像メモリ部を有し、上記画像メモリ部に記憶された画像信号から所望の画像演算を行う画像処理部と、を有している画像処理システムである。
また、第2の発明は、上記第1の発明において、上記画像処理部が、さらに、前記画像メモリ部に記憶された画像信号から被写体の所定の等級演算、判別、または解析を行うことを特徴とする。
さらに、第3の発明は、上記第1の発明において、上記画像撮影部が、さらに、環境光の分光分布特性を検出するための照明検出センサを具備しており、外部ストロボ発光装置が着脱可能であり、上記照明検出センサの検出部は、上記外部ストロボ発光装置が装着されたときにストロボ光の導光路と光学的に結合する。
第4の発明は、上記第1の発明において、上記画像撮影部が、上記照明光源が被写体に直接写り込むことを防止するための反射光除去手段をさらに具備する。
第5の発明は、上記第1の発明において、上記画像撮影部が、さらに、上記照明光源と被写体との間に照明むらを軽減するための光学部材を具備する。
第6の発明は、上記第1の発明において、上記画像撮影部が、外部照明装置と連動するための接続接点部を有し、上記接続接点部を介して接続された外部照明装置は、前記照明光源と略同じ点灯順序で点灯する。
第7の発明は、上記第1の発明において、上記複数の照明光源が、中心波長が780nm乃至900nmである光源、または、中心波長が300nm乃至380nmである光源を少なくとも一つ含む。
第8の発明は、上記第1の発明において、上記画像撮影部と画像処理部とが、一体化されて形成されている。
第9の発明は、上記第1の発明において、上記画像撮影部が、上記画像処理部におけるキャリブレーションを行うための色票を内蔵する。
第10の発明は、上記第1の発明において、上記画像撮影部として、撮影機能を持つ携帯端末装置を適用し、それぞれ異なる分光分布特性を有する複数の照明光源がユニット化された照明光源部が上記撮影機能を持つ携帯端末装置に装着可能である。
第11の発明は、上記第1の発明において、画像処理部に画像ファイリングソフトウエアが具備されており、前記撮影操作部が操作された時に撮影された画像データが前記画像ファイリングソフトウエアの所定の個所に記録される。
第12の発明は、上記第1の発明において、上記画像撮影部が、さらに、上記被写体の部位情報を取得するための被写体部位検出手段を有する。
第13の発明は、上記第1の発明において、上記画像撮影部が、さらに、温度測定部を具備する。
第14の発明は、上記第1の発明において、上記画像撮影部が、さらに、脈拍測定部を具備する。
第15の発明は、上記第1の発明において、上記画像撮影部が、さらに、聴診機能を有する。
第16の発明は、上記第1の発明において、上記画像撮影部が、さらに、測距手段を有しており、撮影された画像中の被写体の大きさを管理する。
【図面の簡単な説明】
図1は、本発明の第1の実施形態における画像処理システムの構成を示すブロック図。
図2は、上記第1の実施形態におけるLEDの配置例や構成例を示す図。
図3は、上記第1の実施形態における、CCDの分光感度特性およびLEDの発光スペクトルと、これら両方による分光特性と、を示す線図。
図4は、上記第1の実施形態の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図5は、上記第1の実施形態の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図6は、上記第1の実施形態の6バンド分光画像取得における各フレームのバンド特性を示す線図。
図7は、上記第1の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図8は、上記第1の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図9は、上記第1の実施形態のモニタ用画像取得における各フレームのバンド特性を示す線図。
図10は、上記第1の実施形態における、6原色のLEDが各3つずつ設けられているときの点灯のさせ方の例を示す図。
図11は、上記第1の実施形態において、筐体の投射口に対して着脱可能に構成された当て付け部を示す斜視図。
図12は、上記第1の実施形態の処理装置におけるディスプレイに表示するための色再現を行う構成を示すブロック図。
図13は、上記第1の実施形態において、取得された被写体分光画像に基づき被写体に関する画像判別を行うための構成例を示すブロック図。
図14は、上記第1の実施形態の処理装置において入力プロファイルを生成する構成例を示すブロック図。
図15は、上記第1の実施形態の撮影装置のLCDモニタにおける表示例を示す図。
図16は、上記第1の実施形態の画像処理システムを使用するときの様子の一例を示す図。
図17は、本発明の第2の実施形態における画像処理システムの構成を示すブロック図。
図18は、上記第2の実施形態において、フルモードと読み出し2倍速モードとにおける読み出しの様子を示すタイミングチャート。
図19は、上記第2の実施形態において、2/4ライン2倍速モードと2/8ライン4倍速モードとにおける読み出されるラインの様子を示す図。
図20は、上記第2の実施形態において、撮影モードを設定する際の動作を示すフローチャート。
図21は、本発明の第3の実施形態における画像処理システムの構成を示すブロック図。
図22は、上記第3の実施形態の画像処理システムを使用するときの様子の一例を示す図。
図23は、上記第3の実施形態における、LEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図。
図24は、上記第3の実施形態において、6バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
図25は、上記第3の実施形態において、モニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
図26は、上記第3の実施形態の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図27は、上記第3の実施形態の6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図28は、上記第3の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図29は、上記第3の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図30は、上記第3の実施形態における、8バンドの分光画像を生成するときのLEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図。
図31は、上記第3の実施形態において、8バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
図32は、上記第3の実施形態の8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図33は、上記第3の実施形態の8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図34は、上記第3の実施形態において、モニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図。
図35は、上記第3の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート。
図36は、上記第3の実施形態のモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート。
図37は、本発明の第4の実施形態における画像処理システムの構成を示すブロック図。
図38は、上記第4の実施形態において、スペクトル検出センサを複数配設した画像処理システムを使用するときの様子の一例を示す図。
図39は、上記第4の実施形態におけるスペクトル検出センサの構成例を示す断面図。
図40は、上記第4の実施形態のスペクトル検出センサに接続される光ファイバの入射端の様子を示す断面図。
図41は、上記第4の実施形態のスペクトル検出センサに接続される光ファイバの入射端の近傍にセンサ用光学系を配設した構成例を示す断面図。
図42は、上記第4の実施形態において、環境光取得用に設けられたスペクトル検出センサに接続される光ファイバの入射端の様子を示す断面図。
図43は、本発明の第5の実施形態の歯科用画像処理システムのシステム構成図。
図44は、上記図43の歯科用画像処理システムに適用される撮影装置のブロック構成図。
図45は、本発明の第6の実施形態の画像処理システムの構成を示す図。
図46は、上記図45の画像処理システムのブロック構成図。
図47は、上記図45の画像処理システムの撮影装置における撮影処理のうちの撮影待機処理ルーチンのフローチャート。
図48は、上記図45の画像処理システムの撮影装置における撮影処理のうちの撮影ルーチンのフローチャート。
図49は、本発明の第7の実施形態の画像処理システムのブロック構成図。
図50は、上記図49の画像処理システムの撮影装置によって正反射被写体を各色のLED光で照明したときの状態を示す図であって、図50(A)は、上記結像時の正反射被写体と各色のLEDとCCDの配置を示し、図50(B)は、正反射部分のある画像を示す図。
図51は、上記図49の画像処理システムの撮影装置によって正反射被写体を各色のLED光で照明したときのCCDに結像する各色のLEDの照明による正反射部分が存在する被写体像と、上記画像処理システムの撮影装置で上記被写体像から正反射部分を削除した被写体像とを示す図。
図52は、上記図49の画像処理システムの撮影装置における正反射部分削除処理のフローチャート。
図53は、本発明の第8の実施形態の画像処理システムのブロック構成図。
図54は、上記図53の画像処理システムの撮影装置により、正反射被写体を撮影した場合における上記正反射被写体上での光の反射状態を示す図。
図55は、本発明の第9の実施形態の画像処理システムのブロック構成図。
図56は、上記図55の画像処理システムの撮影装置においてCCDの前面に配置される第2偏光板の正面図。
図57は、本発明の第10の実施形態の画像処理システムのブロック構成図。
図58は、上記図57の画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正前を示す図であって、図58(A),図58(B)は、それぞれ異なるLEDのシェーディング状態を示す。
図59は、上記図57の画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正後を示す図であって、図59(A),図59(B)は、それぞれ異なるLEDのシェーディング補正状態を示す。
図60は、本発明の第11の実施形態の画像処理システムのブロック構成図。
図61は、上記図60の画像処理システムにおける撮影装置のLED光源部の配置図。
図62は、本発明の第12の実施形態である画像処理システムのブロック構成図。
図63は、本発明の第13の実施形態である画像処理システムのブロック構成図。
図64は、本発明の第14の実施形態である画像処理システムのブロック構成図。
図65は、本発明の第15の実施形態である画像処理システムのシステム構成図。
図66は、本発明の第16の実施形態である画像処理システムに適用される画像撮影部のブロック構成図。
図67は、本発明の第17の実施形態である画像処理システムのに適用される撮影装置のブロック構成図。
図68は、本発明の第18の実施形態である画像処理システムによる診察状態を示す図。
図69は、本発明の第19の実施形態である画像処理システムによる診察状態を示す図。
【発明を実施するための最良の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1から図16は本発明の第1の実施形態を示したものであり、図1は画像処理システムの構成を示すブロック図である。
この画像処理システムは、可視光域において互いに独立して異なる複数の波長帯域の照明光により被写体を照明して被写体分光画像を撮影可能な撮影装置1と、この撮影装置1と接続されていて該撮影装置1から出力される被写体分光画像を処理する処理装置2と、を有して構成されていて、該処理装置2は、必要に応じてネットワーク3に接続することができるように構成されている。
上記撮影装置1は、本実施形態においては、6種類の波長帯域の照明光(6原色の照明光)を被写体に順次照射して、6枚の被写体分光画像を静止画として取り込む撮像と、6原色の照明光から1以上の照明光を各選択してRGBの3色の照明光としこれらを順次に照射することにより面順次式の動画として取り込む撮像と、を行うことができるようになっている。
上記撮影装置1は、後述する照明光を被写体に投写するとともに被写体からの反射光を入射するための投射口5aを備えた筐体5と、この筐体5の投射口5a側に着脱可能に取り付けられており該投射口5aを介して被写体に投射する照明光に外光が混入することのないように遮光するための柔軟性を有する素材により略筒状に形成された当て付け部4と、上記筐体5内に組み込まれていて点灯されることにより被写体を照明するための照明光を発光する発光素子である第1LED6a〜第6LED6fと、上記筐体5内に組み込まれていてこれら第1LED6a〜第6LED6fにより照明された被写体像を結像するための撮像光学系7と、この撮像光学系7により結像された被写体像を撮像して画像信号を出力する撮像素子部に含まれる撮像素子たるCCD8と、このCCD8から出力されるアナログ信号をデジタル信号に変換するA/D変換器9と、このA/D変換器9から出力され後述するバス10を介して伝送される被写体分光画像を一旦記憶するとともに後述するCPU18による作業領域としても用いられるメモリ11と、使用者が分光画像撮影動作の開始を指示入力したり動画像撮影動作の開始や終了を指示入力したりするための各種の操作スイッチや操作ボタンを含んでなる撮影操作部たる操作スイッチ14と、この操作スイッチ14からの指示入力を後述するCPU18に伝達するとともに該CPU18からの指令により上記第1LED6a〜第6LED6fの発光制御に関する命令等を行ったりこの撮影装置1の撮像動作に関する制御を行ったりするカメラ制御I/F12と、このカメラ制御I/F12からの指令に基づき上記第1LED6a〜第6LED6fの発光開始タイミングや発光終了タイミングなどの発光動作に係る制御を行うLEDドライバ13と、上記CCD8により撮像される動画像や上記メモリ11に記憶された被写体分光画像(静止画像)を後述するLCDモニタ16に表示するための制御を行うモニタI/F15と、このモニタI/F15から出力される画像を表示するためのLCDモニタ16と、上記メモリ11に記憶された被写体分光画像や後述するCPU18からの制御データ等を上記処理装置2に出力しあるいは該処理装置2からの通信データを入力するための外部I/F17と、上記A/D変換器9、メモリ11、カメラ制御I/F12、モニタI/F15、外部I/F17、後述するCPU18等を互いに接続するバス10と、上述した各回路を含むこの撮影装置1を統括的に制御する制御部たるCPU18と、を有して構成されている。
上記処理装置2は、例えばパーソナルコンピュータ等でなり、上記外部I/F17から出力される被写体分光画像を受信して、後述するように入力プロファイルを用いてXYZ三刺激値を算出し、さらにこのXYZ三刺激値からディスプレイプロファイルを用いて被写体が与えると推定されるXYZ三刺激値とほぼ同一のXYZ三刺激値を後述するディスプレイ22により得られるような表示用信号を生成する演算装置21と、この演算装置21から出力される表示用信号により高度な色再現がなされた画像を表示するディスプレイ22と、を有し、さらに、特に図示はしないが上記ネットワーク3に接続するためのネットワークインタフェース等も備えて構成されている。
なお、上記撮影装置1と処理装置2とは、有線により接続されていても良いし、例えばBluetoothや無線LANなどの無線により接続されていても構わないし、あるいは一体に構成されていても良い。
図3は、CCD8の分光感度特性およびLED6a〜6fの発光スペクトルと、これら両方による分光特性と、を示す線図である。
発光素子である上記第1LED6a〜第6LED6fは、図3(A)に示すように、それぞれ異なる独立した発光スペクトルを有したものとなっていて、曲線fL1により示される第1LED6aの光は例えばやや紫がかった青、曲線fL2により示される第1LED6bの光は例えばやや緑がかった青、曲線fL3により示される第1LED6cの光は例えばやや青がかった緑、曲線fL4により示される第1LED6dの光は例えばやや黄がかった緑、曲線fL5により示される第1LED6eの光は例えばオレンジ、曲線fL6により示される第1LED6fの光は例えば赤、などとなっている。
なお、図示の例では、第1LED6a〜第6LED6fの各発光スペクトルは、互いに重なり合うことなく完全に分離されているが、一部が重なり合うような発光スペクトルであっても構わない。もちろん、LEDの種類も6種類に限るものではなく、適宜の種類数のLEDの組み合わせを採用することができる。
ここに、各LEDによる照明光のスペクトル配列は、均等波長間隔(波長方向に均等な間隔で例えばピークが並ぶもの)、均等波長比間隔(波長方向に一定の比率間隔でピーク等が並ぶもの)、特定目的用の特定配列(特定の目的に沿って波長方向に特定の配列でピーク等が並ぶもの)、特定波長色逓倍設定(特定波長を基本波長として逓倍波長位置にピーク等が並ぶもの)、特定偏光色配置(波長方向に沿って並ぶピークで表される各光が特定方向に偏光しているもの)、可視域外光配置(波長方向に沿って並ぶピークで表される光が可視域外の領域にも達しているもの)等の何れであっても採用することが可能であり、使用目的に最も合致するものを選ぶようにすると良い。
また、ここでは、発光素子として、軽量、小型、かつ比較的安価で入手容易でありながら高輝度の半導体発光素子であるLEDを用いているが、これに限らず、例えばLD(レーザダイオード)等の半導体レーザーやその他の発光素子を用いることも可能である。
一方、上記CCD8は、本実施形態においては、モノクロタイプのCCDを使用しており、そのセンサ感度は、図3(A)の曲線fSに示すように可視光域をほぼカバーするようなものとなっている。なお、ここでは撮像素子としてモノクロタイプのCCDを用いているが、これに限るものではなく、後述する実施形態において述べるようにカラータイプのCCDを用いても良いし、CCDに限らずCMOSタイプやその他の各種の撮像素子を広く使用することが可能である。
そして、上記第1LED6a〜第6LED6fによって照明された被写体の像をこのCCD8により受光するときの分光感度特性は、例えば図3(B)に示す曲線fSL1〜fSL6のようになっている。このようなトータルの分光感度特性の波長による相異は、後段で電気的に処理されたり、あるいは撮影装置1に係る入力プロファイルなどとして補正されたりすることになる。
また、図2はLEDの配置例や構成例を示す図である。
図2(A)は、6種類の原色で構成される上記第1LED6a〜第6LED6fを、リング状に順次3セット(各色3個ずつ)配置した例を示している。なお、図示の配置順は一例を示したのみであり、これに限らず、逆順やランダム配置などの任意の配列を広く適用することが可能である。
次に、図2(B)は、リング状に発光部6Aを複数配置していて、かつ、各発光部6A内に6種類の原色を包含するように上記第1LED6a〜第6LED6fを配置した例を示している。なお、図示の例では、1つの発光部6A内に6原色の全てを配置しているが、これに限らず、3原色ずつを配置するなどの6原色が複数の発光部6Aに分かれるようにしても構わない。
さらに、図2(C)は、上記第1LED6a〜第6LED6fのそれぞれにファイババンドル6Bの一端側6Ba〜6Bfを接続し、他端側6Bgをリング状に形成したものである。これにより、LED6a〜6fから発光された照明光は、バンドルファイバ端6Ba〜6Bfに入射する。バンドルファイバ端は複数のさらに細いファイバから構成されており、バンドルファイバの射出部6Bgでは各LEDからのこれら細いファイバは互いに混ぜ合わされてリング状の均一な光源として被写体に照射され、被写体による全反射の影響を低減することができる。
なお、LEDの配置は、図2に示したような例に限らず、CCD8による撮像に支障を来すことのない限りは、リング状配置、十字状配置、矩形状配置、ランダム配置などの適宜の配置を採用することが可能である。
次に、この撮影装置1では、2種類の画像取得モードがあることについて説明する。
上述したように、この撮影装置1は、通常のRGB画像としての動画と、高度な色再現を可能とする6原色の被写体分光画像としての静止画と、を撮像することができるようになっており、動画はモニタ用画像取得モードにおいて、静止画は分光画像取得モードにおいて、それぞれ撮像されるようになっている。
これら2つのモードは、上記操作スイッチ14に含まれている押下式のボタンスイッチでなる撮影ボタン14a(図16参照)を押すことにより切り替えられるように構成されている。
すなわち、まず、電源スイッチをオンにするなどによりモニタ用画像取得モードが自動的に設定され、被写体像が動画としてLEDモニタ16上に表示される。この状態で、分光画像を撮影したい被写体部分を探して、撮影装置1の位置決めを行う。こうして、撮影したい被写体部分が撮像範囲内に入って位置決めがなされたところで、上記撮影ボタン14a(図16参照)を押すことにより、分光画像取得モードに切り替って被写体分光画像が静止画として取得される。
被写体分光画像が取得された後は、再びモニタ用画像取得モードに復帰して、次に分光画像を取得したい被写体部分を探すことができるような構成となっている。
なお、図示はしないが、別途の設定を行うことにより、取得した分光画像を用いた色再現表示や分光画像を解析した結果の表示などを、分光画像の取得直後に該LCDモニタ16、あるいは上記ディスプレイ22に行うことも可能となっている。
次に、図4から図6を参照して、画像処理システムにおける分光画像取得モードの動作について説明する。図4は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図5は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート、図6は6バンド分光画像取得における各フレームのバンド特性を示す線図である。
撮影ボタン14a(図16参照)が押されることによりモニタ用画像取得モードから分光画像取得モードに切り替わると、分光画像の撮像を開始するか否かを判断する(ステップS1)。撮影ボタン14aの押圧により直ちに分光画像の撮像が開始される場合にはこの判断動作を行わなくても構わないが、撮影ボタン14aが例えば2段式の押圧ボタンで構成されていて、1段目の半押し状態で焦点調節や露光量調節等を行い、2段目の全押し状態で露光を開始する場合には、このステップS1において2段目が押圧されたか否かを判断する。
次に、変数nに1を設定して(ステップS2)、第nLEDを点灯させる(ステップS3)。ここではn=1に設定されているために、第1LED6aを点灯させることになる。第1LED6aによる照明光は、筐体5の投射口5aを介して被写体に照射される。このときに、当て付け部4が被写体の表面に柔軟に当て付いて外光の侵入を防いでいるために、被写体には第1LED6aからの照明光のみが投射されることになる。被写体からの反射光は、撮像光学系7によりCCD8の表面に結像される。
この第1LED6aの点灯が開始された後に、CCD8による撮像、より詳しくは電荷の蓄積、を開始する(図5参照)(ステップS4)。
CCD8による撮像が終了したら、その後に第1LED6aを消灯し(ステップS5)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第nメモリ:ここでは第1メモリ)に記憶させる(ステップS6)。6バンド分光画像を撮像する場合には、メモリ11内に第1メモリから第6メモリまでの記憶領域が設けられており、これらの記憶領域に各分光画像が順次格納されるようになっている。
その後、nをインクリメントする(ステップS7)。ここではnが1から2にインクリメントされることになる。
nが7以上になったか否かを判断して(ステップS8)、ここではまだ2であるために上記ステップS3に戻り、第2LED6bを点灯して上述したようなステップS3からステップS7までの動作を行う。
このようにして、n=6のときに第6LED6fを点灯してステップS6までの動作を終了すると、図6に示すようなバンド特性の6バンド分光画像が取得され、メモリ11に保存されたことになる。そして、ステップS7でn=7にインクリメントされるために、ステップS8の判断においてnが7に達したとして、この6バンド分光画像取得の動作を終了する。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
次に、図7から図9を参照して、画像処理システムにおけるモニタ用画像取得モードの動作について説明する。図7はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図8はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャート、図9はモニタ用画像取得における各フレームのバンド特性を示す線図である。
このモニタ用画像取得モードは、第1LED6a〜第6LED6fによる6原色の照明光から、青(B)の範疇に相当する第1LED6aおよび第2LED6bを発光させる状態と、緑(G)の範疇に相当する第3LED6cおよび第4LED6dを発光させる状態と、赤(R)の範疇に相当する第5LED6eおよび第6LED6fを発光させる状態と、を順次取らせることにより、RGB画像を面順次式で動画像として取得するモードとなっている。
なお、ここでは、一般のRGB画像用を想定して発光原色を選定しているが、これに限らず、特殊な用途等に応じた他の発光原色の選定も行うことが可能である。
電源スイッチがオンされることによりモニタ用画像取得モードが設定されるか、あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS11)。
ここでは直ちに撮像が開始され、変数nに1を設定して(ステップS12)、第nLEDおよび第n+1LEDを点灯させる(ステップS13)。ここではn=1に設定されているために、第1LED6aおよび第2LED6bを点灯させることになる。
これら第1LED6aおよび第2LED6bの点灯が開始された後に、CCD8による撮像を開始する(図8参照)(ステップS14)。
CCD8による撮像が終了したら、その後に第1LED6aおよび第2LED6bを消灯し(ステップS15)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第nメモリ:ここでは第1メモリ)に記憶させる(ステップS16)。
その後、nを2だけ増加させる(ステップS17)。ここではnが1から3に増加されることになる。
nが7以上になったか否かを判断して(ステップS18)、ここではまだ3であるために上記ステップS13に戻り、第3LED6cおよび第4LED6dを点灯して、上述したようなステップS13からステップS17までの動作を行う。
これによりn=5となって、さらに上記ステップS13に戻って第5LED6eおよび第6LED6fを点灯してステップS16までの動作を終了すると、図9に示すようなバンド特性のRGB画像がB,G,Rの順に取得され、メモリ11の第1メモリ、第3メモリ、第5メモリに各保存されたことになる。そして、ステップS17でn=7にインクリメントされるために、ステップS18の判断においてnが7に達したと判断される。
こうして、RGB画像を取得した後に、上記ステップS11に戻って、次のRGB画像を取得するかを判断する。モニタ用画像取得モードが引き続いて設定されている場合には、次のRGB画像の取得を行い、これを連続的に繰り返すことで、RGB動画像を得ることができる。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
このようにしてメモリ11に記憶された画像データは、その後に読み出されてモニタ表示用の画像信号に変換され、モニタI/F15を介してLCDモニタ16に出力されて表示される。また、この画像処理システムの設定を変更することにより、処理装置2のディスプレイ22に表示することも可能となっている。
なお、ここでは照度を確保するために、6原色のLEDを2つずつに分けて3つの素子群、つまりR素子群、G素子群、B素子群でなるグループを構成したが、これに限らず、例えば、B(青)については第1LED6aを、G(緑)については第3LED6cを、R(赤)については第5LED6eをそれぞれ発光させる、各1色の発光を行うようしても良い。このときには、これらのLEDの分光特性が、RGB発光に適するようなものを選定するようにすると良い。
さらに、単一あるいは複数の特定の原色のLEDのみを点灯して、モノクロモニタ画像を取得することにより、モニタ表示を高速に行うことも可能である。
図10は、6原色のLEDが各3つずつ設けられているときの点灯のさせ方の例を示す図である。
発光モードとしては、全てのLEDを点灯する場合、1つの原色の1つのLEDのみを単一点灯する場合、1つの原色について3つのLEDを点灯させる単一原色点灯の場合、6原色のLEDを各1個ずつ点灯させる場合、18個でなる6原色のLEDの内の例えば青(B)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば緑(G)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば赤(R)に属する6個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば青(B)に属する3個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば緑(G)に属する3個のLEDを点灯させる場合、18個でなる6原色のLEDの内の例えば赤(R)に属する3個のLEDを点灯させる場合、などが例として挙げられる。こうして、色毎にまとめた素子群を同時に発光させたり、位置毎にまとめた素子群を同時に発光させたりすることができるようになっている。
なお、本実施形態の撮影装置1は、被写体を撮像するときに、接触で行うことも非接触で行うことも何れも可能であるが、画像を正確に色再現するためには、この撮影装置1以外から発生する光の影響を受けることのないようにする必要がある。
従って、非接触で被写体を撮像する場合には、外光照明を消灯する必要がある。
また、塗装面、皮膚面、近接画像などの接触で撮影を行うことができる被写体の場合には、上述したように、略円筒状に形成された当て付け部4を被写体に柔軟に当て付けることができるために(図1参照)、遮光性を確保することが可能となる。
当て付け部4は、接触式である場合に用いるものであるために、被写体が人体である場合などには細菌汚染や汚れなどを防ぐ衛生の観点から、また、被写体が塗装板などである場合には汚れが転写するのを防止する観点などから、図11に示すように、着脱可能でディスポーザブルな部材となっている。図11は、筐体5の投射口5aに対して着脱可能に構成された当て付け部4を示す斜視図である。
この当て付け部4は、被写体が高温または低温のものである場合に向けて断熱素材により形成したり、被写体が静電気を帯びる性質のものであったり導電性を有する電気関連のものであったりする場合に向けて絶縁性素材により形成したり、被写体が溶液が浸漬しているものである場合に向けて防溶液性の素材により形成しかつ照明光を投影し反射光を受光するためのガラス窓などを形成したりすることが可能である。当て付け部4は着脱可能な単体の部品であるために、このような各種の素材で種々の形状に形成するのを容易に行うことができる。さらに、被写体の表面を肉眼で観察するために、当て付け部4に開閉可能な観察用窓等を設けることも容易に可能である。
なお、本実施形態において、LEDにより発光される複数の原色の内の、特定の一または複数の原色を用いることによって、特定用途の検査や判別に利用することも可能である。
続いて、処理装置2における色再現について説明する。
上述したような撮影装置1における撮像動作によりメモリ11内に記録された被写体分光画像は、外部I/F17を介して処理装置2に送信され、該処理装置2に内蔵される画像メモリ部32(図12参照)に記録されて、所定のソフトウェアによって動作する演算装置21により、色再現や画像処理が行われるようになっている。その処理結果は、該処理装置2のディスプレイ22に表示されるか、あるいは上記LCDモニタ16に転送されて表示される。
図12は、処理装置2におけるディスプレイ22に表示するための色再現を行う構成を示すブロック図である。
この処理装置2は、撮影装置1から入力される被写体分光画像が上記第1LED6a〜第6LED6fの何れにより照明されたものであるかに応じて画像メモリ部32内の記憶領域を振り分ける画像振り分け部31と、この画像振り分け部31により振り分けられた被写体分光画像をそれぞれ記憶する記憶領域である第1メモリ32a〜第6メモリ32fを備えた画像メモリ部32と、この画像メモリ部32に記憶された被写体分光画像を読み出してディスプレイ22において高度に色再現された画像を表示するためのディスプレイ画像データを算出し出力する色再現演算部33と、を有し、これらは例えば図1に示した演算装置21に含まれていて、さらに、上記色再現演算部33から出力されるディスプレイ画像データに基づき高度に色再現された画像を表示する上記ディスプレイ22を有して構成されている。
上記色再現演算部33は、撮影装置1に関するプロファイルを記憶する入力プロファイル記憶部33bと、上記画像メモリ部32の第1メモリ32a〜第6メモリ32fに記憶された被写体分光画像を読み出して上記入力プロファイル記憶部33bに記憶されている入力プロファイルと内部に設定された所定の等色関数とを用いて推定演算を行うことによりXYZ三刺激値の画像データを生成するXYZ推定演算部33aと、上記ディスプレイ22に関するプロファイルを記憶するディスプレイプロファイル記憶部33dと、上記XYZ推定演算部33aにより推定されたXYZ三刺激値の画像データと上記ディスプレイプロファイル記憶部33dに記憶されているディスプレイプロファイルとを用いて演算を行うことにより上記ディスプレイ22に出力するためのディスプレイ画像データを生成するディスプレイ値変換部33cと、を有して構成されている。
上記入力プロファイル記憶部33bに記憶されている入力プロファイルは、例えば特開2000−341499号公報に記載されているようなものであって、撮像に用いたCCD8の分光感度を含む撮影装置1の特性や設定(画像入力装置)、被写体を撮影するときの照明光のスペクトルデータ(撮影照明光情報)、生成した被写体画像を観察するディスプレイ22が設置されている場所の照明光のスペクトルデータ(観察照明光情報)、撮影した被写体の分光反射率の統計的性質等の情報(被写体特性情報)、等の情報に基づき算出されたものである。
図14は、処理装置2において入力プロファイルを生成する構成例を示すブロック図である。
上記入力プロファイルは、図14に示すように、撮影装置1から取得した各データ等に基づき処理装置2において生成するようにしても良い。
撮影装置1において取得されるデータとしては、照明光スペクトルデータ、カメラ特性データ、被写体特性データなどが例として挙げられる。
上記照明スペクトルデータは、例えば被写体を撮像するときの照明に関するスペクトルデータであり、接触式である場合には撮影装置1に内蔵した各LED6a〜6fのスペクトルデータとなる。非接触式の場合には、さらに、被写体を撮影する場合の外部照明のスペクトルデータなども含むことになる。
上記カメラ特性データは、フォーカス値などを含む撮影光学系7の特性、CCD8の撮像特性、シャッタ速度、絞り値、などの諸特性を含んで構成されている。
上記被写体特性は、被写体が例えば歯、皮膚、塗料などである場合の分光統計データ等で構成されていて、高精度な入力プロファイルを作成するために、操作スイッチ14などに被写体指定操作部を設けて、被写体を指定するための被写体指定信号を入力するようにしても良い。
これらのデータに基づいて入力プロファイルを生成する処理装置2の構成は、図14に示すように、上記照明スペクトルデータ、カメラ特性データ、被写体特性データを読み込んで演算を行うことにより入力プロファイルを生成する入力プロファイル演算部33eと、この入力プロファイル演算部33eにより生成された入力プロファイルを記憶する上記入力プロファイル記憶部33bと、を有して構成されている。
このような構成により、処理装置に接続される撮影装置1を異なる個体、機種などのものに変更(撮影光学系7の変更等)したり、撮影を行う環境照明が変化したり、撮影対象となる被写体を様々に変化させたりしても、適応的に、高度な色再現を行うことが可能となる。
また、上記ディスプレイプロファイル記憶部33dに記憶されているディスプレイプロファイルは、ディスプレイ22の表示原色値(例えばディスプレイ22がRGBモニタである場合にはRGB原色値)の色度値、ディスプレイ22のトーンカーブ、等の情報に基づき算出されたものである。なお、ディスプレイは、特開2000−338950号公報に記載されているような多原色の色再現システムを用いても構わない。
また、図13は、取得された被写体分光画像に基づき被写体に関する画像判別を行うための構成例を示すブロック図である。
上記画像メモリ部32の第1〜第6メモリ32a〜32fに記憶された被写体分光画像は、画像判別演算部34により読み出されて被写体に関する画像判別が行われ、その判別結果が出力されて上記ディスプレイ22に表示されるようになっている。また、画像の判別演算がネットワークを介して行われ、結果がLCDモニタ16に表示されるように構成されていても構わない。
上記画像判別演算部34は、被写体に関する各種の分類/判定/診断などを行うための判別関数を記憶する判別関数記憶部34bと、上記画像メモリ部32の第1〜第6メモリ32a〜32fに記憶された6枚の被写体分光画像の全部またはその内から選択される1枚以上の被写体分光画像を、この判別関数を用いて演算することにより判別結果を算出し上記ディスプレイ22に表示するための判別結果表示用画像データを生成する判別演算部34aと、を有して構成されている。
なお、上記判別関数は、この画像処理システムをどのような用途に用いるかによって、種々の置き換えを行うことが可能である。従って、上記判別関数記憶部34bを、書き換え可能または追記可能な記憶媒体により構成して、用途に応じて使用する判別関数を書き加え、あるいは書き換えるようにすると良い。このような判別関数の具体的な例としては、特開平7−120324号公報に記載されたような処理を行う関数を例に挙げることができる。
この図13に示す画像判別演算部34は、上記図12に示した色再現演算部33に代えて処理装置2に備えさせるようにしても良い。あるいは、図12に示した色再現演算部33とともに該処理装置2内に設けて、これらにより処理を並列して同時に行わせたり、または、必要なものだけを選択的に切り替えて処理を行わせるようにしても構わない。
次に、図15は、撮影装置1のLCDモニタ16における表示例を示す図である。
LCDモニタ16は、例えば図15(A)に示すように、撮影装置1の筐体5の背面側の、把持部5bの上部に配設されていて、図15(B)や図15(C)に示すような画像を表示するようになっている。なお、ここでは、手を被写体として撮像している例を示している。
まず、図15(B)は、上記モニタ用画像取得モードにより撮像された動画像を表示しているときの様子を示しており、これにより、LEDモニタ16がファインダとしての機能を果たすようになっている。
次に、図15(C)は、例えば上記画像判別演算部34による被写体画像の判別結果を表示している様子を示している。ここでは、被写体のID番号(例えば医療分野の診断支援システムにおける患者番号など)と、画像判別により得られた数値解析結果のグラフ(例えば治療経過など)と、が表示されている。LCDモニタ16には、これらに限らず、色再現画像、患者カルテ、各種データ、図表などの、種々の情報を表示することが可能となっている。
こうして、上記LCDモニタ16は、撮影部位を選択するときのファインダとして機能したり、色再現結果や分類/判定/診断などの結果を表示するときのモニタとして機能したりするようになっている。
一方、処理装置2のディスプレイ22は、ハンディタイプの撮影装置1に設けられたLCDモニタ16よりも大面積で高精細なタイプのものである場合が多いために、該処理装置2において目的に応じて実行される処理ソフトウェアの、起動表示、条件設定表示、被写体IDなどの情報を入力するためのGUI表示や、患者の経歴表示、前回情報等の被写体情報表示、処理結果表示などを行うようにしても良い。
上記ネットワーク3には、例えば外部データベースが接続されており、この外部データベースから被写体情報を処理装置2に取得したり、あるいは、処理装置2において行った処理結果を外部データベースへ格納するなどを行うようにしても良い。このときには、セキュリティーを確保するために、処理装置2と外部システムとをネットワーク3を介して接続する際に相互認証を行ったり、被写体データにセキュリティーレベルを設けてレベルに応じた認証を行ったりするように構成することも可能である。
次に、図16は、画像処理システムを使用するときの様子の一例を示す図である。
上記撮影装置1は、軽量小型となるように構成されており、例えば片手で把持部5bを把持して、撮像系が設けられた筐体5の先端側を、当て付け部4を介して被写体の撮影対象部位に当てることにより、撮像を行うことができるようになっている。
上記当て付け部4は、上述したように、着脱可能でディスポーザブルな部材となっていて、外部からの光が被写体の撮影対象部位に当たるのを遮蔽している。
上記把持部5bの上部、例えば人差指で操作可能な位置に、上記操作スイッチ14に含まれる撮影ボタン14aが設けられており、上記LCDモニタ16で撮影しようとする部位を特定した後に、この撮影ボタン14aを押下することにより、上述したようにモニタ用画像取得モードから分光画像取得モードに移行して、分光画像の撮像が行われるようになっている。
取得された分光画像は、処理装置2においてデータ処理が行われディスプレイ22に表示されるが、必要に応じて設定等を行うことにより、撮影装置1のLCDモニタ16に処理装置2における処理結果を表示するようにしても良いのは上述した通りである。
なお、この図16に示す例においては、処理装置2を、ディスプレイ付きのノート型のパーソナルコンピュータとして図示している。このような場合には、ノート型のパーソナルコンピュータに備えられているRS−232C、USB、IEEE1394などのインターフェース(I/F)を介して、上記ネットワーク3に接続するようにすると良い。
このような第1の実施形態によれば、画像処理システムの撮影装置内に可視光域において各異なる分光分布を有する6種類のLEDを設けて、外光を遮断しながらこれらを発光させることにより、被写体分光画像を撮像することができる。このとき、光源としてLED等の小型軽量な半導体発光素子を用いているために、撮影装置を小型化することができ、ハンディタイプのものを作成することも可能となる。
また、処理装置によって処理を行うことにより、高度に色再現された画像をディスプレイに表示することが可能となる。
さらに、LEDの発光順序や発光させるLEDを指定することにより、通常のRGB動画像を始めとして、種々の目的に用いる画像を撮像することが可能となる。
加えて、モノクロCCDを用いているために、コストをやや低減することができるとともに、各色の画像データが欠落画素を生じさせることなく1画面ずつ取得されるために、補間処理を省略することが可能となる。
図17から図20は本発明の第2の実施形態を示したものであり、図17は画像処理システムの構成を示すブロック図、図18はフルモードと読み出し2倍速モードとにおける読み出しの様子を示すタイミングチャート、図19は2/4ライン2倍速モードと2/8ライン4倍速モードとにおける読み出されるラインの様子を示す図、図20は撮影モードを設定する際の動作を示すフローチャートである。
この第2の実施形態において、上述の第1の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この第2の実施形態は、上述した第1の実施形態を基本構成として、さらに、前面にカラーフィルタアレイ(CFA)19を備えたカラーCCDからの画像読み出し速度を調整することができるように構成したものである。
画像読み出し速度は表示速度に関連しており、表示速度を読み出し速度以上に速くすることはできない。
一般的に、画像をモニタする場合には、30画像/秒程度以上の表示間隔が望ましいが、原色数Nが増加するとそれに伴って比例的に表示間隔が長くなり、ちらつき状態が生じたり、あるいは各原色画像所得時間差による大きな画像位置ずれが生じたりすることがある。
従って、本実施形態は、表示間隔が長くなるのを回避して、読み出し原色数Nによることなく表示間隔を一定にするために、図17に示すように、カメラ制御I/F12AによりCCD8Aからの画像読み出し速度を調整するようにしたものである。
図20を参照して、撮影モードを設定する際の動作について説明する。
操作スイッチ14から撮影モードを選択する操作入力があると(ステップS21)、CPU18がそれを検出して、メモリ11内の記録エリアの一部に、設定する撮影モードやそれに関連する情報等を記録するとともに(ステップS22)、カメラ制御I/F12Aに撮影モードを変更するように制御を行わせる命令を発行する(ステップS23)。
カメラ制御I/F12Aは、この指令を受けて、CCD8Aの駆動を制御し、撮影モードを変更するようになっている。このときには、カメラ制御I/F12は、CCD8Aの動作に連動させてLEDドライバ13を制御することにより、各LED6a〜6fの発光量も合わせて調整するようになっている。
この撮影装置1において設定可能な撮影モードは、例えば、次のようになっている。
(1)フルモード
(2)読み出し2倍速モード
(3)2/4ライン2倍速モード
(4)2/8ライン4倍速モード
(5)2/16ライン8倍速モード
(6)第1の中央部走査モード
(7)第2の中央部走査モード
(8)第3の中央部走査モード
(9)第4の中央部走査モード
(10)第1の中央部高速走査モード
(11)第2の中央部高速走査モード
「フルモード」は、図18(A)に示すように、CCD8Aの全走査ラインの全画素について通常の速度で順次読み出しを行っていく通常のモードである。なお、ここでは第1LED6a、第3LED6c、第5LED6eを同時に発光させるフレームと、第2LED6b、第4LED6d、第6LED6fを同時に発光させるフレームと、により各フレームが構成されているが、このような発光により6原色画像を取り込む手段については、後の第3の実施形態で説明する。
「読み出し速度2倍速モード」は、図18(A)に示す通常のモードに対して、図18(B)に示すように、CCD8Aの全走査ラインの全画素について通常の2倍の速度で順次読み出しを行っていくモードとなっている。なお、ここでは2倍速の読み出しを例に挙げたが、これに限らず適宜の倍数でも良いし、さらには可変倍としても構わない。
「2/4ライン2倍速モード」は、4ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を半分にするものであり、垂直方向の分解能は半分になるものの、全有効エリアの画像を取得することが可能となっている。
「2/8ライン4倍速モード」は、さらに、8ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を通常モードの1/4にするものである。
「2/16ライン8倍速モード」は、同様に、16ライン毎に2ラインのみを走査することにより、1フレームを読み出すのに要する時間を通常モードの1/8にするものである。
「第1の中央部走査モード」は、図19(A)に示すように、全走査ラインのライン数をSとしたときに、有効エリアの内の、中央部のS/2ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を半分にするものである。
「第2の中央部走査モード」は、図19(B)に示すように、全走査ラインのライン数をSとしたときに、有効エリアの内の、中央部のS/4ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/4にするものである。
「第3の中央部走査モード」は、同様に、有効エリアの内の、中央部のS/8ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/8にするものである。
「第4の中央部走査モード」は、同様に、有効エリアの内の、中央部のS/16ラインの部分のみを走査することにより、1フレームを読み出すのに要する時間を1/16にするものである。
「第1の中央部高速走査モード」は、上記図19(A)に示したような、有効エリアの内の中央部のS/2ラインの部分のみを、通常の2倍の速度で走査することにより、1フレームを読み出すのに要する時間を1/4にするものである。
「第2の中央部高速走査モード」は、上記図19(B)に示したような、有効エリアの内の中央部のS/4ラインの部分のみを、通常の2倍の速度で走査することにより、1フレームを読み出すのに要する時間を1/8にするものである。
これらに限らず、さらに他の手段による高速スキャンを行うことも可能であり、上記を含めて以下のようにまとめることができる。
まず第1は、単純なスキャン速度の高速化である。これは、例えば、読み出し開始を指示するトリガー信号のタイミングを調整することにより行うことができる。例えば、1フレームの表示時間を1/30秒とする例では、各原色(N原色とする)の読み出し時間が1/30/Nとなるようにトリガー信号のタイミングを設定することにより達成される。
第2に、間引きスキャンによる高速化である。上記第1の高速化手段では、撮像素子によって高速化に限界が生じる。これに対して、この間引きを行う場合には、画質は低下するものの、安定した走査を行って高速化を図ることができるために、フレームレートが下がることはなく、表示にちらつきを生じさせることがない。この間引きの例としては、上述したような、ライン単位で一定周期、または一定範囲で間引く手段以外に、画素単位で間引くことも可能であり、撮像素子がXYアドレス型のものである場合には、きめ細かく所望の画素のみを読み出すことも可能となる。
第3に、原色に応じてフレームレートを異ならせることによる高速化である。通常のRGBカラーフィルタ等を備えたCCDにおいても、輝度信号に近い緑(G)の画素は、赤(R)や青(B)の画素の2倍の数だけ配設されていることが多い。このような点を考慮して、6原色の内の緑(G)に近いフレームは、それ以外の色のフレームの2倍の数だけ読み出すようにすることが考えられる。もちろん、これに限らず、使用目的に応じて、特定の原色のフレームを多く読み出すようにしたり、必要度に応じて読み出すレートを段階的に異ならせたりすると良い。
このような第2の実施形態によれば、上述した第1の実施形態とほぼ同様の効果を奏するとともに、読み出し速度を変更することにより、一定の表示速度を確保することが可能となり、高度な色再現時にも動きが自然な動画像を表示することが可能となる。
図21から図36は本発明の第3の実施形態を示したものであり、図21は画像処理システムの構成を示すブロック図、図22は画像処理システムを使用するときの様子の一例を示す図である。この第3の実施形態において、上述の第1,第2の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この第3の実施形態は、上述した第1の実施形態を基本構成として、さらに、CCDの撮像面上に3バンドのカラーフィルタアレイを配設した構成としたものである。
すなわち、図21や図22に示すように、撮影装置1は、撮像光学系7により被写体像が結像される光路上のCCD8の近傍に、例えばRGB3バンドのカラーフィルタアレイ(図中、CFAと省略する。)19が配設されていて、撮像素子部としていわゆる単板式のカラー撮像素子が構成されている。
図23は、LED6a〜6fの発光スペクトルとカラーフィルタアレイ19を通したCCD8の分光感度特性とを示す線図である。
第1の実施形態においても示したような、曲線fL1〜fL6により示される6原色LEDの発光スペクトルに対して、カラーフィルタアレイ19の透過率分布とCCD8の受光感度分布とにより得られるトータルの分光感度特性は、図示の曲線fSB,fSG,fSRとなっている。
これらの内の青色カラーフィルタに該当する分光バンド域を示す曲線fSBは曲線fL1,fL2の2つを包含して第1LED6aと第2LED6bの発光による光を感受することができ、緑色カラーフィルタに該当する分光バンド域を示す曲線fSGは曲線fL3,fL4の2つを包含して第3LED6cと第4LED6dの発光による光を感受することができ、赤色カラーフィルタに該当する分光バンド域を示す曲線fSRは曲線fL5,fL6の2つを包含して第5LED6eと第6LED6fの発光による光を感受することができるように構成されている。
ただし、トータルの分光感度特性が互いに独立して分離している必要はなく、周辺部分において互いに一部が重なり合うようになっていても構わない。さらに、第1の実施形態と同様に、第1LED6a〜第6LED6fの各発光スペクトルも、一部が重なり合うような発光スペクトルであっても構わない。もちろん、LEDの種類も6種類に限るものではなく、適宜の種類数のLEDの組み合わせを採用することができるのも同様である。
次に、画像を取得するときの動作について説明する。
この画像処理システムにおいては、上述した第1の実施形態と同様に、画像を取得する際に、モニタ用画像取得モードと分光画像取得モードとを切り替えて行うようになっている。
図24、図26、図27を参照して、分光画像取得モードの動作について説明する。図24は6バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図26は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図27は6バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
第1の実施形態において説明したように、撮影ボタン14aが押下されて分光画像取得モードに切り替わると、分光画像の撮像を開始する判断を行う(ステップS31)。
ここで分光画像の撮像が開始されると、フレームNの画像の取り込みを行って、その後にフレームN+1の画像の取り込みを行う。
まず、フレームNの画像の取り込みが開始されると、第1LED6a,第3LED6c,第5LED6eを同時に点灯させ(図24(A)参照)(ステップS32)、点灯が開始された後にCCD8による撮像を開始する(図27参照)(ステップS33)。
CCD8による撮像が終了したら、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(フレームメモリ)に記憶させる(ステップS34)。
そして、該フレームメモリに記憶された各画像データを、原色毎に分類して、該メモリ11内の所定の記憶領域(第1,第3,第5メモリ)に記憶させる(ステップS35)。
その後に各LED6a,6c,6eを消灯することで(ステップS36)、フレームNの画像取り込みが終了する。
次のフレームN+1の画像の取り込みは、点灯させるLEDや撮像した画像データを転送するメモリ領域が異なるだけで、基本的にはフレームNの画像の取り込みと同様である。
すなわち、第2LED6b,第4LED6d,第6LED6fを同時に点灯させ(図24(B)参照)(ステップS37)、点灯が開始された後に、CCD8による撮像を開始する(図27参照)(ステップS38)。
CCD8による撮像が終了したら、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(フレームメモリ)に記憶させる(ステップS39)。
そして、該フレームメモリに記憶された各画像データを、原色毎に分類して、該メモリ11内の所定の記憶領域(第2,第4,第6メモリ)に記憶させる(ステップS40)。
その後に各LED6b,6d,6fを消灯することで(ステップS41)、フレームN+1の画像取り込みが終了する。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
また、上記ステップS35やステップS40において第1〜第6メモリに記憶された各原色の画像は、カラーフィルタアレイ19の原色配列に応じた画素の欠落が生じているために、必要に応じて、撮影装置1または処理装置2において補間処理が行われることになる。
こうしてメモリ11に記憶された6バンドの被写体分光画像は、処理装置2に送られて、処理プログラムにより色再現や画像処理が行われる。この処理結果は、他の処理プログラムによってディスプレイ22に表示されるか、または撮影装置1に転送されてLCDモニタ16に表示される。
次に、図25、図28、図29を参照して、モニタ用画像取得モードの動作について説明する。図25はモニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図28はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図29はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
なお、本実施形態においても上述した各実施形態と同様に、一般のRGB画像用を想定して、第1LED6aおよび第2LED6bが青(B)の範疇に相当し、第3LED6cおよび第4LED6dが緑(G)の範疇に相当し、第5LED6eおよび第6LED6fが赤(R)の範疇に相当するように、各発光原色の選定を行っている。
電源スイッチがオンされることによりモニタ用画像取得モードが設定されるか、あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS51)。
ここでは直ちに撮像が開始され、全てのLED6a〜6fを点灯させる(図25参照)(ステップS52)。全LED6a〜6fの点灯が開始された後に、CCD8による撮像を開始する(図29参照)(ステップS53)。
CCD8による撮像が終了したら、その後に全LED6a〜6fを消灯し(ステップS54)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第1,第3,第5メモリ)に記憶させる(ステップS55)。
モニタ用画像取得モードが設定されている間は、上記ステップS51に戻ってこのような動作を繰り返すことにより、動画像を取得するようになっている。
このようにして得られた画像は、モニタ用の画像データに変換されて、モニタI/F15を介してLCDモニタ16に表示される。このときには、設定によって、処理装置2のディスプレイ22にモニタ用画像を表示することもできるようになっている。
なお、図29に示したタイミングチャートでは、CCD8による撮像毎にLED6a〜6fの全点灯と全消灯とを行って消費電力の低減を図っているが、モニタ用画像取得モードが設定されている間は、LED6a〜6fを連続的に点灯させるようにしても構わない。
また、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
なお、モニタ画像取得方法として、本実施形態における6バンドの分光画像取得モードを連続させることにより、6バンドの分光画像の第1と第2バンドのメモリ加算、第3と第4バンドのメモリ加算、第5と第6バンドのメモリ加算を同時に行うことによってモニタ画像を生成することも可能である。この場合は、撮影部アルゴリズムを変えることなくメモリ加算を行うだけでモニタ画像を生成することができる。これは、連続した分光画像測定時のモニタ方法として有効である。
次に、図30から図36は、この第3の実施形態の変形例を示しており、図30は8バンドの分光画像を生成するときのLEDの発光スペクトルとカラーフィルタアレイを通したCCDの分光感度特性とを示す線図である。
この変形例は、カラーフィルタアレイ19を介したCCD8によるRGBの検出バンド同士の間にまたがるような発光分光特性のLEDを設けることにより、LEDは6原色(6バンド)の発光を行うだけであるのに、検出としては8バンドの出力を得られるようにしたものである。
すなわち、図30(A)に示すように、カラーフィルタアレイ19の透過率分布とCCD8の受光感度分布とにより得られるトータルの分光感度特性を示す曲線fSB,fSG,fSRに対して、各LED6a〜6fによる発光の分光特性(各々曲線fL1’〜fL6’で示す)は、次のようになっている。
まず、青色カラーフィルタに該当する分光バンド域を示す曲線fSB内には、曲線fL1’,fL2’の2つが包含されていて、曲線fL3’も一部が包含されている。
緑色カラーフィルタに該当する分光バンド域を示す曲線fSG内には、曲線fL4’が包含されていて、さらに、上記曲線fL3’の一部と、曲線fL5’の一部と、が包含されている。
赤色カラーフィルタに該当する分光バンド域を示す曲線fSR内には、曲線fL6’が包含されていて、さらに、上記曲線fL5’の一部が包含されている。
こうして、第3LED6cによる発光の分光特性(曲線fL3’)は青色カラーフィルタのバンドと緑色カラーフィルタのバンドとにまたがり、第5LED6eによる発光の分光特性(曲線fL5’)は緑色カラーフィルタのバンドと赤色カラーフィルタのバンドとにまたがるように構成されている。
このような構成により、各LED6a〜6fにより発光された光をカラーフィルタアレイ19を介してCCD8により受光したときのトータルの分光感度特性は、図30(B)に示すように、曲線fSL1’(曲線fL1’および曲線fSBによる)、曲線fSL2’(曲線fL2’および曲線fSBによる)、曲線fSL3’(曲線fL3’および曲線fSBによる)、曲線fSL4’(曲線fL3’および曲線fSGによる)、曲線fSL5’(曲線fL4’および曲線fSGによる)、曲線fSL6’(曲線fL5’および曲線fSGによる)、曲線fSL7’(曲線fL5’および曲線fSRによる)、曲線fSL8’(曲線fL6’および曲線fSRによる)の合計8バンドとなる。
次に、図31から図33を参照して、8バンドの分光画像を取得する動作について説明する。図31は8バンドの分光画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図32は8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図33は8バンド分光画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
なお、この変形例においては、8バンドの分光画像を撮像するために、メモリ11にはこれらに各対応して第1〜第8メモリの記憶領域が設けられている。
撮影ボタン14aが押下されて分光画像取得モードに切り替わると、分光画像の撮像を開始する判断を行う(ステップS61)。
分光画像の撮像が開始されると、まず、図31(A)に示すようなフレームNの画像の取り込み動作が開始され、第1LED6aと第4LED6dとを同時に点灯させ(ステップS62)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS63)。
CCD8による撮像が終了したら、その後にLED6a,6dを消灯し(ステップS64)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域(第1,第2メモリ)に記憶させる(ステップS65)。これにより、フレームNの画像取り込み動作(2バンドの被写体分光画像の取得)が終了する。
次に、図31(B)に示すようなフレームN+1の画像の取り込み動作が開始され、第2LED6bと第5LED6eとを同時に点灯させ(ステップS66)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS67)。
CCD8による撮像が終了したら、その後にLED6b,6eを消灯し(ステップS68)、CCD8から画像データを読み出して、上記メモリ11内の所定の記憶領域(第3,第4,第5メモリ)に記憶させる(ステップS69)。これにより、フレームN+1の画像取り込み動作(3バンドの被写体分光画像の取得)が終了する。
さらに、図31(C)に示すようなフレームN+2の画像の取り込み動作が開始され、第3LED6cと第6LED6fとを同時に点灯させ(ステップS70)、点灯が開始された後に、CCD8による撮像を開始する(図33参照)(ステップS71)。
CCD8による撮像が終了したら、その後にLED6c,6fを消灯し(ステップS72)、CCD8から画像データを読み出して、上記メモリ11内の所定の記憶領域(第6,第7,第8メモリ)に記憶させる(ステップS73)。これにより、フレームN+2の画像取り込み動作(3バンドの被写体分光画像の取得)が終了する。
分光画像を動画的に連続して取り込む場合には、このようなフレームNからフレームN+2までの動作を繰り返して行うことになる。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
こうしてメモリ11に記憶された6バンドの被写体分光画像は、処理装置2に送られて、処理プログラムにより色再現や画像処理が行われる。この処理結果は、他の処理プログラムによってディスプレイ22に表示されるか、または撮影装置1に転送されてLCDモニタ16に表示される。
続いて、図34から図36を参照して、モニタ用画像を取得する動作について説明する。図34はモニタ用画像を生成するときのフレーム毎の分光画像の分光特性を示す線図、図35はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作を示すフローチャート、図36はモニタ用画像取得における各LEDの発光と撮像素子の画像取得との動作の様子を示すタイミングチャートである。
電源スイッチがオンされることによりモニタ用画像取得モードが設定されるか、あるいは分光画像取得モードが終了することによりモニタ用画像取得モードに復帰すると、モニタ用画像の撮像を開始するのを待機する(ステップS81)。
ここでは直ちに撮像が開始され、全てのLED6a〜6fを点灯させる(図34参照)(ステップS82)。全LED6a〜6fの点灯が開始された後に、CCD8による撮像を開始する(図36参照)(ステップS83)。
CCD8による撮像が終了したら、その後に全LED6a〜6fを消灯し(ステップS84)、CCD8から画像データを読み出して、上記A/D変換器9によりデジタルデータに変換させ、バス10を介してメモリ11内の所定の記憶領域に記憶させる(ステップS85)。
ここでは、CCD8による撮像毎にLED6a〜6fの全点灯と全消灯とを行って消費電力の低減を図っているが、上記図29において説明したのと同様に、モニタ用画像取得モードが設定されている間は、LED6a〜6fを連続的に点灯させるようにしても構わない。
なお、図示しないが、発光素子(LED)と撮像素子(CCD)による画像取得タイミングは、前述に限らず、撮像素子の画像取得開始後に発光素子を点灯し、発光素子の消灯後に撮像素子による画像取得を終了する、などでも同等である。
その後、モニタ用画像取得モードが解除されるまで、上記ステップS81に戻って、上述したような動作を繰り返して行うことにより、動画像用の画像データを連続的に取得するようになっている。
このようにして得られた画像は、モニタ用の画像データに変換されて、モニタI/F15を介してLCDモニタ16に表示される。このときには、設定によって、処理装置2のディスプレイ22にモニタ用画像を表示することもできるようになっている。
なお、上述では、撮像素子として、3バンドのカラーフィルタアレイとの組み合わせによる単板撮像素子を例に挙げたが、これに限らず、入射光を複数の波長帯域の光に分離する分光ミラーや分光プリズム等の分光部と、この分光部により分光された複数の波長帯域の光を撮像する複数の撮像素子と、を有して構成される3板式の3バンド撮像素子であっても良いし、あるいは2板式の撮像素子であっても構わない。さらに、カラーフィルタとしては、RGB3バンドによる原色系フィルタに限るものではなく、補色系フィルタのものであってももちろん構わない。
また、上述では6バンドの発光スペクトルのLEDから8バンドの被写体分光画像データを取得しているが、これに限らず、組み合わせにより任意の被写体分光画像データを取得するようにしても良い。例えば、光源として第3LEDと第5LEDのみ、すなわち2バンドの光源のみであっても、図31にfSL3’,fSL4’,fSL6’,fSL7’で示すように、4バンドの被写体分光画像を得ることができる。この他、様々な組み合わせが可能である。
このような第3の実施形態によれば、上述した第1,第2の実施形態とほぼ同様の効果を奏するとともに、カラー撮像素子を用いることにより、被写体分光画像を取得するのに必要な撮像回数を減少させることができ、高度な色再現の動画像などもより容易に実現可能となる。
さらに、LEDの発光スペクトルが、カラー撮像素子による受光の分光感度分布にまたがるように構成することにより、6バンドの発光スペクトルのLEDを用いながら、8バンドの被写体分光画像データを取得することが可能となる。
図37から図42は本発明の第4の実施形態を示したものであり、図37は画像処理システムの構成を示すブロック図である。この第4の実施形態において、上述の第1から第3の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この第4の実施形態は、上述した第3の実施形態を基本構成として、さらに、スペクトル検出センサを付加した構成としたものである。
すなわち、図37に示すように、画像処理システムの撮影装置1は、光のスぺクトル分布を検出するスペクトル検出センサ41と、このスペクトル検出センサ41へ検出光を導入するプローブ42と、上記スペクトル検出センサ41からの出力をデジタル信号に変換するとともに処理して出力するセンサI/F43と、被写体特性を記憶する被写体特性メモリ44と、カメラ特性を記憶するカメラ特性メモリ45と、を図21に示した第3の実施形態の構成に加えてさらに有して構成されている。
上記スペクトル検出センサ41は、第1LED6a〜第6LED6fを用いてCCD8により6バンド分光画像を取得する構成とは異なり、光を画像として取り込むのではなくスペクトルのみを検出するものである。
このスペクトル検出センサ41は、光検出範囲が可視光域全域(380nm〜800nm)をカバーするものとなっていて、グレーティング方式により検出を行い、分解能は5nmである。従って、詳細なスペクトルデータを取得することが可能となっている。なお、ここではグレーティング方式のスペクトル検出センサを例に挙げているが、それ以外の方式のものであっても構わない。
上記プローブ42は、例えばフレキシブルな光ファイバ(または光ファイババンドル)を使用しているが、これに限らず、検出光を導光することができるようなものであれば、広く使用することが可能である。
このような構成を用いて、被写体からの光を検出すると該被写体の光スペクトルを検出することができる一方で、被写体の代わりに標準白色板を置くことにより、照明光のスペクトル特性を測定することも可能となる。
より詳しくは、上記当て付け部4等を用いて外部の照明光を遮断し、第1LED6a〜第6LED6fを順次発光させて検出することにより、各LED6a〜6fのスペクトル特性を測定することができる。これにより、これらの発光素子自体の劣化や、温度等の環境変化によるスペクトル特性の変化を検出することができる。ひいては、特性の変化を反映した照明スペクトルのプロファイルを得ることができるために、より正確な高色再現を実現することが可能となる。
さらに、外部の照明光を検出して、環境照明光のスペクトル特性を測定することも可能である。
次に、図38は、スペクトル検出センサを複数配設した画像処理システムを使用するときの様子の一例を示す図である。
この図38には、スペクトル検出センサのより具体的な配設例を示していて、ここでは2つのスペクトル検出センサ、すなわち、第1のスペクトル検出センサ47と第2のスペクトル検出センサ46とが用いられている。
第1のスペクトル検出センサ47は、被写体部分の分光スペクトルを検出するために配設されたものであり、プローブとなる光ファイバ49の先端が、第1LED6a〜第6LED6fの近傍の、筐体5の投射口5aを介して被写体光を入射することができる位置に配設されている。
この第1のスペクトル検出センサ47は、上述したように、被写体の代わりに標準白色板を配することにより、第1LED6a〜第6LED6fの照明スペクトルを検出するのに用いることができるとともに、後述するように先端にレンズ等を配設することにより、被写体のスポット(特定部分)の分光反射スペクトルを直接的に取得することも可能となっている。
これにより、第1のスペクトル検出センサ47を用いて、自動車の塗装色、建物の塗装色、食料品の分光特性、衣料品の染色などのスペクトルデータを直接取得すれば、それぞれの検査や確認のためのデータとして利用することが可能となる。
また、第2のスペクトル検出センサ46は、被写体がおかれた環境の照明光スペクトルを検出することができるように設けられたものであり、プローブとなる光ファイバ48の先端が、筐体5の外面に露呈するとともに、その先端を覆うように白色で半透過性を有する積分球48cが取り付けられている。この第2のスペクトル検出センサ46を用いることにより、撮影装置1から離間した位置にある被写体を、太陽光や室内光のみで撮影するときの照明スペクトルを取得することが可能となる。これにより、被写体像の撮影と同時に、そのときの環境照明光に係る照明スペクトルのプロファイルを作成することが可能であるために、環境照明光が変化したとしてもそれに対応して、リアルタイムな高色再現を自動的に行うことができる。
さらに、撮影装置1の周辺環境光のスペクトルを検出して、撮影装置1自体に内蔵するLEDのスペクトルと比較することにより、周辺環境光とLED光との何れを用いて撮像を行うかを適応的に切り替えることも可能となる。例えば、RGBの動画像を撮像するときには周辺環境光を用いることが可能であるために、この場合には内蔵するLEDを発光させないことにより、消費電力の低減を図ることなども可能となる。
図39は、スペクトル検出センサ41の構成例を示す断面図である。
上記プローブ42は、入射端42aから光を入射して、出射端42bから出射するものである。
スペクトル検出センサ41は、箱体41aと、この箱体41aの一端部に開口して設けられていて上記プローブ42の出射端42bから出射される光をスリット光として入射するための入射光スリット41bと、上記箱体41aの内部に配設されていて上記入射光スリット41bから入射したスリット光を波長に応じて分光し異なる方向に反射して集光させるグレーティング41cと、上記箱体41aに取り付けられていて上記グレーティング41cにより波長に応じて異なる位置に集光される光を受光してその強度に応じた信号を出力するフォトダイオードアレイ41dと、を有して構成されている。
これにより、フォトダイオードアレイ41dは、受光位置に応じて異なる波長の光を光電変換し、強度に応じた信号を出力することになる。
上記センサI/F43は、このフォトダイオードアレイ41dから出力されるアナログ信号をデジタル信号に変換するためのA/D変換器43aを有して構成されていて、変換後のデジタル信号を上記バス10を介してCPU18等へ出力するようになっている。CPU18は、このデジタル信号を各波長の強度を示すスペクトル情報として受けて、解析等を行うようになっている。
図40は、スペクトル検出センサ47に接続される光ファイバ49の入射端49aの様子を示す断面図である。なお、この図40においては、撮像光学系7等の図示を省略している。
光ファイバ49の入射端49aには、ある角度範囲からの光が入射するようになっている。図示の例では、筐体5の投射口5aを介して入射する、撮影対象である被写体表面からの反射光が、上記入射端49aに到達するように設置されている。
この図40に示す構成は、上述したような、被写体として標準白色板を用い、LED照明のスペクトルを検出して経年変化による色の変化情報を取得するなどに用いることができるものである。
また、図41は、スペクトル検出センサ47に接続される光ファイバ49の入射端49aの近傍にセンサ用光学系49cを配設した構成例を示す断面図である。なお、この図41においても、撮像光学系7等の図示を省略している。
この図41に示すように、スペクトル検出センサ47に接続される光ファイバ49の入射端49aにレンズ等でなるセンサ用光学系49cを設けることにより、入射端49aへ入射する光束を被写体のある範囲からの光に制限することができる。これにより、上述したように、被写体の特定位置のスペクトルを高い波長分解能で測定することが可能となる。
図42は、環境光取得用に設けられたスペクトル検出センサ46に接続される光ファイバ48の入射端48aの様子を示す断面図である。なお、この図42においても、撮像光学系7等の図示を省略している。
上述したように、入力用の光ファイバ48の入射端48aは、筐体5の外面に露呈しており、この入射端48aを取り囲むように、白色で半透過性を有する積分球48cが取り付けられている。
このような構成において、環境照明光がこの積分球48cに照射されると、拡散して透過され、光ファイバ48の入射端48aから入射する。この入射光は、該光ファイバ48により伝達されて、スペクトル検出センサ46によりスペクトルの測定が行われる。
このような第4の実施形態によれば、上述した第1から第3の実施形態とほぼ同様の効果を奏するとともに、スペクトル検出センサを設けることにより、被写体光のスペクトル分布を得ることができるとともに、LEDのスペクトル分布を取得して、よりリアルタイムで正確な色再現を行うことも可能となる。
また、センサ用光学系を用いることにより、被写体の特定部分のスペクトル分布を取得することも可能となる。このセンサ用光学系は、上述したように、例えば5nmの分解能をもつものとなっているために、被写体の特定部位について、より詳細なスペクトルデータを取得することが可能となり、より精密な診断や判定を行うことができる。
さらに、環境照明光のスペクトルを検出することもできるために、環境照明光に係る照明スペクトルのプロファイルをリアルタイムに取得することも可能となる。
次に、本発明の第5の実施形態の画像処理システムについて説明する。
図43は、本発明の第5の実施形態の画像処理システムである歯科用画像処理システムのシステム構成図である。図44は上記歯科用画像処理システムに適用される撮影装置のブロック構成図である。
本第5の実施形態の歯科用画像処理システム50は、義歯,差し歯等の製作に際して患者59の歯の分光画像情報を取得し、高精度の色再現を行い、その分光画像情報をネットワーク3により歯科技工所55と情報交換を行うことにより、審美としてのホワイトニング処理を可能とするシステムである。
本実施形態の歯科用画像処理システム50は、図43に示すように患者の歯の分光画像およびモニタ画像の画像データを取得するための画像撮影部である撮影装置(ハンドヘルドマルチスペクトルスコープ,HMSC)1Aと、画像メモリを有し、上記撮影装置1Aで得られた画像データを演算,管理するための画像処理部である処理装置2Aと、カメラ撮影操作のためのタッチパネル式入力操作装置53と、色再現状態を表示するためのキャリブレーションモニタ54と、上記処理装置2Aと歯科技工所(通信装置)55とを結ぶネットワーク3と、歯科技工所55に備えられる陶材配合比計算データベース56とを有してなる。
上記撮影装置1Aにおいては、それぞれ異なる分光分布特性を有する複数個のLEDからなるLED群6Xを光源として、その光源により照明される被写体像(この場合、患者59の歯の像)が撮影光学系7を介して取り込まれ、撮像素子であるCCD8によって撮像信号に変換され、メモリ11に画像データとして記憶される。その画像データは、外部I/F17を介して処理装置2Aの画像メモリに転送される。この撮影装置1Aの構成は、前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しており、図44ではそれらの同一構成要素に同一の符号を付して示されている。
上記処理装置2Aは、図44に示すように画像処理部であって、前記第1の実施形態等の画像処理システムの画像処理部2に適用したものと同様の演算装置21およびディスプレイ装置22とに加えてさらに、歯科用ファイリングシステム23とを有してなる。
上記演算装置21は、撮影装置1Aにより取り込まれた分光画像データ等に基づいて被写体の色再現演算処理や画像判定演算処理(定量的判定)を行う。上記画像判定演算処理で例えば、患者の歯の白さの等級判定や色あい判別、皮膚表面の皮溝や皮丘の相関、エントロピー解析等が行われる。なお、この演算装置21は、前記第1の実施形態の画像処理システムに適用された処理装置2Aの演算装置21と同様の構成,機能を有している。
上記歯科用ファイリングシステム23は、患者の歯の漂白前後の数値管理や漂白頻度や義歯陶材配合計算結果のデータファイリングを行うシステムであって、画像ファイリングソフトウェアを内蔵している。なお、上記ファイリングシステム23の所定のメモリ部には、上記撮影装置1で操作スイッチ14の操作により撮影された画像データが上記画像ファイリングソフトウェアの所定箇所に記録され、取り込まれる。
次に、上述した構成を有する本実施形態の歯科用画像処理システム50による処理動作について説明する。
歯科医院において上記歯科用画像処理システム50を適用して患者59の歯の色に合った義歯を製作する際、まず、患者59の歯の白さや色合いが測定される。患者59は、固定台58に顎部を載せて頭部を固定状態とする。上記固定台58には、撮影装置51が取り付けられている。ディスポーザブルの遮光性を備えた当て付け部4を患者59の口に当て付けて口内の義歯を入れようとしている歯部周辺を撮影装置1により撮影可能な状態とする。なお、上述のように撮影装置51を固定することにより撮影時の被写体位置のずれが防止できる。
タッチパネル式入力操作装置53を操作することにより撮影装置1のLED群6Xの発光モードを選択指定する。この発光モードは、例えば、LED群6Xを単一の原色のLED毎に順次点灯させるモードや、LEDを選択して点灯させるモードや、全LEDを同時に点灯させるモード等がある。その発光モードにより分光画像取得モード,モニタ画像取得モードの指定、あるいは、分光画像取得モードにおける分光バンド数の指定がなされる。
その後、入力操作装置53を操作してLED群6Xの点灯を開始させる。この操作は、撮影装置1の操作スイッチ14で行うこともできる。
上記分光画像取得モードが選択されている場合、LED群6Xの点灯により患者59の歯の被写体像信号がCCD8を介して取り込まれ、分光画像データとしてメモリ11に記憶される。上記分光画像データは、処理装置2に転送され、色再現演算部33(図12)においてXYZ推定演算が行われる。その演算結果による患者59の歯の高精度の色再現画像がディスプレイ22、または、キャリブレーションモニタ54に表示される。
また、モニタ用画像取得モードが選択されている場合には、通常の表示画像がディスプレイ22に表示される。なお、上記分光画像取得モードとこのモニタ用画像取得モードとは、入力操作装置53により切り換え可能である。
さらに、上記分光画像データに基づいて処理装置2Aの画像判別演算部34(図13)において判別演算が行われ、患者59の歯の色の濃淡に関する等級データが求められる。この等級データは、歯の色の濃淡を比較するためのシェードガイド上の等級であり、その値は、キャリブレーションモニタ54に表示される。また、処理装置2Aでは、上記等級データに基づいて義歯の陶材配合計算が行われ、義歯陶材配合データが求められる。
患者59の歯に関する上記色再現画像データおよび歯の色の濃淡に関する等級データである検査データと、義歯陶材配合データとは、ネットワーク3を介して歯科技工所55のコンピュータ部に転送される。
上記歯科技工所55では、上記検査データと義歯陶材配合データに基づいて陶材配合比計算データベース56より具体的な陶材配合比が検索される。その陶材配合比に基づいて義歯が製作される。製作された義歯は、上記歯科医院に配送され、患者59に手渡されることになる。
上記治療過程において、患者59に対して入力操作装置53を介してキャリブレーションモニタ54に歯の色に関するデータや色再現画像を表示して、患者59に治療の過程を示し、了解をとることができる。
なお、この歯科用画像処理システム50は、患者59の義歯を製作する以外にも歯の漂白治療にも適用できる。すなわち、漂白処理前後の状態の患者59の歯を上記撮影装置1Aにより撮影し、上述した画像演算処理を行うことによって、漂白結果を示す上記色再現画像データおよび歯の色の濃淡に関する等級データが求められる。この漂自治療前後の数値データは、キャリブレーションモニタ54に表示され、患者59に対するインフォームドコンセントによる治療が可能になる。さらに、経時変化や漂白頻度による治療過程における色再現画像データや上記等級データの変化のビジュアルで確認することが可能である。また、上記治療過程でのデータを蓄積していくことも可能である。
本第5の実施形態の歯科用画像処理システム50を適用した場合、上記処理装置2Aで求められた上記高精度色再現画像や上記等級データは、通常の室内光の影響を受けることのない再現性のよい画像データ、または、等級データが得られるので、従来のシェードガイドによる比較データを適用した場合のように個人差がなく、環境光の影響を受けることなく、さらに、使用するカメラやフィルムにより左右されることもない。また、治療の過程をキャリブレーションモニタ54で観察することができるので、患者59に対するインフォームドコンセントによる治療が可能になる。
また、入力操作装置53としてタッチパネル式のものを適用し、さらに、撮影装置1Aの撮影部先端に装着する当て付け部4をディスポーザブルとすることによって、院内感染等を未然に回避することができる。
上述した歯科用画像処理システム50は、歯科用以外にも適用可能である。例えば、皮膚科システムに適用した場合、治療中の皮膚の状態を撮影し、より正確な色再現画像データを得ることができ、照明によるばらつきのない皮膚の状態の変化を記録していくことができる。また、肌診断システムに適用することも可能であり、通常の標準照明下における肌の色の正確な再現を可能とし、さらには特殊な照明下で肌の状態も再現可能である。
次に、本発明の第6の実施形態である画像処理システムについて、図45〜図48を用いて説明する。
なお、図45は、本実施形態の画像処理システムの構成を示す図である。図46は、上記画像処理システムのブロック構成図である。図47,図48は、上記画像処理システムの撮影装置における撮影処理のフローチャートであり、上記図47は、撮影待機処理ルーチンのフローチャートを示し、上記図48は、撮影ルーチンのフローチャートを示す。
本実施形態の画像処理システムは、図45,図46に示すように画像撮影部であって、LED照明光、または、ストロボ照明光による撮影が可能な撮影装置1Bと、画像メモリを有し、上記撮影装置1Bで撮影された分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Bとを有してなる。
上記撮影装置1Bは、前記第4実施形態の画像処理システムに適用したカラーCCD,照明光センサが組み込まれた前記撮影装置1(図38)と同様の構成,機能を有しており、さらに、外部ストロボ装置であるストロボ発光装置65が着脱可能である。なお、図46には、撮影装置1Bの各構成要素で上記撮影装置1と同一のものは、同一符号で示される。
上記処理装置2Bは、前記第4実施形態の画像処理システムに適用した処理装置2と同様の構成,機能を有している。
上記撮影装置1Bでは、接近した被写体に対しては、内蔵のLED照明により撮影が可能であるが、被写体までの距離が数cm〜数m程度の場合、上記内蔵LED照明光が届かなくなるので、そのときは、ストロボ発光装置65を装着し、ストロボ発光管を発光させることによって撮影を行うことができる。
撮影装置1Bの装置本体を構成する筐体5の前方部に上記ストロボ発光装置65は装着可能となっているが、上記ストロボ発光装置65が装着されない状態では、積分球48cが外部に露出しているので撮影装置1Bに内蔵されるスペクトル検出センサ46によって、環境光のスペクトル検出が行われる。また、上記ストロボ発光装置65が装着された状態では、ストロボ光の一部が積分球48cに導光されるのでスペクトル検出センサ46によってストロボ光のスペクトル検出が行われる。
上記ストロボ発光装置65は、図46に示すように撮影装置1Bの筐体5の前面部に着脱可能な装着部65aと、反射傘63と、リング状ストロボ発光管62と、発光チャージ用コンデンサを有するストロボ発光回路(図示せず)と、撮影装置1B側とストロボ発光回路との電気的接続(電源・制御信号)用接続ケーブル64とを有してなる。
なお、ストロボ発光装置65を装着後、撮影装置1Bとストロボ発光装置65との間の電気接続は、上記接続ケーブル64によりコネクタを介して行われるが、それ以外にもストロボ装置の装着部に接続用電極部を配置して、ストロボ発光装置65を筐体5に装着したとき、その電極部が自動的に接続状態となる構造を採用してもよい。
上記接続ケーブル64による電気的接続状態、あるいは、ストロボ発光装置65を筐体5に装着したことによる電気的接続状態は、カメラ制御I/F12を介して撮影装置1B側CPU18で認識され、ストロボの識別コードが検知される。そのストロボの識別コードによって現在記憶されている撮影装置のシステム構成が更新される。
上記反射傘の後方の一部が開口しており、ストロボ光を後方に導く導光路66を形成している。ストロボが発光した場合、ストロボ光の一部は、上記導光路66を通過してスペクトル検出センサ46の光ファイバー48の先端に設けられる検出部である積分球48cに入射し、スペクトル検出センサ46によりストロボ光のスペクトル成分が検出される。
次に、上述した構成を有する本第6の実施形態の画像処理システムの撮影装置IBによる撮影処理動作について、図47,図48のフローチャートに沿って説明する。
撮影装置1Bによって被写体の分光画像データを取得する場合、まず、撮影装置1Bの電源スイッチを投入する。その電源スイッチ投入により、図47の撮影準備処理ルーチンがCPU18の制御のもとでスタートする。
ステップS101においてシステム構成データをCPU18が取り込み、ステップS102においてパラメータ設定(初期化)がなされる。ステップS103においてストロボ発光装置65が撮影装置1Bに装着されているかどうかがチェックされる。ストロボ未装着の場合、そのまま、ステップS106にジャンプするが、ストロボ装着の場合、ステップS104に進む。
ステップS104においてストロボ発光回路へ電源供給がなされ、発光チャージ用コンデンサの充電が開始される。ステップS105において充電完了が確認されると、ステップS106に進み、LCDモニタ16に撮影準備完了の表示を行い、ステップS107においてLCDモニタ16をライブ画面表示状態として待機する。
続いて、撮影装置1Bの撮影ボタン14aが撮影者により押圧操作され、撮影開始指示信号が入力されると、図48の撮影処理ルーチンがCPU18の制御のもとでスタートする。
ステップS111においてストロボ装着の有無をチェックし、ストロボ非装着の場合は、ステップS116にジャンプし、ストロボ装着の場合は、ステップS112に進む。
ステップS112でCDD8の露光が開始される。さらに、ステップS113においてストロボ発光装置65のストロボ発光が開始される。そして、ステップS114においてストロボ発光光の一部が導光部66を通して積分球48cからスペクトル検出センサ46に取り込まれ、ストロボ発光光の分光スペクトルデータが取得される。所要の露光時間経過後、ステップS115において露光を終了し、本撮影処理が終了する。
一方、ステップS116にジャンプした場合、ストロボ発光装置65が未装着状態であるのでスペクトル検出センサ46により環境光の分光スペクトルデータが取得される。ステップS117においてLED群6Xが所望の前述した発光モードで点灯され、CCD8の露光が開始される。ステップS118で露光が終了すると、本撮影処理は終了する。
なお、撮影装置1Bには、図46には示されていないが前記図38に示すようなスペクトル検出センサ47が内蔵されており、そのスペクトル検出センサ47によってLED群6Xの照明光の分光スペクトルデータも同時に取得される。
上記撮影処理終了後、撮影装置1Bのメモリ11に取り込まれた撮影画像データおよび照明光分光スペクトルデータは、外部I/F17を介して処理装置2Bに転送され、そこで、上記撮影画像データに対して上記照明光分光スペクトルデータ、さらに、カメラ特性データや被写体特性データを加味して分光画像データが演算により求められる。
上述した本第6の実施形態の画像処理システムによれば、被写体距離が比較的に遠距離であり、LED群6Xの発光光では輝度が不足する場合であってもストロボ発光装置65を撮影装置1Bに装着することによって被写体を撮影することができる。しかも、ストロボ発光毎に取得されるストロボ光の分光スペクトルデータに基づいて分光画像データが演算されるので、ストロボ発光装置65自体の発光スペースのばらつきや発光回毎のスペクトルのばらつきが補正された分光画像データに基づいた高精度の色再現が可能になる。
次に、本発明の第7の実施形態の画像処理システムについて、図49〜図52を用いて説明する。
図49は、本実施形態の画像処理システムのブロック構成図である。図50(A),図50(B)は、正反射する被写体を各色のLED光で照明したときの状態を示す図であり、図50(A)は、上記結像時の正反射する被写体と各色のLEDとCCDの配置を示し、図50(B)は、CCDに結像する正反射部分のある画像を示す図である。図51は、CCDの結像面上の各色のLEDの照明による正反射部分が存在する被写体像と、上記画像処理システムの撮影装置で上記被写体像から正反射部分を削除処理した被写体像を示す図である。図52は、上記撮影装置における正反射部分削除処理のフローチャートである。
本実施形態の画像処理システムは、図49に示すように正反射の影響のない分光画像を撮影可能である画像撮影部としての撮影装置1Cと、画像メモリを有し、上記撮影装置1Cで撮影された被写体分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Cとを有してなる。
上記処理装置2Cは、前記第1の実施形態等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
上記撮影装置1Cは、図49に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しているが、特に本撮影装置1Cにおいては、後述するように取得した正反射画像データの処理動作が行われる。なお、撮影装置1Cの各構成要素で上記撮影装置1と同一ものには、同一の符号を付して説明する。
上記撮影装置1Cでは、被写体71が正反射するような光沢のある曲面を持つ被写体であった場合でもその画像データからLED群6Xの各LEDからの照明光による正反射した高輝度部分を削除し、正反射部分のない画像データが合成処理により求められる。以下、その画像処理について説明する。
例えば、上述した正反射する被写体71に対して、一例としてそれぞれ異なるリング状の位置に配置されるLED6a1,6a2,6a3,6a4の照明光を照射した場合、上記各LEDから同じ波長の光が発光される。それぞれ被写体71で正反射すると、CCD8の結像面上の異なった位置に色づいた高輝度点が結像される。すなわち、図50(B)の画像Z上、異なった位置にLED6a1,6a2,6a3,6a4に対応する高輝度ポイントPa,Pb,Pc,Pdが生じることになる。
撮影装置1Cにおいては、上記正反射による高輝度ポイントPa,Pb,Pc,Pdが正反射部削除処理により除去される。その削除処理について、図51により説明すると、まず、LED6a1の発光光による被写体71の正反射像は、CCD結像面Z1上で高輝度点Paで示される。同様にLED6a2,6a3,6a4の各発光光による被写体71の正反射像は、CCD結像面Z2,Z3,Z4上でそれぞれ高輝度点Pb,Pc,Pdで示される。上記高輝度点Pa,Pb,Pc,Pdの画素データを除いた残りの画像データを加算、または、平均化することによって正反射の高輝度部分のない補正された被写体71の分光画像データ(CCD結像面上Z0)が得られる。
上記正反射部削除処理について、図52のフローチャートを用いて説明する。まず、ステップS131でLED6a1を点灯させ、ステップS132でそのときの画像データを取得する。その後、ステップS133〜S138において順次LED6a2,LED6a3,LED6a4を点灯させて、各LED発光時の各画像データを取得する。ステップS139において上記各取得画像データから高輝度部分を除いた画像データを生成することによって正反射が除去された分光画像データを得る。なお、上述した例は、LED光源が4つの場合を示しているが他の光源数の場合も同様に処理することができる。
本第7の実施形態の画像処理システムにおける撮影装置1Cによれば、被写体71が正反射するような被写体であったとしても取得した画像データに上述した正反射削除処理を施すことによって、正反射部分のない分光画像データを得ることができる。
次に、本発明の第8の実施形態である画像処理システムについて、図53,図54を用いて説明する。
なお、図53は、本実施形態の画像処理システムのブロック構成図であり、図54は、正反射被写体における光の反射状態を示す図である。
本実施形態の画像処理システムは、図53に示すように正反射する被写体の分光画像を撮影可能な画像撮影部としての撮影装置1Dと、上記撮影装置1Dで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Dとを有してなる。
上記処理装置2Dは、前記第1の実施形態等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
上記撮影装置1Dは、図53に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しており、さらに、正反射光をカットするために照明光源であるLED群6Xの前面に回転可能な反射光除去手段である第1の偏光板75が配置され、CCD8の前面に反射光除去手段である第2の偏光板76が配置されている。
なお、上記撮影装置1Dの各構成要素で上記撮影装置1と同一ものには、同一の符号を付して説明する。
分光画像データを取得する場合、被写体表面の分光反射率に基づく拡散反射光を検出して分光画像データが求められる。しかし、被写体71の表面が鏡面に近い表面であった場合、図54に示すようにLED6aからの被写体71に向けて発光された照明光は、被写体表面の、例えば、点Qa,Qbにおいて拡散反射光R1,R3(図54中、短い矢印で示す)として反射するが、一部が正反射光R2,R4(図54中、長い矢印で示す)として反射する。この正反射光R2,R4は、照明光の入射角と対称方向に反射し、照明光のスペクトルと略同じスペクトルを有している。そして、この正反射光R2,R4成分は、上記拡散反射光R1,R3成分よりも大きく、物体の分光反射率測定の妨げになる。上記正反射光R4は、その反射方向がCCD8側に向いていないので影響はないが、他方の正反射光R2は、撮影光学系7を透過してCCD8に取り込まれ、撮影画像中、点Qaの部分が高輝度点として撮影されてしまう。したがって、被写体71の表面の状態により生じる正反射光成分を取り除かなければ、適正な分光画像データを取得することができない。
そこで、本実施形態の撮影装置1Dにおいては、上述したようにLED群6Xの前面に第1の偏光板75を配置し、CCD8の前面に第2の偏光板76を配置することによって、上記正反射光成分をカットし、CCD8に入射しないようにしている。すなわち、上記第1の偏光板75によってLED群6Xからの照明光を偏光させる。被写体71の表面で拡散反射した光は、その偏光方向が様々になるが、正反射した光は、一方向の偏光状態を維持したまま撮影光学系7に入射する。上記第1の偏光板75は、第2の偏光板76に対して回転調整して配置されており、上記偏光した正反射光は、第2の偏光板76で除去される。そして、拡散反射光のみがCCD8側に入射し、正反射による高輝度部分のない被写体像が撮影される。
上述のように本第8の実施形態の画像処理システムの撮影装置1Dを適用した場合、被写体71が光沢のある表面を有していたとしても撮影画像に正反射光による高輝度部が生じることがなく、適正な分光画像データを取得して、高精度の色再現が可能となる。
なお、上記撮影装置1Dにおいては、第2の偏光板76を撮影光学系7とCCD8との間に配置したが、撮影光学7の前面の被写体71側に配置する構成を採用しても同様の効果が得られる。
次に、本発明の第9の実施形態である画像処理システムについて、図55,図56を用いて説明する。
なお、図55は、本実施形態の画像処理システムのブロック構成図であり、図56は、上記画像処理システムの撮影装置におけるCCDの前面に配置される第2偏光板の正面図である。
本実施形態の画像処理システムは、図55に示すように正反射する被写体の可視光および近赤外光による分光画像が撮影可能である画像撮影部としての撮影装置1Eと、上記撮影装置1Eで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置2Eとを有してなる。
上記処理装置2Eは、前記第1の実施形態等の画像処理システムに適用された処理装置2と同様の構成,機能を有しており、パーソナルコンピュータを用いてもよい。
上記撮影装置1Eは、図55に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Eには、照明光源として可視光光源であるLED群6Xの他に近赤外光光源であるLED6gが撮影光学系7の周囲に配置されている。また、正反射光をカットするために上記LED群6Xの前面部に反射光除去手段である第1の偏光板81と、上記LED6gの前面部に第1の偏光板82が配置されている。また、CCD8の前面部には、反射光除去手段である第2の偏光板83と84が装着された回転可能な偏光板ダイヤル85(図56)が配置されている。
なお、上記撮影装置1Eの構成要素で上記撮影装置1と同一ものには同一符号を付して、以下、異なる処理部分について説明する。
この撮影装置1Eにおいては、LED群6Xを点灯させることにより可視光による分光画像データを取得することができ、さらに、LED6gを点灯させることにより近赤外光による分光画像データを取得することができる。
そのとき、被写体が光沢のある被写体71であった場合、正反射光が取り込まれて画像データに高輝度部が生じるが、この撮影装置1Eでは、可視光による被写体画像に限らず近赤外光による被写体画像に対しても上記正反射光を除去することが可能であり、いずれの場合にも高輝度部のない適正な分光画像データを取り込むことができる。
撮影装置1Eにおいては、上記偏光板ダイヤル85には、可視光用の第2の偏光板83と近赤外光用の第2の偏光板84とが装着されている。
撮影装置1Eにより可視光による撮影を行う場合は、偏光板ダイヤル85を例えば矢印D1方向に手動で回転させて、可視光用第2の偏光板83をCCD8に対向するように切り換える。上記切り換え後、撮影装置筐体外に突出している近赤外用第2の偏光板84を回転操作することにより中央の回転ローラ86を介して上記可視光用第2の偏光板83を回転させて、上記可視光用第1の偏光板81に対する調整を行う。
そこで、可視光LED群6Xを所定の発光モードにしたがって点灯させると、第1の偏光板81を透過した光が被写体71で反射され、撮影光学系7に入射する。反射光のうち拡散光成分は、第2の偏光板83を透過するが、正反射光成分は、第2の偏光板83で除去される。したがって、正反射による高輝度部のない可視光による被写体像がCCD8によって撮像信号に変換され、分光画像データとして取り込まれる。
一方、近赤外光による撮影を行う場合は、偏光板ダイヤル85を手動で回転させて近赤外光用第2の偏光板84をCCD8に対向させる。そして、撮影装置筐体外に突出している可視光用第2の偏光板83を回転操作することにより中央の回転ローラ86を介して上記近赤外光用第2の偏光板84を回転させ、上記近赤外光用第1の偏光板82に対する調整を行う。
そこで、近赤外光LED6gを所定の発光モードにしたがって点灯させると、第1の偏光板82を透過した近赤外光が被写体71で反射され、撮影光学系7に入射する。その近赤外反射光のうち拡散光成分は、第2の偏光板84を透過するが、正反射光成分は、第2の偏光板84で除去される。したがって、正反射による高輝度部のない近赤外光による被写体像がCCD8によって撮像信号に変換され、分光画像データとして取り込まれる。
上述した本第9の実施形態の画像処理システムの撮影装置1Eによると、可視光光源による撮影の他に近赤外光光源による撮影を行うことが可能であり、しかも、正反射する光沢のある被写体に対しても上記双方の光源のいずれでも正反射の影響を抑えた高輝度部のない被写体画像を取り込んで分光画像データを取得することができ、高精度の色再現が可能である。
特に上記撮影装置1Eに適用される偏光板は、可視光と近赤外光とにわたる全波長で偏光特性を持つような高価な偏光板を用いる必要がなく、可視光光源に対しては、安価な可視光用第1の偏光板81と第2の偏光板83を適用し、近赤外光光源に対しては、近赤外光用の第1の偏光板82と第2の偏光板84を適用するので、部品コストを抑えることができる。
次に、本発明の第10の実施形態である画像処理システムについて、図57〜図59を用いて説明する。
なお、図57は、本実施形態の画像処理システムのブロック構成図であり、図58(A),図58(B)は、上記画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正前を示す図であり、図59(A),図59(B)は、上記画像処理システムの撮影装置におけるLED光源によるシェーディング状態の補正後を示す図である。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Fと、上記撮影装置1Fで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
上記撮影装置1Fは、図57に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Fには、照明光源であるLED群6Xの前面部に照明ムラを軽減する光学部材であるシェーディング補正レンズ88が装着されている。
なお、上記撮影装置1Fの構成要素で上記撮影装置1と同一ものには同一符号を付して説明する。
上記撮影装置1Fにおいて、上記シェーディング補正レンズ88が装着されない状態では、例えば、互いに異なる位置に配置されているLED群6Xの中のLED6aとLED6dを別々に点灯させた場合、被写体への照明状態は、図58(A),図58(B)に示すように画面G1の左上、と、画面G2の右上のように異なる部分が他の部分より明るく照明される。これを補正しないと画面上の各位置によって観測されるスペクトルの強度分布が異なるために正確な測定ができないという問題が生じる。
そこで、撮影装置1Fにおいては、上述したようにLED群6Xの前面部にシェーディング補正レンズ88を装着する。このシェーディング補正レンズ88を装着することによってLED6a、または、6dからの照明光が調整され、図59(A),図59(B)の画面G3,G4に示すようにそれぞれ明るい部分が画面中央に集まるように補正される。この照明光の補正によって光源位置による影響が軽減され、画面内の位置によるスペクトル強度分布の誤差がなくなり、正しい測定がなされる。高精度の分光画像データを取得することが可能になる。
なお、上記実施形態の撮影装置1Fの構成を採用してもまだ照明位置に影響されるシェーディングが残る場合がある。その場合は白紙などを被写体として撮影を行い、得られた画像データを基にしてLED群6Xの各LED毎の画面位置に対するシェーディング補正データを算出する。そして、上記各LED毎に電気的なシェーディング補正を行うようにすれば、さらに正確な補正が可能となる。
上述の例では光学的なシェーディング補正と画像処理的なシェーディング補正を併用したが、上記シェーディング補正光学系88を用いることなく、画像処理のみによるシェーディング補正を施しても程度の補正効果を得ることができる。
また、上記シェーディング補正光学系(レンズ)88に代えて拡散板を利用してシェーディング補正を行うことも可能である。
次に、本発明の第11の実施形態である画像処理システムについて、図60,図61を用いて説明する。
なお、図60は、本実施形態の画像処理システムのブロック構成図であり、図61は、上記画像処理システムにおける撮影装置のLED光源部の配置図である。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Gと、撮影室となる暗室91と、上記撮影装置1Gで撮影された被写体の分光画像信号から高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
上記撮影装置1Gは、図60に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Gには、暗室91内の照明光源との接続端子部(接点部)90が配設されている。なお、上記撮影装置1Gの構成要素で上記撮影装置1等と同一の要素には同一符号を付して説明する。
また、上記処理装置も前記第1の実施形態等の画像処理システムに適用された処理装置2と同様の構成を有しており、パーソナルコンピュータを用いてもよい。
上記暗室91は、例えば、患者59が入れるだけのスペースを有し、外部から遮光された構造を有する。その内部に外部照明装置としての複数個の照明装置92が配置されている。
上記照明装置92には、図61に示すように撮影装置1Gに内蔵されるLED群6Xである第1LED6a〜第6LED6fのそれぞれと同一の発光波長を有するLED96a〜LED96fがそれぞれ複数組、配されている。図中、丸印は、各LEDを示しており、その丸印の同一の模様標識のものは、同一発光波長のLEDを示している。図61に示されるように上記複数組のLED96a〜LED96fは、偏ることなく均等に照明装置92内に分布されており、概ね面発光が可能な状態になる。上記LED96a〜LED96fへの電源は、接続コネクタ93を介して供給される。接続コネクタ93は、撮影装置1Gが暗室91に装着されたとき、撮影装置1G側の接続端子部90と接続状態となる。
上述のような構成を有する撮影装置1Gにより撮影を行う場合、まず、撮影装置1Gを暗室91に装着し、照明装置92の各LEDを点灯可能状態にセットする。そして、被写体となる患者59を暗室91内に入れる。
そこで、上記照明装置92の各LEDを点灯して患者59の所要部位を撮影し、所望の分光画像データを得るが、そのときの上記照明装置92の各LEDの点灯順は、撮影装置1Gの発光モードに従って点灯される撮影装置1G内蔵のLED群6Xの点灯タイミングで点灯される。
上述した本第11の実施形態の画像処理システムによると、被写体サイズが大きい場合であっても環境光の影響のない状態で正確な色測定が可能であり、高精度の色再現が可能になる。また、暗室91は、撮影装置1のコネクタ部93を有する装着部と照明装置92とを設けるだけの簡単な装置でよく、大形の被写体を撮影することが可能な安価な画像処理システムが得られる。
上記撮影装置1Gの撮影光学系7に広角の撮影光学系を適用すれば、撮影範囲が広げがり、より大きな被写体、例えば、車体など大型の物品の撮影が可能となる。
次に、本発明の第12の実施形態である画像処理システムについて、図62のブロック構成図を用いて説明する。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Hと、上記撮影装置1Hで撮影された被写体の分光画像信号より高精度色再現画像データを求め、さらに、上記画像データに基づいて被写体の状態を判断するための画像処理部である処理装置2Hとを有してなる。
上記撮影装置1Hは、図62に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Hには、照明光源として可視光光源である複数のLED群6Xの他に中心波長780nm〜900nmの近赤外光光源である複数のLED6hが撮影光学系7の周囲に配置されている。なお、上記撮影装置1Hの構成要素で上記撮影装置1と同一ものには同一符号を付して説明する。
また、上記処理装置2Hは、前記第1の実施形態等の画像処理システムに適用された処理装置2と同一のものであり、パーソナルコンピュータを用いてもよい。
上記撮影装置1Hにおいては、可視光光源であるLED群6Xを所定の発光モードにより点灯した場合、可視光による分光画像データが取得される。また、近赤外光光源であるLED6hを点灯させ、被写体である患者95の体表を照射した場合、近赤外光による分光画像データが得られる。
上記近赤外光による撮影時には、上記撮影装置1Hを近赤外光撮影モードにしてLED6hを連続点灯させる。その状態で患者95の体表の30フレーム/秒の画像データを取り込み、表示を行う。その取得された画像は、LCDモニタ16、および、処理装置2Hのディスプレイ22にモノクロ画像として表示される。
上記LED6hの中心波長780nm〜900nmの近赤外光は、可視光に比較して体表の深部へ到達するので、皮下の血管95aの状態が撮影できる。例えば、血流観察モードに設定した場合、上記30フレーム/秒の動画データにより皮下の血管95aの血流状態をディスプレイ22上で観察することができる。また、撮影装置のLCDモニタ16上でも血流状態を直接、モノクロ画像で観察可能である。
本第12の実施形態の画像処理システムにおいて、血流状態の判定処理を自動的に行わせることも可能であり、撮影者が撮影装置1Hの操作スイッチ14を押圧操作することによって上記LED6hを所定の時間点灯させ、撮影された近赤外光による動画像データを処理装置2Hに転送する。処理装置2Hにおいて上記動画データを演算処理することにより血流状態が判別される。
なお、本第12の実施形態の画像処理システムにより上記血流状態の判別処理の他に上記血流状態の動画データを演算処理することにより脈拍数、または、心拍数を求めることも可能である。
次に、本発明の第13の実施形態である画像処理システムについて、図63のブロック構成図を用いて説明する。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Jと、上記撮影装置1Jで撮影された被写体の分光画像信号より高精度色再現画像データを求め、さらに、上記画像データに基づいて被写体の表面状態を判断するための画像処理部である処理装置2Jとを有してなる。
上記撮影装置1Jは、図63に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Jには、照明光源として可視光光源である複数のLED群6Xの他に中心波長300nm〜380nmの紫外線光源である複数のLED6jが撮影光学系7の周囲に配置されている。上記撮影装置1Jの構成要素で上記撮影装置1と同一ものには同一符号を付して、以下、説明する。
なお、上記処理装置2Jは、前記第1の実施形態等の画像処理システムに適用された処理装置2と同一である。
上記撮影装置1Jにおいては、可視光光源であるLED群6Xを所定の発光モードにより点灯した場合、可視光による分光画像データが取得される。また、紫外線光源であるLED6jを点灯させ、被写体である被検査部材98の表面98aを照射した場合、紫外線による分光画像データが得られる。
上記紫外線による撮影を行う場合、撮影装置1Jを紫外線撮影モードにしてLED6jを点灯させ、その状態で被検査部材98の表面98aの画像データを取り込み、表示を行う。その取得された画像は、LCDモニタ16、および、処理装置2Jのディスプレイ22にモノクロ画像として表示される。
上記LED6jの中心波長300nm〜380nmの紫外線は、可視光に比較して被写体表層のより浅いところで散乱反射するので、表面の細かな傷など被写体表面の状態を上記撮影画像により観察できる。
なお、上記第12,13の実施形態に適用する撮影装置1Hと1Jとを組み合わせた変形例の撮影装置を提案することができる。この変形例の撮影装置では、光源として可視光のLED群6Xの他に近赤外光光源であるLED6hおよび紫外線光源であるLED6jが撮影光学系7の周囲に配置される。
上記変形例の撮影装置により患者の血流観察と被検出部材の表面傷検査など同一の撮影装置により広範囲の種類の被写体の分光画像データを得ることができる。
次に、本発明の第14の実施形態である画像処理システムについて、図64のブロック構成を用いて説明する。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Kと、上記撮影装置1Kで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置2Kとを有してなる。
上記撮影装置1Kは、図64に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有しているが、さらに、撮影装置1Kには、筐体5の投射口5aにおいて支持軸102により回動自在に支持され、キャリブレーション用基準色を配した色票101が配置されている。
なお、上記撮影装置1Kの構成要素で上記撮影装置1と同一ものには同一符号を付して説明する。
上記処理装置2Kは、前記第1の実施形態等の画像処理システムに適用された処理装置2と同一である。
本実施形態の撮影装置1Kでは従来は面倒であった色標の保管管理が不要となり、また、色標の汚れ発生や外光による劣化を防止できるように、上述した色票101を筐体5内に内蔵し、使用しないときには、筐体5の内部に撮影光学系7の投射口5aから退避させて収納させる。この収納状態では、色票101は、LED群6Xの照射光路外に退避されており、被写体103への照射光を阻害することはない。そして、キャリブレーション時にのみ、図64に示すように撮影光学系7の投射口5aまで回動させる。その状態で色票101の画像データをCCD8を介して取り込み、色のキャリブレーションのための分光画像データが取得される。
本第14の実施形態の撮影装置1Kによれば、色票101の保管管理が不要であり、また、手で扱われないために汚れが付きにくく、また、外光に曝されて色が劣化することがなく、常に正確な色のキャリブレーションが可能である。
なお、上記実施形態の撮影装置1Kにおいては、色票101が筐体5に回動可能に支持されていたが、それに代えて筐体5の投射口5aに着脱されるレンズキャップ(図示せず)の内面に色票を貼付した構成を採用することも可能である。この場合、レンズキャップを装着した状態で上記キャリブレーションが行われる。
次に、本発明の第15の実施形態である画像処理システムについて、図65のシステム構成図を用いて説明する。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Lと、上記撮影装置1Lにケーブル112を介して接続される携帯電話器110と、上記携帯電話器110と通信可能な院内処理システム119とを有してなる。
上記院内処理システム119は、院内通信装置115と、処理装置116と、データベース117と、モニタ118とを有してなる。
上記撮影装置1Kは、図65に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と同様の構成を有している。上記撮影装置1Kの同一の構成要素には、同一の符号を付して説明する。
上記携帯電話110は、撮影装置1Lで取得した患者の患部を撮影した分光画像データを公衆通信回線により上記院内処理システム119の院内通信装置115に送信する。なお、携帯電話110には、LCDモニタ111が設けられている。
上記院内処理システム119の処理装置116は、院内通信装置115を介して受信した上記患部の分光画像信号より高精度色再現画像データを求めるための画像処理部であって、前記第1の実施形態等に適用された処理装置2と同様の構成を有する。
上述した構成を有する本第15の実施形態の画像処理システムにおける分光画像データ処理動作について、携帯電話110の処理と、院内処理システム119の処理と、撮影装置1Lの処理とのそれぞれの処理ステップに分けて以下、説明する。
上記携帯電話110の処理ステップから説明すると、まず、上記携帯電話110が撮影装置1Lに接続されると、撮影装置1LのIDを確認する。不正ならば、エラーメッセージを出力する。携帯電話110と撮影装置1Lとが適合すれば、携帯電話110が撮影モードに設定され、携帯電話のモニタ111が撮影装置1Lのモニタとして機能し、携帯電話の操作ボタンが撮影装置1Lの操作スイッチとして機能するように設定される。
予め設定済みの院内処理システム119に対して公衆回線得介して接続要求が出力される。院内処理システム119での認証が終了すると接続が確立する。
続いて、撮影装置1Lからのモニタ画像が携帯電話110のモニタ111に表示され、撮影準備が完了する。
ユーザにより撮影装置1Lの撮影ボタン14aが押圧操作されると、撮影装置1Lからの撮影画像データが出力されるのを待つ。撮影画像データが出力されるとその画像データをモニタ111に表示する。上記画像データを院内処理システム119側に送信し、ユーザの操作待ち状態となる。
ユーザの操作により、院内処理システム119の画像データベース検索要求がなされると、院内処理システム119のデータベース117にアクセスし、データベース117の情報が取得され、モニタ118に表示される
さらに、ユーザの操作により、データベース117に対して検索要求が出される。データベースからの検索結果が受信され、モニタ111に表示される。
次に、院内処理システム119側における処理ステップを説明すると、まず、携帯電話110からの接続要求を受け、携帯電話のIDを確認する。不正ならエラーメッセージを出力し接続が切断される。さらに、撮影装置1LのIDを確認する。不正ならエラーメッセージが出力され、接続が切断される。
続いて、認証情報を要求し、ユーザが入力した認証情報を確認する。不正ならエラーメッセージを出力し接続が切断される。不正でなければ、接続が確立され、携帯電話110からの送信待ちの状態となる。
撮影装置1Lによって撮影が行われると、携帯電話110からの画像データを受信する。
上記受信した画像データを携帯電話のID、撮影装置のID、使用者の認証情報とともにデータベース117に記録し、携帯電話110からの送信待ちの状態となる。
携帯電話110からデータベース117に対する検索要求を受信すると、117に対して検索を行い、検索結果が携帯電話110に送信され、携帯電話110からの送信待ちの状態となる。
次に、撮影装置1Lにおける処理ステップについて説明すると、携帯電話110が接続されると、携帯電話110のIDが確認される。
撮像装置1Lからの画像データがライブ画像データとして携帯電話110に送信される撮影可能状態となり、撮影ボタン14aの操作、あるいは、携帯電話110からの撮影要求を待つ。
ユーザによる撮影実行操作が行われると、所定のシーケンスで撮影装置1Lの光源部のLED群6Xを点灯し、撮影が実行され、取得された撮影画像データが携帯電話110側に送信される。
上述した本第15の実施形態の画像処理システムの構成により、撮影装置1Lに液晶モニタを配置する必要がなくなり、撮影装置1Lを安価に構成できる。また、院内処理システム119への接続の際にケーブルを使う必要が無いので、撮影時のハンドリングの自由度が高くなる。また、通信回線として公衆回線を用いることができるため、使用できる場所の範囲が広がる。携帯電話110の操作ボタンを使用できるので、名前や症状などのより複雑な文字情報を入力することができる。
さらに、携帯電話110のマイクを利用して音声データを画像データとともに入力するようにしてもよい。この場合は、音声による所見などの情報入力が可能となるほか、操作を音声で行うことも可能になり、使い勝手がさらに向上する。
なお、上記携帯電話110には、院内で用いられているPHSを適用してもよく、さらには、LANの端末装置、または、PDA装置を利用してもよい。
次に、本発明の第16の実施形態である画像処理システムについて、図66の上記画像処理システムに適用される画像撮影部の構成を示す図を用いて説明する。
本実施形態の画像処理システムは、図66に示すように画像撮影部としてのLED照明ユニット127が装着可能なカメラ付き携帯電話121と、上記携帯電話器110と通信可能な院内処理システム119とを有してなる。
上記院内処理システム119は、前記図65に示す第15の実施形態に適用したシステムと同一のものであって、院内通信装置115と、処理装置116と、データベース117と、モニタ118とを有してなる。
上記カメラ付き携帯電話121は、LED照明ユニット127が装着された状態では、前記第1の実施形態の画像処理システムに適用された撮影装置1(図1)の撮影処理部と同様の撮影処理機能を有する。すなわち、上記カメラ付き携帯電話121は、撮影光学系であるカメラレンズ122と、LCDモニタ124と、操作スイッチ123と、アンテナ126と、接続コネクタ部を有し、内部にCCD、A/D変換回路、画像データメモリ、カメラ制御I/F、データ送受信回路、モニタI/F、外部I/F、本携帯電話の制御を司るCPU等が内蔵されている。
また、上記カメラ付き携帯電話121の装着可能なLED照明ユニット127は、ユニット固定金具131により上記携帯電話121の本体に固定され、装着状態で携帯電話のカメラレンズ122に対向して位置するクローズアップレンズ128と、クローズアップレンズの外周に沿って配置されるLED群129と、LED群129の外側に設けられる遮光筒132と、携帯電話121のコネクタ部に接続される接続ケーブル125とを有してなる。
上記LED群129は、前記第1の実施形態における撮影装置1に設けられるLED群6Xと同様のそれぞれ異なる分光分布特性を有するLED群であって、異なる波長の青色光源のLED6a,6bと、異なる波長の緑色光源のLED6a,6bと、異なる波長の赤色光源のLED6a,6bと同等の6種類のLEDの複数組のLED群とする。
次に、上述した構成を有する本第16の実施形態の画像処理システムによる撮影動作について説明する。
カメラ付き携帯電話121に装着したLED照明ユニット127を被写体である患者の体表に向けた状態で操作スイッチ123を操作し、LED群129を選択された発光モードによる所定の発光順に従って点灯させ、携帯電話121に設けられるCCD(図示せず)によって上記各LED発光時に対応した患者の体表の撮影画像データが取り込める。その画像データは、携帯電話121内のメモリに一旦記憶される。
その後、操作スイッチ123を操作してアンテナ126から公衆回線を介して院内処理システム119に分光画像データを送信する。院内処理システム119側では、上記分光画像データに基づいた画像処理を行い、高色再現処理が行われる。
なお、携帯電話121と院内処理システム119とのデータの授受は、前記第11の実施形態の場合と同様である。
本第12の実施形態の画像処理システムによると、専用の撮影装置を必要とせず、従来のカメラ付き携帯電話にLED照明ユニット127を装着するだけで画像処理システムの撮影装置として利用することができ、公衆回線を利用した安価なシステムを提供できる。
また、上記携帯電話121には、他のカメラ機能付きの端末装置であって、LANの端末装置、または、PDA装置等を適用できる。
次に、本発明の第17の実施形態である画像処理システムについて、図67の上記画像処理システムに適用される撮影装置のブロック構成図を用いて説明する。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Mと、上記撮影装置1Mで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部としての処理装置(図示せず)とを有してなる。
上記撮影装置1Mは、図67に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Mには、撮影装置1Mと被写体142との離間距離である撮影距離Lを測定する測距手段である測距センサ141が設けられている。なお、上記撮影装置1Mの構成要素のうち、上記撮影装置1と同一ものには同一符号を付して説明する。
上記適用される処理装置は、前記第1の実施形態等の画像処理システムに適用された処理装置2と同一である。
本実施形態の画像処理システムにおける撮影動作は、次の処理ステップにしたがって行われる。
まず、使用者は、患者の身体である被写体142に対して撮影装置1Mをセットし、撮影距離を測距センサ141により測定し、その測定結果を登録する。目標撮影距離からの差分を符号付きでモニタ16に表示させる。使用者は、上記モニタ16の表示を見ながら撮影装置1Mを移動させる。目標撮影距離に一致したらその旨の表示がモニタ16になされ、撮影装置1Mは、撮影可能状態で待機する。使用者が撮影ボタン14aを操作すると、撮影が開始される。
本第17の実施形態の画像処理システムでは、撮影装置1Mの上述した被写体距離測定機能を用いて被写体距離を定めることにより、患者の身体の被写体142の同じ部位を撮影する場合、前回撮影した画像データと比較する際に画像の大きさが同じになり、比較検討が非常に行いやすくなる。
次に、本第17の実施形態の画像処理システムの撮影装置の変形例について以下に説明する。
この変形例の撮影装置1Mでは、次のような処理ステップで撮影が行われる。すなわち、使用者が比較したい前回撮影した画像データを指定し、指定された画像データから所望の撮影距離情報が取得され、モニタ16に表示される。
使用者が概略の距離を目測で決めて撮影した際の実撮影距離情報を撮影装置1Mで取得し、実撮影距離と所望の撮影距離とから倍率補正係数が算出される。その倍率補正係数から実際に撮影された画像の倍率が補正された状態の同サイズの画像が表示される。
この変形例の撮影装置1Mの機能を用いることで、使用者は、被写体142までの距離を概略設定すれば、前回の画像と同じ倍率での画像データを観察することができる。
次に、本発明の第18の実施形態である画像処理システムについて、図68の上記システムによる診察状態を示す図を用いて説明する。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Nと、デジタイザ付き診察台153と、上記撮影装置1Nで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)とを有してなる。
上記撮影装置1Nは、図68に示すように前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、撮影装置1Nには、撮影装置1Nの鏡筒先端部に撮影装置1Nの座標を検出するための被写体部位検出手段である位置検出コイル151が内蔵され、また、撮影装置1Nの姿勢を検出するための重力等を利用した角度検出センサ152が組み込まれている。
なお、上記撮影装置1Nの構成要素のうち、上記撮影装置1と同一ものには同一符号を付して説明する。
また、上記処理装置は、前記第1の実施形態等の画像処理システムに適用された処理装置2と同一である。
本実施形態の撮影装置1Nは、診療所等での診察時に使用されることを想定している。上記テジタイザ付き診察台153には複数箇所から磁場を発生するデジタイザ装置が取り付けられており、上記撮影装置1Nの検出コイル151の位置が検出され、撮影装置1Nの位置が検知できる。さらに、撮影装置1Nの角度検出センサ152により、水平に対する撮影装置1Nの向いている方向を検出することができる。
上記撮影装置1Nにより撮影を行う場合、診療を受けようとする被写体の患者154は、上記デジタイザ付き診察台153の上の所定位置に横たわる。この状態で撮影装置1Nにより撮影を行い、その撮影時の患者154と撮影装置1Nの相対的な位置座標、および、その撮影時に撮影装置1Nの向いている撮影装置1Nの傾きが検出される。それらの検出データが画像データとともに記録される。上記検出データより患者のどの部位を撮影したのかが自動的に記録される。したがって、画像データを取得したとき毎の撮影患部位置と撮影方向を確認することが可能であり、撮影部位のずれや撮影方向が変化が防止でき、正しい診断がなされる。
次に、本発明の第19の実施形態である画像処理システムについて、図69の上記システムによる診察状態を示す図を用いて説明する。
本実施形態の画像処理システムは、画像撮影部としての撮影装置1Pと、上記撮影装置1Pで撮影された被写体の分光画像信号より高精度色再現画像データを求めるための画像処理部である処理装置(図示せず)と、診察椅子161と、を有してなる。
上記撮影装置1Pは、前記第1乃至第4の実施形態の画像処理システムに適用された撮影装置1(図1,図17,図21,図37)と略同様の構成を有し、さらに、上記撮影装置1Pには、被写体に向けて特殊の光パターンを投影する被写体部位検出手段である光パターン投影装置(図示せず)が内蔵されている。ただし、上記光パターン投影装置は、上記撮影装置1Pに内蔵せず、固定配置されていてもよい。
なお、上記撮影装置1Pの構成要素で上記撮影装置1と同一ものには、同一の符号を付して説明する。
また、上記処理装置は、前記第1の実施形態等の画像処理システムに適用された処理装置2と同一とする。
前記第18の実施形態では、撮影位置を特定するためにデジタイザを適用したが、本第19の実施形態では、特殊の光パターンを患者に投影した状態で撮影した画像を参照して分光画像データの撮影部位が特定される。
すなわち、本実施形態の画像処理システムの撮影装置1Pで撮影を行う場合、、図69のように診察台161に被写体である患者162を座らせる。そこで、上記撮影装置1Pを患者162の患部162aが撮影可能な位置にセットする。そこで、上記光パターン投影装置により特徴のある光パターンを患者162に投影し、その光パターン投影状態での患部162aまわりをモニタ画像取得モードで一旦撮影する。撮影装置1Pを動かさないまま、引き続いて分光画像取得モードにおいてLED群6Xの照明光で撮影を行って、分光画像データを取得する。
上述のように本実施形態の画像処理システムによると、上記光パターンの投影画像により分光画像データを取得した撮影部位を確実に特定することができる。
なお、上記第19の実施形態の画像処理システムの撮影装置に対する変形例として、次のような変形例の撮影装置を提案することができる。
すなわち、本変形例の撮影装置は、装置本体の先端に体温測定用の温度センサ、脈拍を検出するための脈拍センサ、および、血圧測定時のコロトコフ音、胸部での呼吸音と心音および腹部での腸雑音などを検出するためのマイクロフォン(センサ)を備えており、聴診機能を有する。これらのセンサにより、被写体の分光画像データの他に体温、脈拍、心音等のデータを取得することができる。患者の患部の撮影時の上記体温、脈拍、心音等のデータは、分光画像データと関連づけてメモリに同時に保存される。これにより、日々、上記撮影装置の上記センサで測定された体温、脈拍、心音等の測定データは、公衆回線を介して関係診療機関に送信することが可能になるので、在宅での緻密な健康管理が実現可能となる。
なお、上述した各実施形態の画像処理システムにおいて、画像撮影部である撮影装置と、画像処理部である処理装置とは、分離した状態で設けられていたが、両者を一体化して単一の携帯可能な装置としてまとめて構成することは、勿論、可能であり、この場合、撮影しながら同時に画像処理の操作が行えるなど、使用目的によっては、非常に扱いやすい画像処理システムとなる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
以上説明したように本発明の画像処理システムによれば、高精度の色再現や検査、判定が可能であり、情報通信処理に対しても好適であり、しかも、その撮像部が小型軽量で携帯性に優れている画像処理システムとなる。
【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】

【図58】

【図59】

【図60】

【図61】

【図62】

【図63】

【図64】

【図65】

【図66】

【図67】

【図68】

【図69】


【特許請求の範囲】
【請求項1】
被写体を撮影するための撮像光学系と、上記被写体からの被写体信号を取得するための撮像素子部と、それぞれ異なる分光分布特性を有する複数の照明光源と、画像撮影操作を行うための撮影操作部とを有し、上記複数の照明光源を上記撮像素子部の露光タイミングと連動し、かつ、上記複数の照明光源を選択的に点灯させることにより複数の被写体分光画像を得る画像撮影部と、
上記画像撮像部で撮影された上記被写体分光画像を記憶するための画像メモリ部を有し、上記画像メモリ部に記憶された画像信号から所望の画像演算を行う画像処理部と、
を有していることを特徴とする画像処理システム。
【請求項2】
上記画像処理部は、さらに、前記画像メモリ部に記憶された画像信号から被写体の所定の等級演算、判別、または解析を行うことを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項3】
上記画像撮影部は、さらに、環境光の分光分布特性を検出するための照明検出センサを具備しており、外部ストロボ発光装置が着脱可能であり、上記照明検出センサの検出部は、上記外部ストロボ発光装置が装着されたときにストロボ光の導光路と光学的に結合することを特徴とした請求の範囲第1項に記載の画像処理システム。
【請求項4】
上記画像撮影部は、上記照明光源が被写体に直接写り込むことを防止するための反射光除去手段をさらに具備することを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項5】
上記画像撮影部は、さらに、上記照明光源と被写体との間に照明むらを軽減するための光学部材を具備することを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項6】
上記画像撮影部は、外部照明装置と連動するための接続接点部を有し、上記接続接点部を介して接続された外部照明装置は、前記照明光源と略同じ点灯順序で点灯することを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項7】
上記複数の照明光源は、中心波長が780nm乃至900nmである光源、または、中心波長が300nm乃至380nmである光源を少なくとも一つ含むことを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項8】
上記画像撮影部と画像処理部とは、一体化されて形成されていることを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項9】
上記画像撮影部は、上記画像処理部におけるキャリブレーションを行うための色票を内蔵することを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項10】
上記画像撮影部として、撮影機能を持つ携帯端末装置を適用し、それぞれ異なる分光分布特性を有する複数の照明光源がユニット化された照明光源部が上記撮影機能を持つ携帯端末装置に装着可能であることを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項11】
画像処理部に画像ファイリングソフトウエアが具備されており、前記撮影操作部が操作された時に撮影された画像データが前記画像ファイリングソフトウエアの所定の個所に記録されることを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項12】
上記画像撮影部は、さらに、上記被写体の部位情報を取得するための被写体部位検出手段を有することを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項13】
上記画像撮影部は、さらに、温度測定部を具備することを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項14】
上記画像撮影部は、さらに、脈拍測定部を具備することを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項15】
上記画像撮影部は、さらに、聴診機能を有することを特徴とする請求の範囲第1項に記載の画像処理システム。
【請求項16】
上記画像撮影部は、さらに、測距手段を有しており、撮影された画像中の被写体の大きさを管理することを特徴とする請求の範囲第1項に記載の画像処理システム。

【国際公開番号】WO2004/036162
【国際公開日】平成16年4月29日(2004.4.29)
【発行日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願番号】特願2004−544728(P2004−544728)
【国際出願番号】PCT/JP2003/009381
【国際出願日】平成15年7月24日(2003.7.24)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
Bluetooth
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】