説明

画像検査支援方法及び画像検査支援装置

【課題】画面上で画像の表示領域を移動させながら検査を行う際に、検査抜けの防止と効率的な検査の両立を可能とし、ユーザーの利便性を向上させる。
【解決手段】表示領域の自由な移動を認める第1の動作モードと、表示領域の移動に制限を付ける第2の動作モードとを設ける。現在の動作モードが第2の動作モードである場合は、ユーザーにより入力された表示領域の移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定する。そして、移動指示が非制限範囲内での移動を指示するものでない場合には、表示領域の移動を制限する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮像して得られた画像を部分的に表示して検査する作業を支援するユーザーインターフェースに関し、特に表示領域の移動制御に関する。
【背景技術】
【0002】
従来、画像を表示する際の表示領域移動を行う際に、ユーザーの表示領域移動指示を制限する表示方法がある(特許文献1)。例えば特許文献1では、複数の画像が存在する場合において、サムネール表示から所定の1枚の表示までを拡大率を変更することで実現可能としている。そして、拡大率が所定以上の場合に、ユーザーが所定の1枚の画像に注目しているとみなして他の画像への安易な表示領域移動が行われないよう制限している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−268689号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、複数の画像が存在している場合に表示領域移動により表示画像の切り替え操作を許可するか否かを制御している。特許文献1のようにすることで、複数枚の画像の一覧性の向上や個々の画像の詳細確認を組み合わせて行う際に利便性を高める効果がある。しかし、特許文献1の方法では、単一の画像を検査する際の表示領域移動に対してユーザーの利便性を向上させるように操作指示を制限することは行っていない。
【0005】
例えば顕微鏡や各種検査装置から得られた高解像度の画像を表示装置の画面上で検査する際、画像解像度に比べて表示装置の解像度が低かったり描画エリアが狭かったりすると、画像全体を一度に画面表示することができない。画像解像度が低い場合でも、画像を拡大表示する場合には同様の問題が生じる。そこで、画像の一部の領域のみを画面に表示し、その表示領域を画像内で移動させることで画像全体の検査を行う、という方法がとられることが多い。このような検査作業においては、検査の効率を高めるために、最初に画像全体を粗く確認して詳細な検査が必要な領域を特定する「概略確認作業」を行った後、特定した領域およびその周辺を詳細に検査する「詳細確認作業」が行われるのが通常である。いずれの作業もユーザーが表示領域を移動させながらの目視による確認作業となるが、それぞれの作業では要求される操作性に違いがある。すなわち、後者の詳細確認作業においては、ユーザーが見たいと思った領域に自由に移動できることが好まれるのに対し、前者の概略確認作業においては、検査抜けが無いように網羅的に画像全体を確認することが強く望まれる。言い換えると、概略確認作業においてユーザーが表示領域を任意に移動できてしまうと、画像の中で検査されない(画面表示されない)部分が発生する可能性があり、検査の信頼性を損ねる虞がある。
【0006】
本発明は上記実情に鑑みてなされたものであって、画面上で画像の表示領域を移動させながら検査を行う際に、検査抜けの防止と効率的な検査の両立を可能とし、ユーザーの利便性を向上させることを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る画像検査支援方法は、検査対象の画像の一部の領域を表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援方法であって、コンピュータが、表示領域の自由な移動を認める第1の動作モー
ドと、表示領域の移動に制限を付ける第2の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定工程と、コンピュータが、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得工程と、コンピュータが、現在の動作モードと前記移動指示取得工程で取得した移動指示とに基づいて表示領域を移動させる表示領域決定工程と、コンピュータが、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示工程と、を含んでおり、前記表示領域決定工程は、現在の動作モードが第2の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定する工程と、前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限する工程と、を含む画像検査支援方法である。
【0008】
本発明に係る画像検査支援方法は、検査対象の画像の一部の領域を表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援方法であって、コンピュータが、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得工程と、コンピュータが、前記移動指示取得工程で取得した移動指示に基づいて表示領域を移動させる表示領域決定工程と、コンピュータが、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示工程と、を含んでおり、前記表示領域決定工程は、ユーザーにより移動指示が入力された場合に、検査対象の画像の全体を順に走査するように設定された移動経路に沿って表示領域を自動的に移動させる画像検査支援方法である。
【0009】
本発明に係る画像検査支援装置は、検査対象の画像の一部の領域を表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援装置であって、表示領域の自由な移動を認める第1の動作モードと、表示領域の移動に制限を付ける第2の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定手段と、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得手段と、現在の動作モードと前記移動指示取得手段で取得した移動指示とに基づいて表示領域を移動させる表示領域決定手段と、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示制御手段と、を有しており、前記表示領域決定手段は、現在の動作モードが第2の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定し、前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限する画像検査支援装置である。
【0010】
本発明に係る画像検査支援装置は、検査対象の画像の一部の領域を表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援装置であって、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得手段と、前記移動指示取得手段で取得した移動指示に基づいて表示領域を移動させる表示領域決定手段と、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示制御手段と、を有しており、前記表示領域決定手段は、ユーザーにより移動指示が入力された場合に、検査対象の画像の全体を順に走査するように設定された移動経路に沿って表示領域を自動的に移動させる画像検査支援装置である。
【0011】
本発明に係るプログラムは、上述した本発明に係る画像検査支援方法の各工程をコンピュータに実行させるプログラムである。
【発明の効果】
【0012】
本発明によれば、画面上で画像の表示領域を移動させながら検査を行う際に、検査抜けの防止と効率的な検査の両立を可能とし、ユーザーの利便性を向上させることが可能となる。
【図面の簡単な説明】
【0013】
【図1】撮像システムの装置構成図。
【図2】画像検査支援方法を実行するコンピュータの構成図。
【図3】実施例1における画像検査支援装置の機能ブロック図。
【図4】実施例1における画像検査支援方法の流れを示すフローチャート。
【図5】図4のステップS409の処理の詳細を示すフローチャート。
【図6】実施例1における制限のある動作モードでの表示領域の移動制御を示す図。
【図7】実施例1における制限のない動作モードでの表示領域の移動制御を示す図。
【図8】実施例2における画像検査支援装置の機能ブロック図。
【図9】実施例2における画像検査支援方法の流れを示すフローチャート。
【図10】実施例3における画像検査支援装置の機能ブロック図。
【図11】実施例3における画像検査支援方法の流れを示すフローチャート。
【図12】実施例3における表示領域の移動制御を示す図。
【図13】実施例4における画像検査支援方法の流れを示すフローチャート。
【図14】実施例4における表示領域の移動制御を示す図。
【図15】表示領域の移動経路の例を示す図。
【図16】表示領域の移動経路の例を示す図。
【図17】表示領域の動作範囲の例を示す図。
【図18】表示領域の動作範囲の例を示す図。
【図19】複数の表示領域に対応する画像の表示例を示す図。
【発明を実施するための形態】
【0014】
以下、図面を用いて本発明に係る画像検査支援方法及び画像検査支援装置の具体的な実施例を説明する。なお、検査対象となる画像を取得する撮像装置の具体的な適用例として、高解像度で静止画の撮像を行う顕微鏡等を想定し、以後の説明を行う。本発明に係る画像検査支援方法は、高解像度で撮像された画像を検査する際に、まず粗く全体を見る概略確認を行って細かく見るべき局所領域を特定した後に、細かく局所領域を見る詳細確認を行う場合に適用可能である。
【0015】
<装置構成>
図1は本発明に係る撮像システムの装置構成の一例を示している。図1中、100は静止画の撮像が可能な顕微鏡装置を示している。101はプレパラートであり、プレパラート101は被写体となる試料が載せられたスライドグラスとその試料を密封するためのカバーガラスとを有する。本実施例の説明において試料は透過物体であるものとして説明する。102はプレパラート101を載せるためのステージであり、撮像時の光軸方向に垂直な平面における位置の移動を行うことが可能である。また、ステージ102は撮像時の光軸方向に対しても移動可能であり、被写体の厚さ方向に対する焦点位置を変更することが可能である。103は光源、104は対物レンズであり、光源103はプレパラート101を透過して対物レンズ104に光を供給する。105は撮像部であり、対物レンズ104を通して得られた被写体像を撮像する。106はコントローラであり、ステージ102、光源103、撮像部105等の動作制御を行う。なお、対物レンズ104は複数のレンズを切り替えられるようになっている、或いは、ズーム機構を備えているものであっても良い。この場合、レンズの切り替え、或いはズーム機能の制御はコントローラ106が行うようにすると良い。107は顕微鏡装置100に動作指示を送信するとともに、撮像された画像データを受信するための端末である。なお、コントローラ106の機能が端末107により実現されるような構成でも良い。
【0016】
108は顕微鏡装置100の動作指示を送るための画面、及び、顕微鏡装置100から取得された画像データに基づく画像や画像データの解析結果などを表示するディスプレイ
(表示装置)である。109は操作者の操作指示を入力するためのキーボードである。110は操作者の操作指示を入力するためのマウスである。111はネットワークを介して端末107と接続されたサーバーであり、顕微鏡装置100から取得された画像データを記録する。なお、サーバー111は顕微鏡装置100とネットワークを介して直接接続されていて、撮像された画像データが直接サーバー111に記録されるようにしても良い。
【0017】
以下に述べる実施例では、本発明の画像検査支援方法は、顕微鏡装置100とは別の装置である端末107及びディスプレイ108により実行される。しかし、顕微鏡装置100が上述の構成に加えてディスプレイ、及びボタン等の操作指示入力手段を有している構成にし、本発明の画像検査支援方法をコントローラ106により実行するようにしても良い。
なお、本実施例においてはプレパラート101に載せられた試料は透過物体であるものとしたが、本発明はこれに限るものではない。
【0018】
図2は、画像検査支援方法を実行するコンピュータである端末107の内部構成、及び、外部機器との関係を示している。200はCPUであり、処理に必要な演算を行う。201はプログラムやデータを記憶するROMであり、CPU200はROM201に記憶されているプログラムやデータを読み出すことが可能である。202はRAMであり、CPU200はRAM202に対してプログラムや処理に必要なデータの書き込み、或いは、読み出しが可能である。203はプログラムや画像データなどの書き込み、或いは、読み出しが可能なストレージであり、HDDやSSDなどから構成される。204はグラフィックボードであり、画面表示を行う際の表示データの生成を行う。205はインターフェースであり、端末107が外部機器である顕微鏡装置100との通信を行う際にデータの送受信を行う。206はLANインターフェースであり、端末107がネットワークと接続するサーバー111との通信を行う際にデータの送受信を行う。このような端末107は、汎用のコンピュータにより構成することができる。
【0019】
以下に説明する実施例では、CPU200がROM201及びストレージ203に格納されたプログラムを実行することにより、端末107に画像検査支援方法を実行させ、また端末107を画像検査支援装置として機能させている。
【0020】
<実施例1>
図3は本発明の実施例1における画像検査支援装置の機能構成を示す機能ブロック図である。300は表示倍率を入力する入力端子である。入力端子300には、キーボード109或いはマウス110を用いてユーザーによって指定された表示倍率が入力される。301は動作モード入力端子である。動作モード入力端子301には、キーボード109或いはマウス110を用いてユーザーによって指定された動作モード指示が入力される。302は移動指示入力端子である。移動指示入力端子302には、後述のように画像中の表示領域を移動させるためにキーボード109或いはマウス110を用いてユーザーから指示された移動指示が入力される。303は画像入力端子である。画像入力端子303には、撮像装置100から取得された画像データが入力される。
【0021】
304は動作モード決定部であり、動作モード入力端子301から入力された動作モード指示に応じて動作モードを決定する機能である。本実施例では、表示領域の自由な移動を許可する第1の動作モードと表示領域の移動を制限する第2の動作モードとを少なくとも含む、複数の動作モードが用意されている。第1の動作モードは詳細確認作業に適しており、第2の動作モードは概略確認作業に適した動作モードである。以下の説明では、第1の動作モードを制限のない動作モード、第2の動作モードを制限のある動作モードと呼ぶ。
【0022】
305は移動指示変更部であり、動作モード決定部304において決定された動作モードに基づいて移動指示入力端子302から入力された移動指示内容を変更する機能である。306は画像入力端子303より入力された画像データを記憶する画像記憶部である。307は表示領域移動部であり、移動指示変更部305から出力された移動指示に基づいて表示領域を算出し、算出された表示領域情報に基づいて画像記憶部306から画像情報を取得して表示用画像データを生成する。移動指示変更部305と表示領域移動部307とで表示領域決定手段が構成される。308は表示制御部であり、表示領域移動部307により生成された表示用画像データをディスプレイ108中の描画エリアに対して描画することで画像の表示を行う。
【0023】
なお、画像記憶部306は通常、端末107のRAM202、或いはストレージ203より構成される。しかし、画像記憶部306は端末107の外部にあっても良く、その場合、端末107は画像記憶部306としての機能を有していなくても良い。画像記憶部306が無い場合には、表示領域移動部307は画像入力端子303から直接必要な画像データを取得する。
【0024】
(表示領域の移動制御)
図4は本実施例における画像検査支援方法の動作フローを示すフローチャートである。処理が開始されるとまず、表示を行うための初期化が行われる。ステップS400では表示ウィンドウ中の表示範囲のサイズの取得が行われる。ステップS401では動作モードの初期化が行われる。ステップS402では移動指示内容の初期化が行われ、表示領域の初期位置が決定される。ステップS403では表示倍率の初期化が行われる。
【0025】
ステップS404では、表示領域移動部307が、表示ウィンドウ中の表示範囲のサイズ、画像中の表示領域の位置、及び表示倍率に基づいて、画像中の現在の表示領域に対応する画像データを画像記憶部306から取得する。ステップS405では、表示制御部308がステップS404で取得した画像を必要に応じてディスプレイ上の表示サイズに合わせて変倍した後に、表示を行う。
【0026】
ステップS406ではユーザーからの操作指示があったか否かが判定される。操作指示がない場合には、操作指示が与えられるまで操作指示を待つ。一方、操作指示があった場合にはステップS407へ移行する。ステップS407では操作指示内容が表示領域の移動指示であったか否かの判定を行い、表示領域の移動指示であると判定された場合にはステップS408へ移行する。
【0027】
ステップS408では、移動指示変更部305が、現在の動作モードが制限のある動作モード(第2の動作モード)であるか否かの判定を行い、制限のある動作モードであった場合にはステップS409に移行する。ステップS409では、移動指示変更部305が、表示領域の移動指示の内容が制限された指示に該当するか否か(つまり、ユーザーにより指示された移動方向や移動量が予め定められた条件を満たすか否か)の判定を行う。制限された移動指示であった場合には、移動指示変更部305は、ユーザーの移動指示を破棄(無視)して、表示領域の移動は行わずに処理をステップS406に移行させる。一方、ステップS408において制限のある移動モードではないと判定されるか、ステップS409で制限された移動指示ではないと判定された場合には、処理はステップS410に移行する。ステップS410では、入力された移動指示のとおりに移動後の表示領域の位置を設定し、処理をステップS404に移行させる。
【0028】
ステップS407において操作指示内容が表示領域の移動指示でなかった場合、処理はステップS411に移行して、操作指示内容が表示倍率の変更指示であったか否かの判定を行い、表示倍率の変更指示であった場合には、ステップS412に移行する。ステップ
S412では入力された表示倍率を次回以降の表示倍率として記憶し、処理をステップS404へ移行させる。
【0029】
ステップS411において操作指示内容が表示倍率の変更指示でなかった場合、処理はステップS413へ移行し、操作指示内容が動作モードの変更指示であったか否かを判定する。操作指示内容が動作モードの変更指示であった場合、ステップS414において、動作モード決定部304は入力された動作モードを次回以降の動作モードとして記憶し、処理をステップS404へ移行させる。一方、ステップS413において操作指示が動作モードの変更指示でなかった場合、処理はステップS415へ移行し、操作指示が終了指示であったか否かの判定が行われる。ステップS415において、操作指示内容が終了指示でなかった場合には処理をステップS406に移行させ次の操作指示を待ち、操作指示内容が終了指示であった場合には、表示動作を終了させる。
【0030】
なお、図4に示すフローにおいては、本実施例の特徴である表示領域の移動制御に必要な処理のみを記載している。そのため、実際には図4に示した操作指示以外の指示が含まれていても良く、必要に応じて処理を追加すると良い。また、ステップS407、S411、S413の順序は図4に示すものに限定されるものではなく、他の順序であっても構わない。本実施例では、ステップS407が移動指示取得工程に該当し、ステップS408〜S410が表示領域決定工程に該当し、ステップS413〜S414が動作モード決定工程に該当し、ステップS404〜S405が表示制御工程に該当する。
【0031】
(制限された移動指示か否かの判定)
上記のように、現在の動作モードが制限のある動作モードである場合、ステップS409において、ユーザーの移動指示が制限された移動指示に該当するか否かが判定される。この処理は、画像上に非制限範囲(表示領域の移動が制限されない範囲)を設定し、ユーザーの移動指示がこの非制限範囲内での移動を指示するものか否かを判定することで実現できる。画像の検査抜けが発生しないように表示領域の移動を規制することができさえすれば、非制限範囲はどのように設定してもよい。例えば、以下に述べるように本実施例では、表示領域の現在の位置を基準とし且つ所定の移動方向に平行となるように移動可能範囲(非制限範囲に相当)が設定される。この方法の場合、表示領域の現在位置に応じて非制限範囲が動的に変化する。或いは後述するように、検査対象の画像の全体を順に走査するように表示領域の移動経路(非制限範囲に相当)を設定し、この経路に沿った移動しかできないようにしても良い(図15、図16参照)。
【0032】
図5は、本実施例におけるステップS409の処理の詳細を説明するためのフローチャートである。ステップS409の動作が開始されると、ステップS500において、移動指示変更部305は、移動指示の内容が後述する第一移動方向への移動であるか否かを判定する。そして、第一移動方向への移動であると判定された場合には、移動指示変更部305はステップS501において、この移動が第二移動方向における現在位置において初めての第一移動方向への移動であるか否かを判定する。ステップS501において初めての第一移動方向への移動であると判定されると、移動指示変更部305はステップS502において、第一移動方向の移動可能範囲を後述の方法により算出して設定する。ステップS501において初めての移動ではないと判定されるか、ステップS502の処理が行われると、処理はステップS503へ移行する。ステップS503では、移動指示変更部305は、移動指示に基づく移動先が第一移動方向の移動可能範囲内であるか否かを判定し、移動可能範囲内であると判定されると、制限された移動指示ではないと判断して処理を終了する。また、ステップS503において移動可能範囲内ではないと判定されると、制限された移動指示であると判断して処理を終了する。
【0033】
一方、ステップS500において移動指示の内容が第一移動方向への移動ではないと判
定されると、移動指示変更部305はステップS504において、現在の表示領域の位置が第一移動方向の移動可能範囲の端部であるか否かを判定する。ステップS504において端部であると判定されると、移動指示変更部305はステップS505において、移動指示の内容が第二移動方向への移動であるか否かを判定する。ステップS505において第二移動方向への移動であると判定されると、移動指示変更部305はステップS506において、この移動が第一移動方向における現在位置において初めての第二移動方向への移動であるか否かを判定する。ステップS506において初めての第二移動方向への移動であると判定されると、移動指示変更部305はステップS507において、第二移動方向の移動可能範囲を後述の方法により算出して設定する。ステップS506において初めての移動ではないと判定されるか、ステップS507の処理が行われると、処理はステップS508へ移行する。ステップS508では、移動指示変更部305は、移動指示に基づく移動先が第二移動方向の移動可能範囲内であるか否かを判定し、移動可能範囲内であると判定されると、制限された移動指示ではないと判断して処理を終了する。また、ステップS508において移動可能範囲内ではないと判定されると、制限された移動指示であると判断して処理を終了する。また、ステップS504において端部ではないと判定された場合、或いは、ステップS505において第二移動方向への移動ではないと判定された場合には、制限された移動指示であると判断して処理を終了する。
【0034】
本実施例では制限された移動指示であると判断された場合に、その移動指示を破棄(無視)しているが、その代わりに、移動後の表示領域の位置が移動可能範囲内に収まるように移動指示の内容(移動方向、移動量など)を自動的に修正しても良い。例えば、移動指示で指定された移動方向が第一移動方向でも第二移動方向でもない場合に、移動指示の内容を第一移動方向の成分と第二移動方向の成分に分解し、2つの成分のうち移動可能範囲内の移動となる方のみを移動指示として採用しても良い。或いは、移動指示で指定された移動量又は移動先が移動可能範囲から外れていた場合に、移動量を小さくしたり、移動先を変更したりすることで、移動後の表示領域が移動可能範囲に収まるようにしても良い。このように移動指示の内容を自動的に修正するようにすることで、ユーザーの操作性を一層向上することができる。
【0035】
(制限のある動作モード)
図6(a)及び図6(b)は、撮像された画像データ、表示領域、及び、表示領域の移動に関して、本実施例の特徴である、制限のある動作モードにおける動作の様子を示している。図6(a)は図5のステップS502において設定される第一移動方向の移動可能範囲(非制限範囲)を説明する図である。図6(a)において、600は画像データの全体を示している。601〜604は表示領域の例を示しており、画像データ600に対する横方向(水平方向)の位置が少なくとも異なっている。605〜608は、横方向位置が異なる表示領域601〜604にそれぞれ対応した、移動可能な方向及び範囲を示している。605〜608で示される移動可能な方向は、予め決定された第一移動方向に平行であり、図6(a)の例では画像データに対して縦向きの方向(垂直方向)である。また、第一移動方向に関する移動可能範囲は画像データの上下端の間である。
【0036】
図6(a)の例では、いずれの表示領域601〜604も、移動可能方向における上下端以外の位置にある。ユーザーから表示領域の移動指示を受けた場合、移動指示変更部305は、移動方向が605〜608に示すように第一移動方向に平行であり、且つ、移動後の表示領域が画像の上下端までの範囲に含まれるという条件を満たせば、指示通りに表示領域を変更する。一方、移動指示変更部305は、表示領域の移動指示が第一移動方向に平行ではない方向に対して行われた場合には、表示領域の移動を行わない。また、移動指示変更部305は、指示された移動方向が第一移動方向に平行であったとしても、移動後の位置が移動可能範囲から外れる場合には、表示領域の移動を行わない。なお、範囲外への移動制限に関しては、表示領域が完全に画像内に収まる範囲まで移動可能にしても良
いし、或いは、表示領域に画像の少なくとも一部が含まれる範囲まで移動可能にしても良い。
【0037】
一方、図6(b)は図5のステップS507において設定される第二移動方向の移動可能範囲(非制限範囲)を説明する図である。なお、本実施例では第二移動方向は第一移動方向に直交する方向である。図6(b)においては、表示領域609、610、612、613は画像データ600の上端又は下端に位置している。また、609と601、610と612と602、613と603は、それぞれ第二移動方向に関して同位置とする。図6(b)の場合には、表示領域609、610、612、613は、第一移動方向(605〜607)のみならず、第一移動方向と直交する第二移動方向(611、614)にも移動が可能である。なお、第二移動方向に関する移動可能範囲は、611、614に示されるように、表示領域の第二移動方向の長さ以下とする。すなわち、第二移動方向に対しては、現在の表示領域と移動後の表示領域の間に隙間ができない範囲でのみ移動可能にする。そのため、例えば現在の表示領域が609であった場合には、ユーザーからの表示領域移動指示が、605、或いは、611に示される方向及び範囲に該当する内容であった場合には指示に従って表示領域を移動させる。一方、ユーザーからの表示領域移動指示が、605、611に示される方向及び範囲のいずれにも該当しない場合には、表示領域移動は行わないか、または移動可能範囲の限界位置までの移動のみ行うようにする。
【0038】
なお、ユーザーが画像検査時に画像の連続性を確認したい場合には、表示範囲に重複領域を持たせながら表示することが望ましい。このような場合には第二移動方向に平行な611、614の移動可能範囲は、表示領域の第二移動方向の長さより小さくすると良い。
【0039】
また、図6(b)においては表示領域610の第二移動方向は左側の表示領域609の方向のみ図示してあるが、表示領域610を横方向位置が表示領域613と同様の方向(右方向)に対して移動させることも可能である。ただし、画像データの左上端部にある表示領域609においては表示領域610と反対方向(左方向)に移動させてしまうと、表示領域が画像データから外れてしまうことになる。そのため第二移動方向に対する画像データ端部においては、画像データからはみ出してしまう方向への移動指示は実行しないようにする、或いは、画像データの一部が表示される範囲まで移動させるようにすると良い。
【0040】
図6(a)及び図6(b)の例では第一移動方向を画像データに対する縦方向、第二移動方向を画像データに対する横方向としたが、本発明はこれに限るものではない。例えば画像データに対して横方向を第一移動方向としても良い。或いは、第一移動方向は予め定められているのではなく、ユーザーによる指定を可能にしても良い。
【0041】
更に、第二移動方向への移動可能位置は第一移動方向の端部のみとしたが、第一移動方向に対しても同様にして、第一移動方向への移行可能位置は第二移動方向の端部のみとしても良い。つまり図6(b)を例にとると、605〜608、611、及び、614の端部位置でのみ移動方向の切り替えが可能であり、中間位置での切り替えができないようにするのでも良い。
【0042】
(制限のない動作モード)
図7は、撮像された画像データ、表示領域、及び、表示領域の移動に関して、本実施例の特徴である、制限のない動作モードにおける動作の様子を示している。
【0043】
600は図6(a)と同様に画像データ全体を示している。700は現在の表示範囲を示している。701〜710は画像データ全体600の範囲内の任意の位置に置かれた表示範囲を示している。制限のない動作モード時においては、ユーザーからの表示領域の移
動指示に対しては制限を加えない。つまり、ユーザーは、表示領域を任意の方向に任意の移動量だけ移動させることができる。なお、図4、及び、図7においては説明を省略したが、制限のない動作モードにおいても、画像データの範囲外への移動に対しては図6(a)、図6(b)で行った上述の説明と同様の制限を行うようにしても良い。
【0044】
本発明の実施例1によると、画像検査時の表示領域の移動を行う際の移動の制限の有無を指示する動作モードを指定することにより、抜けが無いように行う概略確認作業と、自由な表示領域の移動を行う詳細確認作業の切り替えを行うことが可能となる。本実施例において説明した方法は例えば、まず画像中の全体像から概略確認作業を行った後に、詳しい確認が必要な領域に対してのみ詳細確認を行うような場合に有効である。具体的には、概略確認時には制限のある動作モードの選択を、一方、詳細確認時には制限のない動作モードの選択をユーザーに行ってもらう等がある。このように選択することにより、細かい調整を行いながら操作することなく概略確認時において抜けのないように確認することが可能となる。また、詳細確認時には詳細に確認したい個所の自由な移動を妨げることなく効率的に表示領域の移動を行うことが可能となる。
【0045】
<実施例2>
実施例1においては、画像検査時の表示領域の移動を行う場合に、移動の制限の有無を指示する動作モードをユーザーが指定することにより、表示領域の移動制限の切り替えを行う例について説明した。本実施例では、端末107(動作モード決定部)が表示倍率に応じて自動的に動作モードを切り替えることにより、画像検査作業の効率化を図る例について説明する。
【0046】
図8は本発明の実施例2における画像検査支援装置の機能構成を示す機能ブロック図である。実施例1におけるブロック図である図3と同様の項目には同じ符号を付し、説明は省略する。図8において、800は動作モード決定部であり、表示倍率入力端子300から入力された表示倍率に基づいて動作モードを決定する機能を有する。
【0047】
図9は本実施例における画像検査支援方法の動作フローを示すフローチャートである。実施例1におけるフローチャートである図4と同様の項目には同じ符号を付し、説明は省略する。本実施例においては、動作モードを表示倍率に応じて切り替える例を説明するため、図4におけるステップS413、S414は削除されている。更に、ステップS411において操作指示が表示倍率変更指示であった場合の処理であるステップS412以降の処理内容が図4とは異なる。
【0048】
ステップS412において入力された表示倍率の設定が行われると、処理はステップS900に移行する。ステップS900では、動作モード決定部800が、現在の表示倍率が予め定められた閾値以下であるか否かを判定する。そして、閾値以下であると判定された場合には、動作モード決定部800はステップS901において、制限のある動作モードを次回以降の動作モードとして設定する。一方、ステップS900において現在の表示倍率が予め定められた閾値以下ではないと判定された場合、動作モード決定部800はステップS902において、制限のない動作モードを次回以降の動作モードとして設定する。
【0049】
本実施例によると、例えば画像検査時に比較的低い表示倍率において概略確認作業を行い、詳しい確認が必要な領域に対してのみ比較的高い表示倍率で詳細確認を行うような場合に効率的な確認作業が可能となる。詳しくは、詳細確認が必要な領域を見つけるための概略確認作業時には、抜けが無いように画像データ内を確認する必要がある。また、概略確認作業の結果決定された詳細確認が必要な領域が複数あり、画像データ内の離れた位置に分散していたとしても、各々の詳細確認が必要な領域を効率的に確認するために自由な
表示領域の移動が必要となる。そのため、比較的低い倍率において制限のある動作モードを適用し、その他の場合には制限のない動作モードを適用することにより、ユーザーが動作モードを指示する必要なく、確認作業に適した表示領域の位置変更が可能となる。なお、動作モードを切り替える表示倍率の閾値は、予め定められた値を使用すると良い。更に、ユーザーが前記表示倍率の閾値を切り替えられるようにしておくことで、被写体に応じて概略確認と詳細確認を行う際の表示倍率が異なる場合であっても被写体に応じた前記表示倍率の閾値を設定することが可能となる。その結果、画像検査作業を効率的に行うことが可能となる。
【0050】
なお、上述の例では、比較的低い表示倍率の場合に制限のある動作モードを適用する方法を示したが、本発明はこれに限るものではない。例えば、ある程度高い倍率でなければ概略確認ができないような試料の場合、概略確認に使用する倍率において制限のある動作モードを適用すると良い。この場合、概略確認に使用する倍率より低い倍率においては、制限なく表示領域を変更できる方が、操作効率が良くなる。そこで、比較的高い表示倍率において制限のある動作モードを適用し、比較的低い表示倍率において制限のない動作モードを適用するようにする。更に、概略確認に使用する倍率より高い倍率では、上述の例と同様に詳細確認が行われることを考慮すると、所定の第一閾値より高い表示倍率であり、且つ所定の第二閾値より低い表示倍率時には制限のある動作モードを適用するようにすると良い。なお、前記第一閾値、及び、第二閾値は、予め定められた値を使用しても良いし、ユーザーにより変更可能とするようにしても良い。
【0051】
<実施例3>
上述の実施例2では、表示倍率に応じて動作モードを自動的に切り替える例について説明した。実施例3では、操作指示に基づく変更後の表示領域が既に表示済みであるか否かに基づいて、動作モードの切り替えを行う例を示す。本実施例の方法は、初めて表示する領域については漏れのない確認作業が行われるべきであること、そして詳細確認を行う領域は概略確認作業において一度表示された中から選ばれること、を考慮したものである。
【0052】
図10は実施例3における画像検査支援装置の機能構成を示す機能ブロック図である。実施例1、及び、実施例2におけるブロック図である図3、及び、図8と同様の項目には同じ符号を付し、説明は省略する。
【0053】
図10において1000は表示領域記憶部であり、表示領域移動部307において算出された表示済み領域情報を記憶する。1001は動作モード決定部であり、移動指示入力端子302から入力された移動指示、及び、表示領域記憶部1000から得られる表示済み領域情報に基づいて、動作モードを決定する。
【0054】
図11は本実施例における画像検査支援方法の動作フローを示すフローチャートである。実施例1、及び、実施例2におけるフローチャートである図4、及び、図9と同様の項目には同じ符号を付し、説明は省略する。本実施例においては、ユーザー指示、或いは、表示倍率に応じた動作モードの変更は行わない例を説明するため、図4におけるステップS413、S414、或いは、図9におけるステップS900〜S902は削除されている。更に、ステップS407において操作指示が表示領域の移動指示であった場合の処理内容が図4、及び、図9とは異なる。
【0055】
ステップS407において操作指示が表示領域の移動指示であった場合、動作モード決定部1001はステップS1100において、移動指示内容をそのまま実行した場合の表示領域が既に表示済みの領域であるか否かを判定する。表示済み領域の情報は表示領域記憶部1000から取得される。表示済み領域であると判定された場合、動作モード決定部1001はステップS1101において、制限のない動作モードに設定する。一方、表示
済み領域ではないと判定された場合、動作モード決定部1001はステップS1102において、制限のある動作モードに設定する。なお、ステップS1100において動作モード決定部1001は、移動後の表示領域の全体が表示済みの場合にのみ、表示済みと判断すると良い。或いは、動作モード決定部1001は、移動後の表示領域に表示済みの領域が少しでも含まれていれば表示済みと判断しても良い。
【0056】
ステップS1101、或いはステップS1102において動作モードの設定が行われると処理はステップS408に移行し、上述したとおりにステップS410まで処理が行われる。ステップS410において入力された移動指示が設定されると、処理はステップS1103に移行して、表示領域移動部307が表示済み領域の情報を表示領域記憶部1000に格納する。ステップS1103の処理が終了すると、処理はステップS404に移行する。
【0057】
なお、移動指示内容をそのまま実行した場合に表示済み領域を部分的に通過した後に、未表示領域を移動する場合がある。このような場合には、ステップS1100の表示済みか否かの判断は、指示の開始時点で1回行うのではなく、所定時間間隔毎、或いは、所定移動量毎に行うようにしても良い。また、移動指示を表示済み領域内と未表示領域内で分けて判断するようにしても良い。例えば、表示済み領域を部分的に通過した後に未表示領域を移動する場合には、ユーザーの移動指示を、現在の表示領域から表示済み領域と未表示領域の境界までの移動指示と、該境界から指示された位置までの移動指示の2つの移動指示に分割する。そして、最初は表示済みの判断により動作モードを決定し、次に未表示領域に移行した際には未表示の判断により動作モードを決定する。
【0058】
逆に、移動指示内容をそのまま実行した場合に未表示領域を部分的に通過した後に、表示済み領域を移動する場合には、最初は未表示の判断により動作モードを決定し、次に表示済み領域に移行した際には表示済の判断により動作モードを決定すると良い。
【0059】
図12(a)及び図12(b)は、撮像された画像データ、表示領域、及び、表示領域の移動に関して、本実施例の特徴である表示済み領域と動作モードの様子を示している。図12(a)及び図12(b)において、600は画像データの全体を示している。図12(a)は画像データ全体600における表示済み領域と未表示領域の様子を示している。図12(a)において、1200で示される斜線の範囲は表示済み領域を示している。1201〜1204は表示領域の移動の様子を示しており、1201、1202、1203、1204の順に移動し、現在の表示領域が1204であるものとして説明する。表示領域が1201から1204まで移動すると、移動の間に表示が行われた領域が1200で示す範囲となる。1205は未表示領域を示しており、画像データ600の全体のうち表示済み領域1200以外の領域である。
【0060】
図12(b)は、表示済み領域1200、未表示領域1205と、表示領域の移動の様子を示している。1206は表示済み領域1200中に全てが含まれる1204と同じ大きさの領域であり、1204から1206への表示領域の移動指示が行われる場合には、表示済み領域内での移動となる。このような場合には、制限のない動作モードを適用し、ユーザーに自由な操作性を提供する。一方、1207は未表示領域1205中に全てが含まれる1204と同じ大きさの領域であり、1204から1207への移動指示が行われる場合には表示済み領域外への移動となる。このような場合には、制限のある動作モードを適用し、1207への移動を行わないようにする。なお、現在の表示領域1204から未表示領域1205への移動に対しては、例えば図6で説明したように端部における特定方向への特定範囲内の移動を可能とし、図12(b)においては1208への移動は可能とする。1209は表示済み領域1200、及び、未表示領域1205の双方にまたがっている、1204と同じ大きさの領域である。1204から1209への移動指示が行わ
れる場合、1209は未表示領域1205を含むため、1207への移動と同様に制限のある動作モードを適用すると良い。
【0061】
なお、図12(a)及び図12(b)の説明では簡略化のため表示済み領域1200を矩形で示した。しかし、実際に記憶される表示済み領域の形状は様々な場合が考えられ、例えば1203から1204に移動する途中の状態においては、表示済み領域は右上が欠けたL字形の領域として記憶される。更に、表示倍率が変化すると画像データ上の表示される面積が変化するため、記憶される表示済み領域は、更に複雑になる。
【0062】
本実施例では動作モードの変更を行うにあたり、移動後の表示領域が表示済み領域であるか否かの判断に基づく例を挙げて説明したが、本発明はこれに限るものではない。例えば、表示倍率を低下させ画像データに対する表示範囲を広くした場合、広がった表示領域が未表示領域を含むようになる可能性がある。このような場合には、表示領域の移動の代わりに表示倍率の変更に基づいて動作モードを切り替えるようにし、現在の動作モードを制限のある動作モードに変更するようにしても良い。逆に、表示倍率を高めて画像データに対する表示領域を狭くした場合、狭くなった表示領域が表示済み領域中に収まることになる。このような場合にも同様に、表示倍率の変更に基づいて現在の動作モードを制限のない動作モードに変更するようにしても良い。このようにすることで、制限のない動作モードにおいて表示済み領域端部で詳細確認を行っている最中に、近傍の未表示領域を追加で確認したくなった場合に、作業に応じた適切な動作モードに切り替えることが可能となる。つまり、表示倍率を下げて表示範囲を広くし、未確認領域を新たに表示させる場合に、自動的に制限のない動作モードから制限のある動作モードに切り替えることが可能となる。また、制限のある動作モードにおいて未表示領域中を新規に表示してゆく概略確認作業中に、一時的に表示倍率を高くして詳細確認を行う場合にも、作業に応じた適切な動作モードに切り替えることが可能となる。つまり、表示倍率を上げて表示範囲を狭くし、表示領域が表示済み領域中に収まるようになる場合に、自動的に制限のある動作モードから制限のない動作モードに切り替えることが可能となる。
【0063】
本実施例においては表示履歴に基づいて動作モードを変更する例を示したが、本発明はこれに限るものではなく、実施例1、或いは、実施例2で説明したような他の方法による動作モード切り替え方法との組み合わせても良い。例えば、まず実施例1、或いは、実施例2等の方法で動作モードの切り替えを行う。そして、制限のある動作モードであった場合にのみ、更に表示履歴に基づく判定を行い、既に表示済みである領域への表示領域の移動であった場合には、動作モードを再度切り換えて制限のない動作モードにするなどが挙げられる。このようにすることで、最初に制限のない動作モードが設定された場合には、表示履歴に依存せず自由な表示領域の移動が可能となり、所望の位置への表示領域の移動を効率的に行うことが可能となる。更に、最初に制限のある動作モードが設定された場合には、表示履歴に基づいて制限のある動作モードと制限のない動作モードを設定することが可能となり、表示状況に応じて抜けが無く、効率的な表示領域の移動が可能となる。
【0064】
逆に、まず実施例1、或いは、実施例2等の方法で制限のない動作モードが指定されていた場合にのみ、更に表示履歴に基づく判定を行い、未表示領域への表示領域移動であった場合には、動作モードを再度切り換えて制限のある動作モードにしても良い。このようにすることで、最初に制限のある動作モードが設定された場合には、表示履歴に依存せず抜けの無い表示領域の移動が可能となり、抜けの無い概略確認を確実に行うことが可能となる。更に、最初に制限のない動作モードが設定された場合には、表示履歴に基づいて制限のある動作モードと制限のない動作モードを設定することが可能となり、表示状況に応じて抜けが無く、効率的な表示領域の移動が可能となる。
【0065】
本実施例によると、操作指示に基づく変更後の表示内容が既に表示済みであるか否かに
基づいて、動作モードの切り替えを行う。その結果、既に確認したかどうかが不明な領域に対しては、抜けが発生し得るような表示領域の移動が禁止され、検査抜けを未然に防止できる。更に、既に確認済みの領域に対しては、表示領域を自由に移動できるため、効率的な確認作業が可能になる。
【0066】
<実施例4>
実施例1〜3においては、表示領域の移動に関して制限のある動作モードを適用し、移動方向や移動量を制限する例を示した。本実施例においては、制限のある動作モードの適用時に、表示領域の移動速度を変更する例を示す。
【0067】
本実施例における機能ブロック図は、実施例1の機能ブロックを説明した図3と同様であり、図3中の移動指示変更部305が変更する移動指示内容が、移動方向と移動量ではなく、移動速度であることが実施例1と異なる。
【0068】
図13は本実施例における画像検査支援方法の動作フローを示すフローチャートである。実施例1におけるフローチャートである図4と同様の項目には同じ符号を付し、説明は省略する。図13は、ステップS408で制限のある移動モードであると判断された後に行われる処理内容が図4とは異なる。ステップS408において現在の動作モードが制限のある動作モードであると判定され、ステップS409において制限された移動指示であると判断されると、移動指示変更部305はステップS1300において表示領域の移動速度を低速な移動速度に設定する。一方、ステップS409において制限された移動指示ではないと判断された場合は、移動指示変更部305はステップS1301において表示領域の移動速度を標準の移動速度に設定する。なお、上記低速な移動速度、及び、標準の移動速度は予め定められた値を用いても良いし、ユーザーが事前に指定するようにしても良い。
【0069】
図14は、撮像された画像データ、表示領域、及び、表示領域の移動に関して、本実施例の特徴である制限のある動作モード時の移動方向と移動速度の様子を示している。1400は現在の表示領域を示している。1401、及び、1402は制限のある動作モードにおいて標準の速度で移動可能な範囲の表示領域の例を示しており、上述の図6(a)及び図6(b)において説明した制限のある動作モード時の移動可能な方向、及び範囲と同様である。1403は制限のある移動モードにおいて標準の速度で移動可能な範囲ではない領域に含まれる表示領域である。1400から1401、及び、1402へ表示領域が移動する場合には、標準の移動速度で表示領域を移動させることが可能である。一方、1400から1403へ表示領域を移動させる場合には、標準の移動速度より低速な移動速度で表示領域の移動が行われる。
【0070】
なお、本実施例における上述の説明は、実施例1において説明した制限のある動作モードにおいて、表示領域の移動速度を切り替える例を説明した。しかし、本実施例はこれに限るものではなく、例えば、実施例2、或いは、実施例3で説明した方法による動作モードに、本実施例で示した表示領域の移動速度の切り替えを適用しても良い。なお、実施例3の表示履歴に基づいて動作モードを切り替える方法を適用する場合には、表示領域を常に記憶しておく方法以外に、移動速度が標準である場合にのみ表示領域を記憶するようにしても良い。このようにすることで低速な移動中の表示領域が記憶されなくなり、標準の移動速度で移動しながら表示された領域以外の表示においては移動速度が低速なままになる。その結果、繰り返し同じ領域を表示させた場合でも、抜けが発生しないような表示領域移動から外れた操作を行っていることがユーザーに分かりやすくなるという効果がある。
【0071】
本実施例によると、概略確認時のように抜けが発生しないように表示領域を移動させる
場合に、抜けが発生しないような移動とは区別しながら、抜けが発生する可能性があるような例外的な表示領域移動を行うことが可能となる。しかも、そのような例外的な操作に対しては表示領域の移動速度を低くすることにより、ユーザーに例外的な操作であることを認識させることができると共に、抜けの発生をできるだけ抑えることが可能となる。
【0072】
<その他の実施例>
本発明は上述の実施例1〜4に限定されるものではなく、他の様々な実施形態がある。
【0073】
上述の実施例において、図6(b)を用いた説明では第一移動方向における移動可能範囲の端部において、第二移動方向に移動可能な例を示した。しかし、第二移動方向への移動が可能となる位置を移動可能範囲の端部に限定しない方法も挙げられる。例えば、第一移動方向に平行な移動可能範囲に関する表示状況に基づいて、第二移動方向への移動を許可するか否かを決定しても良い。具体的には、例えば図6(b)において移動可能範囲605における全ての位置において表示が行われていた場合には、第二移動方向への移動である移動可能範囲606への移動を任意の位置で可能にする。一方、移動可能範囲605において表示されていない箇所が存在する場合には、第二移動方向への移動は許可しない。なお、第二移動方向への移動可能量は上述の実施例において移動可能範囲611で説明したものと同様に、抜けが発生しない範囲にするとよい。このようにすることで、端部以外の位置でも第二移動方向への移動が可能となり、注目すべき画像成分が第一移動方向の端部ではない位置に存在した場合であっても、特に第二移動方向に関して連続性を失わずに検査を行うことが可能となる。
また、上述の実施例において、移動指示変更部305が変更する移動指示内容として、移動方向、移動量、移動速度を示した。しかし、例えば、移動指示変更部305が変更する移動指示内容は移動加速度であっても良い。また、移動指示変更部305が変更する移動指示内容は表示位置の移動の連続性であっても良く、制限のない場合には連続的に表示位置を変更し、制限のある場合には所定間隔毎に不連続に表示位置を変更しても良い。要するに、画面表示が行われない部分が発生する可能性のある操作指示を行ってしまったことがユーザーに分かるのであれば、移動指示変更部305が変更する移動指示内容は何でも良い。
【0074】
他の実施例としては例えば、表示領域の移動に制限がある動作モードの場合に、予め定められた移動経路上のみを移動可能にしても良い。移動経路は、検査対象の画像の全体を順に走査するように設定される。移動経路の例としては例えば、図15、或いは、図16に示すようなものがある。図15の例では、1500、1501、1502、1503、1504、…のように画像データ全体600中をジグザグに走査する。図16の例では、1600、1601、1602、1603、1604、1605、1606、…のように、画像データ全体600中の外周から走査を行い、順次内側に走査してゆく例である。なお、移動経路は図15、或いは、図16の例に限定されるものではなく、画像全体を漏れなく走査可能であればどのような経路であっても構わない。更に、移動経路は予め定められたものではなく、実行前にユーザーが指定可能にしても良い。なお、この場合、実施例3で説明した方法に基づいた動作モード切り替えと組み合わせても良く、表示済み領域に対しては自由に移動可能にしても良い。更には、実施例4と組み合わせることにより、移動経路を外れた移動が行われた場合には、移動速度を低下させるようにしても良い。移動経路を画像検査前に予め決定しておくことにより、異なる画像に対しても同じ表示領域の移動経路をたどりながら検査を行う可能となる。
【0075】
また、上述の説明のように移動経路が画像検査前に決定されている場合には、ユーザーによる操作指示を更に簡略化することも可能である。具体的にはユーザーにマウスやキーボードなどを使用して移動方向を指示させるのではなく、特定のボタンの押下に応じて、所定経路を自動的に移動するようにする等が挙げられる。なお、特定のボタンはマウスや
キーボードのいずれかのボタンであっても良く、例えば、詳細確認時の移動方向を指示するボタンのいずれかのボタンの押下に対して移動が実行されるなどが挙げられる。もちろん、詳細確認時の移動方向を指示するボタン以外のボタンを適用しても良い。この場合、ボタンの押下中のみ移動するようにしても良く、或いは、最初の押下で移動が開始した後はボタンを離しても移動を続け、再度ボタンが押下されると移動が停止するようにしても良い。なお、特定のボタンの押下による移動方法は概略確認作業と詳細確認作業が組み合わせて行われる場合のみならず、概略確認作業のみが行われる画像検査に適用してもよい。この場合には動作モード切り替えは省略し、予め決定された経路上を移動する動作のみが行われる。このように、予め移動経路を決定させ、かつ特定のボタンの押下のみで表示領域を移動させることにより、ユーザーが行う操作指示を簡略化させることが可能になる。
【0076】
更に、他の実施例として例えば、図6(a)及び図6(b)で説明した制限のある動作モード時に検査範囲(表示領域が移動する動作範囲)を限定しても良い。図17は動作範囲を限定する一例を示す図であり、1700はプレパラート101に載せられた試料を示している。1701は試料1700が完全に含まれる範囲を示している。前述の実施例においては、図6(a)及び図6(b)で説明したように表示領域の移動は画像データ全体600に対して行うようにしたが、1701の範囲に限定しても良い。動作範囲1701は、画像データを解析し、例えば色、輝度、エッジなどに基づいて画像データ全体600から試料1700を検出し、この試料1700を含む最小矩形を計算することで決定すると良い。なお、試料の検出に際して誤差が発生する場合には最小矩形ではなく、試料が確実に含まれるように十分に余裕をもった範囲を設定するようにしても良い。つまり、動作範囲1701が元の画像データ600のサイズよりも小さくなるようにすれば良い。また、ユーザーが動作範囲1701を指定可能なようにしても良い。ユーザーが指定することを可能にした場合、試料1700が含まれる領域全体だけでなく、試料中の一部の領域のみに注目して指定することも可能となる。或いは、試料1700の存在範囲(つまり、検査すべき範囲)が予めわかっている場合には、(画像データ解析やユーザー指定を行わずに)自動的に動作範囲を設定するようにしても良い。
【0077】
更に限定する範囲は矩形に限らず、例えば、平行四辺形、任意の多角形、円形など他の形状でも構わない。また、その場合、前述の実施例では第二移動方向は第一移動方向に直交するとしたが、直交していなくても良い。
【0078】
以上述べたように、動作範囲を限定可能にすることにより、画像データ全体600中の必要な領域にのみ注目して画像検査を行うことが可能となり、作業の無駄を省くことが可能となる。
【0079】
更に、他の実施例として例えば、回転を考慮しても良い。具体的には、入力された画像データ中の試料の向きが所望の向きではない場合がある。或いは、無駄な領域を省くため上述のように範囲を限定する場合に、回転を考慮して範囲を限定することにより、試料の存在しない無駄な領域を減らすことが可能になる場合がある。このような場合、回転を考慮することにより無駄な領域が減少して作業効率を向上させることが可能となる。図18(a)〜図18(c)は回転を考慮する方法の一例を示す図である。図18(a)において1801は試料を示している。図18(b)は図18(a)の画像データを回転させる例を示しており、上述の動作に先んじて行われる。1802は回転前の試料を、1803は回転後の試料を示している。制限のある動作モード時の表示領域移動方向が画像データ全体600に対して垂直、及び、水平方向であった場合、1802を含む矩形範囲1804に比べて1803を含む矩形範囲1805の方が小さい。その結果、制限のある動作モード時の検査範囲を狭くすることが可能となる。
【0080】
また、図18(c)は前述の第一移動方向、及び第二移動方向をユーザーが設定可能とする例である。すなわち画像情報ではなく、移動可能方向を回転させることを可能とする例である。1806は第一移動方向、1807は第二移動方向を示しており、いずれも画像データ全体600の垂直、水平方向に限定されない方向になっている。図18(c)に示すように移動方向を自由に設定可能にすることにより、動作範囲中の試料の無い領域を減らすことが可能となる。なお、第二移動方向は第一移動方向に直交するようにし、第一移動方向のみを指定すれば良い。或いは、第一、及び、第二移動方向の双方を設定するようにするのでも良く、その場合、第二移動方向は第一移動方向に直交していなくても良い。
【0081】
更に、他の実施例として例えば、制限のある動作モード時の表示領域の移動制限時、或いは、移動履歴に基づく表示領域の移動制限時において表示されたと判断する領域を実際に表示された領域より狭める方法がある。現在表示されている領域中における十分に狭い範囲を注目領域として観察する場合に、該注目領域の周辺領域との比較を行いながら観察することが必要となる場合がある。このような場合、該注目領域が画面の端に表示されていると比較対象となる周囲の画像が画面外になり表示されない可能性があるため、該注目領域を画面の中央付近に移動させて確認することが必要となる。この場合に、もし表示画面中に表示された領域を全て表示済み領域と判断してしまうと、確認に適さない端部の位置に表示された領域までも表示済み領域と判断されてしまい、適切な確認が行えない可能性がある。そこで、画面上に表示された範囲の中で予め定められた中央付近の所定範囲の領域のみを表示済み判定対象とする。そして、中央付近の所定範囲の領域に関して、抜けが無いような表示領域の移動制限を適用することで、実際に確認することが可能な領域を抜けが無いように確実に表示させることが可能となる。
【0082】
更に、他の実施例として例えば、ディスプレイ108上に表示されたアプリケーションウィンドウ内の異なる位置に複数の画像を表示するための描画エリアがあり、同一、或いは、異なる画像の表示を並列に実行する際の適用方法がある。図19に示すようにウィンドウ1900中に第一の描画エリア1901、及び、第二の描画エリア1902があり、各描画エリアに対して上述の表示領域の画像が描画される。そして、それぞれの描画エリアに対しては、単一の画像に対して位置や表示倍率を変更した結果を並べて表示する、或いは、異なる画像を並べて表示することを可能にする形態とする。更に、第一の描画エリア1901、及び、第二の描画エリア1902の表示領域の移動、或いは、表示倍率の変更は各々独立して実行可能である。そして、第一の描画エリア1901、及び、第二の描画エリア1902に表示された画像中の特徴となる部分を比較しながら画像を確認できるようにする。このような場合、各々の描画エリアに対して個別に動作モードが設定可能であると良い。そして、描画エリア毎に動作モードが決定され、描画エリア内に描画される画像の表示領域移動制限を独立して行うことができるようにする。このようにすることにより、抜けの無い表示領域移動と自由な表示領域移動が、他方の描画エリア中に描画された画像の確認時に設定された動作モードの影響を受けることがなくなる。なお、図19の説明では一つのウィンドウ内に複数の描画領域が存在する例を示したが、本発明はこれに限るものではなく、例えば複数のウィンドウにそれぞれ描画領域が存在する構成であっても良い。
【0083】
なお、上述の実施例はCPU200によって実行されるプログラムにより実現されるものとして説明したが、本発明はこれに限るものではない。例えば、上述の一部、或いは全部をハードウェアにより構成するようにしても良い。
【0084】
上述の実施例においては、撮像を行う装置として顕微鏡を例に挙げたが本発明はこれに限るものではなく、他の様々な装置を用いて取得された画像に対して適用可能である。そして、本発明は、抜けが無いように画像を概略確認する作業と、特定の領域の詳細確認を
行うために効率的に表示位領域を移動させる作業を、組み合わせて行うような様々な用途で使用可能である。
【符号の説明】
【0085】
107:端末、108:ディスプレイ
301:動作モード入力端子、302:移動指示入力端子
304:動作モード決定部、305:移動指示変更部、307:表示領域移動部、308:表示制御部

【特許請求の範囲】
【請求項1】
検査対象の画像の一部の領域を表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援方法であって、
コンピュータが、表示領域の自由な移動を認める第1の動作モードと、表示領域の移動に制限を付ける第2の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定工程と、
コンピュータが、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得工程と、
コンピュータが、現在の動作モードと前記移動指示取得工程で取得した移動指示とに基づいて表示領域を移動させる表示領域決定工程と、
コンピュータが、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示工程と、を含んでおり、
前記表示領域決定工程は、
現在の動作モードが第2の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定する工程と、
前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限する工程と、を含む
ことを特徴とする画像検査支援方法。
【請求項2】
前記表示領域決定工程において、前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動において、移動方向、移動量、及び移動速度のうち少なくともいずれかを制限する
ことを特徴とする請求項1に記載の画像検査支援方法。
【請求項3】
前記表示領域決定工程において、前記移動指示が前記非制限範囲内での移動を指示するものである場合に、前記移動指示のとおりに移動後の表示領域の位置を設定し、それ以外の場合に、表示領域を移動させないか、又は、前記非制限範囲内に移動後の表示領域の位置を設定する
ことを特徴とする請求項1又は請求項2に記載の画像検査支援方法。
【請求項4】
前記表示領域決定工程において、前記移動指示が前記非制限範囲内での移動を指示するものである場合に、表示領域の移動速度を標準の移動速度に設定し、それ以外の場合に、表示領域の移動速度を前記標準の移動速度よりも低い移動速度に設定する
ことを特徴とする請求項1又は請求項2に記載の画像検査支援方法。
【請求項5】
前記動作モード決定工程は、ユーザーにより入力された動作モードの変更指示にしたがって動作モードを決定する
ことを特徴とする請求項1乃至請求項4のうちいずれか1項に記載の画像検査支援方法。
【請求項6】
コンピュータがユーザーにより入力された表示倍率の変更指示に基づいて表示装置に表示する画像の倍率を変更する工程を更に含み、
前記動作モード決定工程は、前記表示倍率に応じて動作モードを切り替える
ことを特徴とする請求項1乃至請求項5のうちいずれか1項に記載の画像検査支援方法。
【請求項7】
前記動作モード決定工程は、前記表示倍率が所定の閾値以下であった場合に、動作モードを第2の動作モードに設定し、それ以外の場合に、動作モードを第1の動作モードに設定する
ことを特徴とする請求項6に記載の画像検査支援方法。
【請求項8】
コンピュータが前記表示工程において表示した画像内の領域を表示済み領域として記憶装置に記憶する工程を更に含み、
前記動作モード決定工程は、前記移動指示に基づき移動させた場合の表示領域の位置が前記表示済み領域に含まれていない場合に、動作モードを第2の動作モードに設定し、それ以外の場合に、動作モードを第1の動作モードに設定する
ことを特徴とする請求項1乃至請求項7のうちいずれか1項に記載の画像検査支援方法。
【請求項9】
コンピュータが、検査対象の画像に対し、その画像よりも小さいサイズの動作範囲を設定する工程を更に含み、
現在の動作モードが第2の動作モードである場合に、前記表示領域決定工程は、表示領域が移動する範囲を前記動作範囲の中に限定する
ことを特徴とする請求項1乃至請求項8のうちいずれか1項に記載の画像検査支援方法。
【請求項10】
前記非制限範囲は、検査対象の画像の全体を順に走査するように設定された、表示領域の移動経路である
ことを特徴とする請求項1乃至請求項9のうちいずれか1項に記載の画像検査支援方法。
【請求項11】
検査対象の画像の一部の領域を表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援方法であって、
コンピュータが、ユーザーにより入力された表示領域の移動指示を取得する移動指示取得工程と、
コンピュータが、前記移動指示取得工程で取得した移動指示に基づいて表示領域を移動させる表示領域決定工程と、
コンピュータが、前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示工程と、を含んでおり、
前記表示領域決定工程は、ユーザーにより移動指示が入力された場合に、検査対象の画像の全体を順に走査するように設定された移動経路に沿って表示領域を自動的に移動させる
ことを特徴とする画像検査支援方法。
【請求項12】
検査対象の画像の一部の領域を表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援装置であって、
表示領域の自由な移動を認める第1の動作モードと、表示領域の移動に制限を付ける第2の動作モードとを含む複数の動作モードの中から、動作モードを決定する動作モード決定手段と、
ユーザーにより入力された表示領域の移動指示を取得する移動指示取得手段と、
現在の動作モードと前記移動指示取得手段で取得した移動指示とに基づいて表示領域を移動させる表示領域決定手段と、
前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示制御手段と、を有しており、
前記表示領域決定手段は、
現在の動作モードが第2の動作モードである場合に、ユーザーにより入力された前記移動指示が予め設定された非制限範囲内での移動を指示するものか否かを判定し、
前記移動指示が前記非制限範囲内での移動を指示するものでない場合に、表示領域の移動を制限する
ことを特徴とする画像検査支援装置。
【請求項13】
検査対象の画像の一部の領域を表示装置に表示し、その表示領域を画像内で移動させながら当該画像の検査を行う作業を支援するための画像検査支援装置であって、
ユーザーにより入力された表示領域の移動指示を取得する移動指示取得手段と、
前記移動指示取得手段で取得した移動指示に基づいて表示領域を移動させる表示領域決定手段と、
前記移動した表示領域に対応する部分の画像を表示装置に表示させる表示制御手段と、を有しており、
前記表示領域決定手段は、ユーザーにより移動指示が入力された場合に、検査対象の画像の全体を順に走査するように設定された移動経路に沿って表示領域を自動的に移動させる
ことを特徴とする画像検査支援装置。
【請求項14】
請求項1乃至請求項11のうちいずれか1項に記載の画像検査支援方法の各工程をコンピュータに実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2013−109159(P2013−109159A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−254222(P2011−254222)
【出願日】平成23年11月21日(2011.11.21)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】