機器、装置の機能チェック装置
【課題】携帯電話等の機器が備える操作ボタンの機能を簡単かつ自動的に判定できる検査装置を提供する。
【解決手段】携帯電話１をセットするアダプタユニット２、携帯電話１の表示部であるＬＣＤパネル３を撮像して画像を得るカメラ４、携帯電話１のキーボタン５の一つを押し下げるレリーズ６を複数有するプランジャーユニット７、プランジャーユニット７の動作、ＬＣＤパネル３の表示内容の可否判断等のためのコンピュータ８、ＬＣＤパネル３の画像やコンピュータ８からの信号に基づく画像を表示するモニタ９からなる。レリーズ６によるキーボタン５の押し下げで得る静止画像、動画画像、音声出力を所定の期待画像、期待音声と比較して携帯電話１の機能判定を行う。
【解決手段】携帯電話１をセットするアダプタユニット２、携帯電話１の表示部であるＬＣＤパネル３を撮像して画像を得るカメラ４、携帯電話１のキーボタン５の一つを押し下げるレリーズ６を複数有するプランジャーユニット７、プランジャーユニット７の動作、ＬＣＤパネル３の表示内容の可否判断等のためのコンピュータ８、ＬＣＤパネル３の画像やコンピュータ８からの信号に基づく画像を表示するモニタ９からなる。レリーズ６によるキーボタン５の押し下げで得る静止画像、動画画像、音声出力を所定の期待画像、期待音声と比較して携帯電話１の機能判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話等の機器の操作ボタンや蓋の開閉機構が設計通りに機能するかどうかを判定するための機器、装置の機能チェック装置に関する。
【背景技術】
【０００２】
外部からの入力に対応して外部に対して表出させる形態や動作が変化する、例えば携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の機器には周知のように多数の操作ボタン、有線・無線の入力端子が設けられており、使用者は目的に応じて適宜これら操作ボタンを操作したり、信号を入力する。また、これらの機器、装置においては、ＬＣＤ等のいわゆるパネルディスプレイ（液晶を用いたものには限定されない）を用いた表示部と操作ボタン等を備えた操作部とをヒンジで連結して折り畳み式にしたものや、面表示装置自体が操作ボタン、スイッチを兼ねる機能を有するものが増えている。
【０００３】
これらのような機器や装置、例えば携帯電話やＰＨＳでは、単に電話をかけるためのダイアリングや、文字入力に用いられるだけでなく、電話機やコンピュータとしての種々の設定のためにも用いられるようになっているが、その設定には、例えばオートロック、通話料金表示、使用時間表示、着信音設定、使用者情報設定、使用言語設定等のように、かなり多様かつ複雑なことが可能になっている。また、表示部にタッチパネルを用いているものでは、ハードウェアの操作ボタンだけでなく、表示部にソフトウェアで表示した操作ボタンによっても上述のような操作を可能としている。
【０００４】
なお以下では、特にことわらなければ、単に操作ボタン等の操作対象物を記載する場合には、ハードウェアによるものだけでなく、ソフトウェアで表示した操作可能な部位をも含む。
【０００５】
上述のように、携帯電話やディスプレイ利用機器の製造者は、出荷前にハードウェアによる操作であれ、ソフトウェアにより表示させたものを用いての走査であれ、これらの設定操作、動作を不具合がなく行えるか否かを検査、判定、確認しておくことが求められるようになってきている。
【０００６】
本願発明者は、従来手作業に近い状態で行われていた携帯電話等の機器におけるこの種の判定、確認作業を機械的にかつシステマティックに行える発明を提案した（特許文献１、２参照）。
【０００７】
【特許文献１】特許第３７１４６６０号公報
【特許文献２】国際公開ＷＯ２００５／０７１９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した従来の発明をさらに改良させてなしたもので、携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の検査対象機器又は検査対象装置の設定動作の可否をほぼ自動的にかつ多機能にわたって判定できるようにした機器、装置の機能チェック装置を提供することを目的とする。
また、設計通りに期待される画像等の出力が得られるかどうかのみならず、期待していない画像等の出力が表出するか否かも判定できるようにした機器、装置の機能チェック装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の機器、装置の機能チェック装置は、上記目的を達成するために、外部からの入力に対応して外部に対して表出させる形態や動作が変化する出力手段を備えた一以上の検査対象機器又は検査対象装置をチェックするための機器、装置の機能チェック装置であり、前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態を擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックするための機器、装置の機能チェック装置において、前記外部からの入力に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加する擬似入力手段、該擬似入力手段による入力に応じて前記検査対象機器又は検査対象装置の前記出力手段が生じさせる前記チェック対象となる出力を検出するチェック対象出力検出手段、前記擬似入力手段による入力手順を指定可能な擬似入力手順設定手段、及び前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力と、前記擬似入力に対応する実際の入力による前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態の予想される期待値との整合性を確認する確認手段、とを備えることを特徴とする。
【００１０】
また、請求項２に係るものは、請求項１の機器、装置の機能チェック装置において、前記擬似入力手段を前記検査対象機器又は検査対象装置毎に配するとともに、前記確認手段を前記擬似入力手段が複数であっても共通化してなることを特徴とする。
【００１１】
また、請求項３に係るものは、請求項１または２の機器、装置の機能チェック装置において、前記確認手段は、前記整合性の確認にファジー制御による判定を行う手段を備えることを特徴とする。
【００１２】
また、請求項４に係るものは、請求項１ないし３のいずれかの機器、装置の機能チェック装置において、前記検査対象機器又は検査対象装置が有する表示手段に、前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力を表示させ、前記表示手段に表示された内容を認識し、ターゲットとする内容の位置に応じて前記擬似入力手段による擬似入力の前記検査対象機器又は検査対象装置への印加位置を可変させる認識手段を有することを特徴とする。
【００１３】
また、請求項５に係るものは、請求項１ないし４のいずれかの機器、装置の機能チェック装置において、前記擬似入力手段が、或る擬似入力の一の手順の実行中に、予め指定した周期ごと又は予め指定した順序で前記実行中の手順と異なる手順を実行可能であることを特徴とする。
【００１４】
また、請求項６に係るものは、請求項１ないし５のいずれかの機器、装置の機能チェック装置において、前記擬似入力手段が、音声入力手段と、該音声入力手段から入力された音声の内容を自動判定する音声判定手段を有し、該音声判定手段により前記外部からの入力事象に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加することを特徴とする。
【００１５】
また、請求項７に係るものは、請求項１ないし５のいずれかの機器、装置の機能チェック装置において、前記検査対象機器又は検査対象装置に対して使用される組込みシステム向けの開発支援を行うＣＡＳＥツールで作成した状態が変化する事象に基づいて少なくとも前記擬似入力手段を協調動作させる手段と、該少なくとも前記擬似入力手段による協調動作に基づいて、前記検査対象機器又は検査対象装置に対する前記擬似入力手段による入力手順を作成する手段を有することを特徴とする。
【００１６】
また、請求項８に係るものは、請求項４ないし７のいずれかの機器、装置の機能チェック装置において、前記検査対象機器又は検査対象装置が有する表示手段に表示された内容を撮像して画像を得る撮像手段と、該撮像手段に対して前記検査対象機器又は検査対象装置を所定状態にかつ交換可能に搭載するための搭載手段を有することを特徴とする。
【００１７】
また、請求項９に係るものは、請求項１ないし８のいずれかの機器、装置の機能チェック装置において、前記検査対象機器又は検査対象装置が、音声入力手段、画像信号入力手段、有線信号入力手段、電波、赤外線を含む電磁波による無線入力手段のいずれかを備えるものであることを特徴とする。
【００１８】
また、請求項１０に係るものは、請求項１ないし９のいずれかの機器、装置の機能チェック装置において、前記アダプタに、集音マイク及び／又はスピーカを搭載してなることを特徴とする。
【００１９】
また、請求項１１に係るものは、請求項１ないし１０のいずれかの機器、装置の機能チェック装置において、前記アダプタが、搭載した前記検査対象機器又は検査対象装置の少なくとも被操作部位を覆うとともに、前記擬似入力手段による入力を許す穴又は開口を有することを特徴とする。
【００２０】
また、請求項１２に係るものは、請求項７ないし１１のいずれかの機器、装置の機能チェック装置において、前記撮像手段が、静止画及び／又は動画を得るためのものであることを特徴とする。
【００２１】
また、請求項１３に係るものは、請求項７ないし１２のいずれかの機器、装置の機能チェック装置において、前記搭載手段が、複数の移動可能なあるいは位置固定の支持部材で前記検査対象機器又は検査対象装置を保持するために、着脱可能な弾性部材備えることを特徴とする。
【発明の効果】
【００２２】
本発明に係る機器、装置の機能チェック装置は、携帯電話やパネルディスプレイ装置等の検査対象機器、検査対象装置が種々の動作を設計通りに行えるかどうかをほぼ自動的に判定できかつ多機能な判定が行える。
【発明を実施するための最良の形態】
【００２３】
以下本発明を実施するための最良の形態について図面に示す実施例を参照して説明する。なお以下では携帯電話やＰＤＡ等を検査対象機器とする例について説明するが、既述の機器、装置、及びその他類似の構成を有する機器、装置についても本発明を適用できることは明らかであるので、そのような機器についての説明は省略する。
【００２４】
以下本発明の一実施例を説明する。なお、図示し説明する実施例は、外部からの物品接触による入力事象として、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力事象を変化させる出力手段を備えた機器を検査対象とする。
【００２５】
また、以下では、擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックする手段、すなわち、外部入力に対応する出力を前記機器に対して発生する擬似入力手段として複数の操作ボタンの一つを押下可能な押下手段を有するボタン操作手段を例としているが、これは適宜の自由度（例えば、３軸、６軸）を有するロボットで、複数のボタンを順次押下するものでも、多数のボタン操作手段を有するものでもいずれであってもよい。また図示の例のロボットには限定されず、さらには平面的に配設されたボタンを操作するものだけでなく、特に多軸のロボットを使用して、立体的に配置されたボタンやつまみを的確に操作することができるようにしたものも含み、いずれにしても図示の例のものには限定されない。
【００２６】
さらに、検査のための擬似入力を検査対象機器又は検査対象装置に対して印加する擬似入力手段は、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力前記外部入力である場合には、これらに対応する出力をなすものとすればよい。
【実施例１】
【００２７】
図１は、本発明に係る機器、装置の機能チェック装置の一実施例を概念的に示す斜視図である。本実施例装置は、判定、検査しようとする評価対象機（図示の例ではＰＤＡ）１を予め定めた状態にセットし、ＰＤＡ１の表示部であるＬＣＤパネル３を撮像し、ＬＣＤパネル３の画像を得るカメラ４、ＰＤＡ１のＬＣＤパネル３に表示される操作ボタン画像又はＰＤＡ１が備える機械的操作ボタン（以下では特に必要がないかぎりこれらを総称してキーボタンという。）５・・・の一つを、押し下げ可能なレリーズ６を押下手段として複数有するプランジャーユニット７により押し下げ、プランジャーユニット７の動作をコンピュータ８で制御するとともに、この動作制御に対応するＬＣＤパネル３の表示内容の可否を判断する等の制御を行う。図中９はモニタで、カメラ４で得たＬＣＤパネル３の画像やコンピュータ８からの信号に基づく画像の表示手段となる。なおコンピュータ８は、ハードウェアとしてはビデオキャプチャーボード、入出力用ボード、サウンドボード、イーサネット（登録商標）ボードあるいはこれらと同等構成品を備えるものとし、ソフトウェアとして、後述する携帯電話自動評価システムソフトならびにＯＳソフト、そして必要に応じてテキストエディタ、ワードプロセッサ、データベースソフト等を内蔵するものが好ましい。またキーボード、マウス、ネットワーク端子（端末対向テスト用）、プリンタ等をもシステム構成に含ませることができる。なお図中１０はプランジャーユニット７を駆動するためのロボットで、図示の例ではＸＹ軸移動タイプでレリーズ６も単一のものであるが、後述するように、レリーズ６に代わるプランジャーを多数備えたユニットも使用される。したがって、ロボット１０も図示のタイプのものに限定されず種々公知のロボットを採用できる。
【００２８】
図２は検査対象機器を携帯電話とした場合に使用するアダプタユニット２とレリーズ６に代わるプランジャーを多数備えたプランジャーユニット２０を示す斜視図である。携帯電話１は、図示の例では折り畳み型のもので、ＬＣＤパネル３を有する表示部１１と、キーボタン５を有する操作部１２とからなるが、検査対象となる携帯電話としてはこのタイプのものに限定されず、表示部１１と操作部１２に対してそれぞれ外側からアクセスできればストレートタイプのもの、フリップタイプのもの、等どのようなものでも対象とすることができる。なお本発明は、対象機器を携帯電話１に限るものではなく、ＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の機器であり、いくつかの操作ボタンが設けられていて、これらを操作するようになっているものであれば種々の機器に適用できる。
【００２９】
またアダプタユニット２は背面カメラ２ａを備えており、この背面カメラ２ａによって折りたたみ式の携帯電話１の背面（折りたたんだ状態では正面）に位置することになる図示しない液晶ディスプレイのテストも自動で行えるようになっている。
【００３０】
このアダプタユニット２は、折り畳み型の携帯電話１のＬＣＤパネル３の表面をカメラ４の光軸に対して垂直面をなすようにセットするためのベース部２１と、その状態でカメラ４の光軸に対して所定の角度をなす携帯電話１の操作部１２をセットできる傾斜部２２と、図示は省略するが、傾斜板２２との間に携帯電話１の操作部１２を挟んだ状態で並行またはほぼ並行にセットするレリーズガイドパネル２３、これらを支持する一対の側板等からなる。なおストレートタイプやフリップタイプの携帯電話等においては、図示の例のようにベース板２１と傾斜板２２に角度を付けて構成する必要がないことが多いので、アダプタユニット２の構成は図示の例に限定されず、対象機器の形状、構造に合わせて形成すればよい。なおレリーズガイドパネル２３は、評価対象とする携帯電話１の操作部１２のキーボタン５の数等に合わせてレリーズ６を挿入する孔を有するとともにかつ対象機器に合わせて交換できるようになっている。またレリーズガイドパネル２３には、携帯電話１のマイク（図示せず）に対応させた位置に孔（図示せず）を設け、この孔の位置にスピーカを取り付けできるようにしてある。
【００３１】
なお、既に述べたプランジャーユニットや、ＸＹタイプのロボットは、評価対象機器としては最も多く利用されるものとなっているが、プランジャーユニットタイプのロボットを使用すると、同時押し、早押し、開閉、背面液晶のテストが行える。一方、ＸＹタイプのロボットを使うと評価機器が変わっても簡単に取り外し、固定ができ、機体のタイプの変更がある場合にもすぐに対応できる。またなお、携帯電話の開閉センサーを利用して、擬似的に携帯電話を閉じた状態を作り出すことで開閉テストを行うこともできる。さらに、基地局シミュレータと連携することで、発呼、着呼、割り込み着信、電波受信状態変化、海外端末の検査も行える。
【００３２】
図３、図４は、携帯電話を保持するためのアダプタユニット２の変形例を概念的に示す斜視図であり、図３は、複数の移動可能なあるいは位置固定の支持部材１０１で、蓋部１０２を開いた携帯電話１を保持し、着脱可能なゴムヒモなどの弾性部材１０３でホールド性を高め、携帯電話１を押さえた状態を示している。
【００３３】
複数の支持部材１０１は、位置固定の一対のガイド支持部材１０１ａ、１０１ａと、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた二つの親スライダ１０１ｂ、１０１ｂと、それぞれの親スライダ１０１ｂ上にそれらの軸線方向で、すなわち親スライダ１０１ｂのスライド方向とは直角に交叉する方向でスライド可能に取り付けた子スライダ１０１ｃと、親スライダ１０１ｂと平行でかつ位置固定にガイド支持部材１０１ａ、１０１ａ間に設けた保持用支持部材１０１ｄから構成してあり、親スライダ１０１ｂが携帯電話１の底面を支持し、子スライダ１０１ｃが携帯電話１の側面を支え、保持用支持部材１０１ｄが携帯電話１の保持性を向上させる支持部材として構成してある。
【００３４】
なお、図示の実施例では、子スライダ１０１ｃを載せ得る親スライダ１０１ｂが２つしか設けていないが、例えばこれを４つに増やし、そのうち一つで携帯電話下部の高さを可変に支え、もう一つで携帯電話１の本体１ａではなく蓋部１０２のＬＣＤパネル３部分側の側部を押さえるものとする。残りの２つは図示の実施例と同じ役目をはたす構成とするとよい。
【００３５】
また子スライダ１０１ｃのスライド部品を付け替え得るようにし、以下の３種類を必要に応じて交換可能とすることもできる。
（１）携帯電話１の高さ方向とサイド方向の両方を押さえるもの（図示の実施例）
（２）携帯電話１のＬＣＤパネル３部分のサイドを押さえるもの（様々な高さのＬＣＤパネル３部分が考えられるので、それらに対応できるように、例えば１０ｃｍ程の高さのあるものにするとよい）
（３）携帯電話１の高さ方向のみを支えるもの（図示の実施例と同じ高さで、携帯電話１の特に本体部分１ａの側面に設けられるサイドボタンやケーブルの邪魔にならないような形状とすることが好ましい）
【００３６】
また上述のようなサイドボタンを押しても先端部品がぶつからないように、子スライダ１０１ｃの高さを例えば１．５ｃｍ程高くしても良い。
【００３７】
また子スライダ１０１ｃは、例えばノギスと同様の構造のものとすることができるが、その構造の場合、歯車を使用しているため携帯電話１を挟んだときに少しガタがあり、片方を固定しても反対側ががたついてしまうことがあり得る。サイドボタンを押した場合は少しのガタがカメラ画像などに影響するので、しっかりと携帯電話１の両サイドを固定する必要がある。例えば子スライダ１０１ｃをネジ止めしてその位置を固定する構造とすることができるが、一つのネジでは上述のようなガタを無くすことが難しい場合は、ネジ止めを２箇所で行ってもよい。
【００３８】
上述のように、子スライダ１０１ｃをガイド支持部材１０１ａ、１０１ａ間のセンターに合わせるためのテンションをかけるために、また携帯電話１のＬＣＤパネル３側が上がらないように、上からゴムヒモなどの弾性部材１０３で押さえつけるように固定しているが、弾性部材１０３は、子スライダ１０１ｂを構成する部品１０１ｂａに穴を開け、ここに弾性部材１０３に設けた球状等の部材を嵌入させて引っ掛ける。全ての子スライダ１０１ｃの部品にこの穴１０１ｂｂを空けておき、弾性部材１０３をどこにでも取り付けられるようにするとよい。なお図示の実施例ではゴムヒモなどの弾性部材１０３を用いているが、これに代えてバネを採用することもできる。
【００３９】
子スライダ１０１ｃの開く横幅は、戴置する携帯電話１が大きいものでも固定できるようすると、近年続々と発売されているＰＤＡタイプのものや、ターンタイプと称されてＬＣＤパネル３を有する表示部１１が横向きに回転するタイプ等のような種々のタイプのものにも対応できるようになる。
【００４０】
なお、固定用のネジにはＰＣのケースに使われているような、ドライバーを使わなくても締結が可能なネジを採用することが好ましい。また子スライダ１０１ｃの位置を変える場合には、ネジが完全に外れなくても緩めるだけで移動できるようにすることが好ましい。また、親スライダ１０１ｂに目盛を振るなどして、子スライダ１０１ｃを所定の位置に再度固定できるようにすることが望ましい。
【００４１】
さらに、携帯電話１の本体１ａの端部を抑える固定の支持部材１０１ｅ、１０１ｅは、携帯電話１のタイプ、具体的には端部形状、端部構造の違いに対応できるように、ベースにネジ止めする構造等としておいて、交換できるようにすることが好ましい。
【００４２】
図５はカメラ４等を装備するためのベースユニット３０の側面図である。このベースユニット３０は、ベース板３１と、カメラ４やマイク３２を搭載するためのタワー部３３とからなり、ベース板３１上にはピン等（図示を省略する）を設けてアダプタユニット２を位置決め搭載可能とし、タワー部３３には、光軸が垂直下方を向くようにかつ上下動可能にカメラ４を取り付けるとともに、携帯電話１のスピーカ１３に対応させてマイク３５を設けてある。なお、カメラ４の光軸はもちろん垂直下方以外の方向へ向けても良く、それに合わせてアダプタユニット２等の取り付け、配置形態を変えればよい。なお、カメラ４の位置を可変させる機構も備えているが説明を省略する。
【００４３】
既述のように、プランジャーユニット７は、レリーズ６を複数本、詳細には評価対象とする携帯電話１のキーボタン５の個数以上の本数を有し、これらを選択的に駆動できる装置である。駆動装置そのものは公知であるので説明は省略する。またレリーズ６は、図６に示すように、チューブ６１とその中を通したピン６２からなるいわゆるレリーズワイヤタイプのものであるが、図示のように、レリーズガイドパネル２３の孔２５への着脱が容易に行えるように、チューブ６１先端に設ける金属管部６３のネジヤマ６４を全長にわたらずに基部近傍のみ設けてある。なお基部にはロックネジ６５と調節ネジ６６とが設けてあり、ピン６２の飛び出し長さを調節できるようにしてある。ただしこのタイプのレリーズでは、ピン６２の飛び出し長さが長いほど確実にキーボタン５に届くようになるが押す力が弱くなる。なお、各ユニット、カメラ等の配線、駆動系、信号伝達系等々についての図示及び説明は省略する。
【００４４】
本実施例装置を、アダプタユニット２に載置した携帯電話１のキーボタン５に対してプランジャーユニット７の所望のレリーズ６を駆動してキーボタン５を押し下げ、この押し下げによって変化するＬＣＤパネル３をカメラ４により撮影し、所望のキーボタン５の押し下げに伴って設計、製造時に設定した通りの画像がＬＣＤパネル３に表れるか否か等を判定するものとして以下説明する。
【００４５】
図７は、モニタ９にメイン画面として表示させる画面の内容を示す図である。この画面は、カメラ４により撮影したＬＣＤパネル３の画像３ａと、例えばデジタルカメラ等で撮像して予め得ておいた判定、検査対象となる携帯電話１の全体平面画像１ａとを合成して示している。なお、
【００４６】
次に本実施例装置における評価の流れを説明する。
評価は、
（１）機種ファイル作成（ボタン設定、ＬＣＤ画面調整）
（２）シナリオ作成（設計書や仕様書（期待値画像とテスト項目）を用意して、シナリオを作成する）とデバッグ
（３）１回目の評価（実行、手動判定、画像入れ替え）
（４）２回目以降の評価（実行・自動判定）
という手順になる。
【００４７】
以下、本実施例装置における評価の手順等について詳細に説明するが、まず機種ファイル作成について説明する。
評価の開始に当たっては、最初に機種ファイルの新規作成を行い、携帯電話１の情報を設定する。機種ファイルとは、携帯電話１の個別情報をまとめたファイルであり、画像の調整や携帯電話１のキーボタン５とレリーズ６の対応を設定する。
【００４８】
即ち、予め用意しておいた評価対象携帯電話の画像ファイルを用い、モニタ画面に携帯電話１の全体画像を、もちろん表示部１１と操作部１２とが見えるように表示させ、これに組み合わせるＬＣＤパネル３に相当する画面を作成する。なお画像ファイルとしては、例えばビットマップ形式で、メイン画面に収まるぐらいの大きさのものを用意する。そして、判定に必要なキーボタン５の設定とレリーズ６の割り当てを行う。キーボタン５は一つずつ設定する。即ち、図８に示すようにメイン画面上で携帯電話１のキーボタン５を囲んで範囲を指定し、キーボタン５の個数分だけ名称とプランジャーユニット７のレリーズ６の番号を指定する。図９は携帯電話情報設定画面、図１０はボタン情報設定画面、図１１はボタン情報一覧画面、図１２はキーボタン５の情報設定でのレリーズ６の番号入力例を示す図である。
【００４９】
キーボタン５に対応するレリーズ６が、メイン画面上に作成したキーボタン５をクリックしたときに動作するかは、実際にプランジャーユニット７を動作させて確認する。例えばメイン画面での操作により作成したキーボタン５をクリックすると、そのキーボタン範囲が青くなるようにして、対応するプランジャーユニットのレリーズが携帯電話のボタンを押すかどうかをチェックする。既述の機種ファイル編集画面で動作確認を行うようにすることもできる。
【００５０】
図１３は、特殊操作手順設定である携帯電話を待ち受け画面に戻す操作（リセット）、携帯電話に供給されている電源から切り電源を投入する操作（強制リセット）、折り畳み式携帯電話の開閉動作ボタンの設定を行う画面を示す。なお折り畳み開閉動作の機能が使用できるのは、携帯電話１が折り畳み式であり、それにアダプタユニットとプランジャーユニットが対応しており、レリーズ６で例えば磁石を用いた開閉機構の操作ボタンを押せる場合であり、これにより実際には携帯電話１を開閉せずに（図示の実施例では既に開いてしまった状態で）検査、評価することができる。
【００５１】
以上のように設定してきた機種ファイルは、適宜の名称でコンピュータ８が内蔵しまたは外部手段として有する記憶媒体に保存する。この保存した機種ファイル、即ち作成済みの機種ファイルは修正できることはもちろんである。図１４は、機種ファイルの編集画面の図である。
【００５２】
図１５はモニタ９に表示させるＬＣＤパネル３画面の調整画面である。画像の調整は、必要があれば歪み補正データの取得、補正データに基づいた画像補正、補正後画像の微調整、の順に行う。また必要ならばＬＣＤ画面の大きさも調整する。図１５には、ＬＣＤ枠の設定部分、ＬＣＤオフセットの設定部分も示す。ＬＣＤ画面の調整画面での調整が終了し、必要があれば画像の補正を行い、補正後画像の台形補正を行う。図１６は、補正後画像の確認画面である。画像の色調や明るさ補正も行える。また補正後画像の微調整として、画像の台形補正を行え、基準となる画像をもとにＬＣＤ画面の大きさ、傾きの微調整を行う。
【００５３】
台形補正は、図１７に示すキャリブレーションシート４０を基準にカメラ４の焦点距離、歪み具合などのパラメータを求め、それを補正データとして画像を補正するものである。補正値を取得するには、携帯電話１にキャリブレーションシート４０を乗せてカメラ４で撮影し、メイン画面に表示されているキャリブレーションシート４０の画像の黒い四角、点がはっきり見えるようにする。ついでキャリブレーションシート４０を取り除いて携帯電話１のＬＣＤパネル３の画面を撮影する。図１８は歪み具合取得ウィザード画面の図である。歪み具合を取得する前に、まず携帯電話１のＬＣＤパネル３画面の大きさとして縦、横サイズの測定値を入力し、歪み具合取得ボタンを押して歪み具合の取得を開始し、補正後画像として表示する。
【００５４】
次にシナリオ作成について説明する。
【００５５】
図１９は、シナリオ作成編集画面を示す図である。この画面は、シナリオ表示用のシナリオリストボックス５０と、コマンド設定タブ５１・・により切り替え可能な画面となっている情報設定部５２からなる。
【００５６】
シナリオ作成には、まずキーボタン５の操作コマンドをシナリオリストボックス５０に入力する。次いでキーボタン５の押下条件を情報設定部５２で設定する。ここでは、複数押し（同時に複数のキーボタン５を押下するコマンド）、押下時間（携帯電話のボタンを押下する時間の設定、押下間隔（１つのコマンドが終わってから次の処理に移るまでの間隔）を設定する。評価環境番号ラジオボタンは、評価環境の番号の設定するもので、対向試験を行う設定で使用する。また折り畳み部開閉は、折り畳み式携帯電話の開閉動作ボタンの押下間隔を設定する。もちろん、この機能が使用できるのは、折り畳み式携帯電話のアダプタユニットと折り畳み式携帯電話の開閉動作ができるプランジャーユニットを用意した場合のみである。さらに、再生、制御、単体シナリオ呼び出し、リモートシナリオ呼び出し（対向試験で対向先のコンピュータでシナリオを実行させるコマンド）、待ち、繰り返し、停止、判定の各コマンドを設定する。判定コマンドは、画像の期待値を取得し、その場で判定（即時判定）を行い、判定結果によってシナリオ実行を続けたり停止したりするためのものである。なお取得した実測値の判定は後述する確認画面で行うが、この判定コマンドを用いると、その場で判定し、判定の結果が期待した通りでなければシナリオの実行を中断することができる。また一つのシナリオ内で別のシナリオを入れ子状に呼び出すことを可能とするシナリオ呼び出しコマンドも設定できる。図２０は、その複数呼び出した例を示す図である。
【００５７】
図２１は、期待値設定タブの内容を示す図である。この画面では、携帯電話１の反応を記録するコマンドを入力できる。記録できるのはＬＣＤパネル３の画面の画像と、マイク３５で録音した音声である。なお図中５３は期待値画像表示スペースである。
【００５８】
画像取得コマンドは、期待値画像を設定し、実際の画像と比較することでテストを行うためのものである。期待値画像には、例えばｊｐｇ、ｂｍｐ、ｅｍｆ等の形式のファイルを設定する。また実測値を記録するタイミングとして、記録を開始するタイミングを指定するとともに、画像指定、判定範囲設定を行う。一方、音声取得コマンドは、マイク３５で集音した音声を録音するもので、キーボタン５を押下した時の音（ＤＴＭＦ音）を確認画面で判定することができるようにするものである。
【００５９】
なお図１９の入力支援部は、名前や電話番号などのひらがな、数字、アルファベット、記号を携帯電話１で入力するシナリオを自動生成するための部位である。またこの部位のキーボタン情報ボタンを操作すると、図２２に示すボタン対応表が表示されるようになっており、文字入力に使用する携帯電話１のキーボタン５と、機種ファイルで登録したキー名の対応を設定できる。
【００６０】
そして、作成したシナリオが正しく動作するか否かをデバッグを行うことでチェックする。なおデバッグ画面は、後述する実行画面（図２３）と同様である。チェックの結果は、例えば図２４に示すようなエラーレポートとして出力する。
【００６１】
次にシナリオの実行について説明する。
【００６２】
図２３は実行画面を示す図である。この画面は、シナリオリストボックス８０、実行時指定部８１、実行状況表示部８２からなり、実行状況表示部８２は、シナリオ一覧リストボックス８３、カレントシナリオボックス８４、期待値画像表示部８５、実行ＬＣＤ画像表示部８６からなる。シナリオリストボックス８０には、実行中のシナリオあるいはこれから実行するシナリオの名称を表示する。実行時指定部８１は、キーボタン５の押し時間に関する設定を表示する部位、期待値を記録するタイミングの設定を表示する部位、停止レベルを表示する部位を含む。またシナリオ一覧リストボックス８３は、選択しているシナリオとシナリオ集を表示し、カレントシナリオボックス８４は、シナリオ一覧リストボックス８３で選択しているシナリオを表示する。期待値画像表示部８５は、画像取得コマンド実行時、期待値として設定されている画像を表示し、実行ＬＣＤ画像表示部８６は同じく撮影した携帯電話１のＬＣＤパネル３の画面を表示する。なお図２４はエラーレポートを示す図である。
【００６３】
上述のような携帯電話自動評価システムを２セット使用して対向試験を行うことができる。対向試験では、相手方システムのコンピュータとＬＡＮで接続し、接続した側のシステムで同じシナリオを自動的に実行する。即ち、２台の携帯電話自動評価システムの、片方をサーバーとし、他方をクライアントとして、サーバーがクライアントを制御する試験となる。そして、サーバー側でシナリオ実行をすると、サーバーがクライアント側のプランジャーユニット７を操作することで２台の携帯電話１を操作できる。したがって、別の携帯電話１に電話をかけて、かけられた携帯電話機で電話をうけるというような検査を行うことができる。
【００６４】
なお対向試験であるか否かにかかわらず、シナリオを自動実行させ得るが、途中での手動による一時停止、停止、再開が可能であり、シナリオをステップごとに実行させるステップ実行、途中から自動実行に切り替える半自動実行も設定できる。
【００６５】
またなお、現在実行中のシナリオに、指定した周期ごとに別のシナリオを実行させる、いわゆる割り込み処理を可能とすることによって、携帯電話を操作中にメールを受信するといった実際の使用状況に近い試験を自動的に行える。
【００６６】
ある携帯電話について１回目のシナリオを実行した後、確認（手動判定と画像入れ替え）を行う。即ち例えば一度手動で判定を行い、判定結果が良ければ画像を入れ替える。まず、画像を確認し、期待値画像と実行画像が一致するかどうかについてシナリオの全ステップを判定する。複数のシナリオを実行するときは、全シナリオについて全ステップを判定する。そして期待値画像が直接画面を撮影した画像でない場合は、画像判定が行えないので期待値画像の入れ替えを行う。入れ替えを行うと、次に同じシナリオを実行したときには入れ替えられた画像が期待値としてデータベースに登録され、画像の自動判定を行うことができる。また用意した期待値画像のある一部分だけを自動判定に使用したいときは、判定範囲設定を行うことができる。
【００６７】
なお判定範囲にはデフォルト判定範囲と個別判定範囲を設定でき、前者ではすべての画像に同じ判定範囲を適用し、後者では画面上で範囲を設定された画像だけに適用する。判定範囲と除外範囲も設定でき、判定範囲と除外範囲を組み合わせることで、複雑な形の判定ができる。コンピュータを用いたシステムであるので、もちろん判定範囲の座標指定等も可能である。
【００６８】
そして２回目以降のシナリオ実行の結果は、期待値画像が入れ替えられていれば、自動判定ができる。自動判定機能は、用意された判定範囲に基づいて、期待値画像と実測画像が一致するかどうかを自動的に判定するものである。また、期待値ＤＴＭＦ音の周波数と実測ＤＴＭＦ音の周波数が一致するかどうかも自動的に判定できる。
【００６９】
なお、図示は省略するが、折り畳み型の携帯電話でかつキーボタン５を有する操作部１２の外面にもう一つの表示パネルを備えるものあるいは同様の構造のＰＤＡ等が近年開発、市販されている。これらを評価対象とする場合には、開いた状態でＬＣＤパネル３の表示を評価することと、閉じた状態で操作部１２外面の表示パネルを評価することを個別に行うこと、あるいはもう一つカメラを用意して、開いた状態とした携帯電話等の二画面を二つのカメラで同時にかつ個別に撮像して評価することのいずれでも可能である。
【００７０】
また上述してきた実施例の機能を総合し、人間の判断に近い曖昧さを兼ね備えた画像判定ができるようにすることができ、期待値画像と実測値画像の微妙な違いを許容して画像判定を行えるようになる。例えば、これによりカメラ４の再設置の際のセットアップ時間を大幅に短縮することができるようになる。また画像判定が難しかった４５インチ大画面ＴＶのような機器が検査対象であっても自動判定が可能になる。なお、ファジィ理論の画像計測への応用は種々の方法が提案されており、検査対象に応じて等種々の条件を勘案して適宜の方法を選択し、上述した画像処理に組み込めばよいので詳細な説明は省略する。
【００７１】
以下、画面の表示内容の評価方法について説明する。本例では、図２５に示すように、静止画、動画を評価する他、図２６に示すように携帯電話等の器具が発生する音声についても判定を行う。
【００７２】
まず画像の評価の概略を説明する。本例では、図２５に示すようにまずカメラ４からの画像のキャリブレーションを行う（Ｓ１０１）。このキャリブレーションは、システム全体で一回行えばよく、システムを構成する他の機器、装置の機能チェック装置のカメラが取得した画像に適用できる。
【００７３】
次に、各機器、装置の機能チェック装置において、検査対象携帯電話１の操作ボタン５を操作し（Ｓ１０２）、携帯電話１のＬＣＤパネル３に画像を表示させる。この画像を前記カメラ４で取得し静止画、動画別に画像判定を行う（Ｓ１０４）。
【００７４】
一方、音声判定においては、本例ではＤＴＭ音、ＢＴ／ＲＢＴ音、及びメロディについて判定を行う。この判定は、図２６に示すように、携帯電話１の操作ボタン５を操作し（Ｓ２０１）、発生した音声をマイク３５で取得し（Ｓ２０２）、音声信号を一端機器、装置の機能チェック装置に格納し、その格納した音声に対して判定を行う（Ｓ２０３）。まず、機器、装置の機能チェック装置の画像取得用の撮像装置のキャリブレーションについて詳しく説明する。
【００７５】
このキャリブレーションでは、図１７で示したキャリブレーション用シートの中央に表示されている７×７個の黒い点の座標を撮像画像から読み取る、そして、実際のキャリブレーション用シートと撮影した画像の点とを比較することによりカメラの撮影特性データを取得する。
【００７６】
まず、キャリブレーション用シートの画像を複数枚、例えば２０枚撮影する。これらの撮影に際しては、キャリブレーション用シートを様々な位置・角度に配置して撮影する。これにより、様々な条件下での、キャリブレーション用シート画像の点の位置座標を取得する。
【００７７】
次に、実際に検査する携帯電話の液晶画面と平行においたキャリブレーション用シートの画像を撮影する。すべてのキャリブレーション用シート画像から点の位置座標を取得し、これらのデータからカメラの焦点距離、放射状歪みの中心位置、歪み度合いを計算する。これは画像処理ライブラリによって計算される。画像処理ライブラリは市販のソフトウェア（例えばＭＶＴｅｃ製ＨＡＬＣＯＮ（商標））であり、前記各要素を計算するものである。そして、携帯電話画面に乗せて撮影した（最後の）キャリブレーション用シート画像の歪みがなくなるよう補正を行う。
【００７８】
本例では、キャリブレーション用シートから点の位置を検出するのに、当装置の被い内で撮影するため暗い画像になってしまう。画像処理ライブラリの中にはシートの矩形位置を取得する関数があり、指定した特定の色のラインで表示される矩形のみを取得することができる。
【００７９】
この関数には閾値を引数として渡すが、これが高すぎると暗い画像では検出することができない。逆に閾値が低いと誤った領域を取得してしまう。また、ライブラリの戻り値では矩形を取得できたかがわからない。失敗したまま続けていくと後からエラーとなることがあるので、ここで正確に矩形領域を取得する必要がある。
【００８０】
このため、暗いムラのある画像でもマークを検出することができるように、高い閾値から序々に閾値を下げながら、前記と同じ矩形を取得する関数を実行することとする。取得された領域が最も正方形に近い形になったところで止めるようにする。
【００８１】
次に、キャリブレーション用シートの画像からカメラの歪みを修正するためのパラメータを取得する。カメラの焦点距離、放射状歪みの中心位置、歪み具合、最後のキャリブレーション用シートの画像に合わせて変換したカメラ座標を画像処理ライブラリで計算する。
【００８２】
以上より求めたパラメータを用いて携帯電話の画像に変換をかける。前記の値を用いて、最後に取得したキャリブレーション用シートと、携帯電話のＬＣＤ画像に対して変換をかける。これでキャリブレーション用シートは歪みのない正方形で表示される。
【００８３】
さらに、中央に適度な大きさで表示されるよう変換をかける。最終的にはキャリブレーション用シートではなく、携帯電話のＬＣＤ画面が中央に歪みなく表示されるのが目的なので、適切なサイズで中央に表示されるよう変換パラメータを化させながら変換を繰り返す。
【００８４】
そして、他の機種の基準画像に合わせて他の機器、装置の機能チェック装置で画像が使用できるよう、補正をかける。ユーザは基準となる画像を１枚選択し、自動補正ボタンをクリックするだけで、現在の画像が基準画像と同じサイズ・明るさになるよう補正される。
【００８５】
基準画像に合わせて自動補正をかける。即ち、位置、回転、拡大・縮小、縦横比が基準画像と一致するようアフィン変換をかける。カメラで撮影している画像から静止画を取得するときにこの補正をかけている。
【００８６】
次に、基準画像に合わせてカメラの明るさ・コントラストを調整する。静止画の明るさを後から変えると、元の画像は例えば０〜２５５のデータしか持っていないので、例えば明るすぎて白く飛んでいる場合は正確な色の値が分からない。よって、撮影後の画像に変換をかけるのではなく、カメラの設定値を直接変更する。カメラの明るさ・コントラストを変化させながら連続して撮影・比較することにより適切な明るさ・コントラストに合わせていく。
【００８７】
次に静止画の比較について説明する。
【００８８】
本発明に係る機器、装置の機能チェック装置の画像処理では、入力画像としてどのような画像が来るか予想がつかない。したがって、入ってきた画像によって最適な判定ロジックを選択し、ミスのない判定を行う必要がある。具体的には、画面の細かい画像、暗い画像が入ってきても判定しやすい明るさに補正し、ある程度の面積を持った領域の違いを判定する。
【００８９】
ＬＣＤの明るい領域を例えば以下のように取得する。
【００９０】
図２７に示すように、画像のヒストグラム（０〜２５５）を求め、それを大きく３つの山に分ける。そのうち暗い方から数えて１つ目の山と２つ目の山を分ける境目の値で閾値処理を行う。
【００９１】
また、山が偶数にしか分かれない場合は中心をとる。１つ目の山と２つ目の山を分ける間をとる理由は、本例では、画像を周りの黒い枠と明るいＬＣＤ部分に分けたいので、黒いところが除ければよい。しかし、中には光が漏れて灰色に明るくなってしまう場合もあるので、このような方法を採用する。
【００９２】
画像の明るさが大きく異なる場合に、それらを同じ程度の明るさに合わせるか、または明るさが違うためにＮＧと判断するかは、設定ファイルの値で決めることができ、ユーザが変更することも可能である。
【００９３】
ここで設定した値より実際の画像の明るさが異なっていた場合は位置補正をしないまま画像比較し、一致しなかったという結果を出す。
【００９４】
基準画像から位置合わせのためのテンプレートを作成基準画像と実測画像のずれをなくすため、後工程で位置補正を行う。そのためのパターンマッチング用テンプレートを基準画像を元に作成する。（画像処理ライブラリで計算）テンプレート作成用の画像を選択する。
【００９５】
本例では、ＬＣＤ領域の淵（幅３ピクセル）の領域に画像を絞り込んだものを登録画像としている。これにより正確かつ速い位置補正が可能となる。
【００９６】
次に元画像のコントラストが低い場合はコントラストを上げるための補正を行うこれは、単にガンマ補正をかけるのではなく、図２８に示すように、色平均値より明るい部分はより明るく、暗い部分はより暗く補正する。画像平均値と最大値・最小値から明るさ強調の変換テーブルを計算して、コントラストの補正を行う。色合いの微妙な画像の判定に使用する。このようにコントラストを上げると、途中でここから上は明るくし、ここから下は暗くするといった変極点が生じる。
【００９７】
次に、基準画像に合わせて実測画像の色補正を行う。このとき、多少違う画像でも同じように色補正されるよう細かい画像やエッジ領域を除いた部分で調整する。基準画像と実測画像で色の平均値が閾値（ユーザが指定したパラメータ）だけ異なる場合は補正をかけないようにする。さらに、テンプレートを基準にパターンマッチングを行う。先に作成したテンプレートを基準にパターンマッチングを行う。これは、画像処理ライブラリで計算する。
【００９８】
なお、繰り返し判定するときに、２度目以降は１回目の位置情報を利用して速く判定する。１回目の基準画像の位置データをとっておき、２回目以降の判定ではそれを読み込んで画像マッチングすることで位置合わせを行う。
【００９９】
位置合わせを行った結果、大きくずれてしまった場合、またユーザが指定したよりも移動してしまった場合は元の位置に戻して、そのまま重ねて判定する。
【０１００】
基準画像と実測画像をそのまま重ね合わせて判定を行う。色が大きく違う、位置が異なるなど何かしらＮＧであると思われる要素があった場合は、位置補正を行わないで単に画像差分をとった結果を出す。なおこの判定では、人間の判断に近い曖昧さを兼ね備えた画像判定とすることができる。いわゆるファジー制御を用いた判定機能により、期待値画像と実測値画像の微妙な違いを許容して画像判定を行えば、カメラ再設置の際のセットアップ時間を大幅に短縮することができる。
【０１０１】
位置合わせで取得したデータに基づいて画像・判定範囲に変換をかける。位置合わせが成功した場合は、データに基づいてアフィン変換をかける。この処理は画像処理ライブラリで行う。そして、ユーザが指定した判定対象範囲に基準画像、実測画像の絞り込み判定を行う。
【０１０２】
次に、基準画像と実測画像の差分をとる。本例ではＲＧＢ画像とグレイ画像の４種類ごとに基準画像と実測画像で画像差分をとる。元画像のコントラストの低いものについては、差分を強調する処理をかけることが有効である。この処理は取得したＲＧＢ、Ｇｒａｙごとの差分画像を加算してよりはっきりさせるものである。
【０１０３】
差分画像に閾値処理でＮＧと期待される領域を取得する閾値（７０くらい、ユーザからも設定できる）から２５５の間で閾値処理を行う。基準画像と実測画像で異なる部分が抽出される。
【０１０４】
本例は、多数の画像をターゲットに、ロジックやパラメータを少しずつ変化させながら結果を比較していき、閾値として最も良かった結果のものを採用した。画像の明るさによって閾値を変えることが望ましい。基準の閾値は設定ファイルから読み込むが、画像が暗めの場合はそれに合わせて閾値を下げる。逆に明るい場合は上げるようにする。
【０１０５】
次にノイズ処理を行う。閾値処理で求めたＮＧ領域（画像差分領域）からノイズを削除し、本当にＮＧである領域のみを残す処理である。まず、ＮＧ候補領域から大きくＮＧだとわかる部分だけを抽出する。単に閾値より明るい部分をＮＧ領域とするのではなく、明るい部分が含まれていてかつＮＧ候補となる白い部分の周辺面積が大きいものだけを最終的なＮＧ領域とする。
【０１０６】
例えば、図２９に示す場合、左の領域は面積が広くても明るさの最大値が低いのでＮＧと判断されない。右の領域は中心の明るさが高くなっているので、この領域全体がＮＧとして検出される。
【０１０７】
前記処理により、ＮＧと判断された領域の面積がゼロであればＯＫ、１以上の場合はＮＧと判断され、ＮＧ領域が表示される。なお図３０は本実施例に係る携帯電話の検査装置での静止画像判定処理動作中の領域特定処理を示す図である。
【０１０８】
ノイズ処理に関しては、その他、比較対象画像を８方向に０．５ピクセルずつ動かし、位置合わせがほんの少しずれただけでノイズが増えるので、位置合わせを行った後さらに０．５ピクセルずつ移動させて、最もノイズの少なかった位置を最適とする方法や、ＮＧと判断された領域のうち、その領域のエッジの情報から「ずれ」と「違い」を判断する方法を採用することができる。
【０１０９】
具体的には図３１に示すように、かつ上述してきたように、画像サイズの判定（Ｓ１１１）、ＬＣＤ領域の画像取得（Ｓ１１２）、明るさ判定（Ｓ１１３）、位置合わせ用テンプレート作成（Ｓ１１４）、コントラスト調整（Ｓ１１４）、色補正（Ｓ１１６）、テンプレートを基準にパターンマッチング（Ｓ１１７）、位置確認（Ｓ１１８）、画像判定範囲の変換（Ｓ１１９）又は基準画像と実画像を重ね合わせて判定（Ｓ１２０）、画像を判定範囲に絞り込む（Ｓ１２１）、基準画像と実測画像との差分抽出（Ｓ１２２）、差分画像に閾値処理で不良（ＮＧ）と期待される領域を取得（Ｓ１２３）、ノイズ処理（Ｓ１２４）、そして結果出力（Ｓ１２４）となる。
【０１１０】
次に本発明に係る機器、装置の機能チェック装置の動画判定処理について図３２ないし図３７に基づいて説明する。図３２は、動画処理を示すフローチャートである。本例では、期待値、実測値はそれぞれａｖｉファイルとする。期待値と実測値は静止画に切り出したとき、同じサイズとする。ただし撮影時間は異なっても差し支えない。さらに、画像の周囲の枠が黒く表示されていることが望ましい。
【０１１１】
まず、カメラで撮影され格納された動画ファイル（ＡＶＩファイル）から、動画の読み込みを行う（Ｓ１４１）。そして動画を１フレーム毎（３０ｆ／ｓ）に静止画（ビットマップ）に切り出す。これは画像を読み出した撮像装置の取得フレーム数である。
【０１１２】
次に読み込んだ画像の平均化を行う。これは、図３５に示すように画像を１枚ずつ読み込み、２つ前の画像（図３３（ａ））と１つ前の画像（同（ｂ）と、着目した画像（同（ｃ）を合成し画像３枚の平均画像を取得するものである（Ｓ１４３）である。そして、３枚の画像の平均画像を１枚の画像（図３３（ｄ）として扱う。これにより期待値と実測値の切り出しのタイミングがずれていても平均化することによりなめらかな動きになる。
【０１１３】
さらに後の工程で期待値と実測値の同期を合わせた後に比較を行うのに使用するデータを取得する（Ｓ１４４）。そして、平均化した画像をＲＧＢ、Ｇｒａｙの４色に分ける（Ｓ１４５）。平均化した各画像を、ＲＧＢとＧｒａｙ画像に分ける。Ｇｒａｙ画像は人間の目で見たのと近いように０．２９９＊ｒｅｄ＋０．５８７＊ｇｒｅｅｎ＋０．１４４＊ｂｌｕｅとする。そして、グレイ画像を半分のサイズ（面積で４分の１）にしてメモリ上にとっておく（Ｓ１４６）。取得したグレイ画像を半分の倍率に縮小し、メモリ上に確保しておく。この際面積では元のサイズの４分の１とする（Ｓ１４７）。ＲＧＢ、Ｇｒａｙごとに１つ前の画像と引き算で画像差分をとる。より明るくなった部分とより暗くなった部分を求め、そのトータルグレイ値（面積とグレイ値（０〜２５５）の積分値）を取得する（Ｓ１４８）。これは、以下の（１）〜（３）の処理による。
（１）ＲＧＢ、Ｇｒａｙ画像ごとに現在の画像から一つ前の画像を引いて、一つ前の画像より明るくなった部分を画像として取得する（図３４（ａ）、（ｂ）、（ｃ））。
（２）同様に一つ前の画像から現在の画像を引いて、より暗くなった部分を画像として取得する。
（３）取得した差分画像のトータルグレイ値（白く表示される部分の面積と明るさの積分値）をＲＧＢ、Ｇｒａｙごとに取得する。
これで、動画を静止画に切り出したときの１枚の画像あたり、８個のトータルグレイ値が取得できる。明るくなった画像と暗くなった画像がそれぞれＲＧＢ、Ｇｒａｙの４チャンネル分あることとなる。
【０１１４】
次にＲＧＢ、Ｇｒａｙごとに取得した差分画像を合わせる。この画像に閾値処理をかけて差分のあった領域を取得する（Ｓ１４８）。これは、以下の（１）〜（２）の処理による。
（１）ＲＧＢ、Ｇｒａｙごとに取得した差分画像をＲＧＢ、Ｇｒａｙの４チャンネル分足す。
（２）この４チャンネル分足した差分画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザ側で指定できる）。
これで、カラー画像としてより明るくなった部分の領域とより暗くなった部分の領域が取得できる。
【０１１５】
より明るくなった画像と暗くなった画像を合わせ、閾値処理をかけ前後の画像で差分のあった領域を取得する（Ｓ１４９）。この領域の重心を求める。これは以下の（１）〜（４）の処理による。
（１）（Ｓ１４８）で取得したより明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像を足して一つの画像にし、一つ前との差分画像を取得する。
（２）パラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する。（このパラメータはユーザ側で指定できる）この領域が一つ前の画像との差分領域になる。
（３）（２）で取得した領域の重心位置を求める。前の画像と差がなく、差分の領域面積がゼロの場合は画像の中心位置を代入する。
（４）より明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像をそれぞれ半分のサイズに縮小し、メモリ上に確保しておく（面積では４分の１）。
【０１１６】
動画のずれ時間を求め、実測値と期待値の撮影のタイミングを合わせる（Ｓ１５０）。ここで、期待値と実測値の撮影のタイミングが異なる場合や撮影時間が異なる場合でも判定できるよう、時間を合わせる必要がある。これは以下の（１）〜（４）の処理による。
（１）期待値と実測値を１枚ずつ、ずらしながら（Ｓ１４７）で取得したトータルグレイ値を比較していく。期待値と実測値の時間が重なっている間だけ、１コマごとにトータルグレイ値の差分をとり、その合計値を取得する。
（２）期待値と実測値のタイミングが合ったところではこの差分が極小値となるので、１つ前の値より小さく、１つ後の値より小さいところが候補となる。そして（ｆ（ｎ＋１）−ｆ（ｎ））＋（ｆ（ｎ−１）−ｆ（ｎ））が最も大きくなるｎを求める。この差分が最も大きかったところを求めるずれ時間とする。
（３）ＲＧＢ、Ｇｒａｙの４チャンネルで求められた時間が異なる場合は８個のデータの候補が多い順に選ぶ。
（４）ＲＧＢ、Ｇｒａｙごとに取得された時間の候補が一致しない場合はすべてのチャンネルにてデータを合計し、その合計値が最も高かった場所（最も前後との差があった時間）をずれ時間とする。
【０１１７】
次に、実測値と期待値のずれを合わせた状態で、実測値と期待値のデータを比較する（Ｓ１５１）。即ち、ここでは、前の画像と比較して移動した部分の領域の重心位置を比較する（Ｓ１５２）。これは以下の（１）〜（３）の処理による。これは本例において、比較１となる。この比較１では、差分領域の重心位置を求め、場所の違いを求めるものである。
（１）期待値と実測値の同期を合わせてからＳ１５９で求めた期待値と実測値の各画像の重心位置を比較する。Ｘ座標、Ｙ座標ごとに差を求め、それぞれが画像の幅・高さに対
してどれだけの割合かを求める（１−Ｘの差分／判定範囲の幅、１−Ｙの差分／判定範囲の高さ）。
（２）前記（１）を、切り出した画像分求めて平均値をとる。この値が低いと一致率が低いということになる（１に近いほど差がないということになる）。
（３）ここで求めた値（０〜１．０）を比較結果としてｒｅｓｕｌｔ１とする。
【０１１８】
図３５（ａ）、（ｂ）で示した画像は、異なる個所でアイコンが点滅している画像を示ししており、この比較１により違う画像であると判断することができる。
【０１１９】
より明るくなった領域と暗くなった領域ごとに、期待値と実測値の移動領域を比較する（Ｓ１５３）。これは以下の（１）〜（５）の処理による。
【０１２０】
これは本例中の比較２となる。この比較２では、移動領域の差分をとり、動きの違いを見る。
（１）期待値と実測値の同期を合わせてから（Ｓ１４８）で求めた期待値と実測値の領域の差分をとる。
（２）次に、「期待値または実測値で移動のあった領域」を取得する。期待値、実測値共に輝度の増えた画像と減った画像（計４種）をすべて足して合成する。これに閾値処理をかけ、明るく表示される部分を領域として取得する。この領域に膨張収縮処理をかけ、ある程度の面積を持つ領域に絞る。これを「動きのあった領域」とする。
（３）輝度の増えた画像、減った画像ごとに期待値と実測値の差分を取得する。期待値と実測値が同じように変化している場合はこれらの差分をとることで、相殺されて領域がなくなるが、移動個所の異なる場合は差分をとってもその領域が残る。
（４）前記（３）の画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザ側で指定できる）。輝度の増えた画像と減った画像の領域を足してひとつの移動差分領域として取得する。
（５）前記（２）で取得した「動きのあった領域」に対する（４）で取得した期待値と実測値の差分領域の割合を求める。次に、前記（２）で求めた「動きのあった領域」が画像の判定対象面積に対してどれだけの割合かを求める。この面積が小さい場合は（５）で取得した差分領域の割合よりさらに小さくする。処理が必要とされるのは、動きのあった面積が判定範囲の面積にたいして小さいというのは、動き自体が少ない動画となるからである。つまり、期待値と実測値の動画部分が異なったところで差は小さいということになるからである。以上より「動きのあった領域」に対する期待値と実測値の差分領域の割合（０〜１）を１から引くと、期待値と実測値が同じように動いた割合（一致率）を求めることができる。この値は大きいほど（１に近いほど）一致率が高くなる。
（６）前記（５）の値をすべての画像で求め、画像枚数で割ることにより画像１枚あたりの平均値を求める。ここで求めた値（０〜１．０）を比較結果ｒｅｓｕｌｔ２とする。
【０１２１】
図３６（ａ）、（ｂ）で示した２枚の画像をこの比較２により違う画像であると判断することができる。
【０１２２】
縮小した画像の画像差分をとることで比較し、背景も含めて画像全体がどれだけ異なるかを比較する（Ｓ１５４）。これは以下の（１）〜（２）の処理による。これは本例中の比較３となる。この比較３では、画像の絶対値で判定する、即ち本比較３では静止状態での違いを見るのである。
（１）期待値と実測値の同期を合わせ、合わせた時間同士でＳ１５６で取得した期待値と実測値の画像の差分をとる。まず期待値と実測値で位置合わせを行う。具体的には期待値を基準に実測値画像に対してパターンマッチングを行い、見つかった位置にアフィン変換で実測値を移動させる。期待値と実測値の時間が重なる場合はすべての画像において位置合わせを行う。位置合わせを行った後、期待値と実測値の画像差分をとる。
（２）前記（１）で取得した期待値と実測値の差分領域から、Ｓ１６３−（２）で取得した動きのあった領域を引く。これによって背景（静止画部分）のみの違いを取得することができる。差分画像に閾値処理をかけ、のこった面積が大きいほど一致率が低くなる。
（３）この面積は１００％異ならなくても人間の目では充分異なっていることが分かるので、結果（＜１）を２乗した値を答えとする。
（４）ここで求めた値（０〜１．０）をさらに２乗し、比較結果としてｒｅｓｕｌｔ３とする。なお、画像の絶対値比較は他の処理では行われない。他の処理はすべて相対位置での比較のため、画像全体の明るさが異なるときなどは比較しても同じと判断されてしまうからである。
【０１２３】
図３７（ａ）、（ｂ）で示した２枚の画像をこの比較３により違う画像であると判断することができる。
【０１２４】
そして、以上の比較要素を掛け算し、最終結果を得る（Ｓ１５５）。期待値と実測値の同期を合わせてから前記のｒｅｓｕｌｔ１、ｒｅｓｕｌｔ２、ｒｅｓｕｌｔ３の結果を取得し、これらの積をとる（値は、０〜１．０となる）。これに１００をかけて％に対応させた結果を返す。
【０１２５】
そして、結果（０〜１００）を返す（Ｓ１５６）ことにより、この値が閾値以上である場合、合格とし、閾値未満である場合不合格とする。そして、次に本発明に係る機器、装置の機能チェック装置の音声判定を図３８ないし図４０に基づいて説明する。本例では、ＤＴＭＦ判定（図３８）、ＢＴ／ＲＢＴ判定（図３９）、メロディ判定（図４０）の３つの判定を行う。
【０１２６】
まず、ＤＴＭＦ判定を、図３８に基づいて説明する。
ＤＴＭＦ（Ｄｕａｌ Ｔｏｎｅ Ｍｕｌｔｉ Ｆｒｅｑｕｅｎｃｙ）は、電話のボタン（０〜９、＊、＃）ごとに割り当てられている、２種類の周波数からなる音声信号である。ＤＴＭＦ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＤＴＭＦ番号（０〜９、＊、＃）と一致するかどうかを判定する。
【０１２７】
ＤＴＭＦ音は、それぞれ予め定められた固有の周波数の組合せであるため期待値として利用するのは各ＤＴＭＦの周波数情報であり、期待値としての音データは保持しない。各番号に対応する周波数情報は、図４１に示す通りである。
【０１２８】
以下に判定の手順を示す。
まず、押しボタンを操作し（Ｓ２１１）実測値の中で最大音量を記録している周波数を２点取得して（Ｓ２１２）、この値を期待値ＷＡＶＥファイルを読み込む。
【０１２９】
次に、読み込んだＷＡＶＥデータをＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）にかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２１３）。すると、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる。
【０１３０】
次に取得した音量データを、ＤＴＭＦの周波数帯域が記録されていると思われる帯域を低域と高域の２つ（６５０Ｈｚ〜９７０Ｈｚ、１１５０Ｈｚ〜１５００Ｈｚ）に分ける（Ｓ２１４）。この２つに分けた帯域から、それぞれ最も大きい音量レベルが記録されているデータを１点取得する（Ｓ２１４）。この２つのデータをＤＴＭＦ音の実測値の周波数とする。
【０１３１】
さらに、期待値として指定されているＤＴＭＦ番号の周波数（２点）と、実測値から割り出された周波数（２点）の低域同士と高域同士でそれぞれ比較し（Ｓ２１６）、固定の許容誤差範囲（±２０Ｈｚ）内であれば一致していると判定する（Ｓ２１７、Ｓ２１８）。この許容誤差外であるときは不良であると判定する（Ｓ２１９）。次に、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）判定を図３７に基づいて説明する。ここで、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）とは、それぞれ以下の意味を持つ。即ち、ＢＴ（ビジートーン）は、電話の話中状態を表す音声信号（プーッ・プーッという音）（・は無音）であり、ＲＢＴ（リングバックトーン）は、電話の呼び出し状態を表す音声信号（プルルルル・プルルルルという音）である前記の「プーッ」、もしくは「プルルルル」の部分をＯＮデータと呼び、「・」の部分をＯＦＦデータと呼ぶ。
【０１３２】
ＢＴ／ＲＢＴ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＢＴ、もしくはＲＢＴと一致するかどうかを判定する。
【０１３３】
ＲＢＴ、ＢＴにはそれぞれ特有の鳴動パターン（ＯＦＦデータとＯＮデータの間欠パターン）があるため、そのパターンを数値化したものを期待値として利用する。よってこの処理で利用する音データは実測値のみとなる。
【０１３４】
以下に判定の具体的な手順を示す。
まず、押しボタンを操作して（Ｓ２２１）鳴動音を取得する（Ｓ２２２）し、期待値ＷＡＶＥファイルを読み込む。次に、読み込んだＷＡＶＥデータをＦＦＴにかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２２３）。この処理で、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる（Ｓ２２４）。
【０１３５】
次に、音量データ配列の内容がＢＴ／ＲＢＴの周波数帯域（４００Ｈｚ±２０Ｈｚ）と一致するかどうか調べる（Ｓ２２５）。所定の許容誤差範囲内で一致する場合はＯＮデータであると判断し、そうでない場合はＯＦＦデータであると判断する。これを時間軸に沿って調べて、ＯＮデータとＯＦＦデータの数を算出した鳴動パターン配列を取得する。
【０１３６】
次に、期待パターンと取得した鳴動パターンを比較する。これには、まず実測パターンの有効部分を認識する。このとき、実測値の最初にＯＦＦデータが含まれている場合はその部分を切り捨てて、ＯＮデータから始まる部分をデータの有効部分とみなす。
【０１３７】
そして、期待パターンと実測パターンを、実測パターンの有効部分から時間軸に沿って比較する。それぞれの鳴動間隔ごとのＯＮ／ＯＦＦデータの要素数の差が指定の誤差範囲未満であれば、その位置は指定トーンのパターンの一部であるとみなす。
【０１３８】
そして、期待パターンと同じパターンが一定範囲持続している場合に、一致していると判定し、そうでない場合は不一致とする。
【０１３９】
次に、図３８に基づいて、メロディ判定の説明をする。本例でメロディとは、前述のＤＴＭＦ、ＢＴ／ＲＢＴ以外の、音階変化のある音データのことをいうものとする。
【０１４０】
メロディ判定では、マイクで収音した実測値を解析し、実測値に含まれる。音データが、期待値として指定されている音データと内容がどれくらい一致しているかということを一致率で表す。
【０１４１】
一致率を求める処理、及び一致率を求めるためのデータ生成には、一般に使用される音声ライブラリ（例えば、Ａｎｉｍｏ社のＶｏｉｃｅＢａｓｅＩＩライブラリ）を用いる。判定結果の合否は、システムの既定値またはユーザの設定した一致率閾値を判定処理で取得した一致率の値が上回るかどうかで合否判定を行う。
【０１４２】
この処理で利用する音データは期待値、及び実測値の２つとなる。まず、期待値と実測値とをもとに、それぞれの処理データを取得する。即ち、期待値、実測値のＷＡＶＥファイルを読み込む（Ｓ２３１）。次に、無音区間検出（音声ライブラリ使用）を行い、有効データの開始位置を取得する（Ｓ２３２）。このとき、期待値と実測値の有効データ長をもとに、処理データの単位（１フレーム）ごとのデータ量を決める。
【０１４３】
次に、処理データを窓関数（音声ライブラリ）にかけ、ＦＦＴフィルタバンク分析（音声ライブラリ）を行い、マッチング処理用の処理データを取得する（Ｓ２３３）。次に、ＤＰ法（音声ライブラリ）による期待値と実測値の比較処理を行い、比較結果の距離データを取得する（Ｓ２３４）。そして、取得した距離データから一致率を算出する（Ｓ２３６）。
【０１４４】
さらに、算出された一致率が、指定の一致率閾値よりも大きい場合に一致していると判定し、閾値未満の場合不一致と判定する（Ｓ２３６〜Ｓ２３８）。
【０１４５】
これらの処理を予め定めたメロディについて行い音声判定処理は終了する。
【実施例２】
【０１４６】
次にＰＤＡ１に対する自動テストを図４２〜図４４を参照しつつ説明する。
上述した携帯電話の場合と同様に、まず環境設定として、ロボット１０のレリーズ６が押すタッチパネル（ＬＣＤパネル３）に表示されているボタン５やハードウェアとしてボタン５等の位置のティーチング、カメラから撮影する画面の設定、ボタン表示位置の設定を行う。評価機の設定を切り替えて複数の機種を扱うことが可能でる点も同様である。次にコンピュータ８付属のマウス８ａの操作でタッチパネルに表示されているボタン５やハードウェアとしてボタン５の擬似的操作を行う。すなわち、図４３に示すような擬似画面上をマウスクリックすると、ロボット１０のレリーズ６がその位置まで移動し、実際に検査対象機であるＰＤＡのタッチパネルを押下する。例えばロボットがアイコンを探して押下するので、ポップアップメニューのようにタッチパネル上のボタンの位置が毎回変わる場合でも大丈夫であり、押下位置を画像で登録することでボタンの表示位置が変わっても、それを認識してロボットが押すことができる。コンピュータ８は、上述のようなマウスクリックや擬似動作、実動作でシナリオ作成する。具体的には、これも上述のように、テスト手順をテストシナリオというスクリプトに記述する。高度な分岐・条件文もマウスクリックで簡単に記述することが可能である。すなわち、擬似画面上でボタンを操作すると自動でシナリオが書き込まれる。そして、シナリオに従ってロボット１０が評価機１を操作し、カメラ４で画像を撮影する。操作内容や画像は全てデータベースに登録される。
【０１４７】
ついで画像の判定を行う。これは、静止画判定、ＯＣＲ判定、ＳＥＡＲＣＨ判定、動画判定、音声判定など自動で判定を行う。「と」、「ｉ」、「ｊ」など、微妙な違いも確実に判定できることが望ましい。そして結果確認を行い、テスト結果一覧からすぐに不具合箇所を見つけ、結果報告として、必要な情報を、テスト結果をＣＳＶファイル出力機能や印刷機能を利用して、簡単に出力すればよい。
【０１４８】
なお、既に述べたプランジャーユニットや、ＸＹタイプのロボットは、評価対象機器としては最も多く利用されるものとなっているが、プランジャーユニットタイプのロボットを使用すると、同時押し、早押し、開閉、背面液晶のテストが行える。一方、ＸＹタイプのロボットを使うと評価機器が変わっても簡単に取り外し、固定ができ、機体のタイプの変更がある場合にもすぐに対応できる。
【実施例３】
【０１４９】
次に評価対象機器をカーナビ、カーオーディオとした実施例を図４４を参照して説明する。使用するロボットのタイプは、６軸ロボット２００（図４４Ａ）とプランジャーユニット２０（図４５Ｂ）が考えられるが、いずれを用いてもタッチパネル３の操作はもちろんのこと、ダイヤル２０２をつまんで回すこともできるので（プランジャーユニット２０については機構の図示を省略してあるが、簡単な構造のアダプタ２０４を用いることで可能となる）、ボリュームの調整も可能である。三次元操作で画面が傾いていても正面から画面を押すことが可能である。
【０１５０】
また６軸ロボット２００を用いれば、ＣＤチェンジャー２０６の操作（図４４Ｃ）も可能である。評価対象機器のテストと併せてＣＤ２０８の出し入れを自動で行うことができる。テスト対象機器がカーナビ２１０の場合のＣＤ２０８やＤＶＤ２１２の出し入れを６軸ロボット２００が自動で行い、ＣＤチェンジャー２０６やカーナビ２１０自体もコンピュータ８から制御できる。
【０１５１】
なお、車関連の検査としては、図４６に示すように電源の制御が行える。低電圧状態やイグニッションをＯＮにしたときの電圧状態など、ＱＣからプログラマブル電源を操作することにより、電圧状態を変えたテストができる。図示の例では、供給電圧９．５Ｖでディスプレイの表示に問題が無く、供給電圧７．５Ｖでディスプレイの一部の表示が消えた（図中矢印Ｘで示す部分）例を示す。
【０１５２】
また、図４７に示すように、ＣＡＮシミュレータ３００との連携もなし得る。すなわち、ＣＡＮインターフェースを持つ車載機器の開発、検証時に広く使用されているＣＡＮシミュレータ（商品名：ＣＡＮｏｅ）との連携テストが行える。コンピュータ８側でＣＡＮシミュレータを制御することにより、ＣＡＮの環境を変更させながら実機を操作するといった連携試験を行える。
【０１５３】
また話し言葉判定にも使用できる。すなわち、人の話し言葉を認識して自動判定を行い、これによって、カーナビの音声案内や、外国語対応した組込み機器のマルチランゲージ試験の自動化を実現可能とするのである。図４８の例では音声案内などをマイク３０２で録音し、録音した音あるいは音声が期待値の波形と同じものであるか否かを判定している。
【実施例４】
【０１５４】
なお、以上の説明で検査対象機器としてきたタッチパネル等がＲＧＢ入力で出力する画像データをそのまま取り込むことができる。歪みのない高い解像度の画像を取り込むことができるので、画像判定も高い精度で行うことができ、大きなディスプレイを搭載している機器にも対応可能となる（図４９参照）。またプログラマブル表示器ではタッチパネル３を操作するだけでなく、各種ＰＬＣ３ｂと連携稼動し、より実際の環境に近いテストを実行することもできる（図５０参照）。さらに、タッチパネル３の画面３ａ上に表示された文字をカメラ４で撮影した画像を基に、ＯＣＲにより文字認識を行い、見つけ出した文字の座標位置にロボットのアームやプランジャーを誘導することもできる（図５１参照）。図示の例では、実測画像（図５１Ａ）中の「証明書」という文字列を認識し、タッチパネル３の画面上で文字列に対応する位置において実際にロボットがアームやプランジャーを作動させるのである。
【実施例５】
【０１５５】
さらに本発明は、図５２に示すように、赤外線リモコン操作を行えるデジタル家電機器４００に対して本実施例装置が赤外線信号を制御するように構成できる。図中４０１はコントローラ、４０２は赤外線発信器である。すなわち、通常使用する赤外線リモコンに代わって本実施例装置が赤外線信号を制御する。学習リモコン機能を有するコントローラ４０１に赤外線信号を登録しておくことで、学習リモコンと同じ操作が可能となる。本実施例装置のモニタ９の画面上で学習リモコンと同じ操作を行うと、コントローラ４０１を介してそれに対応する赤外線信号が赤外線発信器４０２から出力される。そして、赤外線入力に応じて変化する画面の内容をカメラ又はＲＧＢ入力で取り込めば上述のような機器、装置の機能チェック用のシステムを構成できる。また図５２の例の変形例になるが、例えば図５３に示すように、物理的に操作するプランジャーユニット７とコントローラ４０１と赤外線発信器４０２による赤外線制御を合体させることで、ＤＶＤデッキのようなデジタル家電機器４００を赤外線信号で操作しつつ、実機についているボタンをプランジャーユニット７のレリーズ６で押すといった試験を自動化することができる。
【実施例６】
【０１５６】
図５４は操作内容がそのままテストシナリオになる機能を有する赤外線リモコン５００とそのディスプレイ内容の一例を示す。赤外線リモコン５００のボタン５０１を押すと、例えば「ボタンを押す」というコマンドがシナリオに記述されるようにして実現できる。
【実施例７】
【０１５７】
また本発明の実施例装置は、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの自動評価に使用できる。図５５はそのような実施例を示す。このような構成とすることにより、例えばＷｉｎｄｏｗｓ（登録商標）をインストールしたパソコン６００のマウスやキーボード６０１のような入力機器からの入力を擬似的に自動操作することができ、また他のマニピュレーターと同時に使用することができるので、ＸＹロボット１０で携帯電話を操作しながらＰＣとの連携試験を行うといったことが可能となる。
【０１５８】
図５５、図５６を用い、Ｗｉｎｄｏｗｓ（登録商標）をインストールしたパソコン（以下クライアントＰＣという）６００を用いて行うアプリケーションの連携試験の流れを説明する。
まず、本発明実施例装置でクライアントＰＣ６００を操作する。本発明実施例装置のモニタ９のディスプレイに、クライアントＰＣ６００のデスクトップ画面を擬似画面として表示させる。この擬似画面を本発明実施例装置側のキーボード８ａやマウス８ｂで操作すると、同時にクライアントＰＣ６００が操作されます。操作内容は自動的にシナリオとして入力される（図５６Ａ）。
【０１５９】
次にロボット１０とクライアントＰＣ６００の両方を操作する。図５６（Ｂ）に示すように、画面を切り替えることでロボット１０とクライアントＰＣ６００の両方の擬似画面を操作でき、ロボット１０の操作とクライアントＰＣ６００の操作を組み合わせることで、例えばクライアントＰＣ６００から携帯電話１を操作して音楽検索をするなど、クライアントＰＣ６００とテスト対象機器である携帯電話１を連動させたテストを行う。そして、図示は省略するが、テスト結果をデータベースに保存し、期待値と実測値を自動で比較・判定する。評価対象機器である例えば携帯電話１側とクライアントＰＣ６００側の両方の画像が判定される。判定結果は例えばデータベースに保存すればよい。
【実施例８】
【０１６０】
また本発明実施例装置は、図５７（Ａ）に示すように、１台の本発明装置と１台のロボット１０を対応させて制御することも、図５７（Ｂ）に示すように、１台の本発明装置で２台のロボット１０、２０を制御することも可能である。２台のロボット１０の制御を予め作成した１本のシナリオで行えば、シナリオの維持管理の手間が軽減さ、また、制御に使用するコンピュータ８が１台で済むので、導入コストも低減できる。なお図示のように、ロボットは異なる機種でも、同一機種でも、いずれでもよい。
【実施例９】
【０１６１】
図５８に示すように、本発明では、携帯電話１等の検査対象機器又は検査対象装置に対して使用される組込みシステム向けの開発支援を行うＣＡＳＥツール（例えばＺＩＰＣ：商品名）で作成した状態が変化する事象に基づいて少なくとも擬似入力手段を協調動作させ、この協調動作に基づいて、検査対象である携帯電話１等に対する擬似入力の手順を作成する構成も可能である。
【実施例１０】
【０１６２】
以上説明してきた実施例は、期待値画像と実行画像が一致するかどうか等についてのものであったが、本実施例は、期待値画像と実行画像が一致していないこと、換言すれば表出しては困る、あるいは表出することが有り得ない画像を、期待値画像との比較の上で検出しようとするものであり、例えばソフトウェアのバグによる画像、車両運転時のギヤチェンジ等によるメカニカルな動作に起因するノイズによってカーナビ機器の画面に生じるノイズ画像等々の誤表示を、期待値画像と比較して検出するという、先の実施例１〜９とは逆のアプローチによる機器、装置の機能チェック装置の実施例である。基本的な構成や、使用するソフトウェアについては先の実施例のものとほぼ同様であるので、説明を省略し、短時間の誤表示検出のロジックについて説明する。
【０１６３】
本実施例では、短時間の誤表示検出については、静止画リアルタイム判定を行う。その処理、ロジックについて説明する。ただし、上述してきた静止画判定機能では上述の短時間の誤表示検出に対応できない可能性がある。すなわち、短い時間で遷移していく画面表示の変化を捉えることが無理な場合がある。このような短時間遷移画面が生じる状況を捉えるためには、静止画判定の実行間隔を短くすれば可能であるが、静止画判定処理が、画像を１枚撮影する度に撮影画像をファイル保存し、かつ本発明実施例装置の試験結果を記録するデータベースに登録するという処理を行うため、一度の静止画撮影に掛かる時間が最短でも６００ミリ秒程度掛かる。このため、２００ミリ秒程度しか表示されないような短時間の誤表示画面を確実に撮影し、判定することは上述してきたような実施例の処理では不可能である。
【０１６４】
そこで本実施例では、この問題を解決するために、静止画リアルタイム判定の機能を用いる。この処理の概要としては、期待値画像３枚を用いた静止画判定を行い、一定時間、静止画を連続で撮り続けて、画像取得毎に静止画を取得し、２枚の期待値との比較判定処理を行い、判定結果を得る。
【０１６５】
処理の詳細としては、
（１）遷移前（Ａ）、遷移中（Ｂ）、遷移後（Ｃ）の画像３枚を期待値群として設定する（図５９参照）。
（２）画像は静止画の連続取得とし、取得時に即座に判定を行う。
（３）処理の高速化のために、取得画像の逐次ファイル保存を行わずに、オンメモリにて画像データを扱う。
（４）処理の流れは以下の通りである。
期待値Ａ、Ｂ、Ｃを取得画像と比較するが、取得画像と比較する期待値は画面遷移の時系列に従って行う。つまり、画面遷移の順番は、Ａ→Ｂ→Ｃとなる前提で、以下に説明するフローでの判断を行う。
【０１６６】
すなわち、
（１）判定開始後、
（２）取得画像が期待値Ａと同じか否か判定し、
（３）期待値Ａの画像を得た場合、次以降は期待値Ａもしくは期待値Ｂかを判定し、
（４）期待値Ｂの画像を得た場合、次以降は期待値Ｂもしくは期待値Ｃか判定し、
（５）期待値Ｃの画像を得た場合、期待値Ｃがどれくらい連続したかを判定し、その後、
（６）判定を終了する。
【０１６７】
上記処理フローに沿うと、取得画像と比較する期待値は、各段階において最小で１枚、最大２枚となる。仮に期待値画像が３枚を超える場合であっても、１枚の取得画像と比較する期待値は「現在の画像」と「その次に遷移する画像」となり、常にその２枚で良いこととなる。
【０１６８】
そして、各段階で取得画像（例えば図６０参照）の内容が、期待値２枚のいずれでも無いという判定結果が発生した場合、何コマ分続いたかを計測する。この計測値が、判定の閾値として設定したコマ数に達したならば、判定結果をＮＧとする。これは正常表示でない（誤表示）と推測される画像のコマ数が、どれくらい連続して表示されたかに着目する判定となる。正常な画面遷移の場合、表示を期待値Ａ→期待値Ｂと書き換える経過において、明らかな誤表示と人間が認識するには相応のコマ数（表示時間）が必要になる。逆に表示時間が極端に短い場合は許容範囲内とする考え方に基づく判定となる。
【０１６９】
次に判定処理の終了条件は、期待値Ｃが表示されている回数（継続回数）を設定し、期待値Ｃを得る前にＮＧ条件に達していないこと、さらに継続回数に達した状態で判定ＯＫとし、判定処理を終了する。また、処理の永久ループを防ぐために、タイムアウトを別途設け、タイムアウトに達した場合は判定ＮＧとみなす。
【０１７０】
以下に判定フローの一例を示す。なおＡ、Ｂ、Ｃはそれぞれ上述の期待値である。
判定開始→Ａ→Ａ→Ａ＋Ｂ？→Ａ＋Ｂ？→Ａ＋Ｂ？→Ｂ→Ｂ→Ｂ→Ｂ＋Ｃ？→Ｂ＋Ｃ？→Ｃ→Ｃ→Ｃ→Ｃ→判定終了
ここで、上記フローにおいて、Ａ＋Ｂ？、Ｂ＋Ｃ？は３枚の期待値のいずれにも合致しないＮＧ画像（例えば図６０に示したような画像等）を表す。この場合、闇値が３に設定されていた場合は判定ＮＧを確定する。ここで闇値が４に設定されていた場合は判定を保留して処理を続行する。かつ、期待値Ｃの継続回数が４に設定されていた場合に判定終了とし、判定結果をＯＫとする。
【０１７１】
上述のような処理で得たデータの保存について説明する。
先に説明した実施例では、取得画像は逐一結果データベースに保存する仕組みとしていたが、本実施例の判定処理においては、より高速な画像取得動作を必要とするため、取得画像をデータベースに保存せず、一連の処理が終わった後にコンピュータ内の指定のフォルダにファイルとして保存する。その代わり、取得画像を保存したフォルダのパス、および判定処理結果（ＯＫ／ＮＧ）のみをデータベースに保存する。これにより、データベースに保存するのに掛かる時間を大幅に軽減できる。
【０１７２】
なお、画像の取り込みには、ＲＧＢ入力のフレームグラバーを使用することが好ましい。これにより、
（１）毎秒最大３０フレームの取込による、取りこぼしの低減、
（２）カメラ取込ならではの歪み補正、位置補正を省くことによる処理速度向上、
の点で高速動作が見込めるためである。
【０１７３】
またなお、ＮＧ画像と判定、認識した後、処理動作を続行するか否かは使用者が設定できるようにしておくことが好ましいが、自動的に停止する、あるいは強制的に処理を最後まで続行する等々種々適当な処理の形態を採用すればよい。また、画像をＮＧと判定するかどうかの基準については、検査機器対象によっても種々基準が考えられるので、これも最適なものを検討、採用すればよく、説明し、図示した例には限定されない。
【実施例１１】
【０１７４】
次に、期待値画像２枚を用いた静止画判定を行う実施例に付いて説明する。本実施例では、一定時間静止画を連続で撮り続けて、画像取得のタイミング毎に静止画を取得し、２枚の期待値との比較判定の処理を行い、判定結果を得る。
【０１７５】
処理の詳細としては、
（１）遷移前（Ａ）、遷移後（Ｂ）の画像２枚を期待値として設定する（例えば図５９と同様の画像Ａ、Ｂを設定したとする）。
（２）画像は静止画の連続取得とし、取得時に即座に判定を行う。
（３）画像Ａ、Ｂを取得画像と比較し、２枚のいずれでも無い判定結果が何フレーム続いたかでＮＧ判定する。
（４）処理の流れは以下の通りである。
すなわち、誤表示の時間がどれくらい続いているかに着目する。
例えば画像の遷移が、
Ａ→Ａ→Ａ＋Ｂ？→Ａ＋Ｂ？→Ａ＋Ｂ？→Ｂ→Ｂ→Ｂ→Ｂ
であった場合（Ａ＋Ｂ？は期待値のいずれにも合致しない画像を表す点は先の実施例と同じである。）、判定処理の終了条件は、画像Ｂが表示されている回報（継続的数）を設定し、その回数に達した状態で画像の取得及び判定処理を終了する。永久ループを防ぐために、さらにタイムアウトを設けても良いと思われる。
【０１７６】
上述のような処理で得たデータの保存について説明する。
先の実施例と同様に、高速な画像取得動作を必要とするため、取得画像をデータベースに保存せず、一連の処理が終わった後にコンピュータ内の指定のフオルダに実測値ファイルを保存し、データベースに保存するのに掛かる時間を無くす。
【０１７７】
上述のような処理のためのシナリオの記述について説明する。まず、画像取得／判定動作の呼び出しは例えばこの種の処理に用いられるＰＩＣ／ＳＴＩＬＬコマンド等を使用せずに、すなわち基本コマンドで実行するのではなく、専用のプラグインコマンドを新規に追加することで対処することもできる。すなわち、プラグインコマンド経由で擬似画面に処理要求を通知する方式とすることもできる。また、判定結果も処理要求同様プラグインコマンドを使用することができる。その場合、プラグインコマンドの戻り値で判定結果を取得し、その結果をデータベースに書き込むことで合否判定の結果を残すようにすることもできる。また、実測値画像を保存したフオルダのパスも処理結果同様プラグインコマンドで取得し、内容をデータベースに記録するようにすることが可能である。
【０１７８】
最後に判定結果の参照について説明する。上述のように、基本コマンドあるいはプラグインコマンドで得た、保存したフオルダのパス情報を結果画面の変数ビューアで参照し、そこからエクスプローラ等を起動し、実測画像の経過を参照すればよい。
【０１７９】
なお、画像の取り込みには、ＲＧＢ入力のフレームグラバーを使用することが好ましいこと等は先の実施例と同様であるので説明を省略する。
【０１８０】
本発明は、以上説明してきたようなものであるが、外部からの物品接触による入力は、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象とすることができる。
【０１８１】
また、適宜の自由度（例えば、３軸、６軸）を有するロボットを用いて複数のボタンを順次または同時に押下するようにすることができる。特に多軸のロボットを使用した場合には、立体的に配置されたボタン、つまみを的確に操作することができる。
【０１８２】
さらに、擬似入力手段としては、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力前記外部入力である場合には、これらに対応する出力をなすことが簡単にできるようになる。
【０１８３】
そして、検査対象機器が携帯電話やカーナビの場合の試験には、外部に接続されたプログマブル電源、電波発生器、シグナルジェネレータ、測定器などの機器やこれらのコントロールソフトと接続した環境でテストをする場合があるが、本発明では、外部機器制御の機能として、シナリオの中にこれら外部機器への制御用命令文を記述することにより、それぞれの機器の制御を行う外部制御モジュールソフトと交信を行い、連携した試験を行える。この場合、外部制御モジュールは、接続機器ごとに用意し、本システムときめられたプロトコルにより、通信を行って外部制御モジュールより外部機器を制御し、または値を得て本発明のシステムに渡すこととなる。
【産業上の利用可能性】
【０１８４】
本発明では、携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等において適用できる。
【図面の簡単な説明】
【０１８５】
【図１】本発明に係る機器、装置の機能チェック装置の一実施例を概念的に示す斜視図
【図２】検査対象機器を携帯電話とした場合に使用するアダプタユニットとレリーズに代わるプランジャーを多数備えたプランジャーユニットを示す斜視図
【図３】携帯電話を保持するためのアダプタユニットの変形例を概念的に示す斜視図
【図４】携帯電話を保持するためのアダプタユニットの変形例を概念的に示す斜視図
【図５】カメラ等を装備するためのベースユニットの側面図
【図６】レリーズの構造を示す側面図
【図７】モニタにメイン画面として表示させる画面の内容を示す図
【図８】メイン画面上でのキーボタンの範囲指定を示す図
【図９】携帯電話情報設定画面を示す図
【図１０】ボタン情報設定画面を示す図
【図１１】ボタン情報一覧画面を示す図
【図１２】キーボタンの情報設定でのレリーズの番号入力例を示す図
【図１３】リセットボタンの設定画面を示す図
【図１４】機種ファイルの編集画面の図
【図１５】モニタに表示させるＬＣＤパネル画面の調整画面を示す図
【図１６】補正後画像の確認画面を示す図
【図１７】キャリブレーションシートを示す図
【図１８】歪み具合取得ウィザード画面の図
【図１９】シナリオ作成編集画面を示す図
【図２０】シナリオを複数呼び出した例を示す図
【図２１】期待値設定タブの内容を示す図
【図２２】ボタン対応表を示す図
【図２３】実行画面を示す図
【図２４】エラーレポートを示す図
【図２５】本発明に係る携帯電話の検査装置の一実施例の画像判定処理動作を示すフローチャート
【図２６】同音声判定処理動作を示すフローチャート
【図２７】同静止画像判定処理動作中の閾値決定処理を示す図
【図２８】同静止画像判定処理動作中の明るさ補正処理を示す図
【図２９】同静止画像判定処理動作の一例を示す図
【図３０】同静止画像判定処理動作中の領域特定処理を示す図
【図３１】同静止画像判定処理動作を示すフローチャート
【図３２】同動画像判定処理動作を示すフローチャート
【図３３】同動画像判定処理動作の一例を示す図
【図３４】同動画像判定処理動作の一例を示す図
【図３５】同動画像判定処理動作の一例を示す図
【図３６】同動画像判定処理動作の一例を示す図
【図３７】同動画像判定処理動作の一例を示す図
【図３８】同ＤＴＭ音判定処理動作を示すフローチャート
【図３９】同ＢＴ／ＲＢＴ音判定処理動作を示すフローチャート
【図４０】同メロディ判定処理動作を示すフローチャート
【図４１】ＤＴＭＦ番号に対応する周波数情報を示す図
【図４２】ＰＤＡに対する自動テストに用いるロボットと、そのロボットの動作を示す図示す図
【図４３】同テストの流れを示す図
【図４４】同テスト結果の判定を示す図
【図４５】評価対象機器をカーナビ、カーオーディオとした例を示す図
【図４６】車関連の検査として電源の制御例を示す図
【図４７】同ＣＡＮシミュレータとの連携例を示す図
【図４８】話し言葉の判定に用いた例を示す図
【図４９】タッチパネル等がＲＧＢ入力で出力する画像データを扱う例を示す図
【図５０】プログラマブル表示器との連携例を示す図
【図５１】ＯＣＲにより文字認識を行い、検出した文字の座標位置にロボットのアームやプランジャーを誘導する例を示す図
【図５２】赤外線リモコン操作を行えるデジタル家電機器を対象とした例を示す図
【図５３】図５２の例の変形例を示す図
【図５４】操作内容がそのままテストシナリオになる機能を有する赤外線リモコンの例を示す図
【図５５】Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの自動評価に使用する例を示す図
【図５６】Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの連携試験の流れを示す図
【図５７】１台の本発明装置で２台のロボットを制御する例を示す図
【図５８】組込みシステム向けの開発支援を行うＣＡＳＥツールとの連携例を示す図
【図５９】実施例１０で使用した遷移前（Ａ）、遷移中（Ｂ）、遷移後（Ｃ）の画像を示す図
【図６０】実施例１０でＮＧ画像と判定される画像の例を示す図
【符号の説明】
【０１８６】
１ 評価対象機（携帯電話、ＰＤＡ等）
２ アダプタユニット
３ ＬＣＤパネル
３ａ ＬＣＤパネルの画像
４ カメラ
５ 操作ボタン（キーボタン）
６ レリーズ
７ プランジャーユニット
８ コンピュータ
８ａ キーボード
８ｂ マウス
９ モニタ
１０ ロボット
１１ 表示部
１２ 操作部
プランジャーユニット２０
２１ アダプタユニットのベース板
２２ 傾斜板
２３ レリーズガイドパネル
２４ 側板
２５ 孔
２６ スピーカ
３０ ベースユニット
３１ ベースユニットのベース板
３２ マイク
３３ タワー部
３５ マイク
４０ キャリブレーションシート
５０ シナリオリストボックス
５１ コマンド設定タブ
５２ 情報設定部
５３ 期待値画像表示スペース
６１ レリーズのチューブ
６２ ピン
６３ 金属管部
６４ ネジヤマ
６５ ロックネジ
６６ 調節ネジ
８０ シナリオリストボックス
８１ 実行時指定部
８２ 実行状況表示部
８３ シナリオ一覧リストボックス
８４ カレントシナリオボックス
８５ 期待値画像表示部
８６ 実行ＬＣＤ画像表示部
１０１ 支持部材
１０１ａ ガイド支持部材
１０１ｂ 親スライダ
１０１ｃ 子スライダ
１０１ｄ 保持用支持部材
１０２ 携帯電話の蓋部
１０３ 弾性部材
２００ ６軸ロボット
２０２ ダイヤル
２０４ アダプタ
２０６ ＣＤチェンジャー
２０８ ＣＤ
２１０ カーナビ
２１２ ＤＶＤ
３００ ＣＡＮシミュレータ
３０２ マイク
４００ デジタル家電機器
４０１ コントローラ
４０２ 赤外線発信器
５００ 赤外線リモコン
５０１ ボタン
６００ パソコン
６０１ キーボード
【技術分野】
【０００１】
本発明は、携帯電話等の機器の操作ボタンや蓋の開閉機構が設計通りに機能するかどうかを判定するための機器、装置の機能チェック装置に関する。
【背景技術】
【０００２】
外部からの入力に対応して外部に対して表出させる形態や動作が変化する、例えば携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の機器には周知のように多数の操作ボタン、有線・無線の入力端子が設けられており、使用者は目的に応じて適宜これら操作ボタンを操作したり、信号を入力する。また、これらの機器、装置においては、ＬＣＤ等のいわゆるパネルディスプレイ（液晶を用いたものには限定されない）を用いた表示部と操作ボタン等を備えた操作部とをヒンジで連結して折り畳み式にしたものや、面表示装置自体が操作ボタン、スイッチを兼ねる機能を有するものが増えている。
【０００３】
これらのような機器や装置、例えば携帯電話やＰＨＳでは、単に電話をかけるためのダイアリングや、文字入力に用いられるだけでなく、電話機やコンピュータとしての種々の設定のためにも用いられるようになっているが、その設定には、例えばオートロック、通話料金表示、使用時間表示、着信音設定、使用者情報設定、使用言語設定等のように、かなり多様かつ複雑なことが可能になっている。また、表示部にタッチパネルを用いているものでは、ハードウェアの操作ボタンだけでなく、表示部にソフトウェアで表示した操作ボタンによっても上述のような操作を可能としている。
【０００４】
なお以下では、特にことわらなければ、単に操作ボタン等の操作対象物を記載する場合には、ハードウェアによるものだけでなく、ソフトウェアで表示した操作可能な部位をも含む。
【０００５】
上述のように、携帯電話やディスプレイ利用機器の製造者は、出荷前にハードウェアによる操作であれ、ソフトウェアにより表示させたものを用いての走査であれ、これらの設定操作、動作を不具合がなく行えるか否かを検査、判定、確認しておくことが求められるようになってきている。
【０００６】
本願発明者は、従来手作業に近い状態で行われていた携帯電話等の機器におけるこの種の判定、確認作業を機械的にかつシステマティックに行える発明を提案した（特許文献１、２参照）。
【０００７】
【特許文献１】特許第３７１４６６０号公報
【特許文献２】国際公開ＷＯ２００５／０７１９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した従来の発明をさらに改良させてなしたもので、携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の検査対象機器又は検査対象装置の設定動作の可否をほぼ自動的にかつ多機能にわたって判定できるようにした機器、装置の機能チェック装置を提供することを目的とする。
また、設計通りに期待される画像等の出力が得られるかどうかのみならず、期待していない画像等の出力が表出するか否かも判定できるようにした機器、装置の機能チェック装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の機器、装置の機能チェック装置は、上記目的を達成するために、外部からの入力に対応して外部に対して表出させる形態や動作が変化する出力手段を備えた一以上の検査対象機器又は検査対象装置をチェックするための機器、装置の機能チェック装置であり、前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態を擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックするための機器、装置の機能チェック装置において、前記外部からの入力に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加する擬似入力手段、該擬似入力手段による入力に応じて前記検査対象機器又は検査対象装置の前記出力手段が生じさせる前記チェック対象となる出力を検出するチェック対象出力検出手段、前記擬似入力手段による入力手順を指定可能な擬似入力手順設定手段、及び前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力と、前記擬似入力に対応する実際の入力による前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態の予想される期待値との整合性を確認する確認手段、とを備えることを特徴とする。
【００１０】
また、請求項２に係るものは、請求項１の機器、装置の機能チェック装置において、前記擬似入力手段を前記検査対象機器又は検査対象装置毎に配するとともに、前記確認手段を前記擬似入力手段が複数であっても共通化してなることを特徴とする。
【００１１】
また、請求項３に係るものは、請求項１または２の機器、装置の機能チェック装置において、前記確認手段は、前記整合性の確認にファジー制御による判定を行う手段を備えることを特徴とする。
【００１２】
また、請求項４に係るものは、請求項１ないし３のいずれかの機器、装置の機能チェック装置において、前記検査対象機器又は検査対象装置が有する表示手段に、前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力を表示させ、前記表示手段に表示された内容を認識し、ターゲットとする内容の位置に応じて前記擬似入力手段による擬似入力の前記検査対象機器又は検査対象装置への印加位置を可変させる認識手段を有することを特徴とする。
【００１３】
また、請求項５に係るものは、請求項１ないし４のいずれかの機器、装置の機能チェック装置において、前記擬似入力手段が、或る擬似入力の一の手順の実行中に、予め指定した周期ごと又は予め指定した順序で前記実行中の手順と異なる手順を実行可能であることを特徴とする。
【００１４】
また、請求項６に係るものは、請求項１ないし５のいずれかの機器、装置の機能チェック装置において、前記擬似入力手段が、音声入力手段と、該音声入力手段から入力された音声の内容を自動判定する音声判定手段を有し、該音声判定手段により前記外部からの入力事象に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加することを特徴とする。
【００１５】
また、請求項７に係るものは、請求項１ないし５のいずれかの機器、装置の機能チェック装置において、前記検査対象機器又は検査対象装置に対して使用される組込みシステム向けの開発支援を行うＣＡＳＥツールで作成した状態が変化する事象に基づいて少なくとも前記擬似入力手段を協調動作させる手段と、該少なくとも前記擬似入力手段による協調動作に基づいて、前記検査対象機器又は検査対象装置に対する前記擬似入力手段による入力手順を作成する手段を有することを特徴とする。
【００１６】
また、請求項８に係るものは、請求項４ないし７のいずれかの機器、装置の機能チェック装置において、前記検査対象機器又は検査対象装置が有する表示手段に表示された内容を撮像して画像を得る撮像手段と、該撮像手段に対して前記検査対象機器又は検査対象装置を所定状態にかつ交換可能に搭載するための搭載手段を有することを特徴とする。
【００１７】
また、請求項９に係るものは、請求項１ないし８のいずれかの機器、装置の機能チェック装置において、前記検査対象機器又は検査対象装置が、音声入力手段、画像信号入力手段、有線信号入力手段、電波、赤外線を含む電磁波による無線入力手段のいずれかを備えるものであることを特徴とする。
【００１８】
また、請求項１０に係るものは、請求項１ないし９のいずれかの機器、装置の機能チェック装置において、前記アダプタに、集音マイク及び／又はスピーカを搭載してなることを特徴とする。
【００１９】
また、請求項１１に係るものは、請求項１ないし１０のいずれかの機器、装置の機能チェック装置において、前記アダプタが、搭載した前記検査対象機器又は検査対象装置の少なくとも被操作部位を覆うとともに、前記擬似入力手段による入力を許す穴又は開口を有することを特徴とする。
【００２０】
また、請求項１２に係るものは、請求項７ないし１１のいずれかの機器、装置の機能チェック装置において、前記撮像手段が、静止画及び／又は動画を得るためのものであることを特徴とする。
【００２１】
また、請求項１３に係るものは、請求項７ないし１２のいずれかの機器、装置の機能チェック装置において、前記搭載手段が、複数の移動可能なあるいは位置固定の支持部材で前記検査対象機器又は検査対象装置を保持するために、着脱可能な弾性部材備えることを特徴とする。
【発明の効果】
【００２２】
本発明に係る機器、装置の機能チェック装置は、携帯電話やパネルディスプレイ装置等の検査対象機器、検査対象装置が種々の動作を設計通りに行えるかどうかをほぼ自動的に判定できかつ多機能な判定が行える。
【発明を実施するための最良の形態】
【００２３】
以下本発明を実施するための最良の形態について図面に示す実施例を参照して説明する。なお以下では携帯電話やＰＤＡ等を検査対象機器とする例について説明するが、既述の機器、装置、及びその他類似の構成を有する機器、装置についても本発明を適用できることは明らかであるので、そのような機器についての説明は省略する。
【００２４】
以下本発明の一実施例を説明する。なお、図示し説明する実施例は、外部からの物品接触による入力事象として、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力事象を変化させる出力手段を備えた機器を検査対象とする。
【００２５】
また、以下では、擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックする手段、すなわち、外部入力に対応する出力を前記機器に対して発生する擬似入力手段として複数の操作ボタンの一つを押下可能な押下手段を有するボタン操作手段を例としているが、これは適宜の自由度（例えば、３軸、６軸）を有するロボットで、複数のボタンを順次押下するものでも、多数のボタン操作手段を有するものでもいずれであってもよい。また図示の例のロボットには限定されず、さらには平面的に配設されたボタンを操作するものだけでなく、特に多軸のロボットを使用して、立体的に配置されたボタンやつまみを的確に操作することができるようにしたものも含み、いずれにしても図示の例のものには限定されない。
【００２６】
さらに、検査のための擬似入力を検査対象機器又は検査対象装置に対して印加する擬似入力手段は、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力前記外部入力である場合には、これらに対応する出力をなすものとすればよい。
【実施例１】
【００２７】
図１は、本発明に係る機器、装置の機能チェック装置の一実施例を概念的に示す斜視図である。本実施例装置は、判定、検査しようとする評価対象機（図示の例ではＰＤＡ）１を予め定めた状態にセットし、ＰＤＡ１の表示部であるＬＣＤパネル３を撮像し、ＬＣＤパネル３の画像を得るカメラ４、ＰＤＡ１のＬＣＤパネル３に表示される操作ボタン画像又はＰＤＡ１が備える機械的操作ボタン（以下では特に必要がないかぎりこれらを総称してキーボタンという。）５・・・の一つを、押し下げ可能なレリーズ６を押下手段として複数有するプランジャーユニット７により押し下げ、プランジャーユニット７の動作をコンピュータ８で制御するとともに、この動作制御に対応するＬＣＤパネル３の表示内容の可否を判断する等の制御を行う。図中９はモニタで、カメラ４で得たＬＣＤパネル３の画像やコンピュータ８からの信号に基づく画像の表示手段となる。なおコンピュータ８は、ハードウェアとしてはビデオキャプチャーボード、入出力用ボード、サウンドボード、イーサネット（登録商標）ボードあるいはこれらと同等構成品を備えるものとし、ソフトウェアとして、後述する携帯電話自動評価システムソフトならびにＯＳソフト、そして必要に応じてテキストエディタ、ワードプロセッサ、データベースソフト等を内蔵するものが好ましい。またキーボード、マウス、ネットワーク端子（端末対向テスト用）、プリンタ等をもシステム構成に含ませることができる。なお図中１０はプランジャーユニット７を駆動するためのロボットで、図示の例ではＸＹ軸移動タイプでレリーズ６も単一のものであるが、後述するように、レリーズ６に代わるプランジャーを多数備えたユニットも使用される。したがって、ロボット１０も図示のタイプのものに限定されず種々公知のロボットを採用できる。
【００２８】
図２は検査対象機器を携帯電話とした場合に使用するアダプタユニット２とレリーズ６に代わるプランジャーを多数備えたプランジャーユニット２０を示す斜視図である。携帯電話１は、図示の例では折り畳み型のもので、ＬＣＤパネル３を有する表示部１１と、キーボタン５を有する操作部１２とからなるが、検査対象となる携帯電話としてはこのタイプのものに限定されず、表示部１１と操作部１２に対してそれぞれ外側からアクセスできればストレートタイプのもの、フリップタイプのもの、等どのようなものでも対象とすることができる。なお本発明は、対象機器を携帯電話１に限るものではなく、ＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の機器であり、いくつかの操作ボタンが設けられていて、これらを操作するようになっているものであれば種々の機器に適用できる。
【００２９】
またアダプタユニット２は背面カメラ２ａを備えており、この背面カメラ２ａによって折りたたみ式の携帯電話１の背面（折りたたんだ状態では正面）に位置することになる図示しない液晶ディスプレイのテストも自動で行えるようになっている。
【００３０】
このアダプタユニット２は、折り畳み型の携帯電話１のＬＣＤパネル３の表面をカメラ４の光軸に対して垂直面をなすようにセットするためのベース部２１と、その状態でカメラ４の光軸に対して所定の角度をなす携帯電話１の操作部１２をセットできる傾斜部２２と、図示は省略するが、傾斜板２２との間に携帯電話１の操作部１２を挟んだ状態で並行またはほぼ並行にセットするレリーズガイドパネル２３、これらを支持する一対の側板等からなる。なおストレートタイプやフリップタイプの携帯電話等においては、図示の例のようにベース板２１と傾斜板２２に角度を付けて構成する必要がないことが多いので、アダプタユニット２の構成は図示の例に限定されず、対象機器の形状、構造に合わせて形成すればよい。なおレリーズガイドパネル２３は、評価対象とする携帯電話１の操作部１２のキーボタン５の数等に合わせてレリーズ６を挿入する孔を有するとともにかつ対象機器に合わせて交換できるようになっている。またレリーズガイドパネル２３には、携帯電話１のマイク（図示せず）に対応させた位置に孔（図示せず）を設け、この孔の位置にスピーカを取り付けできるようにしてある。
【００３１】
なお、既に述べたプランジャーユニットや、ＸＹタイプのロボットは、評価対象機器としては最も多く利用されるものとなっているが、プランジャーユニットタイプのロボットを使用すると、同時押し、早押し、開閉、背面液晶のテストが行える。一方、ＸＹタイプのロボットを使うと評価機器が変わっても簡単に取り外し、固定ができ、機体のタイプの変更がある場合にもすぐに対応できる。またなお、携帯電話の開閉センサーを利用して、擬似的に携帯電話を閉じた状態を作り出すことで開閉テストを行うこともできる。さらに、基地局シミュレータと連携することで、発呼、着呼、割り込み着信、電波受信状態変化、海外端末の検査も行える。
【００３２】
図３、図４は、携帯電話を保持するためのアダプタユニット２の変形例を概念的に示す斜視図であり、図３は、複数の移動可能なあるいは位置固定の支持部材１０１で、蓋部１０２を開いた携帯電話１を保持し、着脱可能なゴムヒモなどの弾性部材１０３でホールド性を高め、携帯電話１を押さえた状態を示している。
【００３３】
複数の支持部材１０１は、位置固定の一対のガイド支持部材１０１ａ、１０１ａと、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた二つの親スライダ１０１ｂ、１０１ｂと、それぞれの親スライダ１０１ｂ上にそれらの軸線方向で、すなわち親スライダ１０１ｂのスライド方向とは直角に交叉する方向でスライド可能に取り付けた子スライダ１０１ｃと、親スライダ１０１ｂと平行でかつ位置固定にガイド支持部材１０１ａ、１０１ａ間に設けた保持用支持部材１０１ｄから構成してあり、親スライダ１０１ｂが携帯電話１の底面を支持し、子スライダ１０１ｃが携帯電話１の側面を支え、保持用支持部材１０１ｄが携帯電話１の保持性を向上させる支持部材として構成してある。
【００３４】
なお、図示の実施例では、子スライダ１０１ｃを載せ得る親スライダ１０１ｂが２つしか設けていないが、例えばこれを４つに増やし、そのうち一つで携帯電話下部の高さを可変に支え、もう一つで携帯電話１の本体１ａではなく蓋部１０２のＬＣＤパネル３部分側の側部を押さえるものとする。残りの２つは図示の実施例と同じ役目をはたす構成とするとよい。
【００３５】
また子スライダ１０１ｃのスライド部品を付け替え得るようにし、以下の３種類を必要に応じて交換可能とすることもできる。
（１）携帯電話１の高さ方向とサイド方向の両方を押さえるもの（図示の実施例）
（２）携帯電話１のＬＣＤパネル３部分のサイドを押さえるもの（様々な高さのＬＣＤパネル３部分が考えられるので、それらに対応できるように、例えば１０ｃｍ程の高さのあるものにするとよい）
（３）携帯電話１の高さ方向のみを支えるもの（図示の実施例と同じ高さで、携帯電話１の特に本体部分１ａの側面に設けられるサイドボタンやケーブルの邪魔にならないような形状とすることが好ましい）
【００３６】
また上述のようなサイドボタンを押しても先端部品がぶつからないように、子スライダ１０１ｃの高さを例えば１．５ｃｍ程高くしても良い。
【００３７】
また子スライダ１０１ｃは、例えばノギスと同様の構造のものとすることができるが、その構造の場合、歯車を使用しているため携帯電話１を挟んだときに少しガタがあり、片方を固定しても反対側ががたついてしまうことがあり得る。サイドボタンを押した場合は少しのガタがカメラ画像などに影響するので、しっかりと携帯電話１の両サイドを固定する必要がある。例えば子スライダ１０１ｃをネジ止めしてその位置を固定する構造とすることができるが、一つのネジでは上述のようなガタを無くすことが難しい場合は、ネジ止めを２箇所で行ってもよい。
【００３８】
上述のように、子スライダ１０１ｃをガイド支持部材１０１ａ、１０１ａ間のセンターに合わせるためのテンションをかけるために、また携帯電話１のＬＣＤパネル３側が上がらないように、上からゴムヒモなどの弾性部材１０３で押さえつけるように固定しているが、弾性部材１０３は、子スライダ１０１ｂを構成する部品１０１ｂａに穴を開け、ここに弾性部材１０３に設けた球状等の部材を嵌入させて引っ掛ける。全ての子スライダ１０１ｃの部品にこの穴１０１ｂｂを空けておき、弾性部材１０３をどこにでも取り付けられるようにするとよい。なお図示の実施例ではゴムヒモなどの弾性部材１０３を用いているが、これに代えてバネを採用することもできる。
【００３９】
子スライダ１０１ｃの開く横幅は、戴置する携帯電話１が大きいものでも固定できるようすると、近年続々と発売されているＰＤＡタイプのものや、ターンタイプと称されてＬＣＤパネル３を有する表示部１１が横向きに回転するタイプ等のような種々のタイプのものにも対応できるようになる。
【００４０】
なお、固定用のネジにはＰＣのケースに使われているような、ドライバーを使わなくても締結が可能なネジを採用することが好ましい。また子スライダ１０１ｃの位置を変える場合には、ネジが完全に外れなくても緩めるだけで移動できるようにすることが好ましい。また、親スライダ１０１ｂに目盛を振るなどして、子スライダ１０１ｃを所定の位置に再度固定できるようにすることが望ましい。
【００４１】
さらに、携帯電話１の本体１ａの端部を抑える固定の支持部材１０１ｅ、１０１ｅは、携帯電話１のタイプ、具体的には端部形状、端部構造の違いに対応できるように、ベースにネジ止めする構造等としておいて、交換できるようにすることが好ましい。
【００４２】
図５はカメラ４等を装備するためのベースユニット３０の側面図である。このベースユニット３０は、ベース板３１と、カメラ４やマイク３２を搭載するためのタワー部３３とからなり、ベース板３１上にはピン等（図示を省略する）を設けてアダプタユニット２を位置決め搭載可能とし、タワー部３３には、光軸が垂直下方を向くようにかつ上下動可能にカメラ４を取り付けるとともに、携帯電話１のスピーカ１３に対応させてマイク３５を設けてある。なお、カメラ４の光軸はもちろん垂直下方以外の方向へ向けても良く、それに合わせてアダプタユニット２等の取り付け、配置形態を変えればよい。なお、カメラ４の位置を可変させる機構も備えているが説明を省略する。
【００４３】
既述のように、プランジャーユニット７は、レリーズ６を複数本、詳細には評価対象とする携帯電話１のキーボタン５の個数以上の本数を有し、これらを選択的に駆動できる装置である。駆動装置そのものは公知であるので説明は省略する。またレリーズ６は、図６に示すように、チューブ６１とその中を通したピン６２からなるいわゆるレリーズワイヤタイプのものであるが、図示のように、レリーズガイドパネル２３の孔２５への着脱が容易に行えるように、チューブ６１先端に設ける金属管部６３のネジヤマ６４を全長にわたらずに基部近傍のみ設けてある。なお基部にはロックネジ６５と調節ネジ６６とが設けてあり、ピン６２の飛び出し長さを調節できるようにしてある。ただしこのタイプのレリーズでは、ピン６２の飛び出し長さが長いほど確実にキーボタン５に届くようになるが押す力が弱くなる。なお、各ユニット、カメラ等の配線、駆動系、信号伝達系等々についての図示及び説明は省略する。
【００４４】
本実施例装置を、アダプタユニット２に載置した携帯電話１のキーボタン５に対してプランジャーユニット７の所望のレリーズ６を駆動してキーボタン５を押し下げ、この押し下げによって変化するＬＣＤパネル３をカメラ４により撮影し、所望のキーボタン５の押し下げに伴って設計、製造時に設定した通りの画像がＬＣＤパネル３に表れるか否か等を判定するものとして以下説明する。
【００４５】
図７は、モニタ９にメイン画面として表示させる画面の内容を示す図である。この画面は、カメラ４により撮影したＬＣＤパネル３の画像３ａと、例えばデジタルカメラ等で撮像して予め得ておいた判定、検査対象となる携帯電話１の全体平面画像１ａとを合成して示している。なお、
【００４６】
次に本実施例装置における評価の流れを説明する。
評価は、
（１）機種ファイル作成（ボタン設定、ＬＣＤ画面調整）
（２）シナリオ作成（設計書や仕様書（期待値画像とテスト項目）を用意して、シナリオを作成する）とデバッグ
（３）１回目の評価（実行、手動判定、画像入れ替え）
（４）２回目以降の評価（実行・自動判定）
という手順になる。
【００４７】
以下、本実施例装置における評価の手順等について詳細に説明するが、まず機種ファイル作成について説明する。
評価の開始に当たっては、最初に機種ファイルの新規作成を行い、携帯電話１の情報を設定する。機種ファイルとは、携帯電話１の個別情報をまとめたファイルであり、画像の調整や携帯電話１のキーボタン５とレリーズ６の対応を設定する。
【００４８】
即ち、予め用意しておいた評価対象携帯電話の画像ファイルを用い、モニタ画面に携帯電話１の全体画像を、もちろん表示部１１と操作部１２とが見えるように表示させ、これに組み合わせるＬＣＤパネル３に相当する画面を作成する。なお画像ファイルとしては、例えばビットマップ形式で、メイン画面に収まるぐらいの大きさのものを用意する。そして、判定に必要なキーボタン５の設定とレリーズ６の割り当てを行う。キーボタン５は一つずつ設定する。即ち、図８に示すようにメイン画面上で携帯電話１のキーボタン５を囲んで範囲を指定し、キーボタン５の個数分だけ名称とプランジャーユニット７のレリーズ６の番号を指定する。図９は携帯電話情報設定画面、図１０はボタン情報設定画面、図１１はボタン情報一覧画面、図１２はキーボタン５の情報設定でのレリーズ６の番号入力例を示す図である。
【００４９】
キーボタン５に対応するレリーズ６が、メイン画面上に作成したキーボタン５をクリックしたときに動作するかは、実際にプランジャーユニット７を動作させて確認する。例えばメイン画面での操作により作成したキーボタン５をクリックすると、そのキーボタン範囲が青くなるようにして、対応するプランジャーユニットのレリーズが携帯電話のボタンを押すかどうかをチェックする。既述の機種ファイル編集画面で動作確認を行うようにすることもできる。
【００５０】
図１３は、特殊操作手順設定である携帯電話を待ち受け画面に戻す操作（リセット）、携帯電話に供給されている電源から切り電源を投入する操作（強制リセット）、折り畳み式携帯電話の開閉動作ボタンの設定を行う画面を示す。なお折り畳み開閉動作の機能が使用できるのは、携帯電話１が折り畳み式であり、それにアダプタユニットとプランジャーユニットが対応しており、レリーズ６で例えば磁石を用いた開閉機構の操作ボタンを押せる場合であり、これにより実際には携帯電話１を開閉せずに（図示の実施例では既に開いてしまった状態で）検査、評価することができる。
【００５１】
以上のように設定してきた機種ファイルは、適宜の名称でコンピュータ８が内蔵しまたは外部手段として有する記憶媒体に保存する。この保存した機種ファイル、即ち作成済みの機種ファイルは修正できることはもちろんである。図１４は、機種ファイルの編集画面の図である。
【００５２】
図１５はモニタ９に表示させるＬＣＤパネル３画面の調整画面である。画像の調整は、必要があれば歪み補正データの取得、補正データに基づいた画像補正、補正後画像の微調整、の順に行う。また必要ならばＬＣＤ画面の大きさも調整する。図１５には、ＬＣＤ枠の設定部分、ＬＣＤオフセットの設定部分も示す。ＬＣＤ画面の調整画面での調整が終了し、必要があれば画像の補正を行い、補正後画像の台形補正を行う。図１６は、補正後画像の確認画面である。画像の色調や明るさ補正も行える。また補正後画像の微調整として、画像の台形補正を行え、基準となる画像をもとにＬＣＤ画面の大きさ、傾きの微調整を行う。
【００５３】
台形補正は、図１７に示すキャリブレーションシート４０を基準にカメラ４の焦点距離、歪み具合などのパラメータを求め、それを補正データとして画像を補正するものである。補正値を取得するには、携帯電話１にキャリブレーションシート４０を乗せてカメラ４で撮影し、メイン画面に表示されているキャリブレーションシート４０の画像の黒い四角、点がはっきり見えるようにする。ついでキャリブレーションシート４０を取り除いて携帯電話１のＬＣＤパネル３の画面を撮影する。図１８は歪み具合取得ウィザード画面の図である。歪み具合を取得する前に、まず携帯電話１のＬＣＤパネル３画面の大きさとして縦、横サイズの測定値を入力し、歪み具合取得ボタンを押して歪み具合の取得を開始し、補正後画像として表示する。
【００５４】
次にシナリオ作成について説明する。
【００５５】
図１９は、シナリオ作成編集画面を示す図である。この画面は、シナリオ表示用のシナリオリストボックス５０と、コマンド設定タブ５１・・により切り替え可能な画面となっている情報設定部５２からなる。
【００５６】
シナリオ作成には、まずキーボタン５の操作コマンドをシナリオリストボックス５０に入力する。次いでキーボタン５の押下条件を情報設定部５２で設定する。ここでは、複数押し（同時に複数のキーボタン５を押下するコマンド）、押下時間（携帯電話のボタンを押下する時間の設定、押下間隔（１つのコマンドが終わってから次の処理に移るまでの間隔）を設定する。評価環境番号ラジオボタンは、評価環境の番号の設定するもので、対向試験を行う設定で使用する。また折り畳み部開閉は、折り畳み式携帯電話の開閉動作ボタンの押下間隔を設定する。もちろん、この機能が使用できるのは、折り畳み式携帯電話のアダプタユニットと折り畳み式携帯電話の開閉動作ができるプランジャーユニットを用意した場合のみである。さらに、再生、制御、単体シナリオ呼び出し、リモートシナリオ呼び出し（対向試験で対向先のコンピュータでシナリオを実行させるコマンド）、待ち、繰り返し、停止、判定の各コマンドを設定する。判定コマンドは、画像の期待値を取得し、その場で判定（即時判定）を行い、判定結果によってシナリオ実行を続けたり停止したりするためのものである。なお取得した実測値の判定は後述する確認画面で行うが、この判定コマンドを用いると、その場で判定し、判定の結果が期待した通りでなければシナリオの実行を中断することができる。また一つのシナリオ内で別のシナリオを入れ子状に呼び出すことを可能とするシナリオ呼び出しコマンドも設定できる。図２０は、その複数呼び出した例を示す図である。
【００５７】
図２１は、期待値設定タブの内容を示す図である。この画面では、携帯電話１の反応を記録するコマンドを入力できる。記録できるのはＬＣＤパネル３の画面の画像と、マイク３５で録音した音声である。なお図中５３は期待値画像表示スペースである。
【００５８】
画像取得コマンドは、期待値画像を設定し、実際の画像と比較することでテストを行うためのものである。期待値画像には、例えばｊｐｇ、ｂｍｐ、ｅｍｆ等の形式のファイルを設定する。また実測値を記録するタイミングとして、記録を開始するタイミングを指定するとともに、画像指定、判定範囲設定を行う。一方、音声取得コマンドは、マイク３５で集音した音声を録音するもので、キーボタン５を押下した時の音（ＤＴＭＦ音）を確認画面で判定することができるようにするものである。
【００５９】
なお図１９の入力支援部は、名前や電話番号などのひらがな、数字、アルファベット、記号を携帯電話１で入力するシナリオを自動生成するための部位である。またこの部位のキーボタン情報ボタンを操作すると、図２２に示すボタン対応表が表示されるようになっており、文字入力に使用する携帯電話１のキーボタン５と、機種ファイルで登録したキー名の対応を設定できる。
【００６０】
そして、作成したシナリオが正しく動作するか否かをデバッグを行うことでチェックする。なおデバッグ画面は、後述する実行画面（図２３）と同様である。チェックの結果は、例えば図２４に示すようなエラーレポートとして出力する。
【００６１】
次にシナリオの実行について説明する。
【００６２】
図２３は実行画面を示す図である。この画面は、シナリオリストボックス８０、実行時指定部８１、実行状況表示部８２からなり、実行状況表示部８２は、シナリオ一覧リストボックス８３、カレントシナリオボックス８４、期待値画像表示部８５、実行ＬＣＤ画像表示部８６からなる。シナリオリストボックス８０には、実行中のシナリオあるいはこれから実行するシナリオの名称を表示する。実行時指定部８１は、キーボタン５の押し時間に関する設定を表示する部位、期待値を記録するタイミングの設定を表示する部位、停止レベルを表示する部位を含む。またシナリオ一覧リストボックス８３は、選択しているシナリオとシナリオ集を表示し、カレントシナリオボックス８４は、シナリオ一覧リストボックス８３で選択しているシナリオを表示する。期待値画像表示部８５は、画像取得コマンド実行時、期待値として設定されている画像を表示し、実行ＬＣＤ画像表示部８６は同じく撮影した携帯電話１のＬＣＤパネル３の画面を表示する。なお図２４はエラーレポートを示す図である。
【００６３】
上述のような携帯電話自動評価システムを２セット使用して対向試験を行うことができる。対向試験では、相手方システムのコンピュータとＬＡＮで接続し、接続した側のシステムで同じシナリオを自動的に実行する。即ち、２台の携帯電話自動評価システムの、片方をサーバーとし、他方をクライアントとして、サーバーがクライアントを制御する試験となる。そして、サーバー側でシナリオ実行をすると、サーバーがクライアント側のプランジャーユニット７を操作することで２台の携帯電話１を操作できる。したがって、別の携帯電話１に電話をかけて、かけられた携帯電話機で電話をうけるというような検査を行うことができる。
【００６４】
なお対向試験であるか否かにかかわらず、シナリオを自動実行させ得るが、途中での手動による一時停止、停止、再開が可能であり、シナリオをステップごとに実行させるステップ実行、途中から自動実行に切り替える半自動実行も設定できる。
【００６５】
またなお、現在実行中のシナリオに、指定した周期ごとに別のシナリオを実行させる、いわゆる割り込み処理を可能とすることによって、携帯電話を操作中にメールを受信するといった実際の使用状況に近い試験を自動的に行える。
【００６６】
ある携帯電話について１回目のシナリオを実行した後、確認（手動判定と画像入れ替え）を行う。即ち例えば一度手動で判定を行い、判定結果が良ければ画像を入れ替える。まず、画像を確認し、期待値画像と実行画像が一致するかどうかについてシナリオの全ステップを判定する。複数のシナリオを実行するときは、全シナリオについて全ステップを判定する。そして期待値画像が直接画面を撮影した画像でない場合は、画像判定が行えないので期待値画像の入れ替えを行う。入れ替えを行うと、次に同じシナリオを実行したときには入れ替えられた画像が期待値としてデータベースに登録され、画像の自動判定を行うことができる。また用意した期待値画像のある一部分だけを自動判定に使用したいときは、判定範囲設定を行うことができる。
【００６７】
なお判定範囲にはデフォルト判定範囲と個別判定範囲を設定でき、前者ではすべての画像に同じ判定範囲を適用し、後者では画面上で範囲を設定された画像だけに適用する。判定範囲と除外範囲も設定でき、判定範囲と除外範囲を組み合わせることで、複雑な形の判定ができる。コンピュータを用いたシステムであるので、もちろん判定範囲の座標指定等も可能である。
【００６８】
そして２回目以降のシナリオ実行の結果は、期待値画像が入れ替えられていれば、自動判定ができる。自動判定機能は、用意された判定範囲に基づいて、期待値画像と実測画像が一致するかどうかを自動的に判定するものである。また、期待値ＤＴＭＦ音の周波数と実測ＤＴＭＦ音の周波数が一致するかどうかも自動的に判定できる。
【００６９】
なお、図示は省略するが、折り畳み型の携帯電話でかつキーボタン５を有する操作部１２の外面にもう一つの表示パネルを備えるものあるいは同様の構造のＰＤＡ等が近年開発、市販されている。これらを評価対象とする場合には、開いた状態でＬＣＤパネル３の表示を評価することと、閉じた状態で操作部１２外面の表示パネルを評価することを個別に行うこと、あるいはもう一つカメラを用意して、開いた状態とした携帯電話等の二画面を二つのカメラで同時にかつ個別に撮像して評価することのいずれでも可能である。
【００７０】
また上述してきた実施例の機能を総合し、人間の判断に近い曖昧さを兼ね備えた画像判定ができるようにすることができ、期待値画像と実測値画像の微妙な違いを許容して画像判定を行えるようになる。例えば、これによりカメラ４の再設置の際のセットアップ時間を大幅に短縮することができるようになる。また画像判定が難しかった４５インチ大画面ＴＶのような機器が検査対象であっても自動判定が可能になる。なお、ファジィ理論の画像計測への応用は種々の方法が提案されており、検査対象に応じて等種々の条件を勘案して適宜の方法を選択し、上述した画像処理に組み込めばよいので詳細な説明は省略する。
【００７１】
以下、画面の表示内容の評価方法について説明する。本例では、図２５に示すように、静止画、動画を評価する他、図２６に示すように携帯電話等の器具が発生する音声についても判定を行う。
【００７２】
まず画像の評価の概略を説明する。本例では、図２５に示すようにまずカメラ４からの画像のキャリブレーションを行う（Ｓ１０１）。このキャリブレーションは、システム全体で一回行えばよく、システムを構成する他の機器、装置の機能チェック装置のカメラが取得した画像に適用できる。
【００７３】
次に、各機器、装置の機能チェック装置において、検査対象携帯電話１の操作ボタン５を操作し（Ｓ１０２）、携帯電話１のＬＣＤパネル３に画像を表示させる。この画像を前記カメラ４で取得し静止画、動画別に画像判定を行う（Ｓ１０４）。
【００７４】
一方、音声判定においては、本例ではＤＴＭ音、ＢＴ／ＲＢＴ音、及びメロディについて判定を行う。この判定は、図２６に示すように、携帯電話１の操作ボタン５を操作し（Ｓ２０１）、発生した音声をマイク３５で取得し（Ｓ２０２）、音声信号を一端機器、装置の機能チェック装置に格納し、その格納した音声に対して判定を行う（Ｓ２０３）。まず、機器、装置の機能チェック装置の画像取得用の撮像装置のキャリブレーションについて詳しく説明する。
【００７５】
このキャリブレーションでは、図１７で示したキャリブレーション用シートの中央に表示されている７×７個の黒い点の座標を撮像画像から読み取る、そして、実際のキャリブレーション用シートと撮影した画像の点とを比較することによりカメラの撮影特性データを取得する。
【００７６】
まず、キャリブレーション用シートの画像を複数枚、例えば２０枚撮影する。これらの撮影に際しては、キャリブレーション用シートを様々な位置・角度に配置して撮影する。これにより、様々な条件下での、キャリブレーション用シート画像の点の位置座標を取得する。
【００７７】
次に、実際に検査する携帯電話の液晶画面と平行においたキャリブレーション用シートの画像を撮影する。すべてのキャリブレーション用シート画像から点の位置座標を取得し、これらのデータからカメラの焦点距離、放射状歪みの中心位置、歪み度合いを計算する。これは画像処理ライブラリによって計算される。画像処理ライブラリは市販のソフトウェア（例えばＭＶＴｅｃ製ＨＡＬＣＯＮ（商標））であり、前記各要素を計算するものである。そして、携帯電話画面に乗せて撮影した（最後の）キャリブレーション用シート画像の歪みがなくなるよう補正を行う。
【００７８】
本例では、キャリブレーション用シートから点の位置を検出するのに、当装置の被い内で撮影するため暗い画像になってしまう。画像処理ライブラリの中にはシートの矩形位置を取得する関数があり、指定した特定の色のラインで表示される矩形のみを取得することができる。
【００７９】
この関数には閾値を引数として渡すが、これが高すぎると暗い画像では検出することができない。逆に閾値が低いと誤った領域を取得してしまう。また、ライブラリの戻り値では矩形を取得できたかがわからない。失敗したまま続けていくと後からエラーとなることがあるので、ここで正確に矩形領域を取得する必要がある。
【００８０】
このため、暗いムラのある画像でもマークを検出することができるように、高い閾値から序々に閾値を下げながら、前記と同じ矩形を取得する関数を実行することとする。取得された領域が最も正方形に近い形になったところで止めるようにする。
【００８１】
次に、キャリブレーション用シートの画像からカメラの歪みを修正するためのパラメータを取得する。カメラの焦点距離、放射状歪みの中心位置、歪み具合、最後のキャリブレーション用シートの画像に合わせて変換したカメラ座標を画像処理ライブラリで計算する。
【００８２】
以上より求めたパラメータを用いて携帯電話の画像に変換をかける。前記の値を用いて、最後に取得したキャリブレーション用シートと、携帯電話のＬＣＤ画像に対して変換をかける。これでキャリブレーション用シートは歪みのない正方形で表示される。
【００８３】
さらに、中央に適度な大きさで表示されるよう変換をかける。最終的にはキャリブレーション用シートではなく、携帯電話のＬＣＤ画面が中央に歪みなく表示されるのが目的なので、適切なサイズで中央に表示されるよう変換パラメータを化させながら変換を繰り返す。
【００８４】
そして、他の機種の基準画像に合わせて他の機器、装置の機能チェック装置で画像が使用できるよう、補正をかける。ユーザは基準となる画像を１枚選択し、自動補正ボタンをクリックするだけで、現在の画像が基準画像と同じサイズ・明るさになるよう補正される。
【００８５】
基準画像に合わせて自動補正をかける。即ち、位置、回転、拡大・縮小、縦横比が基準画像と一致するようアフィン変換をかける。カメラで撮影している画像から静止画を取得するときにこの補正をかけている。
【００８６】
次に、基準画像に合わせてカメラの明るさ・コントラストを調整する。静止画の明るさを後から変えると、元の画像は例えば０〜２５５のデータしか持っていないので、例えば明るすぎて白く飛んでいる場合は正確な色の値が分からない。よって、撮影後の画像に変換をかけるのではなく、カメラの設定値を直接変更する。カメラの明るさ・コントラストを変化させながら連続して撮影・比較することにより適切な明るさ・コントラストに合わせていく。
【００８７】
次に静止画の比較について説明する。
【００８８】
本発明に係る機器、装置の機能チェック装置の画像処理では、入力画像としてどのような画像が来るか予想がつかない。したがって、入ってきた画像によって最適な判定ロジックを選択し、ミスのない判定を行う必要がある。具体的には、画面の細かい画像、暗い画像が入ってきても判定しやすい明るさに補正し、ある程度の面積を持った領域の違いを判定する。
【００８９】
ＬＣＤの明るい領域を例えば以下のように取得する。
【００９０】
図２７に示すように、画像のヒストグラム（０〜２５５）を求め、それを大きく３つの山に分ける。そのうち暗い方から数えて１つ目の山と２つ目の山を分ける境目の値で閾値処理を行う。
【００９１】
また、山が偶数にしか分かれない場合は中心をとる。１つ目の山と２つ目の山を分ける間をとる理由は、本例では、画像を周りの黒い枠と明るいＬＣＤ部分に分けたいので、黒いところが除ければよい。しかし、中には光が漏れて灰色に明るくなってしまう場合もあるので、このような方法を採用する。
【００９２】
画像の明るさが大きく異なる場合に、それらを同じ程度の明るさに合わせるか、または明るさが違うためにＮＧと判断するかは、設定ファイルの値で決めることができ、ユーザが変更することも可能である。
【００９３】
ここで設定した値より実際の画像の明るさが異なっていた場合は位置補正をしないまま画像比較し、一致しなかったという結果を出す。
【００９４】
基準画像から位置合わせのためのテンプレートを作成基準画像と実測画像のずれをなくすため、後工程で位置補正を行う。そのためのパターンマッチング用テンプレートを基準画像を元に作成する。（画像処理ライブラリで計算）テンプレート作成用の画像を選択する。
【００９５】
本例では、ＬＣＤ領域の淵（幅３ピクセル）の領域に画像を絞り込んだものを登録画像としている。これにより正確かつ速い位置補正が可能となる。
【００９６】
次に元画像のコントラストが低い場合はコントラストを上げるための補正を行うこれは、単にガンマ補正をかけるのではなく、図２８に示すように、色平均値より明るい部分はより明るく、暗い部分はより暗く補正する。画像平均値と最大値・最小値から明るさ強調の変換テーブルを計算して、コントラストの補正を行う。色合いの微妙な画像の判定に使用する。このようにコントラストを上げると、途中でここから上は明るくし、ここから下は暗くするといった変極点が生じる。
【００９７】
次に、基準画像に合わせて実測画像の色補正を行う。このとき、多少違う画像でも同じように色補正されるよう細かい画像やエッジ領域を除いた部分で調整する。基準画像と実測画像で色の平均値が閾値（ユーザが指定したパラメータ）だけ異なる場合は補正をかけないようにする。さらに、テンプレートを基準にパターンマッチングを行う。先に作成したテンプレートを基準にパターンマッチングを行う。これは、画像処理ライブラリで計算する。
【００９８】
なお、繰り返し判定するときに、２度目以降は１回目の位置情報を利用して速く判定する。１回目の基準画像の位置データをとっておき、２回目以降の判定ではそれを読み込んで画像マッチングすることで位置合わせを行う。
【００９９】
位置合わせを行った結果、大きくずれてしまった場合、またユーザが指定したよりも移動してしまった場合は元の位置に戻して、そのまま重ねて判定する。
【０１００】
基準画像と実測画像をそのまま重ね合わせて判定を行う。色が大きく違う、位置が異なるなど何かしらＮＧであると思われる要素があった場合は、位置補正を行わないで単に画像差分をとった結果を出す。なおこの判定では、人間の判断に近い曖昧さを兼ね備えた画像判定とすることができる。いわゆるファジー制御を用いた判定機能により、期待値画像と実測値画像の微妙な違いを許容して画像判定を行えば、カメラ再設置の際のセットアップ時間を大幅に短縮することができる。
【０１０１】
位置合わせで取得したデータに基づいて画像・判定範囲に変換をかける。位置合わせが成功した場合は、データに基づいてアフィン変換をかける。この処理は画像処理ライブラリで行う。そして、ユーザが指定した判定対象範囲に基準画像、実測画像の絞り込み判定を行う。
【０１０２】
次に、基準画像と実測画像の差分をとる。本例ではＲＧＢ画像とグレイ画像の４種類ごとに基準画像と実測画像で画像差分をとる。元画像のコントラストの低いものについては、差分を強調する処理をかけることが有効である。この処理は取得したＲＧＢ、Ｇｒａｙごとの差分画像を加算してよりはっきりさせるものである。
【０１０３】
差分画像に閾値処理でＮＧと期待される領域を取得する閾値（７０くらい、ユーザからも設定できる）から２５５の間で閾値処理を行う。基準画像と実測画像で異なる部分が抽出される。
【０１０４】
本例は、多数の画像をターゲットに、ロジックやパラメータを少しずつ変化させながら結果を比較していき、閾値として最も良かった結果のものを採用した。画像の明るさによって閾値を変えることが望ましい。基準の閾値は設定ファイルから読み込むが、画像が暗めの場合はそれに合わせて閾値を下げる。逆に明るい場合は上げるようにする。
【０１０５】
次にノイズ処理を行う。閾値処理で求めたＮＧ領域（画像差分領域）からノイズを削除し、本当にＮＧである領域のみを残す処理である。まず、ＮＧ候補領域から大きくＮＧだとわかる部分だけを抽出する。単に閾値より明るい部分をＮＧ領域とするのではなく、明るい部分が含まれていてかつＮＧ候補となる白い部分の周辺面積が大きいものだけを最終的なＮＧ領域とする。
【０１０６】
例えば、図２９に示す場合、左の領域は面積が広くても明るさの最大値が低いのでＮＧと判断されない。右の領域は中心の明るさが高くなっているので、この領域全体がＮＧとして検出される。
【０１０７】
前記処理により、ＮＧと判断された領域の面積がゼロであればＯＫ、１以上の場合はＮＧと判断され、ＮＧ領域が表示される。なお図３０は本実施例に係る携帯電話の検査装置での静止画像判定処理動作中の領域特定処理を示す図である。
【０１０８】
ノイズ処理に関しては、その他、比較対象画像を８方向に０．５ピクセルずつ動かし、位置合わせがほんの少しずれただけでノイズが増えるので、位置合わせを行った後さらに０．５ピクセルずつ移動させて、最もノイズの少なかった位置を最適とする方法や、ＮＧと判断された領域のうち、その領域のエッジの情報から「ずれ」と「違い」を判断する方法を採用することができる。
【０１０９】
具体的には図３１に示すように、かつ上述してきたように、画像サイズの判定（Ｓ１１１）、ＬＣＤ領域の画像取得（Ｓ１１２）、明るさ判定（Ｓ１１３）、位置合わせ用テンプレート作成（Ｓ１１４）、コントラスト調整（Ｓ１１４）、色補正（Ｓ１１６）、テンプレートを基準にパターンマッチング（Ｓ１１７）、位置確認（Ｓ１１８）、画像判定範囲の変換（Ｓ１１９）又は基準画像と実画像を重ね合わせて判定（Ｓ１２０）、画像を判定範囲に絞り込む（Ｓ１２１）、基準画像と実測画像との差分抽出（Ｓ１２２）、差分画像に閾値処理で不良（ＮＧ）と期待される領域を取得（Ｓ１２３）、ノイズ処理（Ｓ１２４）、そして結果出力（Ｓ１２４）となる。
【０１１０】
次に本発明に係る機器、装置の機能チェック装置の動画判定処理について図３２ないし図３７に基づいて説明する。図３２は、動画処理を示すフローチャートである。本例では、期待値、実測値はそれぞれａｖｉファイルとする。期待値と実測値は静止画に切り出したとき、同じサイズとする。ただし撮影時間は異なっても差し支えない。さらに、画像の周囲の枠が黒く表示されていることが望ましい。
【０１１１】
まず、カメラで撮影され格納された動画ファイル（ＡＶＩファイル）から、動画の読み込みを行う（Ｓ１４１）。そして動画を１フレーム毎（３０ｆ／ｓ）に静止画（ビットマップ）に切り出す。これは画像を読み出した撮像装置の取得フレーム数である。
【０１１２】
次に読み込んだ画像の平均化を行う。これは、図３５に示すように画像を１枚ずつ読み込み、２つ前の画像（図３３（ａ））と１つ前の画像（同（ｂ）と、着目した画像（同（ｃ）を合成し画像３枚の平均画像を取得するものである（Ｓ１４３）である。そして、３枚の画像の平均画像を１枚の画像（図３３（ｄ）として扱う。これにより期待値と実測値の切り出しのタイミングがずれていても平均化することによりなめらかな動きになる。
【０１１３】
さらに後の工程で期待値と実測値の同期を合わせた後に比較を行うのに使用するデータを取得する（Ｓ１４４）。そして、平均化した画像をＲＧＢ、Ｇｒａｙの４色に分ける（Ｓ１４５）。平均化した各画像を、ＲＧＢとＧｒａｙ画像に分ける。Ｇｒａｙ画像は人間の目で見たのと近いように０．２９９＊ｒｅｄ＋０．５８７＊ｇｒｅｅｎ＋０．１４４＊ｂｌｕｅとする。そして、グレイ画像を半分のサイズ（面積で４分の１）にしてメモリ上にとっておく（Ｓ１４６）。取得したグレイ画像を半分の倍率に縮小し、メモリ上に確保しておく。この際面積では元のサイズの４分の１とする（Ｓ１４７）。ＲＧＢ、Ｇｒａｙごとに１つ前の画像と引き算で画像差分をとる。より明るくなった部分とより暗くなった部分を求め、そのトータルグレイ値（面積とグレイ値（０〜２５５）の積分値）を取得する（Ｓ１４８）。これは、以下の（１）〜（３）の処理による。
（１）ＲＧＢ、Ｇｒａｙ画像ごとに現在の画像から一つ前の画像を引いて、一つ前の画像より明るくなった部分を画像として取得する（図３４（ａ）、（ｂ）、（ｃ））。
（２）同様に一つ前の画像から現在の画像を引いて、より暗くなった部分を画像として取得する。
（３）取得した差分画像のトータルグレイ値（白く表示される部分の面積と明るさの積分値）をＲＧＢ、Ｇｒａｙごとに取得する。
これで、動画を静止画に切り出したときの１枚の画像あたり、８個のトータルグレイ値が取得できる。明るくなった画像と暗くなった画像がそれぞれＲＧＢ、Ｇｒａｙの４チャンネル分あることとなる。
【０１１４】
次にＲＧＢ、Ｇｒａｙごとに取得した差分画像を合わせる。この画像に閾値処理をかけて差分のあった領域を取得する（Ｓ１４８）。これは、以下の（１）〜（２）の処理による。
（１）ＲＧＢ、Ｇｒａｙごとに取得した差分画像をＲＧＢ、Ｇｒａｙの４チャンネル分足す。
（２）この４チャンネル分足した差分画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザ側で指定できる）。
これで、カラー画像としてより明るくなった部分の領域とより暗くなった部分の領域が取得できる。
【０１１５】
より明るくなった画像と暗くなった画像を合わせ、閾値処理をかけ前後の画像で差分のあった領域を取得する（Ｓ１４９）。この領域の重心を求める。これは以下の（１）〜（４）の処理による。
（１）（Ｓ１４８）で取得したより明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像を足して一つの画像にし、一つ前との差分画像を取得する。
（２）パラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する。（このパラメータはユーザ側で指定できる）この領域が一つ前の画像との差分領域になる。
（３）（２）で取得した領域の重心位置を求める。前の画像と差がなく、差分の領域面積がゼロの場合は画像の中心位置を代入する。
（４）より明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像をそれぞれ半分のサイズに縮小し、メモリ上に確保しておく（面積では４分の１）。
【０１１６】
動画のずれ時間を求め、実測値と期待値の撮影のタイミングを合わせる（Ｓ１５０）。ここで、期待値と実測値の撮影のタイミングが異なる場合や撮影時間が異なる場合でも判定できるよう、時間を合わせる必要がある。これは以下の（１）〜（４）の処理による。
（１）期待値と実測値を１枚ずつ、ずらしながら（Ｓ１４７）で取得したトータルグレイ値を比較していく。期待値と実測値の時間が重なっている間だけ、１コマごとにトータルグレイ値の差分をとり、その合計値を取得する。
（２）期待値と実測値のタイミングが合ったところではこの差分が極小値となるので、１つ前の値より小さく、１つ後の値より小さいところが候補となる。そして（ｆ（ｎ＋１）−ｆ（ｎ））＋（ｆ（ｎ−１）−ｆ（ｎ））が最も大きくなるｎを求める。この差分が最も大きかったところを求めるずれ時間とする。
（３）ＲＧＢ、Ｇｒａｙの４チャンネルで求められた時間が異なる場合は８個のデータの候補が多い順に選ぶ。
（４）ＲＧＢ、Ｇｒａｙごとに取得された時間の候補が一致しない場合はすべてのチャンネルにてデータを合計し、その合計値が最も高かった場所（最も前後との差があった時間）をずれ時間とする。
【０１１７】
次に、実測値と期待値のずれを合わせた状態で、実測値と期待値のデータを比較する（Ｓ１５１）。即ち、ここでは、前の画像と比較して移動した部分の領域の重心位置を比較する（Ｓ１５２）。これは以下の（１）〜（３）の処理による。これは本例において、比較１となる。この比較１では、差分領域の重心位置を求め、場所の違いを求めるものである。
（１）期待値と実測値の同期を合わせてからＳ１５９で求めた期待値と実測値の各画像の重心位置を比較する。Ｘ座標、Ｙ座標ごとに差を求め、それぞれが画像の幅・高さに対
してどれだけの割合かを求める（１−Ｘの差分／判定範囲の幅、１−Ｙの差分／判定範囲の高さ）。
（２）前記（１）を、切り出した画像分求めて平均値をとる。この値が低いと一致率が低いということになる（１に近いほど差がないということになる）。
（３）ここで求めた値（０〜１．０）を比較結果としてｒｅｓｕｌｔ１とする。
【０１１８】
図３５（ａ）、（ｂ）で示した画像は、異なる個所でアイコンが点滅している画像を示ししており、この比較１により違う画像であると判断することができる。
【０１１９】
より明るくなった領域と暗くなった領域ごとに、期待値と実測値の移動領域を比較する（Ｓ１５３）。これは以下の（１）〜（５）の処理による。
【０１２０】
これは本例中の比較２となる。この比較２では、移動領域の差分をとり、動きの違いを見る。
（１）期待値と実測値の同期を合わせてから（Ｓ１４８）で求めた期待値と実測値の領域の差分をとる。
（２）次に、「期待値または実測値で移動のあった領域」を取得する。期待値、実測値共に輝度の増えた画像と減った画像（計４種）をすべて足して合成する。これに閾値処理をかけ、明るく表示される部分を領域として取得する。この領域に膨張収縮処理をかけ、ある程度の面積を持つ領域に絞る。これを「動きのあった領域」とする。
（３）輝度の増えた画像、減った画像ごとに期待値と実測値の差分を取得する。期待値と実測値が同じように変化している場合はこれらの差分をとることで、相殺されて領域がなくなるが、移動個所の異なる場合は差分をとってもその領域が残る。
（４）前記（３）の画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザ側で指定できる）。輝度の増えた画像と減った画像の領域を足してひとつの移動差分領域として取得する。
（５）前記（２）で取得した「動きのあった領域」に対する（４）で取得した期待値と実測値の差分領域の割合を求める。次に、前記（２）で求めた「動きのあった領域」が画像の判定対象面積に対してどれだけの割合かを求める。この面積が小さい場合は（５）で取得した差分領域の割合よりさらに小さくする。処理が必要とされるのは、動きのあった面積が判定範囲の面積にたいして小さいというのは、動き自体が少ない動画となるからである。つまり、期待値と実測値の動画部分が異なったところで差は小さいということになるからである。以上より「動きのあった領域」に対する期待値と実測値の差分領域の割合（０〜１）を１から引くと、期待値と実測値が同じように動いた割合（一致率）を求めることができる。この値は大きいほど（１に近いほど）一致率が高くなる。
（６）前記（５）の値をすべての画像で求め、画像枚数で割ることにより画像１枚あたりの平均値を求める。ここで求めた値（０〜１．０）を比較結果ｒｅｓｕｌｔ２とする。
【０１２１】
図３６（ａ）、（ｂ）で示した２枚の画像をこの比較２により違う画像であると判断することができる。
【０１２２】
縮小した画像の画像差分をとることで比較し、背景も含めて画像全体がどれだけ異なるかを比較する（Ｓ１５４）。これは以下の（１）〜（２）の処理による。これは本例中の比較３となる。この比較３では、画像の絶対値で判定する、即ち本比較３では静止状態での違いを見るのである。
（１）期待値と実測値の同期を合わせ、合わせた時間同士でＳ１５６で取得した期待値と実測値の画像の差分をとる。まず期待値と実測値で位置合わせを行う。具体的には期待値を基準に実測値画像に対してパターンマッチングを行い、見つかった位置にアフィン変換で実測値を移動させる。期待値と実測値の時間が重なる場合はすべての画像において位置合わせを行う。位置合わせを行った後、期待値と実測値の画像差分をとる。
（２）前記（１）で取得した期待値と実測値の差分領域から、Ｓ１６３−（２）で取得した動きのあった領域を引く。これによって背景（静止画部分）のみの違いを取得することができる。差分画像に閾値処理をかけ、のこった面積が大きいほど一致率が低くなる。
（３）この面積は１００％異ならなくても人間の目では充分異なっていることが分かるので、結果（＜１）を２乗した値を答えとする。
（４）ここで求めた値（０〜１．０）をさらに２乗し、比較結果としてｒｅｓｕｌｔ３とする。なお、画像の絶対値比較は他の処理では行われない。他の処理はすべて相対位置での比較のため、画像全体の明るさが異なるときなどは比較しても同じと判断されてしまうからである。
【０１２３】
図３７（ａ）、（ｂ）で示した２枚の画像をこの比較３により違う画像であると判断することができる。
【０１２４】
そして、以上の比較要素を掛け算し、最終結果を得る（Ｓ１５５）。期待値と実測値の同期を合わせてから前記のｒｅｓｕｌｔ１、ｒｅｓｕｌｔ２、ｒｅｓｕｌｔ３の結果を取得し、これらの積をとる（値は、０〜１．０となる）。これに１００をかけて％に対応させた結果を返す。
【０１２５】
そして、結果（０〜１００）を返す（Ｓ１５６）ことにより、この値が閾値以上である場合、合格とし、閾値未満である場合不合格とする。そして、次に本発明に係る機器、装置の機能チェック装置の音声判定を図３８ないし図４０に基づいて説明する。本例では、ＤＴＭＦ判定（図３８）、ＢＴ／ＲＢＴ判定（図３９）、メロディ判定（図４０）の３つの判定を行う。
【０１２６】
まず、ＤＴＭＦ判定を、図３８に基づいて説明する。
ＤＴＭＦ（Ｄｕａｌ Ｔｏｎｅ Ｍｕｌｔｉ Ｆｒｅｑｕｅｎｃｙ）は、電話のボタン（０〜９、＊、＃）ごとに割り当てられている、２種類の周波数からなる音声信号である。ＤＴＭＦ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＤＴＭＦ番号（０〜９、＊、＃）と一致するかどうかを判定する。
【０１２７】
ＤＴＭＦ音は、それぞれ予め定められた固有の周波数の組合せであるため期待値として利用するのは各ＤＴＭＦの周波数情報であり、期待値としての音データは保持しない。各番号に対応する周波数情報は、図４１に示す通りである。
【０１２８】
以下に判定の手順を示す。
まず、押しボタンを操作し（Ｓ２１１）実測値の中で最大音量を記録している周波数を２点取得して（Ｓ２１２）、この値を期待値ＷＡＶＥファイルを読み込む。
【０１２９】
次に、読み込んだＷＡＶＥデータをＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）にかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２１３）。すると、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる。
【０１３０】
次に取得した音量データを、ＤＴＭＦの周波数帯域が記録されていると思われる帯域を低域と高域の２つ（６５０Ｈｚ〜９７０Ｈｚ、１１５０Ｈｚ〜１５００Ｈｚ）に分ける（Ｓ２１４）。この２つに分けた帯域から、それぞれ最も大きい音量レベルが記録されているデータを１点取得する（Ｓ２１４）。この２つのデータをＤＴＭＦ音の実測値の周波数とする。
【０１３１】
さらに、期待値として指定されているＤＴＭＦ番号の周波数（２点）と、実測値から割り出された周波数（２点）の低域同士と高域同士でそれぞれ比較し（Ｓ２１６）、固定の許容誤差範囲（±２０Ｈｚ）内であれば一致していると判定する（Ｓ２１７、Ｓ２１８）。この許容誤差外であるときは不良であると判定する（Ｓ２１９）。次に、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）判定を図３７に基づいて説明する。ここで、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）とは、それぞれ以下の意味を持つ。即ち、ＢＴ（ビジートーン）は、電話の話中状態を表す音声信号（プーッ・プーッという音）（・は無音）であり、ＲＢＴ（リングバックトーン）は、電話の呼び出し状態を表す音声信号（プルルルル・プルルルルという音）である前記の「プーッ」、もしくは「プルルルル」の部分をＯＮデータと呼び、「・」の部分をＯＦＦデータと呼ぶ。
【０１３２】
ＢＴ／ＲＢＴ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＢＴ、もしくはＲＢＴと一致するかどうかを判定する。
【０１３３】
ＲＢＴ、ＢＴにはそれぞれ特有の鳴動パターン（ＯＦＦデータとＯＮデータの間欠パターン）があるため、そのパターンを数値化したものを期待値として利用する。よってこの処理で利用する音データは実測値のみとなる。
【０１３４】
以下に判定の具体的な手順を示す。
まず、押しボタンを操作して（Ｓ２２１）鳴動音を取得する（Ｓ２２２）し、期待値ＷＡＶＥファイルを読み込む。次に、読み込んだＷＡＶＥデータをＦＦＴにかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２２３）。この処理で、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる（Ｓ２２４）。
【０１３５】
次に、音量データ配列の内容がＢＴ／ＲＢＴの周波数帯域（４００Ｈｚ±２０Ｈｚ）と一致するかどうか調べる（Ｓ２２５）。所定の許容誤差範囲内で一致する場合はＯＮデータであると判断し、そうでない場合はＯＦＦデータであると判断する。これを時間軸に沿って調べて、ＯＮデータとＯＦＦデータの数を算出した鳴動パターン配列を取得する。
【０１３６】
次に、期待パターンと取得した鳴動パターンを比較する。これには、まず実測パターンの有効部分を認識する。このとき、実測値の最初にＯＦＦデータが含まれている場合はその部分を切り捨てて、ＯＮデータから始まる部分をデータの有効部分とみなす。
【０１３７】
そして、期待パターンと実測パターンを、実測パターンの有効部分から時間軸に沿って比較する。それぞれの鳴動間隔ごとのＯＮ／ＯＦＦデータの要素数の差が指定の誤差範囲未満であれば、その位置は指定トーンのパターンの一部であるとみなす。
【０１３８】
そして、期待パターンと同じパターンが一定範囲持続している場合に、一致していると判定し、そうでない場合は不一致とする。
【０１３９】
次に、図３８に基づいて、メロディ判定の説明をする。本例でメロディとは、前述のＤＴＭＦ、ＢＴ／ＲＢＴ以外の、音階変化のある音データのことをいうものとする。
【０１４０】
メロディ判定では、マイクで収音した実測値を解析し、実測値に含まれる。音データが、期待値として指定されている音データと内容がどれくらい一致しているかということを一致率で表す。
【０１４１】
一致率を求める処理、及び一致率を求めるためのデータ生成には、一般に使用される音声ライブラリ（例えば、Ａｎｉｍｏ社のＶｏｉｃｅＢａｓｅＩＩライブラリ）を用いる。判定結果の合否は、システムの既定値またはユーザの設定した一致率閾値を判定処理で取得した一致率の値が上回るかどうかで合否判定を行う。
【０１４２】
この処理で利用する音データは期待値、及び実測値の２つとなる。まず、期待値と実測値とをもとに、それぞれの処理データを取得する。即ち、期待値、実測値のＷＡＶＥファイルを読み込む（Ｓ２３１）。次に、無音区間検出（音声ライブラリ使用）を行い、有効データの開始位置を取得する（Ｓ２３２）。このとき、期待値と実測値の有効データ長をもとに、処理データの単位（１フレーム）ごとのデータ量を決める。
【０１４３】
次に、処理データを窓関数（音声ライブラリ）にかけ、ＦＦＴフィルタバンク分析（音声ライブラリ）を行い、マッチング処理用の処理データを取得する（Ｓ２３３）。次に、ＤＰ法（音声ライブラリ）による期待値と実測値の比較処理を行い、比較結果の距離データを取得する（Ｓ２３４）。そして、取得した距離データから一致率を算出する（Ｓ２３６）。
【０１４４】
さらに、算出された一致率が、指定の一致率閾値よりも大きい場合に一致していると判定し、閾値未満の場合不一致と判定する（Ｓ２３６〜Ｓ２３８）。
【０１４５】
これらの処理を予め定めたメロディについて行い音声判定処理は終了する。
【実施例２】
【０１４６】
次にＰＤＡ１に対する自動テストを図４２〜図４４を参照しつつ説明する。
上述した携帯電話の場合と同様に、まず環境設定として、ロボット１０のレリーズ６が押すタッチパネル（ＬＣＤパネル３）に表示されているボタン５やハードウェアとしてボタン５等の位置のティーチング、カメラから撮影する画面の設定、ボタン表示位置の設定を行う。評価機の設定を切り替えて複数の機種を扱うことが可能でる点も同様である。次にコンピュータ８付属のマウス８ａの操作でタッチパネルに表示されているボタン５やハードウェアとしてボタン５の擬似的操作を行う。すなわち、図４３に示すような擬似画面上をマウスクリックすると、ロボット１０のレリーズ６がその位置まで移動し、実際に検査対象機であるＰＤＡのタッチパネルを押下する。例えばロボットがアイコンを探して押下するので、ポップアップメニューのようにタッチパネル上のボタンの位置が毎回変わる場合でも大丈夫であり、押下位置を画像で登録することでボタンの表示位置が変わっても、それを認識してロボットが押すことができる。コンピュータ８は、上述のようなマウスクリックや擬似動作、実動作でシナリオ作成する。具体的には、これも上述のように、テスト手順をテストシナリオというスクリプトに記述する。高度な分岐・条件文もマウスクリックで簡単に記述することが可能である。すなわち、擬似画面上でボタンを操作すると自動でシナリオが書き込まれる。そして、シナリオに従ってロボット１０が評価機１を操作し、カメラ４で画像を撮影する。操作内容や画像は全てデータベースに登録される。
【０１４７】
ついで画像の判定を行う。これは、静止画判定、ＯＣＲ判定、ＳＥＡＲＣＨ判定、動画判定、音声判定など自動で判定を行う。「と」、「ｉ」、「ｊ」など、微妙な違いも確実に判定できることが望ましい。そして結果確認を行い、テスト結果一覧からすぐに不具合箇所を見つけ、結果報告として、必要な情報を、テスト結果をＣＳＶファイル出力機能や印刷機能を利用して、簡単に出力すればよい。
【０１４８】
なお、既に述べたプランジャーユニットや、ＸＹタイプのロボットは、評価対象機器としては最も多く利用されるものとなっているが、プランジャーユニットタイプのロボットを使用すると、同時押し、早押し、開閉、背面液晶のテストが行える。一方、ＸＹタイプのロボットを使うと評価機器が変わっても簡単に取り外し、固定ができ、機体のタイプの変更がある場合にもすぐに対応できる。
【実施例３】
【０１４９】
次に評価対象機器をカーナビ、カーオーディオとした実施例を図４４を参照して説明する。使用するロボットのタイプは、６軸ロボット２００（図４４Ａ）とプランジャーユニット２０（図４５Ｂ）が考えられるが、いずれを用いてもタッチパネル３の操作はもちろんのこと、ダイヤル２０２をつまんで回すこともできるので（プランジャーユニット２０については機構の図示を省略してあるが、簡単な構造のアダプタ２０４を用いることで可能となる）、ボリュームの調整も可能である。三次元操作で画面が傾いていても正面から画面を押すことが可能である。
【０１５０】
また６軸ロボット２００を用いれば、ＣＤチェンジャー２０６の操作（図４４Ｃ）も可能である。評価対象機器のテストと併せてＣＤ２０８の出し入れを自動で行うことができる。テスト対象機器がカーナビ２１０の場合のＣＤ２０８やＤＶＤ２１２の出し入れを６軸ロボット２００が自動で行い、ＣＤチェンジャー２０６やカーナビ２１０自体もコンピュータ８から制御できる。
【０１５１】
なお、車関連の検査としては、図４６に示すように電源の制御が行える。低電圧状態やイグニッションをＯＮにしたときの電圧状態など、ＱＣからプログラマブル電源を操作することにより、電圧状態を変えたテストができる。図示の例では、供給電圧９．５Ｖでディスプレイの表示に問題が無く、供給電圧７．５Ｖでディスプレイの一部の表示が消えた（図中矢印Ｘで示す部分）例を示す。
【０１５２】
また、図４７に示すように、ＣＡＮシミュレータ３００との連携もなし得る。すなわち、ＣＡＮインターフェースを持つ車載機器の開発、検証時に広く使用されているＣＡＮシミュレータ（商品名：ＣＡＮｏｅ）との連携テストが行える。コンピュータ８側でＣＡＮシミュレータを制御することにより、ＣＡＮの環境を変更させながら実機を操作するといった連携試験を行える。
【０１５３】
また話し言葉判定にも使用できる。すなわち、人の話し言葉を認識して自動判定を行い、これによって、カーナビの音声案内や、外国語対応した組込み機器のマルチランゲージ試験の自動化を実現可能とするのである。図４８の例では音声案内などをマイク３０２で録音し、録音した音あるいは音声が期待値の波形と同じものであるか否かを判定している。
【実施例４】
【０１５４】
なお、以上の説明で検査対象機器としてきたタッチパネル等がＲＧＢ入力で出力する画像データをそのまま取り込むことができる。歪みのない高い解像度の画像を取り込むことができるので、画像判定も高い精度で行うことができ、大きなディスプレイを搭載している機器にも対応可能となる（図４９参照）。またプログラマブル表示器ではタッチパネル３を操作するだけでなく、各種ＰＬＣ３ｂと連携稼動し、より実際の環境に近いテストを実行することもできる（図５０参照）。さらに、タッチパネル３の画面３ａ上に表示された文字をカメラ４で撮影した画像を基に、ＯＣＲにより文字認識を行い、見つけ出した文字の座標位置にロボットのアームやプランジャーを誘導することもできる（図５１参照）。図示の例では、実測画像（図５１Ａ）中の「証明書」という文字列を認識し、タッチパネル３の画面上で文字列に対応する位置において実際にロボットがアームやプランジャーを作動させるのである。
【実施例５】
【０１５５】
さらに本発明は、図５２に示すように、赤外線リモコン操作を行えるデジタル家電機器４００に対して本実施例装置が赤外線信号を制御するように構成できる。図中４０１はコントローラ、４０２は赤外線発信器である。すなわち、通常使用する赤外線リモコンに代わって本実施例装置が赤外線信号を制御する。学習リモコン機能を有するコントローラ４０１に赤外線信号を登録しておくことで、学習リモコンと同じ操作が可能となる。本実施例装置のモニタ９の画面上で学習リモコンと同じ操作を行うと、コントローラ４０１を介してそれに対応する赤外線信号が赤外線発信器４０２から出力される。そして、赤外線入力に応じて変化する画面の内容をカメラ又はＲＧＢ入力で取り込めば上述のような機器、装置の機能チェック用のシステムを構成できる。また図５２の例の変形例になるが、例えば図５３に示すように、物理的に操作するプランジャーユニット７とコントローラ４０１と赤外線発信器４０２による赤外線制御を合体させることで、ＤＶＤデッキのようなデジタル家電機器４００を赤外線信号で操作しつつ、実機についているボタンをプランジャーユニット７のレリーズ６で押すといった試験を自動化することができる。
【実施例６】
【０１５６】
図５４は操作内容がそのままテストシナリオになる機能を有する赤外線リモコン５００とそのディスプレイ内容の一例を示す。赤外線リモコン５００のボタン５０１を押すと、例えば「ボタンを押す」というコマンドがシナリオに記述されるようにして実現できる。
【実施例７】
【０１５７】
また本発明の実施例装置は、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの自動評価に使用できる。図５５はそのような実施例を示す。このような構成とすることにより、例えばＷｉｎｄｏｗｓ（登録商標）をインストールしたパソコン６００のマウスやキーボード６０１のような入力機器からの入力を擬似的に自動操作することができ、また他のマニピュレーターと同時に使用することができるので、ＸＹロボット１０で携帯電話を操作しながらＰＣとの連携試験を行うといったことが可能となる。
【０１５８】
図５５、図５６を用い、Ｗｉｎｄｏｗｓ（登録商標）をインストールしたパソコン（以下クライアントＰＣという）６００を用いて行うアプリケーションの連携試験の流れを説明する。
まず、本発明実施例装置でクライアントＰＣ６００を操作する。本発明実施例装置のモニタ９のディスプレイに、クライアントＰＣ６００のデスクトップ画面を擬似画面として表示させる。この擬似画面を本発明実施例装置側のキーボード８ａやマウス８ｂで操作すると、同時にクライアントＰＣ６００が操作されます。操作内容は自動的にシナリオとして入力される（図５６Ａ）。
【０１５９】
次にロボット１０とクライアントＰＣ６００の両方を操作する。図５６（Ｂ）に示すように、画面を切り替えることでロボット１０とクライアントＰＣ６００の両方の擬似画面を操作でき、ロボット１０の操作とクライアントＰＣ６００の操作を組み合わせることで、例えばクライアントＰＣ６００から携帯電話１を操作して音楽検索をするなど、クライアントＰＣ６００とテスト対象機器である携帯電話１を連動させたテストを行う。そして、図示は省略するが、テスト結果をデータベースに保存し、期待値と実測値を自動で比較・判定する。評価対象機器である例えば携帯電話１側とクライアントＰＣ６００側の両方の画像が判定される。判定結果は例えばデータベースに保存すればよい。
【実施例８】
【０１６０】
また本発明実施例装置は、図５７（Ａ）に示すように、１台の本発明装置と１台のロボット１０を対応させて制御することも、図５７（Ｂ）に示すように、１台の本発明装置で２台のロボット１０、２０を制御することも可能である。２台のロボット１０の制御を予め作成した１本のシナリオで行えば、シナリオの維持管理の手間が軽減さ、また、制御に使用するコンピュータ８が１台で済むので、導入コストも低減できる。なお図示のように、ロボットは異なる機種でも、同一機種でも、いずれでもよい。
【実施例９】
【０１６１】
図５８に示すように、本発明では、携帯電話１等の検査対象機器又は検査対象装置に対して使用される組込みシステム向けの開発支援を行うＣＡＳＥツール（例えばＺＩＰＣ：商品名）で作成した状態が変化する事象に基づいて少なくとも擬似入力手段を協調動作させ、この協調動作に基づいて、検査対象である携帯電話１等に対する擬似入力の手順を作成する構成も可能である。
【実施例１０】
【０１６２】
以上説明してきた実施例は、期待値画像と実行画像が一致するかどうか等についてのものであったが、本実施例は、期待値画像と実行画像が一致していないこと、換言すれば表出しては困る、あるいは表出することが有り得ない画像を、期待値画像との比較の上で検出しようとするものであり、例えばソフトウェアのバグによる画像、車両運転時のギヤチェンジ等によるメカニカルな動作に起因するノイズによってカーナビ機器の画面に生じるノイズ画像等々の誤表示を、期待値画像と比較して検出するという、先の実施例１〜９とは逆のアプローチによる機器、装置の機能チェック装置の実施例である。基本的な構成や、使用するソフトウェアについては先の実施例のものとほぼ同様であるので、説明を省略し、短時間の誤表示検出のロジックについて説明する。
【０１６３】
本実施例では、短時間の誤表示検出については、静止画リアルタイム判定を行う。その処理、ロジックについて説明する。ただし、上述してきた静止画判定機能では上述の短時間の誤表示検出に対応できない可能性がある。すなわち、短い時間で遷移していく画面表示の変化を捉えることが無理な場合がある。このような短時間遷移画面が生じる状況を捉えるためには、静止画判定の実行間隔を短くすれば可能であるが、静止画判定処理が、画像を１枚撮影する度に撮影画像をファイル保存し、かつ本発明実施例装置の試験結果を記録するデータベースに登録するという処理を行うため、一度の静止画撮影に掛かる時間が最短でも６００ミリ秒程度掛かる。このため、２００ミリ秒程度しか表示されないような短時間の誤表示画面を確実に撮影し、判定することは上述してきたような実施例の処理では不可能である。
【０１６４】
そこで本実施例では、この問題を解決するために、静止画リアルタイム判定の機能を用いる。この処理の概要としては、期待値画像３枚を用いた静止画判定を行い、一定時間、静止画を連続で撮り続けて、画像取得毎に静止画を取得し、２枚の期待値との比較判定処理を行い、判定結果を得る。
【０１６５】
処理の詳細としては、
（１）遷移前（Ａ）、遷移中（Ｂ）、遷移後（Ｃ）の画像３枚を期待値群として設定する（図５９参照）。
（２）画像は静止画の連続取得とし、取得時に即座に判定を行う。
（３）処理の高速化のために、取得画像の逐次ファイル保存を行わずに、オンメモリにて画像データを扱う。
（４）処理の流れは以下の通りである。
期待値Ａ、Ｂ、Ｃを取得画像と比較するが、取得画像と比較する期待値は画面遷移の時系列に従って行う。つまり、画面遷移の順番は、Ａ→Ｂ→Ｃとなる前提で、以下に説明するフローでの判断を行う。
【０１６６】
すなわち、
（１）判定開始後、
（２）取得画像が期待値Ａと同じか否か判定し、
（３）期待値Ａの画像を得た場合、次以降は期待値Ａもしくは期待値Ｂかを判定し、
（４）期待値Ｂの画像を得た場合、次以降は期待値Ｂもしくは期待値Ｃか判定し、
（５）期待値Ｃの画像を得た場合、期待値Ｃがどれくらい連続したかを判定し、その後、
（６）判定を終了する。
【０１６７】
上記処理フローに沿うと、取得画像と比較する期待値は、各段階において最小で１枚、最大２枚となる。仮に期待値画像が３枚を超える場合であっても、１枚の取得画像と比較する期待値は「現在の画像」と「その次に遷移する画像」となり、常にその２枚で良いこととなる。
【０１６８】
そして、各段階で取得画像（例えば図６０参照）の内容が、期待値２枚のいずれでも無いという判定結果が発生した場合、何コマ分続いたかを計測する。この計測値が、判定の閾値として設定したコマ数に達したならば、判定結果をＮＧとする。これは正常表示でない（誤表示）と推測される画像のコマ数が、どれくらい連続して表示されたかに着目する判定となる。正常な画面遷移の場合、表示を期待値Ａ→期待値Ｂと書き換える経過において、明らかな誤表示と人間が認識するには相応のコマ数（表示時間）が必要になる。逆に表示時間が極端に短い場合は許容範囲内とする考え方に基づく判定となる。
【０１６９】
次に判定処理の終了条件は、期待値Ｃが表示されている回数（継続回数）を設定し、期待値Ｃを得る前にＮＧ条件に達していないこと、さらに継続回数に達した状態で判定ＯＫとし、判定処理を終了する。また、処理の永久ループを防ぐために、タイムアウトを別途設け、タイムアウトに達した場合は判定ＮＧとみなす。
【０１７０】
以下に判定フローの一例を示す。なおＡ、Ｂ、Ｃはそれぞれ上述の期待値である。
判定開始→Ａ→Ａ→Ａ＋Ｂ？→Ａ＋Ｂ？→Ａ＋Ｂ？→Ｂ→Ｂ→Ｂ→Ｂ＋Ｃ？→Ｂ＋Ｃ？→Ｃ→Ｃ→Ｃ→Ｃ→判定終了
ここで、上記フローにおいて、Ａ＋Ｂ？、Ｂ＋Ｃ？は３枚の期待値のいずれにも合致しないＮＧ画像（例えば図６０に示したような画像等）を表す。この場合、闇値が３に設定されていた場合は判定ＮＧを確定する。ここで闇値が４に設定されていた場合は判定を保留して処理を続行する。かつ、期待値Ｃの継続回数が４に設定されていた場合に判定終了とし、判定結果をＯＫとする。
【０１７１】
上述のような処理で得たデータの保存について説明する。
先に説明した実施例では、取得画像は逐一結果データベースに保存する仕組みとしていたが、本実施例の判定処理においては、より高速な画像取得動作を必要とするため、取得画像をデータベースに保存せず、一連の処理が終わった後にコンピュータ内の指定のフォルダにファイルとして保存する。その代わり、取得画像を保存したフォルダのパス、および判定処理結果（ＯＫ／ＮＧ）のみをデータベースに保存する。これにより、データベースに保存するのに掛かる時間を大幅に軽減できる。
【０１７２】
なお、画像の取り込みには、ＲＧＢ入力のフレームグラバーを使用することが好ましい。これにより、
（１）毎秒最大３０フレームの取込による、取りこぼしの低減、
（２）カメラ取込ならではの歪み補正、位置補正を省くことによる処理速度向上、
の点で高速動作が見込めるためである。
【０１７３】
またなお、ＮＧ画像と判定、認識した後、処理動作を続行するか否かは使用者が設定できるようにしておくことが好ましいが、自動的に停止する、あるいは強制的に処理を最後まで続行する等々種々適当な処理の形態を採用すればよい。また、画像をＮＧと判定するかどうかの基準については、検査機器対象によっても種々基準が考えられるので、これも最適なものを検討、採用すればよく、説明し、図示した例には限定されない。
【実施例１１】
【０１７４】
次に、期待値画像２枚を用いた静止画判定を行う実施例に付いて説明する。本実施例では、一定時間静止画を連続で撮り続けて、画像取得のタイミング毎に静止画を取得し、２枚の期待値との比較判定の処理を行い、判定結果を得る。
【０１７５】
処理の詳細としては、
（１）遷移前（Ａ）、遷移後（Ｂ）の画像２枚を期待値として設定する（例えば図５９と同様の画像Ａ、Ｂを設定したとする）。
（２）画像は静止画の連続取得とし、取得時に即座に判定を行う。
（３）画像Ａ、Ｂを取得画像と比較し、２枚のいずれでも無い判定結果が何フレーム続いたかでＮＧ判定する。
（４）処理の流れは以下の通りである。
すなわち、誤表示の時間がどれくらい続いているかに着目する。
例えば画像の遷移が、
Ａ→Ａ→Ａ＋Ｂ？→Ａ＋Ｂ？→Ａ＋Ｂ？→Ｂ→Ｂ→Ｂ→Ｂ
であった場合（Ａ＋Ｂ？は期待値のいずれにも合致しない画像を表す点は先の実施例と同じである。）、判定処理の終了条件は、画像Ｂが表示されている回報（継続的数）を設定し、その回数に達した状態で画像の取得及び判定処理を終了する。永久ループを防ぐために、さらにタイムアウトを設けても良いと思われる。
【０１７６】
上述のような処理で得たデータの保存について説明する。
先の実施例と同様に、高速な画像取得動作を必要とするため、取得画像をデータベースに保存せず、一連の処理が終わった後にコンピュータ内の指定のフオルダに実測値ファイルを保存し、データベースに保存するのに掛かる時間を無くす。
【０１７７】
上述のような処理のためのシナリオの記述について説明する。まず、画像取得／判定動作の呼び出しは例えばこの種の処理に用いられるＰＩＣ／ＳＴＩＬＬコマンド等を使用せずに、すなわち基本コマンドで実行するのではなく、専用のプラグインコマンドを新規に追加することで対処することもできる。すなわち、プラグインコマンド経由で擬似画面に処理要求を通知する方式とすることもできる。また、判定結果も処理要求同様プラグインコマンドを使用することができる。その場合、プラグインコマンドの戻り値で判定結果を取得し、その結果をデータベースに書き込むことで合否判定の結果を残すようにすることもできる。また、実測値画像を保存したフオルダのパスも処理結果同様プラグインコマンドで取得し、内容をデータベースに記録するようにすることが可能である。
【０１７８】
最後に判定結果の参照について説明する。上述のように、基本コマンドあるいはプラグインコマンドで得た、保存したフオルダのパス情報を結果画面の変数ビューアで参照し、そこからエクスプローラ等を起動し、実測画像の経過を参照すればよい。
【０１７９】
なお、画像の取り込みには、ＲＧＢ入力のフレームグラバーを使用することが好ましいこと等は先の実施例と同様であるので説明を省略する。
【０１８０】
本発明は、以上説明してきたようなものであるが、外部からの物品接触による入力は、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象とすることができる。
【０１８１】
また、適宜の自由度（例えば、３軸、６軸）を有するロボットを用いて複数のボタンを順次または同時に押下するようにすることができる。特に多軸のロボットを使用した場合には、立体的に配置されたボタン、つまみを的確に操作することができる。
【０１８２】
さらに、擬似入力手段としては、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力前記外部入力である場合には、これらに対応する出力をなすことが簡単にできるようになる。
【０１８３】
そして、検査対象機器が携帯電話やカーナビの場合の試験には、外部に接続されたプログマブル電源、電波発生器、シグナルジェネレータ、測定器などの機器やこれらのコントロールソフトと接続した環境でテストをする場合があるが、本発明では、外部機器制御の機能として、シナリオの中にこれら外部機器への制御用命令文を記述することにより、それぞれの機器の制御を行う外部制御モジュールソフトと交信を行い、連携した試験を行える。この場合、外部制御モジュールは、接続機器ごとに用意し、本システムときめられたプロトコルにより、通信を行って外部制御モジュールより外部機器を制御し、または値を得て本発明のシステムに渡すこととなる。
【産業上の利用可能性】
【０１８４】
本発明では、携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等において適用できる。
【図面の簡単な説明】
【０１８５】
【図１】本発明に係る機器、装置の機能チェック装置の一実施例を概念的に示す斜視図
【図２】検査対象機器を携帯電話とした場合に使用するアダプタユニットとレリーズに代わるプランジャーを多数備えたプランジャーユニットを示す斜視図
【図３】携帯電話を保持するためのアダプタユニットの変形例を概念的に示す斜視図
【図４】携帯電話を保持するためのアダプタユニットの変形例を概念的に示す斜視図
【図５】カメラ等を装備するためのベースユニットの側面図
【図６】レリーズの構造を示す側面図
【図７】モニタにメイン画面として表示させる画面の内容を示す図
【図８】メイン画面上でのキーボタンの範囲指定を示す図
【図９】携帯電話情報設定画面を示す図
【図１０】ボタン情報設定画面を示す図
【図１１】ボタン情報一覧画面を示す図
【図１２】キーボタンの情報設定でのレリーズの番号入力例を示す図
【図１３】リセットボタンの設定画面を示す図
【図１４】機種ファイルの編集画面の図
【図１５】モニタに表示させるＬＣＤパネル画面の調整画面を示す図
【図１６】補正後画像の確認画面を示す図
【図１７】キャリブレーションシートを示す図
【図１８】歪み具合取得ウィザード画面の図
【図１９】シナリオ作成編集画面を示す図
【図２０】シナリオを複数呼び出した例を示す図
【図２１】期待値設定タブの内容を示す図
【図２２】ボタン対応表を示す図
【図２３】実行画面を示す図
【図２４】エラーレポートを示す図
【図２５】本発明に係る携帯電話の検査装置の一実施例の画像判定処理動作を示すフローチャート
【図２６】同音声判定処理動作を示すフローチャート
【図２７】同静止画像判定処理動作中の閾値決定処理を示す図
【図２８】同静止画像判定処理動作中の明るさ補正処理を示す図
【図２９】同静止画像判定処理動作の一例を示す図
【図３０】同静止画像判定処理動作中の領域特定処理を示す図
【図３１】同静止画像判定処理動作を示すフローチャート
【図３２】同動画像判定処理動作を示すフローチャート
【図３３】同動画像判定処理動作の一例を示す図
【図３４】同動画像判定処理動作の一例を示す図
【図３５】同動画像判定処理動作の一例を示す図
【図３６】同動画像判定処理動作の一例を示す図
【図３７】同動画像判定処理動作の一例を示す図
【図３８】同ＤＴＭ音判定処理動作を示すフローチャート
【図３９】同ＢＴ／ＲＢＴ音判定処理動作を示すフローチャート
【図４０】同メロディ判定処理動作を示すフローチャート
【図４１】ＤＴＭＦ番号に対応する周波数情報を示す図
【図４２】ＰＤＡに対する自動テストに用いるロボットと、そのロボットの動作を示す図示す図
【図４３】同テストの流れを示す図
【図４４】同テスト結果の判定を示す図
【図４５】評価対象機器をカーナビ、カーオーディオとした例を示す図
【図４６】車関連の検査として電源の制御例を示す図
【図４７】同ＣＡＮシミュレータとの連携例を示す図
【図４８】話し言葉の判定に用いた例を示す図
【図４９】タッチパネル等がＲＧＢ入力で出力する画像データを扱う例を示す図
【図５０】プログラマブル表示器との連携例を示す図
【図５１】ＯＣＲにより文字認識を行い、検出した文字の座標位置にロボットのアームやプランジャーを誘導する例を示す図
【図５２】赤外線リモコン操作を行えるデジタル家電機器を対象とした例を示す図
【図５３】図５２の例の変形例を示す図
【図５４】操作内容がそのままテストシナリオになる機能を有する赤外線リモコンの例を示す図
【図５５】Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの自動評価に使用する例を示す図
【図５６】Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの連携試験の流れを示す図
【図５７】１台の本発明装置で２台のロボットを制御する例を示す図
【図５８】組込みシステム向けの開発支援を行うＣＡＳＥツールとの連携例を示す図
【図５９】実施例１０で使用した遷移前（Ａ）、遷移中（Ｂ）、遷移後（Ｃ）の画像を示す図
【図６０】実施例１０でＮＧ画像と判定される画像の例を示す図
【符号の説明】
【０１８６】
１ 評価対象機（携帯電話、ＰＤＡ等）
２ アダプタユニット
３ ＬＣＤパネル
３ａ ＬＣＤパネルの画像
４ カメラ
５ 操作ボタン（キーボタン）
６ レリーズ
７ プランジャーユニット
８ コンピュータ
８ａ キーボード
８ｂ マウス
９ モニタ
１０ ロボット
１１ 表示部
１２ 操作部
プランジャーユニット２０
２１ アダプタユニットのベース板
２２ 傾斜板
２３ レリーズガイドパネル
２４ 側板
２５ 孔
２６ スピーカ
３０ ベースユニット
３１ ベースユニットのベース板
３２ マイク
３３ タワー部
３５ マイク
４０ キャリブレーションシート
５０ シナリオリストボックス
５１ コマンド設定タブ
５２ 情報設定部
５３ 期待値画像表示スペース
６１ レリーズのチューブ
６２ ピン
６３ 金属管部
６４ ネジヤマ
６５ ロックネジ
６６ 調節ネジ
８０ シナリオリストボックス
８１ 実行時指定部
８２ 実行状況表示部
８３ シナリオ一覧リストボックス
８４ カレントシナリオボックス
８５ 期待値画像表示部
８６ 実行ＬＣＤ画像表示部
１０１ 支持部材
１０１ａ ガイド支持部材
１０１ｂ 親スライダ
１０１ｃ 子スライダ
１０１ｄ 保持用支持部材
１０２ 携帯電話の蓋部
１０３ 弾性部材
２００ ６軸ロボット
２０２ ダイヤル
２０４ アダプタ
２０６ ＣＤチェンジャー
２０８ ＣＤ
２１０ カーナビ
２１２ ＤＶＤ
３００ ＣＡＮシミュレータ
３０２ マイク
４００ デジタル家電機器
４０１ コントローラ
４０２ 赤外線発信器
５００ 赤外線リモコン
５０１ ボタン
６００ パソコン
６０１ キーボード
【特許請求の範囲】
【請求項１】
外部からの入力に対応して外部に対して表出させる形態や動作が変化する出力手段を備えた一以上の検査対象機器又は検査対象装置をチェックするための機器、装置の機能チェック装置であり、
前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態を擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックするための機器、装置の機能チェック装置において、
前記外部からの入力に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加する擬似入力手段、
該擬似入力手段による入力に応じて前記検査対象機器又は検査対象装置の前記出力手段が生じさせる前記チェック対象となる出力を検出するチェック対象出力検出手段、
前記擬似入力手段による入力手順を指定可能な擬似入力手順設定手段、及び
前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力と、前記擬似入力に対応する実際の入力による前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態の予想される期待値との整合性を確認する確認手段、
とを備えることを特徴とする機器、装置の機能チェック装置。
【請求項２】
請求項１の機器、装置の機能チェック装置において、
前記擬似入力手段を前記検査対象機器又は検査対象装置毎に配するとともに、前記確認手段を前記擬似入力手段が複数であっても共通化してなることを特徴とする機器、装置の機能チェック装置。
【請求項３】
請求項１または２の機器、装置の機能チェック装置において、
前記確認手段は、前記整合性の確認にファジー制御による判定を行う手段を備えることを特徴とする機器、装置の機能チェック装置。
【請求項４】
請求項１ないし３のいずれかの機器、装置の機能チェック装置において、
前記検査対象機器又は検査対象装置が有する表示手段に、前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力を表示させ、
前記表示手段に表示された内容を認識し、ターゲットとする内容の位置に応じて前記擬似入力手段による擬似入力の前記検査対象機器又は検査対象装置への印加位置を可変させる認識手段を有することを特徴とする機器、装置の機能チェック装置。
【請求項５】
請求項１ないし４のいずれかの機器、装置の機能チェック装置において、
前記擬似入力手段が、或る擬似入力の一の手順の実行中に、予め指定した周期ごと又は予め指定した順序で前記実行中の手順と異なる手順を実行可能であることを特徴とする機器、装置の機能チェック装置。
【請求項６】
請求項１ないし５のいずれかの機器、装置の機能チェック装置において、
前記擬似入力手段が、音声入力手段と、該音声入力手段から入力された音声の内容を自動判定する音声判定手段を有し、
該音声判定手段により前記外部からの入力事象に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加することを特徴とする機器、装置の機能チェック装置。
【請求項７】
請求項１ないし５のいずれかの機器、装置の機能チェック装置において、
前記検査対象機器又は検査対象装置に対して使用される組込みシステム向けの開発支援を行うＣＡＳＥツールで作成した状態が変化する事象に基づいて少なくとも前記擬似入力手段を協調動作させる手段と、
該少なくとも前記擬似入力手段による協調動作に基づいて、前記検査対象機器又は検査対象装置に対する前記擬似入力手段による入力手順を作成する手段を有する、
ことを特徴とする機器、装置の機能チェック装置。
【請求項８】
請求項４ないし７のいずれかの機器、装置の機能チェック装置において、
前記検査対象機器又は検査対象装置が有する表示手段に表示された内容を撮像して画像を得る撮像手段と、
該撮像手段に対して前記検査対象機器又は検査対象装置を所定状態にかつ交換可能に搭載するための搭載手段を有する
ことを特徴とする機器、装置の機能チェック装置。
【請求項９】
請求項１ないし８のいずれかの機器、装置の機能チェック装置において、
前記検査対象機器又は検査対象装置が、音声入力手段、画像信号入力手段、有線信号入力手段、電波、赤外線を含む電磁波による無線入力手段のいずれかを備えるものであることを特徴とする機器、装置の機能チェック装置。
【請求項１０】
請求項１ないし９のいずれかの機器、装置の機能チェック装置において、
前記アダプタに、集音マイク及び／又はスピーカを搭載してなることを特徴とする機器、装置の機能チェック装置。
【請求項１１】
請求項１ないし１０のいずれかの機器、装置の機能チェック装置において、
前記アダプタが、搭載した前記検査対象機器又は検査対象装置の少なくとも被操作部位を覆うとともに、前記擬似入力手段による入力を許す穴又は開口を有することを特徴とする機器、装置の機能チェック装置。
【請求項１２】
請求項７ないし１１のいずれかの機器、装置の機能チェック装置において、前記撮像手段が、静止画及び／又は動画を得るためのものであることを特徴とする機器、装置の機能チェック装置。
【請求項１３】
請求項７ないし１２のいずれかの機器、装置の機能チェック装置において、
前記搭載手段が、複数の移動可能なあるいは位置固定の支持部材で前記検査対象機器又は検査対象装置を保持するために、着脱可能な弾性部材備えることを特徴とする機器、装置の機能チェック装置。
【請求項１】
外部からの入力に対応して外部に対して表出させる形態や動作が変化する出力手段を備えた一以上の検査対象機器又は検査対象装置をチェックするための機器、装置の機能チェック装置であり、
前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態を擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックするための機器、装置の機能チェック装置において、
前記外部からの入力に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加する擬似入力手段、
該擬似入力手段による入力に応じて前記検査対象機器又は検査対象装置の前記出力手段が生じさせる前記チェック対象となる出力を検出するチェック対象出力検出手段、
前記擬似入力手段による入力手順を指定可能な擬似入力手順設定手段、及び
前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力と、前記擬似入力に対応する実際の入力による前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態の予想される期待値との整合性を確認する確認手段、
とを備えることを特徴とする機器、装置の機能チェック装置。
【請求項２】
請求項１の機器、装置の機能チェック装置において、
前記擬似入力手段を前記検査対象機器又は検査対象装置毎に配するとともに、前記確認手段を前記擬似入力手段が複数であっても共通化してなることを特徴とする機器、装置の機能チェック装置。
【請求項３】
請求項１または２の機器、装置の機能チェック装置において、
前記確認手段は、前記整合性の確認にファジー制御による判定を行う手段を備えることを特徴とする機器、装置の機能チェック装置。
【請求項４】
請求項１ないし３のいずれかの機器、装置の機能チェック装置において、
前記検査対象機器又は検査対象装置が有する表示手段に、前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力を表示させ、
前記表示手段に表示された内容を認識し、ターゲットとする内容の位置に応じて前記擬似入力手段による擬似入力の前記検査対象機器又は検査対象装置への印加位置を可変させる認識手段を有することを特徴とする機器、装置の機能チェック装置。
【請求項５】
請求項１ないし４のいずれかの機器、装置の機能チェック装置において、
前記擬似入力手段が、或る擬似入力の一の手順の実行中に、予め指定した周期ごと又は予め指定した順序で前記実行中の手順と異なる手順を実行可能であることを特徴とする機器、装置の機能チェック装置。
【請求項６】
請求項１ないし５のいずれかの機器、装置の機能チェック装置において、
前記擬似入力手段が、音声入力手段と、該音声入力手段から入力された音声の内容を自動判定する音声判定手段を有し、
該音声判定手段により前記外部からの入力事象に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加することを特徴とする機器、装置の機能チェック装置。
【請求項７】
請求項１ないし５のいずれかの機器、装置の機能チェック装置において、
前記検査対象機器又は検査対象装置に対して使用される組込みシステム向けの開発支援を行うＣＡＳＥツールで作成した状態が変化する事象に基づいて少なくとも前記擬似入力手段を協調動作させる手段と、
該少なくとも前記擬似入力手段による協調動作に基づいて、前記検査対象機器又は検査対象装置に対する前記擬似入力手段による入力手順を作成する手段を有する、
ことを特徴とする機器、装置の機能チェック装置。
【請求項８】
請求項４ないし７のいずれかの機器、装置の機能チェック装置において、
前記検査対象機器又は検査対象装置が有する表示手段に表示された内容を撮像して画像を得る撮像手段と、
該撮像手段に対して前記検査対象機器又は検査対象装置を所定状態にかつ交換可能に搭載するための搭載手段を有する
ことを特徴とする機器、装置の機能チェック装置。
【請求項９】
請求項１ないし８のいずれかの機器、装置の機能チェック装置において、
前記検査対象機器又は検査対象装置が、音声入力手段、画像信号入力手段、有線信号入力手段、電波、赤外線を含む電磁波による無線入力手段のいずれかを備えるものであることを特徴とする機器、装置の機能チェック装置。
【請求項１０】
請求項１ないし９のいずれかの機器、装置の機能チェック装置において、
前記アダプタに、集音マイク及び／又はスピーカを搭載してなることを特徴とする機器、装置の機能チェック装置。
【請求項１１】
請求項１ないし１０のいずれかの機器、装置の機能チェック装置において、
前記アダプタが、搭載した前記検査対象機器又は検査対象装置の少なくとも被操作部位を覆うとともに、前記擬似入力手段による入力を許す穴又は開口を有することを特徴とする機器、装置の機能チェック装置。
【請求項１２】
請求項７ないし１１のいずれかの機器、装置の機能チェック装置において、前記撮像手段が、静止画及び／又は動画を得るためのものであることを特徴とする機器、装置の機能チェック装置。
【請求項１３】
請求項７ないし１２のいずれかの機器、装置の機能チェック装置において、
前記搭載手段が、複数の移動可能なあるいは位置固定の支持部材で前記検査対象機器又は検査対象装置を保持するために、着脱可能な弾性部材備えることを特徴とする機器、装置の機能チェック装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【公開番号】特開２００９−２９０８５２（Ｐ２００９−２９０８５２Ａ）
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願番号】特願２００８−１７６３５５（Ｐ２００８−１７６３５５）
【出願日】平成２０年７月４日（２００８．７．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年２月２２日 インターネットアドレス「ｈｔｔｐ：／／ｗｗｗ．ｊｎｏｖｅｌ．ｃｏ．Ｊｐ／」「ｈｔｔｐ：／／ｗｗｗ．ａ−ｑｕａｌ．ｃｏｍ／ｑｃ４／ｉｎｄｅｘ．ｈｔｍｌ」に発表
【出願人】（３９７０３８６８０）日本ノーベル株式会社 (8)
【Ｆターム（参考）】
【公開日】平成２１年１２月１０日（２００９．１２．１０）
【国際特許分類】
【出願日】平成２０年７月４日（２００８．７．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年２月２２日 インターネットアドレス「ｈｔｔｐ：／／ｗｗｗ．ｊｎｏｖｅｌ．ｃｏ．Ｊｐ／」「ｈｔｔｐ：／／ｗｗｗ．ａ−ｑｕａｌ．ｃｏｍ／ｑｃ４／ｉｎｄｅｘ．ｈｔｍｌ」に発表
【出願人】（３９７０３８６８０）日本ノーベル株式会社 (8)
【Ｆターム（参考）】
[ Back to top ]