機器の検査装置及びこれを用いた機器の検査システム、携帯電話の保持装置
【課題】 携帯電話等の機器が備える操作ボタンの機能を簡単かつ自動的に判定できる検査装置を提供する。【解決手段】 携帯電話１をセットするアダプタユニット２、携帯電話１の表示部であるＬＣＤパネル３を撮像して画像を得るカメラ４、携帯電話１のキーボタン５の一つを押し下げるレリーズ６を複数有するプランジャーユニット７、プランジャーユニット７の動作、ＬＣＤパネル３の表示内容の可否判断等のためのコンピュータ８、ＬＣＤパネル３の画像やコンピュータ８からの信号に基づく画像を表示するモニタ９からなる。レリーズ６によるキーボタン５の押し下げで得る静止画像、動画画像、音声出力を所定の期待画像、期待音声と比較して携帯電話１の機能判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話等の機器の操作ボタンや蓋の開閉機構が設計通りに機能するかどうかを判定するための検査装置と保持装置に関する。
【背景技術】
【０００２】
周知のように携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置等の機器には多数の操作ボタン、有線・無線の入力端子が設けられており、使用者は目的に応じて適宜これら操作ボタンを操作したり、信号を入力するようになっている。また近年ではＬＣＤ等を用いた表示部と操作ボタン等を備えた操作部とをヒンジで連結して折り畳み式にしたものが多くなっている。ところでこれらの機器の操作ボタンは、例えば携帯電話やＰＨＳにあっては単に電話をかけるためのダイアリングや、文字入力に用いられるだけでなく、電話機やコンピュータとしての種々の設定のためにも用いられるようになっている。
【０００３】
これらの設定には、例えばオートロック、通話料金表示、使用時間表示、着信音設定、使用者情報設定、使用言語設定等があり、昨今の携帯電話ではかなり多様かつ複雑な設定が可能になっている。ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置等でも同様である。
【０００４】
また例えばＰＤＡやカーナビゲーション装置では、表示部にタッチパネルを用いているものが多く、ハードウェアの操作ボタンだけでなく、表示部にソフトウェアで表示した操作ボタンによっても上述のような操作を可能としている。なお以下では、特にことわらなければ、単に操作ボタンというときは、ハードウェアの操作ボタンだけでなく、ソフトウェアで表示した操作ボタンを含むものとする。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって携帯電話やＰＤＡ等の機器の製造者は、出荷前に操作ボタン等を用いたこれらの設定操作、動作を不具合がなく行えるか否かを検査して判定、確認しておく必要がある。従来携帯電話等の機器の製造各社は、この判定、確認作業を手作業に近い形態で行っており、その手間が無視できないため、改良が求められていた。
【０００６】
そこで本発明は、上記従来の問題点にかんがみ、携帯電話等の機器の操作ボタン等による種々の設定動作が設計通りに行えるようになっているかどうかを簡単かつ自動的に判定できるようにした携帯電話等の機器の検査装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の機器の検査装置は、外部からの物品接触による入力、音声入力、有線信号入力、無線信号入力、赤外線信号入力、画像信号入力を含む外部入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象として、該機器の動作を検査する検査装置であって、上記外部入力に対応する出力を上記機器に対して発生する検査項目出力手段、検査対象機器の出力手段の出力を機器外部で検出する検出手段、上記検査項目出力手段を動作させる手順を指定するシナリオ設定手段を有し、上記シナリオ設定で指定した手順に応じた上記検査項目出力手段の動作によって外部入力を選択的に入力して、上記検出手段が検出した検査対象の出力と、上記検査対象機器の内部状態と外部入力とから予想された期待値との一致性を確認可能としてなることを特徴とする機器の検査装置である。
【０００８】
また、本発明は上記機器の検査装置の上記検査項目出力手段は、複数のスイッチ、つまみを操作する所定の自由度を有するロボットを備えることを特徴とする。
【０００９】
また、本発明は、上記機器の検査装置の上記検査項目出力手段は、検査対象機器が、音声入力手段、画像信号入力手段、有線信号入力手段、電波、赤外線を含む電磁波による無線入力手段のいずれかを備えるものであることを特徴とする。
【００１０】
また、本発明の機器の検査装置は、上記目的を達成するために、複数の操作ボタンを備える操作部及び該操作ボタンの少なくとも一の操作に応じて表示内容が変化する表示部を有する機器を検査対象として該機器の動作を検査する検査装置であって、上記表示部を撮像して画像を得る撮像手段、該撮像手段に対して検査対象機器を所定状態に搭載するためのアダプタ、上記操作ボタンの一つを押下可能な押下手段を複数有するボタン操作手段、該ボタン操作手段の選択及び動作制御を行う制御手段、及び上記撮像手段で得た画像や上記制御手段からの信号に基づく画像の表示手段とからなり、上記制御手段が、上記検査対象機器ごとに予め得ておいた該検査対象機器の全体画像を上記表示手段に表示させる手段、該表示手段で表示した上記全体画像の操作ボタン画像と上記ボタン操作手段の複数の押下手段とを関係付けるボタン割り当て手段、該表示した全体画像の表示部位置に上記撮像手段で得た上記表示部の画像を表示する手段、上記押下手段を動作させる手順を指定するシナリオ設定手段を有し、上記シナリオ設定で指定した手順に応じた上記押下手段の動作によって上記複数の押下手段を選択的に動作させ、上記検査対象機器の表示部に表れる表示内容と、上記表示部に表示される画像との一致性を確認可能としてなることを特徴とする。
【００１１】
また、本発明は、上記アダプタに、上記検査対象機器が発する音を集音するためのマイクを搭載してなることを特徴とする。
【００１２】
また、本発明は、上記アダプタに、上記検査対象機器が発する音を拡大出力するためのスピーカを搭載してなることを特徴とする。
【００１３】
また、本発明は、上記アダプタが、搭載した上記検査対象機器の少なくとも上記操作部の上方を覆うとともに、上記押下手段を所要の操作ボタンに対応配置するためのガイド孔を少なくとも上記所要の操作ボタンの数だけ有するガイドプレートを含むことを特徴とする。
【００１４】
また、本発明は、上記検査対象機器が、上記表示部と、上記操作部とをヒンジ等を介して連結した折り畳み及び開閉動作可能な機器であって該開操作用の操作ボタンを備えるものであり、上記操作手段が、該開操作用の操作ボタンを操作するための押下手段を有することを特徴とする。
【００１５】
また、本発明は上記撮像手段が撮影した対象機器の表示部に現れる表示内容と、上記表示部に表示される画像とを比較し、それらの一致性についての情報を出力する画像判定手段を備えたことを特徴とする。また、本発明は、上記画像判定手段が静止画または動画を判定対象とすることを特徴とする。
【００１６】
また、本発明は、上記画像判定手段が、上記撮像手段のキャリブレーションを行う行程を備えたことを特徴とする。
【００１７】
また、本発明は、上記画像判定手段が、撮影場像と基準画像とを比較して、それらの異なる領域を抽出し、表示のエラー個所を判定することを特徴とする。
【００１８】
また、本発明は、上記画像判定手段が、判定対象となる画像のコントラストを強調した補正を行いこの補正後の画像を判定対象とすることを特徴とする。
【００１９】
また、本発明は、判定対象となる画像取り込み枠を設定して判定対象とすることを特徴とする。
【００２０】
また、本発明は、上記画像判定手段が、判定対象から画像明度の高い部分を抽出して判定対象とすることを特徴とする。
【００２１】
また、本発明は、上記画像判定手段が、相違の程度を明度差として抽出し相違程度の大きさと、相違個所の大きさに基づいてエラー個所を判定することを特徴とする。
【００２２】
また、本発明は、上記画像判定手段が、撮像手段で取り込んだ動画を複数の静止画として格納手段に格納し、判定基準となる期待値と時間的なタイミングを合わせて比較することを特徴とする。
【００２３】
また、本発明は、上記画像判定手段が、取り込んだ複数の静止画のうち特定の静止画に着目し、この着目した静止画と時間的に近接した静止画との平均値を求め判定対象の画像とすることを特徴とする。
【００２４】
また、本発明は、上記画像判定手段が、判定対象となる画像を色別に分離した複数の色別画像データと、明度データのみを備えたグレイデータとを作成し、各色別画像データ中で差分値を求め、それらの差分値から総合グレイ値を作成し、総合グレイ値の変化量の大きい個所を変化量大領域として抽出し、この変化量大領域の重心を求める処理を行うことを特徴とする。
【００２５】
また、本発明は、上記画像判定手段が、それらの差分値から総合グレイ値を作成し、総合グレイ値の変化量の大きい個所を変化量大領域として抽出することを特徴とする置。
【００２６】
また、本発明は、上記画像判定手段が、移動領域の差分を求める処理を行うことを特徴とする。
【００２７】
また、本発明は、画像の絶対値で判断することを特徴とする。
【００２８】
また、本発明は、上記複数の結果に基づいて最終判定を行うことを特徴とする機器の検査装置である。
【００２９】
また、本発明は、上記マイクで取得した対象機器が発生する音声と、上記対象機器が発生すべき音声とを比較し、それらの一致性についての情報を出力する音声判定手段を備えたことを特徴とする。
【００３０】
また、本発明は、上記音声判定手段が、ＤＴＭＦ音の判定を行うことを特徴とする。
【００３１】
また、本発明は、上記音声判定手段が、ＲＴ／ＲＢＴ音の判定を行うことを特徴とする。
【００３２】
また、本発明は、上記音声判定手段が、マイクで採集した音声のうち大きなレベルを有する音声の周波数を測定して判定することを特徴とする。
【００３３】
また、本発明は、上記音声判定手段が、周波数分析を行いその結果に基づいて判定を行うことを特徴とする。
【００３４】
また、本発明は、上記音声判定手段が、対象機器が発生する音階変化のある音データの判定を行うことを特徴とする。
【００３５】
また、本発明は、無音区間を検出して音声判定の開始点として認識することを特徴とする。
【００３６】
また、本発明は、上記機器の検査装置を、電子通信可能なネットワークを介して複数接続し、一の機器の検査装置をサーバーとし、他の機器の検査装置をクライアントとし、上記サーバーとした一の機器の検査装置の上記制御手段が、上記クライアントとした他の機器の検査装置を制御する手段を有することを特徴とする機器の検査システムである。
【００３７】
また、本発明に係る携帯電話の保持装置は、複数の移動可能なあるいは位置固定の支持部材で携帯電話を保持し、着脱可能なゴムヒモなどの弾性部材でホールド性を高め、サイズ等が異なっても種々の携帯電話を保持可能なことを特徴とする。
【００３８】
また、本発明は、複数の支持部材が、位置固定の一対のガイド支持部材と、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた少なくとも一つの親スライダと、該親スライダ上にそれらの軸線方向でスライド可能に取り付けた子スライダと、上記親スライダと平行でかつ位置固定に上記ガイド支持部材間に設けた保持用支持部材から構成してあることを特徴とする。
【００３９】
また、本発明は、上記親スライダが上記携帯電話の底面を支持し、上記子スライダが上記携帯電話の側面を支え、上記保持用支持部材が上記携帯電話の保持性を向上させる支持部材として構成してあることを特徴とする。
【００４０】
また、本発明は、上記子スライダを上記ガイド支持部材間のセンターに位置を合わせるテンションをかける弾性部材を備えることを特徴とする。
【発明の効果】
【００４１】
本発明に係る携帯電話等の機器の検査装置及びこれを用いた機器の検査システムは、以上説明してきたようなものなので、携帯電話やＰＨＳ等が、それらの操作ボタン等の外部入力による種々の設定動作、静止画像、動画、及び音声が設計通り出力されるようになっているかどうかを、簡単かつ自動的に判定できるようになるという効果がある。
【００４２】
本発明に係る携帯電話の保持装置は、サイズ等が異なっても種々の携帯電話を保持可能である。
【００４３】
また本発明に係る携帯電話の保持装置は、携帯電話だけでな
くＰＤＡ等及びその他の同等機器をもサイズ等が異なっても種々の携帯電話を保持可能である。
【発明を実施するための最良の形態】
【００４４】
以下本発明の実施の形態について図面を参照して説明する。なお以下では携帯電話を検査対象機器とする例についてのみ説明するが、既述のＰＤＡ等及びその他の同等機器についても本発明を適用できることは明らかであるので、そのような機器についての説明は省略する。
【００４５】
また、実施形態は、外部からの物品接触による入力は、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象とする。
【００４６】
また、以下では、上記外部入力に対応する出力を上記機器に対して発生する検査項目出力手段として複数の操作ボタンの一つを押下可能な押下手段を複数有するボタン操作手段を例としているが、これは適宜の自由度（例えば、３軸、６軸）を有するロボットで、複数のボタンを順次押下するようにしてもよい。特に多軸のロボットを使用した場合には、立体的に配置されたボタン、つまみを的確に操作することができる。
【００４７】
さらに、検査項目出力手段は、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力上記外部入力である場合には、これらに対応する出力をなすものとすればよい。
【実施例１】
【００４８】
図１は、本発明に係る機器の検査装置の一実施形態を概念的に示す側面断面図である。本実施形態装置は、判定、検査しようとする携帯電話１を予め定めた状態にセットするためのアダプタを構成するアダプタユニット２、携帯電話１の表示部であるＬＣＤパネル３を撮像し、ＬＣＤパネル３の画像を得るカメラ４、携帯電話１の操作ボタン（以下では特に必要がないかぎりキーボタンという。）５・・・の一つを押し下げ可能なレリーズ６を押下手段として複数有するプランジャーユニット７、プランジャーユニット７の動作を制御するとともに、この動作制御に対応するＬＣＤパネル３の表示内容の可否を判断する等の制御のためのコンピュータ８、さらにはカメラ４で得たＬＣＤパネル３の画像やコンピュータ８からの信号に基づく画像の表示手段となるモニタ９から構成してある。なおコンピュータ８は、ハードウェアとしてはビデオキャプチャーボード、入出力用ボード、サウンドボード、イーサネット（登録商標）ボードあるいはこれらと同等構成品を備えるものとし、ソフトウェアとして、後述する携帯電話自動評価システムソフトならびにＯＳソフト、そして必要に応じてテキストエディタ、ワードプロセッサ、データベースソフト等を内蔵するものが好ましい。またキーボード、マウス、ネットワーク端子（端末対向テスト用）、プリンタ等をもシステム構成に含ませることができる。
【００４９】
携帯電話１は、図示の例では折り畳み型のもので、ＬＣＤパネル３を有する表示部１１と、キーボタン５を有する操作部１２とからなるが、検査対象となる携帯電話としてはこのタイプのものに限定されず、表示部１１と操作部１２に対してそれぞれ外側からアクセスできればストレートタイプのもの、フリップタイプのもの等どのようなものでも対象とすることができる。なお本発明は、対象機器を携帯電話１に限るものではなく、ＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置等の機器であり、いくつかの操作ボタンが設けられていて、これらを操作するようになっているものであれば種々の機器に適用できる。
【００５０】
図２はアダプタユニット２とその上に固定した携帯電話１を示す斜視図である。このアダプタユニット２は、折り畳み型の携帯電話１のＬＣＤパネル３の表面をカメラ４の光軸に対して垂直面をなすようにセットするためのベース板２１と、その状態でカメラ４の光軸に対して所定の角度をなす携帯電話１の操作部１２をセットできる傾斜板２２と、傾斜板２２との間に携帯電話１の操作部１２を挟んだ状態で並行またはほぼ並行にセットするレリーズガイドパネル２３と、これらを支持する一対の側板２４、２４とからなる。なおストレートタイプやフリップタイプの携帯電話等においては、図示の例のようにベース板２１と傾斜板２２を別体としかつ角度を付ける必要がないことが多いので、アダプタユニット２の構成は図示の例に限定されず、対象機器の形状、構造に合わせればよい。またレリーズガイドパネル２３は、側板２４、２４間に対して挿抜可能に取り付けてあり、評価対象とする携帯電話１の操作部１２のキーボタン５の数等に合わせてレリーズ６を挿入する孔２５・・・を有するとともにかつ対象機器に合わせて交換できるようになっている。またレリーズガイドパネル２３には、携帯電話１のマイク（図示せず）に対応させた位置に孔（図示せず）を設け、この孔の位置にスピーカ２６を取り付けできるようにしてある。
【００５１】
図３はカメラ４等を装備するためのベースユニット３０の側面図である。このベースユニット３０は、ベース板３１と、カメラ４やマイク３２を搭載するためのタワー部３３とからなり、ベース板３１上にはピン等（図示を省略する）を設けてアダプタユニット２を位置決め搭載可能とし、タワー部３３には、光軸が垂直下方を向くようにかつ上下動可能にカメラ４を取り付けるとともに、携帯電話１のスピーカ１３に対応させてマイク３５を設けてある。なお、カメラ４の光軸はもちろん垂直下方以外の方向へ向けても良く、それに合わせてアダプタユニット２等の取り付け、配置形態を変えればよい。なお、カメラ４の位置を可変させる機構も備えているが説明を省略する。
【００５２】
プランジャーユニット７は、レリーズ６を複数本、詳細には評価対象とする携帯電話１のキーボタン５の個数以上の本数を有し、これらを選択的に駆動できる装置である。駆動装置そのものは公知であるので説明は省略する。またレリーズ６は、図４に示すように、チューブ６１とその中を通したピン６２からなるいわゆるレリーズワイヤタイプのものであるが、図示のように、レリーズガイドパネル２３の孔２５への着脱が容易に行えるように、チューブ６１先端に設ける金属管部６３のネジヤマ６４を全長にわたらずに基部近傍のみ設けてある。なお基部にはロックネジ６５と調節ネジ６６とが設けてあり、ピン６２の飛び出し長さを調節できるようにしてある。ただしこのタイプのレリーズでは、ピン６２の飛び出し長さが長いほど確実にキーボタン５に届くようになるが押す力が弱くなる。
【００５３】
なお、各ユニット、カメラ等の配線、駆動系、信号伝達系等々についての図示及び説明は省略する。
【００５４】
本実施形態装置は、アダプタユニット２に載置した携帯電話１のキーボタン５に対してプランジャーユニット７の所望のレリーズ６を駆動してキーボタン５を押し下げ、この押し下げによって変化するＬＣＤパネル３をカメラ４により撮影し、所望のキーボタン５の押し下げに伴って設計、製造時に設定した通りの画像がＬＣＤパネル３に表れるか否か等を判定するものである。
【００５５】
図５は、モニタ９にメイン画面として表示させる画面の内容を示す図である。この画面は、カメラ４により撮影したＬＣＤパネル３の画像３ａと、例えばデジタルカメラ等で撮像して予め得ておいた判定、検査対象となる携帯電話１の全体平面画像１ａとを合成して示している。
【００５６】
次に本実施形態装置における評価の流れを説明する。評価は、（１）機種ファイル作成（ボタン設定、ＬＣＤ画面調整）（２）シナリオ作成（設計書や仕様書（期待値画像とテスト項目）を用意して、シナリオを作成する）とデバッグ（３）１回目の評価（実行、手動判定、画像入れ替え）（４）２回目以降の評価（実行・自動判定）という手順になる。以下、本実施形態装置における評価の手順等について詳細に説明する。
【００５７】
まず機種ファイル作成について説明する。
【００５８】
評価の開始に当たっては、最初に機種ファイルの新規作成を行い、携帯電話１の情報を設定する。機種ファイルとは、携帯電話１の個別情報をまとめたファイルであり、画像の調整や携帯電話１のキーボタン５とレリーズ６の対応を設定する。
【００５９】
即ち、予め用意しておいた評価対象携帯電話の画像ファイルを用い、モニタ画面に携帯電話１の全体画像を、もちろん表示部１１と操作部１２とが見えるように表示させ、これに組み合わせるＬＣＤパネル３に相当する画面を作成する。なお画像ファイルとしては、例えばビットマップ形式で、メイン画面に収まるぐらいの大きさのものを用意する。そして、判定に必要なキーボタン５の設定とレリーズ６の割り当てを行う。キーボタン５は一つずつ設定する。即ち、図６に示すようにメイン画面上で携帯電話１のキーボタン５を囲んで範囲を指定し、キーボタン５の個数分だけ名称とプランジャーユニット７のレリーズ６の番号を指定する。図７は携帯電話情報設定画面、図８はボタン情報設定画面、図９はボタン情報一覧画面、図１０はキーボタン５の情報設定でのレリーズ６の番号入力例を示す図である。
【００６０】
キーボタン５に対応するレリーズ６が、メイン画面上に作成したキーボタン５をクリックしたときに動作するかは、実際にプランジャーユニット７を動作させて確認する。例えばメイン画面での操作により作成したキーボタン５をクリックすると、そのキーボタン範囲が青くなるようにして、対応するプランジャーユニットのレリーズが携帯電話のボタンを押すかどうかをチェックする。既述の機種ファイル編集画面で動作確認を行うようにすることもできる。
【００６１】
図１１は、特殊操作手順設定である携帯電話を待ち受け画面に戻す操作（リセット）、携帯電話に供給されている電源から切り電源を投入する操作（強制リセット）、折り畳み式携帯電話の開閉動作ボタンの設定を行う画面を示す。なお折り畳み開閉動作の機能が使用できるのは、携帯電話１が折り畳み式であり、それにアダプタユニットとプランジャーユニットが対応しており、レリーズ６で例えば磁石を用いた開閉機構の操作ボタンを押せる場合であり、これにより実際には携帯電話１を開閉せずに（図示の実施形態では既に開いてしまった状態で）検査、評価することができる。
【００６２】
以上のように設定してきた機種ファイルは、適宜の名称でコンピュータ８が内蔵しまたは外部手段として有する記憶媒体に保存する。この保存した機種ファイル、即ち作成済みの機種ファイルは修正できることはもちろんである。図１２は、機種ファイルの編集画面の図である。
【００６３】
図１３はモニタ９に表示させるＬＣＤパネル３画面の調整画面である。画像の調整は、必要があれば歪み補正データの取得、補正データに基づいた画像補正、補正後画像の微調整、の順に行う。また必要ならばＬＣＤ画面の大きさも調整する。図１３には、ＬＣＤ枠の設定部分、ＬＣＤオフセットの設定部分も示す。ＬＣＤ画面の調整画面での調整が終了し、必要があれば画像の補正を行い、補正後画像の台形補正を行う。図１４は、補正後画像の確認画面である。画像の色調や明るさ補正も行える。また補正後画像の微調整として、画像の台形補正を行え、基準となる画像をもとにＬＣＤ画面の大きさ、傾きの微調整を行う。
【００６４】
台形補正は、図１５に示すキャリブレーションシート４０を基準にカメラ４の焦点距離、歪み具合などのパラメータを求め、それを補正データとして画像を補正するものである。補正値を取得するには、携帯電話１にキャリブレーションシート４０を乗せてカメラ４で撮影し、メイン画面に表示されているキャリブレーションシート４０の画像の黒い四角、点がはっきり見えるようにする。次いでキャリブレーションシート４０を取り除いて携帯電話１のＬＣＤパネル３の画面を撮影する。図１６は歪み具合取得ウィザード画面の図である。歪み具合を取得
する前に、まず携帯電話１のＬＣＤパネル３画面の大きさとして縦、横サイズの測定値を入力し、歪み具合取得ボタンを押して歪み具合の取得を開始し、補正後画像として表示する。
【００６５】
次にシナリオ作成について説明する。
【００６６】
図１７は、シナリオ作成編集画面を示す図である。この画面は、シナリオ表示用のシナリオリストボックス５０と、コマンド設定タブ５１・・により切り替え可能な画面となっている情報設定部５２からなる。
【００６７】
シナリオ作成には、まずキーボタン５の操作コマンドをシナリオリストボックス５０に入力する。次いでキーボタン５の押下条件を情報設定部５２で設定する。ここでは、複数押し（同時に複数のキーボタン５を押下するコマンド）、押下時間（携帯電話のボタンを押下する時間の設定、押下間隔（１つのコマンドが終わってから次の処理に移るまでの間隔）を設定する。評価環境番号ラジオボタンは、評価環境の番号の設定するもので、対向試験を行う設定で使用する。また折り畳み部開閉は、折り畳み式携帯電話の開閉動作ボタンの押下間隔を設定する。もちろん、この機能が使用できるのは、折り畳み式携帯電話のアダプタユニットと折り畳み式携帯電話の開閉動作ができるプランジャーユニットを用意した場合のみである。さらに、再生、制御、単体シナリオ呼び出し、リモートシナリオ呼び出し（対向試験で対向先のコンピュータでシナリオを実行させるコマンド）、待ち、繰り返し、停止、判定の各コマンドを設定する。判定コマンドは、画像の期待値を取得し、その場で判定（即時判定）を行い、判定結果によってシナリオ実行を続けたり停止したりするためのものである。なお取得した実測値の判定は後述する確認画面で行うが、この判定コマンドを用いると、その場で判定し、判定の結果が期待した通りでなければシナリオの実行を中断することができる。また一つのシナリオ内で別のシナリオを入れ子状に呼び出すことを可能とするシナリオ呼び出しコマンドも設定できる。図１８は、その複数呼び出した例を示す図である。
【００６８】
図１９は、期待値設定タブの内容を示す図である。この画面では、携帯電話１の反応を記録するコマンドを入力できる。記録できるのはＬＣＤパネル３の画面の画像と、マイク３５で録音した音声である。なお図中５３は期待値画像表示スペースである。
【００６９】
画像取得コマンドは、期待値画像を設定し、実際の画像と比較することでテストを行うためのものである。期待値画像には、例えばｊｐｇ、ｂｍｐ、ｅｍｆ等の形式のファイルを設定する。また実測値を記録するタイミングとして、記録を開始するタイミングを指定するとともに、画像指定、判定範囲設定を行う。一方、音声取得コマンドは、マイク３５で集音した音声を録音するもので、キーボタン５を押下した時の音（ＤＴＭＦ音）を確認画面で判定することができるようにするものである。
【００７０】
なお図１７の入力支援部は、名前や電話番号などのひらがな、数字、アルファベット、記号を携帯電話１で入力するシナリオを自動生成するための部位である。またこの部位のキーボタン情報ボタンを操作すると、図２０に示すボタン対応表が表示されるようになっており、文字入力に使用する携帯電話１のキーボタン５と、機種ファイルで登録したキー名の対応を設定できる。
【００７１】
そして、作成したシナリオが正しく動作するか否かをデバッグを行うことでチェックする。なおデバッグ画面は、後述する実行画面（図２１）と同様である。チェックの結果は、例えば図２２に示すようなエラーレポートとして出力する。
【００７２】
次にシナリオの実行について説明する。
【００７３】
図２１は実行画面を示す図である。この画面は、シナリオリストボックス８０、実行時指定部８１、実行状況表示部８２からなり、実行状況表示部８２は、シナリオ一覧リストボックス８３、カレントシナリオボックス８４、期待値画像表示部８５、実行ＬＣＤ画像表示部８６からなる。シナリオリストボックス８０には、実行中のシナリオあるいはこれから実行するシナリオの名称を表示する。実行時指定部８１は、キーボタン５の押し時間に関する設定を表示する部位、期待値を記録するタイミングの設定を表示する部位、停止レベルを表示する部位を含む。またシナリオ一覧リストボックス８３は、選択しているシナリオとシナリオ集を表示し、カレントシナリオボックス８４は、シナリオ一覧リストボックス８３で選択しているシナリオを表示する。期待値画像表示部８５は、画像取得コマンド実行時、期待値として設定されている画像を表示し、実行ＬＣＤ画像表示部８６は同じく撮影した携帯電話１のＬＣＤパネル３の画面を表示する。
【００７４】
上述のような携帯電話自動評価システムを２セット使用して対向試験を行うことができる。対向試験では、相手方システムのコンピュータとＬＡＮで接続し、接続した側のシステムで同じシナリオを自動的に実行する。即ち、２台の携帯電話自動評価システムの、片方をサーバーとし、他方をクライアントとして、サーバーがクライアントを制御する試験となる。そして、サーバー側でシナリオ実行をすると、サーバーがクライアント側のプランジャーユニット７を操作することで２台の携帯電話１を操作できる。したがって、別の携帯電話１に電話をかけて、かけられた携帯電話機で電話をうけるというような検査を行うことができる。
【００７５】
なお対向試験であるか否かにかかわらず、シナリオを自動実行させ得るが、途中での手動による一時停止、停止、再開が可能であり、シナリオをステップごとに実行させるステップ実行、途中から自動実行に切り替える半自動実行も設定できる。
【００７６】
ある携帯電話について１回目のシナリオを実行した後、確認（手動判定と画像入れ替え）を行う。即ち例えば一度手動で判定を行い、判定結果が良ければ画像を入れ替える。まず、画像を確認し、期待値画像と実行画像が一致するかどうかについてシナリオの全ステップを判定する。複数のシナリオを実行するときは、全シナリオについて全ステップを判定する。そして期待値画像が直接画面を撮影した画像でない場合は、画像判定が行えないので期待値画像の入れ替えを行う。入れ替えを行うと、次に同じシナリオを実行したときには入れ替えられた画像が期待値としてデータベースに登録され、画像の自動判定を行うことができる。また用意した期待値画像のある一部分だけを自動判定に使用したいときは、判定範囲設定を行うことができる。
【００７７】
なお判定範囲にはデフォルト判定範囲と個別判定範囲を設定でき、前者ではすべての画像に同じ判定範囲を適用し、後者では画面上で範囲を設定された画像だけに適用する。判定範囲と除外範囲も設定でき、判定範囲と除外範囲を組み合わせることで、複雑な形の判定ができる。コンピュータを用いたシステムであるので、もちろん判定範囲の座標指定等も可能である。
【００７８】
そして２回目以降のシナリオ実行の結果は、期待値画像が入れ替えられていれば、自動判定ができる。自動判定機能は、用意された判定範囲に基づいて、期待値画像と実測画像が一致するかどうかを自動的に判定するものである。また、期待値ＤＴＭＦ音の周波数と実測ＤＴＭＦ音の周波数が一致するかどうかも自動的に判定できる。
【００７９】
なお、図示は省略するが、折り畳み型の携帯電話でかつキーボタン５を有する操作部１２の外面にもう一つの表示パネルを備えるものあるいは同様の構造のＰＤＡ等が近年開発、市販されている。これらを評価対象とする場合には、開いた状態でＬＣＤパネル３の表示を評価することと、閉じた状態で操作部１２外面の表示パネルを評価することを個別に行うこと、あるいはもう一つカメラを用意して、開いた状態とした携帯電話等の二画面を２つのカメラで同時にかつ個別に撮像して評価することのいずれでも可能である。
【００８０】
以下、画面の表示内容の評価方法について説明する。本例では、図２３に示すように、静止画、動画を評価する他、図２４に示すように携帯電話等の器具が発生する音声についても判定を行う。
【００８１】
まず画像の評価の概略を説明する。本例では、図２３に示すようにまずカメラ４からの画像のキャリブレーションを行う（Ｓ１０１）。このキャリブレーションは、システム全体で一回行えばよく、システムを構成する他の機器の検査装置のカメラが取得した画像に適用できる。
【００８２】
次に、各機器の検査装置において、検査対象携帯電話１の操作ボタン５を操作し（Ｓ１０２）、携帯電話１のＬＣＤパネル３に画像を表示させる。この画像を上記カメラ４で取得し静止画、動画別に画像判定を行う（Ｓ１０４）。
【００８３】
一方、音声判定においては、本例ではＤＴＭＦ音、ＢＴ／ＲＢＴ音、及びメロディについて判定を行う。この判定は、図２４に示すように、携帯電話１の操作ボタン５を操作し（Ｓ２０１）、発生した音声をマイク３５で取得し（Ｓ２０２）、音声信号を一端機器の検査装置に格納し、その格納した音声に対して判定を行う（Ｓ２０３）。まず、機器の検査装置の画像取得用の撮像装置のキャリブレーションについて詳しく説明する。
【００８４】
このキャリブレーションでは、図１５で示したキャリブレーション用シートの中央に表示されている７×７個の黒い点の座標を撮像画像から読み取る、そして、実際のキャリブレーション用シートと撮影した画像の点とを比較することによりカメラの撮影特性データを取得する。
【００８５】
まず、キャリブレーション用シートの画像を複数枚、例えば２０枚撮影する。これらの撮影に際しては、キャリブレーション用シートを様々な位置・角度に配置して撮影する。これにより、様々な条件下での、キャリブレーション用シート画像の点の位置座標を取得する。
【００８６】
次に、実際に検査する携帯電話の液晶画面と平行においたキャリブレーション用シートの画像を撮影する。すべてのキャリブレーション用シート画像から点の位置座標を取得し、これらのデータからカメラの焦点距離、放射状歪みの中心位置、歪み度合いを計算する。これは画像処理ライブラリによって計算される。画像処理ライブラリは市販のソフトウェア（例えばＭＶＴｅｃ社ＨＡＬＣＯＮ（商標））であり、上記各要素を計算するものである。そして、携帯電話画面に乗せて撮影した（最後の）キャリブレーション用シート画像の歪みがなくなるよう補正を行う。
【００８７】
本例では、キャリブレーション用シートから点の位置を検出するのに、当装置の被い内で撮影するため暗い画像になってしまう。画像処理ライブラリの中にはシートの矩形位置を取得する関数があり、指定した特定の色のラインで表示される矩形のみを取得することができる。
【００８８】
この関数には閾値を引数として渡すが、これが高すぎると暗い画像では検出することができない。逆に閾値が低いと誤った領域を取得してしまう。また、ライブラリの戻り値では矩形を取得できたかがわからない。失敗したまま続けていくと後からエラーとなることがあるので、ここで正確に矩形領域を取得する必要がある。
【００８９】
このため、暗いムラのある画像でもマークを検出することができるように、高い閾値から序々に閾値を下げながら、上記と同じ矩形を取得する関数を実行することとする。取得された領域が最も正方形に近い形になったところで止めるようにする。
【００９０】
次に、キャリブレーション用シートの画像からカメラの歪みを修正するためのパラメータを取得する。カメラの焦点距離、放射状歪みの中心位置、歪み具合、最後のキャリブレーション用シートの画像に合わせて変換したカメラ座標を画像処理ライブラリで計算する。
【００９１】
以上より求めたパラメータを用いて携帯電話の画像に変換をかける。上記の値を用いて、最後に取得したキャリブレーション用シートと、携帯電話のＬＣＤ画像に対して変換をかける。これでキャリブレーション用シートは歪みのない正方形で表示される。
【００９２】
さらに、中央に適度な大きさで表示されるよう変換をかける。最終的にはキャリブレーション用シートではなく、携帯電話のＬＣＤ画面が中央に歪みなく表示されるのが目的なの
で、適切なサイズで中央に表示されるよう変換パラメータを化させながら変換を繰り返す。
【００９３】
そして、他の機種の基準画像に合わせて他の機器の検査装置で画像が使用できるよう、補正をかける。ユーザは基準となる画像を１枚選択し、自動補正ボタンをクリックするだけで、現在の画像が基準画像と同じサイズ・明るさになるよう補正される。
【００９４】
基準画像に合わせて自動補正をかける。即ち、位置、回転、拡大・縮小、縦横比が基準画像と一致するようアフィン変換をかける。カメラで撮影している画像から静止画を取得するときにこの補正をかけている。
【００９５】
次に、基準画像に合わせてカメラの明るさ・コントラストを調整する。静止画の明るさを後から変えると、元の画像は例えば０〜２５５のデータしか持っていないので、例えば明るすぎて白く飛んでいる場合は正確な色の値が分からない。よって、撮影後の画像に変換をかけるのではなく、カメラの設定値を直接変更する。カメラの明るさ・コントラストを変化させながら連続して撮影・比較することにより適切な明るさ・コントラストに合わせていく。
【００９６】
次に静止画の比較について説明する。
【００９７】
本発明に係る機器の検査装置の画像処理では、入力画像としてどのような画像が来るか予想がつかない。したがって、入ってきた画像によって最適な判定ロジックを選択し、ミスのない判定を行う必要がある。具体的には、画面の細かい画像、暗い画像が入ってきても判定しやすい明るさに補正し、ある程度の面積を持った領域の違いを判定する。
【００９８】
ＬＣＤの明るい領域を例えば以下のように取得する。
【００９９】
図２９に示すように、画像のヒストグラム（０〜２５５）を求め、それを大きく３つの山に分ける。そのうち暗い方から数えて１つ目の山と２つ目の山を分ける境目の値で閾値処理を行う。
【０１００】
また、山が偶数にしか分かれない場合は中心をとる。１つ目の山と２つ目の山を分ける間をとる理由は、本例では、画像を周りの黒い枠と明るいＬＣＤ部分に分けたいので、黒いところが除ければよい。しかし、中には光が漏れて灰色に明るくなってしまう場合もあるので、このような方法を採用する。
【０１０１】
画像の明るさが大きく異なる場合に、それらを同じ程度の明るさに合わせるか、または明るさが違うためにＮＧと判断するかは、設定ファイルの値で決めることができ、ユーザが変更することも可能である。
【０１０２】
ここで設定した値より実際の画像の明るさが異なっていた場合は位置補正をしないまま画像比較し、一致しなかったという結果を出す。
【０１０３】
基準画像から位置合わせのためのテンプレートを作成基準画像と実測画像のずれをなくすため、後工程で位置補正を行う。そのためのパターンマッチング用テンプレートを基準画像を元に作成する。（画像処理ライブラリで計算）テンプレート作成用の画像を選択する。
【０１０４】
本例では、ＬＣＤ領域の淵（幅３ピクセル）の領域に画像を絞り込んだものを登録画像としている。これにより正確かつ速い位置補正が可能となる。
【０１０５】
次に元画像のコントラストが低い場合はコントラストを上げるための補正を行うこれは、単にガンマ補正をかけるのではなく、図２８に示すように、色平均値より明るい部分はより明るく、暗い部分はより暗く補正する。画像平均値と最大値・最小値から明るさ強調の変換テーブルを計算して、コントラストの補正を行う。色合いの微妙な画像の判定に使用する。このようにコントラストを上げると、途中でここから上は明るくし、ここから下は暗くするといった変極点が生じる。
【０１０６】
次に、基準画像に合わせて実測画像の色補正を行う。このとき、多少違う画像でも同じように色補正されるよう細かい画像やエッジ領域を除いた部分で調整する。基準画像と実測画像で色の平均値が閾値（ユーザが指定したパラメータ）だけ異なる場合は補正をかけないようにする。さらに、テンプレートを基準にパターンマッチングを行う。先に作成したテンプレートを基準にパターンマッチングを行う。これは、画像処理ライブラリで計算する。
【０１０７】
なお、繰り返し判定するときに、２度目以降は１回目の位置情報を利用して速く判定する。１回目の基準画像の位置データをとっておき、２回目以降の判定ではそれを読み込んで画像マッチングすることで位置合わせを行う。
【０１０８】
位置合わせを行った結果、大きくずれてしまった場合、またユーザが指定したよりも移動してしまった場合は元の位置に戻して、そのまま重ねて判定する。
【０１０９】
基準画像と実測画像をそのまま重ね合わせて判定を行う。色が大きく違う、位置が異なるなど何かしらＮＧであると思われる要素があった場合は、位置補正を行わないで単に画像差分をとった結果を出す。
【０１１０】
位置合わせで取得したデータに基づいて画像・判定範囲に変換をかける。位置合わせが成功した場合は、データに基づいてアフィン変換をかける。この処理は画像処理ライブラリで行う。そして、ユーザが指定した判定対象範囲に基準画像、実測画像の絞り込み判定を行う。
【０１１１】
次に、基準画像と実測画像の差分をとる。本例ではＲＧＢ画像とグレイ画像の４種類ごとに基準画像と実測画像で画像差分をとる。元画像のコントラストの低いものについては、差分を強調する処理をかけることが有効である。この処理は取得したＲＧＢ、Ｇｒａｙごとの差分画像を加算してよりはっきりさせるものである。
【０１１２】
差分画像に閾値処理でＮＧと期待される領域を取得する閾値（７０くらい、ユーザからも設定できる）から２５５の間で閾値処理を行う。基準画像と実測画像で異なる部分が抽出される。
【０１１３】
本例は、多数の画像をターゲットに、ロジックやパラメータを少しずつ変化させながら結果を比較していき、閾値として最も良かった結果のものを採用した。画像の明るさによって閾値を変えることが望ましい。基準の閾値は設定ファイルから読み込むが、画像が暗めの場合はそれに合わせて閾値を下げる。逆に明るい場合は上げるようにする。
【０１１４】
次にノイズ処理を行う。閾値処理で求めたＮＧ領域（画像差分領域）からノイズを削除し、本当にＮＧである領域のみを残す処理である。まず、ＮＧ候補領域から大きくＮＧだとわかる部分だけを抽出する。単に閾値より明るい部分をＮＧ領域とするのではなく、明るい部分が含まれていてかつＮＧ候補となる白い部分の周辺面積が大きいものだけを最終的なＮＧ領域とする。
【０１１５】
例えば、図２７に示す場合、左の領域は面積が広くても明るさの最大値が低いのでＮＧと判断されない。右の領域は中心の明るさが高くなっているので、この領域全体がＮＧとして検出される。
【０１１６】
上記処理により、ＮＧと判断された領域の面積がゼロであればＯＫ、１以上の場合はＮＧと判断され、ＮＧ領域が表示される。
【０１１７】
ノイズ処理に関しては、その他、比較対象画像を８方向に０．５ピクセルずつ動かし、位置合わせがほんの少しずれただけでノイズが増えるので、位置合わせを行った後さらに０．５ピクセルずつ移動させて、最もノイズの少なかった位置を最適とする方法や、ＮＧと判断された領域のうち、その領域のエッジの情報から「ずれ」と「違い」を判断する方法を採用することができる。
【０１１８】
次に本発明に機器の検査装置の動画判定処理について図３０ないし図３５ｄに基づいて説明する。図３０は、動画処理を示すフローチャートである。本例では、期待値、実測値はそれぞれａｖｉファイルとする。期待値と実測値は静止画に切り出したとき、同じサイズとする。ただし撮影時間は異なっても差し支えない。さらに、画像の周囲の枠が黒く表示されていることが望ましい。
【０１１９】
まず、カメラで撮影され格納された動画ファイル（ＡＶＩファイル）から、動画の読み込みを行う（Ｓ１４１）。そして動画を１フレーム毎（３０ｆ／ｓ）に静止画（ビットマップ）に切り出す。これは画像を読み出した撮像装置の取得フレーム数である。
【０１２０】
次に読み込んだ画像の平均化を行う。これは、図３３に示すように画像を１枚ずつ読み込み、２つ前の画像（図３１（ａ））と１つ前の画像（同（ｂ）と、着目した画像（同（ｃ）を合成し画像３枚の平均画像を取得するものである（Ｓ１４３）である。そして、３枚の画像の平均画像を１枚の画像（図３１（ｄ）として扱う。これにより期待値と実測値の切り出しのタイミングがずれていても平均化することによりなめらかな動きになる。
【０１２１】
さらに後の工程で期待値と実測値の同期を合わせた後に比較を行うのに使用するデータを取得する（Ｓ１４４）。そして、平均化した画像をＲＧＢ、Ｇｒａｙの４色に分ける（Ｓ１４５）。平均化した各画像を、ＲＧＢとＧｒａｙ画像に分ける。Ｇｒａｙ画像は人間の目で見たのと近いように０．２９９＊ｒｅｄ＋０．５８７＊ｇｒｅｅｎ＋０．１４４＊ｂｌｕｅとする。そして、グレイ画像を半分のサイズ（面積で４分の１）にしてメモリ上にとっておく（Ｓ１４６）。取得したグレイ画像を半分の倍率に縮小し、メモリ上に確保しておく。この際面積では元のサイズの４分の１とする（Ｓ１４７）。ＲＧＢ、Ｇｒａｙごとに１つ前の画像と引き算で画像差分をとる。より明るくなった部分とより暗くなった部分を求め、そのトータルグレイ値（面積とグレイ値（０〜２５５）の積分値）を取得する（Ｓ１４８）。これは、以下の（１）〜（３）の処理による。（１）ＲＧＢ、Ｇｒａｙ画像ごとに現在の画像から一つ前の画像を引いて、一つ前の画像より明るくなった部分を画像として取得する（図３２（ａ）、（ｂ）、（ｃ））。（２）同様に一つ前の画像から現在の画像を引いて、より暗くなった部分を画像として取得する。（３）取得した差分画像のトータルグレイ値（白く表示される部分の面積と明るさの積分値）をＲＧＢ、Ｇｒａｙごとに取得する。 これで、動画を静止画に切り出したときの１枚の画像あたり、８個のトータルグレイ値が取得できる。明るくなった画像と暗くなった画像がそれぞれＲＧＢ、Ｇｒａｙの４チャンネル分あることとなる。
【０１２２】
次にＲＧＢ、Ｇｒａｙごとに取得した差分画像を合わせる。この画像に閾値処理をかけて差分のあった領域を取得する（Ｓ１４８）。これは、以下の（１）〜（２）の処理による。（１）ＲＧＢ、Ｇｒａｙごとに取得した差分画像をＲＧＢ、Ｇｒａｙの４チャンネル分足す。（２）この４チャンネル分足した差分画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザ側で指定できる）。 これで、カラー画像としてより明るくなった部分の領域とより暗くなった部分の領域が取得できる。
【０１２３】
より明るくなった画像と暗くなった画像を合わせ、閾値処理をかけ前後の画像で差分のあった領域を取得する（Ｓ１４９）。この領域の重心を求める。これは以下の（１）〜（４）の処理による。（１）（Ｓ１４８）で取得したより明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像を足して一つの画像にし、一つ前との差分画像を取得する。（２）パラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する。（このパラメータはユーザ側で指定できる）この領域が一つ前の画像との差分領域になる。（３）（２）で取得した領域の重心位置を求める。前の画像と差がなく、差分の領域面積がゼロの場合は画像の中心位置を代入する。（４）より明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像をそれぞれ半分のサイズに縮小し、メモリ上に確保しておく（面積では４分の１）。
【０１２４】
動画のずれ時間を求め、実測値と期待値の撮影のタイミングを合わせる（Ｓ１５０）。ここで、期待値と実測値の撮影のタイミングが異なる場合や撮影時間が異なる場合でも判定できるよう、時間を合わせる必要がある。これは以下の（１）〜（４）の処理による。（１）期待値と実測値を１枚ずつ、ずらしながら（Ｓ１４７）で取得したトータルグレイ値を比較していく。期待値と実測値の時間が重なっている間だけ、１コマごとにトータルグレイ値の差分をとり、その合
計値を取得する。（２）期待値と実測値のタイミングが合ったところではこの差分が極小値となるので、１つ前の値より小さく、１つ後の値より小さいところが候補となる。そして（ｆ（ｎ＋１）−ｆ（ｎ））＋（ｆ（ｎ−１）−ｆ（ｎ））が最も大きくなるｎを求める。この差分が最も大きかったところを求めるずれ時間とする。（３）ＲＧＢ、Ｇｒａｙの４チャンネルで求められた時間が異なる場合は８個のデータの候補が多い順に選ぶ。（４）ＲＧＢ、Ｇｒａｙごとに取得された時間の候補が一致しない場合はすべてのチャンネルにてデータを合計し、その合計値が最も高かった場所（最も前後との差があった時間）をずれ時間とする。
【０１２５】
次に、実測値と期待値のずれを合わせた状態で、実測値と期待値のデータを比較する（Ｓ１５１）。即ち、ここでは、前の画像と比較して移動した部分の領域の重心位置を比較する（Ｓ１５２）。これは以下の（１）〜（３）の処理による。これは本例において、比較１となる。この比較１では、差分領域の重心位置を求め、場所の違いを求めるものである。（１）期待値と実測値の同期を合わせてからＳ１５９で求めた期待値と実測値の各画像の重心位置を比較する。Ｘ座標、Ｙ座標ごとに差を求め、それぞれが画像の幅・高さに対してどれだけの割合かを求める（１−Ｘの差分／判定範囲の幅、１−Ｙの差分／判定範囲の高さ）。（２）上記（１）を、切り出した画像分求めて平均値をとる。この値が低いと一致率が低いということになる（１に近いほど差がないということになる）。（３）ここで求めた値（０〜１．０）を比較結果としてｒｅｓｕｌｔ１とする。
【０１２６】
図３３（ａ）、（ｂ）で示した画像は、異なる個所でアイコンが点滅している画像を示ししており、この比較１により違う画像であると判断することができる。
【０１２７】
より明るくなった領域と暗くなった領域ごとに、期待値と実測値の移動領域を比較する（Ｓ１５３）。これは以下の（１）〜（５）の処理による。
【０１２８】
これは本例中の比較２となる。この比較２では、移動領域の差分をとり、動きの違いを見る。 （１）期待値と実測値の同期を合わせてから（Ｓ１４８）で求めた期待値と実測値の領域の差分をとる。（２）次に、「期待値または実測値で移動のあった領域」を取得する。期待値、実測値ともに輝度の増えた画像と減った画像（計４種）をすべて足して合成する。これに閾値処理をかけ、明るく表示される部分を領域として取得する。この領域に膨張収縮処理をかけ、ある程度の面積を持つ領域に絞る。これを「動きのあった領域」とする。（３）輝度の増えた画像、減った画像ごとに期待値と実測値の差分を取得する。期待値と実測値が同じように変化している場合はこれらの差分をとることで、相殺されて領域がなくなるが、移動個所の異なる場合は差分をとってもその領域が残る。（４）上記（３）の画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザ側で指定できる）。輝度の増えた画像と減った画像の領域を足してひとつの移動差分領域として取得する。（５）上記（２）で取得した「動きのあった領域」に対する（４）で取得した期待値と実測値の差分領域の割合を求める。次に、上記（２）で求めた「動きのあった領域」が画像の判定対象面積に対してどれだけの割合かを求める。この面積が小さい場合は（５）で取得した差分領域の割合よりさらに小さくする。処理が必要とされるのは、動きのあった面積が判定範囲の面積に対して小さいというのは、動き自体が少ない動画となるからである。つまり、期待値と実測値の動画部分が異なったところで差は小さいということになるからである。以上より「動きのあった領域」に対する期待値と実測値の差分領域の割合（０〜１）を１から引くと、期待値と実測値が同じように動いた割合（一致率）を求めることができる。この値は大きいほど（１に近いほど）一致率が高くなる。（６）上記（５）の値をすべての画像で求め、画像枚数で割ることにより画像１枚あたりの平均値を求める。ここで求めた値（０〜１．０）を比較結果ｒｅｓｕｌｔ２とする。
【０１２９】
図３４（ａ）、（ｂ）で示した２枚の画像をこの比較２により違う画像であると判断することができる。
【０１３０】
縮小した画像の画像差分をとることで比較し、背景も含めて画像全体がどれだけ異なるかを比較する（Ｓ１５４）。これは以下の（１）〜（２）の処理による。これは本例中の比較３となる。この比較３では、画像の絶対値で判定する、即ち本比較３では静止状態での違いを見るのである。（１）期待値と実測値の同期を合わせ、合わせた時間同士でＳ１５６で取得した期待値と実測値の画像の差分をとる。まず期待値と実測値で位置合わせを行う。具体的には期待値を基準に実測値画像に対してパターンマッチングを行い、見つかった位置にアフィン変換で実測値を移動させる。期待値と実測値の時間が重なる場合はすべての画像において位置合わせを行う。位置合わせを行った後、期待値と実測値の画像差分をとる。（２）上記（１）で取得した期待値と実測値の差分領域から、Ｓ１６３−（２）で取得した動きのあった領域を引く。これによって背景（静止画部分）のみの違いを取得することができる。差分画像に閾値処理をかけ、のこった面積が大きいほど一致率が低くなる。（３）この面積は１００％異ならなくても人間の目では充分異なっていることが分かるので、結果（＜１）を２乗した値を答えとする。（４）ここで求めた値（０〜１．０）をさらに２乗し、比較結果としてｒｅｓｕｌｔ３とする。なお、画像の絶対値比較は他の処理では行われない。他の処理はすべて相対位置での比較のため、画像全体の明るさが異なるときなどは比較しても同じと判断されてしまうからである。
【０１３１】
図３５（ａ）、（ｂ）で示した２枚の画像をこの比較３により違う画像であると判断することができる。
【０１３２】
そして、以上の比較要素を掛け算し、最終結果を得る（Ｓ１５５）。期待値と実測値の同期を合わせてから上記のｒｅｓｕｌｔ１，ｒｅｓｕｌｔ２，ｒｅｓｕｌｔ３の結果を取得し、これらの積をとる（値は、０〜１．０となる）。これに１００をかけて％に対応させた結果を返す。
【０１３３】
そして、結果（０〜１００）を返す（Ｓ１５６）ことにより、この値が閾値以上である場合、合格とし、閾値未満である場合不合格とする。そして、次に本発明に係る機器の検査装置の音声判定を図３６ないし図３８に基づいて説明する。本例では、ＤＴＭＦ判定（図３６）、ＢＴ／ＲＢＴ判定（図３７）、メロディ判定（図３８）の３つの判定を行う。
【０１３４】
まず、ＤＴＭＦ判定を、図３６に基づいて説明する。
【０１３５】
ＤＴＭＦ（Ｄｕａｌ Ｔｏｎｅ Ｍｕｌｔｉ Ｆｒｅｑｕｅｎｃｙ）は、電話のボタン（０〜９、＊、＃）ごとに割り当てられている、２種類の周波数からなる音声信号である。ＤＴＭＦ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＤＴＭＦ番号（０〜９、＊、＃）と一致するかどうかを判定する。
【０１３６】
ＤＴＭＦ音は、それぞれ予め定められた固有の周波数の組合せであるため期待値として利用するのは各ＤＴＭＦの周波数情報であり、期待値としての音データは保持しない。各番号に対応する周波数情報は、下表の通りである。
【０１３７】
【表１】
【０１３８】
以下に判定の手順を示す。まず、押しボタンを操作し（Ｓ２１１）実測値の中で最大音量を記録している周波数を２点取得して（Ｓ２１２）、この値を期待値ＷＡＶＥファイルを読み込む。
【０１３９】
次に、読み込んだＷＡＶＥデータをＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）にかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２１３）。すると、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる。
【０１４０】
次に取得した音量データを、ＤＴＭＦの周波数帯域が記録されていると思われる帯域を低域と高域の２つ（６５０Ｈｚ〜９７０Ｈｚ、１１５０Ｈｚ〜１５００Ｈｚ）に分ける（Ｓ２１４）。この２つに分けた帯域から、それぞれ最も大きい音量レベルが記録されているデータを１点取得する（Ｓ２１４）。この２つのデータをＤＴＭＦ音の実測値の周波数とする。
【０１４１】
さらに、期待値として指定されているＤＴＭＦ番号の周波数（２点）と、実測値から割り出された周波数（２点）の低域同士と高域同士でそれぞれ比較し（Ｓ２１６）、固定の許容誤差範囲（±２０Ｈｚ）内であれば一致していると判定する（Ｓ２１７、Ｓ２１８）。この許容誤差外であるときは不良であると判定する（Ｓ２１９） 次に、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）判定を図３７に基づいて説明する。ここで、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）とは、それぞれ以下の意味を持つ。即ち、ＢＴ（ビジートーン）は、電話の話中状態を表す音声信号（プーッ・プーッという音）（・は無音）であり、ＲＢＴ（リングバックトーン）は、電話の呼び出し状態を表す音声信号（プルルルル・プルルルルという音）である上記の「プーッ」、もしくは「プルルルル」の部分をＯＮデータと呼び、「・」の部分をＯＦＦデータと呼ぶ。
【０１４２】
ＢＴ／ＲＢＴ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＢＴ、もしくはＲＢＴと一致するかどうかを判定する。
【０１４３】
ＲＢＴ、ＢＴにはそれぞれ特有の鳴動パターン（ＯＦＦデータとＯＮデータの間欠パターン）があるため、そのパターンを数値化したものを期待値として利用する。よってこの処理で利用する音データは実測値のみとなる。
【０１４４】
以下に判定の具体的な手順を示す。まず、押しボタンを操作して（Ｓ２２１）鳴動音を取得する（Ｓ２２２）し、期待値ＷＡＶＥファイルを読み込む。次に、読み込んだＷＡＶＥデータをＦＦＴにかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２２３）。この処理で、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる（Ｓ２２４）。
【０１４５】
次に、音量データ配列の内容がＢＴ／ＲＢＴの周波数帯域（４００Ｈｚ±２０Ｈｚ）と一致するかどうか調べる（Ｓ２２５）。所定の許容誤差範囲内で一致する場合はＯＮデータであると判断し、そうでない場合はＯＦＦデータであると判断する。これを時間軸に沿って調べて、ＯＮデータとＯＦＦデータの数を算出した鳴動パターン配列を取得する。
【０１４６】
次に、期待パターンと取得した鳴動パターンを比較する。これには、まず実測パターンの有効部分を認識する。このとき、実測値の最初にＯＦＦデータが含まれている場合はその部分を切り捨てて、ＯＮデータから始まる部分をデータの有効部分とみなす。
【０１４７】
そして、期待パターンと実測パターンを、実測パターンの有効部分から時間軸に沿って比較する。それぞれの鳴動間隔ごとのＯＮ／ＯＦＦデータの要素数の差が指定の誤差範囲未満であれば、その位置は指定トーンのパターンの一部であるとみなす。
【０１４８】
そして、期待パターンと同じパターンが一定範囲持続している場合に、一致していると判定し、そうでない場合は不一致とする。
【０１４９】
次に、図３８に基づいて、メロディ判定の説明をする。本例でメロディとは、前述のＤＴＭＦ、ＢＴ／ＲＢＴ以外の、音階変化のある音データのことをいうものとする。
【０１５０】
メロディ判定では、マイクで収音した実測値を解析し、実測値に含まれる。音データが、期待値として指定されている音データと内容がどれくらい一致しているかということを一致率で表す。
【０１５１】
一致率を求める処理、及び一致率を求めるためのデータ生成には、一般に使用される音声ライブラリ（例えば、Ａｎｉｍｏ社のＶｏｉｃｅＢａｓｅＩＩライブラリ）を用いる。判定結果の合否は、システムの既定値またはユーザの設定した一致率閾値を判定処理で取得した一致率の値が上回るかどう
かで合否判定を行う。
【０１５２】
この処理で利用する音データは期待値、及び実測値の２つとなる。
【０１５３】
まず、期待値と実測値とをもとに、それぞれの処理データを取得する。即ち、期待値、実測値のＷＡＶＥファイルを読み込む（Ｓ２３１）。次に、無音区間検出（音声ライブラリ使用）を行い、有効データの開始位置を取得する（Ｓ２３２）。このとき、期待値と実測値の有効データ長をもとに、処理データの単位（１フレーム）ごとのデータ量を決める。
【０１５４】
次に、処理データを窓関数（音声ライブラリ）にかけ、ＦＦＴフィルタバンク分析（音声ライブラリ）を行い、マッチング処理用の処理データを取得する（Ｓ２３３）。次に、ＤＰ法（音声ライブラリ）による期待値と実測値の比較処理を行い、比較結果の距離データを取得する（Ｓ２３４）。そして、取得した距離データから一致率を算出する（Ｓ２３６）。
【０１５５】
さらに、算出された一致率が、指定の一致率閾値よりも大きい場合に一致していると判定し、閾値未満の場合不一致と判定する（Ｓ２３６〜Ｓ２３８）。
【０１５６】
これらの処理を予め定めたメロディについて行い音声判定処理は終了する。
【実施例２】
【０１５７】
図３９、図４０は、本発明に係る携帯電話の保持装置の一実施例を概念的に示す斜視図であり、図３９は、複数の移動可能なあるいは位置固定の支持部材１０１で、蓋部１０２を開いた携帯電話１を保持し、着脱可能なゴムヒモなどの弾性部材１０３でホールド性を高め、携帯電話１を押さえた状態を示している。図４０は、図３９の状態から携帯電話１を外した状態を示している。図４１は図３９の状態を詳細に示す平面図、図４２は同じく側面図である。
【０１５８】
複数の支持部材１０１は、位置固定の一対のガイド支持部材１０１ａ、１０１ａと、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた２つの親スライダ１０１ｂ、１０１ｂと、それぞれの親スライダ１０１ｂ上にそれらの軸線方向で、すなわち親スライダ１０１ｂのスライド方向とは直角に交叉する方向でスライド可能に取り付けた子スライダ１０１ｃと、親スライダ１０１ｂと平行でかつ位置固定にガイド支持部材１０１ａ、１０１ａ間に設けた保持用支持部材１０１ｄから構成してあり、親スライダ１０１ｂが携帯電話１の底面を支持し、子スライダ１０１ｃが携帯電話１の側面を支え、保持用支持部材１０１ｄが携帯電話１の保持性を向上させる支持部材として構成してある。
【０１５９】
なお、図示の実施例では、子スライダ１０１ｃを載せ得る親スライダ１０１ｂが２つしか設けていないが、例えばこれを４つに増やし、そのうち一つで携帯電話下部の高さを可変に支え、もう一つで携帯電話１の本体１ａではなく蓋部１０２のＬＣＤパネル３部分側の側部を押さえるものとする。残りの２つは図示の実施例と同じ役目をはたす構成とするとよい。
【０１６０】
また子スライダ１０１ｃのスライド部品を付け替え得るようにし、以下の３種類を必要に応じて交換可能とすることもできる。（１）携帯電話１の高さ方向とサイド方向の両方を押さえるもの（図示の実施例）（２）携帯電話１のＬＣＤパネル３部分のサイドを押さえるもの（様々な高さのＬＣＤパネル３部分が考えられるので、それらに対応できるように、例えば１０ｃｍ程の高さのあるものにするとよい）（３）携帯電話１の高さ方向のみを支えるもの（図示の実施例と同じ高さで、携帯電話１の特に本体部分１ａの側面に設けられるサイドボタンやケーブルの邪魔にならないような形状とすることが好ましい）
【０１６１】
また子スライダ１０１ｃは、例えばノギスと同様の構造のものとすることができるが、その構造の場合、歯車を使用しているため携帯電話１を挟んだときに少しガタがあり、片方を固定しても反対側ががたついてしまうことがあり得る。サイドボタンを押した場合は少しのガタがカメラ画像などに影響するので、しっかりと携帯電話１の両サイドを固定する必要がある。例えば子スライダ１０１ｃをネジ止めしてその位置を固定する構造とすることができるが、一つのネジでは上述のようなガタを無くすことが難しい場合は、ネジ止めを２箇所で行ってもよい。
【０１６２】
上述のように、子スライダ１０１ｃをガイド支持部材１０１ａ、１０１ａ間のセンターに合わせるためのテンションをかけるために、また携帯電話１のＬＣＤパネル３側が上がらないように、上からゴムヒモなどの弾性部材１０３で押さえつけるように固定しているが、弾性部材１０３は、子スライダ１０１ｂを構成する部品１０１ｂａに図４３に示すように穴１０１ｂｂを開け、ここに弾性部材１０３に設けた球状等の部材１０３ａを嵌入させて引っ掛ける。全ての子スライダ１０１ｃの部品にこの穴１０１ｂｂを空けておき、弾性部材１０３をどこにでも取り付けられるようにするとよい。なお図示の実施例ではゴムヒモなどの弾性部材１０３を用いているが、これに代えてバネを採用することもできる。
【０１６３】
また子スライダ１０１ｃの位置を変える場合には、ネジが完全に外れなくても緩めるだけで移動できるようにすることが好ましい。また、親スライダ１０１ｂに目盛を振るなどして、子スライダ１０１ｃを所定の位置に再度固定できるようにすることが望ましい。
【０１６４】
さらに、携帯電話１の本体１ａの端部を抑える固定の支持部材１０１ｅ、１０１ｅは、携帯電話１のタイプ、具体的には端部形状、端部構造の違いに対応できるように、ベースにネジ止めする構造等としておいて、交換できるようにすることが好ましい。
【産業上の利用可能性】
【０１６５】
本発明では、携帯電話を検査対象機器とする他ＰＤＡ、カーナビゲーションシステム等及びその他の同等機器についても本発明を適用できる。
【０１６６】
また、本発明では、外部からの物品接触による入力は、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象とすることができる。
【０１６７】
また、本発明では、適宜の自由度（例えば、３軸、６軸）を有するロボットで、複数のボタンを順次押下するようにすることができる。特に多軸のロボットを使用した場合には、立体的に配置されたボタン、つまみを的確に操作することができる。
【０１６８】
さらに、本発明では、検査項目出力手段は、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力上記外部入力である場合には、これらに対応する出力をなすもものとできる。
【０１６９】
またなお、携帯電話やカーナビの試験には外部に接続されたプログマブル電源、電波発生器、シグナルジェネレータ、測定器などの機器やこれらのコントロールソフトと接続した環境でテストをする場合がある。本発明では、外部機器制御の機能として、シナリオの中にこれら外部機器への制御用命令文を記述することにより、それぞれの機器の制御を行う外部制御モジュールソフトと交信を行い、連携した試験を行えるようにすることができる。外部制御モジュールは、接続機器ごとに用意し、本システムときめられたプロトコルにより、通信を行って外部制御モジュールより外部機器を制御、または値を得て本システムに渡すものとなる。
【図面の簡単な説明】
【０１７０】
【図１】本発明に係る携帯電話の検査装置の一実施形態を概念的に示す側面断面図である。
【図２】アダプタユニットとその上に固定した携帯電話を示す斜視図である。
【図３】カメラ等を装備するためのベースユニットの側面図である。
【図４】プランジャーユニットが備えるレリーズを示す図である。
【図５】メイン画面を示す図である。
【図６】メイン画面上でのキーボタンの範囲指定を示す図である。
【図７】携帯電話情報設定画面を示す図である。
【図８】ボタン情報設定画面を示す図である。
【図９】ボタン情報一覧画面を示す図である。
【図１０】キーボタンの情報設定でのレリーズの番号入力例を示す図である。
【図１１】リセットボタンの設定画面を示す図である。
【図１２】機種ファイルの編集画面の図である。
【図１３】ＬＣＤパネルの調整画面の内容を示す図である。
【図１４】補正後画像の確認画面である。
【図１５】キャリブレーションシートを示す図である。
【図１６】歪み具合取得ウィザード画面の図である。
【図１７】シナリオ作成編集画面を示す図である。
【図１８】シナリオを複数呼び出した例を示す図である。
【図１９】期待値設定タブの内容を示す図である。
【図２０】ボタン対応表を示す図である。
【図２１】実行画面を示す図である。
【図２２】エラーレポートを示す図である。
【図２３】本発明に係る携帯電話の検査装置の一実施形態の画像判定処理動作を示すフローチャートである。
【図２４】本発明に係る携帯電話の検査装置の一実施形態の音声判定処理動作を示すフローチャートである。
【図２５】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作を示すフローチャートである。
【図２６】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作の一例を示す図である。
【図２７】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作中の領域特定処理を示す図である。
【図２８】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作中の明るさ補正処理を示す図である。
【図２９】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作中の閾値決定処理を示す図である。
【図３０】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作を示すフローチャートである。
【図３１】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３２】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３３】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３４】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３５】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３６】本発明に係る携帯電話の検査装置の一実施形態のＤＴＭＦ音判定処理動作を示すフローチャートである。
【図３７】本発明に係る携帯電話の検査装置の一実施形態のＢＴ／ＲＢＴ音判定処理動作を示すフローチャートである。
【図３８】本発明に係る携帯電話の検査装置の一実施形態のメロディ判定処理動作を示すフローチャートである。
【図３９】本発明に係る携帯電話の保持装置の一実施例を概念的に示す斜視図である。
【図４０】本発明に係る携帯電話の保持装置の一実施例を概念的に示す斜視図である。
【図４１】図３９の状態を詳細に示す平面図
【図４２】同じく側面図である。
【図４３】子スライダへの弾性部材の取り付け構造を示す断面図である。
【符号の説明】
【０１７１】
１ 携帯電話１ａ 携帯電話の全体平面画像２ アダプタユニット３ ＬＣＤパネル３ａ ＬＣＤパネルの画像４ カメラ５ 操作ボタン（キーボタン）６ レリーズ７ プランジャーユニット８ コンピュータ９ モニタ１１ 表示部１２ 操作部２１ アダプタユニットのベース板２２ 傾斜板２３ レリーズガイドパネル２４ 側板２５ 孔２６ スピーカ３０ ベースユニット３１ ベースユニットのベース板３２ マイク３３ タワー部３５ マイク４０ キャリブレーションシート５０ シナリオリストボックス５１ コマンド設定タブ５２ 情報設定部５３ 期待値画像表示スペース６１ レリーズのチューブ６２ ピン６３ 金属管部６４ ネジヤマ６５ ロックネジ６６ 調節ネジ８０ シナリオ
リストボックス８１ 実行時指定部８２ 実行状況表示部８３ シナリオ一覧リストボックス８４ カレントシナリオボックス８５ 期待値画像表示部８６ 実行ＬＣＤ画像表示部１０１ 支持部材１０１ａ ガイド支持部材１０１ｂ 親スライダ１０１ｂａ 子スライダを構成する部品１０１ｂｂ 穴１０１ｃ 子スライダ１０１ｄ 保持用支持部材１０１ｅ 支持部材１０２ 携帯電話の蓋部１０３ 弾性部材１０３ａ 弾性部材の球状等の部材
【技術分野】
【０００１】
本発明は、携帯電話等の機器の操作ボタンや蓋の開閉機構が設計通りに機能するかどうかを判定するための検査装置と保持装置に関する。
【背景技術】
【０００２】
周知のように携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置等の機器には多数の操作ボタン、有線・無線の入力端子が設けられており、使用者は目的に応じて適宜これら操作ボタンを操作したり、信号を入力するようになっている。また近年ではＬＣＤ等を用いた表示部と操作ボタン等を備えた操作部とをヒンジで連結して折り畳み式にしたものが多くなっている。ところでこれらの機器の操作ボタンは、例えば携帯電話やＰＨＳにあっては単に電話をかけるためのダイアリングや、文字入力に用いられるだけでなく、電話機やコンピュータとしての種々の設定のためにも用いられるようになっている。
【０００３】
これらの設定には、例えばオートロック、通話料金表示、使用時間表示、着信音設定、使用者情報設定、使用言語設定等があり、昨今の携帯電話ではかなり多様かつ複雑な設定が可能になっている。ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置等でも同様である。
【０００４】
また例えばＰＤＡやカーナビゲーション装置では、表示部にタッチパネルを用いているものが多く、ハードウェアの操作ボタンだけでなく、表示部にソフトウェアで表示した操作ボタンによっても上述のような操作を可能としている。なお以下では、特にことわらなければ、単に操作ボタンというときは、ハードウェアの操作ボタンだけでなく、ソフトウェアで表示した操作ボタンを含むものとする。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって携帯電話やＰＤＡ等の機器の製造者は、出荷前に操作ボタン等を用いたこれらの設定操作、動作を不具合がなく行えるか否かを検査して判定、確認しておく必要がある。従来携帯電話等の機器の製造各社は、この判定、確認作業を手作業に近い形態で行っており、その手間が無視できないため、改良が求められていた。
【０００６】
そこで本発明は、上記従来の問題点にかんがみ、携帯電話等の機器の操作ボタン等による種々の設定動作が設計通りに行えるようになっているかどうかを簡単かつ自動的に判定できるようにした携帯電話等の機器の検査装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の機器の検査装置は、外部からの物品接触による入力、音声入力、有線信号入力、無線信号入力、赤外線信号入力、画像信号入力を含む外部入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象として、該機器の動作を検査する検査装置であって、上記外部入力に対応する出力を上記機器に対して発生する検査項目出力手段、検査対象機器の出力手段の出力を機器外部で検出する検出手段、上記検査項目出力手段を動作させる手順を指定するシナリオ設定手段を有し、上記シナリオ設定で指定した手順に応じた上記検査項目出力手段の動作によって外部入力を選択的に入力して、上記検出手段が検出した検査対象の出力と、上記検査対象機器の内部状態と外部入力とから予想された期待値との一致性を確認可能としてなることを特徴とする機器の検査装置である。
【０００８】
また、本発明は上記機器の検査装置の上記検査項目出力手段は、複数のスイッチ、つまみを操作する所定の自由度を有するロボットを備えることを特徴とする。
【０００９】
また、本発明は、上記機器の検査装置の上記検査項目出力手段は、検査対象機器が、音声入力手段、画像信号入力手段、有線信号入力手段、電波、赤外線を含む電磁波による無線入力手段のいずれかを備えるものであることを特徴とする。
【００１０】
また、本発明の機器の検査装置は、上記目的を達成するために、複数の操作ボタンを備える操作部及び該操作ボタンの少なくとも一の操作に応じて表示内容が変化する表示部を有する機器を検査対象として該機器の動作を検査する検査装置であって、上記表示部を撮像して画像を得る撮像手段、該撮像手段に対して検査対象機器を所定状態に搭載するためのアダプタ、上記操作ボタンの一つを押下可能な押下手段を複数有するボタン操作手段、該ボタン操作手段の選択及び動作制御を行う制御手段、及び上記撮像手段で得た画像や上記制御手段からの信号に基づく画像の表示手段とからなり、上記制御手段が、上記検査対象機器ごとに予め得ておいた該検査対象機器の全体画像を上記表示手段に表示させる手段、該表示手段で表示した上記全体画像の操作ボタン画像と上記ボタン操作手段の複数の押下手段とを関係付けるボタン割り当て手段、該表示した全体画像の表示部位置に上記撮像手段で得た上記表示部の画像を表示する手段、上記押下手段を動作させる手順を指定するシナリオ設定手段を有し、上記シナリオ設定で指定した手順に応じた上記押下手段の動作によって上記複数の押下手段を選択的に動作させ、上記検査対象機器の表示部に表れる表示内容と、上記表示部に表示される画像との一致性を確認可能としてなることを特徴とする。
【００１１】
また、本発明は、上記アダプタに、上記検査対象機器が発する音を集音するためのマイクを搭載してなることを特徴とする。
【００１２】
また、本発明は、上記アダプタに、上記検査対象機器が発する音を拡大出力するためのスピーカを搭載してなることを特徴とする。
【００１３】
また、本発明は、上記アダプタが、搭載した上記検査対象機器の少なくとも上記操作部の上方を覆うとともに、上記押下手段を所要の操作ボタンに対応配置するためのガイド孔を少なくとも上記所要の操作ボタンの数だけ有するガイドプレートを含むことを特徴とする。
【００１４】
また、本発明は、上記検査対象機器が、上記表示部と、上記操作部とをヒンジ等を介して連結した折り畳み及び開閉動作可能な機器であって該開操作用の操作ボタンを備えるものであり、上記操作手段が、該開操作用の操作ボタンを操作するための押下手段を有することを特徴とする。
【００１５】
また、本発明は上記撮像手段が撮影した対象機器の表示部に現れる表示内容と、上記表示部に表示される画像とを比較し、それらの一致性についての情報を出力する画像判定手段を備えたことを特徴とする。また、本発明は、上記画像判定手段が静止画または動画を判定対象とすることを特徴とする。
【００１６】
また、本発明は、上記画像判定手段が、上記撮像手段のキャリブレーションを行う行程を備えたことを特徴とする。
【００１７】
また、本発明は、上記画像判定手段が、撮影場像と基準画像とを比較して、それらの異なる領域を抽出し、表示のエラー個所を判定することを特徴とする。
【００１８】
また、本発明は、上記画像判定手段が、判定対象となる画像のコントラストを強調した補正を行いこの補正後の画像を判定対象とすることを特徴とする。
【００１９】
また、本発明は、判定対象となる画像取り込み枠を設定して判定対象とすることを特徴とする。
【００２０】
また、本発明は、上記画像判定手段が、判定対象から画像明度の高い部分を抽出して判定対象とすることを特徴とする。
【００２１】
また、本発明は、上記画像判定手段が、相違の程度を明度差として抽出し相違程度の大きさと、相違個所の大きさに基づいてエラー個所を判定することを特徴とする。
【００２２】
また、本発明は、上記画像判定手段が、撮像手段で取り込んだ動画を複数の静止画として格納手段に格納し、判定基準となる期待値と時間的なタイミングを合わせて比較することを特徴とする。
【００２３】
また、本発明は、上記画像判定手段が、取り込んだ複数の静止画のうち特定の静止画に着目し、この着目した静止画と時間的に近接した静止画との平均値を求め判定対象の画像とすることを特徴とする。
【００２４】
また、本発明は、上記画像判定手段が、判定対象となる画像を色別に分離した複数の色別画像データと、明度データのみを備えたグレイデータとを作成し、各色別画像データ中で差分値を求め、それらの差分値から総合グレイ値を作成し、総合グレイ値の変化量の大きい個所を変化量大領域として抽出し、この変化量大領域の重心を求める処理を行うことを特徴とする。
【００２５】
また、本発明は、上記画像判定手段が、それらの差分値から総合グレイ値を作成し、総合グレイ値の変化量の大きい個所を変化量大領域として抽出することを特徴とする置。
【００２６】
また、本発明は、上記画像判定手段が、移動領域の差分を求める処理を行うことを特徴とする。
【００２７】
また、本発明は、画像の絶対値で判断することを特徴とする。
【００２８】
また、本発明は、上記複数の結果に基づいて最終判定を行うことを特徴とする機器の検査装置である。
【００２９】
また、本発明は、上記マイクで取得した対象機器が発生する音声と、上記対象機器が発生すべき音声とを比較し、それらの一致性についての情報を出力する音声判定手段を備えたことを特徴とする。
【００３０】
また、本発明は、上記音声判定手段が、ＤＴＭＦ音の判定を行うことを特徴とする。
【００３１】
また、本発明は、上記音声判定手段が、ＲＴ／ＲＢＴ音の判定を行うことを特徴とする。
【００３２】
また、本発明は、上記音声判定手段が、マイクで採集した音声のうち大きなレベルを有する音声の周波数を測定して判定することを特徴とする。
【００３３】
また、本発明は、上記音声判定手段が、周波数分析を行いその結果に基づいて判定を行うことを特徴とする。
【００３４】
また、本発明は、上記音声判定手段が、対象機器が発生する音階変化のある音データの判定を行うことを特徴とする。
【００３５】
また、本発明は、無音区間を検出して音声判定の開始点として認識することを特徴とする。
【００３６】
また、本発明は、上記機器の検査装置を、電子通信可能なネットワークを介して複数接続し、一の機器の検査装置をサーバーとし、他の機器の検査装置をクライアントとし、上記サーバーとした一の機器の検査装置の上記制御手段が、上記クライアントとした他の機器の検査装置を制御する手段を有することを特徴とする機器の検査システムである。
【００３７】
また、本発明に係る携帯電話の保持装置は、複数の移動可能なあるいは位置固定の支持部材で携帯電話を保持し、着脱可能なゴムヒモなどの弾性部材でホールド性を高め、サイズ等が異なっても種々の携帯電話を保持可能なことを特徴とする。
【００３８】
また、本発明は、複数の支持部材が、位置固定の一対のガイド支持部材と、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた少なくとも一つの親スライダと、該親スライダ上にそれらの軸線方向でスライド可能に取り付けた子スライダと、上記親スライダと平行でかつ位置固定に上記ガイド支持部材間に設けた保持用支持部材から構成してあることを特徴とする。
【００３９】
また、本発明は、上記親スライダが上記携帯電話の底面を支持し、上記子スライダが上記携帯電話の側面を支え、上記保持用支持部材が上記携帯電話の保持性を向上させる支持部材として構成してあることを特徴とする。
【００４０】
また、本発明は、上記子スライダを上記ガイド支持部材間のセンターに位置を合わせるテンションをかける弾性部材を備えることを特徴とする。
【発明の効果】
【００４１】
本発明に係る携帯電話等の機器の検査装置及びこれを用いた機器の検査システムは、以上説明してきたようなものなので、携帯電話やＰＨＳ等が、それらの操作ボタン等の外部入力による種々の設定動作、静止画像、動画、及び音声が設計通り出力されるようになっているかどうかを、簡単かつ自動的に判定できるようになるという効果がある。
【００４２】
本発明に係る携帯電話の保持装置は、サイズ等が異なっても種々の携帯電話を保持可能である。
【００４３】
また本発明に係る携帯電話の保持装置は、携帯電話だけでな
くＰＤＡ等及びその他の同等機器をもサイズ等が異なっても種々の携帯電話を保持可能である。
【発明を実施するための最良の形態】
【００４４】
以下本発明の実施の形態について図面を参照して説明する。なお以下では携帯電話を検査対象機器とする例についてのみ説明するが、既述のＰＤＡ等及びその他の同等機器についても本発明を適用できることは明らかであるので、そのような機器についての説明は省略する。
【００４５】
また、実施形態は、外部からの物品接触による入力は、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象とする。
【００４６】
また、以下では、上記外部入力に対応する出力を上記機器に対して発生する検査項目出力手段として複数の操作ボタンの一つを押下可能な押下手段を複数有するボタン操作手段を例としているが、これは適宜の自由度（例えば、３軸、６軸）を有するロボットで、複数のボタンを順次押下するようにしてもよい。特に多軸のロボットを使用した場合には、立体的に配置されたボタン、つまみを的確に操作することができる。
【００４７】
さらに、検査項目出力手段は、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力上記外部入力である場合には、これらに対応する出力をなすものとすればよい。
【実施例１】
【００４８】
図１は、本発明に係る機器の検査装置の一実施形態を概念的に示す側面断面図である。本実施形態装置は、判定、検査しようとする携帯電話１を予め定めた状態にセットするためのアダプタを構成するアダプタユニット２、携帯電話１の表示部であるＬＣＤパネル３を撮像し、ＬＣＤパネル３の画像を得るカメラ４、携帯電話１の操作ボタン（以下では特に必要がないかぎりキーボタンという。）５・・・の一つを押し下げ可能なレリーズ６を押下手段として複数有するプランジャーユニット７、プランジャーユニット７の動作を制御するとともに、この動作制御に対応するＬＣＤパネル３の表示内容の可否を判断する等の制御のためのコンピュータ８、さらにはカメラ４で得たＬＣＤパネル３の画像やコンピュータ８からの信号に基づく画像の表示手段となるモニタ９から構成してある。なおコンピュータ８は、ハードウェアとしてはビデオキャプチャーボード、入出力用ボード、サウンドボード、イーサネット（登録商標）ボードあるいはこれらと同等構成品を備えるものとし、ソフトウェアとして、後述する携帯電話自動評価システムソフトならびにＯＳソフト、そして必要に応じてテキストエディタ、ワードプロセッサ、データベースソフト等を内蔵するものが好ましい。またキーボード、マウス、ネットワーク端子（端末対向テスト用）、プリンタ等をもシステム構成に含ませることができる。
【００４９】
携帯電話１は、図示の例では折り畳み型のもので、ＬＣＤパネル３を有する表示部１１と、キーボタン５を有する操作部１２とからなるが、検査対象となる携帯電話としてはこのタイプのものに限定されず、表示部１１と操作部１２に対してそれぞれ外側からアクセスできればストレートタイプのもの、フリップタイプのもの等どのようなものでも対象とすることができる。なお本発明は、対象機器を携帯電話１に限るものではなく、ＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置等の機器であり、いくつかの操作ボタンが設けられていて、これらを操作するようになっているものであれば種々の機器に適用できる。
【００５０】
図２はアダプタユニット２とその上に固定した携帯電話１を示す斜視図である。このアダプタユニット２は、折り畳み型の携帯電話１のＬＣＤパネル３の表面をカメラ４の光軸に対して垂直面をなすようにセットするためのベース板２１と、その状態でカメラ４の光軸に対して所定の角度をなす携帯電話１の操作部１２をセットできる傾斜板２２と、傾斜板２２との間に携帯電話１の操作部１２を挟んだ状態で並行またはほぼ並行にセットするレリーズガイドパネル２３と、これらを支持する一対の側板２４、２４とからなる。なおストレートタイプやフリップタイプの携帯電話等においては、図示の例のようにベース板２１と傾斜板２２を別体としかつ角度を付ける必要がないことが多いので、アダプタユニット２の構成は図示の例に限定されず、対象機器の形状、構造に合わせればよい。またレリーズガイドパネル２３は、側板２４、２４間に対して挿抜可能に取り付けてあり、評価対象とする携帯電話１の操作部１２のキーボタン５の数等に合わせてレリーズ６を挿入する孔２５・・・を有するとともにかつ対象機器に合わせて交換できるようになっている。またレリーズガイドパネル２３には、携帯電話１のマイク（図示せず）に対応させた位置に孔（図示せず）を設け、この孔の位置にスピーカ２６を取り付けできるようにしてある。
【００５１】
図３はカメラ４等を装備するためのベースユニット３０の側面図である。このベースユニット３０は、ベース板３１と、カメラ４やマイク３２を搭載するためのタワー部３３とからなり、ベース板３１上にはピン等（図示を省略する）を設けてアダプタユニット２を位置決め搭載可能とし、タワー部３３には、光軸が垂直下方を向くようにかつ上下動可能にカメラ４を取り付けるとともに、携帯電話１のスピーカ１３に対応させてマイク３５を設けてある。なお、カメラ４の光軸はもちろん垂直下方以外の方向へ向けても良く、それに合わせてアダプタユニット２等の取り付け、配置形態を変えればよい。なお、カメラ４の位置を可変させる機構も備えているが説明を省略する。
【００５２】
プランジャーユニット７は、レリーズ６を複数本、詳細には評価対象とする携帯電話１のキーボタン５の個数以上の本数を有し、これらを選択的に駆動できる装置である。駆動装置そのものは公知であるので説明は省略する。またレリーズ６は、図４に示すように、チューブ６１とその中を通したピン６２からなるいわゆるレリーズワイヤタイプのものであるが、図示のように、レリーズガイドパネル２３の孔２５への着脱が容易に行えるように、チューブ６１先端に設ける金属管部６３のネジヤマ６４を全長にわたらずに基部近傍のみ設けてある。なお基部にはロックネジ６５と調節ネジ６６とが設けてあり、ピン６２の飛び出し長さを調節できるようにしてある。ただしこのタイプのレリーズでは、ピン６２の飛び出し長さが長いほど確実にキーボタン５に届くようになるが押す力が弱くなる。
【００５３】
なお、各ユニット、カメラ等の配線、駆動系、信号伝達系等々についての図示及び説明は省略する。
【００５４】
本実施形態装置は、アダプタユニット２に載置した携帯電話１のキーボタン５に対してプランジャーユニット７の所望のレリーズ６を駆動してキーボタン５を押し下げ、この押し下げによって変化するＬＣＤパネル３をカメラ４により撮影し、所望のキーボタン５の押し下げに伴って設計、製造時に設定した通りの画像がＬＣＤパネル３に表れるか否か等を判定するものである。
【００５５】
図５は、モニタ９にメイン画面として表示させる画面の内容を示す図である。この画面は、カメラ４により撮影したＬＣＤパネル３の画像３ａと、例えばデジタルカメラ等で撮像して予め得ておいた判定、検査対象となる携帯電話１の全体平面画像１ａとを合成して示している。
【００５６】
次に本実施形態装置における評価の流れを説明する。評価は、（１）機種ファイル作成（ボタン設定、ＬＣＤ画面調整）（２）シナリオ作成（設計書や仕様書（期待値画像とテスト項目）を用意して、シナリオを作成する）とデバッグ（３）１回目の評価（実行、手動判定、画像入れ替え）（４）２回目以降の評価（実行・自動判定）という手順になる。以下、本実施形態装置における評価の手順等について詳細に説明する。
【００５７】
まず機種ファイル作成について説明する。
【００５８】
評価の開始に当たっては、最初に機種ファイルの新規作成を行い、携帯電話１の情報を設定する。機種ファイルとは、携帯電話１の個別情報をまとめたファイルであり、画像の調整や携帯電話１のキーボタン５とレリーズ６の対応を設定する。
【００５９】
即ち、予め用意しておいた評価対象携帯電話の画像ファイルを用い、モニタ画面に携帯電話１の全体画像を、もちろん表示部１１と操作部１２とが見えるように表示させ、これに組み合わせるＬＣＤパネル３に相当する画面を作成する。なお画像ファイルとしては、例えばビットマップ形式で、メイン画面に収まるぐらいの大きさのものを用意する。そして、判定に必要なキーボタン５の設定とレリーズ６の割り当てを行う。キーボタン５は一つずつ設定する。即ち、図６に示すようにメイン画面上で携帯電話１のキーボタン５を囲んで範囲を指定し、キーボタン５の個数分だけ名称とプランジャーユニット７のレリーズ６の番号を指定する。図７は携帯電話情報設定画面、図８はボタン情報設定画面、図９はボタン情報一覧画面、図１０はキーボタン５の情報設定でのレリーズ６の番号入力例を示す図である。
【００６０】
キーボタン５に対応するレリーズ６が、メイン画面上に作成したキーボタン５をクリックしたときに動作するかは、実際にプランジャーユニット７を動作させて確認する。例えばメイン画面での操作により作成したキーボタン５をクリックすると、そのキーボタン範囲が青くなるようにして、対応するプランジャーユニットのレリーズが携帯電話のボタンを押すかどうかをチェックする。既述の機種ファイル編集画面で動作確認を行うようにすることもできる。
【００６１】
図１１は、特殊操作手順設定である携帯電話を待ち受け画面に戻す操作（リセット）、携帯電話に供給されている電源から切り電源を投入する操作（強制リセット）、折り畳み式携帯電話の開閉動作ボタンの設定を行う画面を示す。なお折り畳み開閉動作の機能が使用できるのは、携帯電話１が折り畳み式であり、それにアダプタユニットとプランジャーユニットが対応しており、レリーズ６で例えば磁石を用いた開閉機構の操作ボタンを押せる場合であり、これにより実際には携帯電話１を開閉せずに（図示の実施形態では既に開いてしまった状態で）検査、評価することができる。
【００６２】
以上のように設定してきた機種ファイルは、適宜の名称でコンピュータ８が内蔵しまたは外部手段として有する記憶媒体に保存する。この保存した機種ファイル、即ち作成済みの機種ファイルは修正できることはもちろんである。図１２は、機種ファイルの編集画面の図である。
【００６３】
図１３はモニタ９に表示させるＬＣＤパネル３画面の調整画面である。画像の調整は、必要があれば歪み補正データの取得、補正データに基づいた画像補正、補正後画像の微調整、の順に行う。また必要ならばＬＣＤ画面の大きさも調整する。図１３には、ＬＣＤ枠の設定部分、ＬＣＤオフセットの設定部分も示す。ＬＣＤ画面の調整画面での調整が終了し、必要があれば画像の補正を行い、補正後画像の台形補正を行う。図１４は、補正後画像の確認画面である。画像の色調や明るさ補正も行える。また補正後画像の微調整として、画像の台形補正を行え、基準となる画像をもとにＬＣＤ画面の大きさ、傾きの微調整を行う。
【００６４】
台形補正は、図１５に示すキャリブレーションシート４０を基準にカメラ４の焦点距離、歪み具合などのパラメータを求め、それを補正データとして画像を補正するものである。補正値を取得するには、携帯電話１にキャリブレーションシート４０を乗せてカメラ４で撮影し、メイン画面に表示されているキャリブレーションシート４０の画像の黒い四角、点がはっきり見えるようにする。次いでキャリブレーションシート４０を取り除いて携帯電話１のＬＣＤパネル３の画面を撮影する。図１６は歪み具合取得ウィザード画面の図である。歪み具合を取得
する前に、まず携帯電話１のＬＣＤパネル３画面の大きさとして縦、横サイズの測定値を入力し、歪み具合取得ボタンを押して歪み具合の取得を開始し、補正後画像として表示する。
【００６５】
次にシナリオ作成について説明する。
【００６６】
図１７は、シナリオ作成編集画面を示す図である。この画面は、シナリオ表示用のシナリオリストボックス５０と、コマンド設定タブ５１・・により切り替え可能な画面となっている情報設定部５２からなる。
【００６７】
シナリオ作成には、まずキーボタン５の操作コマンドをシナリオリストボックス５０に入力する。次いでキーボタン５の押下条件を情報設定部５２で設定する。ここでは、複数押し（同時に複数のキーボタン５を押下するコマンド）、押下時間（携帯電話のボタンを押下する時間の設定、押下間隔（１つのコマンドが終わってから次の処理に移るまでの間隔）を設定する。評価環境番号ラジオボタンは、評価環境の番号の設定するもので、対向試験を行う設定で使用する。また折り畳み部開閉は、折り畳み式携帯電話の開閉動作ボタンの押下間隔を設定する。もちろん、この機能が使用できるのは、折り畳み式携帯電話のアダプタユニットと折り畳み式携帯電話の開閉動作ができるプランジャーユニットを用意した場合のみである。さらに、再生、制御、単体シナリオ呼び出し、リモートシナリオ呼び出し（対向試験で対向先のコンピュータでシナリオを実行させるコマンド）、待ち、繰り返し、停止、判定の各コマンドを設定する。判定コマンドは、画像の期待値を取得し、その場で判定（即時判定）を行い、判定結果によってシナリオ実行を続けたり停止したりするためのものである。なお取得した実測値の判定は後述する確認画面で行うが、この判定コマンドを用いると、その場で判定し、判定の結果が期待した通りでなければシナリオの実行を中断することができる。また一つのシナリオ内で別のシナリオを入れ子状に呼び出すことを可能とするシナリオ呼び出しコマンドも設定できる。図１８は、その複数呼び出した例を示す図である。
【００６８】
図１９は、期待値設定タブの内容を示す図である。この画面では、携帯電話１の反応を記録するコマンドを入力できる。記録できるのはＬＣＤパネル３の画面の画像と、マイク３５で録音した音声である。なお図中５３は期待値画像表示スペースである。
【００６９】
画像取得コマンドは、期待値画像を設定し、実際の画像と比較することでテストを行うためのものである。期待値画像には、例えばｊｐｇ、ｂｍｐ、ｅｍｆ等の形式のファイルを設定する。また実測値を記録するタイミングとして、記録を開始するタイミングを指定するとともに、画像指定、判定範囲設定を行う。一方、音声取得コマンドは、マイク３５で集音した音声を録音するもので、キーボタン５を押下した時の音（ＤＴＭＦ音）を確認画面で判定することができるようにするものである。
【００７０】
なお図１７の入力支援部は、名前や電話番号などのひらがな、数字、アルファベット、記号を携帯電話１で入力するシナリオを自動生成するための部位である。またこの部位のキーボタン情報ボタンを操作すると、図２０に示すボタン対応表が表示されるようになっており、文字入力に使用する携帯電話１のキーボタン５と、機種ファイルで登録したキー名の対応を設定できる。
【００７１】
そして、作成したシナリオが正しく動作するか否かをデバッグを行うことでチェックする。なおデバッグ画面は、後述する実行画面（図２１）と同様である。チェックの結果は、例えば図２２に示すようなエラーレポートとして出力する。
【００７２】
次にシナリオの実行について説明する。
【００７３】
図２１は実行画面を示す図である。この画面は、シナリオリストボックス８０、実行時指定部８１、実行状況表示部８２からなり、実行状況表示部８２は、シナリオ一覧リストボックス８３、カレントシナリオボックス８４、期待値画像表示部８５、実行ＬＣＤ画像表示部８６からなる。シナリオリストボックス８０には、実行中のシナリオあるいはこれから実行するシナリオの名称を表示する。実行時指定部８１は、キーボタン５の押し時間に関する設定を表示する部位、期待値を記録するタイミングの設定を表示する部位、停止レベルを表示する部位を含む。またシナリオ一覧リストボックス８３は、選択しているシナリオとシナリオ集を表示し、カレントシナリオボックス８４は、シナリオ一覧リストボックス８３で選択しているシナリオを表示する。期待値画像表示部８５は、画像取得コマンド実行時、期待値として設定されている画像を表示し、実行ＬＣＤ画像表示部８６は同じく撮影した携帯電話１のＬＣＤパネル３の画面を表示する。
【００７４】
上述のような携帯電話自動評価システムを２セット使用して対向試験を行うことができる。対向試験では、相手方システムのコンピュータとＬＡＮで接続し、接続した側のシステムで同じシナリオを自動的に実行する。即ち、２台の携帯電話自動評価システムの、片方をサーバーとし、他方をクライアントとして、サーバーがクライアントを制御する試験となる。そして、サーバー側でシナリオ実行をすると、サーバーがクライアント側のプランジャーユニット７を操作することで２台の携帯電話１を操作できる。したがって、別の携帯電話１に電話をかけて、かけられた携帯電話機で電話をうけるというような検査を行うことができる。
【００７５】
なお対向試験であるか否かにかかわらず、シナリオを自動実行させ得るが、途中での手動による一時停止、停止、再開が可能であり、シナリオをステップごとに実行させるステップ実行、途中から自動実行に切り替える半自動実行も設定できる。
【００７６】
ある携帯電話について１回目のシナリオを実行した後、確認（手動判定と画像入れ替え）を行う。即ち例えば一度手動で判定を行い、判定結果が良ければ画像を入れ替える。まず、画像を確認し、期待値画像と実行画像が一致するかどうかについてシナリオの全ステップを判定する。複数のシナリオを実行するときは、全シナリオについて全ステップを判定する。そして期待値画像が直接画面を撮影した画像でない場合は、画像判定が行えないので期待値画像の入れ替えを行う。入れ替えを行うと、次に同じシナリオを実行したときには入れ替えられた画像が期待値としてデータベースに登録され、画像の自動判定を行うことができる。また用意した期待値画像のある一部分だけを自動判定に使用したいときは、判定範囲設定を行うことができる。
【００７７】
なお判定範囲にはデフォルト判定範囲と個別判定範囲を設定でき、前者ではすべての画像に同じ判定範囲を適用し、後者では画面上で範囲を設定された画像だけに適用する。判定範囲と除外範囲も設定でき、判定範囲と除外範囲を組み合わせることで、複雑な形の判定ができる。コンピュータを用いたシステムであるので、もちろん判定範囲の座標指定等も可能である。
【００７８】
そして２回目以降のシナリオ実行の結果は、期待値画像が入れ替えられていれば、自動判定ができる。自動判定機能は、用意された判定範囲に基づいて、期待値画像と実測画像が一致するかどうかを自動的に判定するものである。また、期待値ＤＴＭＦ音の周波数と実測ＤＴＭＦ音の周波数が一致するかどうかも自動的に判定できる。
【００７９】
なお、図示は省略するが、折り畳み型の携帯電話でかつキーボタン５を有する操作部１２の外面にもう一つの表示パネルを備えるものあるいは同様の構造のＰＤＡ等が近年開発、市販されている。これらを評価対象とする場合には、開いた状態でＬＣＤパネル３の表示を評価することと、閉じた状態で操作部１２外面の表示パネルを評価することを個別に行うこと、あるいはもう一つカメラを用意して、開いた状態とした携帯電話等の二画面を２つのカメラで同時にかつ個別に撮像して評価することのいずれでも可能である。
【００８０】
以下、画面の表示内容の評価方法について説明する。本例では、図２３に示すように、静止画、動画を評価する他、図２４に示すように携帯電話等の器具が発生する音声についても判定を行う。
【００８１】
まず画像の評価の概略を説明する。本例では、図２３に示すようにまずカメラ４からの画像のキャリブレーションを行う（Ｓ１０１）。このキャリブレーションは、システム全体で一回行えばよく、システムを構成する他の機器の検査装置のカメラが取得した画像に適用できる。
【００８２】
次に、各機器の検査装置において、検査対象携帯電話１の操作ボタン５を操作し（Ｓ１０２）、携帯電話１のＬＣＤパネル３に画像を表示させる。この画像を上記カメラ４で取得し静止画、動画別に画像判定を行う（Ｓ１０４）。
【００８３】
一方、音声判定においては、本例ではＤＴＭＦ音、ＢＴ／ＲＢＴ音、及びメロディについて判定を行う。この判定は、図２４に示すように、携帯電話１の操作ボタン５を操作し（Ｓ２０１）、発生した音声をマイク３５で取得し（Ｓ２０２）、音声信号を一端機器の検査装置に格納し、その格納した音声に対して判定を行う（Ｓ２０３）。まず、機器の検査装置の画像取得用の撮像装置のキャリブレーションについて詳しく説明する。
【００８４】
このキャリブレーションでは、図１５で示したキャリブレーション用シートの中央に表示されている７×７個の黒い点の座標を撮像画像から読み取る、そして、実際のキャリブレーション用シートと撮影した画像の点とを比較することによりカメラの撮影特性データを取得する。
【００８５】
まず、キャリブレーション用シートの画像を複数枚、例えば２０枚撮影する。これらの撮影に際しては、キャリブレーション用シートを様々な位置・角度に配置して撮影する。これにより、様々な条件下での、キャリブレーション用シート画像の点の位置座標を取得する。
【００８６】
次に、実際に検査する携帯電話の液晶画面と平行においたキャリブレーション用シートの画像を撮影する。すべてのキャリブレーション用シート画像から点の位置座標を取得し、これらのデータからカメラの焦点距離、放射状歪みの中心位置、歪み度合いを計算する。これは画像処理ライブラリによって計算される。画像処理ライブラリは市販のソフトウェア（例えばＭＶＴｅｃ社ＨＡＬＣＯＮ（商標））であり、上記各要素を計算するものである。そして、携帯電話画面に乗せて撮影した（最後の）キャリブレーション用シート画像の歪みがなくなるよう補正を行う。
【００８７】
本例では、キャリブレーション用シートから点の位置を検出するのに、当装置の被い内で撮影するため暗い画像になってしまう。画像処理ライブラリの中にはシートの矩形位置を取得する関数があり、指定した特定の色のラインで表示される矩形のみを取得することができる。
【００８８】
この関数には閾値を引数として渡すが、これが高すぎると暗い画像では検出することができない。逆に閾値が低いと誤った領域を取得してしまう。また、ライブラリの戻り値では矩形を取得できたかがわからない。失敗したまま続けていくと後からエラーとなることがあるので、ここで正確に矩形領域を取得する必要がある。
【００８９】
このため、暗いムラのある画像でもマークを検出することができるように、高い閾値から序々に閾値を下げながら、上記と同じ矩形を取得する関数を実行することとする。取得された領域が最も正方形に近い形になったところで止めるようにする。
【００９０】
次に、キャリブレーション用シートの画像からカメラの歪みを修正するためのパラメータを取得する。カメラの焦点距離、放射状歪みの中心位置、歪み具合、最後のキャリブレーション用シートの画像に合わせて変換したカメラ座標を画像処理ライブラリで計算する。
【００９１】
以上より求めたパラメータを用いて携帯電話の画像に変換をかける。上記の値を用いて、最後に取得したキャリブレーション用シートと、携帯電話のＬＣＤ画像に対して変換をかける。これでキャリブレーション用シートは歪みのない正方形で表示される。
【００９２】
さらに、中央に適度な大きさで表示されるよう変換をかける。最終的にはキャリブレーション用シートではなく、携帯電話のＬＣＤ画面が中央に歪みなく表示されるのが目的なの
で、適切なサイズで中央に表示されるよう変換パラメータを化させながら変換を繰り返す。
【００９３】
そして、他の機種の基準画像に合わせて他の機器の検査装置で画像が使用できるよう、補正をかける。ユーザは基準となる画像を１枚選択し、自動補正ボタンをクリックするだけで、現在の画像が基準画像と同じサイズ・明るさになるよう補正される。
【００９４】
基準画像に合わせて自動補正をかける。即ち、位置、回転、拡大・縮小、縦横比が基準画像と一致するようアフィン変換をかける。カメラで撮影している画像から静止画を取得するときにこの補正をかけている。
【００９５】
次に、基準画像に合わせてカメラの明るさ・コントラストを調整する。静止画の明るさを後から変えると、元の画像は例えば０〜２５５のデータしか持っていないので、例えば明るすぎて白く飛んでいる場合は正確な色の値が分からない。よって、撮影後の画像に変換をかけるのではなく、カメラの設定値を直接変更する。カメラの明るさ・コントラストを変化させながら連続して撮影・比較することにより適切な明るさ・コントラストに合わせていく。
【００９６】
次に静止画の比較について説明する。
【００９７】
本発明に係る機器の検査装置の画像処理では、入力画像としてどのような画像が来るか予想がつかない。したがって、入ってきた画像によって最適な判定ロジックを選択し、ミスのない判定を行う必要がある。具体的には、画面の細かい画像、暗い画像が入ってきても判定しやすい明るさに補正し、ある程度の面積を持った領域の違いを判定する。
【００９８】
ＬＣＤの明るい領域を例えば以下のように取得する。
【００９９】
図２９に示すように、画像のヒストグラム（０〜２５５）を求め、それを大きく３つの山に分ける。そのうち暗い方から数えて１つ目の山と２つ目の山を分ける境目の値で閾値処理を行う。
【０１００】
また、山が偶数にしか分かれない場合は中心をとる。１つ目の山と２つ目の山を分ける間をとる理由は、本例では、画像を周りの黒い枠と明るいＬＣＤ部分に分けたいので、黒いところが除ければよい。しかし、中には光が漏れて灰色に明るくなってしまう場合もあるので、このような方法を採用する。
【０１０１】
画像の明るさが大きく異なる場合に、それらを同じ程度の明るさに合わせるか、または明るさが違うためにＮＧと判断するかは、設定ファイルの値で決めることができ、ユーザが変更することも可能である。
【０１０２】
ここで設定した値より実際の画像の明るさが異なっていた場合は位置補正をしないまま画像比較し、一致しなかったという結果を出す。
【０１０３】
基準画像から位置合わせのためのテンプレートを作成基準画像と実測画像のずれをなくすため、後工程で位置補正を行う。そのためのパターンマッチング用テンプレートを基準画像を元に作成する。（画像処理ライブラリで計算）テンプレート作成用の画像を選択する。
【０１０４】
本例では、ＬＣＤ領域の淵（幅３ピクセル）の領域に画像を絞り込んだものを登録画像としている。これにより正確かつ速い位置補正が可能となる。
【０１０５】
次に元画像のコントラストが低い場合はコントラストを上げるための補正を行うこれは、単にガンマ補正をかけるのではなく、図２８に示すように、色平均値より明るい部分はより明るく、暗い部分はより暗く補正する。画像平均値と最大値・最小値から明るさ強調の変換テーブルを計算して、コントラストの補正を行う。色合いの微妙な画像の判定に使用する。このようにコントラストを上げると、途中でここから上は明るくし、ここから下は暗くするといった変極点が生じる。
【０１０６】
次に、基準画像に合わせて実測画像の色補正を行う。このとき、多少違う画像でも同じように色補正されるよう細かい画像やエッジ領域を除いた部分で調整する。基準画像と実測画像で色の平均値が閾値（ユーザが指定したパラメータ）だけ異なる場合は補正をかけないようにする。さらに、テンプレートを基準にパターンマッチングを行う。先に作成したテンプレートを基準にパターンマッチングを行う。これは、画像処理ライブラリで計算する。
【０１０７】
なお、繰り返し判定するときに、２度目以降は１回目の位置情報を利用して速く判定する。１回目の基準画像の位置データをとっておき、２回目以降の判定ではそれを読み込んで画像マッチングすることで位置合わせを行う。
【０１０８】
位置合わせを行った結果、大きくずれてしまった場合、またユーザが指定したよりも移動してしまった場合は元の位置に戻して、そのまま重ねて判定する。
【０１０９】
基準画像と実測画像をそのまま重ね合わせて判定を行う。色が大きく違う、位置が異なるなど何かしらＮＧであると思われる要素があった場合は、位置補正を行わないで単に画像差分をとった結果を出す。
【０１１０】
位置合わせで取得したデータに基づいて画像・判定範囲に変換をかける。位置合わせが成功した場合は、データに基づいてアフィン変換をかける。この処理は画像処理ライブラリで行う。そして、ユーザが指定した判定対象範囲に基準画像、実測画像の絞り込み判定を行う。
【０１１１】
次に、基準画像と実測画像の差分をとる。本例ではＲＧＢ画像とグレイ画像の４種類ごとに基準画像と実測画像で画像差分をとる。元画像のコントラストの低いものについては、差分を強調する処理をかけることが有効である。この処理は取得したＲＧＢ、Ｇｒａｙごとの差分画像を加算してよりはっきりさせるものである。
【０１１２】
差分画像に閾値処理でＮＧと期待される領域を取得する閾値（７０くらい、ユーザからも設定できる）から２５５の間で閾値処理を行う。基準画像と実測画像で異なる部分が抽出される。
【０１１３】
本例は、多数の画像をターゲットに、ロジックやパラメータを少しずつ変化させながら結果を比較していき、閾値として最も良かった結果のものを採用した。画像の明るさによって閾値を変えることが望ましい。基準の閾値は設定ファイルから読み込むが、画像が暗めの場合はそれに合わせて閾値を下げる。逆に明るい場合は上げるようにする。
【０１１４】
次にノイズ処理を行う。閾値処理で求めたＮＧ領域（画像差分領域）からノイズを削除し、本当にＮＧである領域のみを残す処理である。まず、ＮＧ候補領域から大きくＮＧだとわかる部分だけを抽出する。単に閾値より明るい部分をＮＧ領域とするのではなく、明るい部分が含まれていてかつＮＧ候補となる白い部分の周辺面積が大きいものだけを最終的なＮＧ領域とする。
【０１１５】
例えば、図２７に示す場合、左の領域は面積が広くても明るさの最大値が低いのでＮＧと判断されない。右の領域は中心の明るさが高くなっているので、この領域全体がＮＧとして検出される。
【０１１６】
上記処理により、ＮＧと判断された領域の面積がゼロであればＯＫ、１以上の場合はＮＧと判断され、ＮＧ領域が表示される。
【０１１７】
ノイズ処理に関しては、その他、比較対象画像を８方向に０．５ピクセルずつ動かし、位置合わせがほんの少しずれただけでノイズが増えるので、位置合わせを行った後さらに０．５ピクセルずつ移動させて、最もノイズの少なかった位置を最適とする方法や、ＮＧと判断された領域のうち、その領域のエッジの情報から「ずれ」と「違い」を判断する方法を採用することができる。
【０１１８】
次に本発明に機器の検査装置の動画判定処理について図３０ないし図３５ｄに基づいて説明する。図３０は、動画処理を示すフローチャートである。本例では、期待値、実測値はそれぞれａｖｉファイルとする。期待値と実測値は静止画に切り出したとき、同じサイズとする。ただし撮影時間は異なっても差し支えない。さらに、画像の周囲の枠が黒く表示されていることが望ましい。
【０１１９】
まず、カメラで撮影され格納された動画ファイル（ＡＶＩファイル）から、動画の読み込みを行う（Ｓ１４１）。そして動画を１フレーム毎（３０ｆ／ｓ）に静止画（ビットマップ）に切り出す。これは画像を読み出した撮像装置の取得フレーム数である。
【０１２０】
次に読み込んだ画像の平均化を行う。これは、図３３に示すように画像を１枚ずつ読み込み、２つ前の画像（図３１（ａ））と１つ前の画像（同（ｂ）と、着目した画像（同（ｃ）を合成し画像３枚の平均画像を取得するものである（Ｓ１４３）である。そして、３枚の画像の平均画像を１枚の画像（図３１（ｄ）として扱う。これにより期待値と実測値の切り出しのタイミングがずれていても平均化することによりなめらかな動きになる。
【０１２１】
さらに後の工程で期待値と実測値の同期を合わせた後に比較を行うのに使用するデータを取得する（Ｓ１４４）。そして、平均化した画像をＲＧＢ、Ｇｒａｙの４色に分ける（Ｓ１４５）。平均化した各画像を、ＲＧＢとＧｒａｙ画像に分ける。Ｇｒａｙ画像は人間の目で見たのと近いように０．２９９＊ｒｅｄ＋０．５８７＊ｇｒｅｅｎ＋０．１４４＊ｂｌｕｅとする。そして、グレイ画像を半分のサイズ（面積で４分の１）にしてメモリ上にとっておく（Ｓ１４６）。取得したグレイ画像を半分の倍率に縮小し、メモリ上に確保しておく。この際面積では元のサイズの４分の１とする（Ｓ１４７）。ＲＧＢ、Ｇｒａｙごとに１つ前の画像と引き算で画像差分をとる。より明るくなった部分とより暗くなった部分を求め、そのトータルグレイ値（面積とグレイ値（０〜２５５）の積分値）を取得する（Ｓ１４８）。これは、以下の（１）〜（３）の処理による。（１）ＲＧＢ、Ｇｒａｙ画像ごとに現在の画像から一つ前の画像を引いて、一つ前の画像より明るくなった部分を画像として取得する（図３２（ａ）、（ｂ）、（ｃ））。（２）同様に一つ前の画像から現在の画像を引いて、より暗くなった部分を画像として取得する。（３）取得した差分画像のトータルグレイ値（白く表示される部分の面積と明るさの積分値）をＲＧＢ、Ｇｒａｙごとに取得する。 これで、動画を静止画に切り出したときの１枚の画像あたり、８個のトータルグレイ値が取得できる。明るくなった画像と暗くなった画像がそれぞれＲＧＢ、Ｇｒａｙの４チャンネル分あることとなる。
【０１２２】
次にＲＧＢ、Ｇｒａｙごとに取得した差分画像を合わせる。この画像に閾値処理をかけて差分のあった領域を取得する（Ｓ１４８）。これは、以下の（１）〜（２）の処理による。（１）ＲＧＢ、Ｇｒａｙごとに取得した差分画像をＲＧＢ、Ｇｒａｙの４チャンネル分足す。（２）この４チャンネル分足した差分画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザ側で指定できる）。 これで、カラー画像としてより明るくなった部分の領域とより暗くなった部分の領域が取得できる。
【０１２３】
より明るくなった画像と暗くなった画像を合わせ、閾値処理をかけ前後の画像で差分のあった領域を取得する（Ｓ１４９）。この領域の重心を求める。これは以下の（１）〜（４）の処理による。（１）（Ｓ１４８）で取得したより明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像を足して一つの画像にし、一つ前との差分画像を取得する。（２）パラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する。（このパラメータはユーザ側で指定できる）この領域が一つ前の画像との差分領域になる。（３）（２）で取得した領域の重心位置を求める。前の画像と差がなく、差分の領域面積がゼロの場合は画像の中心位置を代入する。（４）より明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像をそれぞれ半分のサイズに縮小し、メモリ上に確保しておく（面積では４分の１）。
【０１２４】
動画のずれ時間を求め、実測値と期待値の撮影のタイミングを合わせる（Ｓ１５０）。ここで、期待値と実測値の撮影のタイミングが異なる場合や撮影時間が異なる場合でも判定できるよう、時間を合わせる必要がある。これは以下の（１）〜（４）の処理による。（１）期待値と実測値を１枚ずつ、ずらしながら（Ｓ１４７）で取得したトータルグレイ値を比較していく。期待値と実測値の時間が重なっている間だけ、１コマごとにトータルグレイ値の差分をとり、その合
計値を取得する。（２）期待値と実測値のタイミングが合ったところではこの差分が極小値となるので、１つ前の値より小さく、１つ後の値より小さいところが候補となる。そして（ｆ（ｎ＋１）−ｆ（ｎ））＋（ｆ（ｎ−１）−ｆ（ｎ））が最も大きくなるｎを求める。この差分が最も大きかったところを求めるずれ時間とする。（３）ＲＧＢ、Ｇｒａｙの４チャンネルで求められた時間が異なる場合は８個のデータの候補が多い順に選ぶ。（４）ＲＧＢ、Ｇｒａｙごとに取得された時間の候補が一致しない場合はすべてのチャンネルにてデータを合計し、その合計値が最も高かった場所（最も前後との差があった時間）をずれ時間とする。
【０１２５】
次に、実測値と期待値のずれを合わせた状態で、実測値と期待値のデータを比較する（Ｓ１５１）。即ち、ここでは、前の画像と比較して移動した部分の領域の重心位置を比較する（Ｓ１５２）。これは以下の（１）〜（３）の処理による。これは本例において、比較１となる。この比較１では、差分領域の重心位置を求め、場所の違いを求めるものである。（１）期待値と実測値の同期を合わせてからＳ１５９で求めた期待値と実測値の各画像の重心位置を比較する。Ｘ座標、Ｙ座標ごとに差を求め、それぞれが画像の幅・高さに対してどれだけの割合かを求める（１−Ｘの差分／判定範囲の幅、１−Ｙの差分／判定範囲の高さ）。（２）上記（１）を、切り出した画像分求めて平均値をとる。この値が低いと一致率が低いということになる（１に近いほど差がないということになる）。（３）ここで求めた値（０〜１．０）を比較結果としてｒｅｓｕｌｔ１とする。
【０１２６】
図３３（ａ）、（ｂ）で示した画像は、異なる個所でアイコンが点滅している画像を示ししており、この比較１により違う画像であると判断することができる。
【０１２７】
より明るくなった領域と暗くなった領域ごとに、期待値と実測値の移動領域を比較する（Ｓ１５３）。これは以下の（１）〜（５）の処理による。
【０１２８】
これは本例中の比較２となる。この比較２では、移動領域の差分をとり、動きの違いを見る。 （１）期待値と実測値の同期を合わせてから（Ｓ１４８）で求めた期待値と実測値の領域の差分をとる。（２）次に、「期待値または実測値で移動のあった領域」を取得する。期待値、実測値ともに輝度の増えた画像と減った画像（計４種）をすべて足して合成する。これに閾値処理をかけ、明るく表示される部分を領域として取得する。この領域に膨張収縮処理をかけ、ある程度の面積を持つ領域に絞る。これを「動きのあった領域」とする。（３）輝度の増えた画像、減った画像ごとに期待値と実測値の差分を取得する。期待値と実測値が同じように変化している場合はこれらの差分をとることで、相殺されて領域がなくなるが、移動個所の異なる場合は差分をとってもその領域が残る。（４）上記（３）の画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザ側で指定できる）。輝度の増えた画像と減った画像の領域を足してひとつの移動差分領域として取得する。（５）上記（２）で取得した「動きのあった領域」に対する（４）で取得した期待値と実測値の差分領域の割合を求める。次に、上記（２）で求めた「動きのあった領域」が画像の判定対象面積に対してどれだけの割合かを求める。この面積が小さい場合は（５）で取得した差分領域の割合よりさらに小さくする。処理が必要とされるのは、動きのあった面積が判定範囲の面積に対して小さいというのは、動き自体が少ない動画となるからである。つまり、期待値と実測値の動画部分が異なったところで差は小さいということになるからである。以上より「動きのあった領域」に対する期待値と実測値の差分領域の割合（０〜１）を１から引くと、期待値と実測値が同じように動いた割合（一致率）を求めることができる。この値は大きいほど（１に近いほど）一致率が高くなる。（６）上記（５）の値をすべての画像で求め、画像枚数で割ることにより画像１枚あたりの平均値を求める。ここで求めた値（０〜１．０）を比較結果ｒｅｓｕｌｔ２とする。
【０１２９】
図３４（ａ）、（ｂ）で示した２枚の画像をこの比較２により違う画像であると判断することができる。
【０１３０】
縮小した画像の画像差分をとることで比較し、背景も含めて画像全体がどれだけ異なるかを比較する（Ｓ１５４）。これは以下の（１）〜（２）の処理による。これは本例中の比較３となる。この比較３では、画像の絶対値で判定する、即ち本比較３では静止状態での違いを見るのである。（１）期待値と実測値の同期を合わせ、合わせた時間同士でＳ１５６で取得した期待値と実測値の画像の差分をとる。まず期待値と実測値で位置合わせを行う。具体的には期待値を基準に実測値画像に対してパターンマッチングを行い、見つかった位置にアフィン変換で実測値を移動させる。期待値と実測値の時間が重なる場合はすべての画像において位置合わせを行う。位置合わせを行った後、期待値と実測値の画像差分をとる。（２）上記（１）で取得した期待値と実測値の差分領域から、Ｓ１６３−（２）で取得した動きのあった領域を引く。これによって背景（静止画部分）のみの違いを取得することができる。差分画像に閾値処理をかけ、のこった面積が大きいほど一致率が低くなる。（３）この面積は１００％異ならなくても人間の目では充分異なっていることが分かるので、結果（＜１）を２乗した値を答えとする。（４）ここで求めた値（０〜１．０）をさらに２乗し、比較結果としてｒｅｓｕｌｔ３とする。なお、画像の絶対値比較は他の処理では行われない。他の処理はすべて相対位置での比較のため、画像全体の明るさが異なるときなどは比較しても同じと判断されてしまうからである。
【０１３１】
図３５（ａ）、（ｂ）で示した２枚の画像をこの比較３により違う画像であると判断することができる。
【０１３２】
そして、以上の比較要素を掛け算し、最終結果を得る（Ｓ１５５）。期待値と実測値の同期を合わせてから上記のｒｅｓｕｌｔ１，ｒｅｓｕｌｔ２，ｒｅｓｕｌｔ３の結果を取得し、これらの積をとる（値は、０〜１．０となる）。これに１００をかけて％に対応させた結果を返す。
【０１３３】
そして、結果（０〜１００）を返す（Ｓ１５６）ことにより、この値が閾値以上である場合、合格とし、閾値未満である場合不合格とする。そして、次に本発明に係る機器の検査装置の音声判定を図３６ないし図３８に基づいて説明する。本例では、ＤＴＭＦ判定（図３６）、ＢＴ／ＲＢＴ判定（図３７）、メロディ判定（図３８）の３つの判定を行う。
【０１３４】
まず、ＤＴＭＦ判定を、図３６に基づいて説明する。
【０１３５】
ＤＴＭＦ（Ｄｕａｌ Ｔｏｎｅ Ｍｕｌｔｉ Ｆｒｅｑｕｅｎｃｙ）は、電話のボタン（０〜９、＊、＃）ごとに割り当てられている、２種類の周波数からなる音声信号である。ＤＴＭＦ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＤＴＭＦ番号（０〜９、＊、＃）と一致するかどうかを判定する。
【０１３６】
ＤＴＭＦ音は、それぞれ予め定められた固有の周波数の組合せであるため期待値として利用するのは各ＤＴＭＦの周波数情報であり、期待値としての音データは保持しない。各番号に対応する周波数情報は、下表の通りである。
【０１３７】
【表１】
【０１３８】
以下に判定の手順を示す。まず、押しボタンを操作し（Ｓ２１１）実測値の中で最大音量を記録している周波数を２点取得して（Ｓ２１２）、この値を期待値ＷＡＶＥファイルを読み込む。
【０１３９】
次に、読み込んだＷＡＶＥデータをＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）にかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２１３）。すると、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる。
【０１４０】
次に取得した音量データを、ＤＴＭＦの周波数帯域が記録されていると思われる帯域を低域と高域の２つ（６５０Ｈｚ〜９７０Ｈｚ、１１５０Ｈｚ〜１５００Ｈｚ）に分ける（Ｓ２１４）。この２つに分けた帯域から、それぞれ最も大きい音量レベルが記録されているデータを１点取得する（Ｓ２１４）。この２つのデータをＤＴＭＦ音の実測値の周波数とする。
【０１４１】
さらに、期待値として指定されているＤＴＭＦ番号の周波数（２点）と、実測値から割り出された周波数（２点）の低域同士と高域同士でそれぞれ比較し（Ｓ２１６）、固定の許容誤差範囲（±２０Ｈｚ）内であれば一致していると判定する（Ｓ２１７、Ｓ２１８）。この許容誤差外であるときは不良であると判定する（Ｓ２１９） 次に、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）判定を図３７に基づいて説明する。ここで、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）とは、それぞれ以下の意味を持つ。即ち、ＢＴ（ビジートーン）は、電話の話中状態を表す音声信号（プーッ・プーッという音）（・は無音）であり、ＲＢＴ（リングバックトーン）は、電話の呼び出し状態を表す音声信号（プルルルル・プルルルルという音）である上記の「プーッ」、もしくは「プルルルル」の部分をＯＮデータと呼び、「・」の部分をＯＦＦデータと呼ぶ。
【０１４２】
ＢＴ／ＲＢＴ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＢＴ、もしくはＲＢＴと一致するかどうかを判定する。
【０１４３】
ＲＢＴ、ＢＴにはそれぞれ特有の鳴動パターン（ＯＦＦデータとＯＮデータの間欠パターン）があるため、そのパターンを数値化したものを期待値として利用する。よってこの処理で利用する音データは実測値のみとなる。
【０１４４】
以下に判定の具体的な手順を示す。まず、押しボタンを操作して（Ｓ２２１）鳴動音を取得する（Ｓ２２２）し、期待値ＷＡＶＥファイルを読み込む。次に、読み込んだＷＡＶＥデータをＦＦＴにかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２２３）。この処理で、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる（Ｓ２２４）。
【０１４５】
次に、音量データ配列の内容がＢＴ／ＲＢＴの周波数帯域（４００Ｈｚ±２０Ｈｚ）と一致するかどうか調べる（Ｓ２２５）。所定の許容誤差範囲内で一致する場合はＯＮデータであると判断し、そうでない場合はＯＦＦデータであると判断する。これを時間軸に沿って調べて、ＯＮデータとＯＦＦデータの数を算出した鳴動パターン配列を取得する。
【０１４６】
次に、期待パターンと取得した鳴動パターンを比較する。これには、まず実測パターンの有効部分を認識する。このとき、実測値の最初にＯＦＦデータが含まれている場合はその部分を切り捨てて、ＯＮデータから始まる部分をデータの有効部分とみなす。
【０１４７】
そして、期待パターンと実測パターンを、実測パターンの有効部分から時間軸に沿って比較する。それぞれの鳴動間隔ごとのＯＮ／ＯＦＦデータの要素数の差が指定の誤差範囲未満であれば、その位置は指定トーンのパターンの一部であるとみなす。
【０１４８】
そして、期待パターンと同じパターンが一定範囲持続している場合に、一致していると判定し、そうでない場合は不一致とする。
【０１４９】
次に、図３８に基づいて、メロディ判定の説明をする。本例でメロディとは、前述のＤＴＭＦ、ＢＴ／ＲＢＴ以外の、音階変化のある音データのことをいうものとする。
【０１５０】
メロディ判定では、マイクで収音した実測値を解析し、実測値に含まれる。音データが、期待値として指定されている音データと内容がどれくらい一致しているかということを一致率で表す。
【０１５１】
一致率を求める処理、及び一致率を求めるためのデータ生成には、一般に使用される音声ライブラリ（例えば、Ａｎｉｍｏ社のＶｏｉｃｅＢａｓｅＩＩライブラリ）を用いる。判定結果の合否は、システムの既定値またはユーザの設定した一致率閾値を判定処理で取得した一致率の値が上回るかどう
かで合否判定を行う。
【０１５２】
この処理で利用する音データは期待値、及び実測値の２つとなる。
【０１５３】
まず、期待値と実測値とをもとに、それぞれの処理データを取得する。即ち、期待値、実測値のＷＡＶＥファイルを読み込む（Ｓ２３１）。次に、無音区間検出（音声ライブラリ使用）を行い、有効データの開始位置を取得する（Ｓ２３２）。このとき、期待値と実測値の有効データ長をもとに、処理データの単位（１フレーム）ごとのデータ量を決める。
【０１５４】
次に、処理データを窓関数（音声ライブラリ）にかけ、ＦＦＴフィルタバンク分析（音声ライブラリ）を行い、マッチング処理用の処理データを取得する（Ｓ２３３）。次に、ＤＰ法（音声ライブラリ）による期待値と実測値の比較処理を行い、比較結果の距離データを取得する（Ｓ２３４）。そして、取得した距離データから一致率を算出する（Ｓ２３６）。
【０１５５】
さらに、算出された一致率が、指定の一致率閾値よりも大きい場合に一致していると判定し、閾値未満の場合不一致と判定する（Ｓ２３６〜Ｓ２３８）。
【０１５６】
これらの処理を予め定めたメロディについて行い音声判定処理は終了する。
【実施例２】
【０１５７】
図３９、図４０は、本発明に係る携帯電話の保持装置の一実施例を概念的に示す斜視図であり、図３９は、複数の移動可能なあるいは位置固定の支持部材１０１で、蓋部１０２を開いた携帯電話１を保持し、着脱可能なゴムヒモなどの弾性部材１０３でホールド性を高め、携帯電話１を押さえた状態を示している。図４０は、図３９の状態から携帯電話１を外した状態を示している。図４１は図３９の状態を詳細に示す平面図、図４２は同じく側面図である。
【０１５８】
複数の支持部材１０１は、位置固定の一対のガイド支持部材１０１ａ、１０１ａと、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた２つの親スライダ１０１ｂ、１０１ｂと、それぞれの親スライダ１０１ｂ上にそれらの軸線方向で、すなわち親スライダ１０１ｂのスライド方向とは直角に交叉する方向でスライド可能に取り付けた子スライダ１０１ｃと、親スライダ１０１ｂと平行でかつ位置固定にガイド支持部材１０１ａ、１０１ａ間に設けた保持用支持部材１０１ｄから構成してあり、親スライダ１０１ｂが携帯電話１の底面を支持し、子スライダ１０１ｃが携帯電話１の側面を支え、保持用支持部材１０１ｄが携帯電話１の保持性を向上させる支持部材として構成してある。
【０１５９】
なお、図示の実施例では、子スライダ１０１ｃを載せ得る親スライダ１０１ｂが２つしか設けていないが、例えばこれを４つに増やし、そのうち一つで携帯電話下部の高さを可変に支え、もう一つで携帯電話１の本体１ａではなく蓋部１０２のＬＣＤパネル３部分側の側部を押さえるものとする。残りの２つは図示の実施例と同じ役目をはたす構成とするとよい。
【０１６０】
また子スライダ１０１ｃのスライド部品を付け替え得るようにし、以下の３種類を必要に応じて交換可能とすることもできる。（１）携帯電話１の高さ方向とサイド方向の両方を押さえるもの（図示の実施例）（２）携帯電話１のＬＣＤパネル３部分のサイドを押さえるもの（様々な高さのＬＣＤパネル３部分が考えられるので、それらに対応できるように、例えば１０ｃｍ程の高さのあるものにするとよい）（３）携帯電話１の高さ方向のみを支えるもの（図示の実施例と同じ高さで、携帯電話１の特に本体部分１ａの側面に設けられるサイドボタンやケーブルの邪魔にならないような形状とすることが好ましい）
【０１６１】
また子スライダ１０１ｃは、例えばノギスと同様の構造のものとすることができるが、その構造の場合、歯車を使用しているため携帯電話１を挟んだときに少しガタがあり、片方を固定しても反対側ががたついてしまうことがあり得る。サイドボタンを押した場合は少しのガタがカメラ画像などに影響するので、しっかりと携帯電話１の両サイドを固定する必要がある。例えば子スライダ１０１ｃをネジ止めしてその位置を固定する構造とすることができるが、一つのネジでは上述のようなガタを無くすことが難しい場合は、ネジ止めを２箇所で行ってもよい。
【０１６２】
上述のように、子スライダ１０１ｃをガイド支持部材１０１ａ、１０１ａ間のセンターに合わせるためのテンションをかけるために、また携帯電話１のＬＣＤパネル３側が上がらないように、上からゴムヒモなどの弾性部材１０３で押さえつけるように固定しているが、弾性部材１０３は、子スライダ１０１ｂを構成する部品１０１ｂａに図４３に示すように穴１０１ｂｂを開け、ここに弾性部材１０３に設けた球状等の部材１０３ａを嵌入させて引っ掛ける。全ての子スライダ１０１ｃの部品にこの穴１０１ｂｂを空けておき、弾性部材１０３をどこにでも取り付けられるようにするとよい。なお図示の実施例ではゴムヒモなどの弾性部材１０３を用いているが、これに代えてバネを採用することもできる。
【０１６３】
また子スライダ１０１ｃの位置を変える場合には、ネジが完全に外れなくても緩めるだけで移動できるようにすることが好ましい。また、親スライダ１０１ｂに目盛を振るなどして、子スライダ１０１ｃを所定の位置に再度固定できるようにすることが望ましい。
【０１６４】
さらに、携帯電話１の本体１ａの端部を抑える固定の支持部材１０１ｅ、１０１ｅは、携帯電話１のタイプ、具体的には端部形状、端部構造の違いに対応できるように、ベースにネジ止めする構造等としておいて、交換できるようにすることが好ましい。
【産業上の利用可能性】
【０１６５】
本発明では、携帯電話を検査対象機器とする他ＰＤＡ、カーナビゲーションシステム等及びその他の同等機器についても本発明を適用できる。
【０１６６】
また、本発明では、外部からの物品接触による入力は、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象とすることができる。
【０１６７】
また、本発明では、適宜の自由度（例えば、３軸、６軸）を有するロボットで、複数のボタンを順次押下するようにすることができる。特に多軸のロボットを使用した場合には、立体的に配置されたボタン、つまみを的確に操作することができる。
【０１６８】
さらに、本発明では、検査項目出力手段は、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力上記外部入力である場合には、これらに対応する出力をなすもものとできる。
【０１６９】
またなお、携帯電話やカーナビの試験には外部に接続されたプログマブル電源、電波発生器、シグナルジェネレータ、測定器などの機器やこれらのコントロールソフトと接続した環境でテストをする場合がある。本発明では、外部機器制御の機能として、シナリオの中にこれら外部機器への制御用命令文を記述することにより、それぞれの機器の制御を行う外部制御モジュールソフトと交信を行い、連携した試験を行えるようにすることができる。外部制御モジュールは、接続機器ごとに用意し、本システムときめられたプロトコルにより、通信を行って外部制御モジュールより外部機器を制御、または値を得て本システムに渡すものとなる。
【図面の簡単な説明】
【０１７０】
【図１】本発明に係る携帯電話の検査装置の一実施形態を概念的に示す側面断面図である。
【図２】アダプタユニットとその上に固定した携帯電話を示す斜視図である。
【図３】カメラ等を装備するためのベースユニットの側面図である。
【図４】プランジャーユニットが備えるレリーズを示す図である。
【図５】メイン画面を示す図である。
【図６】メイン画面上でのキーボタンの範囲指定を示す図である。
【図７】携帯電話情報設定画面を示す図である。
【図８】ボタン情報設定画面を示す図である。
【図９】ボタン情報一覧画面を示す図である。
【図１０】キーボタンの情報設定でのレリーズの番号入力例を示す図である。
【図１１】リセットボタンの設定画面を示す図である。
【図１２】機種ファイルの編集画面の図である。
【図１３】ＬＣＤパネルの調整画面の内容を示す図である。
【図１４】補正後画像の確認画面である。
【図１５】キャリブレーションシートを示す図である。
【図１６】歪み具合取得ウィザード画面の図である。
【図１７】シナリオ作成編集画面を示す図である。
【図１８】シナリオを複数呼び出した例を示す図である。
【図１９】期待値設定タブの内容を示す図である。
【図２０】ボタン対応表を示す図である。
【図２１】実行画面を示す図である。
【図２２】エラーレポートを示す図である。
【図２３】本発明に係る携帯電話の検査装置の一実施形態の画像判定処理動作を示すフローチャートである。
【図２４】本発明に係る携帯電話の検査装置の一実施形態の音声判定処理動作を示すフローチャートである。
【図２５】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作を示すフローチャートである。
【図２６】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作の一例を示す図である。
【図２７】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作中の領域特定処理を示す図である。
【図２８】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作中の明るさ補正処理を示す図である。
【図２９】本発明に係る携帯電話の検査装置の一実施形態の静止画像判定処理動作中の閾値決定処理を示す図である。
【図３０】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作を示すフローチャートである。
【図３１】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３２】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３３】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３４】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３５】本発明に係る携帯電話の検査装置の一実施形態の動画像判定処理動作の一例を示す図である。
【図３６】本発明に係る携帯電話の検査装置の一実施形態のＤＴＭＦ音判定処理動作を示すフローチャートである。
【図３７】本発明に係る携帯電話の検査装置の一実施形態のＢＴ／ＲＢＴ音判定処理動作を示すフローチャートである。
【図３８】本発明に係る携帯電話の検査装置の一実施形態のメロディ判定処理動作を示すフローチャートである。
【図３９】本発明に係る携帯電話の保持装置の一実施例を概念的に示す斜視図である。
【図４０】本発明に係る携帯電話の保持装置の一実施例を概念的に示す斜視図である。
【図４１】図３９の状態を詳細に示す平面図
【図４２】同じく側面図である。
【図４３】子スライダへの弾性部材の取り付け構造を示す断面図である。
【符号の説明】
【０１７１】
１ 携帯電話１ａ 携帯電話の全体平面画像２ アダプタユニット３ ＬＣＤパネル３ａ ＬＣＤパネルの画像４ カメラ５ 操作ボタン（キーボタン）６ レリーズ７ プランジャーユニット８ コンピュータ９ モニタ１１ 表示部１２ 操作部２１ アダプタユニットのベース板２２ 傾斜板２３ レリーズガイドパネル２４ 側板２５ 孔２６ スピーカ３０ ベースユニット３１ ベースユニットのベース板３２ マイク３３ タワー部３５ マイク４０ キャリブレーションシート５０ シナリオリストボックス５１ コマンド設定タブ５２ 情報設定部５３ 期待値画像表示スペース６１ レリーズのチューブ６２ ピン６３ 金属管部６４ ネジヤマ６５ ロックネジ６６ 調節ネジ８０ シナリオ
リストボックス８１ 実行時指定部８２ 実行状況表示部８３ シナリオ一覧リストボックス８４ カレントシナリオボックス８５ 期待値画像表示部８６ 実行ＬＣＤ画像表示部１０１ 支持部材１０１ａ ガイド支持部材１０１ｂ 親スライダ１０１ｂａ 子スライダを構成する部品１０１ｂｂ 穴１０１ｃ 子スライダ１０１ｄ 保持用支持部材１０１ｅ 支持部材１０２ 携帯電話の蓋部１０３ 弾性部材１０３ａ 弾性部材の球状等の部材
【特許請求の範囲】
【請求項１】
外部からの物品接触による入力、音声入力、有線入力、電磁波による無線信号入力、画像信号入力を含む外部入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象として、該機器の動作を検査する検査装置であって、 上記外部入力に対応する出力を上記機器に対して発生する検査項目出力手段、 検査対象機器の出力手段の出力を機器外部で検出する検出手段、 上記検査項目出力手段を動作させる手順を指定するシナリオ設定手段を有し、 上記シナリオ設定で指定した手順に応じた上記検査項目出力手段の動作によって外部入力を選択的に入力して、上記検出手段が検出した検査対象の出力と、上記検査対象機器の内部状態と外部入力とから予想された期待値との一致性を確認可能としてなることを特徴とする機器の検査装置。
【請求項２】
上記検査項目出力手段は、複数のスイッチ、つまみを操作する所定の自由度を有するロボットを備えることを特徴とする請求項１の機器の検査装置。
【請求項３】
上記検査項目出力手段は、検査対象機器が、音声入力手段、画像信号入力手段、有線信号入力手段、電波、赤外線を含む電磁波による無線入力手段のいずれかを備えるものであることを特徴とする請求項１の機器の検査装置。
【請求項４】
複数の操作ボタンを備える操作部及び該操作ボタンの少なくとも一の操作に応じて表示内容が変化する表示部を有する機器を検査対象として該機器の動作を検査する検査装置であって、 上記表示部を撮像して画像を得る撮像手段、 該撮像手段に対して検査対象機器を所定状態にかつ交換可能に搭載するためのアダプタ、 上記操作ボタンの一つを押下可能な押下手段を複数有するボタン操作手段、 該ボタン操作手段の選択及び動作制御を行う制御手段、及び上記撮像手段で得た画像や上記制御手段からの信号に基づく画像の表示手段とからなり、 上記制御手段が、 上記検査対象機器ごとに予め得ておいた該検査対象機器の全体画像を上記表示手段に表示させる手段、 該表示手段で表示した上記全体画像の操作ボタン画像と上記ボタン操作手段の複数の押下手段とを関係付けるボタン割り当て手段、 該表示した全体画像の表示部位置に上記撮像手段で得た上記表示部の画像を表示する手段、 上記押下手段を動作させる手順を指定するシナリオ設定手段を有し、 上記シナリオ設定で指定した手順に応じた上記押下手段の動作によって上記複数の押下手段を選択的に動作させ、上記検査対象機器の表示部に表れる表示内容と、上記表示部に表示される画像との一致性を確認可能としてなることを特徴とする機器の検査装置。
【請求項５】
上記アダプタに、上記検査対象機器が発する音を集音するためのマイクを搭載してなることを特徴とする請求項４の機器の検査装置。
【請求項６】
上記アダプタに、上記検査対象機器が発する音を拡大出力するためのスピーカを搭載してなることを特徴とする請求項４または５の機器の検査装置。
【請求項７】
上記アダプタが、搭載した上記検査対象機器の少なくとも上記操作部の上方を覆うとともに、上記押下手段を所要の操作ボタンに対応配置するためのガイド孔を少なくとも上記所要の操作ボタンの数だけ有するガイドプレートを含むことを特徴とする請求項４ないし６のいずれかの機器の検査装置。
【請求項８】
上記検査対象機器が、上記表示部と、上記操作部とをヒンジ等を介して連結した折り畳み及び開閉動作可能な機器であって該開操作用の操作ボタンを備えるものであり、上記ボタン操作手段が、該開操作用の操作ボタンを操作するための押下手段を有することを特徴とする請求項４ないし７のいずれかの機器の検査装置。
【請求項９】
上記撮像手段が撮影した対象機器の表示部に現れる表示内容と、上記表示部に表示される画像とを比較し、それらの一致性についての情報を出力する画像判定手段を備えたことを特徴とする請求項４ないし８のいずれかの機器の検査装置。
【請求項１０】
上記画像判定手段が、静止画または動画を判定対象とすることを特徴とする請求項９の機器の検査装置。
【請求項１１】
上記画像判定手段が、上記撮像手段のキャリブレーションを行う行程を備えたことを特徴とする請求項９または１０の機器の検査装置。
【請求項１２】
上記画像判定手段が、撮影場像と基準画像とを比較して、それらの異なる領域を抽出し、表示のエラー個所を判定することを特徴とする請求項９ないし１０のいずれかの機器の検査装置。
【請求項１３】
上記画像判定手段が、判定対象となる画像のコントラストを強調した補正を行いこの補正後の画像を判定対象とすることを特徴とする請求項１２の機器の検査装置。
【請求項１４】
判定対象となる画像取り込み枠を設定して判定対象とすることを特徴とする請求項１１または１２の機器の検査装置。
【請求項１５】
上記画像判定手段が、判定対象から画像明度の高い部分を抽出して判定対象とすることを特徴とする請求項１１ないし１４のいずれかの機器の検査装置。
【請求項１６】
上記画像判定手段が、相違の程度を明度差として抽出し相違程度の大きさと、相違個所の大きさに基づいてエラー個所を判定することを特徴とする請求項１１ないし１５の機器の検査装置。
【請求項１７】
上記画像判定手段が、撮像手段で取り込んだ動画を複数の静止画として格納手段に格納し、判定基準となる期待値と時間的なタイミングを合わせて比較することを特徴とする請求項１１ないし１６のいずれかの機器の検査装置。
【請求項１８】
上記画像判定手段が、取り込んだ複数の静止画のうち特定の静止画に着目し、この着目した静止画と時間的に近接した静止画との平均値を求め判定対象の画像とすることを特徴とする請求項１１ないし１７のいずれかの機器の検査装置。
【請求項１９】
上記画像判定手段が、判定対象となる画像を色別に分離した複数の色別画像データと、明度データのみを備えたグレイデータとを作成し、各色別画像データ中で差分値を求め、それらの差分値から総合グレイ値を作成し、総合グレイ値の変化量の大きい個所を変化量大領域として抽出し、この変化量大領域の重心を求める処理を行うことを特徴とする請求項１１ないし１８のいずれかの機器の検査装置。
【請求項２０】
上記画像判定手段が、それらの差分値から総合グレイ値を作成し、総合グレイ値の変化量の大きい個所を変化量大領域として抽出することを特徴とする請求項１１ないし１９の機器の検査装置。
【請求項２１】
上記画像判定手段が、移動領域の差分を求める処理を行うことを特徴とする請求項１１ないし２０の機器の検査装置。
【請求項２２】
画像の絶対値で判断することを特徴とする請求項１１ないし２１の機器の検査装置。
【請求項２３】
請求項２０ないし請求項２２の結果のうち複数の結果に基づいて最終判定を行うことを特徴とする機器の検査装置。
【請求項２４】
上記マイクで取得した対象機器が発生する音声と、上記対象機器が発生すべき音声とを比較し、それらの一致性についての情報を出力する音声判定手段を備えたことを特徴とする請求項４ないし２３の機器の検査装置。
【請求項２５】
上記音声判定手段が、ＤＴＭＦ音の判定を行うことを特徴とする請求項２４の機器の検査装置。
【請求項２６】
上記音声判定手段が、ＲＴ／ＲＢＴ音の判定を行うことを特徴とする請求項２４または２５の機器の検査装置。
【請求項２７】
上記音声判定手段が、マイクで採集した音声のうち大きなレベルを有する音声の周波数を測定して判定することを特徴とする請求項２５または２６の機器の検査装置。
【請求項２８】
上記音声判定手段が、周波数分析を行いその結果に基づいて判定を行うことを特徴とする請求項２５または２６の機器の検査装置。
【請求項２９】
上記音声判定手段が、対象機器が発生する音階変化のある音データの判定を行うことを特徴とする機器の検査装置。
【請求項３０】
無音区間を検出して音声判定の開始点として認識することを特徴とする請求項２９の機器の検査装置。
【請求項３１】
請求項１ないし３０のいずれかの機器の検査装置を、電子通信可能なネットワークを介して複数接続し、一の機器の検査装置をサーバーとし、他の機器の検査装置をクライアントとし、上記サーバーとした一の機器の検査装置の上記制御手段が、上記クライアントとした他の機器の検査装置を制御する手段を有することを特徴とする機器の検査システム。
【請求項３２】
複数の移動可能なあるいは位置固定の支持部材で携帯電話を保持し、着脱可能なゴムヒモなどの弾性部材でホールド性を高め、サイズ等が異なっても種々の携帯電話を保持可能なことを特徴とする携帯電話の保持装置。
【請求項３３】
請求項３２の携帯電話の保持装置において、複数の支持部材が、位置固定の一対のガイド支持部材と、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた少なくとも一つの親スライダと、該親スライダ上にそれらの軸線方向でスライド可能に取り付けた子スライダと、上記親スライダと平行でかつ位置固定に上記ガイド支持部材間に設けた保持用支持部材から構成してあることを特徴とする携帯電話の保持装置。
【請求項３４】
請求項３３の携帯電話の保持装置において、上記親スライダが上記携帯電話の底面を支持し、上記子スライダが上記携帯電話の側面を支え、上記保持用支持部材が上記携帯電話の保持性を向上させる支持部材として構成してあることを特徴とする携帯電話の保持装置。
【請求項３５】
請求項３３または３４の携帯電話の保持装置において、上記子スライダを上記ガイド支持部材間のセンターに位置を合わせるテンションをかける弾性部材を備えることを特徴とする携帯電話の保持装置。
【請求項１】
外部からの物品接触による入力、音声入力、有線入力、電磁波による無線信号入力、画像信号入力を含む外部入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象として、該機器の動作を検査する検査装置であって、 上記外部入力に対応する出力を上記機器に対して発生する検査項目出力手段、 検査対象機器の出力手段の出力を機器外部で検出する検出手段、 上記検査項目出力手段を動作させる手順を指定するシナリオ設定手段を有し、 上記シナリオ設定で指定した手順に応じた上記検査項目出力手段の動作によって外部入力を選択的に入力して、上記検出手段が検出した検査対象の出力と、上記検査対象機器の内部状態と外部入力とから予想された期待値との一致性を確認可能としてなることを特徴とする機器の検査装置。
【請求項２】
上記検査項目出力手段は、複数のスイッチ、つまみを操作する所定の自由度を有するロボットを備えることを特徴とする請求項１の機器の検査装置。
【請求項３】
上記検査項目出力手段は、検査対象機器が、音声入力手段、画像信号入力手段、有線信号入力手段、電波、赤外線を含む電磁波による無線入力手段のいずれかを備えるものであることを特徴とする請求項１の機器の検査装置。
【請求項４】
複数の操作ボタンを備える操作部及び該操作ボタンの少なくとも一の操作に応じて表示内容が変化する表示部を有する機器を検査対象として該機器の動作を検査する検査装置であって、 上記表示部を撮像して画像を得る撮像手段、 該撮像手段に対して検査対象機器を所定状態にかつ交換可能に搭載するためのアダプタ、 上記操作ボタンの一つを押下可能な押下手段を複数有するボタン操作手段、 該ボタン操作手段の選択及び動作制御を行う制御手段、及び上記撮像手段で得た画像や上記制御手段からの信号に基づく画像の表示手段とからなり、 上記制御手段が、 上記検査対象機器ごとに予め得ておいた該検査対象機器の全体画像を上記表示手段に表示させる手段、 該表示手段で表示した上記全体画像の操作ボタン画像と上記ボタン操作手段の複数の押下手段とを関係付けるボタン割り当て手段、 該表示した全体画像の表示部位置に上記撮像手段で得た上記表示部の画像を表示する手段、 上記押下手段を動作させる手順を指定するシナリオ設定手段を有し、 上記シナリオ設定で指定した手順に応じた上記押下手段の動作によって上記複数の押下手段を選択的に動作させ、上記検査対象機器の表示部に表れる表示内容と、上記表示部に表示される画像との一致性を確認可能としてなることを特徴とする機器の検査装置。
【請求項５】
上記アダプタに、上記検査対象機器が発する音を集音するためのマイクを搭載してなることを特徴とする請求項４の機器の検査装置。
【請求項６】
上記アダプタに、上記検査対象機器が発する音を拡大出力するためのスピーカを搭載してなることを特徴とする請求項４または５の機器の検査装置。
【請求項７】
上記アダプタが、搭載した上記検査対象機器の少なくとも上記操作部の上方を覆うとともに、上記押下手段を所要の操作ボタンに対応配置するためのガイド孔を少なくとも上記所要の操作ボタンの数だけ有するガイドプレートを含むことを特徴とする請求項４ないし６のいずれかの機器の検査装置。
【請求項８】
上記検査対象機器が、上記表示部と、上記操作部とをヒンジ等を介して連結した折り畳み及び開閉動作可能な機器であって該開操作用の操作ボタンを備えるものであり、上記ボタン操作手段が、該開操作用の操作ボタンを操作するための押下手段を有することを特徴とする請求項４ないし７のいずれかの機器の検査装置。
【請求項９】
上記撮像手段が撮影した対象機器の表示部に現れる表示内容と、上記表示部に表示される画像とを比較し、それらの一致性についての情報を出力する画像判定手段を備えたことを特徴とする請求項４ないし８のいずれかの機器の検査装置。
【請求項１０】
上記画像判定手段が、静止画または動画を判定対象とすることを特徴とする請求項９の機器の検査装置。
【請求項１１】
上記画像判定手段が、上記撮像手段のキャリブレーションを行う行程を備えたことを特徴とする請求項９または１０の機器の検査装置。
【請求項１２】
上記画像判定手段が、撮影場像と基準画像とを比較して、それらの異なる領域を抽出し、表示のエラー個所を判定することを特徴とする請求項９ないし１０のいずれかの機器の検査装置。
【請求項１３】
上記画像判定手段が、判定対象となる画像のコントラストを強調した補正を行いこの補正後の画像を判定対象とすることを特徴とする請求項１２の機器の検査装置。
【請求項１４】
判定対象となる画像取り込み枠を設定して判定対象とすることを特徴とする請求項１１または１２の機器の検査装置。
【請求項１５】
上記画像判定手段が、判定対象から画像明度の高い部分を抽出して判定対象とすることを特徴とする請求項１１ないし１４のいずれかの機器の検査装置。
【請求項１６】
上記画像判定手段が、相違の程度を明度差として抽出し相違程度の大きさと、相違個所の大きさに基づいてエラー個所を判定することを特徴とする請求項１１ないし１５の機器の検査装置。
【請求項１７】
上記画像判定手段が、撮像手段で取り込んだ動画を複数の静止画として格納手段に格納し、判定基準となる期待値と時間的なタイミングを合わせて比較することを特徴とする請求項１１ないし１６のいずれかの機器の検査装置。
【請求項１８】
上記画像判定手段が、取り込んだ複数の静止画のうち特定の静止画に着目し、この着目した静止画と時間的に近接した静止画との平均値を求め判定対象の画像とすることを特徴とする請求項１１ないし１７のいずれかの機器の検査装置。
【請求項１９】
上記画像判定手段が、判定対象となる画像を色別に分離した複数の色別画像データと、明度データのみを備えたグレイデータとを作成し、各色別画像データ中で差分値を求め、それらの差分値から総合グレイ値を作成し、総合グレイ値の変化量の大きい個所を変化量大領域として抽出し、この変化量大領域の重心を求める処理を行うことを特徴とする請求項１１ないし１８のいずれかの機器の検査装置。
【請求項２０】
上記画像判定手段が、それらの差分値から総合グレイ値を作成し、総合グレイ値の変化量の大きい個所を変化量大領域として抽出することを特徴とする請求項１１ないし１９の機器の検査装置。
【請求項２１】
上記画像判定手段が、移動領域の差分を求める処理を行うことを特徴とする請求項１１ないし２０の機器の検査装置。
【請求項２２】
画像の絶対値で判断することを特徴とする請求項１１ないし２１の機器の検査装置。
【請求項２３】
請求項２０ないし請求項２２の結果のうち複数の結果に基づいて最終判定を行うことを特徴とする機器の検査装置。
【請求項２４】
上記マイクで取得した対象機器が発生する音声と、上記対象機器が発生すべき音声とを比較し、それらの一致性についての情報を出力する音声判定手段を備えたことを特徴とする請求項４ないし２３の機器の検査装置。
【請求項２５】
上記音声判定手段が、ＤＴＭＦ音の判定を行うことを特徴とする請求項２４の機器の検査装置。
【請求項２６】
上記音声判定手段が、ＲＴ／ＲＢＴ音の判定を行うことを特徴とする請求項２４または２５の機器の検査装置。
【請求項２７】
上記音声判定手段が、マイクで採集した音声のうち大きなレベルを有する音声の周波数を測定して判定することを特徴とする請求項２５または２６の機器の検査装置。
【請求項２８】
上記音声判定手段が、周波数分析を行いその結果に基づいて判定を行うことを特徴とする請求項２５または２６の機器の検査装置。
【請求項２９】
上記音声判定手段が、対象機器が発生する音階変化のある音データの判定を行うことを特徴とする機器の検査装置。
【請求項３０】
無音区間を検出して音声判定の開始点として認識することを特徴とする請求項２９の機器の検査装置。
【請求項３１】
請求項１ないし３０のいずれかの機器の検査装置を、電子通信可能なネットワークを介して複数接続し、一の機器の検査装置をサーバーとし、他の機器の検査装置をクライアントとし、上記サーバーとした一の機器の検査装置の上記制御手段が、上記クライアントとした他の機器の検査装置を制御する手段を有することを特徴とする機器の検査システム。
【請求項３２】
複数の移動可能なあるいは位置固定の支持部材で携帯電話を保持し、着脱可能なゴムヒモなどの弾性部材でホールド性を高め、サイズ等が異なっても種々の携帯電話を保持可能なことを特徴とする携帯電話の保持装置。
【請求項３３】
請求項３２の携帯電話の保持装置において、複数の支持部材が、位置固定の一対のガイド支持部材と、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた少なくとも一つの親スライダと、該親スライダ上にそれらの軸線方向でスライド可能に取り付けた子スライダと、上記親スライダと平行でかつ位置固定に上記ガイド支持部材間に設けた保持用支持部材から構成してあることを特徴とする携帯電話の保持装置。
【請求項３４】
請求項３３の携帯電話の保持装置において、上記親スライダが上記携帯電話の底面を支持し、上記子スライダが上記携帯電話の側面を支え、上記保持用支持部材が上記携帯電話の保持性を向上させる支持部材として構成してあることを特徴とする携帯電話の保持装置。
【請求項３５】
請求項３３または３４の携帯電話の保持装置において、上記子スライダを上記ガイド支持部材間のセンターに位置を合わせるテンションをかける弾性部材を備えることを特徴とする携帯電話の保持装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【国際公開番号】ＷＯ２００５／０７１９３０
【国際公開日】平成１７年８月４日（２００５．８．４）
【発行日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願番号】特願２００５−５１７２９２（Ｐ２００５−５１７２９２）
【国際出願番号】ＰＣＴ／ＪＰ２００５／０００８３８
【国際出願日】平成１７年１月２４日（２００５．１．２４）
【出願人】（３９７０３８６８０）日本ノーベル株式会社 (8)
【Ｆターム（参考）】
【国際公開日】平成１７年８月４日（２００５．８．４）
【発行日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００５／０００８３８
【国際出願日】平成１７年１月２４日（２００５．１．２４）
【出願人】（３９７０３８６８０）日本ノーベル株式会社 (8)
【Ｆターム（参考）】
[ Back to top ]