画面変化検査装置、画面変化検査方法及びプログラム
【課題】 正解画像を用意することなく、フォーカス移動による画面の変化についての検査をすることができる画面変化検査装置、画面変化検査方法及びプログラムを提供する。
【解決手段】 本発明における画面変化検査装置は、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納する画像格納手段と、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納する判定ルール格納手段と、前記画像格納手段が格納する検査対象画像に対して、前記判定ルール格納手段が格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する判定手段と、を含む。
【解決手段】 本発明における画面変化検査装置は、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納する画像格納手段と、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納する判定ルール格納手段と、前記画像格納手段が格納する検査対象画像に対して、前記判定ルール格納手段が格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する判定手段と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面の変化を検査する画面変化検査装置、画面変化検査方法及びプログラムに関する。
【背景技術】
【０００２】
障害者や高齢者に配慮したＷｅｂコンテンツを作成するための、Ｗ３Ｃ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）の勧告するＷＣＡＧ（Ｗｅｂ Ｃｏｎｔｅｎｔｓ Ａｃｃｅｓｓｉｂｉｌｉｔｙ Ｇｕｉｄｅｌｉｎｅ）２．０版（非特許文献１及び２）には、利用者の入力操作に対する画面出力に関し、「達成基準２．４．７視覚的に認識可能なフォーカス」と「達成基準３．２．１オンフォーカス」とが記載されている。
【０００３】
「達成基準２．４．７視覚的に認識可能なフォーカス」には、「キーボード操作が可能なユーザインタフェースには、キーボード・フォーカスの状態が視覚的に認識できる操作モードがある。」と記載されている。この意図は「キーボード・フォーカスの表示が視覚的に確認できる操作モードが少なくとも一つあるようにする」ことである。
【０００４】
図５は、達成基準２．４．７の記載を説明するための図である。図５（ａ）に示すように、達成基準２．４．７の記載は、ボタン、リンク、セレクトボックス、テキスト入力エリアといった利用者が入力操作を行う部位１にフォーカスを移動した場合、例えば図５（ｂ）のようにフォーカスが当たっている事を視覚的に認識できるような表現２によって表示することを規定している。
【０００５】
もう一方の「達成基準３．２．１オンフォーカス」には、「いずれのコンポーネントも、フォーカスを受け取ったときに状況の変化を引き起こさない。」と記載されている。詳しく説明すると、この達成基準３．２．１は、マウス操作が上手く行えない利用者や苦手な利用者に配慮し、全ての操作をキーボードで行えるようにするという「達成基準２．１．１キーボード操作」に関係する。
【０００６】
図６は、達成基準３．２．１の記載を説明するための図である。例えば図６（ａ）に示すような、利用者が入力操作を行うメニュー３があるとする。利用者は、図６（ａ）のメニュー３に入力操作を行い、図６（ｂ）に示すようにプルダウンメニュー４を開く。このとき、図６（ｃ）に示すように、利用者がプルダウンメニュー４の項目を選択すると右の都道府県名が切り替わるような、項目を選択すると同時に処理を即実行する機能があるとする。この場合、利用者は、マウスを使えば、図６（ｄ）に示すように項目の並び順に関係なく任意の項目、例えば北海道・東北から九州・沖縄をすばやく選択できる。
【０００７】
しかし、利用者がキーボードを使った場合、項目の並び順に従いフォーカスを移動しなければならず、しかもフォーカスが移動する度に処理を実行してしまう。そのため、フォーカスが北海道・東北から九州・沖縄へ到達する前に関東、北陸、中部と項目の表示が次々と切り替わってしまい、利用者が求める項目に辿り着く前に意図しない処理が実行されてしまう。
【０００８】
このように、フォーカスが移動する度に処理を実行する機能がある場合でも、利用者はマウスを使えば問題なく操作できるが、キーボードを使った場合、操作性が著しく低下する。そのため、達成基準３．２．１には、障害者や高齢者へ配慮し、「いずれのコンポーネントも、フォーカスを受け取ったときに状況の変化を引き起こさない。」と記載されている。
【０００９】
こうした利用者の入力操作に対して「フォーカスが当たっている事が視認可能かどうか」という事や、「フォーカス移動しただけで処理を実行してしまわないかどうか」、という事について、低コストで検査する技術は、現在のところ存在しない。
【００１０】
関連する技術として特許文献１は、入力操作に対し意図した画面出力を行うかどうか検査する技術を開示する。特許文献１は、特定の操作手順と、その手順を実行した時の意図した画面出力の状態を表す正解画像を用意し、特定の操作を実行させた画面出力の状態を表す画像と正解画像とを比較する技術を開示する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７―３２５０５６号公報
【特許文献２】特開２００４―２０７９５０号公報
【特許文献３】特開２０１０―０４５７２８号公報
【非特許文献】
【００１２】
【非特許文献１】W3C（World Wide Web Consortium）WCAG（Web Contents Accessibility Guideline） http://www.w3.org/TR/WCAG20/, Latest version 11 December 2008.
【非特許文献２】WCAG 2.0解説書http://www.ciaj.or.jp/access/web/docs/UNDERSTANDING-WCAG20/Overview.html#contents, January-March 2010.
【非特許文献３】Digital Video Colourmaps for Checking the Legibility of Displays by Dichromats. John D.Mollon. COLOR research and application, Vol.24, No.4, August 1999.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１に記載の技術のように、特定の入力操作を行った場合の正解画像を予め用意する方法では、利用者は、一連の操作を行う事によって至る画面出力の状態を表す画像が正解画像と一致するかどうかしか検査できない。そのため、特許文献１に記載の技術の提供者は、一連の操作を構成する個々の操作に対する画面出力の状態を表す画像の確認を行う場合、個々の操作に対する正解画像を用意しなければならない。つまり、提供者は、ボタン、リンク、セレクトボックス、又はテキスト入力エリアといった利用者が入力操作を行う部位の数量だけ正解画像を用意しなければならない。これら入力操作部位が１画面あたり１００個ある場合、提供者は正解画像を１００枚用意しなければならず、非常に煩雑である。
【００１４】
以上より、本発明の目的は、一連の操作手順とその手順を実行した時の意図した画面出力の状態を表す正解画像を用意することなく、例えば「フォーカスが当たった状態の視認性」及び「フォーカスが移動しただけでの処理の実行の有無」等を確認するために、フォーカス移動による画面の変化についての検査をすることができる画面変化検査装置、画面変化検査方法及びプログラムを提供することである。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明における画面変化検査装置は、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納する画像格納手段と、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納する判定ルール格納手段と、画像格納手段が格納する検査対象画像に対して、判定ルール格納手段が格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する判定手段と、を含む。
【００１６】
上記目的を達成するため、本発明における画面変化検査方法は、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納し、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納し、前記格納する検査対象画像に対して、前記格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する。
【００１７】
上記目的を達成するため、本発明におけるプログラムは、コンピュータに、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納し、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納し、前記格納する検査対象画像に対して、前記格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かを判定する、処理を実行させる。
【発明の効果】
【００１８】
本発明における画面変化検査装置、画面変化検査方法及びプログラムによれば、一連の操作手順とその手順を実行した時の意図した出力画面の状態を表す正解画像を用意することなく、例えば「フォーカスが当たった状態の視認性」及び「フォーカスが移動しただけでの処理の実行」等の、フォーカス移動による画面の変化について検査することができる。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態に係る画面変化検査装置の機能構成を示すブロック図である。
【図２】第１実施形態に係る画面変化検査装置の動作を示すフローチャートである。
【図３】第２実施形態に係る画面変化検査装置の効果を説明するために操作前と操作後の検査対象画像の例を示した図である。
【図４】本発明の第５実施形態に係る画面変化検査装置の機能構成を示すブロック図である。
【図５】達成基準２．４．７の記載を説明するための図である。
【図６】達成基準３．２．１の記載を説明するための図である。
【発明を実施するための形態】
【００２０】
まず、本発明の理解を容易にするために、本発明の背景と概要を説明する。
【００２１】
背景技術で説明したように、「フォーカスが当たっている事が視認可能かどうか」という事や、「フォーカス移動しただけで処理を実行してしまわないかどうか」、という事について、コストをかけずに検査する技術は、現在のところ存在しない。特許文献１に記載の技術によれば、必要十分な正解画像を用意することができれば、上記の検査は可能である。しかし、必要十分な正解画像を用意することは、非常に煩雑でありコストがかかる。
【００２２】
そこで、画面の状態を表す画像ごとに正解画像を用意する方法ではなく、どのような状態の画像に対しても、画面の変化の有無を判定できるルールを用いる方法があれば簡便である。ルールを用いる方法は、背景技術で述べた「フォーカスが当たっている事が視認可能かどうか」という事や「フォーカス移動しただけで処理を実行してしまわないかどうか」という事を検査する場合のみならず、個々の操作に伴う画面の検査全般に効果的である。
【００２３】
本発明は、画面の変化の有無を判定できるルールとして、個々の操作を行う前の出力画面の状態を表す画像に属するドットと、操作を行った後の出力画面の状態を表す画像に属するドットとの、色の変化量及び変化したドットの数量について規定した判定ルールを用いる。本発明は、色の変化量及び変化したドットの数量について規定した判定ルールに基づいて画面の変化を判定することで、上記目的を達成する。
【００２４】
なお、本発明に関連する技術が、特許文献２及び特許文献３に開示されている。特許文献２には、良好な再現性で画像を縮小するために、間引く処理を特定するための比較判定ルールを用いた画像縮小装置が開示されている。
【００２５】
特許文献３には、スクランブル操作による画像劣化についての評価誤差の問題を、操作前の画像要素と操作後の画像要素との所定の差分を補正することで解決する画像スクランブル装置が開示されている。
【００２６】
本発明の実施形態に係る画面変化検査装置を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなる、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
【００２７】
制御部は、ＣＰＵ（Central Processing Unit。以下同様。）などからなり、オペレーティングシステムを動作させて画面変化検査装置の全体を制御する。また、制御部は、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
【００２８】
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【００２９】
なお、実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、画面変化検査装置の構成部の実現手段は特に限定されない。すなわち、画面変化検査装置は、物理的に結合した一つの装置により実現されても良いし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されても良い。
【００３０】
＜第１実施形態＞
以下、図面を参照して本発明の実施形態について説明する。
【００３１】
なお、本発明の実施形態に係る画面変化検査装置の検査対象は、Ｗｅｂコンテンツだけに限られない。本発明の実施形態に係る画面変化検査装置の検査対象は、マウス、キーボード、若しくはタッチパネルといった利用者の入力操作を受け付ける機能を有し、ディスプレイ等の判定結果出力部１０４にＧＵＩ画面を出力するアプリケーションプログラムであっても良い。または、本発明の実施形態に係る画面変化検査装置の検査対象は、ボタン、レバー、若しくはスイッチ等を含み、ＧＵＩ画面を判定結果出力部１０４に出力するハードウェア装置であっても良い。
【００３２】
また、Ｗｅｂコンテンツは、ＨＴＭＬのみで記述したものに限られない。Ｗｅｂコンテンツは、例えば、ＸＭＬ、ＤＨＴＭ、若しくはＸＨＴＭＬといったマークアップ言語で記述されたものであれば、特に限定されない。さらに、Ｗｅｂコンテンツは、マークアップ言語で記述されたものに限られず、Ｆｌａｓｈ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｆｌｅｘ（登録商標）、又はＳｉｌｖｅｒｌｉｇｈｔ（登録商標）等で作成されたものであっても良い。
【００３３】
背景技術においては、障害者や高齢者に配慮したＷｅｂコンテンツ作成規定として、Ｗ３ＣのＷＣＡＧを例示した。しかし、本発明に係る画面変化検査装置は、Ｗｅｂコンテンツに限らず、アプリケーションプログラムが判定結果出力部１０４に出力した画面についての障害者や高齢者、又は一般利用者にとっての視認性の検査に用いても良い。
【００３４】
また、本発明の実施形態において「色の変化量」とは、ＲＧＢ、ＸＹＺ、Ｙｘｙ、Ｌ*ｕ*ｖ*、Ｌ*ａ*ｂ*、マンセル、オストワルト、ＮＣＳ、ＤＩＮ、ｓＲＧＢ、ＲＧＢＡ、ＣＭＹ、ＣＭＹＫ、ＨＳＶ、ＨＬＳ、ＹＩＱ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＹＵＶ、又は色の周波数表記といった一般的な表色系で示す値の変化量の事を指す。
【００３５】
図１は、第１実施形態に係る画面変化検査装置の機能構成を示すブロック図である。図１に示すように、第１実施形態に係る画面変化検査装置は、検査対象出力部１００、画像格納部１０１、判定部１０２、判定ルール格納部１０３、及び判定結果出力部１０４を含む。また、本発明の実施形態に係る画面変化検査装置は、検査対象１０５と接続されている。これらの各構成部は、以下のような処理を行う。
【００３６】
検査対象出力部１００は、検査する対象（以降、「検査対象」と呼ぶ。）の画面出力の内容を画像格納部１０１に出力する。
【００３７】
検査対象がＷｅｂコンテンツの場合、検査対象を有する装置の表示部（図示しない）は、そのＷｅｂコンテンツの内容をレンダリングし、画面出力を行う。その際、検査対象出力部１００は、マウスやキーボード等を用いたユーザからの入力操作に基づく入力操作指示を受けると、画面出力の内容（すなわち、レンダリングされたＷｅｂコンテンツの内容）を画面表示内容（「画面出力の状態を表す画像」とも呼ぶ。）として画像格納部１０１に出力する。なお、検査対象を有する装置は、本発明の実施形態に係る画面変化検査装置と物理的に同一の装置であっても良いし、物理的に分離した異なる装置であっても良い。
【００３８】
別の例として、検査対象がアプリケーションプログラムの場合も同様に、検査対象を有する装置の表示部は、ＧＵＩ画面の出力を行う。検査対象出力部１００は、ユーザからの入力操作に基づく入力操作指示に応じて、表示部が出力したＧＵＩ画面を画面表示内容として画像格納部１０１に出力する。
【００３９】
画面表示内容として出力する映像信号は、アナログ信号であっても良いし、デジタル信号であっても良い。また、検査対象出力部１００は、画面表示内容を画像ファイルとして出力しても良い。さらに、検査対象出力部１００は、画面表示内容をＶＲＡＭに展開し、画像格納部１０１がその展開内容を取得する構成でも良い。
【００４０】
画像格納部１０１は、検査対象出力部１００の出力内容を逐次監視し、画面表示内容を検査対象画像として内部に格納する。
【００４１】
ここで、第１実施形態に係る画像変化検査装置は、利用者から所定の入力操作があった際の画面の変化を検査する装置である。そのため、画像格納部１０１は、利用者の入力操作があった時刻を基準に、前後に所定の時間間隔を有する任意の数の時刻における画面表示内容を検査対象画像として格納する。例えば、画像格納部１０１は、入力操作のあった時刻の画像と、入力操作のあった時刻を基準に５秒間隔で、前の２枚の画像（すなわち、入力操作のあった時刻の５秒前の画像と、１０秒前の画像）、及び、後の２枚の画像と、を格納しても良い。
【００４２】
画像格納部１０１は、予め入力操作前の画面内容を格納しており、利用者の入力操作があったときに、所定時間後の画面表示内容を検査対象画像として格納しても良い。
【００４３】
判定ルール格納部１０３は、色の変化量が一定以上であるドット（以下、「色変化ドット」とも呼ぶ。）の数が、一定数以上であるか否かを判定するための判定ルールを格納する。判定ルール格納部１０３が格納する判定ルールは、色変化ドットの数が、検査対象画像の一定割合の面積に対応するドットの数以上であるときに、一定数以上であると判定するルールであっても良い。
【００４４】
判定ルールは、例えば、二つの検査対象画像のＲＧＢ値の変化量が一定以上のドットの数が、一定数以上あるかどうかを判定するルールである。判定ルールは、例えばフォーカスが視認可能かどうかの検査の開始指示を、検査対象１００に対する入力操作としてＴａｂキー又はＴａｂキーと矢印キーを組み合わせた操作であるとするルールを含んでいても良い。なお、判定ルールは、ＣＰＵによって実行されるプログラムであっても良い。
【００４５】
以下、説明の便宜のため、色の変化量を具体的にＲＧＢ値の変化量として説明する。また、ＲＧＢ値の一定以上の変化量についての詳しい説明は後述する。
【００４６】
判定部１０２は、判定ルール格納部１０３が格納するルールに従い、利用者の入力操作を受けて検査対象出力部１００に対し入力操作指示を行う。判定部１０２が検査対象出力部１００に入力操作指示を行うと、検査対象出力部１００は、画面表示内容を画像格納部１０１に出力しても良い。画像格納部１０１は、出力された画面表示内容を検査対象画像として内部に格納しても良い。
【００４７】
判定部１０２は、判定ルール格納部１０３が格納するルールに従い、入力操作指示を行う前の検査対象画像と入力操作指示を行った後の検査対象画像とを比較する。判定部１０２は、両画像を比較した結果、ＲＧＢ値の変化量が一定以上のドット（色変化ドット）が有った場合は、色変化ドットの数を計数し、色変化ドットの数が一定数以上であるか否かを判定する判定処理を行う。
【００４８】
判定部１０２は、色変化ドットの数が一定数以上であると判定すると、その判定結果を判定結果出力部１０４に出力する。判定結果出力部１０４は、画面変化があった旨等を表示する。具体的には、判定結果出力部１０４は、例えば「フォーカスの移動によって画面変化があった」旨を表示しても良い。判定部１０２は、色変化ドットの数が一定数以上ないと判定した場合も、その判定結果を判定結果出力部１０４に出力する。判定結果出力部１０４は、画面変化がない旨、若しくは画面変化が少ない旨などを表示する。
【００４９】
また、判定部１０２は、色変化ドットの、画面のＸＹ座標上の位置を判定しても良い。その場合、判定部１０２は、ＸＹ座標上の位置の判定結果も判定結果出力部１０４に出力しても良い。判定結果出力部１０４は、その判定結果も合わせて表示しても良い。また、判定結果出力部１０４は、判定結果と同時に検査対象画像を表示しても良い。
【００５０】
第１実施形態に係る画面変化検査装置は、これまでに説明した入力操作指示、画面表示内容の出力、検査対象画像の格納、ＲＧＢ値の変化量の判定、及び判定結果の出力という一連の動作を検査対象の全てのボタンやリンクといった入力操作部分に対して行う。
【００５１】
図２は、第１実施形態に係る画面変化検査装置の動作を示すフローチャートである。図２に示すように、まず、判定部１０２は、判定ルール格納部１０３が格納するルールに従い、利用者の入力操作を受けて検査対象出力部１００に対し入力操作指示を行う（ステップＳ１）。
【００５２】
次に、検査対象出力部１００は、判定部１０２からの入力操作指示を受けて、画面表示内容を画像格納部１０１に出力する（ステップＳ２）。なお、検査対象出力部１００は、入力操作指示を受ける前の画面表示内容を予め画像格納部１０１に出力しておいても良い。
【００５３】
次に、画像格納部１０１は、検査対象出力部１００から出力された画面表示内容を検査対象画像として格納する（ステップＳ３）。
【００５４】
次に、判定部１０２は、判定ルール格納部１０３が格納するルールに従い、入力操作指示を行う前の検査対象画像と入力操作指示を行った後の検査対象画像とを比較する。なお、ここでは、例として判定部１０２は、ＲＧＢ値の変化量を比較判定の対象とする。判定部１０２は、両画像を比較した結果、ＲＧＢ値の変化量が一定以上のドット（色変化ドット）が有った場合は、色変化ドットの数を計数し、色変化ドットの数が一定数以上であるか否かを判定する判定処理を行う（ステップＳ４）。
【００５５】
次に、判定結果出力部１０４は、判定部１０２の判定結果を出力する（ステップＳ５）。
【００５６】
なお、これまでの説明におけるＲＧＢ値の一定以上の変化量とは、例えば、Ｒ、Ｇ、若しくはＢのいずれかの値の１００以上の差でも良い。又はＲＧＢ値の一定以上の変化量とは、Ｒ、Ｇ、若しくはＢの値を合計した値の１００以上の差でも良い。又は、ＲＧＢ値が一定以上変化したとする基準は、文字と背景の読みやすいコントラストなどを規定したＩＳＯ−９２４１−３やＪＩＳ−Ｚ８５１３の算出数式と閾値を参考にして定められても良い。さらには、ＲＧＢ値が一定以上変化したとする基準は、色覚特性を持つ人に配慮し、色覚特性を持つ人の色の見え方を算出する数式（非特許文献３）を用いた上で定められても良い。
【００５７】
以上説明したように、第１実施形態に係る画面変化検査装置によれば、一連の操作手順とその手順を実行した時の意図した出力画面の状態を表す正解画像を用意することなく、例えば「フォーカスが当たった状態の視認性」及び「フォーカスが移動しただけでの処理の実行」等の、フォーカス移動による画面の変化について検査することができる。
【００５８】
つまり、第１実施形態に係る画面変化検査装置によれば、例えば二つの検査対象画像のＲＧＢ値の変化量が一定以上のドットが、視認できるのに十分な数、つまり十分な面積を持っているかどうかということを判定ルールに基づいて検査することができる。
【００５９】
また、第１実施形態に係る画面変化検査装置によれば、逆に余りにも大きすぎる面積で変化が起こった場合、フォーカスが移動しただけで利用者が意図しない何らかの処理が行われた事を判定する事が可能である。
【００６０】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画面変化検査装置について説明する。
【００６１】
第２実施形態に係る画面変化検査装置は、第１実施形態に係る画面変化検査装置と比較して、判定ルール格納部１０３が格納するルールが異なる。第２の実施形態に係る判定ルール格納部１０３は、第１実施形態における判定ルールに加えて、操作後の検査対象画像において、操作前の検査対象画像と比較して一定以上の色の変化量のあったドットと、そのドットに隣接するドットを比較し、両者の色の値（例えばＲＧＢ値）の差が一定以上かどうかを判定する、第２の判定ルールを格納する。
【００６２】
つまり、第２実施形態に係る判定ルール格納部１０３は、色変化ドットの色の値と、色変化ドットに隣接する位置にあるドットの色の値との差が一定以上であるか否か、を判定する第２の判定ルールをさらに格納する。
【００６３】
また、第２実施形態に係る判定部１０２は、第２の判定ルールに従い、色変化ドットの色の値と、該色変化ドットに隣接する位置にあるドットの色の値との差が一定以上であるか否かの判定処理を行う。
【００６４】
また、第２実施形態に係る判定結果出力部１０４は、判定部１０２が第２の判定ルールに基づいて行った判定結果を出力しても良い。
【００６５】
第２実施形態に係る画面変化検査装置によれば、例えば図３に例示するような、変化に気づきにくい変化があったことを判定することができる。図３は、第２実施形態に係る画面変化検査装置の効果を説明するために操作前と操作後の検査対象画像の例を示した図である。
【００６６】
図３は、操作前の画像２０と操作後の画像３０を比較してＲＧＢ値の変化量が一定以上である黒枠状の変化が見られるドットが、操作後の変化が見られるドットと隣接するドットである中央の濃いグレー部分２０Ａとの差が一定以上ではない例を示している。図３は、色変化ドットと隣接ドットとの色の差が一定以上ではないために、中央の濃いグレー部分２０Ａの周囲が１ドット分大きくなったようにしか見えず、変化した事に気付きにくい状態を示している。
【００６７】
以上説明したように、第２実施形態に係る画面変化検査装置によれば、ＲＧＢ値等の色の値の変化量が一定以上であるにも関わらず、周囲の配色によって目立たなくなってしまうような変化であるかどうかを判定することができる。
【００６８】
＜第３実施形態＞
次に、本発明の第３実施形態に係る画面変化検査装置について説明する。
【００６９】
第３実施形態に係る画面変化検査装置は、第１実施形態に係る画面変化検査装置と比較して、判定ルール格納部１０３が格納するルールが異なる。第３実施形態に係る判定ルール格納部１０３は、第１実施形態における判定ルールに加えて、複数の静止画又は動画に属する色変化ドットついての色の変化に関する判定を行う第３の判定ルールを格納する。
【００７０】
より詳しくは、第３実施形態に係る判定ルール格納部１０３は、操作前の画像と操作後の複数の静止画又は動画の色の変化量、例えばＲＧＢ値の変化量が一定以上のドットの色の変化時間が一定以上であるかどうかを判定する、第３の判定ルールを格納する。
【００７１】
第３実施形態に係る画像格納部１０１は、判定部１０２が検査対象画像に対して判定処理を開始した後、一定時間の画面表示内容を複数の静止画又は動画で格納する。
【００７２】
また、第３実施形態に係る判定ルール格納部１０３は、画像格納部１０１が格納する複数の静止画又は動画に属する色変化ドットの色の変化時間が一定以上であるか否か、を判定する第３の判定ルールをさらに格納する。
【００７３】
また、第３実施形態に係る判定部１０２は、さらに、第３の判定ルールに従い色の変化と時間に関する判定を行う。
【００７４】
また、第３実施形態に係る判定結果出力部１０４は、判定部１０２が第３の判定ルールに基づいて行った判定結果を出力しても良い。
【００７５】
以上説明したように、第３実施形態に係る画面変化検査装置によれば、色的には変化が見られたものの、その表示時間があまりにも短く、変化した事が気付きにくいという状況を判定することができる。
【００７６】
具体的には、第３実施形態に係る画面変化検査装置によれば、操作前の検査対象画像と操作後の検査対象画像を比較し、明らかにＲＧＢ値の変化量が一定以上であったが、操作後の時間経過で見ると、変化があったのは０．２秒間だけであり、その後は操作前と同じＲＧＢ値に戻ってしまうことで変化に気付きにくいという状況を判定することができる。
【００７７】
また第３実施形態に係る画面変化検査装置は、時間経過による色の値（例えばＲＧＢ値等）の変化量を判定するという観点から、第１実施形態に係る判定ルールと組合せることで、光過敏性てんかんを誘発するような大きい面積での激しい点滅を繰り返すかどうかの判定も可能である。
【００７８】
このことは背景技術で述べたＷ３ＣのＷＣＡＧ２．０において「達成基準２．３．１ ３回の閃光又は閾値以下」「達成基準２．３．２ ３回以上の閃光」にて規定されており、本発明によりこの項目についても検査可能となる。
＜第４実施形態＞
次に、本発明の第４実施形態に係る画面変化検査装置について説明する。
【００７９】
第４実施形態に係る画面変化検査装置は、第３実施形態に係る画面変化検査装置と比較して、判定ルール格納部１０３が格納する第３の判定ルールが異なる。第４実施形態に係る第３の判定ルールは、操作前の画像と操作後の複数の静止画又は動画の時間あたりの色の変化量、例えばＲＧＢ値の変化量が一定以上かどうかを判定するルールである。
【００８０】
つまり、第４実施形態に係る判定ルール格納部１０３は、画像格納部１０１が格納する複数の静止画又は動画に属する色変化ドットの時間あたりの色の変化量が一定以上であるか否か、を判定する第３の判定ルールをさらに格納する。
【００８１】
以上説明したように、第４実施形態に係る画面変化検査装置によれば、色的には変化が見られたものの、緩やかに変化しているため、変化した事が気付きにくいという状況を判定することができる。
【００８２】
具体的には、第４実施形態に係る画面変化検査装置によれば、操作前の検査対象画像と操作後１０秒経過した状態の検査対象画像を比較し、明らかにＲＧＢ値の変化量が一定以上であったが、１０秒の間のＲＧＢ値の変化量が緩やかであったため、変化したことに気付きにくいという状況を判定することができる。
【００８３】
＜第５実施形態＞
次に、本発明の第５実施形態に係る画面変化検査装置の機能構成について説明する。
【００８４】
図４は、本発明の第５実施形態に係る画面変化検査装置の機能構成を示すブロック図である。図４に示すように、第５実施形態に係る画面変化検査装置は、画像格納部１０１、判定ルール格納部１０３、及び判定部１０２を含む。
【００８５】
画像格納部１０１は、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納する。画像格納部１０１は、入力操作があったときには、所定の時間間隔を有する任意の数の複数の時刻における画面表示内容を格納しても良い。
【００８６】
判定ルール格納部１０３は、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納する。
【００８７】
判定部１０２は、画像格納部１０１が格納する検査対象画像に対して、判定ルール格納部１０３が格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を行う。
【００８８】
第５実施形態に係る画面変化検査装置によれば、一連の操作手順とその手順を実行した時の意図した出力画面の状態を表す正解画像を用意することなく、例えば「フォーカスが当たった状態の視認性」及び「フォーカスが移動しただけでの処理の実行」等の、フォーカス移動による画面の変化について検査することができる。
【００８９】
以上、これまでに説明した各実施形態は、本発明の技術的範囲を限定するものではない。また、各実施形態に記載の判定ルールは、本発明の技術的思想の範囲内で互いに組み合わせることが可能であり、本発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
【００９０】
また、本発明は、コンピュータシステム上で動作するコマンド形式、スクリプト形式、又はプログラム形式などで記述し、一連の手順を自動的に処理することで実現されても良い。本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
【産業上の利用可能性】
【００９１】
本発明は、入力操作を行った際の画面変化を検査する方法及び装置に関し、フォーカスが当たった状態の視認性及びフォーカスが当たった状態での大きな画面変化をもたらす処理の有無を検査判定する用途に適用できる。
【符号の説明】
【００９２】
１ 利用者が入力操作を行う部位
２ フォーカスが当たっている事を視覚的に認識できるような表現
３ メニュー
４ プルダウンメニュー
２０ 操作前の画像
２０Ａ 中央の濃いグレー部分
３０ 操作後の画像
１００ 検査対象出力部
１０１ 画像格納部
１０２ 判定部
１０３ 判定ルール格納部
１０４ 判定結果出力部
【技術分野】
【０００１】
本発明は、画面の変化を検査する画面変化検査装置、画面変化検査方法及びプログラムに関する。
【背景技術】
【０００２】
障害者や高齢者に配慮したＷｅｂコンテンツを作成するための、Ｗ３Ｃ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）の勧告するＷＣＡＧ（Ｗｅｂ Ｃｏｎｔｅｎｔｓ Ａｃｃｅｓｓｉｂｉｌｉｔｙ Ｇｕｉｄｅｌｉｎｅ）２．０版（非特許文献１及び２）には、利用者の入力操作に対する画面出力に関し、「達成基準２．４．７視覚的に認識可能なフォーカス」と「達成基準３．２．１オンフォーカス」とが記載されている。
【０００３】
「達成基準２．４．７視覚的に認識可能なフォーカス」には、「キーボード操作が可能なユーザインタフェースには、キーボード・フォーカスの状態が視覚的に認識できる操作モードがある。」と記載されている。この意図は「キーボード・フォーカスの表示が視覚的に確認できる操作モードが少なくとも一つあるようにする」ことである。
【０００４】
図５は、達成基準２．４．７の記載を説明するための図である。図５（ａ）に示すように、達成基準２．４．７の記載は、ボタン、リンク、セレクトボックス、テキスト入力エリアといった利用者が入力操作を行う部位１にフォーカスを移動した場合、例えば図５（ｂ）のようにフォーカスが当たっている事を視覚的に認識できるような表現２によって表示することを規定している。
【０００５】
もう一方の「達成基準３．２．１オンフォーカス」には、「いずれのコンポーネントも、フォーカスを受け取ったときに状況の変化を引き起こさない。」と記載されている。詳しく説明すると、この達成基準３．２．１は、マウス操作が上手く行えない利用者や苦手な利用者に配慮し、全ての操作をキーボードで行えるようにするという「達成基準２．１．１キーボード操作」に関係する。
【０００６】
図６は、達成基準３．２．１の記載を説明するための図である。例えば図６（ａ）に示すような、利用者が入力操作を行うメニュー３があるとする。利用者は、図６（ａ）のメニュー３に入力操作を行い、図６（ｂ）に示すようにプルダウンメニュー４を開く。このとき、図６（ｃ）に示すように、利用者がプルダウンメニュー４の項目を選択すると右の都道府県名が切り替わるような、項目を選択すると同時に処理を即実行する機能があるとする。この場合、利用者は、マウスを使えば、図６（ｄ）に示すように項目の並び順に関係なく任意の項目、例えば北海道・東北から九州・沖縄をすばやく選択できる。
【０００７】
しかし、利用者がキーボードを使った場合、項目の並び順に従いフォーカスを移動しなければならず、しかもフォーカスが移動する度に処理を実行してしまう。そのため、フォーカスが北海道・東北から九州・沖縄へ到達する前に関東、北陸、中部と項目の表示が次々と切り替わってしまい、利用者が求める項目に辿り着く前に意図しない処理が実行されてしまう。
【０００８】
このように、フォーカスが移動する度に処理を実行する機能がある場合でも、利用者はマウスを使えば問題なく操作できるが、キーボードを使った場合、操作性が著しく低下する。そのため、達成基準３．２．１には、障害者や高齢者へ配慮し、「いずれのコンポーネントも、フォーカスを受け取ったときに状況の変化を引き起こさない。」と記載されている。
【０００９】
こうした利用者の入力操作に対して「フォーカスが当たっている事が視認可能かどうか」という事や、「フォーカス移動しただけで処理を実行してしまわないかどうか」、という事について、低コストで検査する技術は、現在のところ存在しない。
【００１０】
関連する技術として特許文献１は、入力操作に対し意図した画面出力を行うかどうか検査する技術を開示する。特許文献１は、特定の操作手順と、その手順を実行した時の意図した画面出力の状態を表す正解画像を用意し、特定の操作を実行させた画面出力の状態を表す画像と正解画像とを比較する技術を開示する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７―３２５０５６号公報
【特許文献２】特開２００４―２０７９５０号公報
【特許文献３】特開２０１０―０４５７２８号公報
【非特許文献】
【００１２】
【非特許文献１】W3C（World Wide Web Consortium）WCAG（Web Contents Accessibility Guideline） http://www.w3.org/TR/WCAG20/, Latest version 11 December 2008.
【非特許文献２】WCAG 2.0解説書http://www.ciaj.or.jp/access/web/docs/UNDERSTANDING-WCAG20/Overview.html#contents, January-March 2010.
【非特許文献３】Digital Video Colourmaps for Checking the Legibility of Displays by Dichromats. John D.Mollon. COLOR research and application, Vol.24, No.4, August 1999.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１に記載の技術のように、特定の入力操作を行った場合の正解画像を予め用意する方法では、利用者は、一連の操作を行う事によって至る画面出力の状態を表す画像が正解画像と一致するかどうかしか検査できない。そのため、特許文献１に記載の技術の提供者は、一連の操作を構成する個々の操作に対する画面出力の状態を表す画像の確認を行う場合、個々の操作に対する正解画像を用意しなければならない。つまり、提供者は、ボタン、リンク、セレクトボックス、又はテキスト入力エリアといった利用者が入力操作を行う部位の数量だけ正解画像を用意しなければならない。これら入力操作部位が１画面あたり１００個ある場合、提供者は正解画像を１００枚用意しなければならず、非常に煩雑である。
【００１４】
以上より、本発明の目的は、一連の操作手順とその手順を実行した時の意図した画面出力の状態を表す正解画像を用意することなく、例えば「フォーカスが当たった状態の視認性」及び「フォーカスが移動しただけでの処理の実行の有無」等を確認するために、フォーカス移動による画面の変化についての検査をすることができる画面変化検査装置、画面変化検査方法及びプログラムを提供することである。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明における画面変化検査装置は、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納する画像格納手段と、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納する判定ルール格納手段と、画像格納手段が格納する検査対象画像に対して、判定ルール格納手段が格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する判定手段と、を含む。
【００１６】
上記目的を達成するため、本発明における画面変化検査方法は、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納し、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納し、前記格納する検査対象画像に対して、前記格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する。
【００１７】
上記目的を達成するため、本発明におけるプログラムは、コンピュータに、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納し、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納し、前記格納する検査対象画像に対して、前記格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かを判定する、処理を実行させる。
【発明の効果】
【００１８】
本発明における画面変化検査装置、画面変化検査方法及びプログラムによれば、一連の操作手順とその手順を実行した時の意図した出力画面の状態を表す正解画像を用意することなく、例えば「フォーカスが当たった状態の視認性」及び「フォーカスが移動しただけでの処理の実行」等の、フォーカス移動による画面の変化について検査することができる。
【図面の簡単な説明】
【００１９】
【図１】第１実施形態に係る画面変化検査装置の機能構成を示すブロック図である。
【図２】第１実施形態に係る画面変化検査装置の動作を示すフローチャートである。
【図３】第２実施形態に係る画面変化検査装置の効果を説明するために操作前と操作後の検査対象画像の例を示した図である。
【図４】本発明の第５実施形態に係る画面変化検査装置の機能構成を示すブロック図である。
【図５】達成基準２．４．７の記載を説明するための図である。
【図６】達成基準３．２．１の記載を説明するための図である。
【発明を実施するための形態】
【００２０】
まず、本発明の理解を容易にするために、本発明の背景と概要を説明する。
【００２１】
背景技術で説明したように、「フォーカスが当たっている事が視認可能かどうか」という事や、「フォーカス移動しただけで処理を実行してしまわないかどうか」、という事について、コストをかけずに検査する技術は、現在のところ存在しない。特許文献１に記載の技術によれば、必要十分な正解画像を用意することができれば、上記の検査は可能である。しかし、必要十分な正解画像を用意することは、非常に煩雑でありコストがかかる。
【００２２】
そこで、画面の状態を表す画像ごとに正解画像を用意する方法ではなく、どのような状態の画像に対しても、画面の変化の有無を判定できるルールを用いる方法があれば簡便である。ルールを用いる方法は、背景技術で述べた「フォーカスが当たっている事が視認可能かどうか」という事や「フォーカス移動しただけで処理を実行してしまわないかどうか」という事を検査する場合のみならず、個々の操作に伴う画面の検査全般に効果的である。
【００２３】
本発明は、画面の変化の有無を判定できるルールとして、個々の操作を行う前の出力画面の状態を表す画像に属するドットと、操作を行った後の出力画面の状態を表す画像に属するドットとの、色の変化量及び変化したドットの数量について規定した判定ルールを用いる。本発明は、色の変化量及び変化したドットの数量について規定した判定ルールに基づいて画面の変化を判定することで、上記目的を達成する。
【００２４】
なお、本発明に関連する技術が、特許文献２及び特許文献３に開示されている。特許文献２には、良好な再現性で画像を縮小するために、間引く処理を特定するための比較判定ルールを用いた画像縮小装置が開示されている。
【００２５】
特許文献３には、スクランブル操作による画像劣化についての評価誤差の問題を、操作前の画像要素と操作後の画像要素との所定の差分を補正することで解決する画像スクランブル装置が開示されている。
【００２６】
本発明の実施形態に係る画面変化検査装置を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなる、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
【００２７】
制御部は、ＣＰＵ（Central Processing Unit。以下同様。）などからなり、オペレーティングシステムを動作させて画面変化検査装置の全体を制御する。また、制御部は、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
【００２８】
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【００２９】
なお、実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、画面変化検査装置の構成部の実現手段は特に限定されない。すなわち、画面変化検査装置は、物理的に結合した一つの装置により実現されても良いし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されても良い。
【００３０】
＜第１実施形態＞
以下、図面を参照して本発明の実施形態について説明する。
【００３１】
なお、本発明の実施形態に係る画面変化検査装置の検査対象は、Ｗｅｂコンテンツだけに限られない。本発明の実施形態に係る画面変化検査装置の検査対象は、マウス、キーボード、若しくはタッチパネルといった利用者の入力操作を受け付ける機能を有し、ディスプレイ等の判定結果出力部１０４にＧＵＩ画面を出力するアプリケーションプログラムであっても良い。または、本発明の実施形態に係る画面変化検査装置の検査対象は、ボタン、レバー、若しくはスイッチ等を含み、ＧＵＩ画面を判定結果出力部１０４に出力するハードウェア装置であっても良い。
【００３２】
また、Ｗｅｂコンテンツは、ＨＴＭＬのみで記述したものに限られない。Ｗｅｂコンテンツは、例えば、ＸＭＬ、ＤＨＴＭ、若しくはＸＨＴＭＬといったマークアップ言語で記述されたものであれば、特に限定されない。さらに、Ｗｅｂコンテンツは、マークアップ言語で記述されたものに限られず、Ｆｌａｓｈ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｆｌｅｘ（登録商標）、又はＳｉｌｖｅｒｌｉｇｈｔ（登録商標）等で作成されたものであっても良い。
【００３３】
背景技術においては、障害者や高齢者に配慮したＷｅｂコンテンツ作成規定として、Ｗ３ＣのＷＣＡＧを例示した。しかし、本発明に係る画面変化検査装置は、Ｗｅｂコンテンツに限らず、アプリケーションプログラムが判定結果出力部１０４に出力した画面についての障害者や高齢者、又は一般利用者にとっての視認性の検査に用いても良い。
【００３４】
また、本発明の実施形態において「色の変化量」とは、ＲＧＢ、ＸＹＺ、Ｙｘｙ、Ｌ*ｕ*ｖ*、Ｌ*ａ*ｂ*、マンセル、オストワルト、ＮＣＳ、ＤＩＮ、ｓＲＧＢ、ＲＧＢＡ、ＣＭＹ、ＣＭＹＫ、ＨＳＶ、ＨＬＳ、ＹＩＱ、ＹＣｂＣｒ、ＹＰｂＰｒ、ＹＵＶ、又は色の周波数表記といった一般的な表色系で示す値の変化量の事を指す。
【００３５】
図１は、第１実施形態に係る画面変化検査装置の機能構成を示すブロック図である。図１に示すように、第１実施形態に係る画面変化検査装置は、検査対象出力部１００、画像格納部１０１、判定部１０２、判定ルール格納部１０３、及び判定結果出力部１０４を含む。また、本発明の実施形態に係る画面変化検査装置は、検査対象１０５と接続されている。これらの各構成部は、以下のような処理を行う。
【００３６】
検査対象出力部１００は、検査する対象（以降、「検査対象」と呼ぶ。）の画面出力の内容を画像格納部１０１に出力する。
【００３７】
検査対象がＷｅｂコンテンツの場合、検査対象を有する装置の表示部（図示しない）は、そのＷｅｂコンテンツの内容をレンダリングし、画面出力を行う。その際、検査対象出力部１００は、マウスやキーボード等を用いたユーザからの入力操作に基づく入力操作指示を受けると、画面出力の内容（すなわち、レンダリングされたＷｅｂコンテンツの内容）を画面表示内容（「画面出力の状態を表す画像」とも呼ぶ。）として画像格納部１０１に出力する。なお、検査対象を有する装置は、本発明の実施形態に係る画面変化検査装置と物理的に同一の装置であっても良いし、物理的に分離した異なる装置であっても良い。
【００３８】
別の例として、検査対象がアプリケーションプログラムの場合も同様に、検査対象を有する装置の表示部は、ＧＵＩ画面の出力を行う。検査対象出力部１００は、ユーザからの入力操作に基づく入力操作指示に応じて、表示部が出力したＧＵＩ画面を画面表示内容として画像格納部１０１に出力する。
【００３９】
画面表示内容として出力する映像信号は、アナログ信号であっても良いし、デジタル信号であっても良い。また、検査対象出力部１００は、画面表示内容を画像ファイルとして出力しても良い。さらに、検査対象出力部１００は、画面表示内容をＶＲＡＭに展開し、画像格納部１０１がその展開内容を取得する構成でも良い。
【００４０】
画像格納部１０１は、検査対象出力部１００の出力内容を逐次監視し、画面表示内容を検査対象画像として内部に格納する。
【００４１】
ここで、第１実施形態に係る画像変化検査装置は、利用者から所定の入力操作があった際の画面の変化を検査する装置である。そのため、画像格納部１０１は、利用者の入力操作があった時刻を基準に、前後に所定の時間間隔を有する任意の数の時刻における画面表示内容を検査対象画像として格納する。例えば、画像格納部１０１は、入力操作のあった時刻の画像と、入力操作のあった時刻を基準に５秒間隔で、前の２枚の画像（すなわち、入力操作のあった時刻の５秒前の画像と、１０秒前の画像）、及び、後の２枚の画像と、を格納しても良い。
【００４２】
画像格納部１０１は、予め入力操作前の画面内容を格納しており、利用者の入力操作があったときに、所定時間後の画面表示内容を検査対象画像として格納しても良い。
【００４３】
判定ルール格納部１０３は、色の変化量が一定以上であるドット（以下、「色変化ドット」とも呼ぶ。）の数が、一定数以上であるか否かを判定するための判定ルールを格納する。判定ルール格納部１０３が格納する判定ルールは、色変化ドットの数が、検査対象画像の一定割合の面積に対応するドットの数以上であるときに、一定数以上であると判定するルールであっても良い。
【００４４】
判定ルールは、例えば、二つの検査対象画像のＲＧＢ値の変化量が一定以上のドットの数が、一定数以上あるかどうかを判定するルールである。判定ルールは、例えばフォーカスが視認可能かどうかの検査の開始指示を、検査対象１００に対する入力操作としてＴａｂキー又はＴａｂキーと矢印キーを組み合わせた操作であるとするルールを含んでいても良い。なお、判定ルールは、ＣＰＵによって実行されるプログラムであっても良い。
【００４５】
以下、説明の便宜のため、色の変化量を具体的にＲＧＢ値の変化量として説明する。また、ＲＧＢ値の一定以上の変化量についての詳しい説明は後述する。
【００４６】
判定部１０２は、判定ルール格納部１０３が格納するルールに従い、利用者の入力操作を受けて検査対象出力部１００に対し入力操作指示を行う。判定部１０２が検査対象出力部１００に入力操作指示を行うと、検査対象出力部１００は、画面表示内容を画像格納部１０１に出力しても良い。画像格納部１０１は、出力された画面表示内容を検査対象画像として内部に格納しても良い。
【００４７】
判定部１０２は、判定ルール格納部１０３が格納するルールに従い、入力操作指示を行う前の検査対象画像と入力操作指示を行った後の検査対象画像とを比較する。判定部１０２は、両画像を比較した結果、ＲＧＢ値の変化量が一定以上のドット（色変化ドット）が有った場合は、色変化ドットの数を計数し、色変化ドットの数が一定数以上であるか否かを判定する判定処理を行う。
【００４８】
判定部１０２は、色変化ドットの数が一定数以上であると判定すると、その判定結果を判定結果出力部１０４に出力する。判定結果出力部１０４は、画面変化があった旨等を表示する。具体的には、判定結果出力部１０４は、例えば「フォーカスの移動によって画面変化があった」旨を表示しても良い。判定部１０２は、色変化ドットの数が一定数以上ないと判定した場合も、その判定結果を判定結果出力部１０４に出力する。判定結果出力部１０４は、画面変化がない旨、若しくは画面変化が少ない旨などを表示する。
【００４９】
また、判定部１０２は、色変化ドットの、画面のＸＹ座標上の位置を判定しても良い。その場合、判定部１０２は、ＸＹ座標上の位置の判定結果も判定結果出力部１０４に出力しても良い。判定結果出力部１０４は、その判定結果も合わせて表示しても良い。また、判定結果出力部１０４は、判定結果と同時に検査対象画像を表示しても良い。
【００５０】
第１実施形態に係る画面変化検査装置は、これまでに説明した入力操作指示、画面表示内容の出力、検査対象画像の格納、ＲＧＢ値の変化量の判定、及び判定結果の出力という一連の動作を検査対象の全てのボタンやリンクといった入力操作部分に対して行う。
【００５１】
図２は、第１実施形態に係る画面変化検査装置の動作を示すフローチャートである。図２に示すように、まず、判定部１０２は、判定ルール格納部１０３が格納するルールに従い、利用者の入力操作を受けて検査対象出力部１００に対し入力操作指示を行う（ステップＳ１）。
【００５２】
次に、検査対象出力部１００は、判定部１０２からの入力操作指示を受けて、画面表示内容を画像格納部１０１に出力する（ステップＳ２）。なお、検査対象出力部１００は、入力操作指示を受ける前の画面表示内容を予め画像格納部１０１に出力しておいても良い。
【００５３】
次に、画像格納部１０１は、検査対象出力部１００から出力された画面表示内容を検査対象画像として格納する（ステップＳ３）。
【００５４】
次に、判定部１０２は、判定ルール格納部１０３が格納するルールに従い、入力操作指示を行う前の検査対象画像と入力操作指示を行った後の検査対象画像とを比較する。なお、ここでは、例として判定部１０２は、ＲＧＢ値の変化量を比較判定の対象とする。判定部１０２は、両画像を比較した結果、ＲＧＢ値の変化量が一定以上のドット（色変化ドット）が有った場合は、色変化ドットの数を計数し、色変化ドットの数が一定数以上であるか否かを判定する判定処理を行う（ステップＳ４）。
【００５５】
次に、判定結果出力部１０４は、判定部１０２の判定結果を出力する（ステップＳ５）。
【００５６】
なお、これまでの説明におけるＲＧＢ値の一定以上の変化量とは、例えば、Ｒ、Ｇ、若しくはＢのいずれかの値の１００以上の差でも良い。又はＲＧＢ値の一定以上の変化量とは、Ｒ、Ｇ、若しくはＢの値を合計した値の１００以上の差でも良い。又は、ＲＧＢ値が一定以上変化したとする基準は、文字と背景の読みやすいコントラストなどを規定したＩＳＯ−９２４１−３やＪＩＳ−Ｚ８５１３の算出数式と閾値を参考にして定められても良い。さらには、ＲＧＢ値が一定以上変化したとする基準は、色覚特性を持つ人に配慮し、色覚特性を持つ人の色の見え方を算出する数式（非特許文献３）を用いた上で定められても良い。
【００５７】
以上説明したように、第１実施形態に係る画面変化検査装置によれば、一連の操作手順とその手順を実行した時の意図した出力画面の状態を表す正解画像を用意することなく、例えば「フォーカスが当たった状態の視認性」及び「フォーカスが移動しただけでの処理の実行」等の、フォーカス移動による画面の変化について検査することができる。
【００５８】
つまり、第１実施形態に係る画面変化検査装置によれば、例えば二つの検査対象画像のＲＧＢ値の変化量が一定以上のドットが、視認できるのに十分な数、つまり十分な面積を持っているかどうかということを判定ルールに基づいて検査することができる。
【００５９】
また、第１実施形態に係る画面変化検査装置によれば、逆に余りにも大きすぎる面積で変化が起こった場合、フォーカスが移動しただけで利用者が意図しない何らかの処理が行われた事を判定する事が可能である。
【００６０】
＜第２実施形態＞
次に、本発明の第２実施形態に係る画面変化検査装置について説明する。
【００６１】
第２実施形態に係る画面変化検査装置は、第１実施形態に係る画面変化検査装置と比較して、判定ルール格納部１０３が格納するルールが異なる。第２の実施形態に係る判定ルール格納部１０３は、第１実施形態における判定ルールに加えて、操作後の検査対象画像において、操作前の検査対象画像と比較して一定以上の色の変化量のあったドットと、そのドットに隣接するドットを比較し、両者の色の値（例えばＲＧＢ値）の差が一定以上かどうかを判定する、第２の判定ルールを格納する。
【００６２】
つまり、第２実施形態に係る判定ルール格納部１０３は、色変化ドットの色の値と、色変化ドットに隣接する位置にあるドットの色の値との差が一定以上であるか否か、を判定する第２の判定ルールをさらに格納する。
【００６３】
また、第２実施形態に係る判定部１０２は、第２の判定ルールに従い、色変化ドットの色の値と、該色変化ドットに隣接する位置にあるドットの色の値との差が一定以上であるか否かの判定処理を行う。
【００６４】
また、第２実施形態に係る判定結果出力部１０４は、判定部１０２が第２の判定ルールに基づいて行った判定結果を出力しても良い。
【００６５】
第２実施形態に係る画面変化検査装置によれば、例えば図３に例示するような、変化に気づきにくい変化があったことを判定することができる。図３は、第２実施形態に係る画面変化検査装置の効果を説明するために操作前と操作後の検査対象画像の例を示した図である。
【００６６】
図３は、操作前の画像２０と操作後の画像３０を比較してＲＧＢ値の変化量が一定以上である黒枠状の変化が見られるドットが、操作後の変化が見られるドットと隣接するドットである中央の濃いグレー部分２０Ａとの差が一定以上ではない例を示している。図３は、色変化ドットと隣接ドットとの色の差が一定以上ではないために、中央の濃いグレー部分２０Ａの周囲が１ドット分大きくなったようにしか見えず、変化した事に気付きにくい状態を示している。
【００６７】
以上説明したように、第２実施形態に係る画面変化検査装置によれば、ＲＧＢ値等の色の値の変化量が一定以上であるにも関わらず、周囲の配色によって目立たなくなってしまうような変化であるかどうかを判定することができる。
【００６８】
＜第３実施形態＞
次に、本発明の第３実施形態に係る画面変化検査装置について説明する。
【００６９】
第３実施形態に係る画面変化検査装置は、第１実施形態に係る画面変化検査装置と比較して、判定ルール格納部１０３が格納するルールが異なる。第３実施形態に係る判定ルール格納部１０３は、第１実施形態における判定ルールに加えて、複数の静止画又は動画に属する色変化ドットついての色の変化に関する判定を行う第３の判定ルールを格納する。
【００７０】
より詳しくは、第３実施形態に係る判定ルール格納部１０３は、操作前の画像と操作後の複数の静止画又は動画の色の変化量、例えばＲＧＢ値の変化量が一定以上のドットの色の変化時間が一定以上であるかどうかを判定する、第３の判定ルールを格納する。
【００７１】
第３実施形態に係る画像格納部１０１は、判定部１０２が検査対象画像に対して判定処理を開始した後、一定時間の画面表示内容を複数の静止画又は動画で格納する。
【００７２】
また、第３実施形態に係る判定ルール格納部１０３は、画像格納部１０１が格納する複数の静止画又は動画に属する色変化ドットの色の変化時間が一定以上であるか否か、を判定する第３の判定ルールをさらに格納する。
【００７３】
また、第３実施形態に係る判定部１０２は、さらに、第３の判定ルールに従い色の変化と時間に関する判定を行う。
【００７４】
また、第３実施形態に係る判定結果出力部１０４は、判定部１０２が第３の判定ルールに基づいて行った判定結果を出力しても良い。
【００７５】
以上説明したように、第３実施形態に係る画面変化検査装置によれば、色的には変化が見られたものの、その表示時間があまりにも短く、変化した事が気付きにくいという状況を判定することができる。
【００７６】
具体的には、第３実施形態に係る画面変化検査装置によれば、操作前の検査対象画像と操作後の検査対象画像を比較し、明らかにＲＧＢ値の変化量が一定以上であったが、操作後の時間経過で見ると、変化があったのは０．２秒間だけであり、その後は操作前と同じＲＧＢ値に戻ってしまうことで変化に気付きにくいという状況を判定することができる。
【００７７】
また第３実施形態に係る画面変化検査装置は、時間経過による色の値（例えばＲＧＢ値等）の変化量を判定するという観点から、第１実施形態に係る判定ルールと組合せることで、光過敏性てんかんを誘発するような大きい面積での激しい点滅を繰り返すかどうかの判定も可能である。
【００７８】
このことは背景技術で述べたＷ３ＣのＷＣＡＧ２．０において「達成基準２．３．１ ３回の閃光又は閾値以下」「達成基準２．３．２ ３回以上の閃光」にて規定されており、本発明によりこの項目についても検査可能となる。
＜第４実施形態＞
次に、本発明の第４実施形態に係る画面変化検査装置について説明する。
【００７９】
第４実施形態に係る画面変化検査装置は、第３実施形態に係る画面変化検査装置と比較して、判定ルール格納部１０３が格納する第３の判定ルールが異なる。第４実施形態に係る第３の判定ルールは、操作前の画像と操作後の複数の静止画又は動画の時間あたりの色の変化量、例えばＲＧＢ値の変化量が一定以上かどうかを判定するルールである。
【００８０】
つまり、第４実施形態に係る判定ルール格納部１０３は、画像格納部１０１が格納する複数の静止画又は動画に属する色変化ドットの時間あたりの色の変化量が一定以上であるか否か、を判定する第３の判定ルールをさらに格納する。
【００８１】
以上説明したように、第４実施形態に係る画面変化検査装置によれば、色的には変化が見られたものの、緩やかに変化しているため、変化した事が気付きにくいという状況を判定することができる。
【００８２】
具体的には、第４実施形態に係る画面変化検査装置によれば、操作前の検査対象画像と操作後１０秒経過した状態の検査対象画像を比較し、明らかにＲＧＢ値の変化量が一定以上であったが、１０秒の間のＲＧＢ値の変化量が緩やかであったため、変化したことに気付きにくいという状況を判定することができる。
【００８３】
＜第５実施形態＞
次に、本発明の第５実施形態に係る画面変化検査装置の機能構成について説明する。
【００８４】
図４は、本発明の第５実施形態に係る画面変化検査装置の機能構成を示すブロック図である。図４に示すように、第５実施形態に係る画面変化検査装置は、画像格納部１０１、判定ルール格納部１０３、及び判定部１０２を含む。
【００８５】
画像格納部１０１は、入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納する。画像格納部１０１は、入力操作があったときには、所定の時間間隔を有する任意の数の複数の時刻における画面表示内容を格納しても良い。
【００８６】
判定ルール格納部１０３は、色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納する。
【００８７】
判定部１０２は、画像格納部１０１が格納する検査対象画像に対して、判定ルール格納部１０３が格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を行う。
【００８８】
第５実施形態に係る画面変化検査装置によれば、一連の操作手順とその手順を実行した時の意図した出力画面の状態を表す正解画像を用意することなく、例えば「フォーカスが当たった状態の視認性」及び「フォーカスが移動しただけでの処理の実行」等の、フォーカス移動による画面の変化について検査することができる。
【００８９】
以上、これまでに説明した各実施形態は、本発明の技術的範囲を限定するものではない。また、各実施形態に記載の判定ルールは、本発明の技術的思想の範囲内で互いに組み合わせることが可能であり、本発明のスコープ内で同業者が理解し得る様々な変更をすることができる。
【００９０】
また、本発明は、コンピュータシステム上で動作するコマンド形式、スクリプト形式、又はプログラム形式などで記述し、一連の手順を自動的に処理することで実現されても良い。本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
【産業上の利用可能性】
【００９１】
本発明は、入力操作を行った際の画面変化を検査する方法及び装置に関し、フォーカスが当たった状態の視認性及びフォーカスが当たった状態での大きな画面変化をもたらす処理の有無を検査判定する用途に適用できる。
【符号の説明】
【００９２】
１ 利用者が入力操作を行う部位
２ フォーカスが当たっている事を視覚的に認識できるような表現
３ メニュー
４ プルダウンメニュー
２０ 操作前の画像
２０Ａ 中央の濃いグレー部分
３０ 操作後の画像
１００ 検査対象出力部
１０１ 画像格納部
１０２ 判定部
１０３ 判定ルール格納部
１０４ 判定結果出力部
【特許請求の範囲】
【請求項１】
入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納する画像格納手段と、
色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納する判定ルール格納手段と、
前記画像格納手段が格納する検査対象画像に対して、前記判定ルール格納手段が格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する判定手段と、
を含む画面変化検査装置。
【請求項２】
前記判定ルール格納手段が格納する判定ルールは、前記色変化ドットの数量が、前記検査対象画像の一定割合の面積に対応するドットの数以上であるときに、一定数以上であると判定する判定ルールである、
請求項１に記載の画面変化検査装置。
【請求項３】
前記判定手段が、色変化ドットの数が前記一定数以上であると判定した場合に、フォーカスの移動によって画面変化があった旨を表示する判定結果出力手段と、
をさらに含む請求項１又は２に記載の画面変化検査装置。
【請求項４】
前記判定ルール格納手段は、前記色変化ドットの色の値と、該色変化ドットに隣接する位置にあるドットの色の値との差が一定以上であるか否か、を判定する第２の判定ルールをさらに格納し、
前記判定手段は、さらに、前記第２の判定ルールに従い前記差が一定以上であるか否かの判定処理を行う、
請求項１〜３に記載の画面変化検査装置。
【請求項５】
前記出力内容格納手段は、前記判定手段が前記検査対象画像に対して判定処理を開始した後、一定時間の画面表示内容を複数の静止画又は動画で格納し、
前記判定ルール格納手段は、前記出力内容格納手段が格納する複数の静止画又は動画に属する色変化ドットついての色の変化に関する判定を行う第３の判定ルールをさらに格納し、
前記判定手段は、さらに、前記第３の判定ルールに従い色の変化と時間に関する判定を行う、
請求項１〜４に記載の画面変化検査装置。
【請求項６】
前記判定ルール格納手段がさらに格納する第３の判定ルールは、前記複数の静止画又は動画に属する色変化ドットの色の変化時間が一定以上であるか否か、を判定する判定ルールである、
請求項５に記載の画面変化検査装置。
【請求項７】
前記判定ルール格納手段がさらに格納する第３の判定ルールは、前記複数の静止画又は動画に属する色変化ドットの時間あたりの色の変化量が一定以上であるか否か、を判定する判定ルールである、
請求項５に記載の画面変化検査装置。
【請求項８】
入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納し、
色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納し、
前記格納する検査対象画像に対して、前記格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する、
画面変化検査方法。
【請求項９】
コンピュータに、
入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納し、
色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納し、
前記格納する検査対象画像に対して、前記格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定を行う、
処理を実行させるプログラム。
【請求項１】
入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納する画像格納手段と、
色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納する判定ルール格納手段と、
前記画像格納手段が格納する検査対象画像に対して、前記判定ルール格納手段が格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する判定手段と、
を含む画面変化検査装置。
【請求項２】
前記判定ルール格納手段が格納する判定ルールは、前記色変化ドットの数量が、前記検査対象画像の一定割合の面積に対応するドットの数以上であるときに、一定数以上であると判定する判定ルールである、
請求項１に記載の画面変化検査装置。
【請求項３】
前記判定手段が、色変化ドットの数が前記一定数以上であると判定した場合に、フォーカスの移動によって画面変化があった旨を表示する判定結果出力手段と、
をさらに含む請求項１又は２に記載の画面変化検査装置。
【請求項４】
前記判定ルール格納手段は、前記色変化ドットの色の値と、該色変化ドットに隣接する位置にあるドットの色の値との差が一定以上であるか否か、を判定する第２の判定ルールをさらに格納し、
前記判定手段は、さらに、前記第２の判定ルールに従い前記差が一定以上であるか否かの判定処理を行う、
請求項１〜３に記載の画面変化検査装置。
【請求項５】
前記出力内容格納手段は、前記判定手段が前記検査対象画像に対して判定処理を開始した後、一定時間の画面表示内容を複数の静止画又は動画で格納し、
前記判定ルール格納手段は、前記出力内容格納手段が格納する複数の静止画又は動画に属する色変化ドットついての色の変化に関する判定を行う第３の判定ルールをさらに格納し、
前記判定手段は、さらに、前記第３の判定ルールに従い色の変化と時間に関する判定を行う、
請求項１〜４に記載の画面変化検査装置。
【請求項６】
前記判定ルール格納手段がさらに格納する第３の判定ルールは、前記複数の静止画又は動画に属する色変化ドットの色の変化時間が一定以上であるか否か、を判定する判定ルールである、
請求項５に記載の画面変化検査装置。
【請求項７】
前記判定ルール格納手段がさらに格納する第３の判定ルールは、前記複数の静止画又は動画に属する色変化ドットの時間あたりの色の変化量が一定以上であるか否か、を判定する判定ルールである、
請求項５に記載の画面変化検査装置。
【請求項８】
入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納し、
色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納し、
前記格納する検査対象画像に対して、前記格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定処理を実行する、
画面変化検査方法。
【請求項９】
コンピュータに、
入力操作前の画面表示内容と、入力操作があったときの、所定時間後の画面表示内容を検査対象画像として格納し、
色の変化量が一定以上であるドット（色変化ドット）の数量が、一定数以上であるか否かを判定する判定ルールを格納し、
前記格納する検査対象画像に対して、前記格納する判定ルールに従い、色変化ドットの数量が一定数以上であるか否かの判定を行う、
処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１０８６０１（Ｐ２０１２−１０８６０１Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５４９７０（Ｐ２０１０−２５４９７０）
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]