ヘルプ表示装置、ヘルプ表示方法及びヘルプ表示プログラム

【課題】本実施形態のヘルプ表示装置は、ヘルプ画面に表示される操作対象とアプリケーション画面の操作対象との位置関係をあらかじめ記憶装置に保存しておくことなく、ヘルプ画面に表示された内容に対応するアプリケーション画面の操作対象の位置をユーザに提示する。
【解決手段】
本実施形態のヘルプ表示装置は、表示部がアプリケーション画面とアプリケーション画
面に関するヘルプ画面とを表示する。文字認識処理部が表示部の画面イメージを文字認識
処理する。位置検索部がヘルプ画面上の項目と文字認識処理の処理結果とを照合して、ヘ
ルプ画面上の項目がアプリケーション画面上のどの位置に存在するかを検索する。強調表
示部が位置検索部による検索結果をもとにヘルプ画面上の項目に対応するアプリケーショ
ン画面上の項目を強調表示する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ヘルプ表示装置、ヘルプ表示方法及びヘルプ表示プログラムに関
する。
【背景技術】
【０００２】
従来、各種アプリケーションにおけるヘルプ画面にはアプリケーションに関する操作方
法の手順などが記載されている。このヘルプ画面を参照してアプリケーションの操作を行
うためにはアプリケーション上のどこに操作対象（以下コントロールという）があるのか
を探さなくてはならない。
【０００３】
これに対し、予めすべての誘導内容を格納したデータベースを用いて、アプリケーショ
ン上のコントロールへの誘導を行う技術がある。また、ヘルプ画面上にキーボードのイメ
ージを表示しコントロールの位置をヘルプ画面上で提示する技術もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−７３２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ヘルプ画面上に表示されているコントロールが、実際のアプリケーション画面上でどの
位置に存在するかをあらかじめ記憶装置に保存しておくことなく、ヘルプ画面に表示され
た内容に対応するアプリケーション画面上の操作対象の位置をユーザに提示することを可
能とするヘルプ表示装置、ヘルプ表示方法及びヘルプ表示プログラムを提供することであ
る。
【課題を解決するための手段】
【０００６】
実施形態のヘルプ表示装置は、アプリケーション画面と、前記アプリケーション画面に
関するヘルプ画面とを表示する表示部と、前記表示部の画面イメージを文字認識処理する
文字認識処理部と、前記ヘルプ画面上の項目と前記文字認識処理の処理結果とを照合して
、前記ヘルプ画面上の項目が前記アプリケーション画面上のどの位置に存在するかを検索
する位置検索部と、前記位置検索部による検索結果をもとに前記ヘルプ画面上の項目に対
応する前記アプリケーション画面上の項目を強調表示する強調表示部と、を備える。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係るヘルプ表示システムの全体構成の一例を示すブロック図。
【図２】本実施形態に係るヘルプ表示システムの処理の一例を示すフローチャート。
【図３】本実施形態に係るヘルプ表示システムの表示部に表示される画面の一例を示す図。
【図４】本実施形態に係るヘルプ表示システムの表示部に表示される画面の一例を示す図。
【図５】本実施形態に係るヘルプ表示システムの検索対象一覧格納用データテーブルの一例を示す図。
【図６】本実施形態に係るヘルプ表示システムにおいて作成される画面イメージの一例を示す図。
【図７】本実施形態に係るヘルプ表示システムの文字認識処理結果格納用データテーブルの一例を示す図。
【図８】本実施形態に係るヘルプ表示システムの画面イメージにおける文字認識処理から除外される領域の一例を示す図。
【図９】本実施形態に係るヘルプ表示システムの操作対象位置検索部が抽出する項目名と左上座標と右下座標の一例を示す図。
【図１０】本実施形態に係るヘルプ表示システムの表示部に表示される画面の一例を示す図。
【図１１】本実施形態に係るヘルプ表示システムの表示部に表示される画面の一例を示す図。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
第１の実施形態のヘルプ表示システムについて図面を参照して説明する。以下、ヘルプ
とはオンラインヘルプのことであり、ＯＳやソフトウェアの操作方法などの参考情報につ
いてコンピュータ上で閲覧可能な形式のヘルプ文書のことを指す。なお、ヘルプ画面とは
上述したヘルプ文書を表示する画面である。
【０００９】
図１は、本実施形態のヘルプ表示システム１００の全体構成の一例を示すブロック図で
ある。
【００１０】
図１に示すように、本実施形態のヘルプ表示システム１００は、入力部１０と計算機２
０と表示部３０とを備えており、計算機２０に入力部１０と表示部３０が接続されている
。
【００１１】
ユーザは入力部１０を用いて表示部３０に表示されるヘルプ画面上の文字列を選択する
。選択された文字列情報は入力部１０から計算機２０に送信される。入力部１０は例えば
マウスやキーボードである。本実施形態では入力部１０はマウスであるとする。
【００１２】
表示部３０は例えば液晶ディスプレイであり、ユーザによって利用される任意のアプリ
ケーションに関するユーザインターフェースの一種であるアプリケーション画面とこのア
プリケーションに対するヘルプ画面とを表示する。
【００１３】
アプリケーション画面にはコントロールが表示されており、ユーザはこれらのコントロ
ールを操作することで、目的の操作を実現する。すなわち、コントロールとはボタン、ア
イコン、リンク、タブ、チェックボックス、コンボボックスなど、ディスプレイ上に表示
されており、ユーザがコンピュータを用いて目的の操作を実現するために操作する対象の
ことを指す。
【００１４】
計算機２０は、選択範囲解析部２１と、画面イメージ作成部２２と、文字認識処理部２
３と、操作対象位置検索部２４と、画面ハイライト部２５と、検索対象一覧格納部２６と
、文字認識処理結果格納部２７とを備える。
【００１５】
選択範囲解析部２１は入力部１０と検索対象一覧格納部２６とに接続される。選択範囲
解析部２１は入力部１０により入力された文字列を解析して、名詞を抽出する。また、選
択範囲解析部２１は検索対象一覧格納部２６に検索対象一覧テーブル２６０を作成して解
析結果の名詞を検索対象一覧テーブル２６０に格納する。
【００１６】
画面イメージ作成部２２は、表示部３０と選択範囲解析部２１と文字認識処理部２３と
に接続されており、表示部３０に表示されている画面の画面イメージを作成して文字認識
処理部２３に送信する。
【００１７】
文字認識処理部２３は、画面イメージ作成部２２と文字認識処理結果格納部２７とに接
続される。文字認識処理部２３は、画面イメージ作成部２２が作成した画面イメージに対
して文字認識処理を行い、名詞を抽出する。また、文字認識処理部２３は、文字認識処理
結果格納部２７に文字認識処理結果格納テーブル２７０を作成して文字認識処理結果格納
テーブル２７０に抽出結果を格納する。
【００１８】
操作対象位置検索部２４は、検索対象一覧格納部２６と文字認識処理結果格納部２７と
に接続される。操作対象位置検索部２４は、検索対象一覧格納部２６に格納されたデータ
と文字認識処理結果格納部２７に格納されたデータに基づき、入力部により選択されたヘ
ルプ画面３２上の文字列に含まれる、アプリケーション画面３１上のコントロールを表す
コントロール名がアプリケーション画面３１のどの位置にあるかを検索する。
【００１９】
画面ハイライト部２５は操作対象位置検索部２４と表示部３０とに接続されており、操
作対象位置検索部２４によって検索されたコントロール名の位置情報に基づいて表示部３
０の特定の領域を例えばハイライト表示によって強調表示する。
【００２０】
本実施形態のヘルプ表示システム１００の処理について、図２乃至図１１を用いて説明
する。
【００２１】
図２は本実施形態のヘルプ表示システム１００の処理の一例を示すフローチャートであ
る。
【００２２】
本実施形態のヘルプ表示システム１００の処理は、あらかじめ表示部３０に任意のアプ
リケーション画面３１とこのアプリケーションに対応するヘルプ画面３２とが表示されて
いる状態から開始する。任意のアプリケーション画面３１と、このアプリケーションに対
応するヘルプ画面３２とが表示された表示部３０の一例を図３に示す。本実施形態のアプ
リケーション画面３１は窓口業務用アプリケーションソフトを操作するためのユーザイン
ターフェースとして機能する画面であり、ヘルプ画面３２は窓口業務用アプリケーション
に関するヘルプ文書を表示する画面である。
【００２３】
ユーザによって入力部１０であるマウスが操作され、図３に示す表示部３０に表示され
たヘルプ画面３２上の文字列が選択される。文字列を選択した状態でマウスを右クリック
すると、ショートカットメニューが表示される。このショートカットメニューの「位置検
索」がユーザの入力部１０の操作により押下されることによって、選択された範囲の文字
列が入力される（ステップＳ１）。この際の表示部３０の一例を図４に示す。選択された
文字列は図４の右上がり斜線の領域に含まれる文字列である。
【００２４】
なお、文字列の入力は、ヘルプ画面３２上に検索ボタンを配置し、文字列を選択した状
態でこの検索ボタンが入力部１０によってクリックされると選択された文字列が入力され
るようにすることも可能である。また、ヘルプ画面３２の文字列が選択されると自動的に
入力されるようにすることも可能である。すなわち、ヘルプ画面３２に表示された文字列
が選択されたことを本実施形態のヘルプ表示装置１００が認識すると入力される。
【００２５】
選択範囲解析部２１は、ステップＳ１で入力部１０から入力された文字列を解析して文
字列に含まれる名詞を抽出する（ステップＳ２）。なお、抽出されたヘルプ画面３２上の
名詞は後述する操作対象位置検索処理に用いられる。
【００２６】
選択範囲解析部２１は検索対象一覧格納部２６に検索対象一覧テーブル２６０を作成し
、作成した検索対象一覧テーブル２６０の検索項目名欄２６１に抽出した名詞を格納する
。図５に検索対象一覧格納部２６の検索対象一覧テーブル２６０の一例を示す。
【００２７】
ステップＳ２で文字列が解析され、検索項目名欄２６１が格納されると、選択範囲解析
部２１は画面イメージ作成部２２に画面イメージ作成要求を送信する。画面イメージ作成
要求を受信した画面イメージ作成部２２は表示部３０に表示されている画面の画面イメー
ジ３００を作成する（ステップＳ３）。ステップＳ３で作成される画面イメージ３００の
一例を図６に示す。
【００２８】
続いて、文字認識処理部２３は画面イメージ作成部２２によって作成された画面イメー
ジ３００に文字認識処理を行う（ステップＳ４）。具体的には、文字認識処理部２３は作
成された画面イメージ３００に文字認識処理を行い、処理結果から名詞を抽出する。
【００２９】
そして文字認識処理部２３は名詞を抽出すると文字認識処理結果格納部２７に文字認識
処理結果格納テーブル２７０を作成し、作成した文字認識処理結果格納テーブル２７０の
項目名欄２７１に文字認識処理の処理結果である名詞と、この名詞の画面イメージ３００
における位置情報とをあわせて格納する。本実施形態の文字認識処理結果項目の画面イメ
ージ３００における位置情報は左上座標と右下座標で表される矩形の領域である。
【００３０】
図７に文字認識処理結果格納テーブル２７０の一例を示す。図７に示すように、処理結
果格納テーブル２７０は、文字認識処理によって抽出された名詞を格納する欄である項目
名２７１と、文字認識処理結果項目の画面イメージ３００における位置情報を格納する欄
である左上座標２７２と右下座標２７３を有する。
【００３１】
文字認識処理部２３は文字認識処理によって抽出された抽出結果を文字認識処理結果格
納テーブル２７０に格納後、操作対象位置検索部２４に操作対象位置検索要求を送信する
。
【００３２】
なお、文字認識処理の対象の画面イメージにおいて背景色が白であるエリアに存在する
文字列は、一般的にユーザが編集を行えるテキストエリアやコンテンツ部分である可能性
が高い。したがって、ステップＳ４で行う文字認識処理の対象から除外してもよい。これ
により、コントロールではない部分の誤抽出防止と処理速度向上を可能とする。
【００３３】
ここで、図６に示した画面イメージ３００に文字認識処理する際に背景色が白であるエ
リアを除外する際の方法について説明する。
【００３４】
文字認識処理部２３が文字認識処理を行い画面イメージ３００における文字を検索する
際に、検索された文字の背景色が白であった場合、文字認識処理部２３は検索した文字に
隣接した領域から背景色が白の領域をすべて検索し、検索した領域を文字認識処理の対象
から除外する。例えば、画面イメージ３００から「窓」という背景色が白の文字を検索す
ると、「窓」に隣接した背景色が白の領域を検索し、文字認識処理の対象から除外する。
なお、除外の実施可否や除外する背景色は、ヘルプ表示システム１００に対してユーザに
より予め設定できるものとする。図８は画面イメージ３００において文字認識処理から除
外される領域を斜線で示した図である。
【００３５】
操作対象位置検索要求を受信した操作対象位置検索部２４は、検索対象一覧格納部２６
と文字認識処理結果格納部２７とを検索して操作対象位置検索処理を行う（ステップＳ５
）。
【００３６】
すなわち、操作対象位置検索部２４はステップＳ２で作成されて検索対象一覧格納部２
６に格納された検索項目名２６１と文字認識処理結果格納部２７に格納された項目名２７
１を照合し、一致する項目名２７１が存在しているか否かの判定を検索対象一覧格納部２
６に格納された検索項目名２６１すべてに対して順次行う。ステップ０５における検索の
結果、文字認識処理結果格納テーブル２７０の項目名２７１中にこれらの検索項目名２６
１と一致する項目名が存在しない場合（ステップＳ６がＮｏ）、処理を終了する。
【００３７】
検索項目名２６１と一致する項目名２７１が存在する場合（ステップＳ６がＹｅｓ）、
操作対象位置検索部２４はこの項目名２７１が、ユーザが位置を確認したいコントロール
の名称（以下コントロール名という）であると認識し、文字認識処理結果格納部２７を参
照して対象の項目名２７１の左上座標２７２と右下座標２７３とを抽出し、項目名２７１
と左上座標２７２と右下座標２７３とを画面ハイライト部２５に送信する（ステップＳ７
）。
すなわち、本実施形態ではヘルプ画面上のコントロール名の、「名詞である」という特
徴を利用してコントロールを認識している。そのほかに、例えばヘルプ画面上でコントロ
ールを表現する場合のコントロール名の記載方法などを利用してコントロール名を抽出す
ることも可能である。なお、コントロール名の記載方法としては、[]もしくは「」で区切
る方法や、「ＸＸボタンをクリックします」というようにコントロール名の後ろにボタン
と記載する方法などがある。
なお、一致するコントロールが複数存在する場合には、一致する全てのコントロールに
対する左上座標２７２と右下座標２７３の取得を行う。本実施形態において抽出される項
目名２７１と、この項目名２７１に対応した左上座標２７２と右下座標２７３の一例を図
９に示す。図９に示すように本実施形態では一致する項目名は「貯金オンライン」と「顧
客管理」であり、各項目名に対応した左上座標と右下座標とが対応して抽出されている。
【００３８】
画面ハイライト部２５は、受信した左上座標と右下座標から得られる表示部３０におけ
る領域をハイライト表示することで、コントロールを強調表示し（ステップＳ８）、処理
を終了する。強調表示の方法としては、例えば透過性のある蛍光色をステップＳ７で抽出
された領域にオーバーレイ表示する、文字と背景を反転させて表示するなどの方法がある
。
【００３９】
図１０にステップＳ８の処理によりハイライト表示された表示部３０の一例を示す。図
１０に示すように本実施形態ではステップＳ８で得られた左上座標と右下座標が示す領域
をそれぞれ斜線領域もしくはひし形格子領域として表示するとともに、抽出された項目名
が枠で囲まれている場合はこの枠を太枠として表示し、太枠内の背景を白に変更している
。
【００４０】
なお、このときヘルプ画面３２上の項目名についても同様のハイライト表示を行うこと
で、アプリケーション画面３１のコントロールとヘルプ画面３２のコントロール名との関
連性をユーザに対して提示することが可能である。すなわち、ヘルプの内容に対応するコ
ントロールの位置をユーザに提示できる。これにより、作業の効率化を図ることができる
。
【００４１】
なお、一致する項目名２７１が複数存在した場合、項目名２７１ごとにハイライト表示
を行う色などを変えることで、ヘルプ画面３２のどの項目名がアプリケーション画面３１
のどの項目名に対応するかの判別を容易にすることが可能となる。
【００４２】
もしくは、図１１に示すように、ステップ０６で抽出されたコントロール名の存在する
領域の周囲にコントロール名を吹き出しで表示してもよい。
【００４３】
なお、ステップ０８でハイライト表示を行った後、ユーザが何らかの入力動作を実行し
た場合、もしくはユーザによってあらかじめ設定された時間が経過した場合にハイライト
表示を終了するようにしてもよい。
【００４４】
上述したように本実施形態のヘルプ表示システム１００は、ヘルプ画面３２に表示され
ているコントロール名と実際のアプリケーション画面３１上のコントロールとの位置関係
をあらかじめ記憶装置に保存しておくことなく、ヘルプ画面３２において記載されている
コントロール名が、実際にユーザが使用するアプリケーション画面３１のどの位置に表示
されているか、すなわちアプリケーション画面３１におけるコントロールの位置を提示で
きる。
【００４５】
したがって専用のデータベースなどを構築することなく、ヘルプ機能を備える多様なア
プリケーションで活用することが可能である。例えば、本実施形態のヘルプ表示システム
１００は銀行等の窓口業務用アプリケーション、画像や映像の編集を行うアプリケーショ
ン、および医療用アプリケーションのように、ヘルプ情報をもつアプリケーション全般に
応用可能であり、ボタンの種類が多く習熟に時間のかかるアプリケーションに適している
。
これらのようなアプリケーションは機能の数も多いため、ヘルプなどのデータと画面の
対応をもたせたヘルプシステムを構築する場合、数種類の機能のみを持つ単純なアプリケ
ーションやWebアプリケーションよりも構築に工数がかかる可能性がある。したがって、
本実施形態のより専用のヘルプシステムの構築が不要となり構築にかかる費用を削減でき
る。
以上のように本発明の実施形態を説明したが、この実施形態は例として提示したもので
あり発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々
な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置
き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含ま
れるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。例えば、
実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００４６】
例えば、ステップＳ３で作成された画像イメージ３００に文字認識処理を行う際にヘル
プ画面３２を文字認識処理の対象から除外してもよい。これにより、ヘルプ画面３２の項
目名を抽出せず、処理速度を向上することが可能となる。
【００４７】
ヘルプ画面３２を文字認識処理の対象から除外する方法は、例えば図２のステップＳ１
において、「位置検索」が押下された際にマウスカーソルが存在していた領域を含むウィ
ンドウについてはヘルプ画面３２であると認識し、このウィンドウを文字認識処理の対象
から除外するとしてもよい。すなわち、ステップＳ１において「位置検索」が押下された
際のマウスカーソルの位置を計算機２０が取得する。取得したマウスカーソルが存在して
いる位置と背景色が同じ領域（ウィンドウ）を検索し、検索した領域をヘルプ画面３２で
あるとして文字認識処理の対象から除外する。
【００４８】
もしくは、画面イメージ作成部２２が、画面イメージを作成する際に一時的にヘルプ画
面３２を最小化して作成するとしてもよい。
【符号の説明】
【００４９】
１０…入力部、２０…計算機、２１…選択範囲解析部、２２…画面イメージ作成部２２３
…文字認識処理部、２４…操作対象位置検索部、２５…操作対象位置検索部、２６…検索
対象一覧格納部、２７…文字認識処理結果格納部、３０…表示部、１００…ヘルプ表示シ
ステム、３００…画面イメージ

【特許請求の範囲】
【請求項１】
アプリケーション画面と、前記アプリケーション画面に関するヘルプ画面とを表示する
表示部と、
前記表示部の画面イメージを文字認識処理する文字認識処理部と、
前記ヘルプ画面上の項目と前記文字認識処理の処理結果とを照合して、前記ヘルプ画面
上の項目が前記アプリケーション画面上のどの位置に存在するかを検索する位置検索部と
、
前記位置検索部による検索結果をもとに前記ヘルプ画面上の項目に対応する前記アプリ
ケーション画面上の項目を強調表示する強調表示部と、
を備えるヘルプ表示装置。
【請求項２】
前記文字認識処理部は、
前記画面イメージにおけるあらかじめユーザによって設定された所定の背景色の領域に
文字が存在する場合に、前記背景色の領域を前記文字認識処理の対象から除外する請求項
１に記載のヘルプ表示装置。
【請求項３】
前記文字認識処理部は、
前記画面イメージにおけるヘルプ画面を前記文字認識処理から除外する請求項１乃至請
求項２のいずれか１項に記載のヘルプ表示装置。
【請求項４】
前記文字認識処理部は、
前記画面イメージに前記文字認識処理を行う際に、マウスカーソルが存在していた領域
を含むウィンドウについては処理対象から除外する請求項１乃至請求項２のいずれか１項
に記載のヘルプ表示装置。
【請求項５】
前記強調表示部は、
前記ヘルプ画面上の項目と対応する前記アプリケーション画面上の項目との組み合わせ
が複数ある場合に、前記組み合わせごとに異なる強調表示を行う請求項１乃至請求項４の
いずれか１項に記載のヘルプ表示装置。
【請求項６】
アプリケーション画面と、前記アプリケーション画面に関するヘルプ画面とを表示する
ステップと、
前記表示部の画面イメージを文字認識処理するステップと、
前記ヘルプ画面上の項目と前記文字認識処理の処理結果とを照合して、前記ヘルプ画面
上の項目が前記アプリケーション画面上のどの位置に存在するかを検索するステップと、
前記位置検索部による検索結果をもとに前記ヘルプ画面上の項目に対応する前記アプリ
ケーション画面上の項目を強調表示するステップと、
を備えるヘルプ表示方法。
【請求項７】
ヘルプ表示装置において、コンピュータに、
アプリケーション画面と、前記アプリケーション画面に関するヘルプ画面とを表示する
機能と、
前記表示部の画面イメージを文字認識処理する機能と、
前記ヘルプ画面上の項目と前記文字認識処理の処理結果とを照合して、前記ヘルプ画面
上の項目が前記アプリケーション画面上のどの位置に存在するかを検索する機能と、
前記位置検索部による検索結果をもとに前記ヘルプ画面上の項目に対応する前記アプリ
ケーション画面上の項目を強調表示する機能と、
を実行させるためのヘルプ表示プログラム。

【図１】