操作画面作成装置
【課題】
紙部品を用いて画面設計が可能となるとともに設計した画面の操作性が検証できるようにした操作画面作成装置を提供する
【解決手段】
操作画像媒体から読み取った紙部品を識別する部品識別情報に、当該操作画像媒体を読み取ることにより作成した操作画面を構成する前記紙部品に対する部品画像を操作することにより遷移する画面の識別情報を対応付けて管理する。読み取った操作画面の部品画像が操作された場合には、当該部品画像に対応付けて管理する画面の識別情報に基づいて遷移先画面を表示する。
紙部品を用いて画面設計が可能となるとともに設計した画面の操作性が検証できるようにした操作画面作成装置を提供する
【解決手段】
操作画像媒体から読み取った紙部品を識別する部品識別情報に、当該操作画像媒体を読み取ることにより作成した操作画面を構成する前記紙部品に対する部品画像を操作することにより遷移する画面の識別情報を対応付けて管理する。読み取った操作画面の部品画像が操作された場合には、当該部品画像に対応付けて管理する画面の識別情報に基づいて遷移先画面を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作画面作成装置に関する。
【背景技術】
【０００２】
ソフトウェアの開発に際して、システムの操作者によるより良い操作性を提供するため、表示画面のデザインを優れたものとするためにペーパープロトタイプという手法がある。このペーパープロトタイプとは、コンピュータを用いて画面等のプロトタイプを作成するのではなく、ペーパー（紙）を用いて画面等の試作を行う手法である。
【０００３】
近年のネットワーク通信の発達によりインターネット上のサイトを閲覧する機会が増加しているなかで、ホームページの作成には多くの特殊な記号等を設定する必要があるが、特許文献１に開示された技術では、ホームページ作成に慣れていない人にとっても簡単にホームページが作成できるようにした技術が公開されている。
【０００４】
この特許文献１に開示された従来技術では、ホームページを作成する元となるさまざまなテンプレートを用意し、選択したテンプレートに文字等を加筆したものを読み取ることでテンプレートの電子ファイルと加筆したものとを合成して簡単にホームページを作成できるようにしている。
【０００５】
また、特許文献２では、ハイパーリンクを生成する複数の文書画像を縮小して印刷したシートに、ハイパーリンク情報が記入した後にシートの画像を読み取り、その画像からハイパーリンクの情報を抽出することで、シートに印刷した文書画像間のリンクを作成できるようにした技術が公開されている。
【特許文献１】特開２００１−１４２８１７号公報
【特許文献２】特開平１０−０９７５２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、紙部品を用いて画面設計が可能となるとともに設計した画面の操作性が検証できるようにした操作画面作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１の発明は、識別情報が付された部品を配置して作成した操作画像媒体を読み取る読取手段と、前記画像読取手段で読み取った前記操作画像媒体に基づく画像から前記部品の識別情報を認識する認識手段と、前記認識手段で認識した前記識別情報に対応して当該識別情報により識別される部品に対する操作によって遷移する遷移先画像を登録する登録手段とを具備する。
【０００８】
また、請求項２の発明は、請求項１の発明において、前記登録手段は、前記識別情報と同一若しくは関連する識別情報が付された他の操作画像媒体から前記画像読取手段により読み取った画像を遷移先画像として登録する。
【０００９】
また、請求項３の発明は、請求項１または２の発明において、前記画像読取手段で読み取った画像を、前記部品の画像と背景画像に分離する分離手段と、前記分離手段により分離された部品の画像から該部品の形状、位置、該部品に描かれた手書き画像を抽出する抽出手段とを更に具備し、前記登録手段は、前記遷移先画像に加えて、該部品を識別する前記識別情報に対応して前記抽出手段で抽出した前記部品の形状、位置、該部品に描かれた手書き画像を登録する。
【００１０】
また、請求項４の発明は、請求項３の発明において、前記登録手段により登録された前記部品の形状、位置、該部品に描かれた手書き画像に基づき前記画像に対応する遷移先の状態を表示器上に表示制御する表示制御手段と、前記表示制御手段により前記表示器上に表示された遷移先の状態における前記部品に対応する画像の操作を検出する操作検出手段と、前記操作検出手段による前記部品に対応する画像の操作の検出に応答して前記操作画面を該部品に対応する遷移先画像へ遷移制御する遷移制御手段とを具備する。
【００１１】
また、請求項５の発明は、請求項４の発明において、前記表示制御手段は、前記画像に対応する操作画面を表示器上に表示制御し、前記操作検出手段は、前記表示制御手段によって表示制御した操作画面上の部品対応する画像の操作を検出する。
【００１２】
また、請求項６の発明は、請求項４または５の発明において、前記部品は、前記紙面上に描かれた領域枠と該領域枠内に表示する表示画像を識別する表示画像識別情報とを含み、前記表示制御手段は、前記表示画像識別情報に対応する表示画像を前記領域枠内にはめ込んで表示する。
【発明の効果】
【００１３】
本発明の請求項１によれば、設計した画面の操作性が検証できるようになるという効果を奏する。
【００１４】
また、請求項２によれば、他の操作画像媒体から読み取った画像を遷移先画像とする画面の操作性が検証できるようになるという効果を奏する。
【００１５】
また、請求項３によれば、操作画像媒体を構成する手書き画像を用いて画面の操作性が検証できるようになるという効果を奏する。
【００１６】
また、請求項４によれば、部品に対応する遷移先の状態を表示制御することができるようになるという効果を奏する。
【００１７】
また、請求項５によれば、部品に対応する遷移先画像に遷移することができ、画面の操作性が検証できるようになるという効果を奏する。
【００１８】
また、請求項６によれば、指定された領域に所定の表示画像をはめ込んで表示することができ、写真等の画像を用いた画面の操作性を検証できるようになるという効果を奏する。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して本発明に係わる操作画面作成装置の一実施例を詳細に説明する。
【実施例】
【００２０】
図１は、本発明の実施の形態における操作画面作成装置を適用して構成した開発システムの構成を示すブロック図の一例である。
【００２１】
図１において、本開発システムは、情報処理装置１０、画像形成装置２０を具備して構成されており、画像形成装置２０で印刷用紙等の印刷媒体に紙素材からなる画面構成部品（以下、「紙部品」若しくは「部品」ともいう）を貼り合わせることによって作成した操作画像媒体（以下、「紙上のプロトタイプ操作画面」ともいう）を読み取ることによって生成した画像データ（単に「画像」ともいう））が示す操作画面（以下、「電子操作画面」ともいう）を操作することで動作するアプリケーションを情報処理装置１０（操作画面作成装置）によって作成する。
【００２２】
この画像形成装置２０により読み取りを行う印刷媒体の一例を、図３、図４および図５、図６に示す。
【００２３】
図３において、図３（ａ）は、「○×検さくサービス」という文字列１０４が記載された印刷媒体の一例を示し、図３（ｂ）は、図２に示すような紙部品を点線部分で切り取り、その紙部品を図３（ａ）に示す印刷用紙の所定の位置に貼り付けた状態を示している。すなわち、図３（ｂ）は、紙上のプロトタイプ操作画面の一例である。
【００２４】
図２は、図３（ｂ）に示すような紙上のプロトタイプ操作画面を構成する紙部品を印刷用紙上に示したものであって、図２には、複数の選択肢の中から適当な項目を選択可能なセレクトボックス部品１０１、所定の処理を実行するコマンドボタン部品ａ（１０２）、コマンドボタン部品ｂ（１０３）を示している。
【００２５】
図３（ｂ）に示す紙上のプロトタイプ操作画面は、図２の印刷用紙から切り取ったセレクトボックス部品１０１を「○×検さくサービス」という文字列１０４の下方に貼り付け、また、その下方に図２の印刷用紙から切り取ったコマンドボタン部品ａ（１０２）を貼り付けた構成からなる。
【００２６】
また、図３（ｂ）のセレクトボックス部品１０１には、デフォルト選択項目として「風景」が手書き指定され、他の選択可能な項目として「乗り物」、「食べ物」、「動物」が手書き指定されており、コマンドボタン部品ａ（１０２）には、ボタン名称として「検さく」が示されている。もちろん、手書きに限定されることはない。
【００２７】
図３（ｂ）に示す紙上のプロトタイプ操作画面を画像形成装置２０で読み取ることにより電子操作画面を生成し、アプリケーションとして動作された場合には、セレクトボックス部品１０１で選択された「風景」という文字列を検索条件としてコマンドボタン部品ａ（１０２）の「検さく」ボタンを押下することにより検索処理が行われる。
【００２８】
次に、図４は、「検さく結果」という文字列１０５および検索された情報の一覧１０６が示された印刷用紙に、図２に示すコマンドボタン部品ｂ（１０３）を貼り付けて構成したものである。そして、コマンドボタン部品ｂ（１０３）のボタン名称として「戻る」が示されている。
【００２９】
また、図３（ｂ）や図４に示す紙上のプロトタイプ操作画面には、遷移先識別情報若しくは部品識別情報の少なくとも一方を表すコード情報が示されている。このコード情報は、バーコードや二次元バーコードのほか、記号や文字によって構成される。
【００３０】
部品識別情報は、印刷用紙に貼り付けられる紙部品を識別する情報であって、図２に示すような紙部品それぞれに印刷されている。図３（ｂ）では、コード情報Ａ１、コード情報Ｂ１、コード情報Ｃ１が部品識別情報を表すコード情報である。
【００３１】
また、遷移先識別情報は、部品識別情報に対応付けられており、その部品識別情報の構成部品が操作されることにより遷移する遷移先を識別する情報である。図２では、コード情報Ａ２、コード情報Ｂ２、コード情報Ｃ２が遷移先識別情報を表すコード情報である。この遷移先識別情報が示す遷移先として、例えば部品識別情報が印刷された紙部品を貼り付けて作成したプロトタイプ操作画面である。
【００３２】
ここに示した例のコード情報Ａ２（遷移先識別情報を表したコード情報）は、コード情報Ａ１によって表される部品識別情報に対応し、コード情報Ｂ２（遷移先識別情報を表したコード情報）は、コード情報Ｂ１によって表される部品識別情報に対応し、コード情報Ｃ２（遷移先識別情報を表したコード情報）は、コード情報Ｃ１によって表される部品識別情報に対応する。
【００３３】
すなわち、コード情報Ａ１が印刷された構成部品を操作することによりコード情報Ａ２が付与された遷移先に遷移し、コード情報Ｂ１が印刷された構成部品を操作することによりコード情報Ｂ２が付与された遷移先に遷移し、コード情報Ｃ１が印刷された構成部品を操作することによりコード情報Ｃ２が付与された遷移先に遷移する。
【００３４】
図３（ｂ）には、紙上のプロトタイプ操作画面を識別するコード情報Ｃ２が印刷用紙左上方に貼り付けられ、また、セレクトボックス部品１０１にはコード情報Ａ１が印刷され、コマンドボタン部品ａ（１０２）にはコード情報Ｂ１が印刷された状態を示している。
【００３５】
図４には、紙上のプロトタイプ操作画面を識別するコード情報Ｂ２が印刷用紙左上方に付与され、また、コマンドボタン部品ｂ（１０３）にはコード情報Ｃ１が印刷された状態を示している。
【００３６】
コード情報Ｃ２が貼り付けられた図３（ｂ）に示す紙上のプロトタイプ操作画面は、コード情報Ｃ１が印刷された図４のコマンドボタン部品ｂ（１０３）を操作することにより遷移する遷移先であることを示している。すなわち、図４のプロトタイプ操作画面を画像形成装置２０で読み取ることにより生成した電子操作画面でコマンドボタン部品ｂ（１０３）を操作することによって、図３（ｂ）の紙上のプロトタイプ操作画面を画像形成装置２０で読み取ることにより生成した電子操作画面を表示して遷移する。
【００３７】
また、コード情報Ａ１が印刷された図３（ｂ）のセレクトボックス部品１０１を操作することによりコード情報Ａ１に対応するコード情報Ａ２が貼り付けられた遷移先へ遷移することとなるが、図３（ｂ）および図４にはコード情報Ａ２が貼り付けられていないため、コード情報Ａ１が印刷された図３（ｂ）のセレクトボックス部品１０１を操作した場合であっても何も動作が行われないことを示している。
【００３８】
さらに、コード情報Ｂ１が印刷された図３（ｂ）のコマンドボタン部品ａ（１０２）を操作することによりコード情報Ｂ１に対応するコード情報Ｂ２が貼り付けられた遷移先へ遷移することとなる。このコード情報Ｂ２は、図４のプロトタイプ操作画面に貼り付けられていることから、コード情報Ｂ１が印刷されたコマンドボタン部品ａ（１０２）を操作することにより図４に示すプロトタイプ操作画面を表示して遷移する。
【００３９】
なお、図３（ｂ）および図４に示す例では、コード情報Ａ１に対するコード情報Ａ２がいずれにも貼り付けられておらず遷移先となる操作画面が存在しない例を示したが、図５および図６に示すようなプロトタイプ操作画面により遷移先となる操作画面を設けた構成とすることも可能である。
【００４０】
図５に示すプロトタイプ操作画面は、セレクトボックス部品１０１、コマンドボタン部品ａ（１０２）が貼り付けられて構成された画面であって、セレクトボックス部品１０１ではデフォルト選択項目「風景」のみを選択可能としており、このセレクトボックス部品１０１にコード情報Ａ１が印刷されている。また、コマンドボタン部品ａ（１０２）ではボタン名称として「検さく」が示され、このコマンドボタン部品ａ（１０２）にコード情報Ｂ１が印刷されている。
【００４１】
図６に示すプロトタイプ操作画面は、コード情報Ａ２が画面左上方に貼り付けられていることから、図５のプロトタイプ操作画面を画像形成装置２０で読み取ることにより生成した電子操作画面のセレクトボックス部品１０１を操作することによって、当該セレクトボックス部品１０１に印刷されたコード情報Ａ１に対応するコード情報Ａ２が貼り付けられた図６に示すプロトタイプ操作画面を画像形成装置２０で読み取ることにより生成した電子操作画面を表示して遷移することとなる。
【００４２】
このようなコード情報が示される紙上のプロトタイプ操作画面を画像形成装置２０で読み取ると、情報処理装置１０では、プロトタイプ操作画面を読み取った電子操作画面を操作することにより動作するアプリケーションを作成する。
【００４３】
この情報処理装置１０は、通信部１１、画像解析部１２、アプリケーション生成管理部１３、ＵＩ部品管理部１４、アプリケーション実行部１５、アプリケーション編集部１６、表示部１７、入力部１８、入力制御部１９を具備して構成され、これらが別々の装置により実装された構成の電子編集システムとすることも可能である。
【００４４】
通信部１１を介して画像形成装置２０で作成した電子操作画面の画像データを受信すると、画像解析部１２では、画像データの解析処理を行い、画像データを構成するセレクトボックスなどの部品と、当該部品以外の他の背景画像とを分離する。さらに、分離した部品の画像データから紙部品の形状、位置、紙部品に描かれた手書き画像を抽出する。
【００４５】
次に、受信した画像データに示されたコード情報を認識し、認識したコード情報から遷移先識別情報若しくは部品識別情報を抽出する。抽出した紙部品の形状、位置、該紙部品に描かれた手書き画像に部品識別情報を対応付けてＵＩ部品管理部１４に登録する。このとき、遷移先識別情報を抽出した場合には、この遷移先識別情報を一時記憶する。
【００４６】
また、コード情報の認識により部品識別情報を抽出した場合には、その部品識別情報により識別される構成部品が設定された設定位置の情報（座標情報等）を特定するとともに、構成部品のイメージ画像を部品識別情報に対応付けて登録する。
【００４７】
アプリケーション生成管理部１３では、画像解析部１２で受信した電子操作画面の画像データを当該電子操作画面を識別する画面識別情報（画面ＩＤ）に対応付けて管理する。このときの管理状態の一例を図１０、図１３に示す。
【００４８】
また、このアプリケーション生成管理部１３では、画像解析部１２で解析処理を行った結果を各電子操作画面の画面ＩＤごとに登録することで管理する。このときの管理状態の一例を図１１、図１４に示す。
【００４９】
さらに、アプリケーション生成管理部１３では、画像解析部１２で認識したコード情報に対して抽出した部品識別情報を関連付けて管理し、また、その部品識別情報に対応する遷移先識別情報を一時記憶している場合には、その部品識別情報で識別される構成部品を操作することによって遷移する遷移先の画面を識別する画面ＩＤを関連付けて管理する。このときの管理状態の一例を図１２、図１５に示す。
【００５０】
ＵＩ部品管理部１４は、部品識別情報ごとに当該部品識別情報で識別する構成部品に関する情報を、例えば図９に示すように管理する。図９は、部品識別情報に対する部品の情報を示し、[部品ＩＤ]項目９０１、[部品タイプ]項目９０２、[部品識別記号]項目９０３、[背景イメージ]項目９０４、[部品サイズ]項目９０５、[ＵＩ操作後の処理]項目９０６、[展開イメージ]項目９０７、[展開イメージサイズ]項目９０８により構成される。
【００５１】
[部品ＩＤ]項目９０１が「parts01」であるレコードには、[部品タイプ]項目９０２として「コマンドボタン」が示され、[部品識別記号]項目９０３として「コード情報」が示され、[背景イメージ]項目９０４として「Cmd.jpg」が示され、[部品サイズ]項目９０５として「100,50」が示され、[ＵＩ操作後の処理]項目９０６として「画面遷移」が示され、[展開イメージ]項目９０７として「−」が示され、[展開イメージサイズ]項目９０８として「−」が示されている。
【００５２】
これは、画像解析部１２でコード情報から抽出した部品識別情報が「parts01」であることを示し、部品識別情報が「parts01」である構成部品は、部品タイプが「コマンドボタン」であって、「コード情報」によって部品を識別し、背景画像が「Cmd.jpg」であって、部品サイズが「横100、縦50」であって、部品が操作されることによって「画面遷移」が行われることを示している。
【００５３】
なお、[展開イメージ]項目９０７、[展開イメージサイズ]項目９０８の項目は、[部品タイプ]項目９０２が「セレクトボックス」である場合に示される項目である。
【００５４】
このアプリケーション生成管理部１３によって管理された情報により電子操作画面間の関連付けされた状態となり、アプリケーション実行部１５では、入力制御部１９を介して表示ディスプレイ等の表示器から構成される表示部１７や入力装置で構成される入力部１８などのユーザインターフェース（ＵＩ）からの操作を受け付けることにより電子操作画面間の関連付けを行ったアプリケーションを実行する。
【００５５】
アプリケーション編集部１６は、アプリケーション生成管理部１３で管理する各種の情報を変更することによってアプリケーションの編集を行う。
【００５６】
図８は、本発明の実施の形態における操作画面作成装置の詳細な処理の流れを示す図である。
【００５７】
図８において、図２に示すような紙部品を用いて作成した図３（ｂ）や図４に示すような紙上のプロトタイプ操作画面を読み取ることにより電子操作画面の画像データを作成する（８０１）。作成した画像データをその画像データの識別情報（操作画面ＩＤ）に対応付けて図１０に示すような操作画面情報テーブルとして管理する（８０２）。
【００５８】
図１０に示す操作画面情報テーブルは、[画面ＩＤ]項目１００１、[画面イメージ]項目１００２により構成され、[画面ＩＤ]項目１００１は、画像形成装置で読み取ることにより作成した電子操作画面を識別する情報（画面ＩＤ）を示す項目であって、[画面イメージ]項目１００２は、作成した電子操作画面のファイル名を示す項目である。
【００５９】
図１０（ａ）は、図３（ｂ）に示す紙の操作画面を読み取ることにより作成されるテーブルであって、読み取った電子操作画面「操作画面1.jpg」の画面ＩＤが「screen01」であることを示している。また、図１０（ｂ）は、図３（ｂ）に示す紙上のプロトタイプ操作画面を読み取った後に図４に示す紙上のプロトタイプ操作画面を読み取ることにより作成されるテーブルであって、図４に示す紙上のプロトタイプ操作画面を読み取った電子操作画面「操作画面2.jpg」の画面ＩＤが「screen02」であることを示している。
【００６０】
続いて、読み取った電子操作画面にコード情報が含まれるかを判断する（８０３）。電子操作画面にコード情報が含まれる場合（８０３でＹＥＳ）には、そのコード情報から遷移先識別情報若しくは部品識別情報を抽出する（８０４）。そして、コード情報から遷移先識別情報を抽出したかを判断して（８０５）、遷移先識別情報を抽出していない場合（８０５でＮＯ）には、続いて、コード情報から部品識別情報を抽出したかを判断する（８０７）。
【００６１】
また、遷移先識別情報を抽出した場合（８０５でＹＥＳ）には、抽出した遷移先識別情報を一時記憶する（８０６）。続いて、コード情報から部品識別情報を抽出したかを判断する（８０７）。
【００６２】
部品識別情報が抽出されない場合（８０７でＮＯ）には、本フローチャートの処理を終了する。また、部品識別情報が抽出された場合（８０７でＹＥＳ）には、部品識別情報が示す構成部品に関する情報を登録するとともに部品イメージをも登録する（８０８）。このときの登録された状態の例を図１１、図１４に示す。
【００６３】
図１１は、図３（ｂ）、図４のプロトタイプ操作画面を読み取った電子操作画面の構成部品に関する情報を示し、[画面ＩＤ]項目１１０１、[コード情報]項目１１０２、[部品設定位置]項目１１０３、[手書き後の部品イメージ]項目１１０４によって構成される。
【００６４】
[画面ＩＤ]項目１１０１は、読み取った電子操作画面を識別する情報であって、図１０の[画面ＩＤ]項目１００１に対応する。また、[コード情報]項目１１０２は、電子操作画面を構成する構成部品に示されたコード情報であって、[部品設定位置]項目１１０３は、[コード情報]項目１１０２に示されたコード情報から抽出された部品識別情報により識別される構成部品が配置された操作画面上の位置を示す座標であって、[手書き後の部品イメージ]項目１１０４は、読み取った構成部品のファイル名である。
【００６５】
図１１（ａ）は、図３（ｂ）に示す紙上のプロトタイプ操作画面を読み取ることにより作成した情報であって、図１１（ｂ）は、図３（ｂ）に示す紙上のプロトタイプ操作画面を読み取った後に図４に示す紙上のプロトタイプ操作画面を読み取ることにより作成した情報である。
【００６６】
すなわち、図４に示す紙上のプロトタイプ操作画面を読み取ることにより作成した電子操作画面は、画面ＩＤが[画面ＩＤ]項目１１０１で示すように「screen02」であって、コード情報が[コード情報]項目１１０２で示すように「Ｃ１」であって、部品の設定位置が[部品設定位置]項目１１０３で示すように「Ｘ方向：50,Ｙ方向：50」であって、ファイル名が[手書き後の部品イメージ]項目１１０４で示すように「C_cmd.jpg」であることを示す。
【００６７】
図１４は、図５、図４のプロトタイプ操作画面を読み取った後に、図６に示すプロトタイプ操作画面を読み取った場合の情報であって、図６に示すプロトタイプ操作画面から読み取ったコード情報は遷移先識別情報が抽出され、部品識別情報は抽出されないため、図６の画面に対するレコードは作成されない。すなわち、図６に示すプロトタイプ操作画面を読み取った場合の図１４に示すテーブルは図１１（ｂ）と同一となる。
【００６８】
このようにして読み取った電子操作画面の構成部品に関する情報が登録されると、続いて、登録した構成部品が領域枠を指定した矩形パターンからなる部品であるかを判断して（８０９）、矩形パターンでない場合（８０９でＮＯ）には、抽出した部品識別情報全てに対して登録されたかを判断する（８１１）。
【００６９】
図３（ｂ）や図４等のプロトタイプ操作画面の構成部品として、図７に示すような矩形パターンの構成部品を用いて画面を構成することも可能である。矩形パターンの構成部品は、領域枠とその領域枠内に表示する画像の識別情報により構成される。
【００７０】
図２に示す構成部品では、構成部品に部品識別情報を表すコード情報を印刷し、この部品識別情報に対応する遷移先識別情報を遷移先の印刷用紙に貼り付けて遷移先を指定するが、それに代えて、図７（ａ）に示すような領域枠の構成部品をプロトタイプ操作画面の構成部品とした場合、図７（ａ）に対応する構成部品を操作することにより遷移する遷移先は、図７（ｃ）の矩形パターンによる遷移先を示す情報（領域枠内に表示する画像の識別情報）を貼り付けたプロトタイプ操作画面であることを示す。
【００７１】
図７（ａ）に示す矩形パターンに対応する構成部品は、図７（ｂ）に示すコマンドボタン部品であって、図７（ａ）の矩形パターンに示される紙部品（コマンドボタン）のイメージとボタンの背景イメージを合成する。
【００７２】
このような矩形パターンである場合（８０９でＹＥＳ）には、部品イメージを指定された矩形サイズに調整する（８１０）。そして、抽出した部品識別情報全てに対して登録されたかを判断する（８１１）。
【００７３】
この判断処理によって、部品識別情報全てに対して登録されない場合（８１１でＮＯ）には、登録していない部品識別情報が示す構成部品の情報を登録する。
【００７４】
また、全ての部品識別情報に対する構成部品を登録した場合（８１１でＹＥＳ）には、コード情報に対する部品識別情報および遷移先の画面ＩＤを、上記の処理によって一時記憶した遷移先識別情報を用いて登録する（８１２）。例えば、遷移先識別情報として「Ｃ２」が一時記憶されている場合、当該遷移先識別情報「Ｃ２」対する画面ＩＤ「screen01」を登録する。
【００７５】
このときの例を図１２、図１５に示す。
【００７６】
図１２は、[コード情報]項目１２０１、[部品ＩＤ]項目１２０２、[遷移先の画面ＩＤ]項目１２０３によって構成され、[コード情報]項目１２０１は、プロトタイプ操作画面から読み取ったコード情報を示し、[部品ＩＤ]項目１２０２は、コード情報から読み取った部品識別情報を示し、[遷移先の画面ＩＤ]項目１２０３は、[部品ＩＤ]項目１２０２に示す部品識別情報に対応する遷移先識別情報であって、上記の処理により当該遷移先識別情報を一時記憶している場合に設定される。
【００７７】
図１２（ａ）は、図３（ｂ）に示すプロトタイプ操作画面から読み取ったコード情報より抽出した部品識別情報「Ａ１」、「Ｂ１」を示しており、これらの抽出した部品識別情報に対する遷移先識別情報は一時記憶されていない状態にあるため、[遷移先の画面ＩＤ]項目１２０３には対応する遷移先識別情報に対する画面ＩＤが設定されていない状態を示す。なお、図３（ｂ）のプロトタイプ操作画面を読み取ることにより遷移先識別情報「Ｃ２」が一時記憶される。
【００７８】
図１２（ｂ）は、図１２（ａ）に示す状態から図４に示すプロトタイプ操作画面から読み取ったコード情報より抽出した部品識別情報「Ｃ１」を示しており、図４を読み取ることにより遷移先識別情報「Ｂ２」が一時記憶されていることから、図１２（ｂ）に示すように[コード情報]項目１２０１が「Ｂ１」である部品識別情報の操作により遷移する画面として[遷移先の画面ＩＤ]項目１２０３に、一時記憶された遷移先識別情報「Ｂ１」に対する画面ＩＤ「screen02」が設定される。
【００７９】
また、このとき、[コード情報]項目１２０１が「Ｃ１」である部品識別情報の操作により遷移する画面として[遷移先の画面ＩＤ]項目１２０３に、一時記憶された遷移先識別情報「Ｃ２」に対する画面ＩＤ「screen01」が設定される。
【００８０】
図１５は、図１２（ｂ）に示す状態から図６に示すプロトタイプ操作画面を読み取った状態を示し、図６のプロトタイプ操作画面を読み取ることにより遷移先識別情報「Ａ２」が一時記憶されていることから、[コード情報]項目１２０１が「Ａ１」である部品識別情報の操作により遷移する画面として[遷移先の画面ＩＤ]項目１２０３に、一時記憶された遷移先識別情報「Ａ２」に対する画面ＩＤ「screen03」が設定される。
【００８１】
図１６は、本発明の実施の形態における操作画面作成装置で紙部品を用いて作成したアプリケーションの動作処理の流れを示す図である。
【００８２】
図１６では、まず、図３（ｂ）に示すプロトタイプ操作画面を読み取ることにより作成した電子操作画面の構成部品（例えばセレクトボックス部品１０１、コマンドボタン部品（１０２、１０３）等）に対する操作を検知する（１６０１）。
【００８３】
次に、操作された構成部品を識別する（１６０２）。上記に示す例の場合、操作された構成部品が「セレクトボックス部品１０１」や「コマンドボタン部品（１０２、１０３）」であると識別する。
【００８４】
そして、識別した構成部品の部品識別情報（部品ＩＤ）に対する遷移先の操作画面を登録された管理テーブルより参照し（１６０３）、遷移先の状態が指定されているかを判断する（１６０４）。すなわち、図１２や図１５に示す管理テーブルの[部品ＩＤ]項目１２０２に対して[遷移先の画面ＩＤ]項目１２０３に画面ＩＤが指定されているかを判断する。
【００８５】
この判断により指定されていない場合（１６０４でＮＯ）には、構成部品の操作による画面遷移が行われることなく処理を終了する。
【００８６】
それに対して、遷移先が指定されている場合（１６０４でＹＥＳ）には、遷移先として示された状態を特定する（１６０５）。
【００８７】
例えば、図１１や図１４の操作画面情報に示すように遷移先として画面が示されている場合には、その画面を遷移先の状態として特定する。このほか、セレクトボックス部品１０１を操作することで、遷移先として画像展開が示されている場合には図６に示すような画面を画像展開後の状態として特定し、さらに、遷移先として画像の格納が示されている場合にはイメージフォルダを示すことで当該イメージフォルダ格納された写真、図面等の画像表示を遷移先の状態として特定する。
【００８８】
このようにして、遷移先の状態が特定されると、その特定した状態を操作画面に表示する（１６０６）。
【００８９】
上記の例では、遷移先の画像を表示するほか、画像展開後の画像を表示し、また、イメージフォルダの内容を表示する。
【００９０】
本発明は、上記し、且つ図面に示す実施例に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施の形態における操作画面作成装置を適用して構成した開発支援システムの構成を示すブロック図の一例。
【図２】紙部品の一例を示す図。
【図３】操作画面の一例を示す図。
【図４】操作画面の一例を示す図。
【図５】操作画面の一例を示す図。
【図６】操作画面の一例を示す図。
【図７】領域枠を指定した矩形パターンの紙部品を示す図。
【図８】本発明の実施の形態における操作画面作成装置の詳細な処理の流れを示す図。
【図９】部品管理情報テーブルの一例を示す図。
【図１０】操作画面情報テーブルの一例を示す図。
【図１１】操作画面部品情報テーブルの一例を示す図。
【図１２】コード情報テーブルの一例を示す図。
【図１３】操作画面情報テーブルの一例を示す図。
【図１４】操作画面部品情報テーブルの一例を示す図。
【図１５】コード情報テーブルの一例を示す図。
【図１６】本発明の実施の形態における操作画面作成装置で紙部品を用いて作成したアプリケーションの動作処理の流れを示す図。
【符号の説明】
【００９２】
１０ 情報処理装置
１１ 通信部
１２ 画像解析部
１３ アプリケーション生成管理部
１４ ＵＩ部品管理部
１５ アプリケーション実行部
１６ アプリケーション編集部
１７ 表示部
１８ 入力部
１９ 入力制御部
２０ 画像形成装置
【技術分野】
【０００１】
本発明は、操作画面作成装置に関する。
【背景技術】
【０００２】
ソフトウェアの開発に際して、システムの操作者によるより良い操作性を提供するため、表示画面のデザインを優れたものとするためにペーパープロトタイプという手法がある。このペーパープロトタイプとは、コンピュータを用いて画面等のプロトタイプを作成するのではなく、ペーパー（紙）を用いて画面等の試作を行う手法である。
【０００３】
近年のネットワーク通信の発達によりインターネット上のサイトを閲覧する機会が増加しているなかで、ホームページの作成には多くの特殊な記号等を設定する必要があるが、特許文献１に開示された技術では、ホームページ作成に慣れていない人にとっても簡単にホームページが作成できるようにした技術が公開されている。
【０００４】
この特許文献１に開示された従来技術では、ホームページを作成する元となるさまざまなテンプレートを用意し、選択したテンプレートに文字等を加筆したものを読み取ることでテンプレートの電子ファイルと加筆したものとを合成して簡単にホームページを作成できるようにしている。
【０００５】
また、特許文献２では、ハイパーリンクを生成する複数の文書画像を縮小して印刷したシートに、ハイパーリンク情報が記入した後にシートの画像を読み取り、その画像からハイパーリンクの情報を抽出することで、シートに印刷した文書画像間のリンクを作成できるようにした技術が公開されている。
【特許文献１】特開２００１−１４２８１７号公報
【特許文献２】特開平１０−０９７５２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、紙部品を用いて画面設計が可能となるとともに設計した画面の操作性が検証できるようにした操作画面作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１の発明は、識別情報が付された部品を配置して作成した操作画像媒体を読み取る読取手段と、前記画像読取手段で読み取った前記操作画像媒体に基づく画像から前記部品の識別情報を認識する認識手段と、前記認識手段で認識した前記識別情報に対応して当該識別情報により識別される部品に対する操作によって遷移する遷移先画像を登録する登録手段とを具備する。
【０００８】
また、請求項２の発明は、請求項１の発明において、前記登録手段は、前記識別情報と同一若しくは関連する識別情報が付された他の操作画像媒体から前記画像読取手段により読み取った画像を遷移先画像として登録する。
【０００９】
また、請求項３の発明は、請求項１または２の発明において、前記画像読取手段で読み取った画像を、前記部品の画像と背景画像に分離する分離手段と、前記分離手段により分離された部品の画像から該部品の形状、位置、該部品に描かれた手書き画像を抽出する抽出手段とを更に具備し、前記登録手段は、前記遷移先画像に加えて、該部品を識別する前記識別情報に対応して前記抽出手段で抽出した前記部品の形状、位置、該部品に描かれた手書き画像を登録する。
【００１０】
また、請求項４の発明は、請求項３の発明において、前記登録手段により登録された前記部品の形状、位置、該部品に描かれた手書き画像に基づき前記画像に対応する遷移先の状態を表示器上に表示制御する表示制御手段と、前記表示制御手段により前記表示器上に表示された遷移先の状態における前記部品に対応する画像の操作を検出する操作検出手段と、前記操作検出手段による前記部品に対応する画像の操作の検出に応答して前記操作画面を該部品に対応する遷移先画像へ遷移制御する遷移制御手段とを具備する。
【００１１】
また、請求項５の発明は、請求項４の発明において、前記表示制御手段は、前記画像に対応する操作画面を表示器上に表示制御し、前記操作検出手段は、前記表示制御手段によって表示制御した操作画面上の部品対応する画像の操作を検出する。
【００１２】
また、請求項６の発明は、請求項４または５の発明において、前記部品は、前記紙面上に描かれた領域枠と該領域枠内に表示する表示画像を識別する表示画像識別情報とを含み、前記表示制御手段は、前記表示画像識別情報に対応する表示画像を前記領域枠内にはめ込んで表示する。
【発明の効果】
【００１３】
本発明の請求項１によれば、設計した画面の操作性が検証できるようになるという効果を奏する。
【００１４】
また、請求項２によれば、他の操作画像媒体から読み取った画像を遷移先画像とする画面の操作性が検証できるようになるという効果を奏する。
【００１５】
また、請求項３によれば、操作画像媒体を構成する手書き画像を用いて画面の操作性が検証できるようになるという効果を奏する。
【００１６】
また、請求項４によれば、部品に対応する遷移先の状態を表示制御することができるようになるという効果を奏する。
【００１７】
また、請求項５によれば、部品に対応する遷移先画像に遷移することができ、画面の操作性が検証できるようになるという効果を奏する。
【００１８】
また、請求項６によれば、指定された領域に所定の表示画像をはめ込んで表示することができ、写真等の画像を用いた画面の操作性を検証できるようになるという効果を奏する。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して本発明に係わる操作画面作成装置の一実施例を詳細に説明する。
【実施例】
【００２０】
図１は、本発明の実施の形態における操作画面作成装置を適用して構成した開発システムの構成を示すブロック図の一例である。
【００２１】
図１において、本開発システムは、情報処理装置１０、画像形成装置２０を具備して構成されており、画像形成装置２０で印刷用紙等の印刷媒体に紙素材からなる画面構成部品（以下、「紙部品」若しくは「部品」ともいう）を貼り合わせることによって作成した操作画像媒体（以下、「紙上のプロトタイプ操作画面」ともいう）を読み取ることによって生成した画像データ（単に「画像」ともいう））が示す操作画面（以下、「電子操作画面」ともいう）を操作することで動作するアプリケーションを情報処理装置１０（操作画面作成装置）によって作成する。
【００２２】
この画像形成装置２０により読み取りを行う印刷媒体の一例を、図３、図４および図５、図６に示す。
【００２３】
図３において、図３（ａ）は、「○×検さくサービス」という文字列１０４が記載された印刷媒体の一例を示し、図３（ｂ）は、図２に示すような紙部品を点線部分で切り取り、その紙部品を図３（ａ）に示す印刷用紙の所定の位置に貼り付けた状態を示している。すなわち、図３（ｂ）は、紙上のプロトタイプ操作画面の一例である。
【００２４】
図２は、図３（ｂ）に示すような紙上のプロトタイプ操作画面を構成する紙部品を印刷用紙上に示したものであって、図２には、複数の選択肢の中から適当な項目を選択可能なセレクトボックス部品１０１、所定の処理を実行するコマンドボタン部品ａ（１０２）、コマンドボタン部品ｂ（１０３）を示している。
【００２５】
図３（ｂ）に示す紙上のプロトタイプ操作画面は、図２の印刷用紙から切り取ったセレクトボックス部品１０１を「○×検さくサービス」という文字列１０４の下方に貼り付け、また、その下方に図２の印刷用紙から切り取ったコマンドボタン部品ａ（１０２）を貼り付けた構成からなる。
【００２６】
また、図３（ｂ）のセレクトボックス部品１０１には、デフォルト選択項目として「風景」が手書き指定され、他の選択可能な項目として「乗り物」、「食べ物」、「動物」が手書き指定されており、コマンドボタン部品ａ（１０２）には、ボタン名称として「検さく」が示されている。もちろん、手書きに限定されることはない。
【００２７】
図３（ｂ）に示す紙上のプロトタイプ操作画面を画像形成装置２０で読み取ることにより電子操作画面を生成し、アプリケーションとして動作された場合には、セレクトボックス部品１０１で選択された「風景」という文字列を検索条件としてコマンドボタン部品ａ（１０２）の「検さく」ボタンを押下することにより検索処理が行われる。
【００２８】
次に、図４は、「検さく結果」という文字列１０５および検索された情報の一覧１０６が示された印刷用紙に、図２に示すコマンドボタン部品ｂ（１０３）を貼り付けて構成したものである。そして、コマンドボタン部品ｂ（１０３）のボタン名称として「戻る」が示されている。
【００２９】
また、図３（ｂ）や図４に示す紙上のプロトタイプ操作画面には、遷移先識別情報若しくは部品識別情報の少なくとも一方を表すコード情報が示されている。このコード情報は、バーコードや二次元バーコードのほか、記号や文字によって構成される。
【００３０】
部品識別情報は、印刷用紙に貼り付けられる紙部品を識別する情報であって、図２に示すような紙部品それぞれに印刷されている。図３（ｂ）では、コード情報Ａ１、コード情報Ｂ１、コード情報Ｃ１が部品識別情報を表すコード情報である。
【００３１】
また、遷移先識別情報は、部品識別情報に対応付けられており、その部品識別情報の構成部品が操作されることにより遷移する遷移先を識別する情報である。図２では、コード情報Ａ２、コード情報Ｂ２、コード情報Ｃ２が遷移先識別情報を表すコード情報である。この遷移先識別情報が示す遷移先として、例えば部品識別情報が印刷された紙部品を貼り付けて作成したプロトタイプ操作画面である。
【００３２】
ここに示した例のコード情報Ａ２（遷移先識別情報を表したコード情報）は、コード情報Ａ１によって表される部品識別情報に対応し、コード情報Ｂ２（遷移先識別情報を表したコード情報）は、コード情報Ｂ１によって表される部品識別情報に対応し、コード情報Ｃ２（遷移先識別情報を表したコード情報）は、コード情報Ｃ１によって表される部品識別情報に対応する。
【００３３】
すなわち、コード情報Ａ１が印刷された構成部品を操作することによりコード情報Ａ２が付与された遷移先に遷移し、コード情報Ｂ１が印刷された構成部品を操作することによりコード情報Ｂ２が付与された遷移先に遷移し、コード情報Ｃ１が印刷された構成部品を操作することによりコード情報Ｃ２が付与された遷移先に遷移する。
【００３４】
図３（ｂ）には、紙上のプロトタイプ操作画面を識別するコード情報Ｃ２が印刷用紙左上方に貼り付けられ、また、セレクトボックス部品１０１にはコード情報Ａ１が印刷され、コマンドボタン部品ａ（１０２）にはコード情報Ｂ１が印刷された状態を示している。
【００３５】
図４には、紙上のプロトタイプ操作画面を識別するコード情報Ｂ２が印刷用紙左上方に付与され、また、コマンドボタン部品ｂ（１０３）にはコード情報Ｃ１が印刷された状態を示している。
【００３６】
コード情報Ｃ２が貼り付けられた図３（ｂ）に示す紙上のプロトタイプ操作画面は、コード情報Ｃ１が印刷された図４のコマンドボタン部品ｂ（１０３）を操作することにより遷移する遷移先であることを示している。すなわち、図４のプロトタイプ操作画面を画像形成装置２０で読み取ることにより生成した電子操作画面でコマンドボタン部品ｂ（１０３）を操作することによって、図３（ｂ）の紙上のプロトタイプ操作画面を画像形成装置２０で読み取ることにより生成した電子操作画面を表示して遷移する。
【００３７】
また、コード情報Ａ１が印刷された図３（ｂ）のセレクトボックス部品１０１を操作することによりコード情報Ａ１に対応するコード情報Ａ２が貼り付けられた遷移先へ遷移することとなるが、図３（ｂ）および図４にはコード情報Ａ２が貼り付けられていないため、コード情報Ａ１が印刷された図３（ｂ）のセレクトボックス部品１０１を操作した場合であっても何も動作が行われないことを示している。
【００３８】
さらに、コード情報Ｂ１が印刷された図３（ｂ）のコマンドボタン部品ａ（１０２）を操作することによりコード情報Ｂ１に対応するコード情報Ｂ２が貼り付けられた遷移先へ遷移することとなる。このコード情報Ｂ２は、図４のプロトタイプ操作画面に貼り付けられていることから、コード情報Ｂ１が印刷されたコマンドボタン部品ａ（１０２）を操作することにより図４に示すプロトタイプ操作画面を表示して遷移する。
【００３９】
なお、図３（ｂ）および図４に示す例では、コード情報Ａ１に対するコード情報Ａ２がいずれにも貼り付けられておらず遷移先となる操作画面が存在しない例を示したが、図５および図６に示すようなプロトタイプ操作画面により遷移先となる操作画面を設けた構成とすることも可能である。
【００４０】
図５に示すプロトタイプ操作画面は、セレクトボックス部品１０１、コマンドボタン部品ａ（１０２）が貼り付けられて構成された画面であって、セレクトボックス部品１０１ではデフォルト選択項目「風景」のみを選択可能としており、このセレクトボックス部品１０１にコード情報Ａ１が印刷されている。また、コマンドボタン部品ａ（１０２）ではボタン名称として「検さく」が示され、このコマンドボタン部品ａ（１０２）にコード情報Ｂ１が印刷されている。
【００４１】
図６に示すプロトタイプ操作画面は、コード情報Ａ２が画面左上方に貼り付けられていることから、図５のプロトタイプ操作画面を画像形成装置２０で読み取ることにより生成した電子操作画面のセレクトボックス部品１０１を操作することによって、当該セレクトボックス部品１０１に印刷されたコード情報Ａ１に対応するコード情報Ａ２が貼り付けられた図６に示すプロトタイプ操作画面を画像形成装置２０で読み取ることにより生成した電子操作画面を表示して遷移することとなる。
【００４２】
このようなコード情報が示される紙上のプロトタイプ操作画面を画像形成装置２０で読み取ると、情報処理装置１０では、プロトタイプ操作画面を読み取った電子操作画面を操作することにより動作するアプリケーションを作成する。
【００４３】
この情報処理装置１０は、通信部１１、画像解析部１２、アプリケーション生成管理部１３、ＵＩ部品管理部１４、アプリケーション実行部１５、アプリケーション編集部１６、表示部１７、入力部１８、入力制御部１９を具備して構成され、これらが別々の装置により実装された構成の電子編集システムとすることも可能である。
【００４４】
通信部１１を介して画像形成装置２０で作成した電子操作画面の画像データを受信すると、画像解析部１２では、画像データの解析処理を行い、画像データを構成するセレクトボックスなどの部品と、当該部品以外の他の背景画像とを分離する。さらに、分離した部品の画像データから紙部品の形状、位置、紙部品に描かれた手書き画像を抽出する。
【００４５】
次に、受信した画像データに示されたコード情報を認識し、認識したコード情報から遷移先識別情報若しくは部品識別情報を抽出する。抽出した紙部品の形状、位置、該紙部品に描かれた手書き画像に部品識別情報を対応付けてＵＩ部品管理部１４に登録する。このとき、遷移先識別情報を抽出した場合には、この遷移先識別情報を一時記憶する。
【００４６】
また、コード情報の認識により部品識別情報を抽出した場合には、その部品識別情報により識別される構成部品が設定された設定位置の情報（座標情報等）を特定するとともに、構成部品のイメージ画像を部品識別情報に対応付けて登録する。
【００４７】
アプリケーション生成管理部１３では、画像解析部１２で受信した電子操作画面の画像データを当該電子操作画面を識別する画面識別情報（画面ＩＤ）に対応付けて管理する。このときの管理状態の一例を図１０、図１３に示す。
【００４８】
また、このアプリケーション生成管理部１３では、画像解析部１２で解析処理を行った結果を各電子操作画面の画面ＩＤごとに登録することで管理する。このときの管理状態の一例を図１１、図１４に示す。
【００４９】
さらに、アプリケーション生成管理部１３では、画像解析部１２で認識したコード情報に対して抽出した部品識別情報を関連付けて管理し、また、その部品識別情報に対応する遷移先識別情報を一時記憶している場合には、その部品識別情報で識別される構成部品を操作することによって遷移する遷移先の画面を識別する画面ＩＤを関連付けて管理する。このときの管理状態の一例を図１２、図１５に示す。
【００５０】
ＵＩ部品管理部１４は、部品識別情報ごとに当該部品識別情報で識別する構成部品に関する情報を、例えば図９に示すように管理する。図９は、部品識別情報に対する部品の情報を示し、[部品ＩＤ]項目９０１、[部品タイプ]項目９０２、[部品識別記号]項目９０３、[背景イメージ]項目９０４、[部品サイズ]項目９０５、[ＵＩ操作後の処理]項目９０６、[展開イメージ]項目９０７、[展開イメージサイズ]項目９０８により構成される。
【００５１】
[部品ＩＤ]項目９０１が「parts01」であるレコードには、[部品タイプ]項目９０２として「コマンドボタン」が示され、[部品識別記号]項目９０３として「コード情報」が示され、[背景イメージ]項目９０４として「Cmd.jpg」が示され、[部品サイズ]項目９０５として「100,50」が示され、[ＵＩ操作後の処理]項目９０６として「画面遷移」が示され、[展開イメージ]項目９０７として「−」が示され、[展開イメージサイズ]項目９０８として「−」が示されている。
【００５２】
これは、画像解析部１２でコード情報から抽出した部品識別情報が「parts01」であることを示し、部品識別情報が「parts01」である構成部品は、部品タイプが「コマンドボタン」であって、「コード情報」によって部品を識別し、背景画像が「Cmd.jpg」であって、部品サイズが「横100、縦50」であって、部品が操作されることによって「画面遷移」が行われることを示している。
【００５３】
なお、[展開イメージ]項目９０７、[展開イメージサイズ]項目９０８の項目は、[部品タイプ]項目９０２が「セレクトボックス」である場合に示される項目である。
【００５４】
このアプリケーション生成管理部１３によって管理された情報により電子操作画面間の関連付けされた状態となり、アプリケーション実行部１５では、入力制御部１９を介して表示ディスプレイ等の表示器から構成される表示部１７や入力装置で構成される入力部１８などのユーザインターフェース（ＵＩ）からの操作を受け付けることにより電子操作画面間の関連付けを行ったアプリケーションを実行する。
【００５５】
アプリケーション編集部１６は、アプリケーション生成管理部１３で管理する各種の情報を変更することによってアプリケーションの編集を行う。
【００５６】
図８は、本発明の実施の形態における操作画面作成装置の詳細な処理の流れを示す図である。
【００５７】
図８において、図２に示すような紙部品を用いて作成した図３（ｂ）や図４に示すような紙上のプロトタイプ操作画面を読み取ることにより電子操作画面の画像データを作成する（８０１）。作成した画像データをその画像データの識別情報（操作画面ＩＤ）に対応付けて図１０に示すような操作画面情報テーブルとして管理する（８０２）。
【００５８】
図１０に示す操作画面情報テーブルは、[画面ＩＤ]項目１００１、[画面イメージ]項目１００２により構成され、[画面ＩＤ]項目１００１は、画像形成装置で読み取ることにより作成した電子操作画面を識別する情報（画面ＩＤ）を示す項目であって、[画面イメージ]項目１００２は、作成した電子操作画面のファイル名を示す項目である。
【００５９】
図１０（ａ）は、図３（ｂ）に示す紙の操作画面を読み取ることにより作成されるテーブルであって、読み取った電子操作画面「操作画面1.jpg」の画面ＩＤが「screen01」であることを示している。また、図１０（ｂ）は、図３（ｂ）に示す紙上のプロトタイプ操作画面を読み取った後に図４に示す紙上のプロトタイプ操作画面を読み取ることにより作成されるテーブルであって、図４に示す紙上のプロトタイプ操作画面を読み取った電子操作画面「操作画面2.jpg」の画面ＩＤが「screen02」であることを示している。
【００６０】
続いて、読み取った電子操作画面にコード情報が含まれるかを判断する（８０３）。電子操作画面にコード情報が含まれる場合（８０３でＹＥＳ）には、そのコード情報から遷移先識別情報若しくは部品識別情報を抽出する（８０４）。そして、コード情報から遷移先識別情報を抽出したかを判断して（８０５）、遷移先識別情報を抽出していない場合（８０５でＮＯ）には、続いて、コード情報から部品識別情報を抽出したかを判断する（８０７）。
【００６１】
また、遷移先識別情報を抽出した場合（８０５でＹＥＳ）には、抽出した遷移先識別情報を一時記憶する（８０６）。続いて、コード情報から部品識別情報を抽出したかを判断する（８０７）。
【００６２】
部品識別情報が抽出されない場合（８０７でＮＯ）には、本フローチャートの処理を終了する。また、部品識別情報が抽出された場合（８０７でＹＥＳ）には、部品識別情報が示す構成部品に関する情報を登録するとともに部品イメージをも登録する（８０８）。このときの登録された状態の例を図１１、図１４に示す。
【００６３】
図１１は、図３（ｂ）、図４のプロトタイプ操作画面を読み取った電子操作画面の構成部品に関する情報を示し、[画面ＩＤ]項目１１０１、[コード情報]項目１１０２、[部品設定位置]項目１１０３、[手書き後の部品イメージ]項目１１０４によって構成される。
【００６４】
[画面ＩＤ]項目１１０１は、読み取った電子操作画面を識別する情報であって、図１０の[画面ＩＤ]項目１００１に対応する。また、[コード情報]項目１１０２は、電子操作画面を構成する構成部品に示されたコード情報であって、[部品設定位置]項目１１０３は、[コード情報]項目１１０２に示されたコード情報から抽出された部品識別情報により識別される構成部品が配置された操作画面上の位置を示す座標であって、[手書き後の部品イメージ]項目１１０４は、読み取った構成部品のファイル名である。
【００６５】
図１１（ａ）は、図３（ｂ）に示す紙上のプロトタイプ操作画面を読み取ることにより作成した情報であって、図１１（ｂ）は、図３（ｂ）に示す紙上のプロトタイプ操作画面を読み取った後に図４に示す紙上のプロトタイプ操作画面を読み取ることにより作成した情報である。
【００６６】
すなわち、図４に示す紙上のプロトタイプ操作画面を読み取ることにより作成した電子操作画面は、画面ＩＤが[画面ＩＤ]項目１１０１で示すように「screen02」であって、コード情報が[コード情報]項目１１０２で示すように「Ｃ１」であって、部品の設定位置が[部品設定位置]項目１１０３で示すように「Ｘ方向：50,Ｙ方向：50」であって、ファイル名が[手書き後の部品イメージ]項目１１０４で示すように「C_cmd.jpg」であることを示す。
【００６７】
図１４は、図５、図４のプロトタイプ操作画面を読み取った後に、図６に示すプロトタイプ操作画面を読み取った場合の情報であって、図６に示すプロトタイプ操作画面から読み取ったコード情報は遷移先識別情報が抽出され、部品識別情報は抽出されないため、図６の画面に対するレコードは作成されない。すなわち、図６に示すプロトタイプ操作画面を読み取った場合の図１４に示すテーブルは図１１（ｂ）と同一となる。
【００６８】
このようにして読み取った電子操作画面の構成部品に関する情報が登録されると、続いて、登録した構成部品が領域枠を指定した矩形パターンからなる部品であるかを判断して（８０９）、矩形パターンでない場合（８０９でＮＯ）には、抽出した部品識別情報全てに対して登録されたかを判断する（８１１）。
【００６９】
図３（ｂ）や図４等のプロトタイプ操作画面の構成部品として、図７に示すような矩形パターンの構成部品を用いて画面を構成することも可能である。矩形パターンの構成部品は、領域枠とその領域枠内に表示する画像の識別情報により構成される。
【００７０】
図２に示す構成部品では、構成部品に部品識別情報を表すコード情報を印刷し、この部品識別情報に対応する遷移先識別情報を遷移先の印刷用紙に貼り付けて遷移先を指定するが、それに代えて、図７（ａ）に示すような領域枠の構成部品をプロトタイプ操作画面の構成部品とした場合、図７（ａ）に対応する構成部品を操作することにより遷移する遷移先は、図７（ｃ）の矩形パターンによる遷移先を示す情報（領域枠内に表示する画像の識別情報）を貼り付けたプロトタイプ操作画面であることを示す。
【００７１】
図７（ａ）に示す矩形パターンに対応する構成部品は、図７（ｂ）に示すコマンドボタン部品であって、図７（ａ）の矩形パターンに示される紙部品（コマンドボタン）のイメージとボタンの背景イメージを合成する。
【００７２】
このような矩形パターンである場合（８０９でＹＥＳ）には、部品イメージを指定された矩形サイズに調整する（８１０）。そして、抽出した部品識別情報全てに対して登録されたかを判断する（８１１）。
【００７３】
この判断処理によって、部品識別情報全てに対して登録されない場合（８１１でＮＯ）には、登録していない部品識別情報が示す構成部品の情報を登録する。
【００７４】
また、全ての部品識別情報に対する構成部品を登録した場合（８１１でＹＥＳ）には、コード情報に対する部品識別情報および遷移先の画面ＩＤを、上記の処理によって一時記憶した遷移先識別情報を用いて登録する（８１２）。例えば、遷移先識別情報として「Ｃ２」が一時記憶されている場合、当該遷移先識別情報「Ｃ２」対する画面ＩＤ「screen01」を登録する。
【００７５】
このときの例を図１２、図１５に示す。
【００７６】
図１２は、[コード情報]項目１２０１、[部品ＩＤ]項目１２０２、[遷移先の画面ＩＤ]項目１２０３によって構成され、[コード情報]項目１２０１は、プロトタイプ操作画面から読み取ったコード情報を示し、[部品ＩＤ]項目１２０２は、コード情報から読み取った部品識別情報を示し、[遷移先の画面ＩＤ]項目１２０３は、[部品ＩＤ]項目１２０２に示す部品識別情報に対応する遷移先識別情報であって、上記の処理により当該遷移先識別情報を一時記憶している場合に設定される。
【００７７】
図１２（ａ）は、図３（ｂ）に示すプロトタイプ操作画面から読み取ったコード情報より抽出した部品識別情報「Ａ１」、「Ｂ１」を示しており、これらの抽出した部品識別情報に対する遷移先識別情報は一時記憶されていない状態にあるため、[遷移先の画面ＩＤ]項目１２０３には対応する遷移先識別情報に対する画面ＩＤが設定されていない状態を示す。なお、図３（ｂ）のプロトタイプ操作画面を読み取ることにより遷移先識別情報「Ｃ２」が一時記憶される。
【００７８】
図１２（ｂ）は、図１２（ａ）に示す状態から図４に示すプロトタイプ操作画面から読み取ったコード情報より抽出した部品識別情報「Ｃ１」を示しており、図４を読み取ることにより遷移先識別情報「Ｂ２」が一時記憶されていることから、図１２（ｂ）に示すように[コード情報]項目１２０１が「Ｂ１」である部品識別情報の操作により遷移する画面として[遷移先の画面ＩＤ]項目１２０３に、一時記憶された遷移先識別情報「Ｂ１」に対する画面ＩＤ「screen02」が設定される。
【００７９】
また、このとき、[コード情報]項目１２０１が「Ｃ１」である部品識別情報の操作により遷移する画面として[遷移先の画面ＩＤ]項目１２０３に、一時記憶された遷移先識別情報「Ｃ２」に対する画面ＩＤ「screen01」が設定される。
【００８０】
図１５は、図１２（ｂ）に示す状態から図６に示すプロトタイプ操作画面を読み取った状態を示し、図６のプロトタイプ操作画面を読み取ることにより遷移先識別情報「Ａ２」が一時記憶されていることから、[コード情報]項目１２０１が「Ａ１」である部品識別情報の操作により遷移する画面として[遷移先の画面ＩＤ]項目１２０３に、一時記憶された遷移先識別情報「Ａ２」に対する画面ＩＤ「screen03」が設定される。
【００８１】
図１６は、本発明の実施の形態における操作画面作成装置で紙部品を用いて作成したアプリケーションの動作処理の流れを示す図である。
【００８２】
図１６では、まず、図３（ｂ）に示すプロトタイプ操作画面を読み取ることにより作成した電子操作画面の構成部品（例えばセレクトボックス部品１０１、コマンドボタン部品（１０２、１０３）等）に対する操作を検知する（１６０１）。
【００８３】
次に、操作された構成部品を識別する（１６０２）。上記に示す例の場合、操作された構成部品が「セレクトボックス部品１０１」や「コマンドボタン部品（１０２、１０３）」であると識別する。
【００８４】
そして、識別した構成部品の部品識別情報（部品ＩＤ）に対する遷移先の操作画面を登録された管理テーブルより参照し（１６０３）、遷移先の状態が指定されているかを判断する（１６０４）。すなわち、図１２や図１５に示す管理テーブルの[部品ＩＤ]項目１２０２に対して[遷移先の画面ＩＤ]項目１２０３に画面ＩＤが指定されているかを判断する。
【００８５】
この判断により指定されていない場合（１６０４でＮＯ）には、構成部品の操作による画面遷移が行われることなく処理を終了する。
【００８６】
それに対して、遷移先が指定されている場合（１６０４でＹＥＳ）には、遷移先として示された状態を特定する（１６０５）。
【００８７】
例えば、図１１や図１４の操作画面情報に示すように遷移先として画面が示されている場合には、その画面を遷移先の状態として特定する。このほか、セレクトボックス部品１０１を操作することで、遷移先として画像展開が示されている場合には図６に示すような画面を画像展開後の状態として特定し、さらに、遷移先として画像の格納が示されている場合にはイメージフォルダを示すことで当該イメージフォルダ格納された写真、図面等の画像表示を遷移先の状態として特定する。
【００８８】
このようにして、遷移先の状態が特定されると、その特定した状態を操作画面に表示する（１６０６）。
【００８９】
上記の例では、遷移先の画像を表示するほか、画像展開後の画像を表示し、また、イメージフォルダの内容を表示する。
【００９０】
本発明は、上記し、且つ図面に示す実施例に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施の形態における操作画面作成装置を適用して構成した開発支援システムの構成を示すブロック図の一例。
【図２】紙部品の一例を示す図。
【図３】操作画面の一例を示す図。
【図４】操作画面の一例を示す図。
【図５】操作画面の一例を示す図。
【図６】操作画面の一例を示す図。
【図７】領域枠を指定した矩形パターンの紙部品を示す図。
【図８】本発明の実施の形態における操作画面作成装置の詳細な処理の流れを示す図。
【図９】部品管理情報テーブルの一例を示す図。
【図１０】操作画面情報テーブルの一例を示す図。
【図１１】操作画面部品情報テーブルの一例を示す図。
【図１２】コード情報テーブルの一例を示す図。
【図１３】操作画面情報テーブルの一例を示す図。
【図１４】操作画面部品情報テーブルの一例を示す図。
【図１５】コード情報テーブルの一例を示す図。
【図１６】本発明の実施の形態における操作画面作成装置で紙部品を用いて作成したアプリケーションの動作処理の流れを示す図。
【符号の説明】
【００９２】
１０ 情報処理装置
１１ 通信部
１２ 画像解析部
１３ アプリケーション生成管理部
１４ ＵＩ部品管理部
１５ アプリケーション実行部
１６ アプリケーション編集部
１７ 表示部
１８ 入力部
１９ 入力制御部
２０ 画像形成装置
【特許請求の範囲】
【請求項１】
識別情報が付された部品を配置して作成した操作画像媒体を読み取る読取手段と、
前記画像読取手段で読み取った前記操作画像媒体に基づく画像から前記部品の識別情報を認識する認識手段と、
前記認識手段で認識した前記識別情報に対応して当該識別情報により識別される部品に対する操作によって遷移する遷移先画像を登録する登録手段と
を具備する操作画面作成装置。
【請求項２】
前記登録手段は、
前記識別情報と同一若しくは関連する識別情報が付された他の操作画像媒体から前記画像読取手段により読み取った画像を遷移先画像として登録する請求項１記載の操作画面作成装置。
【請求項３】
前記画像読取手段で読み取った画像を、前記部品の画像と背景画像に分離する分離手段と、
前記分離手段により分離された部品の画像から該部品の形状、位置、該部品に描かれた手書き画像を抽出する抽出手段と
を更に具備し、
前記登録手段は、
前記遷移先画像に加えて、該部品を識別する前記識別情報に対応して前記抽出手段で抽出した前記部品の形状、位置、該部品に描かれた手書き画像を登録する請求項１または２記載の操作画面作成装置。
【請求項４】
前記登録手段により登録された前記部品の形状、位置、該部品に描かれた手書き画像に基づき前記画像に対応する遷移先の状態を表示器上に表示制御する表示制御手段と、
前記表示制御手段により前記表示器上に表示された遷移先の状態における前記部品に対応する画像の操作を検出する操作検出手段と、
前記操作検出手段による前記部品に対応する画像の操作の検出に応答して前記操作画面を該部品に対応する遷移先画像へ遷移制御する遷移制御手段と
を具備する請求項３記載の操作画面作成装置。
【請求項５】
前記表示制御手段は、
前記画像に対応する操作画面を表示器上に表示制御し、
前記操作検出手段は、
前記表示制御手段によって表示制御した操作画面上の部品対応する画像の操作を検出する請求項４記載の操作画面作成装置。
【請求項６】
前記部品は、
前記紙面上に描かれた領域枠と該領域枠内に表示する表示画像を識別する表示画像識別情報とを含み、
前記表示制御手段は、
前記表示画像識別情報に対応する表示画像を前記領域枠内にはめ込んで表示する請求項４または５に記載の操作画面作成装置。
【請求項１】
識別情報が付された部品を配置して作成した操作画像媒体を読み取る読取手段と、
前記画像読取手段で読み取った前記操作画像媒体に基づく画像から前記部品の識別情報を認識する認識手段と、
前記認識手段で認識した前記識別情報に対応して当該識別情報により識別される部品に対する操作によって遷移する遷移先画像を登録する登録手段と
を具備する操作画面作成装置。
【請求項２】
前記登録手段は、
前記識別情報と同一若しくは関連する識別情報が付された他の操作画像媒体から前記画像読取手段により読み取った画像を遷移先画像として登録する請求項１記載の操作画面作成装置。
【請求項３】
前記画像読取手段で読み取った画像を、前記部品の画像と背景画像に分離する分離手段と、
前記分離手段により分離された部品の画像から該部品の形状、位置、該部品に描かれた手書き画像を抽出する抽出手段と
を更に具備し、
前記登録手段は、
前記遷移先画像に加えて、該部品を識別する前記識別情報に対応して前記抽出手段で抽出した前記部品の形状、位置、該部品に描かれた手書き画像を登録する請求項１または２記載の操作画面作成装置。
【請求項４】
前記登録手段により登録された前記部品の形状、位置、該部品に描かれた手書き画像に基づき前記画像に対応する遷移先の状態を表示器上に表示制御する表示制御手段と、
前記表示制御手段により前記表示器上に表示された遷移先の状態における前記部品に対応する画像の操作を検出する操作検出手段と、
前記操作検出手段による前記部品に対応する画像の操作の検出に応答して前記操作画面を該部品に対応する遷移先画像へ遷移制御する遷移制御手段と
を具備する請求項３記載の操作画面作成装置。
【請求項５】
前記表示制御手段は、
前記画像に対応する操作画面を表示器上に表示制御し、
前記操作検出手段は、
前記表示制御手段によって表示制御した操作画面上の部品対応する画像の操作を検出する請求項４記載の操作画面作成装置。
【請求項６】
前記部品は、
前記紙面上に描かれた領域枠と該領域枠内に表示する表示画像を識別する表示画像識別情報とを含み、
前記表示制御手段は、
前記表示画像識別情報に対応する表示画像を前記領域枠内にはめ込んで表示する請求項４または５に記載の操作画面作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１５７００７（Ｐ２０１０−１５７００７Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００８−３３３２９７（Ｐ２００８−３３３２９７）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]