毛筆ディスプレイ装置および毛筆画像表示方法
【課題】毛筆特有の「とめ」や「はらい」などの筆致を忠実に再現できる毛筆ディスプレイ装置を提供する。
【解決手段】磨りガラス上に筆を運んでいる映像を、液晶プロジェクタとハーフミラーにより磨りガラス裏面から投影し、該磨りガラス裏面に設置したＣＣＤカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により筆の接触面を抽出する。連続的に得られた筆跡画像に新たに得られた筆先部分の映像を重ね筆跡画像を更新する。
【解決手段】磨りガラス上に筆を運んでいる映像を、液晶プロジェクタとハーフミラーにより磨りガラス裏面から投影し、該磨りガラス裏面に設置したＣＣＤカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により筆の接触面を抽出する。連続的に得られた筆跡画像に新たに得られた筆先部分の映像を重ね筆跡画像を更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、毛筆を使って毛筆そのものの運筆の画像を筆跡としてディスプレイ画面に描画でき、その描画状態を確認しながら書を描くことができる毛筆ディスプレイ装置および毛筆画像表示方法に関するものである。
【背景技術】
【０００２】
従来から、毛筆書きに特化した描画表現を実現する技術が、開発されている。例えば、特許文献１に見られるように、タブレット板とタブレットペンを用いて、毛筆書きの描画表現をディスプレイの画面上に表示する技術がある。
【０００３】
特許文献１の入力システムは、電磁誘導方式を用いた専用のペンを必要とするため、擬似的に毛筆や絵筆の筆致を再現することはできるが、本物の筆を使って描きこんでいくことができず、利用者にとっては、タブレットペンの操作による特別な入力方法に慣れる必要がある。このため、実際に筆を使って描く感覚とは異なるタッチで文字や絵を描かざるをえなかった。
【０００４】
これに対して、特許文献２または特許文献３に見られるように、タブレットペンによらずに、人の指など指示物に対して、その位置を光学的に検出して、検出した指示物の大きさに対応して種々の描画を表示画面上に行えるようにした光学式位置検出装置付き情報表示装置または光走査型タッチパネルの提案がある。
【０００５】
このような技術において、例えば、人が操作する指示物として市販の毛筆を用いることにより、ディスプレイ面上の筆や指などの指示物の遮断角度等から，その位置と大きさをポリゴンミラーを用いて計測することにより、市販の筆や指先の筆致を再現できる。
【特許文献１】特開２００４−１３９４１１号公報
【特許文献２】特開平１１−８５３７７号公報
【特許文献３】特開平１１−１４３６２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術の光走査型タッチパネルにおいては、指示物の遮断面を，ディスプレイ枠に配置された受光素子により１次元的に計測しているため、指示物とされた筆の接触面を円形としてしか表現できない。したがって、接触面の太さは表現できるが、例えば、筆先の接触面の正確な形状から，筆致を忠実に再現することはできない。
【０００７】
本発明は、従来技術が有していた問題点を解決するためになされたものであり、本発明の目的は、毛筆を使って毛筆そのものの運筆の画像を筆跡として表示画面上に描画でき、その描画状態を確認しながら書を描くことができる毛筆ディスプレイ装置および毛筆画像表示方法を提供することにある。具体的には、毛筆による描画面における接触面の正確な形状を取得することができ、毛筆特有の「とめ」や「はらい」などの筆致を忠実に再現できる毛筆ディスプレイ装置および毛筆画像表示方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記ような目的を達成するため、本発明による毛筆ディスプレイ装置は、基本的な構成とし、毛筆の運筆状態を背景から分離する磨りガラス（１）と、前記磨りガラスの画像を撮影するカラーカメラ（３）と、前記カラーカメラにより撮像されたガラス面の画像を取り込む画像メモリ（１４）と、前記画像メモリの画像データに基づいて、所定のしきい値処理を行い、磨りガラスと毛筆の接触部分を抽出し、筆跡画像に画像変換する画像抽出手段（１１）と、前記画像抽出手段により抽出された筆跡画像を所定時間ごとに記憶する筆跡画像記憶手段（１６）と、前記筆跡画像を前記磨りガラスに投影する投影手段（２）とを備えることを特徴とする。
【０００９】
この場合、毛筆ディスプレイ装置において、前記カラーカメラによる磨りガラス面の撮影のタイミングと、前記投影手段による磨りガラス面に筆跡画像を投影するタイミングは交互に行われるように構成される。
【００１０】
また、毛筆ディスプレイ装置において、前記投影手段による磨りガラス面に投影する筆跡画像は、ハーフミラーを介して前記磨りガラスのガラス面に裏面から投影されるように構成され、前記画像抽出手段は、ＲＧＢカラー画像に対して、ＲＧＢ値のそれぞれについてしきい値処理を行い、筆先の磨りガラス面の接触部分を抽出するように構成されるものとされてもよい。
【００１１】
また、本発明による毛筆ディスプレイ装置において、前記画像抽出手段における筆跡画像の画像変換は、抽出した筆先の接触部分に対して、黒色に変換した画像とし、接触部分の画像に対してそれまでの筆跡画像に基づいて収縮・膨張処理行い、それまでの筆跡画像に接触部分を重ねて新たな筆跡画像とするよう構成される。
【００１２】
本発明の別の態様として、本発明による毛筆画像表示方法は、磨りガラス面上で筆を運んでいる映像を裏面からカラーカメラにより撮像し、撮像したカラー画像に対して情報処理手段により、しきい値処理を行い、磨りガラス面と筆との接触部部分の画像を背景画像から分離して抽出し、抽出した接触部分の画像を重ね合わせた筆致画像とし、前記筆致画像を前記磨りガラス面に投影することを特徴とするものである。
【００１３】
また、本発明の別の態様として、本発明による毛筆画像表示方法は、磨りガラス面上に筆を運んでいる映像を、該磨りガラス裏面に設置したＣＣＤカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により抽出した筆の接触面を重ね合わせて、液晶プロジェクタによりハーフミラーを介して前記磨りガラス裏面に投影し、筆跡画像を再現することを特徴とするものである。
【００１４】
また、この場合に、毛筆画像表示方法では、磨りガラス全体を遮蔽物で覆って、環境光を遮断した後、当該磨りガラスに赤色画像を投影し、該赤色画像の投影位置に基づいてキャリブレーションを行い、磨りガラス上の筆接触位置と磨りガラスに投影する筆跡画像の位置を調整するように構成されることを特徴とするものである。
【００１５】
この場合に、本発明の更に別の態様として、本発明による毛筆画像表示方法では、筆先と同色で表示画面と同サイズの用紙を磨りガラス上に置き、その画像をカラーカメラで捉え、１画素ずつＲＧＢ値を取得し、それぞれの画素位置ごとに、その値を含むしきい値を求め、この処理を、表示画面全体に対して行い、環境光に影響を受けないしきい値を得ることを特徴とする。
【００１６】
また、本発明の別の態様として、本発明による毛筆画像表示方法では、磨りガラス面上に筆を運んでいる映像を、当該磨りガラス裏面に設置したＣＣＤカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により筆の接触面を抽出し、ハーフミラーを介して液晶プロジェクタにより前記磨りガラス裏面から投影させ、連続的に得られた筆跡画像に新たに得られた筆先部分の映像を重ね筆跡画像を更新することを特徴とするものである。
【発明の効果】
【００１７】
本発明による毛筆ディスプレイ装置および毛筆画像表示方法によれば、市販の毛筆を用いることができ、磨りガラスを利用することで毛筆の描画面の接触部分を背景画像から分離して抽出することができ、正確な筆跡画像または筆致画像を描画することができる。また、描画面における磨りガラス面の裏面から液晶プロジェクタにより投影して、筆致画像を提示することができるので、筆跡を確認しながら、毛筆により表示画面上に書を描くことができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施する場合の一形態について、図面を参照して説明する。図１は、本発明の一実施例の毛筆ディスプレイ装置の概略の構成を説明する図である。図１（ａ）は装置を側面から見た図であり、図１（ｂ）は上から見た図である。図１において、１は筆致の描画面となると共に筆跡画像が投影される磨りガラス、２は筆跡の投影像を投影する液晶プロジェクタ、３はＣＣＤカメラ、４はハーフミラー、５は液晶プロジェクタを載置する台座、６はＣＣＤカメラおよび磨りガラスなどを固定する箱体、７は利用者が運筆する筆である。
【００１９】
図２は、本発明の一実施例の毛筆ディスプレイ装置のシステムの構成を説明する図である。図２において、１は磨りガラス、２は液晶プロジェクタ、３はＣＣＤカメラ、４はハーフミラー、５は台座、６は箱体、７は毛筆、１０はパーソナルコンピュータなどのデータ処理装置、１１は処理装置、１２は作業メモリ、１３は投影画像を出力する出力ポートてある。１４は画像メモリ、１５は磨りガラスの画像を取り込む入力ポート、１６は筆跡画像などを格納する画像列記憶装置である。
【００２０】
図１および図２を参照して、構成の概略を説明すると、磨りガラス１において毛筆７で描画が行われると、その映像を磨りガラス１の裏面から、ＣＣＤカメラ３を用いて、この映像をリアルタイムで取得し、データ処理装置１０に入力する。データ処理装置１０においては、入力ポート１５から取り込んだ映像の画像データは、画像メモリ１４に一時的に記憶され、処理装置１１が作業メモリ１２に予め記憶された画像処理プログラムにしたがって、作業メモリ１２を用いながら、画像メモリ１４に取り込まれたＲＧＢ画像に対するしきい値処理を行い、毛筆の接触部分の画像を抽出する。抽出された磨りガラス面の接触部分の画像のデータは、抽出されたタイミングのデータと共に画像列記憶装置１６に格納される。そして、処理装置１１が、画像列記憶装置１６に格納された画像データを読み出し、抽出された毛筆７の接触部分の接触面を重ね合わせて筆跡の画像を生成し、出力ポート１３を介して画像出力データを液晶プロジェクタ２により、ハーフミラー４を介して磨りガラス１の裏面から投影する。
【００２１】
本発明の毛筆ディスプレイ装置における画像処理を行う前に、前処理として、筆接触位置と表示位置を調整するためのキャリブレーションと、筆接触面のみ抽出するためのＲＧＢ画像に対するしきい値決定を行う。
【００２２】
図９は、液晶プロジェクタの投影領域とカメラの抽出領域の位置合わせの方法を示す図である。図９（ａ）は磨りガラス１に投影された赤い画像を取り込んだカメラ画像の図であり、アプリケーションのウィンドウ２１の画像が表示されている。図９（ｂ）は赤色領域２２のみを抽出した画像の図である。また、図９（ｃ）は赤色領域を囲う矩形を検出して、描写領域２３とした画像の図である。
【００２３】
まず、筆接触位置とディスプレイ位置を調整するためのキャリブレーション方法を説明すると、磨りガラス１越しに照明等の環境光が映りこまないように、磨りガラス１の全体を布で覆って、環境光を遮断し、液晶プロジェクタ２の投影領域を正確に特定できるようにし、図９（ａ）に示すように、赤い画像をモニターに全画面で表示し、該赤い画像を液晶プロジェクタ２で磨りガラス１の裏面から投影する。ここで磨りガラス１に投影される画像はアプリケーションのウィンドウ２１の画像である。投影された画像をカメラで取り込み、図９（ｂ）のように、ウィンドウのタイトルバーやタスクバーを除いた赤色領域２２のみを抽出する。抽出された赤色領域の画像は、輪郭がぼけていたり、所々に部分な抜けが生じていたりするので、図９（ｃ）のように、赤色領域を囲う矩形を検出し、その領域を描画領域２３とする。ここでは赤色を表示してキャリブレーションを行っているが、ＲＧＢ画像を用いるため、しきい値処理を容易に行うためである。赤以外の単色を用いることも可能である。
【００２４】
次に、磨りガラス１に対する筆の接触面のみ抽出するためのＲＧＢ画像に対するしきい値決定を行う。磨りガラス１の筆による描画面の全体を覆うように、筆先と同色の用紙を置き、筆先が置かれているのと同じ状況を磨りガラス１全体に再現する。
【００２５】
これを、図１０を参照して、毛筆の接触画像抽出のしきい値決定方法を説明すると、図１０に示すように、磨りガラス１の上に筆先と同色の用紙を置き、その状態をカメラで捉えた画像に基づき、それぞれの画素ごとにしきい値を求める。
【００２６】
図１０には、磨りガラス１の裏面より捉えたカメラ画像２４が示されており、液晶プロジェクタ２のレンズによる照度の歪みなどの問題から、この筆先を抽出するためのＲＧＢ値のしきい値は、画像全体で同一にはならない。そこで、図１０に参照番号２５として一部を拡大して示すように、毛筆７のＲＧＢ値を抽出可能なしきい値を１画素ずつ決定していく。これを描画領域全体に対して行うことにより、しきい値画像を作成する。これにより、環境が異なっていても、その環境にあったしきい値が設定できるようになる。
【００２７】
続いて、本発明の毛筆ディスプレイ装置において、毛筆による筆致の描画処理の画像処理を行う。図３は、画像処理の手順を示したフローチャートである。利用者の毛筆による磨りガラスの上面から筆運びの操作を行うことにより、その筆運びの映像から筆接触面を抽出するための画像処理を行う。この画像処理は、データ処理装置１０の処理装置によるプログラム処理により実行される。
【００２８】
この画像処理について、図３のフローチャートを参照して説明すると、まず、磨りガラス１の裏面をカラーＣＣＤカメラ３により撮像し、磨りガラス１の裏面から捉えた映像をＲＧＢ画像として取得する（ステップ１０１）。つぎに、得られたＲＧＢ画像に対してしきい値処理を行い、筆先の接触部分のみを抽出する（ステップ１０２）。このしきい値については、先のキャリブレーション処理において設定されている。
【００２９】
つぎに、筆先部分を黒色に変換し、収縮・膨張処理を行い、これまでの筆跡画像に、新たに得られた筆先部分の映像を重ね、筆跡画像を更新して、この筆跡画像を保持する（ステップ１０３〜ステップ１０５）。そして、保持されている筆跡画像を投影画像として出力し、描画を継続する場合は、これまでの処理を繰り返し行い、描画を終了する場合は終了する（ステップ１０６、ステップ１０７）。
【００３０】
また、筆先の接触が始まってから終了するまでを一筆（１ストローク）として、画像を保持することで、以前のストロークに戻って途中からでも描き直すことができるようにしている。以上のような簡便な画像処理により，カメラ映像から筆跡画像を再現できる。この筆跡画像は、画像列記憶装置１６に保持されているので、利用者の操作により再描画する。
【００３１】
次に、本発明の毛筆ディスプレイ装置に実施例について具体的に説明する。図４は、磨りガラス１の裏面から捉えた映像の例を示し、図５は、そのしきい値処理の結果を示す。これらの図から、磨りガラスを用いることにより、毛筆の筆先の接触部分が背景画像から簡単に分離でき、しきい値処理のみでも筆接触面が抽出されていることがわかる。また、図６、図７、および図８は、実際に毛筆を使ってディスプレイ上に描いている様子の一連を示す図である。
【００３２】
実際に毛筆を使ってディスプレイ上に描いている様子の一連の描き始めの映像が、図６に示されており、図７には、描き途中の映像が示されている。更に、図８には、描き終わりの映像が示されている。これらの図６〜図８を参照すると、筆跡が忠実に再現されていることが理解される。
【産業上の利用可能性】
【００３３】
本発明の毛筆ディスプレイ装置においては、利用者が好みの市販の毛筆により、磨りガラス面に描画するだけで、筆致画像を操作者に提示することができ、筆跡を確認しながら自己の筆運びで書を描くことができる。また、予め教師が描画した見本を提示して、それをなぞりながら、書を何度でも練習することが可能になる。また、電子的に筆致を再現しているので、墨汁や紙などの消耗品が一切必要ないだけでなく、納得のいくまで何度でも描き直したい時点に遡って練習できるという大きな利点がある。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施例の毛筆ディスプレイ装置の概略の構成を説明する図である。
【図２】毛筆ディスプレイ装置のシステムの構成を説明する図である。
【図３】画像処理の手順を示したフローチャートである。
【図４】画像処理例の磨りガラス裏面から捉えた映像を示す図である。
【図５】画像処理例のしきい処理後の映像を示す図である。
【図６】実際に毛筆を使ってディスプレイ上に描いている様子の一連の描き始めの映像を示す図である。
【図７】実際に毛筆を使ってディスプレイ上に描いている様子の一連の描き途中の映像を示す図である。
【図８】実際に毛筆を使ってディスプレイ上に描いている様子の一連の描き終わりの映像を示す図である。
【図９】液晶プロジェクタの投影領域とカメラの抽出領域の位置合わせの方法を示す図であり、（ａ）は投影された赤い画像を取り込んだカメラ画像の図であり、（ｂ）は赤色領域のみを抽出した画像の図であり、（ｃ）は赤色領域を囲う矩形を検出し、描写領域とした画像の図である。
【図１０】毛筆接触画像抽出のしきい値決定方法を説明する図である。
【符号の説明】
【００３５】
１ 磨りガラス
２ 液晶プロジェクタ
３ ＣＣＤカメラ
４ ハーフミラー
５ 台座
６ 箱体
７ 毛筆
１０ データ処理装置
１１ 処理装置
１２ 作業メモリ
１３ 出力ポート
１４ 画像メモリ
１５ 入力ポート
１６ 画像列記憶装置
【技術分野】
【０００１】
本発明は、毛筆を使って毛筆そのものの運筆の画像を筆跡としてディスプレイ画面に描画でき、その描画状態を確認しながら書を描くことができる毛筆ディスプレイ装置および毛筆画像表示方法に関するものである。
【背景技術】
【０００２】
従来から、毛筆書きに特化した描画表現を実現する技術が、開発されている。例えば、特許文献１に見られるように、タブレット板とタブレットペンを用いて、毛筆書きの描画表現をディスプレイの画面上に表示する技術がある。
【０００３】
特許文献１の入力システムは、電磁誘導方式を用いた専用のペンを必要とするため、擬似的に毛筆や絵筆の筆致を再現することはできるが、本物の筆を使って描きこんでいくことができず、利用者にとっては、タブレットペンの操作による特別な入力方法に慣れる必要がある。このため、実際に筆を使って描く感覚とは異なるタッチで文字や絵を描かざるをえなかった。
【０００４】
これに対して、特許文献２または特許文献３に見られるように、タブレットペンによらずに、人の指など指示物に対して、その位置を光学的に検出して、検出した指示物の大きさに対応して種々の描画を表示画面上に行えるようにした光学式位置検出装置付き情報表示装置または光走査型タッチパネルの提案がある。
【０００５】
このような技術において、例えば、人が操作する指示物として市販の毛筆を用いることにより、ディスプレイ面上の筆や指などの指示物の遮断角度等から，その位置と大きさをポリゴンミラーを用いて計測することにより、市販の筆や指先の筆致を再現できる。
【特許文献１】特開２００４−１３９４１１号公報
【特許文献２】特開平１１−８５３７７号公報
【特許文献３】特開平１１−１４３６２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術の光走査型タッチパネルにおいては、指示物の遮断面を，ディスプレイ枠に配置された受光素子により１次元的に計測しているため、指示物とされた筆の接触面を円形としてしか表現できない。したがって、接触面の太さは表現できるが、例えば、筆先の接触面の正確な形状から，筆致を忠実に再現することはできない。
【０００７】
本発明は、従来技術が有していた問題点を解決するためになされたものであり、本発明の目的は、毛筆を使って毛筆そのものの運筆の画像を筆跡として表示画面上に描画でき、その描画状態を確認しながら書を描くことができる毛筆ディスプレイ装置および毛筆画像表示方法を提供することにある。具体的には、毛筆による描画面における接触面の正確な形状を取得することができ、毛筆特有の「とめ」や「はらい」などの筆致を忠実に再現できる毛筆ディスプレイ装置および毛筆画像表示方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記ような目的を達成するため、本発明による毛筆ディスプレイ装置は、基本的な構成とし、毛筆の運筆状態を背景から分離する磨りガラス（１）と、前記磨りガラスの画像を撮影するカラーカメラ（３）と、前記カラーカメラにより撮像されたガラス面の画像を取り込む画像メモリ（１４）と、前記画像メモリの画像データに基づいて、所定のしきい値処理を行い、磨りガラスと毛筆の接触部分を抽出し、筆跡画像に画像変換する画像抽出手段（１１）と、前記画像抽出手段により抽出された筆跡画像を所定時間ごとに記憶する筆跡画像記憶手段（１６）と、前記筆跡画像を前記磨りガラスに投影する投影手段（２）とを備えることを特徴とする。
【０００９】
この場合、毛筆ディスプレイ装置において、前記カラーカメラによる磨りガラス面の撮影のタイミングと、前記投影手段による磨りガラス面に筆跡画像を投影するタイミングは交互に行われるように構成される。
【００１０】
また、毛筆ディスプレイ装置において、前記投影手段による磨りガラス面に投影する筆跡画像は、ハーフミラーを介して前記磨りガラスのガラス面に裏面から投影されるように構成され、前記画像抽出手段は、ＲＧＢカラー画像に対して、ＲＧＢ値のそれぞれについてしきい値処理を行い、筆先の磨りガラス面の接触部分を抽出するように構成されるものとされてもよい。
【００１１】
また、本発明による毛筆ディスプレイ装置において、前記画像抽出手段における筆跡画像の画像変換は、抽出した筆先の接触部分に対して、黒色に変換した画像とし、接触部分の画像に対してそれまでの筆跡画像に基づいて収縮・膨張処理行い、それまでの筆跡画像に接触部分を重ねて新たな筆跡画像とするよう構成される。
【００１２】
本発明の別の態様として、本発明による毛筆画像表示方法は、磨りガラス面上で筆を運んでいる映像を裏面からカラーカメラにより撮像し、撮像したカラー画像に対して情報処理手段により、しきい値処理を行い、磨りガラス面と筆との接触部部分の画像を背景画像から分離して抽出し、抽出した接触部分の画像を重ね合わせた筆致画像とし、前記筆致画像を前記磨りガラス面に投影することを特徴とするものである。
【００１３】
また、本発明の別の態様として、本発明による毛筆画像表示方法は、磨りガラス面上に筆を運んでいる映像を、該磨りガラス裏面に設置したＣＣＤカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により抽出した筆の接触面を重ね合わせて、液晶プロジェクタによりハーフミラーを介して前記磨りガラス裏面に投影し、筆跡画像を再現することを特徴とするものである。
【００１４】
また、この場合に、毛筆画像表示方法では、磨りガラス全体を遮蔽物で覆って、環境光を遮断した後、当該磨りガラスに赤色画像を投影し、該赤色画像の投影位置に基づいてキャリブレーションを行い、磨りガラス上の筆接触位置と磨りガラスに投影する筆跡画像の位置を調整するように構成されることを特徴とするものである。
【００１５】
この場合に、本発明の更に別の態様として、本発明による毛筆画像表示方法では、筆先と同色で表示画面と同サイズの用紙を磨りガラス上に置き、その画像をカラーカメラで捉え、１画素ずつＲＧＢ値を取得し、それぞれの画素位置ごとに、その値を含むしきい値を求め、この処理を、表示画面全体に対して行い、環境光に影響を受けないしきい値を得ることを特徴とする。
【００１６】
また、本発明の別の態様として、本発明による毛筆画像表示方法では、磨りガラス面上に筆を運んでいる映像を、当該磨りガラス裏面に設置したＣＣＤカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により筆の接触面を抽出し、ハーフミラーを介して液晶プロジェクタにより前記磨りガラス裏面から投影させ、連続的に得られた筆跡画像に新たに得られた筆先部分の映像を重ね筆跡画像を更新することを特徴とするものである。
【発明の効果】
【００１７】
本発明による毛筆ディスプレイ装置および毛筆画像表示方法によれば、市販の毛筆を用いることができ、磨りガラスを利用することで毛筆の描画面の接触部分を背景画像から分離して抽出することができ、正確な筆跡画像または筆致画像を描画することができる。また、描画面における磨りガラス面の裏面から液晶プロジェクタにより投影して、筆致画像を提示することができるので、筆跡を確認しながら、毛筆により表示画面上に書を描くことができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施する場合の一形態について、図面を参照して説明する。図１は、本発明の一実施例の毛筆ディスプレイ装置の概略の構成を説明する図である。図１（ａ）は装置を側面から見た図であり、図１（ｂ）は上から見た図である。図１において、１は筆致の描画面となると共に筆跡画像が投影される磨りガラス、２は筆跡の投影像を投影する液晶プロジェクタ、３はＣＣＤカメラ、４はハーフミラー、５は液晶プロジェクタを載置する台座、６はＣＣＤカメラおよび磨りガラスなどを固定する箱体、７は利用者が運筆する筆である。
【００１９】
図２は、本発明の一実施例の毛筆ディスプレイ装置のシステムの構成を説明する図である。図２において、１は磨りガラス、２は液晶プロジェクタ、３はＣＣＤカメラ、４はハーフミラー、５は台座、６は箱体、７は毛筆、１０はパーソナルコンピュータなどのデータ処理装置、１１は処理装置、１２は作業メモリ、１３は投影画像を出力する出力ポートてある。１４は画像メモリ、１５は磨りガラスの画像を取り込む入力ポート、１６は筆跡画像などを格納する画像列記憶装置である。
【００２０】
図１および図２を参照して、構成の概略を説明すると、磨りガラス１において毛筆７で描画が行われると、その映像を磨りガラス１の裏面から、ＣＣＤカメラ３を用いて、この映像をリアルタイムで取得し、データ処理装置１０に入力する。データ処理装置１０においては、入力ポート１５から取り込んだ映像の画像データは、画像メモリ１４に一時的に記憶され、処理装置１１が作業メモリ１２に予め記憶された画像処理プログラムにしたがって、作業メモリ１２を用いながら、画像メモリ１４に取り込まれたＲＧＢ画像に対するしきい値処理を行い、毛筆の接触部分の画像を抽出する。抽出された磨りガラス面の接触部分の画像のデータは、抽出されたタイミングのデータと共に画像列記憶装置１６に格納される。そして、処理装置１１が、画像列記憶装置１６に格納された画像データを読み出し、抽出された毛筆７の接触部分の接触面を重ね合わせて筆跡の画像を生成し、出力ポート１３を介して画像出力データを液晶プロジェクタ２により、ハーフミラー４を介して磨りガラス１の裏面から投影する。
【００２１】
本発明の毛筆ディスプレイ装置における画像処理を行う前に、前処理として、筆接触位置と表示位置を調整するためのキャリブレーションと、筆接触面のみ抽出するためのＲＧＢ画像に対するしきい値決定を行う。
【００２２】
図９は、液晶プロジェクタの投影領域とカメラの抽出領域の位置合わせの方法を示す図である。図９（ａ）は磨りガラス１に投影された赤い画像を取り込んだカメラ画像の図であり、アプリケーションのウィンドウ２１の画像が表示されている。図９（ｂ）は赤色領域２２のみを抽出した画像の図である。また、図９（ｃ）は赤色領域を囲う矩形を検出して、描写領域２３とした画像の図である。
【００２３】
まず、筆接触位置とディスプレイ位置を調整するためのキャリブレーション方法を説明すると、磨りガラス１越しに照明等の環境光が映りこまないように、磨りガラス１の全体を布で覆って、環境光を遮断し、液晶プロジェクタ２の投影領域を正確に特定できるようにし、図９（ａ）に示すように、赤い画像をモニターに全画面で表示し、該赤い画像を液晶プロジェクタ２で磨りガラス１の裏面から投影する。ここで磨りガラス１に投影される画像はアプリケーションのウィンドウ２１の画像である。投影された画像をカメラで取り込み、図９（ｂ）のように、ウィンドウのタイトルバーやタスクバーを除いた赤色領域２２のみを抽出する。抽出された赤色領域の画像は、輪郭がぼけていたり、所々に部分な抜けが生じていたりするので、図９（ｃ）のように、赤色領域を囲う矩形を検出し、その領域を描画領域２３とする。ここでは赤色を表示してキャリブレーションを行っているが、ＲＧＢ画像を用いるため、しきい値処理を容易に行うためである。赤以外の単色を用いることも可能である。
【００２４】
次に、磨りガラス１に対する筆の接触面のみ抽出するためのＲＧＢ画像に対するしきい値決定を行う。磨りガラス１の筆による描画面の全体を覆うように、筆先と同色の用紙を置き、筆先が置かれているのと同じ状況を磨りガラス１全体に再現する。
【００２５】
これを、図１０を参照して、毛筆の接触画像抽出のしきい値決定方法を説明すると、図１０に示すように、磨りガラス１の上に筆先と同色の用紙を置き、その状態をカメラで捉えた画像に基づき、それぞれの画素ごとにしきい値を求める。
【００２６】
図１０には、磨りガラス１の裏面より捉えたカメラ画像２４が示されており、液晶プロジェクタ２のレンズによる照度の歪みなどの問題から、この筆先を抽出するためのＲＧＢ値のしきい値は、画像全体で同一にはならない。そこで、図１０に参照番号２５として一部を拡大して示すように、毛筆７のＲＧＢ値を抽出可能なしきい値を１画素ずつ決定していく。これを描画領域全体に対して行うことにより、しきい値画像を作成する。これにより、環境が異なっていても、その環境にあったしきい値が設定できるようになる。
【００２７】
続いて、本発明の毛筆ディスプレイ装置において、毛筆による筆致の描画処理の画像処理を行う。図３は、画像処理の手順を示したフローチャートである。利用者の毛筆による磨りガラスの上面から筆運びの操作を行うことにより、その筆運びの映像から筆接触面を抽出するための画像処理を行う。この画像処理は、データ処理装置１０の処理装置によるプログラム処理により実行される。
【００２８】
この画像処理について、図３のフローチャートを参照して説明すると、まず、磨りガラス１の裏面をカラーＣＣＤカメラ３により撮像し、磨りガラス１の裏面から捉えた映像をＲＧＢ画像として取得する（ステップ１０１）。つぎに、得られたＲＧＢ画像に対してしきい値処理を行い、筆先の接触部分のみを抽出する（ステップ１０２）。このしきい値については、先のキャリブレーション処理において設定されている。
【００２９】
つぎに、筆先部分を黒色に変換し、収縮・膨張処理を行い、これまでの筆跡画像に、新たに得られた筆先部分の映像を重ね、筆跡画像を更新して、この筆跡画像を保持する（ステップ１０３〜ステップ１０５）。そして、保持されている筆跡画像を投影画像として出力し、描画を継続する場合は、これまでの処理を繰り返し行い、描画を終了する場合は終了する（ステップ１０６、ステップ１０７）。
【００３０】
また、筆先の接触が始まってから終了するまでを一筆（１ストローク）として、画像を保持することで、以前のストロークに戻って途中からでも描き直すことができるようにしている。以上のような簡便な画像処理により，カメラ映像から筆跡画像を再現できる。この筆跡画像は、画像列記憶装置１６に保持されているので、利用者の操作により再描画する。
【００３１】
次に、本発明の毛筆ディスプレイ装置に実施例について具体的に説明する。図４は、磨りガラス１の裏面から捉えた映像の例を示し、図５は、そのしきい値処理の結果を示す。これらの図から、磨りガラスを用いることにより、毛筆の筆先の接触部分が背景画像から簡単に分離でき、しきい値処理のみでも筆接触面が抽出されていることがわかる。また、図６、図７、および図８は、実際に毛筆を使ってディスプレイ上に描いている様子の一連を示す図である。
【００３２】
実際に毛筆を使ってディスプレイ上に描いている様子の一連の描き始めの映像が、図６に示されており、図７には、描き途中の映像が示されている。更に、図８には、描き終わりの映像が示されている。これらの図６〜図８を参照すると、筆跡が忠実に再現されていることが理解される。
【産業上の利用可能性】
【００３３】
本発明の毛筆ディスプレイ装置においては、利用者が好みの市販の毛筆により、磨りガラス面に描画するだけで、筆致画像を操作者に提示することができ、筆跡を確認しながら自己の筆運びで書を描くことができる。また、予め教師が描画した見本を提示して、それをなぞりながら、書を何度でも練習することが可能になる。また、電子的に筆致を再現しているので、墨汁や紙などの消耗品が一切必要ないだけでなく、納得のいくまで何度でも描き直したい時点に遡って練習できるという大きな利点がある。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施例の毛筆ディスプレイ装置の概略の構成を説明する図である。
【図２】毛筆ディスプレイ装置のシステムの構成を説明する図である。
【図３】画像処理の手順を示したフローチャートである。
【図４】画像処理例の磨りガラス裏面から捉えた映像を示す図である。
【図５】画像処理例のしきい処理後の映像を示す図である。
【図６】実際に毛筆を使ってディスプレイ上に描いている様子の一連の描き始めの映像を示す図である。
【図７】実際に毛筆を使ってディスプレイ上に描いている様子の一連の描き途中の映像を示す図である。
【図８】実際に毛筆を使ってディスプレイ上に描いている様子の一連の描き終わりの映像を示す図である。
【図９】液晶プロジェクタの投影領域とカメラの抽出領域の位置合わせの方法を示す図であり、（ａ）は投影された赤い画像を取り込んだカメラ画像の図であり、（ｂ）は赤色領域のみを抽出した画像の図であり、（ｃ）は赤色領域を囲う矩形を検出し、描写領域とした画像の図である。
【図１０】毛筆接触画像抽出のしきい値決定方法を説明する図である。
【符号の説明】
【００３５】
１ 磨りガラス
２ 液晶プロジェクタ
３ ＣＣＤカメラ
４ ハーフミラー
５ 台座
６ 箱体
７ 毛筆
１０ データ処理装置
１１ 処理装置
１２ 作業メモリ
１３ 出力ポート
１４ 画像メモリ
１５ 入力ポート
１６ 画像列記憶装置
【特許請求の範囲】
【請求項１】
毛筆の運筆状態を背景から分離する磨りガラスと、
前記磨りガラスの画像を撮影するカラーカメラと、
前記カラーカメラにより撮像されたガラス面の画像を取り込む画像メモリと、
前記画像メモリの画像データに基づいて、所定のしきい値処理を行い、磨りガラスと毛筆の接触部分を抽出し、筆跡画像に画像変換する画像抽出手段と、
前記画像抽出手段により抽出された筆跡画像を所定時間ごとに記憶する筆跡画像記憶手段と、
前記筆跡画像を前記磨りガラスに投影する投影手段と
を備えることを特徴とする毛筆ディスプレイ装置。
【請求項２】
請求項１に記載の毛筆ディスプレイ装置において、
前記カラーカメラによる磨りガラス面の撮影のタイミングと、
前記投影手段による磨りガラス面に筆跡画像を投影するタイミングは交互に行われる
ことを特徴とする毛筆ディスプレイ装置。
【請求項３】
請求項１に記載の毛筆ディスプレイ装置において、
前記投影手段による磨りガラス面に投影する筆跡画像は、ハーフミラーを介して前記磨りガラスのガラス面に裏面から投影される
ことを特徴とする毛筆ディスプレイ装置。
【請求項４】
請求項１に記載の毛筆ディスプレイ装置において、
前記画像抽出手段は、ＲＧＢカラー画像に対して、ＲＧＢ値のそれぞれについてしきい値処理を行い、筆先の磨りガラス面の接触部分を抽出する
ことを特徴とする毛筆ディスプレイ装置。
【請求項５】
請求項１に記載の毛筆ディスプレイ装置において、
前記画像抽出手段における筆跡画像の画像変換は、抽出した筆先の接触部分に対して、黒色に変換した画像とし、接触部分の画像に対してそれまでの筆跡画像に基づいて収縮・膨張処理行い、それまでの筆跡画像に接触部分を重ねて新たな筆跡画像とする
ことを特徴とする毛筆ディスプレイ装置。
【請求項６】
磨りガラス面上で筆を運んでいる映像を裏面からカラーカメラにより撮像し、撮像したカラー画像に対して情報処理手段により、しきい値処理を行い、磨りガラス面と筆との接触部分の画像を背景画像から分離して抽出し、抽出した接触部分の画像を重ね合わせた筆致画像とし、前記筆致画像を前記磨りガラス面に投影する
ことを特徴とする毛筆画像表示方法。
【請求項７】
磨りガラス面上に筆を運んでいる映像を、該磨りガラス裏面に設置したカラーカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により抽出した筆の接触面を重ね合わせて、液晶プロジェクタによりハーフミラーを介して前記磨りガラス裏面に投影し、筆跡画像を再現する
ことを特徴とする毛筆画像表示方法。
【請求項８】
請求項６または請求項７に記載の毛筆画像表示方法において、
磨りガラス全体を遮蔽物で覆って、環境光を遮断した後、当該磨りガラスに赤色画像を投影し、該赤色画像の投影位置に基づいてキャリブレーションを行い、磨りガラス上の筆接触位置と磨りガラスに投影する筆跡画像の位置を調整する
ことを特徴とする毛筆画像表示方法。
【請求項９】
請求項６または請求項７に記載の毛筆画像表示方法において、
筆先と同色で表示画面と同サイズの用紙を磨りガラス上に置き、その画像をカラーカメラで捉え、１画素ずつＲＧＢ値を取得し、それぞれの画素位置ごとに、その値を含むしきい値を求め、この処理を、表示画面全体に対して行い、環境光に影響を受けないしきい値を得ることを特徴とする毛筆画像表示方法。
【請求項１０】
磨りガラス面上に筆を運んでいる映像を、当該磨りガラス裏面に設置したカラーカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により筆の接触面を抽出し、ハーフミラーを介して液晶プロジェクタにより前記磨りガラス裏面から投影させ、連続的に得られた筆跡画像に新たに得られた筆先部分の映像を重ね筆跡画像を更新することを特徴とする毛筆画像表示方法。
【請求項１】
毛筆の運筆状態を背景から分離する磨りガラスと、
前記磨りガラスの画像を撮影するカラーカメラと、
前記カラーカメラにより撮像されたガラス面の画像を取り込む画像メモリと、
前記画像メモリの画像データに基づいて、所定のしきい値処理を行い、磨りガラスと毛筆の接触部分を抽出し、筆跡画像に画像変換する画像抽出手段と、
前記画像抽出手段により抽出された筆跡画像を所定時間ごとに記憶する筆跡画像記憶手段と、
前記筆跡画像を前記磨りガラスに投影する投影手段と
を備えることを特徴とする毛筆ディスプレイ装置。
【請求項２】
請求項１に記載の毛筆ディスプレイ装置において、
前記カラーカメラによる磨りガラス面の撮影のタイミングと、
前記投影手段による磨りガラス面に筆跡画像を投影するタイミングは交互に行われる
ことを特徴とする毛筆ディスプレイ装置。
【請求項３】
請求項１に記載の毛筆ディスプレイ装置において、
前記投影手段による磨りガラス面に投影する筆跡画像は、ハーフミラーを介して前記磨りガラスのガラス面に裏面から投影される
ことを特徴とする毛筆ディスプレイ装置。
【請求項４】
請求項１に記載の毛筆ディスプレイ装置において、
前記画像抽出手段は、ＲＧＢカラー画像に対して、ＲＧＢ値のそれぞれについてしきい値処理を行い、筆先の磨りガラス面の接触部分を抽出する
ことを特徴とする毛筆ディスプレイ装置。
【請求項５】
請求項１に記載の毛筆ディスプレイ装置において、
前記画像抽出手段における筆跡画像の画像変換は、抽出した筆先の接触部分に対して、黒色に変換した画像とし、接触部分の画像に対してそれまでの筆跡画像に基づいて収縮・膨張処理行い、それまでの筆跡画像に接触部分を重ねて新たな筆跡画像とする
ことを特徴とする毛筆ディスプレイ装置。
【請求項６】
磨りガラス面上で筆を運んでいる映像を裏面からカラーカメラにより撮像し、撮像したカラー画像に対して情報処理手段により、しきい値処理を行い、磨りガラス面と筆との接触部分の画像を背景画像から分離して抽出し、抽出した接触部分の画像を重ね合わせた筆致画像とし、前記筆致画像を前記磨りガラス面に投影する
ことを特徴とする毛筆画像表示方法。
【請求項７】
磨りガラス面上に筆を運んでいる映像を、該磨りガラス裏面に設置したカラーカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により抽出した筆の接触面を重ね合わせて、液晶プロジェクタによりハーフミラーを介して前記磨りガラス裏面に投影し、筆跡画像を再現する
ことを特徴とする毛筆画像表示方法。
【請求項８】
請求項６または請求項７に記載の毛筆画像表示方法において、
磨りガラス全体を遮蔽物で覆って、環境光を遮断した後、当該磨りガラスに赤色画像を投影し、該赤色画像の投影位置に基づいてキャリブレーションを行い、磨りガラス上の筆接触位置と磨りガラスに投影する筆跡画像の位置を調整する
ことを特徴とする毛筆画像表示方法。
【請求項９】
請求項６または請求項７に記載の毛筆画像表示方法において、
筆先と同色で表示画面と同サイズの用紙を磨りガラス上に置き、その画像をカラーカメラで捉え、１画素ずつＲＧＢ値を取得し、それぞれの画素位置ごとに、その値を含むしきい値を求め、この処理を、表示画面全体に対して行い、環境光に影響を受けないしきい値を得ることを特徴とする毛筆画像表示方法。
【請求項１０】
磨りガラス面上に筆を運んでいる映像を、当該磨りガラス裏面に設置したカラーカメラを用いてＲＧＢ画像として取得し、該ＲＧＢ画像をしきい値処理により筆の接触面を抽出し、ハーフミラーを介して液晶プロジェクタにより前記磨りガラス裏面から投影させ、連続的に得られた筆跡画像に新たに得られた筆先部分の映像を重ね筆跡画像を更新することを特徴とする毛筆画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−３１０３９３（Ｐ２００８−３１０３９３Ａ）
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願番号】特願２００７−１５４９２９（Ｐ２００７−１５４９２９）
【出願日】平成１９年６月１２日（２００７．６．１２）
【出願人】（５０２３４０９９６）学校法人法政大学 (7)
【Ｆターム（参考）】
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願日】平成１９年６月１２日（２００７．６．１２）
【出願人】（５０２３４０９９６）学校法人法政大学 (7)
【Ｆターム（参考）】
[ Back to top ]