表示装置及びその制御方法、入力装置及びその制御方法、並びにプログラム
【課題】入出力ディスプレイに近接している物体が映っている転写画像をより鮮明な画像として生成する。
【解決手段】トリガ検出部５１は、キャプチャボタン１２に対する入力または入出力ディスプレイ１１のキャプチャボタンの領域に対する入力をトリガとして検出し、画像生成部５２は、検出されるトリガに基づいて、入出力ディスプレイ１１での受光に基づく受光画像から、入出力ディスプレイ１１に近接している物体が映っている転写画像を生成し、表示制御部５３は、生成される転写画像に基づく表示画像を入出力ディスプレイ１１に表示させる。本発明は、例えば、入出力ディスプレイを有する表示装置に適用できる。
【解決手段】トリガ検出部５１は、キャプチャボタン１２に対する入力または入出力ディスプレイ１１のキャプチャボタンの領域に対する入力をトリガとして検出し、画像生成部５２は、検出されるトリガに基づいて、入出力ディスプレイ１１での受光に基づく受光画像から、入出力ディスプレイ１１に近接している物体が映っている転写画像を生成し、表示制御部５３は、生成される転写画像に基づく表示画像を入出力ディスプレイ１１に表示させる。本発明は、例えば、入出力ディスプレイを有する表示装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示装置及びその制御方法、入力装置及びその制御方法、並びにプログラムに関し、特に、例えば、入出力ディスプレイを有する表示装置において、入出力ディスプレイに近付いている物体が映っている転写画像をより鮮明な画像として生成することができるようにする表示装置及びその制御方法、入力装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
表示装置を構成するディスプレイには、外部からの光を光センサにより受光する機能を有する入出力ディスプレイと呼ばれるものがある（例えば、特許文献１や特許文献２を参照）。この入出力ディスプレイは、例えばバックライトにより光を照射するとともに、入出力ディスプレイに近付いている物体で反射して戻ってくる光を受光する。あるいは、この入出力ディスプレイは、光源を有する物体が照射する光を受光する。
【０００３】
この入出力ディスプレイを有する表示装置において、入出力ディスプレイによる受光に基づく受光画像から、入出力ディスプレイに近付いている物体が映っている、いわばその物体を転写した転写画像を生成し、例えばその転写画像を入出力ディスプレイへの表示画像とすることが提案されている。
【０００４】
例えば、図１の例では、透明の長方形として図示されている入出力ディスプレイに対して、転写対象とするスタンプのハート形のスタンプ面を、入出力ディスプレイの向こう側から近付けている。このとき、図１に示すような理想的な例では、入出力ディスプレイへの表示画像（例えば、転写画像そのもの）におけるスタンプ面の部分（図中の黒いハート形の部分）は、本来のスタンプ面の形状によく一致した鮮明なものとなる。
【特許文献１】特開２０００−０１９４７８号公報
【特許文献２】特開２００４−１２７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した入出力ディスプレイを有する表示装置では、例えば、受光画像を平均する等して転写画像を生成するものとすると、図２Ａや図２Ｂに示すように、入出力ディスプレイへの表示画像（例えば、転写画像そのもの）における転写対象のスタンプ面の部分（図中の黒いハート形の部分）は、近付ける過程におけるスタンプ面の軌跡となり、本来のスタンプ面に一致しない不鮮明なものとなってしまう。また、例えば、受光画像をそのまま転写画像にするとしても、転写対象のスタンプ面が入出力ディスプレイに対して動いていると、転写画像におけるスタンプ面の部分は、やはりぶれた不鮮明なものとなってしまう。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、例えば、入出力ディスプレイを有する表示装置において、入出力ディスプレイに近付いている物体が映っている転写画像をより鮮明な画像として生成することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の側面の表示装置は、画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置において、入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出手段と、前記トリガ検出手段により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成手段と、前記画像生成手段により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御手段とを備える。
【０００８】
本発明の第１の側面の制御方法またはプログラムは、画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置の制御方法または制御処理をコンピュータに実行させるプログラムであり、入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出ステップと、前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと、前記画像生成ステップの処理により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御ステップとを含む制御方法または制御処理をコンピュータに実行させるプログラム。
【０００９】
本発明の第２の側面の入力装置は、外部からの光の受光を行う受光手段を備える入力装置において、前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出手段と、前記トリガ検出手段により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成手段とを備える。
【００１０】
本発明の第２の側面の入力装置には、前記画像生成手段により生成される前記転写画像を記憶する記憶手段をさらに設けることができる。
【００１１】
本発明の第２の側面の入力装置には、記憶装置が接続され、前記画像生成手段により生成される前記転写画像を、前記記憶装置に送信する送信手段をさらに設け、前記記憶装置には、前記入力装置の前記送信手段から送信された前記転写画像を受信させて記憶させることができる。
【００１２】
本発明の第２の側面の入力装置には、表示装置が接続され、前記画像生成手段により生成される前記転写画像を、前記表示装置に送信する送信手段をさらに設け、前記表示装置には、前記入力装置の前記送信手段から送信された前記転写画像を受信させ、その前記転写画像に基づく表示画像を表示部に表示させることができる。
【００１３】
本発明の第２の側面の入力装置には、前記画像生成手段により生成される前記転写画像に基づく表示画像を表示部に表示させる表示制御手段をさらに設けることができる。
【００１４】
本発明の第２の側面の制御方法またはプログラムは、外部からの光の受光を行う受光手段を備える入力装置の制御方法または制御処理をコンピュータに実行させるプログラムであり、前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出ステップと、前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップとを含む制御方法または制御処理をコンピュータに実行させるプログラム。
【００１５】
本発明の第３の側面の入力装置は、外部からの光の受光を行う受光手段を備える入力装置において、前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出手段と、前記トリガ検出手段により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成手段とを備える。
【００１６】
本発明の第３の側面の入力装置には、前記画像生成手段により生成される前記転写画像を記憶する記憶手段をさらに設けることができる。
【００１７】
本発明の第３の側面の入力装置には、記憶装置が接続され、前記画像生成手段により生成される前記転写画像を、前記記憶装置に送信する送信手段をさらに設け、前記記憶装置には、前記入力装置の前記送信手段から送信された前記転写画像を受信させて記憶させることができる。
【００１８】
本発明の第３の側面の入力装置には、表示装置が接続され、前記画像生成手段により生成される前記転写画像を、前記表示装置に送信する送信手段をさらに設け、前記表示装置には、前記入力装置の前記送信手段から送信された前記転写画像を受信させ、その前記転写画像に基づく表示画像を表示部に表示させることができる。
【００１９】
本発明の第３の側面の入力装置には、前記画像生成手段により生成される前記転写画像に基づく表示画像を表示部に表示させる表示制御手段をさらに設けることができる。
【００２０】
本発明の第３の側面の制御方法またはプログラムは、外部からの光の受光を行う受光手段を備える入力装置の制御方法または制御処理をコンピュータに実行させるプログラムであり、前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出ステップと、前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップとを含む制御方法または制御処理をコンピュータに実行させるプログラム。
【００２１】
本発明の第１の側面においては、入力部に対する入力または前記表示受光手段の所定の領域に対する入力がトリガとして検出され、検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像が生成され、生成される前記転写画像に基づく表示画像が前記表示受光手段に表示される。
【００２２】
本発明の第２の側面においては、受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことがトリガとして検出され、検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像が生成される。
【００２３】
本発明の第３の側面においては、受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガが検出され、検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像が生成される。
【発明の効果】
【００２４】
本発明の第１乃至第３の側面によれば、例えば、入出力ディスプレイに近接している物体が映っている転写画像をより鮮明な画像として生成することができる。
【発明を実施するための最良の形態】
【００２５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２６】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２７】
図３は、本発明を適用した表示装置１の外観構成例を示す図である。
【００２８】
表示装置１には、例えばその前面（図中正面）に入出力ディスプレイ１１が設けられるとともに、この前面の入出力ディスプレイ１１を囲む部分のうちの図中左下にキャプチャボタン１２が設けられている。
【００２９】
例えば、ユーザは、転写対象とする例えば図１等に示したスタンプのスタンプ面を入出力ディスプレイ１１に近づけ、例えば、そのスタンプ面が入出力ディスプレイ１１に対して平行になるように近接している（接触しているかあるいは短い距離だけ離れて近付いている）と判断したとき、キャプチャボタン１２に対して入力を行う。
【００３０】
表示装置１は、キャプチャボタン１２に対する入力をトリガとして検出し、そのトリガに基づく受光画像から、入出力ディスプレイ１１に近接している物体（この例ではスタンプ面）が映っている転写画像を生成し、その転写画像に基づいて入出力ディスプレイ１１に表示画像を表示する第１の転写画像生成表示処理を行う。
【００３１】
次に、図４を参照して、表示装置１の内部構成例について説明する。
【００３２】
表示装置１は、キャプチャボタン１２、入出力パネル３１、制御部３２、及び画像メモリ５４から構成される。
【００３３】
キャプチャボタン１２は、例えば、ユーザがキャプチャボタン１２を押すことや押してから離すことにより行われるキャプチャボタン１２に対する入力があったとき、そのことを示す入力信号を制御部３２に供給する。
【００３４】
入出力パネル３１は、入出力ディスプレイ１１を内蔵しており、制御部３２から供給される表示画像の表示データに基づいて、入出力ディスプレイ１１に表示画像の表示を行うとともに、入出力ディスプレイ１１での外部からの光の受光に基づく受光画像を生成して制御部３２に供給する。
【００３５】
制御部３２は、例えばCPU(Central Processor Unit)、RAM(Random Access Memory)等から構成され、表示装置１の各部の制御を行う。例えば、制御部３２は、キャプチャボタン１２から供給される入力信号に基づいて、トリガを検出し、入出力パネル３１から供給される受光画像のうちの検出したトリガに基づく受光画像から転写画像を生成して記憶するとともに、その転写画像に基づいて、表示画像の表示データを生成し、入出力パネル３１に供給する。
【００３６】
入出力パネル３１は、入出力ディスプレイ１１、受光信号処理部４１、及び表示信号処理部４２から構成される。
【００３７】
入出力ディスプレイ１１は、表示信号処理部４２から供給される表示信号に基づいて、表示画像の表示を行う。また、入出力ディスプレイ１１は、入出力ディスプレイ１１全体に分布している複数の光センサ１１Ａを内蔵しており、光センサ１１Ａによる外部からの光の受光量に対応する受光信号を生成して、受光信号処理部４１に供給する。
【００３８】
受光信号処理部４１は、入出力ディスプレイ１１から供給される受光信号に基づいて、例えば、入出力ディスプレイ１１の物体が近接している部分の輝度が高く（低く）、何も近接していない部分の輝度が低い（高い）受光画像をフレームごとに生成して制御部３２に供給する。
【００３９】
表示信号処理部４２は、制御部３２から供給される表示画像の表示データに所定の処理を施し、その結果得られる表示信号を、入出力ディスプレイ１１に供給する。
【００４０】
制御部３２は、トリガ検出部５１、画像生成部５２、表示制御部５３、及び画像メモリ５４から構成される。
【００４１】
トリガ検出部５１は、キャプチャボタン１２から供給される入力信号に基づいて、トリガを検出する。
【００４２】
画像生成部５２は、トリガ検出部５１でトリガが検出されると、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４及びに供給する。
【００４３】
表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、表示画像の表示データを生成し、入出力パネル３１の表示信号処理部４２に供給する。
【００４４】
画像メモリ５４は、画像生成部５２から供給される転写画像等を記憶する。
【００４５】
次に、図５のフローチャートを参照して、第１の転写画像生成表示処理における表示装置１の動作について説明する。
【００４６】
ステップＳ１において、表示装置１の制御部３２のトリガ検出部５１は、キャプチャボタン１２から供給される入力信号に基づいて、トリガがあったか否かを判定する。例えば、トリガ検出部５１は、キャプチャボタン１２に対する入力があったことを示す入力信号が供給されたか否かにより、トリガがあったか否かを判定する。ステップＳ１において、トリガが無かったと判定された場合、ステップＳ１に戻り、以降の処理が同様に行われる。
【００４７】
一方、ステップＳ１において、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ２において、画像生成部５２は、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【００４８】
具体的には、例えば、画像生成部５２は、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から、平均処理等を施した処理画像を生成し、その処理画像から、所定の部分を抽出したものを転写画像として生成する。
【００４９】
すなわち例えば、画像生成部５２は、処理画像として、トリガが検出されたときのフレームの受光画像や、トリガが検出されたときのフレームよりn(n＞0)フレーム前の受光画像、トリガが検出されたときのフレームよりm(m＞0)フレーム後の受光画像、トリガが検出されたときより前の所定数のフレームの受光画像を平均した画像、トリガが検出されたときより前の所定数のフレームの受光画像を所定の重みで重み付け平均した画像、トリガが検出されたときより後の所定数のフレームの受光画像を平均した画像、トリガが検出されたときより後の所定数のフレームの受光画像を所定の重みで重み付け平均した画像、トリガが検出されたときの前後の所定数のフレームの受光画像を平均した画像、トリガが検出されたときの前後の所定数のフレームの受光画像を所定の重みで重み付け平均した画像等を生成する。
【００５０】
そして、画像生成部５２は、生成した処理画像における物体が映っている物体部分のうちの面積が最大の物体部分のみや、生成した処理画像における前記物体が映っている物体部分のうちの面積が所定の閾値以上の物体部分のみ、生成した処理画像における物体が映っている物体部分のうちの面積が上位N個の物体部分のみ、または処理画像全体を、転写画像として抽出する。
【００５１】
ステップＳ３において、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、例えば、その転写画像の物体が映っている部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示させる。
【００５２】
そして、ステップＳ１に戻り、以降の処理が同様に行われる。
【００５３】
以上のように、表示装置１は、キャプチャボタン１２に対する入力をトリガとして検出するようにしたので、すなわち、入出力ディスプレイ１１に近接している物体が転写に適した状態にあると想定されるときにトリガを検出するようにしたので、そのトリガに基づく受光画像から転写画像を生成することで、例えば、より鮮明な転写画像を生成することができる。
【００５４】
次に、図６を参照して、表示装置７１の外観構成例について説明する。
【００５５】
なお図６において、図３における対応する部分には同じ符号を付してあり、その説明は適宜省略する。
【００５６】
図６の表示装置７１は、図３における表示装置１のキャプチャボタン１２を削除したものであり、表示装置７１では、キャプチャボタン１２が設けられる代わりに、画像としてのキャプチャボタンが入出力ディスプレイ１１の図中左下に表示されている。
【００５７】
例えば、ユーザは、転写対象とする例えば図１等に示したスタンプのスタンプ面を入出力ディスプレイ１１に近付け、例えば、そのスタンプ面が入出力ディスプレイ１１に対して平行になるように近接していると判断したとき、入出力ディスプレイ１１上のキャプチャボタンの表示領域に対して入力を行う。
【００５８】
表示装置７１は、キャプチャボタンの表示領域に対する入力をトリガとして検出し、そのトリガに基づく受光画像から、入出力ディスプレイ１１に近接している物体が映っている転写画像を生成し、その転写画像に基づいて入出力ディスプレイ１１に表示画像を表示する第２の転写画像生成表示処理を行う。
【００５９】
次に、図７を参照して、表示装置７１の内部構成例について説明する。
【００６０】
なお、図７において、図４における対応する部分には同じ符号を付してあり、その説明は適宜省略する。
【００６１】
表示装置７１は、入出力パネル３１及び制御部８１から構成される。
【００６２】
図７の制御部８１には、図４における制御部３２のトリガ検出部５１に代えてトリガ検出部９１が設けられている。
【００６３】
トリガ検出部９１は、入出力パネル３１から供給される受光画像に基づいてトリガを検出する。
【００６４】
次に、図８のフローチャートを参照して、第２の転写画像生成表示処理における表示装置７１の動作について説明する。
【００６５】
ステップＳ２１において、表示装置７１の制御部８１のトリガ検出部９１は、入出力パネル３１から供給される受光画像に基づいて、トリガがあったか否かを判定する。例えば、トリガ検出部９１は、入出力ディスプレイ１１上のキャプチャボタンの表示領域に対する入力があったか否か、すなわち例えば、入出力パネル３１からの受光画像のうちのキャプチャボタンの表示領域に対応する部分の輝度値が所定の範囲か否かにより、トリガがあったか否かを判定する。ステップＳ２１において、トリガが無かったと判定された場合、ステップＳ１に戻り、以降の処理が同様に行われる。
【００６６】
一方、ステップＳ２１において、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ２２において、画像生成部５２は、図５のステップＳ２と同様に、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【００６７】
ステップＳ２３において、表示制御部５３は、図５のステップＳ３と同様に、画像生成部５２から供給される転写画像に基づいて、例えば、その転写画像に映っている物体部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示させる。
【００６８】
そして、ステップＳ２１に戻り、以降の処理が同様に行われる。
【００６９】
以上のように、表示装置７１は、キャプチャボタンに対する入力をトリガとする代わりに、キャプチャボタンの表示領域に対する入力をトリガとして検出するようにしたので、キャプチャボタンを設ける必要がなくなり、例えば、より簡単に鮮明な転写画像を生成することができる。
【００７０】
次に、図９を参照して、表示装置１１１の構成例について説明する。
【００７１】
なお、図９において、図７における対応する部分には同じ符号を付してあり、その説明は適宜省略する。
【００７２】
例えば、ユーザは、転写対象とする例えば図１等に示したスタンプのスタンプ面を入出力ディスプレイ１１に近付ける。
【００７３】
表示装置１１１は、入出力パネル３１からの受光画像であって、そのときのフレームとそのフレームに時間的に近いフレームの受光画像どうしの差分を示す差分値が所定の範囲になることをトリガとして検出し、そのトリガに基づく受光画像から転写画像を生成し、その転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示する第３の転写画像生成表示処理を行う。
【００７４】
表示装置１１１は、入出力パネル３１及び制御部１２１から構成される。
【００７５】
図９の制御部１２１には、図７における制御部８１のトリガ検出部９１に代えてトリガ検出部１３１が設けられている。
【００７６】
トリガ検出部１３１は、入出力パネル３１から供給される受光画像に基づいてトリガを検出する。
【００７７】
トリガ検出部１３１は、差分演算部１３１Ａ及びトリガ検出部１３１Ｂから構成される。
【００７８】
差分演算部１３１Ａは、入出力パネル３１から供給される所定の受光画像どうしの差分を演算する。
【００７９】
トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された受光画像どうしの差分に基づいてトリガを検出する。
【００８０】
次に、図１０のフローチャートを参照して、第３の転写画像生成表示処理における表示装置１１１の動作について説明する。
【００８１】
なお、この例では、入出力パネル３１から、入出力ディスプレイ１１に物体が近接している部分の値が1で、何も近接していない部分の値が0の2値画像の受光画像が供給されるものとする。
【００８２】
ステップＳ４１において、表示装置１１１の制御部１２１のトリガ検出部１３１の差分演算部１３１Ａは、入出力パネル３１から供給される受光画像であって、そのときのフレームとそのフレームに時間的に近いフレームの受光画像どうしの差分を演算する。
【００８３】
具体的には、例えば、２値画像の受光画像を用いる場合、受光画像どうしの差分は、受光画像どうしの排他的論理和(XOR(Exclusive OR))をとることに等価であるので、差分演算部１３１Ａは、受光画像どうしのXORをとることにより、受光画像どうしの差分を演算する。
【００８４】
すなわち例えば、差分演算部１３１Ａは、図１１Ａに示す時刻N−1の第N−1フレームの受光画像と、図１１Ｂに示す第N−1フレームより１つ後の時刻Nの第Nフレームの受光画像とのXORをとることにより、図１１Ｃに示すそれらの受光画像どうしの差分を演算する。
【００８５】
ステップＳ４２において、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された受光画像どうしの差分に基づいて、その受光画像どうしの差分を示す差分値を求め、その差分値に基づいてトリガがあったか否かを判定する。
【００８６】
具体的には、例えば、トリガ検出部１３１Ｂは、受光画像どうしの差分を示す差分値として、受光画像どうしの差分のうちの値が例えば1の部分の画素数を求め、その差分値が所定の範囲内（例えば、所定の閾値以下）になったか否かにより、トリガがあったか否かを判定する。
【００８７】
例えば、トリガ検出部１３１Ｂは、図１１Ｃに示すそれらの受光画像どうしの差分を示す差分値として、値が例えば1の部分（図中の黒い部分）の画素数を求める。
【００８８】
ステップＳ４２において、トリガが無かったと判定された場合、次のフレームの受光画像が入出力パネル３１から供給されるのを待って、ステップＳ４１に戻り、以降の処理が同様に行われる。
【００８９】
一方、ステップＳ４２において、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ４３において、画像生成部５２は、図５のステップＳ２と同様に、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【００９０】
ステップＳ４３において、表示制御部５３は、図５のステップＳ３と同様に、画像生成部５２から供給される転写画像に基づいて、例えば、その転写画像に映っている物体部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示させる。
【００９１】
そして、ステップＳ４１に戻り、以降の処理が同様に行われる。
【００９２】
以上のように、表示装置１１１は、そのときのフレームとそのフレームに時間的に近いフレームの受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するようにしたので、すなわち、入出力ディスプレイ１１に近接している物体が転写に適した状態にあると想定されるときにトリガを検出するようにしたので、そのトリガに基づく受光画像から転写画像を生成することで、例えば、より鮮明な転写画像を生成することができる。
【００９３】
さらに、表示装置１１１は、外部からの入力に基づかずにフレームごとに生成される受光画像から自動的にトリガを検出するようにしたので、例えば、より容易に鮮明な転写画像を生成することができる。
【００９４】
なお、トリガ検出部１３１Ｂは、受光画像どうしの差分を示す差分値が1フレームだけ所定の範囲内になっただけでもそのことをトリガとして検出するようにしたが、その他、受光画像どうしの差分を示す差分値がn(n＞1)フレーム連続して所定の範囲内になったことをトリガとして検出するようにしてもよい。このようにすることで、例えば、入出力ディスプレイ１１に近接している物体が転写に適した状態にあるとより確実に想定されるときにトリガを検出することが可能となる。
【００９５】
この例では、受光画像は、２値画像であるものとしたが、その他、例えばグレー画像やカラー画像等であってもよい。
【００９６】
このグレー画像の受光画像を用いる場合の第３の転写画像生成表示処理について説明する。
【００９７】
この場合、ステップＳ４１で、差分演算部１３１Ａは、入出力パネル３１から供給されるグレー画像の受光画像に対して所定の閾値で２値化処理を施し、その結果得られる２値画像の受光画像について、そのときのフレームとそのフレームに時間的に近いフレームの２値画像の受光画像どうしの差分を演算する。
【００９８】
具体的には、差分演算部１３１Ａは、入出力パネル３１からのグレー画像の受光画像に対して、例えば、輝度値（画素値）が所定の閾値以上の部分（すなわち、入出力ディスプレイ１１に物体が近接している部分）の値を1とし、輝度値（画素値）が所定の閾値より小さい部分（すなわち、何も近接していない部分）の値を0とする２値化処理を施す。
【００９９】
ステップＳ４２で、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された２値画像の受光画像どうしの差分に基づいて、２値画像の受光画像どうしの差分を示す差分値を求め、その差分値に基づいてトリガがあったか否かを判定する。
【０１００】
ステップＳ４２で、トリガが無かったと判定された場合、次のフレームの受光画像が入出力パネル３１から供給されるのを待って、ステップＳ４１に戻り、以降の処理が同様に行われる。
【０１０１】
一方、ステップＳ４２で、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ４３で、画像生成部５２は、図５のステップＳ２と同様に、入出力パネル３１から供給されるグレー画像の受光画像のうちのトリガに基づくグレー画像の受光画像からグレー画像の転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【０１０２】
ステップＳ４３で、表示制御部５３は、図５のステップＳ３と同様に、画像生成部５２から供給されるグレー画像の転写画像に基づいて、例えば、そのグレー画像の転写画像に映っている物体部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給されるグレー画像の転写画像に基づいて、入出力ディスプレイ１１に、例えば図１２に示すような、グレー画像の表示画像を表示させる。
【０１０３】
そして、ステップＳ４１に戻り、以降の処理が同様に行われる。
【０１０４】
次に、カラー画像の受光画像を用いる場合の第３の転写画像生成表示処理について説明する。
【０１０５】
なお、ここでいうカラー画像とは、例えば、RGB(red green blue)表色系のカラー画像であり、各色画像（R画像，G画像，B画像）から構成されている。
【０１０６】
この場合、ステップＳ４１で、差分演算部１３１Ａは、入出力パネル３１から供給されるカラー画像の受光画像について、そのときのフレームとそのフレームに時間的に近いフレームのカラー画像の受光画像どうしの差分を演算する。
【０１０７】
具体的には、差分演算部１３１Ａは、入出力パネル３１からのカラー画像の受光画像の各色画像について、そのときのフレームとそのフレームに時間的に近いフレームの色画像どうしの差分を演算する。
【０１０８】
ステップＳ４２で、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算されたカラー画像の受光画像どうしの差分に基づいて、そのカラー画像の受光画像どうしの差分を示す差分値を求め、その差分値に基づいてトリガがあったか否かを判定する。
【０１０９】
具体的には、例えば、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された各色画像どうしの差分の絶対値が所定の範囲（例えば、所定の閾値以上）の画素数を、カラー画像の受光画像どうしの差分を示す差分値として求める。
【０１１０】
ステップＳ４３以降の処理は、上述したグレー画像の受光画像を用いる場合の第３の転写画像生成表示処理におけるグレー画像をカラー画像に置き換えた処理であり、説明を省略する。
【０１１１】
次に、カラー画像の受光画像を用いる場合の第３の転写画像生成表示処理の他の例について説明する。
【０１１２】
この例では、ステップＳ４１で、差分演算部１３１Ａは、入出力パネル３１から供給されるカラー画像の受光画像に対して、例えばHSV(hue saturation value)やHLS(hue saturation lightness)等の輝度画像を有する表色系への変換を施し、その結果得られる輝度画像に対して、さらに所定の閾値で２値化処理を施し、その結果得られる２値画像の受光画像について、そのときのフレームとそのフレームに時間的に近いフレームの２値画像の受光画像どうしの差分を演算する。
【０１１３】
ステップＳ４２で、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された２値画像の受光画像どうしの差分に基づいて、２値画像の受光画像どうしの差分を示す差分値を求め、その差分値に基づいてトリガがあったか否かを判定する。
【０１１４】
ステップＳ４３以降の処理は、上述したグレー画像の受光画像を用いる場合の第３の転写画像生成表示処理におけるグレー画像をカラー画像に置き換えた処理であり、説明を省略する。なお、この第３の転写画像生成表示処理により、カラー画像の転写画像が生成され、そのカラー画像の転写画像に基づいて、入出力ディスプレイ１１には、例えば図１３に示すような、カラー画像の表示画像が表示される。
【０１１５】
以上のように、表示装置１１１は、グレー画像やカラー画像の受光画像から、グレー画像やカラー画像の転写画像を生成するとともに、グレー画像やカラー画像の表示画像を表示することができる。
【０１１６】
なお、表示装置１１１は、転写画像を生成すると、受光画像が所定の条件を満たすまで、転写画像の生成を行わないようにしてもよい。
【０１１７】
例えば、表示装置１１１は、例えば、図１４に示すような、転写画像（表示画像）に映っている物体の部分（図中のハート形の黒い部分）を含む所定の大きさの部分（図中の破線の正方形で囲まれた部分）に対応する部分の受光画像の画素値（輝度値）が所定の範囲（例えば所定の閾値以下）になるまで、転写画像の生成を行わないようにする。
【０１１８】
次に、図１５を参照して、表示装置１５１の構成例について説明する。
【０１１９】
なお、図１５において、図７における対応する部分には同じ符号を付してあり、その説明は適宜省略する。
【０１２０】
例えば、ユーザは、転写対象とする例えば図１等に示したスタンプのスタンプ面を入出力ディスプレイ１１に近付ける。
【０１２１】
表示装置１５１は、入出力パネル３１からの受光画像から、図１６Ａや図１６Ｂに示すような、転写対象とするスタンプ面を囲む円形の枠や六角形等の枠状のパターンを検出することによりトリガを検出し、そのトリガに基づく受光画像から転写画像を生成し、その転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示する第４の転写画像生成表示処理を行う。
【０１２２】
表示装置１５１は、入出力パネル３１及び制御部１６１から構成される。
【０１２３】
図１５の制御部１６１には、図７における制御部８１のトリガ検出部９１に代えてトリガ検出部１７１が設けられている。
【０１２４】
トリガ検出部１７１は、入出力パネル３１から供給される受光画像から所定のパターンを検出することによりトリガを検出する。
【０１２５】
次に、図１７のフローチャートを参照して、第４の転写画像生成表示処理における表示装置１５１の動作について説明する。
【０１２６】
ステップＳ６１において、表示装置１５１の制御部１６１のトリガ検出部１７１は、例えば、入出力パネル３１から供給される受光画像に対して、例えば図１６Ａや図１６Ｂに示したような、円形や六角形の枠状のパターンを検出対象とするパターンマッチングを行い、そのパターンマッチングによりその枠状のパターンが検出されたか否かにより、トリガがあったか否かを判定する。ステップＳ６１において、トリガが無かったと判定された場合、ステップＳ６１に戻り、以降の処理が同様に行われる。
【０１２７】
一方、ステップＳ６１において、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ６２において、画像生成部５２は、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【０１２８】
具体的には、例えば、画像生成部５２は、入出力パネル３１から供給される受光画像から生成される前述した処理画像のうちの、トリガ検出部１７１で検出された円形や六角形の枠状のパターンの内側に映っている物体の部分のみを、転写画像として抽出する。
【０１２９】
ステップＳ６３において、表示制御部５３は、図５のステップＳ３と同様に、画像生成部５２から供給される転写画像に基づいて、例えば、その転写画像に映っている物体部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示させる。
【０１３０】
そして、ステップＳ６１に戻り、以降の処理が同様に行われる。
【０１３１】
以上のように、表示装置１５１は、入出力パネル３１から供給される受光画像から所定のパターンを検出することによりトリガを検出するようにしたので、すなわち、入出力ディスプレイ１１に近接している物体が転写に適した状態にあると想定されるときにトリガを検出するようにしたので、そのトリガに基づく受光画像から転写画像を生成することで、例えば、より鮮明な転写画像を生成することができる。
【０１３２】
なお、表示装置１５１は、生成した転写画像を、自身で記憶したり表示したりするようにしたが、その他、例えば、表示装置１５１に接続された他の装置で記憶したり表示したりするようにしてもよい。
【０１３３】
例えば、図１８の例では、表示装置１５１には、ネットワーク１８２を介してPC１８１が接続されている。表示装置１５１は、生成した転写画像を、PC１８１に送信し、PC１８１は、表示装置１５１から送信された転写画像を受信し、その転写画像を図示せぬ記憶部に記憶したり、その転写画像に基づく表示画像をディスプレイ１８１Ａに表示したりする。
【０１３４】
以上においては、表示制御部５３は、図１９Ａに示すように、転写画像の物体が映っている物体部分をそのまま表示画像とするようにしたが、その他、その物体部分に所定の画像処理を施して表示画像とするようにしてもよい。
【０１３５】
例えば、図１９Ｂの例では、表示制御部５３は、転写画像の物体が映っている物体部分を拡大し、所定の位置に移動する画像処理を施して表示画像としており、図１９Ｃの例では、表示制御部５３は、転写画像の物体が映っている物体部分を縮小し、所定の位置に移動する画像処理を施して表示画像としている。図１９Ｄの例では、表示制御部５３は、転写画像の物体が映っている物体部分を反時計回りに９０度回転し、所定の位置に移動する画像処理を施して表示画像としており、図１９Ｅの例では、表示制御部５３は、転写画像の物体が映っている物体部分を拡大し、反時計回りに９０度回転し、所定の位置に移動する画像処理を施して表示画像としている。図１９Ｆの例では、表示制御部５３は、転写画像の物体が映っている物体部分を反時計回りに９０度回転し、縮小し、所定の位置に移動する画像処理を施して表示画像としており、図１９Ｇの例では、表示制御部５３は、転写画像の物体が映っている物体部分を上下方向に反転する画像処理を施して表示画像としている。
【０１３６】
なお、表示制御部５３は、転写画像の物体が映っている物体部分に対して、これらの任意の拡大率での拡大若しくは任意の縮小率での縮小、任意の回転角での回転、任意の位置への移動、及び、左右方向の反転若しくは上下方向の反転のうちの複数を組み合せた画像処理を行うようにしてもよい。
【０１３７】
また、表示制御部５３は、図２０に示すように、転写画像の物体が映っている物体部分に対して異なる画像処理を施して得られる複数の画像を合成して表示画像とするようにしてもよい。
【０１３８】
なお、入出力ディスプレイ１１は、例えば、それに近接している物体に光を照射するとともに、その物体で反射して戻ってくる光を受光する。その場合、転写対象とする物体には、入出力ディスプレイ１１の受光しやすい周波数の光を反射しやすいものを用いるようにする。また、入出力ディスプレイ１１は、近接している物体に照射する光として、赤外光等の不可視光を照射するようにしてもよい。そのようにすることで、入出力ディスプレイ１１が画像の表示のために照射する可視光と、この物体への照射用の光とを分けて扱うことが可能になる。
【０１３９】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１４０】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４１】
コンピュータにおいて、CPU１９１，ROM（Read Only Memory）１９２，RAM１９３は、バス１９４により相互に接続されている。
【０１４２】
バス１９４には、さらに、入出力インタフェース１９５が接続されている。入出力インタフェース１９５には、キーボード、マウス、マイクロホンなどよりなる入力部１９６、ディスプレイ、スピーカなどよりなる出力部１９７、ハードディスクや不揮発性のメモリなどよりなる記憶部１９８、ネットワークインタフェースなどよりなる通信部１９９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２０１を駆動するドライブ２００が接続されている。
【０１４３】
以上のように構成されるコンピュータでは、CPU１９１が、例えば、記憶部１９８に記憶されているプログラムを、入出力インタフェース１９５及びバス１９４を介して、RAM１９３にロードして実行することにより、上述した一連の処理が行われる。
【０１４４】
コンピュータ（CPU１９１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２０１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４５】
そして、プログラムは、リムーバブルメディア２０１をドライブ２００に装着することにより、入出力インタフェース１９５を介して、記憶部１９８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１９９で受信し、記憶部１９８にインストールすることができる。その他、プログラムは、ROM１９２や記憶部１９８に、あらかじめインストールしておくことができる。
【０１４６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４８】
【図１】入出力ディスプレイに近付いている物体を転写する様子を示す図である。
【図２】転写画像（表示画像）の例を示す図である。
【図３】本発明を適用した表示装置１の外観構成例を示す図である。
【図４】表示装置１の内部構成例を示す図である。
【図５】第１の転写画像生成表示処理における表示装置１の動作を説明するためのフローチャートである。
【図６】表示装置７１の外観構成例を示す図である。
【図７】表示装置７１の内部構成例を示す図である。
【図８】第２の転写画像生成表示処理における表示装置７１の動作を説明するためのフローチャートである。
【図９】表示装置１１１の構成例を示す図である。
【図１０】第３の転写画像生成表示処理における表示装置１１１の動作を説明するためのフローチャートである。
【図１１】差分演算部１３１Ａによる差分演算を説明するための図である。
【図１２】グレー画像の転写画像（表示画像）の例を示す図である。
【図１３】カラー画像の転写画像（表示画像）の例を示す図である。
【図１４】転写画像の生成を制限する条件を説明するための図である。
【図１５】表示装置１５１の構成例を示す図である。
【図１６】枠状のパターンの例を示す図である。
【図１７】第４の転写画像生成表示処理における表示装置１５１の動作を説明するためのフローチャートである。
【図１８】表示装置１５１に接続されたPC１８１に転写画像に基づく表示画像を表示する様子を示す図である。
【図１９】表示制御部５３による画像処理の例を示す図である。
【図２０】表示制御部５３による画像処理の例を示す図である。
【図２１】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１４９】
１ 表示装置， １１ 入出力ディスプレイ， １１Ａ 光センサ， １２ キャプチャボタン， ３１ 入出力パネル， ３２ 制御部， ４１ 受光信号処理部， ４２ 表示信号処理部， ５１ トリガ検出部， ５２ 画像生成部， ５３ 表示制御部， ５４ 画像メモリ， ７１ 表示装置， ８１ 制御部， ９１ トリガ検出部， １１１ 表示装置， １２１ 制御部， １３１ トリガ検出部， １３１Ａ 差分演算部， １３１Ｂ トリガ検出部， １５１ 表示装置， １６１ 制御部， １７１ トリガ検出部， １８１ PC， １８１Ａ ディスプレイ， １８２ ネットワーク， １９１ CPU， １９２ ROM， １９３ RAM， １９４ バス， １９５ 入出力インタフェース， １９６ 入力部， １９７ 出力部， １９８ 記憶部， １９９ 通信部， ２００ ドライブ， ２０１ リムーバブルメディア
【技術分野】
【０００１】
本発明は表示装置及びその制御方法、入力装置及びその制御方法、並びにプログラムに関し、特に、例えば、入出力ディスプレイを有する表示装置において、入出力ディスプレイに近付いている物体が映っている転写画像をより鮮明な画像として生成することができるようにする表示装置及びその制御方法、入力装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
表示装置を構成するディスプレイには、外部からの光を光センサにより受光する機能を有する入出力ディスプレイと呼ばれるものがある（例えば、特許文献１や特許文献２を参照）。この入出力ディスプレイは、例えばバックライトにより光を照射するとともに、入出力ディスプレイに近付いている物体で反射して戻ってくる光を受光する。あるいは、この入出力ディスプレイは、光源を有する物体が照射する光を受光する。
【０００３】
この入出力ディスプレイを有する表示装置において、入出力ディスプレイによる受光に基づく受光画像から、入出力ディスプレイに近付いている物体が映っている、いわばその物体を転写した転写画像を生成し、例えばその転写画像を入出力ディスプレイへの表示画像とすることが提案されている。
【０００４】
例えば、図１の例では、透明の長方形として図示されている入出力ディスプレイに対して、転写対象とするスタンプのハート形のスタンプ面を、入出力ディスプレイの向こう側から近付けている。このとき、図１に示すような理想的な例では、入出力ディスプレイへの表示画像（例えば、転写画像そのもの）におけるスタンプ面の部分（図中の黒いハート形の部分）は、本来のスタンプ面の形状によく一致した鮮明なものとなる。
【特許文献１】特開２０００−０１９４７８号公報
【特許文献２】特開２００４−１２７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した入出力ディスプレイを有する表示装置では、例えば、受光画像を平均する等して転写画像を生成するものとすると、図２Ａや図２Ｂに示すように、入出力ディスプレイへの表示画像（例えば、転写画像そのもの）における転写対象のスタンプ面の部分（図中の黒いハート形の部分）は、近付ける過程におけるスタンプ面の軌跡となり、本来のスタンプ面に一致しない不鮮明なものとなってしまう。また、例えば、受光画像をそのまま転写画像にするとしても、転写対象のスタンプ面が入出力ディスプレイに対して動いていると、転写画像におけるスタンプ面の部分は、やはりぶれた不鮮明なものとなってしまう。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、例えば、入出力ディスプレイを有する表示装置において、入出力ディスプレイに近付いている物体が映っている転写画像をより鮮明な画像として生成することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の側面の表示装置は、画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置において、入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出手段と、前記トリガ検出手段により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成手段と、前記画像生成手段により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御手段とを備える。
【０００８】
本発明の第１の側面の制御方法またはプログラムは、画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置の制御方法または制御処理をコンピュータに実行させるプログラムであり、入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出ステップと、前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと、前記画像生成ステップの処理により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御ステップとを含む制御方法または制御処理をコンピュータに実行させるプログラム。
【０００９】
本発明の第２の側面の入力装置は、外部からの光の受光を行う受光手段を備える入力装置において、前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出手段と、前記トリガ検出手段により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成手段とを備える。
【００１０】
本発明の第２の側面の入力装置には、前記画像生成手段により生成される前記転写画像を記憶する記憶手段をさらに設けることができる。
【００１１】
本発明の第２の側面の入力装置には、記憶装置が接続され、前記画像生成手段により生成される前記転写画像を、前記記憶装置に送信する送信手段をさらに設け、前記記憶装置には、前記入力装置の前記送信手段から送信された前記転写画像を受信させて記憶させることができる。
【００１２】
本発明の第２の側面の入力装置には、表示装置が接続され、前記画像生成手段により生成される前記転写画像を、前記表示装置に送信する送信手段をさらに設け、前記表示装置には、前記入力装置の前記送信手段から送信された前記転写画像を受信させ、その前記転写画像に基づく表示画像を表示部に表示させることができる。
【００１３】
本発明の第２の側面の入力装置には、前記画像生成手段により生成される前記転写画像に基づく表示画像を表示部に表示させる表示制御手段をさらに設けることができる。
【００１４】
本発明の第２の側面の制御方法またはプログラムは、外部からの光の受光を行う受光手段を備える入力装置の制御方法または制御処理をコンピュータに実行させるプログラムであり、前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出ステップと、前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップとを含む制御方法または制御処理をコンピュータに実行させるプログラム。
【００１５】
本発明の第３の側面の入力装置は、外部からの光の受光を行う受光手段を備える入力装置において、前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出手段と、前記トリガ検出手段により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成手段とを備える。
【００１６】
本発明の第３の側面の入力装置には、前記画像生成手段により生成される前記転写画像を記憶する記憶手段をさらに設けることができる。
【００１７】
本発明の第３の側面の入力装置には、記憶装置が接続され、前記画像生成手段により生成される前記転写画像を、前記記憶装置に送信する送信手段をさらに設け、前記記憶装置には、前記入力装置の前記送信手段から送信された前記転写画像を受信させて記憶させることができる。
【００１８】
本発明の第３の側面の入力装置には、表示装置が接続され、前記画像生成手段により生成される前記転写画像を、前記表示装置に送信する送信手段をさらに設け、前記表示装置には、前記入力装置の前記送信手段から送信された前記転写画像を受信させ、その前記転写画像に基づく表示画像を表示部に表示させることができる。
【００１９】
本発明の第３の側面の入力装置には、前記画像生成手段により生成される前記転写画像に基づく表示画像を表示部に表示させる表示制御手段をさらに設けることができる。
【００２０】
本発明の第３の側面の制御方法またはプログラムは、外部からの光の受光を行う受光手段を備える入力装置の制御方法または制御処理をコンピュータに実行させるプログラムであり、前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出ステップと、前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップとを含む制御方法または制御処理をコンピュータに実行させるプログラム。
【００２１】
本発明の第１の側面においては、入力部に対する入力または前記表示受光手段の所定の領域に対する入力がトリガとして検出され、検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像が生成され、生成される前記転写画像に基づく表示画像が前記表示受光手段に表示される。
【００２２】
本発明の第２の側面においては、受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことがトリガとして検出され、検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像が生成される。
【００２３】
本発明の第３の側面においては、受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガが検出され、検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像が生成される。
【発明の効果】
【００２４】
本発明の第１乃至第３の側面によれば、例えば、入出力ディスプレイに近接している物体が映っている転写画像をより鮮明な画像として生成することができる。
【発明を実施するための最良の形態】
【００２５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２６】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２７】
図３は、本発明を適用した表示装置１の外観構成例を示す図である。
【００２８】
表示装置１には、例えばその前面（図中正面）に入出力ディスプレイ１１が設けられるとともに、この前面の入出力ディスプレイ１１を囲む部分のうちの図中左下にキャプチャボタン１２が設けられている。
【００２９】
例えば、ユーザは、転写対象とする例えば図１等に示したスタンプのスタンプ面を入出力ディスプレイ１１に近づけ、例えば、そのスタンプ面が入出力ディスプレイ１１に対して平行になるように近接している（接触しているかあるいは短い距離だけ離れて近付いている）と判断したとき、キャプチャボタン１２に対して入力を行う。
【００３０】
表示装置１は、キャプチャボタン１２に対する入力をトリガとして検出し、そのトリガに基づく受光画像から、入出力ディスプレイ１１に近接している物体（この例ではスタンプ面）が映っている転写画像を生成し、その転写画像に基づいて入出力ディスプレイ１１に表示画像を表示する第１の転写画像生成表示処理を行う。
【００３１】
次に、図４を参照して、表示装置１の内部構成例について説明する。
【００３２】
表示装置１は、キャプチャボタン１２、入出力パネル３１、制御部３２、及び画像メモリ５４から構成される。
【００３３】
キャプチャボタン１２は、例えば、ユーザがキャプチャボタン１２を押すことや押してから離すことにより行われるキャプチャボタン１２に対する入力があったとき、そのことを示す入力信号を制御部３２に供給する。
【００３４】
入出力パネル３１は、入出力ディスプレイ１１を内蔵しており、制御部３２から供給される表示画像の表示データに基づいて、入出力ディスプレイ１１に表示画像の表示を行うとともに、入出力ディスプレイ１１での外部からの光の受光に基づく受光画像を生成して制御部３２に供給する。
【００３５】
制御部３２は、例えばCPU(Central Processor Unit)、RAM(Random Access Memory)等から構成され、表示装置１の各部の制御を行う。例えば、制御部３２は、キャプチャボタン１２から供給される入力信号に基づいて、トリガを検出し、入出力パネル３１から供給される受光画像のうちの検出したトリガに基づく受光画像から転写画像を生成して記憶するとともに、その転写画像に基づいて、表示画像の表示データを生成し、入出力パネル３１に供給する。
【００３６】
入出力パネル３１は、入出力ディスプレイ１１、受光信号処理部４１、及び表示信号処理部４２から構成される。
【００３７】
入出力ディスプレイ１１は、表示信号処理部４２から供給される表示信号に基づいて、表示画像の表示を行う。また、入出力ディスプレイ１１は、入出力ディスプレイ１１全体に分布している複数の光センサ１１Ａを内蔵しており、光センサ１１Ａによる外部からの光の受光量に対応する受光信号を生成して、受光信号処理部４１に供給する。
【００３８】
受光信号処理部４１は、入出力ディスプレイ１１から供給される受光信号に基づいて、例えば、入出力ディスプレイ１１の物体が近接している部分の輝度が高く（低く）、何も近接していない部分の輝度が低い（高い）受光画像をフレームごとに生成して制御部３２に供給する。
【００３９】
表示信号処理部４２は、制御部３２から供給される表示画像の表示データに所定の処理を施し、その結果得られる表示信号を、入出力ディスプレイ１１に供給する。
【００４０】
制御部３２は、トリガ検出部５１、画像生成部５２、表示制御部５３、及び画像メモリ５４から構成される。
【００４１】
トリガ検出部５１は、キャプチャボタン１２から供給される入力信号に基づいて、トリガを検出する。
【００４２】
画像生成部５２は、トリガ検出部５１でトリガが検出されると、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４及びに供給する。
【００４３】
表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、表示画像の表示データを生成し、入出力パネル３１の表示信号処理部４２に供給する。
【００４４】
画像メモリ５４は、画像生成部５２から供給される転写画像等を記憶する。
【００４５】
次に、図５のフローチャートを参照して、第１の転写画像生成表示処理における表示装置１の動作について説明する。
【００４６】
ステップＳ１において、表示装置１の制御部３２のトリガ検出部５１は、キャプチャボタン１２から供給される入力信号に基づいて、トリガがあったか否かを判定する。例えば、トリガ検出部５１は、キャプチャボタン１２に対する入力があったことを示す入力信号が供給されたか否かにより、トリガがあったか否かを判定する。ステップＳ１において、トリガが無かったと判定された場合、ステップＳ１に戻り、以降の処理が同様に行われる。
【００４７】
一方、ステップＳ１において、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ２において、画像生成部５２は、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【００４８】
具体的には、例えば、画像生成部５２は、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から、平均処理等を施した処理画像を生成し、その処理画像から、所定の部分を抽出したものを転写画像として生成する。
【００４９】
すなわち例えば、画像生成部５２は、処理画像として、トリガが検出されたときのフレームの受光画像や、トリガが検出されたときのフレームよりn(n＞0)フレーム前の受光画像、トリガが検出されたときのフレームよりm(m＞0)フレーム後の受光画像、トリガが検出されたときより前の所定数のフレームの受光画像を平均した画像、トリガが検出されたときより前の所定数のフレームの受光画像を所定の重みで重み付け平均した画像、トリガが検出されたときより後の所定数のフレームの受光画像を平均した画像、トリガが検出されたときより後の所定数のフレームの受光画像を所定の重みで重み付け平均した画像、トリガが検出されたときの前後の所定数のフレームの受光画像を平均した画像、トリガが検出されたときの前後の所定数のフレームの受光画像を所定の重みで重み付け平均した画像等を生成する。
【００５０】
そして、画像生成部５２は、生成した処理画像における物体が映っている物体部分のうちの面積が最大の物体部分のみや、生成した処理画像における前記物体が映っている物体部分のうちの面積が所定の閾値以上の物体部分のみ、生成した処理画像における物体が映っている物体部分のうちの面積が上位N個の物体部分のみ、または処理画像全体を、転写画像として抽出する。
【００５１】
ステップＳ３において、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、例えば、その転写画像の物体が映っている部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示させる。
【００５２】
そして、ステップＳ１に戻り、以降の処理が同様に行われる。
【００５３】
以上のように、表示装置１は、キャプチャボタン１２に対する入力をトリガとして検出するようにしたので、すなわち、入出力ディスプレイ１１に近接している物体が転写に適した状態にあると想定されるときにトリガを検出するようにしたので、そのトリガに基づく受光画像から転写画像を生成することで、例えば、より鮮明な転写画像を生成することができる。
【００５４】
次に、図６を参照して、表示装置７１の外観構成例について説明する。
【００５５】
なお図６において、図３における対応する部分には同じ符号を付してあり、その説明は適宜省略する。
【００５６】
図６の表示装置７１は、図３における表示装置１のキャプチャボタン１２を削除したものであり、表示装置７１では、キャプチャボタン１２が設けられる代わりに、画像としてのキャプチャボタンが入出力ディスプレイ１１の図中左下に表示されている。
【００５７】
例えば、ユーザは、転写対象とする例えば図１等に示したスタンプのスタンプ面を入出力ディスプレイ１１に近付け、例えば、そのスタンプ面が入出力ディスプレイ１１に対して平行になるように近接していると判断したとき、入出力ディスプレイ１１上のキャプチャボタンの表示領域に対して入力を行う。
【００５８】
表示装置７１は、キャプチャボタンの表示領域に対する入力をトリガとして検出し、そのトリガに基づく受光画像から、入出力ディスプレイ１１に近接している物体が映っている転写画像を生成し、その転写画像に基づいて入出力ディスプレイ１１に表示画像を表示する第２の転写画像生成表示処理を行う。
【００５９】
次に、図７を参照して、表示装置７１の内部構成例について説明する。
【００６０】
なお、図７において、図４における対応する部分には同じ符号を付してあり、その説明は適宜省略する。
【００６１】
表示装置７１は、入出力パネル３１及び制御部８１から構成される。
【００６２】
図７の制御部８１には、図４における制御部３２のトリガ検出部５１に代えてトリガ検出部９１が設けられている。
【００６３】
トリガ検出部９１は、入出力パネル３１から供給される受光画像に基づいてトリガを検出する。
【００６４】
次に、図８のフローチャートを参照して、第２の転写画像生成表示処理における表示装置７１の動作について説明する。
【００６５】
ステップＳ２１において、表示装置７１の制御部８１のトリガ検出部９１は、入出力パネル３１から供給される受光画像に基づいて、トリガがあったか否かを判定する。例えば、トリガ検出部９１は、入出力ディスプレイ１１上のキャプチャボタンの表示領域に対する入力があったか否か、すなわち例えば、入出力パネル３１からの受光画像のうちのキャプチャボタンの表示領域に対応する部分の輝度値が所定の範囲か否かにより、トリガがあったか否かを判定する。ステップＳ２１において、トリガが無かったと判定された場合、ステップＳ１に戻り、以降の処理が同様に行われる。
【００６６】
一方、ステップＳ２１において、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ２２において、画像生成部５２は、図５のステップＳ２と同様に、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【００６７】
ステップＳ２３において、表示制御部５３は、図５のステップＳ３と同様に、画像生成部５２から供給される転写画像に基づいて、例えば、その転写画像に映っている物体部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示させる。
【００６８】
そして、ステップＳ２１に戻り、以降の処理が同様に行われる。
【００６９】
以上のように、表示装置７１は、キャプチャボタンに対する入力をトリガとする代わりに、キャプチャボタンの表示領域に対する入力をトリガとして検出するようにしたので、キャプチャボタンを設ける必要がなくなり、例えば、より簡単に鮮明な転写画像を生成することができる。
【００７０】
次に、図９を参照して、表示装置１１１の構成例について説明する。
【００７１】
なお、図９において、図７における対応する部分には同じ符号を付してあり、その説明は適宜省略する。
【００７２】
例えば、ユーザは、転写対象とする例えば図１等に示したスタンプのスタンプ面を入出力ディスプレイ１１に近付ける。
【００７３】
表示装置１１１は、入出力パネル３１からの受光画像であって、そのときのフレームとそのフレームに時間的に近いフレームの受光画像どうしの差分を示す差分値が所定の範囲になることをトリガとして検出し、そのトリガに基づく受光画像から転写画像を生成し、その転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示する第３の転写画像生成表示処理を行う。
【００７４】
表示装置１１１は、入出力パネル３１及び制御部１２１から構成される。
【００７５】
図９の制御部１２１には、図７における制御部８１のトリガ検出部９１に代えてトリガ検出部１３１が設けられている。
【００７６】
トリガ検出部１３１は、入出力パネル３１から供給される受光画像に基づいてトリガを検出する。
【００７７】
トリガ検出部１３１は、差分演算部１３１Ａ及びトリガ検出部１３１Ｂから構成される。
【００７８】
差分演算部１３１Ａは、入出力パネル３１から供給される所定の受光画像どうしの差分を演算する。
【００７９】
トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された受光画像どうしの差分に基づいてトリガを検出する。
【００８０】
次に、図１０のフローチャートを参照して、第３の転写画像生成表示処理における表示装置１１１の動作について説明する。
【００８１】
なお、この例では、入出力パネル３１から、入出力ディスプレイ１１に物体が近接している部分の値が1で、何も近接していない部分の値が0の2値画像の受光画像が供給されるものとする。
【００８２】
ステップＳ４１において、表示装置１１１の制御部１２１のトリガ検出部１３１の差分演算部１３１Ａは、入出力パネル３１から供給される受光画像であって、そのときのフレームとそのフレームに時間的に近いフレームの受光画像どうしの差分を演算する。
【００８３】
具体的には、例えば、２値画像の受光画像を用いる場合、受光画像どうしの差分は、受光画像どうしの排他的論理和(XOR(Exclusive OR))をとることに等価であるので、差分演算部１３１Ａは、受光画像どうしのXORをとることにより、受光画像どうしの差分を演算する。
【００８４】
すなわち例えば、差分演算部１３１Ａは、図１１Ａに示す時刻N−1の第N−1フレームの受光画像と、図１１Ｂに示す第N−1フレームより１つ後の時刻Nの第Nフレームの受光画像とのXORをとることにより、図１１Ｃに示すそれらの受光画像どうしの差分を演算する。
【００８５】
ステップＳ４２において、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された受光画像どうしの差分に基づいて、その受光画像どうしの差分を示す差分値を求め、その差分値に基づいてトリガがあったか否かを判定する。
【００８６】
具体的には、例えば、トリガ検出部１３１Ｂは、受光画像どうしの差分を示す差分値として、受光画像どうしの差分のうちの値が例えば1の部分の画素数を求め、その差分値が所定の範囲内（例えば、所定の閾値以下）になったか否かにより、トリガがあったか否かを判定する。
【００８７】
例えば、トリガ検出部１３１Ｂは、図１１Ｃに示すそれらの受光画像どうしの差分を示す差分値として、値が例えば1の部分（図中の黒い部分）の画素数を求める。
【００８８】
ステップＳ４２において、トリガが無かったと判定された場合、次のフレームの受光画像が入出力パネル３１から供給されるのを待って、ステップＳ４１に戻り、以降の処理が同様に行われる。
【００８９】
一方、ステップＳ４２において、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ４３において、画像生成部５２は、図５のステップＳ２と同様に、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【００９０】
ステップＳ４３において、表示制御部５３は、図５のステップＳ３と同様に、画像生成部５２から供給される転写画像に基づいて、例えば、その転写画像に映っている物体部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示させる。
【００９１】
そして、ステップＳ４１に戻り、以降の処理が同様に行われる。
【００９２】
以上のように、表示装置１１１は、そのときのフレームとそのフレームに時間的に近いフレームの受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するようにしたので、すなわち、入出力ディスプレイ１１に近接している物体が転写に適した状態にあると想定されるときにトリガを検出するようにしたので、そのトリガに基づく受光画像から転写画像を生成することで、例えば、より鮮明な転写画像を生成することができる。
【００９３】
さらに、表示装置１１１は、外部からの入力に基づかずにフレームごとに生成される受光画像から自動的にトリガを検出するようにしたので、例えば、より容易に鮮明な転写画像を生成することができる。
【００９４】
なお、トリガ検出部１３１Ｂは、受光画像どうしの差分を示す差分値が1フレームだけ所定の範囲内になっただけでもそのことをトリガとして検出するようにしたが、その他、受光画像どうしの差分を示す差分値がn(n＞1)フレーム連続して所定の範囲内になったことをトリガとして検出するようにしてもよい。このようにすることで、例えば、入出力ディスプレイ１１に近接している物体が転写に適した状態にあるとより確実に想定されるときにトリガを検出することが可能となる。
【００９５】
この例では、受光画像は、２値画像であるものとしたが、その他、例えばグレー画像やカラー画像等であってもよい。
【００９６】
このグレー画像の受光画像を用いる場合の第３の転写画像生成表示処理について説明する。
【００９７】
この場合、ステップＳ４１で、差分演算部１３１Ａは、入出力パネル３１から供給されるグレー画像の受光画像に対して所定の閾値で２値化処理を施し、その結果得られる２値画像の受光画像について、そのときのフレームとそのフレームに時間的に近いフレームの２値画像の受光画像どうしの差分を演算する。
【００９８】
具体的には、差分演算部１３１Ａは、入出力パネル３１からのグレー画像の受光画像に対して、例えば、輝度値（画素値）が所定の閾値以上の部分（すなわち、入出力ディスプレイ１１に物体が近接している部分）の値を1とし、輝度値（画素値）が所定の閾値より小さい部分（すなわち、何も近接していない部分）の値を0とする２値化処理を施す。
【００９９】
ステップＳ４２で、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された２値画像の受光画像どうしの差分に基づいて、２値画像の受光画像どうしの差分を示す差分値を求め、その差分値に基づいてトリガがあったか否かを判定する。
【０１００】
ステップＳ４２で、トリガが無かったと判定された場合、次のフレームの受光画像が入出力パネル３１から供給されるのを待って、ステップＳ４１に戻り、以降の処理が同様に行われる。
【０１０１】
一方、ステップＳ４２で、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ４３で、画像生成部５２は、図５のステップＳ２と同様に、入出力パネル３１から供給されるグレー画像の受光画像のうちのトリガに基づくグレー画像の受光画像からグレー画像の転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【０１０２】
ステップＳ４３で、表示制御部５３は、図５のステップＳ３と同様に、画像生成部５２から供給されるグレー画像の転写画像に基づいて、例えば、そのグレー画像の転写画像に映っている物体部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給されるグレー画像の転写画像に基づいて、入出力ディスプレイ１１に、例えば図１２に示すような、グレー画像の表示画像を表示させる。
【０１０３】
そして、ステップＳ４１に戻り、以降の処理が同様に行われる。
【０１０４】
次に、カラー画像の受光画像を用いる場合の第３の転写画像生成表示処理について説明する。
【０１０５】
なお、ここでいうカラー画像とは、例えば、RGB(red green blue)表色系のカラー画像であり、各色画像（R画像，G画像，B画像）から構成されている。
【０１０６】
この場合、ステップＳ４１で、差分演算部１３１Ａは、入出力パネル３１から供給されるカラー画像の受光画像について、そのときのフレームとそのフレームに時間的に近いフレームのカラー画像の受光画像どうしの差分を演算する。
【０１０７】
具体的には、差分演算部１３１Ａは、入出力パネル３１からのカラー画像の受光画像の各色画像について、そのときのフレームとそのフレームに時間的に近いフレームの色画像どうしの差分を演算する。
【０１０８】
ステップＳ４２で、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算されたカラー画像の受光画像どうしの差分に基づいて、そのカラー画像の受光画像どうしの差分を示す差分値を求め、その差分値に基づいてトリガがあったか否かを判定する。
【０１０９】
具体的には、例えば、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された各色画像どうしの差分の絶対値が所定の範囲（例えば、所定の閾値以上）の画素数を、カラー画像の受光画像どうしの差分を示す差分値として求める。
【０１１０】
ステップＳ４３以降の処理は、上述したグレー画像の受光画像を用いる場合の第３の転写画像生成表示処理におけるグレー画像をカラー画像に置き換えた処理であり、説明を省略する。
【０１１１】
次に、カラー画像の受光画像を用いる場合の第３の転写画像生成表示処理の他の例について説明する。
【０１１２】
この例では、ステップＳ４１で、差分演算部１３１Ａは、入出力パネル３１から供給されるカラー画像の受光画像に対して、例えばHSV(hue saturation value)やHLS(hue saturation lightness)等の輝度画像を有する表色系への変換を施し、その結果得られる輝度画像に対して、さらに所定の閾値で２値化処理を施し、その結果得られる２値画像の受光画像について、そのときのフレームとそのフレームに時間的に近いフレームの２値画像の受光画像どうしの差分を演算する。
【０１１３】
ステップＳ４２で、トリガ検出部１３１Ｂは、差分演算部１３１Ａで演算された２値画像の受光画像どうしの差分に基づいて、２値画像の受光画像どうしの差分を示す差分値を求め、その差分値に基づいてトリガがあったか否かを判定する。
【０１１４】
ステップＳ４３以降の処理は、上述したグレー画像の受光画像を用いる場合の第３の転写画像生成表示処理におけるグレー画像をカラー画像に置き換えた処理であり、説明を省略する。なお、この第３の転写画像生成表示処理により、カラー画像の転写画像が生成され、そのカラー画像の転写画像に基づいて、入出力ディスプレイ１１には、例えば図１３に示すような、カラー画像の表示画像が表示される。
【０１１５】
以上のように、表示装置１１１は、グレー画像やカラー画像の受光画像から、グレー画像やカラー画像の転写画像を生成するとともに、グレー画像やカラー画像の表示画像を表示することができる。
【０１１６】
なお、表示装置１１１は、転写画像を生成すると、受光画像が所定の条件を満たすまで、転写画像の生成を行わないようにしてもよい。
【０１１７】
例えば、表示装置１１１は、例えば、図１４に示すような、転写画像（表示画像）に映っている物体の部分（図中のハート形の黒い部分）を含む所定の大きさの部分（図中の破線の正方形で囲まれた部分）に対応する部分の受光画像の画素値（輝度値）が所定の範囲（例えば所定の閾値以下）になるまで、転写画像の生成を行わないようにする。
【０１１８】
次に、図１５を参照して、表示装置１５１の構成例について説明する。
【０１１９】
なお、図１５において、図７における対応する部分には同じ符号を付してあり、その説明は適宜省略する。
【０１２０】
例えば、ユーザは、転写対象とする例えば図１等に示したスタンプのスタンプ面を入出力ディスプレイ１１に近付ける。
【０１２１】
表示装置１５１は、入出力パネル３１からの受光画像から、図１６Ａや図１６Ｂに示すような、転写対象とするスタンプ面を囲む円形の枠や六角形等の枠状のパターンを検出することによりトリガを検出し、そのトリガに基づく受光画像から転写画像を生成し、その転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示する第４の転写画像生成表示処理を行う。
【０１２２】
表示装置１５１は、入出力パネル３１及び制御部１６１から構成される。
【０１２３】
図１５の制御部１６１には、図７における制御部８１のトリガ検出部９１に代えてトリガ検出部１７１が設けられている。
【０１２４】
トリガ検出部１７１は、入出力パネル３１から供給される受光画像から所定のパターンを検出することによりトリガを検出する。
【０１２５】
次に、図１７のフローチャートを参照して、第４の転写画像生成表示処理における表示装置１５１の動作について説明する。
【０１２６】
ステップＳ６１において、表示装置１５１の制御部１６１のトリガ検出部１７１は、例えば、入出力パネル３１から供給される受光画像に対して、例えば図１６Ａや図１６Ｂに示したような、円形や六角形の枠状のパターンを検出対象とするパターンマッチングを行い、そのパターンマッチングによりその枠状のパターンが検出されたか否かにより、トリガがあったか否かを判定する。ステップＳ６１において、トリガが無かったと判定された場合、ステップＳ６１に戻り、以降の処理が同様に行われる。
【０１２７】
一方、ステップＳ６１において、トリガがあったと判定された場合（すなわち、トリガが検出された場合）、ステップＳ６２において、画像生成部５２は、入出力パネル３１から供給される受光画像のうちのトリガに基づく受光画像から転写画像を生成し、表示制御部５３及び画像メモリ５４に供給する。
【０１２８】
具体的には、例えば、画像生成部５２は、入出力パネル３１から供給される受光画像から生成される前述した処理画像のうちの、トリガ検出部１７１で検出された円形や六角形の枠状のパターンの内側に映っている物体の部分のみを、転写画像として抽出する。
【０１２９】
ステップＳ６３において、表示制御部５３は、図５のステップＳ３と同様に、画像生成部５２から供給される転写画像に基づいて、例えば、その転写画像に映っている物体部分を前景とし、例えば何もない画像を背景とした表示画像を作成し、その表示データを入出力パネル３１の表示信号処理部４２に供給する。このようにして、表示制御部５３は、画像生成部５２から供給される転写画像に基づいて、入出力ディスプレイ１１に表示画像を表示させる。
【０１３０】
そして、ステップＳ６１に戻り、以降の処理が同様に行われる。
【０１３１】
以上のように、表示装置１５１は、入出力パネル３１から供給される受光画像から所定のパターンを検出することによりトリガを検出するようにしたので、すなわち、入出力ディスプレイ１１に近接している物体が転写に適した状態にあると想定されるときにトリガを検出するようにしたので、そのトリガに基づく受光画像から転写画像を生成することで、例えば、より鮮明な転写画像を生成することができる。
【０１３２】
なお、表示装置１５１は、生成した転写画像を、自身で記憶したり表示したりするようにしたが、その他、例えば、表示装置１５１に接続された他の装置で記憶したり表示したりするようにしてもよい。
【０１３３】
例えば、図１８の例では、表示装置１５１には、ネットワーク１８２を介してPC１８１が接続されている。表示装置１５１は、生成した転写画像を、PC１８１に送信し、PC１８１は、表示装置１５１から送信された転写画像を受信し、その転写画像を図示せぬ記憶部に記憶したり、その転写画像に基づく表示画像をディスプレイ１８１Ａに表示したりする。
【０１３４】
以上においては、表示制御部５３は、図１９Ａに示すように、転写画像の物体が映っている物体部分をそのまま表示画像とするようにしたが、その他、その物体部分に所定の画像処理を施して表示画像とするようにしてもよい。
【０１３５】
例えば、図１９Ｂの例では、表示制御部５３は、転写画像の物体が映っている物体部分を拡大し、所定の位置に移動する画像処理を施して表示画像としており、図１９Ｃの例では、表示制御部５３は、転写画像の物体が映っている物体部分を縮小し、所定の位置に移動する画像処理を施して表示画像としている。図１９Ｄの例では、表示制御部５３は、転写画像の物体が映っている物体部分を反時計回りに９０度回転し、所定の位置に移動する画像処理を施して表示画像としており、図１９Ｅの例では、表示制御部５３は、転写画像の物体が映っている物体部分を拡大し、反時計回りに９０度回転し、所定の位置に移動する画像処理を施して表示画像としている。図１９Ｆの例では、表示制御部５３は、転写画像の物体が映っている物体部分を反時計回りに９０度回転し、縮小し、所定の位置に移動する画像処理を施して表示画像としており、図１９Ｇの例では、表示制御部５３は、転写画像の物体が映っている物体部分を上下方向に反転する画像処理を施して表示画像としている。
【０１３６】
なお、表示制御部５３は、転写画像の物体が映っている物体部分に対して、これらの任意の拡大率での拡大若しくは任意の縮小率での縮小、任意の回転角での回転、任意の位置への移動、及び、左右方向の反転若しくは上下方向の反転のうちの複数を組み合せた画像処理を行うようにしてもよい。
【０１３７】
また、表示制御部５３は、図２０に示すように、転写画像の物体が映っている物体部分に対して異なる画像処理を施して得られる複数の画像を合成して表示画像とするようにしてもよい。
【０１３８】
なお、入出力ディスプレイ１１は、例えば、それに近接している物体に光を照射するとともに、その物体で反射して戻ってくる光を受光する。その場合、転写対象とする物体には、入出力ディスプレイ１１の受光しやすい周波数の光を反射しやすいものを用いるようにする。また、入出力ディスプレイ１１は、近接している物体に照射する光として、赤外光等の不可視光を照射するようにしてもよい。そのようにすることで、入出力ディスプレイ１１が画像の表示のために照射する可視光と、この物体への照射用の光とを分けて扱うことが可能になる。
【０１３９】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１４０】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４１】
コンピュータにおいて、CPU１９１，ROM（Read Only Memory）１９２，RAM１９３は、バス１９４により相互に接続されている。
【０１４２】
バス１９４には、さらに、入出力インタフェース１９５が接続されている。入出力インタフェース１９５には、キーボード、マウス、マイクロホンなどよりなる入力部１９６、ディスプレイ、スピーカなどよりなる出力部１９７、ハードディスクや不揮発性のメモリなどよりなる記憶部１９８、ネットワークインタフェースなどよりなる通信部１９９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２０１を駆動するドライブ２００が接続されている。
【０１４３】
以上のように構成されるコンピュータでは、CPU１９１が、例えば、記憶部１９８に記憶されているプログラムを、入出力インタフェース１９５及びバス１９４を介して、RAM１９３にロードして実行することにより、上述した一連の処理が行われる。
【０１４４】
コンピュータ（CPU１９１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２０１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４５】
そして、プログラムは、リムーバブルメディア２０１をドライブ２００に装着することにより、入出力インタフェース１９５を介して、記憶部１９８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１９９で受信し、記憶部１９８にインストールすることができる。その他、プログラムは、ROM１９２や記憶部１９８に、あらかじめインストールしておくことができる。
【０１４６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４８】
【図１】入出力ディスプレイに近付いている物体を転写する様子を示す図である。
【図２】転写画像（表示画像）の例を示す図である。
【図３】本発明を適用した表示装置１の外観構成例を示す図である。
【図４】表示装置１の内部構成例を示す図である。
【図５】第１の転写画像生成表示処理における表示装置１の動作を説明するためのフローチャートである。
【図６】表示装置７１の外観構成例を示す図である。
【図７】表示装置７１の内部構成例を示す図である。
【図８】第２の転写画像生成表示処理における表示装置７１の動作を説明するためのフローチャートである。
【図９】表示装置１１１の構成例を示す図である。
【図１０】第３の転写画像生成表示処理における表示装置１１１の動作を説明するためのフローチャートである。
【図１１】差分演算部１３１Ａによる差分演算を説明するための図である。
【図１２】グレー画像の転写画像（表示画像）の例を示す図である。
【図１３】カラー画像の転写画像（表示画像）の例を示す図である。
【図１４】転写画像の生成を制限する条件を説明するための図である。
【図１５】表示装置１５１の構成例を示す図である。
【図１６】枠状のパターンの例を示す図である。
【図１７】第４の転写画像生成表示処理における表示装置１５１の動作を説明するためのフローチャートである。
【図１８】表示装置１５１に接続されたPC１８１に転写画像に基づく表示画像を表示する様子を示す図である。
【図１９】表示制御部５３による画像処理の例を示す図である。
【図２０】表示制御部５３による画像処理の例を示す図である。
【図２１】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１４９】
１ 表示装置， １１ 入出力ディスプレイ， １１Ａ 光センサ， １２ キャプチャボタン， ３１ 入出力パネル， ３２ 制御部， ４１ 受光信号処理部， ４２ 表示信号処理部， ５１ トリガ検出部， ５２ 画像生成部， ５３ 表示制御部， ５４ 画像メモリ， ７１ 表示装置， ８１ 制御部， ９１ トリガ検出部， １１１ 表示装置， １２１ 制御部， １３１ トリガ検出部， １３１Ａ 差分演算部， １３１Ｂ トリガ検出部， １５１ 表示装置， １６１ 制御部， １７１ トリガ検出部， １８１ PC， １８１Ａ ディスプレイ， １８２ ネットワーク， １９１ CPU， １９２ ROM， １９３ RAM， １９４ バス， １９５ 入出力インタフェース， １９６ 入力部， １９７ 出力部， １９８ 記憶部， １９９ 通信部， ２００ ドライブ， ２０１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置において、
入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出手段と、
前記トリガ検出手段により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成手段と、
前記画像生成手段により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御手段と
を備える表示装置。
【請求項２】
前記入力部は、ボタンであり、
前記入力部に対する入力は、ユーザが前記ボタンを押すことまたは前記ボタンを押した後に離すことによりなされる入力である
請求項１に記載の表示装置。
【請求項３】
前記画像生成手段は、
前記トリガが検出されたときのフレームの前記受光画像、
前記トリガが検出されたときのフレームよりn（n＞0）フレーム前の前記受光画像、
前記トリガが検出されたときのフレームよりm（m＞0）フレーム後の前記受光画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を平均した画像、
または、前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を重み付け平均した画像
である処理画像から、前記転写画像を生成する
請求項１に記載の表示装置。
【請求項４】
前記画像生成手段は、
前記処理画像における前記物体が映っている物体部分のうちの面積が最大の前記物体部分のみ、
前記処理画像における前記物体が映っている物体部分のうちの面積が所定の閾値以上の前記物体部分のみ、
前記処理画像における前記物体が映っている物体部分のうちの面積が上位N個の前記物体部分のみ、
または、前記処理画像全体
を前記転写画像として抽出する
請求項３に記載の表示装置。
【請求項５】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して、
任意の拡大率での拡大若しくは任意の縮小率での縮小、
任意の回転角での回転、
任意の位置への移動、
及び、左右方向の反転若しくは上下方向の反転
のうちの１つまたは複数を組み合せた画像処理を施して前記表示画像として前記表示受光手段に表示させる
請求項１に記載の表示装置。
【請求項６】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して異なる前記画像処理を施して得られる複数の画像を合成して前記表示画像とする
請求項５に記載の表示装置。
【請求項７】
前記受光画像は、２値画像、グレー画像、またはカラー画像である
請求項１に記載の表示装置。
【請求項８】
前記表示受光手段は、前記物体に光を照射するとともに、前記物体で反射して戻ってくる光を受光する
請求項１に記載の表示装置。
【請求項９】
前記物体には、前記表示受光手段の受光しやすい周波数の光を反射しやすいものを用いる
請求項８に記載の表示装置。
【請求項１０】
前記表示受光手段は、赤外光を照射する
請求項８に記載の表示装置。
【請求項１１】
画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置の制御方法において、
入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと、
前記画像生成ステップの処理により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御ステップと
を含む制御方法。
【請求項１２】
画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置の制御処理をコンピュータに実行させるプログラムであり、
入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと、
前記画像生成ステップの処理により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御ステップと
を含む制御処理をコンピュータに実行させるプログラム。
【請求項１３】
外部からの光の受光を行う受光手段を備える入力装置において、
前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出手段と、
前記トリガ検出手段により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成手段と
を備える入力装置。
【請求項１４】
前記トリガ検出手段は、前記差分値がnフレーム連続して前記所定の範囲内になったことをトリガとして検出する
請求項１３に記載の入力装置。
【請求項１５】
前記画像生成手段は、
前記トリガが検出されたときのフレームの前記受光画像、
前記トリガが検出されたときのフレームよりn（n＞0）フレーム前の前記受光画像、
前記トリガが検出されたときのフレームよりm（m＞0）フレーム後の前記受光画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を平均した画像、
または、前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を重み付け平均した画像
である処理画像から、前記転写画像を生成する
請求項１３に記載の入力装置。
【請求項１６】
前記画像生成手段は、
前記処理画像における前記物体が映っている物体部分のうちの面積が最大の前記物体部分のみ、
前記処理画像における前記物体が映っている物体部分のうちの面積が所定の閾値以上の前記物体部分のみ、
前記処理画像における前記物体が映っている物体部分のうちの面積が上位N個の前記物体部分のみ、
または、前記処理画像全体
を前記転写画像として抽出する
請求項１５に記載の入力装置。
【請求項１７】
前記画像生成手段により生成される前記転写画像を記憶する記憶手段をさらに備える
請求項１３に記載の入力装置。
【請求項１８】
前記入力装置には、記憶装置が接続され、
前記画像生成手段により生成される前記転写画像を、前記記憶装置に送信する送信手段をさらに備え、
前記記憶装置は、前記入力装置の前記送信手段から送信された前記転写画像を受信して記憶する
請求項１３に記載の入力装置。
【請求項１９】
前記入力装置には、表示装置が接続され、
前記画像生成手段により生成される前記転写画像を、前記表示装置に送信する送信手段をさらに備え、
前記表示装置は、前記入力装置の前記送信手段から送信された前記転写画像を受信し、その前記転写画像に基づく表示画像を表示部に表示する
請求項１３に記載の入力装置。
【請求項２０】
前記画像生成手段により生成される前記転写画像に基づく表示画像を表示部に表示させる表示制御手段をさらに備える
請求項１３に記載の入力装置。
【請求項２１】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して、
任意の拡大率での拡大若しくは任意の縮小率での縮小、
任意の回転角での回転、
任意の位置への移動、
及び、左右方向の反転若しくは上下方向の反転
のうちの１つまたは複数を組み合せた画像処理を施して前記表示画像として前記表示部に表示させる
請求項２０に記載の入力装置。
【請求項２２】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して異なる前記画像処理を施して得られる複数の画像を合成して前記表示画像とする
請求項２１に記載の入力装置。
【請求項２３】
前記受光画像は、２値画像、グレー画像、またはカラー画像である
請求項１３に記載の入力装置。
【請求項２４】
前記画像生成手段は、前記転写画像を生成すると、その前記転写画像における前記物体が映っている物体部分を含む所定の大きさの部分に対応する部分の前記受光画像の画素値が所定の範囲になるまで、前記転写画像の生成を行わない
請求項１３に記載の入力装置。
【請求項２５】
前記表示受光手段は、前記物体に光を照射するとともに、前記物体で反射して戻ってくる光を受光する
請求項１３に記載の入力装置。
【請求項２６】
前記物体には、前記表示受光手段の受光しやすい周波数の光を反射しやすいものを用いる
請求項２５に記載の入力装置。
【請求項２７】
前記表示受光手段は、赤外光を照射する
請求項２５に記載の表示装置。
【請求項２８】
外部からの光の受光を行う受光手段を備える入力装置の制御方法において、
前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと
を含む制御方法。
【請求項２９】
外部からの光の受光を行う受光手段を備える入力装置の制御処理をコンピュータに実行させるプログラムであり、
前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと
を含む制御処理をコンピュータに実行させるプログラム。
【請求項３０】
外部からの光の受光を行う受光手段を備える入力装置において、
前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出手段と、
前記トリガ検出手段により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成手段と
を備える入力装置。
【請求項３１】
前記画像生成手段は、
前記トリガが検出されたときのフレームの前記受光画像、
前記トリガが検出されたときのフレームよりn（n＞0）フレーム前の前記受光画像、
前記トリガが検出されたときのフレームよりm（m＞0）フレーム後の前記受光画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を平均した画像、
または、前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を重み付け平均した画像
である処理画像から、前記転写画像を生成する
請求項３０に記載の入力装置。
【請求項３２】
前記画像生成手段は、前記処理画像のうちの、前記枠状のパターンの内側にある前記物体が映っている物体部分のみを、前記転写画像として抽出する
請求項３１に記載の入力装置。
【請求項３３】
前記画像生成手段により生成される前記転写画像を記憶する記憶手段をさらに備える
請求項３０に記載の入力装置。
【請求項３４】
前記入力装置には、記憶装置が接続され、
前記画像生成手段により生成される前記転写画像を、前記記憶装置に送信する送信手段をさらに備え、
前記記憶装置は、前記入力装置の前記送信手段から送信された前記転写画像を受信して記憶する
請求項３０に記載の入力装置。
【請求項３５】
前記入力装置には、表示装置が接続され、
前記画像生成手段により生成される前記転写画像を、前記表示装置に送信する送信手段をさらに備え、
前記表示装置は、前記入力装置の前記送信手段から送信された前記転写画像を受信し、その前記転写画像に基づく表示画像を表示部に表示する
請求項３０に記載の入力装置。
【請求項３６】
前記画像生成手段により生成される前記転写画像に基づく表示画像を表示部に表示させる表示制御手段をさらに備える
請求項３０に記載の入力装置。
【請求項３７】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して、
任意の拡大率での拡大若しくは任意の縮小率での縮小、
任意の回転角での回転、
任意の位置への移動、
及び、左右方向の反転若しくは上下方向の反転
のうちの１つまたは複数を組み合せた画像処理を施して前記表示画像として前記表示部に表示させる
請求項３６に記載の入力装置。
【請求項３８】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して異なる前記画像処理を施して得られる複数の画像を合成して前記表示画像とする
請求項３７に記載の入力装置。
【請求項３９】
前記受光画像は、２値画像、グレー画像、またはカラー画像である
請求項３０に記載の入力装置。
【請求項４０】
前記表示受光手段は、前記物体に光を照射するとともに、前記物体で反射して戻ってくる光を受光する
請求項３０に記載の入力装置。
【請求項４１】
前記物体には、前記表示受光手段の受光しやすい周波数の光を反射しやすいものを用いる
請求項４０に記載の入力装置。
【請求項４２】
前記表示受光手段は、赤外光を照射する
請求項４０に記載の表示装置。
【請求項４３】
外部からの光の受光を行う受光手段を備える入力装置の制御方法において、
前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと
を含む制御方法。
【請求項４４】
外部からの光の受光を行う受光手段を備える入力装置の制御処理をコンピュータに実行させるプログラムであり、
前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと
を含む制御処理をコンピュータに実行させるプログラム。
【請求項１】
画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置において、
入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出手段と、
前記トリガ検出手段により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成手段と、
前記画像生成手段により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御手段と
を備える表示装置。
【請求項２】
前記入力部は、ボタンであり、
前記入力部に対する入力は、ユーザが前記ボタンを押すことまたは前記ボタンを押した後に離すことによりなされる入力である
請求項１に記載の表示装置。
【請求項３】
前記画像生成手段は、
前記トリガが検出されたときのフレームの前記受光画像、
前記トリガが検出されたときのフレームよりn（n＞0）フレーム前の前記受光画像、
前記トリガが検出されたときのフレームよりm（m＞0）フレーム後の前記受光画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を平均した画像、
または、前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を重み付け平均した画像
である処理画像から、前記転写画像を生成する
請求項１に記載の表示装置。
【請求項４】
前記画像生成手段は、
前記処理画像における前記物体が映っている物体部分のうちの面積が最大の前記物体部分のみ、
前記処理画像における前記物体が映っている物体部分のうちの面積が所定の閾値以上の前記物体部分のみ、
前記処理画像における前記物体が映っている物体部分のうちの面積が上位N個の前記物体部分のみ、
または、前記処理画像全体
を前記転写画像として抽出する
請求項３に記載の表示装置。
【請求項５】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して、
任意の拡大率での拡大若しくは任意の縮小率での縮小、
任意の回転角での回転、
任意の位置への移動、
及び、左右方向の反転若しくは上下方向の反転
のうちの１つまたは複数を組み合せた画像処理を施して前記表示画像として前記表示受光手段に表示させる
請求項１に記載の表示装置。
【請求項６】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して異なる前記画像処理を施して得られる複数の画像を合成して前記表示画像とする
請求項５に記載の表示装置。
【請求項７】
前記受光画像は、２値画像、グレー画像、またはカラー画像である
請求項１に記載の表示装置。
【請求項８】
前記表示受光手段は、前記物体に光を照射するとともに、前記物体で反射して戻ってくる光を受光する
請求項１に記載の表示装置。
【請求項９】
前記物体には、前記表示受光手段の受光しやすい周波数の光を反射しやすいものを用いる
請求項８に記載の表示装置。
【請求項１０】
前記表示受光手段は、赤外光を照射する
請求項８に記載の表示装置。
【請求項１１】
画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置の制御方法において、
入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと、
前記画像生成ステップの処理により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御ステップと
を含む制御方法。
【請求項１２】
画像の表示と、外部からの光の受光を行う表示受光手段を備える表示装置の制御処理をコンピュータに実行させるプログラムであり、
入力部に対する入力または前記表示受光手段の所定の領域に対する入力をトリガとして検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記表示受光手段での受光に基づく受光画像から、前記表示受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと、
前記画像生成ステップの処理により生成される前記転写画像に基づく表示画像を前記表示受光手段に表示させる表示制御ステップと
を含む制御処理をコンピュータに実行させるプログラム。
【請求項１３】
外部からの光の受光を行う受光手段を備える入力装置において、
前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出手段と、
前記トリガ検出手段により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成手段と
を備える入力装置。
【請求項１４】
前記トリガ検出手段は、前記差分値がnフレーム連続して前記所定の範囲内になったことをトリガとして検出する
請求項１３に記載の入力装置。
【請求項１５】
前記画像生成手段は、
前記トリガが検出されたときのフレームの前記受光画像、
前記トリガが検出されたときのフレームよりn（n＞0）フレーム前の前記受光画像、
前記トリガが検出されたときのフレームよりm（m＞0）フレーム後の前記受光画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を平均した画像、
または、前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を重み付け平均した画像
である処理画像から、前記転写画像を生成する
請求項１３に記載の入力装置。
【請求項１６】
前記画像生成手段は、
前記処理画像における前記物体が映っている物体部分のうちの面積が最大の前記物体部分のみ、
前記処理画像における前記物体が映っている物体部分のうちの面積が所定の閾値以上の前記物体部分のみ、
前記処理画像における前記物体が映っている物体部分のうちの面積が上位N個の前記物体部分のみ、
または、前記処理画像全体
を前記転写画像として抽出する
請求項１５に記載の入力装置。
【請求項１７】
前記画像生成手段により生成される前記転写画像を記憶する記憶手段をさらに備える
請求項１３に記載の入力装置。
【請求項１８】
前記入力装置には、記憶装置が接続され、
前記画像生成手段により生成される前記転写画像を、前記記憶装置に送信する送信手段をさらに備え、
前記記憶装置は、前記入力装置の前記送信手段から送信された前記転写画像を受信して記憶する
請求項１３に記載の入力装置。
【請求項１９】
前記入力装置には、表示装置が接続され、
前記画像生成手段により生成される前記転写画像を、前記表示装置に送信する送信手段をさらに備え、
前記表示装置は、前記入力装置の前記送信手段から送信された前記転写画像を受信し、その前記転写画像に基づく表示画像を表示部に表示する
請求項１３に記載の入力装置。
【請求項２０】
前記画像生成手段により生成される前記転写画像に基づく表示画像を表示部に表示させる表示制御手段をさらに備える
請求項１３に記載の入力装置。
【請求項２１】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して、
任意の拡大率での拡大若しくは任意の縮小率での縮小、
任意の回転角での回転、
任意の位置への移動、
及び、左右方向の反転若しくは上下方向の反転
のうちの１つまたは複数を組み合せた画像処理を施して前記表示画像として前記表示部に表示させる
請求項２０に記載の入力装置。
【請求項２２】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して異なる前記画像処理を施して得られる複数の画像を合成して前記表示画像とする
請求項２１に記載の入力装置。
【請求項２３】
前記受光画像は、２値画像、グレー画像、またはカラー画像である
請求項１３に記載の入力装置。
【請求項２４】
前記画像生成手段は、前記転写画像を生成すると、その前記転写画像における前記物体が映っている物体部分を含む所定の大きさの部分に対応する部分の前記受光画像の画素値が所定の範囲になるまで、前記転写画像の生成を行わない
請求項１３に記載の入力装置。
【請求項２５】
前記表示受光手段は、前記物体に光を照射するとともに、前記物体で反射して戻ってくる光を受光する
請求項１３に記載の入力装置。
【請求項２６】
前記物体には、前記表示受光手段の受光しやすい周波数の光を反射しやすいものを用いる
請求項２５に記載の入力装置。
【請求項２７】
前記表示受光手段は、赤外光を照射する
請求項２５に記載の表示装置。
【請求項２８】
外部からの光の受光を行う受光手段を備える入力装置の制御方法において、
前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと
を含む制御方法。
【請求項２９】
外部からの光の受光を行う受光手段を備える入力装置の制御処理をコンピュータに実行させるプログラムであり、
前記受光手段での受光に基づく受光画像であって、そのときのフレームと前記フレームに時間的に近いフレームの前記受光画像どうしの差分を示す差分値が所定の範囲になったことをトリガとして検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと
を含む制御処理をコンピュータに実行させるプログラム。
【請求項３０】
外部からの光の受光を行う受光手段を備える入力装置において、
前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出手段と、
前記トリガ検出手段により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成手段と
を備える入力装置。
【請求項３１】
前記画像生成手段は、
前記トリガが検出されたときのフレームの前記受光画像、
前記トリガが検出されたときのフレームよりn（n＞0）フレーム前の前記受光画像、
前記トリガが検出されたときのフレームよりm（m＞0）フレーム後の前記受光画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより前の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を平均した画像、
前記トリガが検出されたときのフレームより後の所定数のフレームの前記受光画像を重み付け平均した画像、
前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を平均した画像、
または、前記トリガが検出されたときのフレームを含む所定数のフレームの前記受光画像を重み付け平均した画像
である処理画像から、前記転写画像を生成する
請求項３０に記載の入力装置。
【請求項３２】
前記画像生成手段は、前記処理画像のうちの、前記枠状のパターンの内側にある前記物体が映っている物体部分のみを、前記転写画像として抽出する
請求項３１に記載の入力装置。
【請求項３３】
前記画像生成手段により生成される前記転写画像を記憶する記憶手段をさらに備える
請求項３０に記載の入力装置。
【請求項３４】
前記入力装置には、記憶装置が接続され、
前記画像生成手段により生成される前記転写画像を、前記記憶装置に送信する送信手段をさらに備え、
前記記憶装置は、前記入力装置の前記送信手段から送信された前記転写画像を受信して記憶する
請求項３０に記載の入力装置。
【請求項３５】
前記入力装置には、表示装置が接続され、
前記画像生成手段により生成される前記転写画像を、前記表示装置に送信する送信手段をさらに備え、
前記表示装置は、前記入力装置の前記送信手段から送信された前記転写画像を受信し、その前記転写画像に基づく表示画像を表示部に表示する
請求項３０に記載の入力装置。
【請求項３６】
前記画像生成手段により生成される前記転写画像に基づく表示画像を表示部に表示させる表示制御手段をさらに備える
請求項３０に記載の入力装置。
【請求項３７】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して、
任意の拡大率での拡大若しくは任意の縮小率での縮小、
任意の回転角での回転、
任意の位置への移動、
及び、左右方向の反転若しくは上下方向の反転
のうちの１つまたは複数を組み合せた画像処理を施して前記表示画像として前記表示部に表示させる
請求項３６に記載の入力装置。
【請求項３８】
前記表示制御手段は、前記転写画像の物体が映っている物体部分に対して異なる前記画像処理を施して得られる複数の画像を合成して前記表示画像とする
請求項３７に記載の入力装置。
【請求項３９】
前記受光画像は、２値画像、グレー画像、またはカラー画像である
請求項３０に記載の入力装置。
【請求項４０】
前記表示受光手段は、前記物体に光を照射するとともに、前記物体で反射して戻ってくる光を受光する
請求項３０に記載の入力装置。
【請求項４１】
前記物体には、前記表示受光手段の受光しやすい周波数の光を反射しやすいものを用いる
請求項４０に記載の入力装置。
【請求項４２】
前記表示受光手段は、赤外光を照射する
請求項４０に記載の表示装置。
【請求項４３】
外部からの光の受光を行う受光手段を備える入力装置の制御方法において、
前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと
を含む制御方法。
【請求項４４】
外部からの光の受光を行う受光手段を備える入力装置の制御処理をコンピュータに実行させるプログラムであり、
前記受光手段での受光に基づく受光画像から枠状のパターンを検出することによりトリガを検出するトリガ検出ステップと、
前記トリガ検出ステップの処理により検出される前記トリガに基づいて、前記受光画像から、前記受光手段に近接している物体が映っている転写画像を生成する画像生成ステップと
を含む制御処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−１６９７９４（Ｐ２００９−１６９７９４Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−８７６８（Ｐ２００８−８７６８）
【出願日】平成２０年１月１８日（２００８．１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１月１８日（２００８．１．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]