画像作成装置、画像作成プログラム
【課題】ユーザによる画像の描画行為を補助する。
【解決手段】ＣＰＵ１０は、描画（スケッチ）対象とする画像を選択する指示が入力されると、この入力された指示が示す画像に対応する、ユーザにより描画させるための描画位置を表す補助情報（補助線）を生成する。ＣＰＵ１０は、この生成された補助情報を表示する補助線をディスプレイ１８において表示させ、この表示された補助情報に対する画像データをタッチパネル２０から入力し、この入力された画像データに応じた画像をディスプレイ１８において表示させる。
【解決手段】ＣＰＵ１０は、描画（スケッチ）対象とする画像を選択する指示が入力されると、この入力された指示が示す画像に対応する、ユーザにより描画させるための描画位置を表す補助情報（補助線）を生成する。ＣＰＵ１０は、この生成された補助情報を表示する補助線をディスプレイ１８において表示させ、この表示された補助情報に対する画像データをタッチパネル２０から入力し、この入力された画像データに応じた画像をディスプレイ１８において表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書きにより画像を描画することができる画像作成装置、及び同装置において実行される画像作成プログラムに関する。
【背景技術】
【０００２】
従来、画像データから自動で元画像を表現したスケッチ画を作成するスケッチ画自動作成装置が考えられている（特許文献１）。スケッチ画自動作成装置は、元画像の画像データに対して、エッジ感度パラメータ、折線近似パラメータ、ゴミサイズパラメータに応じた処理によって、エッジ検出、細線化、折線近似、ゴミ削除の各処理を実行して線図形の描画を行う。
【特許文献１】特開２００４−７８４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように従来のスケッチ画自動作成装置は、元画像の画像データをもとにして自動的に線図形の描画（スケッチ）を行うものであって、ユーザがスケッチをするものではなかった。ユーザがスケッチ画像を描画する場合、描画対象とする物体等を直接視認しながらするだけでなく、ディスプレイ中に描画対象とする画像を表示させて、この画像を参考にしながらすることが考えられていた。
【０００４】
しかしながら、絵画技術を習得していないユーザにとっては、スケッチを練習しようとする際に、ディスプレイに画像を表示させたとしても、描画対象とする物体等を直接視認する場合と何ら変わりなく描画行為を補助するものではなかった。
【０００５】
本発明は前述した事情に考慮してなされたもので、その目的は、ユーザによる画像の描画行為を補助することが可能な画像作成装置、画像作成プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、描画対象とする画像を選択する指示を入力する入力手段と、前記入力手段により入力された指示が示す画像に対応する、ユーザにより描画させるための描画位置を表す補助情報を生成する補助情報生成手段と、前記補助情報生成手段によって生成された補助情報を表示する補助情報表示手段と、前記補助情報表示手段により表示された補助情報に対する画像データを入力する画像入力手段と、前記画像入力手段により入力された画像データに応じて表示する画像表示手段とを具備したことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザによる画像の描画行為を補助することが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態における画像作成装置の機能構成を示すブロック図である。画像作成装置は、例えば携帯型のゲーム装置によって実現されるものとする。以下、ゲーム装置を対象として説明する。
【０００９】
図１に示すように、本実施形態におけるゲーム装置（画像作成装置）には、ＣＰＵ１０が実装される。ＣＰＵ１０には、バスを介して、ＲＡＭ１１、ＧＰＵ１２，１３、表示コントローラ１６、ディスプレイ１７，１８、インタフェースユニット１９、コネクタ２３、及び通信ユニット２６が接続される。
【００１０】
ＣＰＵ１０は、ゲーム装置全体の制御を司るもので、ＲＡＭ１１に記憶されたプログラムに応じた各種処理を実行する。ＣＰＵ１０は、本実施形態における画像作成プログラムに基づいてスケッチ処理を実行し、ユーザによって手書きによって画像を描画（スケッチ）させることができる。スケッチ処理では、描画対象とする画像に対応して、ユーザにより描画させるための描画位置を表す補助情報を生成して表示することで、絵画技術を習得していないユーザであっても絵画技術を利用したスケッチが簡単にできるようにする。
【００１１】
ＲＡＭ１１は、ＣＰＵ１０により実行されるプログラムやデータなどを一時的に記憶する。
【００１２】
ＧＰＵ１２，１３は、ＣＰＵ１０からの指示に応じて、ＲＡＭ１１に記憶されている表示画像を生成するためのデータに基づいて表示画像データを生成するもので、ＧＰＵ１２には、ＶＲＡＭ１４が接続され、ＧＰＵ１３には、ＶＲＡＭ１５が接続されている。ＧＰＵ１２は、ディスプレイ１７において表示するための表示画像データを生成してＶＲＡＭ１４に描画する。ＧＰＵ１３は、同様にディスプレイ１８において表示するための表示画像データを生成してＶＲＡＭ１５に描画する。
【００１３】
ディスプレイ１７，１８は、表示コントローラ１６の制御のもとで画像を表示する。ディスプレイ１７，１８は、例えばヒンジ機構によって開閉可能に結合された２つの筐体のそれぞれに設けられる。一方のディスプレイ１８は、後述するタッチパネル２０と積層一体型に形成されており、スケッチ処理が実行される際には、ユーザに描画させるための描画位置を表す補助情報（例えば補助線）を表示して、タッチパネル２０から補助情報が示す表示位置に対応する画像データを入力させることができる。
【００１４】
表示コントローラ１６は、ディスプレイ１７，１８における画面表示を制御するもので、ＶＲＡＭ１４に記憶された画像データをもとにディスプレイ１７において画像を表示させ、ＶＲＡＭ１５に記憶された画像データをもとにディスプレイ１７において画像を表示させる。
【００１５】
インタフェースユニット１９は、各種デバイスを接続するためのもので、例えばタッチパネル２０、スピーカ２１、ボタン群２２が接続される。タッチパネル２０は、ペン２０ａを用いたパネル面に対する位置指示に応じた画像（描画）データを入力する。
【００１６】
タッチパネル２０は、例えばディスプレイ１８と積層一体型に構成されているため、ディスプレイ１８に表示された補助情報（補助線等）を利用した画像の入力（スケッチ）を簡単に行うことができる。
【００１７】
スピーカ２１は、ＣＰＵ１０の制御のもとで操作音や各種アプリケーションに応じた各種音（メッセージ音声、音楽、効果音等）を出力させる。
ボタン群２２は、ユーザからの指示を入力するためのもので、例えば十字ボタン、スタートボタン、セレクトボタン、Ａボタン、Ｂボタン、Ｘボタン、Ｙボタン、電源ボタン、Ｌボタン、及びＲボタンを含んでいる。
【００１８】
コネクタ２３は、外部デバイスを着脱自在に接続するためのもので、例えばメモリデバイス２４及び画像入力装置２５を接続することができる。
メモリデバイス２４は、例えばゲームプログラムを記憶するＲＯＭと、バックアップデータを書き換え可能に記憶するＲＡＭが搭載されている。画像作成プログラムがＲＯＭに記録されたメモリデバイス２４をゲーム装置に装着して、画像作成プログラムを実行することで、ゲーム装置を画像作成装置として動作させることができる。メモリデバイス２４のＲＡＭには、プログラムの他にも、適宜、ＣＰＵ１０がプログラムを実行して得られる一時的なデータ等が記憶される。
【００１９】
画像入力装置２５は、画像を撮影して画像データを入力するためのもので、例えば静止画像の画像データを入力するカメラ装置である。画像入力装置２５により入力された画像データは、画像作成プログラムによるスケッチ処理において利用することができる。
【００２０】
通信ユニット２６は、他のゲーム装置やネットワークを解して接続された他の機器との間の通信を制御するためのもので、例えばスケッチ処理において使用されるデータ等の送受信を行う。
【００２１】
なお、本実施形態における画像作成プログラムは、メモリデバイス２４等の外部記憶媒体を通じてゲーム装置に供給されるだけでなく、有線または無線の通信回線を通じて供給されてもよい。また、画像作成プログラムは、ゲーム装置に実装された不揮発性記憶装置に予め記録されていてもよい。なお、画像作成プログラムを記憶する情報記憶媒体としては、不揮発性半導体メモリに限らず、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体でもよい。
【００２２】
図２は、本実施形態におけるスケッチ処理を制御するための補助情報管理データの一例を示している。
本実施形態の画像作成装置（画像作成プログラム）では、ユーザによりスケッチ（描画）させるための画像が予め用意されており、各画像に対して、描画対象として選択された場合にユーザに提供する補助情報が用意されている。図２に示す補助情報管理データの例では、補助情報として補助線を表示させるためのデータが設定されているものとする。
【００２３】
補助情報管理データには、ユーザがスケッチの対象として選択可能な画像を示すデータが複数設定されている（画像１、画像２、…）。画像データは、補助情報管理データとは別に記憶されており、例えば静止画像、ＣＧ（computer graphics）画像などがある。静止画像は、画像作成プログラムにおいて予め用意されたものでも良いし、画像入力装置２５からユーザ操作による撮影により入力されたものであっても良い。
【００２４】
各画像に対しては、表示可能とする複数の補助線が用意されている。補助線は、スケッチ対象とする画像（モチーフ画像）によって、それぞれ異なっている。例えば絵画技法として構図を決めるために遠近法を使用する場合には、画像中に設定された消失点から伸びる複数の線を補助線として提示することによって、ユーザによる遠近法を用いたスケッチを補助することができる。また、初心者用としてモチーフの輪郭線（アウトライン）を補助線として提示することによって、モチーフのスケッチを補助することができる。また、人物をスケッチする場合には、人の骨格を表す補助線や顔の向きに応じた目、鼻、口などのレイアウトを示唆する補助線や輪郭線などを提示することによって、ユーザによる人物のスケッチを補助することができる。なお、前述した補助線以外にも様々なスケッチを補助することができる補助線を用いることが可能である。
【００２５】
また、補助情報管理データでは、各補助線の情報に対して、ユーザレベルが設定されている。ユーザレベルは、ユーザのスケッチの技量を示すもので、スケッチ処理を開始する前にユーザにより指定される（予め設定されていても良い）。スケッチ処理では、補助線を表示させる場合に、補助情報管理データに設定されたユーザが指定したレベルに該当するものだけを表示させる。例えば、画像１の補助線１については、ユーザレベルがレベル１〜３である場合に表示対象となり、補助線２については、レベル１，２である場合に表示対象となることを示している。これにより、スケッチの技量レベルに適した補助線をユーザに提示することで、必要以上に補助線を提示することないようにできる。
【００２６】
なお、本実施形態では、ユーザによる描画（スケッチ）の対象となる画像として、一般的な静止画像の他、ＣＧ（computer graphics）を対象とすることができるものとする。ＣＧの場合には、予め補助情報管理データにおいて補助線のデータを用意しておく必要が無く、ＣＧデータをもとにして生成することができる（図３、補助線情報生成処理）。
【００２７】
また、補助情報として補助線を例にして説明しているが、その他の補助情報を補助情報管理データにおいて設定しておき、ユーザがスケッチする際に表示できるようにしても良い。例えば、描画位置を示唆する点表示、色分け表示、あるいはテキストによる説明表示などであっても良い。また、前述した補助線は、構図を決めるための補助情報として参考にすることができるが、例えば色を用いた画像をスケッチ（入力）する場合には、何れの位置にどのような色を使えばよいかを示唆する補助情報を表示するようにしても良い。
【００２８】
次に、本実施形態におけるゲーム装置の動作について説明する。
図３は、本実施形態におけるゲーム装置において実行されるスケッチ処理を説明するフローチャートである。ここでは、ゲーム装置を使用するユーザのユーザレベルが予め設定されているものとする。ユーザレベルを示すデータは、ＲＡＭ１１（あるいはメモリデバイス２４）に記憶され、ＣＰＵ１０により任意のタイミングで参照可能とする。
【００２９】
まず、ゲーム装置は、ボタン群２２に対するユーザの所定操作により、スケッチ処理（画像作成プログラム）の起動が指示されると、ＲＡＭ１１にロードされた画像作成プログラムを実行してスケッチ処理を起動する（ステップＡ１）。
【００３０】
次に、スケッチの対象となるモチーフ画像をユーザにより選択させる。ここでは、例えばＣＧ画像、あるいはその他の静止画像（写真）を選択することができるものとする。
【００３１】
ここで、モチーフ画像としてＣＧ画像が選択された場合には（ステップＡ３、Ｙｅｓ）、ＣＰＵ１０は、ＣＧ画像を対象として補助線情報生成処理を実行する（ステップＡ４）。
【００３２】
図４は、ＣＧ画像を対象とした補助線情報生成処理を示すフローチャートである。
まず、ＣＰＵ１０は、予め用意された複数のモチーフ画像（ＣＧ画像）の一覧をディスプレイ１８において表示し、その中からペン２０ａによる操作、あるいはボタン群２２による操作によって何れかをユーザにより選択させる（ステップＢ１）。
【００３３】
対象とするモチーフ画像が選択されると、ＣＰＵ１０は、選択された画像のＣＧデータをもとに、スケッチの対象とするＣＧ画像の向きや大きさをユーザによって調整させるための調整用画面をディスプレイ１８において表示させる。
【００３４】
図６には、ＣＧ画像の調整用画面の一例を示している。
図６に示す例では、画面中央にスケッチ対象として選択されたＣＧ画像が表示された画像表示領域が設けられ、この画像表示領域の右側と下側に回転操作つまみ３１，３２がそれぞれ設けられている。右側の回転操作つまみ３１は、ペン２０ａを表示画面（タッチパネル２０の検出面）に接触された状態で上下方向に移動させることで、表示されたＣＧ画像を上下方向に回転させる指示を入力することができる。また、下側の回転操作つまみ３２は、ペン２０ａを表示画面（タッチパネル２０の検出面）に接触された状態で左右方向に移動させることで、表示されたＣＧ画像を左右方向に回転させる指示を入力することができる。さらに、画像表示領域の左側には、拡大／縮小スライダ３３が設けられている。拡大／縮小スライダ３３は、ペン２０ａを表示画面（タッチパネル２０の検出面）に接触された状態で上方向に移動させることでＣＧ画像を拡大させ、下方向に移動させることでＣＧ画像を縮小させる指示を入力することができる。
【００３５】
ＣＰＵ１０は、回転操作つまみ３１，３２、拡大／縮小スライダ３３に対する操作による調整指示を入力すると、モチーフを撮影する仮想的なカメラ位置を変更して、ＣＧデータをもとにＣＧ画像を生成する（ステップＢ２）。ＣＧ画像の場合には、ユーザからの指示に応じたＣＧデータに対する演算処理によってＣＧ画像の大きさや、向きなどを自由に調整することができる。
【００３６】
ユーザが希望するようにＣＧ画像の向きや大きさが調整され、調整完了が指示されると、ＣＰＵ１０は、調整完了後のモチーフ画像（ＣＧ画像）をディスプレイ１８に表示させる。
【００３７】
図７には、ＣＧ画像の調整が完了した時点のディスプレイ１８における表示画面の一例を示している。
次に、調整後のモチーフ画像に対応して表示させる補助線をユーザによって選択させる。例えば、補助情報管理データには、各画像に対して補助線情報として複数の補助線が設定されており、これら複数の補助線を一覧表示してユーザに選択させる（ステップＢ３）。
【００３８】
ＣＰＵ１０は、補助線一覧表示中から何れかの補助線の種類を選択する指示が入力されると、ＣＧデータをもとにして、選択された補助線の種類に応じた補助線情報を生成する（ステップＢ４）。ＣＧデータについては、画像中の消失点や物体（モチーフ）のアウトライン、人物を識別してその骨格や顔の向きなど、絵画技法において使用される情報を演算処理によって容易に抽出することができる（ＣＧデータに、予め演算に必要な情報を埋め込んでおくことで、より簡単に補助情報を抽出することができる）。
【００３９】
こうして補助線情報生成処理によって補助線が生成されると、ＣＰＵ１０は、スケッチ入力が可能な状態に移行して、スケッチ入力用画面をディスプレイ１８において表示させ、この画面中に生成された補助線を表示する（ステップＡ７）。なお、補助線の表示形態は、例えばスケッチにより入力された画像の表示に支障とならないように、細線や破線などによって表示しても良いし、表示色を薄く表示しても良い。また、所定の色を用いて表示するようにしても良い。その他、各種の表示形態を用いるコメントが可能である。
【００４０】
ＣＰＵ１０は、ペン２０ａを用いたタッチパネル２０に対するスケッチ（画像）を入力する操作に応じて、描画データを入力してＲＡＭ１１に記憶させる（ステップＡ８）。また、ＣＰＵ１０は、ＲＡＭ１１に記憶された描画データをもとに、ディスプレイ１８において入力された画像を表示させる。
【００４１】
図８には、スケッチ入力用の画面に補助線３４が表示され、この補助線３４を利用してスケッチをしている状態の一例を示している。
図８では、図７に示すように調整されたモチーフのＣＧデータをもとに抽出された輪郭線が補助線として表示されている例を示している。図８に示すように、輪郭線が補助線として表示されているので、輪郭線をなぞるようにしてペン２０ａを操作して描画データを入力することで、図７のように見ている角度や大きさを調整したモチーフを、初心者であっても簡単にスケッチすることができる。
【００４２】
なお、図８に示す例では、輪郭線を補助線として表示させているが、補助線情報生成処理において、ユーザが任意に補助線の種類を選択することで、ＣＧデータをもとに選択された補助線が生成されて、スケッチ入力用の画面において表示される。
【００４３】
また、ＣＧ画像を対象とした補助線情報生成処理では、ユーザによって補助線の種類を選択させているが、予め設定されているユーザのレベルに応じて、補助情報管理データにおいて設定された補助線を表示対象として選択するようにしても良い。
【００４４】
次に、モチーフ画像として静止画像（その他の画像）が選択された場合について説明する。
【００４５】
モチーフ画像として予め用意された静止画像が選択された場合には（ステップＡ５、Ｙｅｓ）、ＣＰＵ１０は、静止画像を対象とする補助線情報生成処理を実行する（ステップＡ６）。
【００４６】
図５は、静止画像を対象とした補助線情報生成処理を示すフローチャートである。
まず、ＣＰＵ１０は、予め用意された複数のモチーフ画像（静止画像）の一覧をディスプレイ１８において表示し、その中からペン２０ａによる操作、あるいはボタン群２２による操作によって何れかをユーザにより選択させる（ステップＣ１）。
【００４７】
対象とするモチーフ画像が選択されると、ＣＰＵ１０は、予め設定されているユーザのレベルを、ＲＡＭ１１（あるいはメモリデバイス２４）に記憶されたユーザレベルを示すデータを参照することにより判別する（ステップＣ２）。
【００４８】
そして、ＣＰＵ１０は、補助情報管理データに設定されたユーザレベルに応じた補助情報を、モチーフ画像として選択された静止画像をもとにして生成する（ステップＣ３）。
【００４９】
例えば、ＣＰＵ１０は、生成対象とする補助線に応じた既存の画像処理を用いて、元の静止画像から補助線情報を抽出する。例えば、画像の空間微分を色空間値に対して行うことにより画像中に存在する線などを抽出する。また、モチーフ画像が人物を対象としている場合、画像中の人物画像をもとにして、既知の人体の姿勢推定手法を用いた画像処理によって人体の骨格モデルを表す補助線を生成することができる。その他、モチーフ画像に応じた種類の補助線に応じて、各種の画像処理を用いることにより、補助情報として用いることができる情報を抽出できる。
【００５０】
図９には、モチーフ画像として選択された静止画像の一例を示している。
図９に示すモチーフ画像（静止画像）は、絵画技法として遠近法を用いると好適な画像である。ＣＰＵ１０は、図９に示す静止画像に対して、例えば図１０に示すような補助情報を画像処理によって抽出する。すなわち、画像中に設定された消失点３６と、この消失点３６から伸びる複数の補助線３７を生成している。図１０に示す補助線をユーザに提示することによって、ユーザによる遠近法を用いたスケッチを補助することができる。
【００５１】
図１１には、人物を対象とした姿勢推定手法を用いて抽出される補助線の一例を示している。
図１１（ａ）は、人物の輪郭線を補助線３８として生成した例を示している。また、図１１（ｂ）は、人物の骨格線モデルを表す補助線３９を生成した例を示している。図１１に示す補助線３８，３９をユーザに提示することによって、人物のスケッチを補助することができる。
【００５２】
図１２には、人物の顔を対象として抽出される補助線の一例を示している。
人物の顔画像については、例えば目、鼻、口、耳などの形状をもとにして、それぞれの位置を検出し、各位置の配置をもとにして顔の向きを検出する。そして、目、鼻、口、耳の位置と顔の向きをもとにして、図１２に示すような、人物の顔をスケッチする際に補助となる補助線４０、例えば輪郭、目の位置を表す線、鼻と口の並びを表す線などを生成する。
【００５３】
なお、前述した補助線は一例であって、モチーフ画像に応じた各種の補助線を生成して、ユーザに提示するように構成することが可能である。
【００５４】
こうして補助線情報生成処理によって補助線が生成されると、ＣＰＵ１０は、スケッチ入力が可能な状態に移行して、スケッチ入力用画面をディスプレイ１８において表示させ、この画面中に生成された補助線を表示する（ステップＡ７）。ＣＰＵ１０は、ペン２０ａを用いたタッチパネル２０に対するスケッチ（画像）を入力する操作に応じて、描画データを入力してＲＡＭ１１に記憶させる（ステップＡ８）。また、ＣＰＵ１０は、ＲＡＭ１１に記憶された描画データをもとに、ディスプレイ１８において入力された画像を表示させる。
【００５５】
ここでは、ディスプレイ１８に表示された補助線を参考にすることによって、何れの位置において描画すべきか容易に把握することができ、タッチパネル２０の検出面上でペン２０ａを操作することによって画面に対して直接書き込む感覚を得ることができ、スケッチを楽しむことができる。さらに、ディスプレイ１８には補助線が直接的に示されているため、絵画技術を取得していないユーザであっても、ユーザレベルなりの絵が描けることを期待できる。
【００５６】
描画（スケッチ）の終了がボタン操作などによって指示されると（ステップＡ９、Ｙｅｓ）、ＣＰＵ１０は、ディスプレイ１８に表示させていた補助線と、入力された描画データとの比較によって評価値を算出する（ステップＡ１０）。すなわち、補助線が示す描画位置に対して、ユーザが正しく描画しているか判別するための評価値を算出する。
【００５７】
例えば、ＣＰＵ１０は、補助線が表す特徴量と、ユーザによって入力された描画データが表す特徴量とを算出し、各特徴量の類似度を評価値として算出する。なお、評価値の算出方法として用いる評価関数は各種既存の画像認識手法を応用して使用することができる。
【００５８】
図１３には、スケッチ入力用の画面に表示されたモチーフの輪郭を表す補助線４１の一例を示している。そして、図１４には、図１３に示す補助線４１に対して、ペン２０ａを用いてスケッチされた画像が表示された状態を示している。
【００５９】
図１４に示す例では、補助線４１がモチーフの輪郭を表しているので、補助線４１をなぞるようにして描画することによって、モチーフを表す画像を入力することができる。従って、ＣＰＵ１０は、補助線の位置と、入力された描画データのずれが少ないほど、正しくスケッチが行われたことを表す評価値を算出する。
【００６０】
なお、図１３に示すような輪郭線とは異なる他の補助線の場合には、ユーザに描画させるための描画位置が補助線の位置と一致していない。例えば、図１１（ｂ）に示すような人物の骨格モデルを表す補助線３９の場合には、補助線３９自体の特徴量を演算の対象とするのではなく、補助線３９が表すユーザにより描画させる描画位置（線）の特徴量と、ユーザに入力された描画データの特徴量との比較によって評価値を算出すれば良い。同様にして、他の種類の異なる補助線についても、補助線に応じた評価関数（演算方法）を用いて評価値を算出すれば良い。
【００６１】
ＣＰＵ１０は、ここで算出した評価値を、例えばディスプレイ１７において表示させる（ステップＡ１１）。ユーザは、ディスプレイ１７に表示された評価値を参照することによって、モチーフ画像を正しくスケッチできたか、自らの技能上達の状況を客観的に把握することができるようになる。
【００６２】
このようにして、本実施形態におけるゲーム装置（画像作成装置）では、スケッチの対象とするモチーフ画像を選択することで、このモチーフ画像を描画する際に補助となる補助線がディスプレイ１８において提示されるので、モチーフ画像を容易に描画することが可能となる。また、実際に描画した画像（描画データ）に対して、補助線をもとにして算出された評価値が出力されるので、この評価値を参考にして自らの絵画技術の上達を知ることができる。
【００６３】
なお、前述した説明では、ユーザによりモチーフ画像として選択されたＣＧ画像あるいは静止画像をもとに、補助線情報生成処理において補助線を生成しているが、予め画像に対して表示すべき補助線（あるいは他の補助情報）のデータを補助情報管理データにおいて設定しておき、このデータをもとにして補助線（補助情報）を表示するようにしても良い。これにより、スケッチ処理中のＣＰＵ１０に対する処理負担を軽減することができる。補助線を表示するためのデータは、前述したように、モチーフ画像（ＣＧ画像、静止画像等）をもとに、各種の方式を用いて生成することができる。
【００６４】
また、画像入力装置２５を利用して画像を撮影し、この画像をモチーフ画像として使用する場合に、ステップＡ６において説明した補助線情報生成処理を実行するようにしても良い。
【００６５】
さらに、前述した説明では、ユーザに対する補助情報として、描画位置を示す各種の線（実線、破線等）を表示させているが、その他の形態の保持書情報を表示させるようにしても良い。例えば、描画位置を示すように、矢印、各種マーク、アニメーションなどを表示したり、表示色を他と異なるようにするなど、他の表示形態を使用することが可能である。
【００６６】
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００６７】
また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
【図面の簡単な説明】
【００６８】
【図１】本実施形態における画像作成装置の機能構成を示すブロック図。
【図２】本実施形態におけるスケッチ処理を制御するための補助情報管理データの一例を示す図。
【図３】本実施形態におけるゲーム装置において実行されるスケッチ処理を説明するフローチャート。
【図４】ＣＧ画像を対象とした補助線情報生成処理を示すフローチャート。
【図５】静止画像を対象とした補助線情報生成処理を示すフローチャート。
【図６】ＣＧ画像の調整用画面の一例を示す図。
【図７】ＣＧ画像の調整が完了した時点のディスプレイ１８における表示画面の一例を示す図。
【図８】スケッチ入力用の画面に補助線３４が表示され、この補助線３４を利用してスケッチをしている状態の一例を示す図。
【図９】モチーフ画像として選択された静止画像の一例を示す図。
【図１０】図９に示す静止画像に対する補助線の一例を示す図。
【図１１】人物を対象とした姿勢推定手法を用いて抽出される補助線の一例を示す図。
【図１２】人物の顔を対象として抽出される補助線の一例を示す図。
【図１３】スケッチ入力用の画面に表示されたモチーフの輪郭を表す補助線４１の一例を示す図。
【図１４】図１３に示す補助線４１に対して、ペン２０ａを用いてスケッチされた画像が表示された状態を示す図。
【符号の説明】
【００６９】
１０…ＣＰＵ、１１…ＲＡＭ、１２，１３…ＧＰＵ、１４，１５…ＶＲＡＭ、１６…表示コントローラ、１７，１８…ディスプレイ、１９…インタフェースユニット、２０…タッチパネル、２０ａ…ペン、２１…スピーカ、２２…ボタン群、２３…コネクタ、２４…メモリデバイス、２５…画像入力装置、２６…通信ユニット。
【技術分野】
【０００１】
本発明は、手書きにより画像を描画することができる画像作成装置、及び同装置において実行される画像作成プログラムに関する。
【背景技術】
【０００２】
従来、画像データから自動で元画像を表現したスケッチ画を作成するスケッチ画自動作成装置が考えられている（特許文献１）。スケッチ画自動作成装置は、元画像の画像データに対して、エッジ感度パラメータ、折線近似パラメータ、ゴミサイズパラメータに応じた処理によって、エッジ検出、細線化、折線近似、ゴミ削除の各処理を実行して線図形の描画を行う。
【特許文献１】特開２００４−７８４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように従来のスケッチ画自動作成装置は、元画像の画像データをもとにして自動的に線図形の描画（スケッチ）を行うものであって、ユーザがスケッチをするものではなかった。ユーザがスケッチ画像を描画する場合、描画対象とする物体等を直接視認しながらするだけでなく、ディスプレイ中に描画対象とする画像を表示させて、この画像を参考にしながらすることが考えられていた。
【０００４】
しかしながら、絵画技術を習得していないユーザにとっては、スケッチを練習しようとする際に、ディスプレイに画像を表示させたとしても、描画対象とする物体等を直接視認する場合と何ら変わりなく描画行為を補助するものではなかった。
【０００５】
本発明は前述した事情に考慮してなされたもので、その目的は、ユーザによる画像の描画行為を補助することが可能な画像作成装置、画像作成プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、描画対象とする画像を選択する指示を入力する入力手段と、前記入力手段により入力された指示が示す画像に対応する、ユーザにより描画させるための描画位置を表す補助情報を生成する補助情報生成手段と、前記補助情報生成手段によって生成された補助情報を表示する補助情報表示手段と、前記補助情報表示手段により表示された補助情報に対する画像データを入力する画像入力手段と、前記画像入力手段により入力された画像データに応じて表示する画像表示手段とを具備したことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザによる画像の描画行為を補助することが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態における画像作成装置の機能構成を示すブロック図である。画像作成装置は、例えば携帯型のゲーム装置によって実現されるものとする。以下、ゲーム装置を対象として説明する。
【０００９】
図１に示すように、本実施形態におけるゲーム装置（画像作成装置）には、ＣＰＵ１０が実装される。ＣＰＵ１０には、バスを介して、ＲＡＭ１１、ＧＰＵ１２，１３、表示コントローラ１６、ディスプレイ１７，１８、インタフェースユニット１９、コネクタ２３、及び通信ユニット２６が接続される。
【００１０】
ＣＰＵ１０は、ゲーム装置全体の制御を司るもので、ＲＡＭ１１に記憶されたプログラムに応じた各種処理を実行する。ＣＰＵ１０は、本実施形態における画像作成プログラムに基づいてスケッチ処理を実行し、ユーザによって手書きによって画像を描画（スケッチ）させることができる。スケッチ処理では、描画対象とする画像に対応して、ユーザにより描画させるための描画位置を表す補助情報を生成して表示することで、絵画技術を習得していないユーザであっても絵画技術を利用したスケッチが簡単にできるようにする。
【００１１】
ＲＡＭ１１は、ＣＰＵ１０により実行されるプログラムやデータなどを一時的に記憶する。
【００１２】
ＧＰＵ１２，１３は、ＣＰＵ１０からの指示に応じて、ＲＡＭ１１に記憶されている表示画像を生成するためのデータに基づいて表示画像データを生成するもので、ＧＰＵ１２には、ＶＲＡＭ１４が接続され、ＧＰＵ１３には、ＶＲＡＭ１５が接続されている。ＧＰＵ１２は、ディスプレイ１７において表示するための表示画像データを生成してＶＲＡＭ１４に描画する。ＧＰＵ１３は、同様にディスプレイ１８において表示するための表示画像データを生成してＶＲＡＭ１５に描画する。
【００１３】
ディスプレイ１７，１８は、表示コントローラ１６の制御のもとで画像を表示する。ディスプレイ１７，１８は、例えばヒンジ機構によって開閉可能に結合された２つの筐体のそれぞれに設けられる。一方のディスプレイ１８は、後述するタッチパネル２０と積層一体型に形成されており、スケッチ処理が実行される際には、ユーザに描画させるための描画位置を表す補助情報（例えば補助線）を表示して、タッチパネル２０から補助情報が示す表示位置に対応する画像データを入力させることができる。
【００１４】
表示コントローラ１６は、ディスプレイ１７，１８における画面表示を制御するもので、ＶＲＡＭ１４に記憶された画像データをもとにディスプレイ１７において画像を表示させ、ＶＲＡＭ１５に記憶された画像データをもとにディスプレイ１７において画像を表示させる。
【００１５】
インタフェースユニット１９は、各種デバイスを接続するためのもので、例えばタッチパネル２０、スピーカ２１、ボタン群２２が接続される。タッチパネル２０は、ペン２０ａを用いたパネル面に対する位置指示に応じた画像（描画）データを入力する。
【００１６】
タッチパネル２０は、例えばディスプレイ１８と積層一体型に構成されているため、ディスプレイ１８に表示された補助情報（補助線等）を利用した画像の入力（スケッチ）を簡単に行うことができる。
【００１７】
スピーカ２１は、ＣＰＵ１０の制御のもとで操作音や各種アプリケーションに応じた各種音（メッセージ音声、音楽、効果音等）を出力させる。
ボタン群２２は、ユーザからの指示を入力するためのもので、例えば十字ボタン、スタートボタン、セレクトボタン、Ａボタン、Ｂボタン、Ｘボタン、Ｙボタン、電源ボタン、Ｌボタン、及びＲボタンを含んでいる。
【００１８】
コネクタ２３は、外部デバイスを着脱自在に接続するためのもので、例えばメモリデバイス２４及び画像入力装置２５を接続することができる。
メモリデバイス２４は、例えばゲームプログラムを記憶するＲＯＭと、バックアップデータを書き換え可能に記憶するＲＡＭが搭載されている。画像作成プログラムがＲＯＭに記録されたメモリデバイス２４をゲーム装置に装着して、画像作成プログラムを実行することで、ゲーム装置を画像作成装置として動作させることができる。メモリデバイス２４のＲＡＭには、プログラムの他にも、適宜、ＣＰＵ１０がプログラムを実行して得られる一時的なデータ等が記憶される。
【００１９】
画像入力装置２５は、画像を撮影して画像データを入力するためのもので、例えば静止画像の画像データを入力するカメラ装置である。画像入力装置２５により入力された画像データは、画像作成プログラムによるスケッチ処理において利用することができる。
【００２０】
通信ユニット２６は、他のゲーム装置やネットワークを解して接続された他の機器との間の通信を制御するためのもので、例えばスケッチ処理において使用されるデータ等の送受信を行う。
【００２１】
なお、本実施形態における画像作成プログラムは、メモリデバイス２４等の外部記憶媒体を通じてゲーム装置に供給されるだけでなく、有線または無線の通信回線を通じて供給されてもよい。また、画像作成プログラムは、ゲーム装置に実装された不揮発性記憶装置に予め記録されていてもよい。なお、画像作成プログラムを記憶する情報記憶媒体としては、不揮発性半導体メモリに限らず、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体でもよい。
【００２２】
図２は、本実施形態におけるスケッチ処理を制御するための補助情報管理データの一例を示している。
本実施形態の画像作成装置（画像作成プログラム）では、ユーザによりスケッチ（描画）させるための画像が予め用意されており、各画像に対して、描画対象として選択された場合にユーザに提供する補助情報が用意されている。図２に示す補助情報管理データの例では、補助情報として補助線を表示させるためのデータが設定されているものとする。
【００２３】
補助情報管理データには、ユーザがスケッチの対象として選択可能な画像を示すデータが複数設定されている（画像１、画像２、…）。画像データは、補助情報管理データとは別に記憶されており、例えば静止画像、ＣＧ（computer graphics）画像などがある。静止画像は、画像作成プログラムにおいて予め用意されたものでも良いし、画像入力装置２５からユーザ操作による撮影により入力されたものであっても良い。
【００２４】
各画像に対しては、表示可能とする複数の補助線が用意されている。補助線は、スケッチ対象とする画像（モチーフ画像）によって、それぞれ異なっている。例えば絵画技法として構図を決めるために遠近法を使用する場合には、画像中に設定された消失点から伸びる複数の線を補助線として提示することによって、ユーザによる遠近法を用いたスケッチを補助することができる。また、初心者用としてモチーフの輪郭線（アウトライン）を補助線として提示することによって、モチーフのスケッチを補助することができる。また、人物をスケッチする場合には、人の骨格を表す補助線や顔の向きに応じた目、鼻、口などのレイアウトを示唆する補助線や輪郭線などを提示することによって、ユーザによる人物のスケッチを補助することができる。なお、前述した補助線以外にも様々なスケッチを補助することができる補助線を用いることが可能である。
【００２５】
また、補助情報管理データでは、各補助線の情報に対して、ユーザレベルが設定されている。ユーザレベルは、ユーザのスケッチの技量を示すもので、スケッチ処理を開始する前にユーザにより指定される（予め設定されていても良い）。スケッチ処理では、補助線を表示させる場合に、補助情報管理データに設定されたユーザが指定したレベルに該当するものだけを表示させる。例えば、画像１の補助線１については、ユーザレベルがレベル１〜３である場合に表示対象となり、補助線２については、レベル１，２である場合に表示対象となることを示している。これにより、スケッチの技量レベルに適した補助線をユーザに提示することで、必要以上に補助線を提示することないようにできる。
【００２６】
なお、本実施形態では、ユーザによる描画（スケッチ）の対象となる画像として、一般的な静止画像の他、ＣＧ（computer graphics）を対象とすることができるものとする。ＣＧの場合には、予め補助情報管理データにおいて補助線のデータを用意しておく必要が無く、ＣＧデータをもとにして生成することができる（図３、補助線情報生成処理）。
【００２７】
また、補助情報として補助線を例にして説明しているが、その他の補助情報を補助情報管理データにおいて設定しておき、ユーザがスケッチする際に表示できるようにしても良い。例えば、描画位置を示唆する点表示、色分け表示、あるいはテキストによる説明表示などであっても良い。また、前述した補助線は、構図を決めるための補助情報として参考にすることができるが、例えば色を用いた画像をスケッチ（入力）する場合には、何れの位置にどのような色を使えばよいかを示唆する補助情報を表示するようにしても良い。
【００２８】
次に、本実施形態におけるゲーム装置の動作について説明する。
図３は、本実施形態におけるゲーム装置において実行されるスケッチ処理を説明するフローチャートである。ここでは、ゲーム装置を使用するユーザのユーザレベルが予め設定されているものとする。ユーザレベルを示すデータは、ＲＡＭ１１（あるいはメモリデバイス２４）に記憶され、ＣＰＵ１０により任意のタイミングで参照可能とする。
【００２９】
まず、ゲーム装置は、ボタン群２２に対するユーザの所定操作により、スケッチ処理（画像作成プログラム）の起動が指示されると、ＲＡＭ１１にロードされた画像作成プログラムを実行してスケッチ処理を起動する（ステップＡ１）。
【００３０】
次に、スケッチの対象となるモチーフ画像をユーザにより選択させる。ここでは、例えばＣＧ画像、あるいはその他の静止画像（写真）を選択することができるものとする。
【００３１】
ここで、モチーフ画像としてＣＧ画像が選択された場合には（ステップＡ３、Ｙｅｓ）、ＣＰＵ１０は、ＣＧ画像を対象として補助線情報生成処理を実行する（ステップＡ４）。
【００３２】
図４は、ＣＧ画像を対象とした補助線情報生成処理を示すフローチャートである。
まず、ＣＰＵ１０は、予め用意された複数のモチーフ画像（ＣＧ画像）の一覧をディスプレイ１８において表示し、その中からペン２０ａによる操作、あるいはボタン群２２による操作によって何れかをユーザにより選択させる（ステップＢ１）。
【００３３】
対象とするモチーフ画像が選択されると、ＣＰＵ１０は、選択された画像のＣＧデータをもとに、スケッチの対象とするＣＧ画像の向きや大きさをユーザによって調整させるための調整用画面をディスプレイ１８において表示させる。
【００３４】
図６には、ＣＧ画像の調整用画面の一例を示している。
図６に示す例では、画面中央にスケッチ対象として選択されたＣＧ画像が表示された画像表示領域が設けられ、この画像表示領域の右側と下側に回転操作つまみ３１，３２がそれぞれ設けられている。右側の回転操作つまみ３１は、ペン２０ａを表示画面（タッチパネル２０の検出面）に接触された状態で上下方向に移動させることで、表示されたＣＧ画像を上下方向に回転させる指示を入力することができる。また、下側の回転操作つまみ３２は、ペン２０ａを表示画面（タッチパネル２０の検出面）に接触された状態で左右方向に移動させることで、表示されたＣＧ画像を左右方向に回転させる指示を入力することができる。さらに、画像表示領域の左側には、拡大／縮小スライダ３３が設けられている。拡大／縮小スライダ３３は、ペン２０ａを表示画面（タッチパネル２０の検出面）に接触された状態で上方向に移動させることでＣＧ画像を拡大させ、下方向に移動させることでＣＧ画像を縮小させる指示を入力することができる。
【００３５】
ＣＰＵ１０は、回転操作つまみ３１，３２、拡大／縮小スライダ３３に対する操作による調整指示を入力すると、モチーフを撮影する仮想的なカメラ位置を変更して、ＣＧデータをもとにＣＧ画像を生成する（ステップＢ２）。ＣＧ画像の場合には、ユーザからの指示に応じたＣＧデータに対する演算処理によってＣＧ画像の大きさや、向きなどを自由に調整することができる。
【００３６】
ユーザが希望するようにＣＧ画像の向きや大きさが調整され、調整完了が指示されると、ＣＰＵ１０は、調整完了後のモチーフ画像（ＣＧ画像）をディスプレイ１８に表示させる。
【００３７】
図７には、ＣＧ画像の調整が完了した時点のディスプレイ１８における表示画面の一例を示している。
次に、調整後のモチーフ画像に対応して表示させる補助線をユーザによって選択させる。例えば、補助情報管理データには、各画像に対して補助線情報として複数の補助線が設定されており、これら複数の補助線を一覧表示してユーザに選択させる（ステップＢ３）。
【００３８】
ＣＰＵ１０は、補助線一覧表示中から何れかの補助線の種類を選択する指示が入力されると、ＣＧデータをもとにして、選択された補助線の種類に応じた補助線情報を生成する（ステップＢ４）。ＣＧデータについては、画像中の消失点や物体（モチーフ）のアウトライン、人物を識別してその骨格や顔の向きなど、絵画技法において使用される情報を演算処理によって容易に抽出することができる（ＣＧデータに、予め演算に必要な情報を埋め込んでおくことで、より簡単に補助情報を抽出することができる）。
【００３９】
こうして補助線情報生成処理によって補助線が生成されると、ＣＰＵ１０は、スケッチ入力が可能な状態に移行して、スケッチ入力用画面をディスプレイ１８において表示させ、この画面中に生成された補助線を表示する（ステップＡ７）。なお、補助線の表示形態は、例えばスケッチにより入力された画像の表示に支障とならないように、細線や破線などによって表示しても良いし、表示色を薄く表示しても良い。また、所定の色を用いて表示するようにしても良い。その他、各種の表示形態を用いるコメントが可能である。
【００４０】
ＣＰＵ１０は、ペン２０ａを用いたタッチパネル２０に対するスケッチ（画像）を入力する操作に応じて、描画データを入力してＲＡＭ１１に記憶させる（ステップＡ８）。また、ＣＰＵ１０は、ＲＡＭ１１に記憶された描画データをもとに、ディスプレイ１８において入力された画像を表示させる。
【００４１】
図８には、スケッチ入力用の画面に補助線３４が表示され、この補助線３４を利用してスケッチをしている状態の一例を示している。
図８では、図７に示すように調整されたモチーフのＣＧデータをもとに抽出された輪郭線が補助線として表示されている例を示している。図８に示すように、輪郭線が補助線として表示されているので、輪郭線をなぞるようにしてペン２０ａを操作して描画データを入力することで、図７のように見ている角度や大きさを調整したモチーフを、初心者であっても簡単にスケッチすることができる。
【００４２】
なお、図８に示す例では、輪郭線を補助線として表示させているが、補助線情報生成処理において、ユーザが任意に補助線の種類を選択することで、ＣＧデータをもとに選択された補助線が生成されて、スケッチ入力用の画面において表示される。
【００４３】
また、ＣＧ画像を対象とした補助線情報生成処理では、ユーザによって補助線の種類を選択させているが、予め設定されているユーザのレベルに応じて、補助情報管理データにおいて設定された補助線を表示対象として選択するようにしても良い。
【００４４】
次に、モチーフ画像として静止画像（その他の画像）が選択された場合について説明する。
【００４５】
モチーフ画像として予め用意された静止画像が選択された場合には（ステップＡ５、Ｙｅｓ）、ＣＰＵ１０は、静止画像を対象とする補助線情報生成処理を実行する（ステップＡ６）。
【００４６】
図５は、静止画像を対象とした補助線情報生成処理を示すフローチャートである。
まず、ＣＰＵ１０は、予め用意された複数のモチーフ画像（静止画像）の一覧をディスプレイ１８において表示し、その中からペン２０ａによる操作、あるいはボタン群２２による操作によって何れかをユーザにより選択させる（ステップＣ１）。
【００４７】
対象とするモチーフ画像が選択されると、ＣＰＵ１０は、予め設定されているユーザのレベルを、ＲＡＭ１１（あるいはメモリデバイス２４）に記憶されたユーザレベルを示すデータを参照することにより判別する（ステップＣ２）。
【００４８】
そして、ＣＰＵ１０は、補助情報管理データに設定されたユーザレベルに応じた補助情報を、モチーフ画像として選択された静止画像をもとにして生成する（ステップＣ３）。
【００４９】
例えば、ＣＰＵ１０は、生成対象とする補助線に応じた既存の画像処理を用いて、元の静止画像から補助線情報を抽出する。例えば、画像の空間微分を色空間値に対して行うことにより画像中に存在する線などを抽出する。また、モチーフ画像が人物を対象としている場合、画像中の人物画像をもとにして、既知の人体の姿勢推定手法を用いた画像処理によって人体の骨格モデルを表す補助線を生成することができる。その他、モチーフ画像に応じた種類の補助線に応じて、各種の画像処理を用いることにより、補助情報として用いることができる情報を抽出できる。
【００５０】
図９には、モチーフ画像として選択された静止画像の一例を示している。
図９に示すモチーフ画像（静止画像）は、絵画技法として遠近法を用いると好適な画像である。ＣＰＵ１０は、図９に示す静止画像に対して、例えば図１０に示すような補助情報を画像処理によって抽出する。すなわち、画像中に設定された消失点３６と、この消失点３６から伸びる複数の補助線３７を生成している。図１０に示す補助線をユーザに提示することによって、ユーザによる遠近法を用いたスケッチを補助することができる。
【００５１】
図１１には、人物を対象とした姿勢推定手法を用いて抽出される補助線の一例を示している。
図１１（ａ）は、人物の輪郭線を補助線３８として生成した例を示している。また、図１１（ｂ）は、人物の骨格線モデルを表す補助線３９を生成した例を示している。図１１に示す補助線３８，３９をユーザに提示することによって、人物のスケッチを補助することができる。
【００５２】
図１２には、人物の顔を対象として抽出される補助線の一例を示している。
人物の顔画像については、例えば目、鼻、口、耳などの形状をもとにして、それぞれの位置を検出し、各位置の配置をもとにして顔の向きを検出する。そして、目、鼻、口、耳の位置と顔の向きをもとにして、図１２に示すような、人物の顔をスケッチする際に補助となる補助線４０、例えば輪郭、目の位置を表す線、鼻と口の並びを表す線などを生成する。
【００５３】
なお、前述した補助線は一例であって、モチーフ画像に応じた各種の補助線を生成して、ユーザに提示するように構成することが可能である。
【００５４】
こうして補助線情報生成処理によって補助線が生成されると、ＣＰＵ１０は、スケッチ入力が可能な状態に移行して、スケッチ入力用画面をディスプレイ１８において表示させ、この画面中に生成された補助線を表示する（ステップＡ７）。ＣＰＵ１０は、ペン２０ａを用いたタッチパネル２０に対するスケッチ（画像）を入力する操作に応じて、描画データを入力してＲＡＭ１１に記憶させる（ステップＡ８）。また、ＣＰＵ１０は、ＲＡＭ１１に記憶された描画データをもとに、ディスプレイ１８において入力された画像を表示させる。
【００５５】
ここでは、ディスプレイ１８に表示された補助線を参考にすることによって、何れの位置において描画すべきか容易に把握することができ、タッチパネル２０の検出面上でペン２０ａを操作することによって画面に対して直接書き込む感覚を得ることができ、スケッチを楽しむことができる。さらに、ディスプレイ１８には補助線が直接的に示されているため、絵画技術を取得していないユーザであっても、ユーザレベルなりの絵が描けることを期待できる。
【００５６】
描画（スケッチ）の終了がボタン操作などによって指示されると（ステップＡ９、Ｙｅｓ）、ＣＰＵ１０は、ディスプレイ１８に表示させていた補助線と、入力された描画データとの比較によって評価値を算出する（ステップＡ１０）。すなわち、補助線が示す描画位置に対して、ユーザが正しく描画しているか判別するための評価値を算出する。
【００５７】
例えば、ＣＰＵ１０は、補助線が表す特徴量と、ユーザによって入力された描画データが表す特徴量とを算出し、各特徴量の類似度を評価値として算出する。なお、評価値の算出方法として用いる評価関数は各種既存の画像認識手法を応用して使用することができる。
【００５８】
図１３には、スケッチ入力用の画面に表示されたモチーフの輪郭を表す補助線４１の一例を示している。そして、図１４には、図１３に示す補助線４１に対して、ペン２０ａを用いてスケッチされた画像が表示された状態を示している。
【００５９】
図１４に示す例では、補助線４１がモチーフの輪郭を表しているので、補助線４１をなぞるようにして描画することによって、モチーフを表す画像を入力することができる。従って、ＣＰＵ１０は、補助線の位置と、入力された描画データのずれが少ないほど、正しくスケッチが行われたことを表す評価値を算出する。
【００６０】
なお、図１３に示すような輪郭線とは異なる他の補助線の場合には、ユーザに描画させるための描画位置が補助線の位置と一致していない。例えば、図１１（ｂ）に示すような人物の骨格モデルを表す補助線３９の場合には、補助線３９自体の特徴量を演算の対象とするのではなく、補助線３９が表すユーザにより描画させる描画位置（線）の特徴量と、ユーザに入力された描画データの特徴量との比較によって評価値を算出すれば良い。同様にして、他の種類の異なる補助線についても、補助線に応じた評価関数（演算方法）を用いて評価値を算出すれば良い。
【００６１】
ＣＰＵ１０は、ここで算出した評価値を、例えばディスプレイ１７において表示させる（ステップＡ１１）。ユーザは、ディスプレイ１７に表示された評価値を参照することによって、モチーフ画像を正しくスケッチできたか、自らの技能上達の状況を客観的に把握することができるようになる。
【００６２】
このようにして、本実施形態におけるゲーム装置（画像作成装置）では、スケッチの対象とするモチーフ画像を選択することで、このモチーフ画像を描画する際に補助となる補助線がディスプレイ１８において提示されるので、モチーフ画像を容易に描画することが可能となる。また、実際に描画した画像（描画データ）に対して、補助線をもとにして算出された評価値が出力されるので、この評価値を参考にして自らの絵画技術の上達を知ることができる。
【００６３】
なお、前述した説明では、ユーザによりモチーフ画像として選択されたＣＧ画像あるいは静止画像をもとに、補助線情報生成処理において補助線を生成しているが、予め画像に対して表示すべき補助線（あるいは他の補助情報）のデータを補助情報管理データにおいて設定しておき、このデータをもとにして補助線（補助情報）を表示するようにしても良い。これにより、スケッチ処理中のＣＰＵ１０に対する処理負担を軽減することができる。補助線を表示するためのデータは、前述したように、モチーフ画像（ＣＧ画像、静止画像等）をもとに、各種の方式を用いて生成することができる。
【００６４】
また、画像入力装置２５を利用して画像を撮影し、この画像をモチーフ画像として使用する場合に、ステップＡ６において説明した補助線情報生成処理を実行するようにしても良い。
【００６５】
さらに、前述した説明では、ユーザに対する補助情報として、描画位置を示す各種の線（実線、破線等）を表示させているが、その他の形態の保持書情報を表示させるようにしても良い。例えば、描画位置を示すように、矢印、各種マーク、アニメーションなどを表示したり、表示色を他と異なるようにするなど、他の表示形態を使用することが可能である。
【００６６】
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００６７】
また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
【図面の簡単な説明】
【００６８】
【図１】本実施形態における画像作成装置の機能構成を示すブロック図。
【図２】本実施形態におけるスケッチ処理を制御するための補助情報管理データの一例を示す図。
【図３】本実施形態におけるゲーム装置において実行されるスケッチ処理を説明するフローチャート。
【図４】ＣＧ画像を対象とした補助線情報生成処理を示すフローチャート。
【図５】静止画像を対象とした補助線情報生成処理を示すフローチャート。
【図６】ＣＧ画像の調整用画面の一例を示す図。
【図７】ＣＧ画像の調整が完了した時点のディスプレイ１８における表示画面の一例を示す図。
【図８】スケッチ入力用の画面に補助線３４が表示され、この補助線３４を利用してスケッチをしている状態の一例を示す図。
【図９】モチーフ画像として選択された静止画像の一例を示す図。
【図１０】図９に示す静止画像に対する補助線の一例を示す図。
【図１１】人物を対象とした姿勢推定手法を用いて抽出される補助線の一例を示す図。
【図１２】人物の顔を対象として抽出される補助線の一例を示す図。
【図１３】スケッチ入力用の画面に表示されたモチーフの輪郭を表す補助線４１の一例を示す図。
【図１４】図１３に示す補助線４１に対して、ペン２０ａを用いてスケッチされた画像が表示された状態を示す図。
【符号の説明】
【００６９】
１０…ＣＰＵ、１１…ＲＡＭ、１２，１３…ＧＰＵ、１４，１５…ＶＲＡＭ、１６…表示コントローラ、１７，１８…ディスプレイ、１９…インタフェースユニット、２０…タッチパネル、２０ａ…ペン、２１…スピーカ、２２…ボタン群、２３…コネクタ、２４…メモリデバイス、２５…画像入力装置、２６…通信ユニット。
【特許請求の範囲】
【請求項１】
描画対象とする画像を選択する指示を入力する入力手段と、
前記入力手段により入力された指示が示す画像に対応する、ユーザにより描画させるための描画位置を表す補助情報を生成する補助情報生成手段と、
前記補助情報生成手段によって生成された補助情報を表示する補助情報表示手段と、
前記補助情報表示手段により表示された補助情報に対する画像データを入力する画像入力手段と、
前記画像入力手段により入力された画像データに応じて表示する画像表示手段と
を具備したことを特徴とする画像作成装置。
【請求項２】
ユーザにより手書きされた画像を入力することが可能なタッチパネルと、
前記タッチパネルと積層一体化されたディスプレイとを備え、
前記補助情報表示手段は、前記ディスプレイにおいて補助情報を表示し、
前記画像入力手段は、前記タッチパネルから画像データを入力することを特徴とする請求項１記載の画像作成装置。
【請求項３】
前記補助情報生成手段は、前記描画対象とする画像に対応する複数の補助情報の種類から何れかを選択して、前記補助情報を生成することを特徴とする請求項２記載の画像作成装置。
【請求項４】
描画対象とする画像のＣＧ（computer graphics）データを記憶する画像記憶手段をさらに具備し、
前記補助情報生成手段は、前記ＣＧデータをもとに補助情報を生成することを特徴とする請求項３記載の画像作成装置。
【請求項５】
描画対象とする画像の画像データを記憶する画像記憶手段をさらに具備し、
前記補助情報生成手段は、前記画像データに対する画像処理により前記画像に含まれる対象物の位置を表す画像を生成し、この位置を表す画像をもとに補助情報を生成することを特徴とする請求項３記載の画像作成装置。
【請求項６】
前記補助情報表示手段によって表示した補助情報をもとに、前記画像入力手段により入力された画像データに対する評価値を算出する評価値算出手段をさらに具備したことを特徴とする請求項１記載の画像作成装置。
【請求項７】
コンピュータを、
描画対象とする画像を選択する指示を入力する入力手段と、
前記入力手段により入力された指示が示す画像に対応する、ユーザにより描画させるための描画位置を表す補助情報を生成する補助情報生成手段と、
前記補助情報生成手段によって生成された補助情報を表示する補助情報表示手段と、
前記補助情報表示手段により表示された補助情報に対する画像データを入力する画像入力手段と、
前記画像入力手段により入力された画像データに応じて表示する画像表示手段として機能させるための画像作成プログラム。
【請求項１】
描画対象とする画像を選択する指示を入力する入力手段と、
前記入力手段により入力された指示が示す画像に対応する、ユーザにより描画させるための描画位置を表す補助情報を生成する補助情報生成手段と、
前記補助情報生成手段によって生成された補助情報を表示する補助情報表示手段と、
前記補助情報表示手段により表示された補助情報に対する画像データを入力する画像入力手段と、
前記画像入力手段により入力された画像データに応じて表示する画像表示手段と
を具備したことを特徴とする画像作成装置。
【請求項２】
ユーザにより手書きされた画像を入力することが可能なタッチパネルと、
前記タッチパネルと積層一体化されたディスプレイとを備え、
前記補助情報表示手段は、前記ディスプレイにおいて補助情報を表示し、
前記画像入力手段は、前記タッチパネルから画像データを入力することを特徴とする請求項１記載の画像作成装置。
【請求項３】
前記補助情報生成手段は、前記描画対象とする画像に対応する複数の補助情報の種類から何れかを選択して、前記補助情報を生成することを特徴とする請求項２記載の画像作成装置。
【請求項４】
描画対象とする画像のＣＧ（computer graphics）データを記憶する画像記憶手段をさらに具備し、
前記補助情報生成手段は、前記ＣＧデータをもとに補助情報を生成することを特徴とする請求項３記載の画像作成装置。
【請求項５】
描画対象とする画像の画像データを記憶する画像記憶手段をさらに具備し、
前記補助情報生成手段は、前記画像データに対する画像処理により前記画像に含まれる対象物の位置を表す画像を生成し、この位置を表す画像をもとに補助情報を生成することを特徴とする請求項３記載の画像作成装置。
【請求項６】
前記補助情報表示手段によって表示した補助情報をもとに、前記画像入力手段により入力された画像データに対する評価値を算出する評価値算出手段をさらに具備したことを特徴とする請求項１記載の画像作成装置。
【請求項７】
コンピュータを、
描画対象とする画像を選択する指示を入力する入力手段と、
前記入力手段により入力された指示が示す画像に対応する、ユーザにより描画させるための描画位置を表す補助情報を生成する補助情報生成手段と、
前記補助情報生成手段によって生成された補助情報を表示する補助情報表示手段と、
前記補助情報表示手段により表示された補助情報に対する画像データを入力する画像入力手段と、
前記画像入力手段により入力された画像データに応じて表示する画像表示手段として機能させるための画像作成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１１３４８０（Ｐ２０１０−１１３４８０Ａ）
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願番号】特願２００８−２８４７６８（Ｐ２００８−２８４７６８）
【出願日】平成２０年１１月５日（２００８．１１．５）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
【公開日】平成２２年５月２０日（２０１０．５．２０）
【国際特許分類】
【出願日】平成２０年１１月５日（２００８．１１．５）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
[ Back to top ]