教育工学

描画支援

正確な絵の描き方を助言してくれる学習支援システム


曽我真人先生

和歌山大学 システム工学部 システム工学科 社会情報学メジャー(システム工学研究科 システム工学専攻)

出会いの一冊

素人のように考え、玄人として実行する 問題解決のメタ技術

金出武雄(PHP文庫)

カーネギーメロン大学教授でロボット工学の権威でもある著者が、新しいアイデアの出し方、そして、それを実現するための頭の使い方について書いた名著です。2003年に発刊された本で、既に絶版となっているため、中古品でしか手に入らないのが残念です。工学系の研究者や技術者を目指す人には読んでほしい名著です。

こんな研究で世界を変えよう!

正確な絵の描き方を助言してくれる学習支援システム

PCが絵の誤りを指摘してくれる

2000年代初め、私を含むプロジェクトでは、絵の描き方を学習する学習者が、皿とコップをモチーフとして描いたスケッチ画をPCに入力すると、自動で診断、誤りを指摘し、修正方法をアドバイスするスケッチ学習支援システムを構築しました。それは当時としては画期的であり、NHK関西のニュース番組でも放送されました。

その後、できあがったスケッチ画の誤りを指摘するのでは、場合によっては最初から描き直しになるので、描いている途中で、PCでアドバイスできないか考え始めました。

認識、判断、行動のそれぞれを支援

私たち人間は毎日、外界に存在する様々な対象物とインタラクションしながら生活しています。その時に、(1)認識、(2)判断、(3)行動を繰り返します。場合によっては、(4)成果物を作り出します。このサイクルを繰り返すことは、認知科学の分野で言われていたことですが、私は、スキル学習はインタラクションのサイクルを理論ベースに説明できることに気づきました。

そして、PCを使ってスキルの学習を支援する場合に、(1)(2)(3)(4)のそれぞれについて、学習を支援するシステムを設計し、構築する必要があることに気づき、2004年の人工知能学会全国大会で「スキル学習に共通な特徴とスキル学習支援システムに必要な機能について」として発表しました。

腕の動かし方から判断しアドバイス

この考え方でスケッチ学習支援システムをとらえると、描き終わったスケッチ画は成果物なので、(4)を診断の対象にしていることに相当します。

そこで、次に(1)を支援するシステムとして、ペンタブレットに固定した画用紙上でスケッチを描くと、ペンの位置に応じて、正解となるスケッチ画の部分の情報を音声でアドバイスするシステムを構築しました。

さらに(3)を支援するシステムとして、学習者の腕の動作を、センサでキャプチャし、描画時の腕の動かし方をリアルタイムに診断し、アドバイスするシステムを構築しました。また、モチーフの概略形状から詳細計上への描画へと、段階的に学習者を誘導し、各段階で診断とアドバイス提示を行うシステムも構築しました。

人体画では、骨格と輪郭を分けて教える

現在は、PC画面上に表示された三次元CGによる人体モデルをモチーフとして、人体画の学習支援システムを構築中です。初心者にとって、三次元CGによる人体モデルの姿勢と身体各部同士のバランスをとらえながら描くのは、至難の業です。そこで、人体画の描画を、骨格描画と輪郭線描画の二段階に分け、まず学習者が骨格を描画した段階で診断し、助言を与え、その後、輪郭線描画に移行するという設計方法論で研究を進めています。

これは、前述のインタラクションモデルに照らし合わせると、(1)の認識を支援し、(4)の成果物を診断してアドバイスを与えるシステムと言えます。

人体画スケッチ学習支援
人体画スケッチ学習支援
SDGsに貢献! 〜2030年の地球のために

image

これまで、良い教育を受けるには優れた教師が必要でした。また、健康を維持するには良いインストラクターが必要でした。でも、これからはPCがそれらの教師やアドバイザーの代わりをしてくれるかもしれません。私が研究を推進しているスキル学習支援システムは、スケッチの学習支援、楽器(二胡)の学習支援、動作の学習支援、語学の学習支援など多岐に渡っています。

それは、良い教師に出会えなくても、PCを教師代わりに学習する可能性を開きます。また、健康を維持するには体操などの運動を行うことが必要ですが、良いインストラクターに出会えなくても、PCをインストラクター代わりに運動を行い、健康を維持する可能性を開きます.

◆先生が心がけていることは?

生ごみは捨てずに、園芸肥料として庭や植木鉢に埋めています。これにより、CO2の排出量を減らすことができますから、SDGsの1つである気候変動を防止する一端を担うことが可能です。

先生の専門テーマ<科研費のテーマ>を覗いてみると

「認知科学的分析に基づくインタラクションサイクルモデルを礎としたスキル学習支援環境」

詳しくはこちら

注目の研究者や研究の大学へ行こう!
どこで学べる?
先生の研究室では
◆「インタラクションデザイン研究室(曽我研究室)」では

「大学院に進学すれば修士1年生の秋に国際会議で発表できます。だから卒論を頑張って、学部4年生の終わりの春休みに、卒論内容を6ページに英訳して国際会議に投稿し、修士1年生の9月に海外発表を目指せるように頑張りましょう」と話しています。

国際会議発表を終えた研究室メンバー
国際会議発表を終えた研究室メンバー
もっと先生の研究・研究室を見てみよう
卒業修了式後に全員集合
卒業修了式後に全員集合
先輩にはこんな人がいる ~就職

◆主な業種

(1)ソフトウエア、情報システム開発

(2)ネットサービス/アプリ・コンテンツ

(3)電気機械・機器(重電系は除く)

◆主な職種

(1)システムエンジニア

(2)コンテンツ制作・編集<クリエイティブ系>

(3)設計・開発

◆学んだことはどう生きる?

私の研究室では、スキル学習支援システムを構築するために各種センサーや提示装置を応用します。また、ARやVRなどの提示技術も応用します。合計5名の卒業修了生がゲーム業界で活躍していますが、ゲーム業界ではVR技術を多用するので、業務で活かしていると思います。また、スキル学習支援はスポーツ学習支援やエンターテイメントにも応用可能ですから、ゲーム業界で新しい発想を生む基礎経験になっていると思います。

三次元物体への絵付け学習支援システム(VR仮想花瓶上に描画して練習しているところ)
三次元物体への絵付け学習支援システム(VR仮想花瓶上に描画して練習しているところ)
先生の学部・学科は?

和歌山大学システム工学部社会情報学メジャーでは、HCIやソフトウェア工学、AI、AR、VR、モバイルの応用などの研究を手がけています。情報工学、社会科学、認知科学を基盤とし、実社会に役立つシステムを構築する応用研究です。

併願の多い大阪府立大学の知識情報システム学類では、知識工学、画像処理、ネットワーク、看護と教育などを研究テーマとしている教員がいます。一部、よく似た研究も行われているようですが、情報処理学会のシンポジウムであるインタラクションの発表件数を見ると、HCI関連の研究は、和歌山大学システム工学部社会情報学メジャーのほうが活発に行っているように思います。

ARマーカによる中国語学習支援システム 
ARマーカによる中国語学習支援システム 

VR空間内でのスペイン語学習支援システム
VR空間内でのスペイン語学習支援システム
先生に一問一答
Q1.18歳に戻って大学に入るなら何を学ぶ?

宇宙科学。小学生の頃から天文学者になるのが夢でした。しかし、私が高校生の頃は天文関連のことを学べる学部学科は日本では少なく、また、その分野で職を得るのが困難なので、あきらめました。今なら、大学時代に米国に留学すれば、その分野で職を得ることが日本に比べ実現しやすいと思います。

Q2.日本以外の国で暮らすとしたらどこ? 

若いうちは米国。科学技術を研究する環境とチャンスが最も与えられている国だから。

Q3.大学時代のアルバイトでユニークだったものは?

学部2年生の夏休みに、北海道えりも岬付近の漁師の家でコンブ漁の浜干しのアルバイトを、1か月住み込みで行いました。

また、修士1年生の夏休みだった1986年の夏に、スロベニア共和国の首都リュブリャナで1か月間、現地の電気メーカでIAESTE交換派遣生として研修(アルバイト)をしました。 現地の人が「スロベニアやクロアチアはセルビアに搾取されているので、将来、戦争が起こるかも」と話していたのが印象的でした。ユーゴ戦争が起こったのはその2年後のことです。

Q4.研究以外で楽しいことは?

有機栽培による園芸。特に、桃とぶどうと苺の栽培。園芸はスキルの一種なので、私の研究テーマとも関連があります。さらに、植物を育てるためには農学と生態系の知識が必要で、温度管理、肥料、水分管理、生物農薬による害虫退治などサイエンス的側面が多く、発想のヒントを得る訓練にもなります。

Q5.会ってみたい有名人は?

アルバート・アインシュタイン。宇宙科学に興味があるので、相対性理論という大胆な発想の転換を必要とした理論の提唱者に会って、どのような人なのかを知りたいです。故人だから叶いませんが。


みらいぶっくへ ようこそ ふとした本との出会いやあなたの関心から学問・大学をみつけるサイトです。
TOPページへ