ヒューマンインタフェース・インタラクション

入力動作

キーボードやスマホを操作する指と視線の動きを追跡・評価するシステム


越智徹先生

大阪工業大学 工学部・情報科学部(情報センター)

出会いの一冊

マクロスプラス

監督:河森正治

初音ミクやVTuberといったバーチャルアイドルもすっかり定着しましたが、現在のこのバーチャルアイドルを先取りしたかのようなアニメーション。本作は1994年と30年前ですが、ここで描かれた世界観は今見てもまったく古くありません。

こんな研究で世界を変えよう!

キーボードやスマホを操作する指と視線の動きを追跡・評価するシステム

各デバイスの入力手法を評価する

ユーザによるコンピュータへの文字入力や操作は、かつてはキーボードとマウスが主流でした。しかし現在はスマートフォンをはじめとするタッチ型デバイスの普及が進み、音声入力のような新しい入力方式も台頭しています。

我々の研究は、従来のキーボードとマウスに加えて、スマートフォンのタッチ動作も含めた、各種デバイスの入力手法の、多角的でかつ量的なデータを収集・評価するシステムの構築を目指しています。

視線の移動を追跡する装置は高い

特に、これまでの研究では入力時に手指の動作や視線の移動といった動作様態のデータを、低コストに収集する環境はありませんでした。

特に視線の移動を正確に捉える装置はこれまで販売されていたのですが、安価なものでも1台50万円以上します。おいそれと購入できず、また同時に何人も実験しようとすれば人数分必要となり、とても高価です。

そのため、多少の正確さを犠牲にしても、可能な限り安価で身近な機器での代用が求められます。

身近な機器でデータ収集を低コストに

我々は様々な機器で試した結果、3台のWebカメラと一般的なPC、それに無料の手指・顔認識ライブラリ MediaPipeを使ってシステムを構築しました。Webカメラは、1台1000円代の非常に安価なものです。この安価なシステムによって、両手指と視線の動きを検出し、入力動態をリアルタイムで記録できます。

キーボードを用いた入力実験を実施している様子。タイピングしている様子を複数のWebカメラで撮影し、リアルタイムで手指の動作や目がどこを見ているかを数値化して記録する。
キーボードを用いた入力実験を実施している様子。タイピングしている様子を複数のWebカメラで撮影し、リアルタイムで手指の動作や目がどこを見ているかを数値化して記録する。
テーマや研究分野に出会ったきっかけ

自分はスマートフォンをそんなに使わないので、いわゆる「ケータイ入力」で使っていますが、ある日学生から「なぜ先生はスマホを何度も叩くようにして操作するんですか?」と質問を受けました。学生はフリック入力が当たり前なので、ケータイ入力を知らないのです。自分はオールドタイプであることを知らされショックを受けました。

一方、今の学生はフリック入力は速くてもキーボード操作が非常に苦手です。それならば、学生は実際にどのようにキーボードやスマートフォンを操作しているのか、数値化できるシステムを作って計測してみよう!と思い立ったのが一番の動機です。

この写真では、スマートフォンの入力様態を記録する実験を行っている。
この写真では、スマートフォンの入力様態を記録する実験を行っている。
先生の研究報告(論文など)を見てみよう

「入力インタフェースの多角的な測定環境の構築」

詳しくはこちら

先生の分野を学ぶには
もっと先生の研究・研究室を見てみよう
学生たちはどんなところに就職?

◆主な業種

(1) ソフトウエア、情報システム開発

◆主な職種

(1) 設計・開発

(2) システムエンジニア

◆学んだことはどう生きる?

先生の学部・学科は?

先生の研究に挑戦しよう!

中高生におすすめ

人工知能は人間を超えるか ディープラーニングの先にあるもの

松尾豊(角川EPUB選書)

人工知能、AIブームと言われて久しいが、人工知能の成り立ちや歴史、なぜ知能のように振る舞うのか、といった原理を非常にわかりやすくコンパクトにまとめた1冊。「今のトレンドである人工知能についてそれなりに理解したい」といった場合に最適。

一問一答
Q1.18才に戻ってもう一度大学に入るならば、学ぶ学問は?

出身は情報だが、やはりもう一度情報科学を学び直したい

Q2.感動した/印象に残っている映画は?

『A.I.』

Q3.学生時代に/最近、熱中したゲームは?

Diablo(日本でおそらく一番初期に流行ったインターネット対戦ゲーム)

Q4.大学時代のアルバイトでユニークだったものは?

ホテルのフロントシステム開発

Q5.研究以外で、今一番楽しいこと、興味を持ってしていることは?

ピアノの演奏


みらいぶっくへ ようこそ ふとした本との出会いやあなたの関心から学問・大学をみつけるサイトです。
TOPページへ