インターネットで音楽をダウンロードしたり、パソコンで音楽を流したり作ったり、コンピュータあってこそ、音楽が楽しめる時代。コンピュータによる音楽の認識・処理を研究する音楽情報科学(処理)は、何を目指しているのか。前澤先生は、楽器や音響機器で知られるメーカーの研究所で、楽器演奏の楽しみ方のハードルを下げるべく、コンピュータと一緒に合奏を楽しめるソフトウェア開発に挑んでいます。

コンピュータ相手にして、人間相手以上の最高のセッションも夢じゃない！

楽器の演奏を趣味にする人はたくさんいます。演奏を楽しもうとすると、世の中のほとんどの曲はバンドやデュエットといった合奏曲なので、一緒に弾く人を集めなければいけません。しかし人集めは、気の合う人を選んだり、弾きたい曲を決めたり、時間や場所を調整したりと、大変なことばかり。そこで私は、メンバーが完全に揃わなくても -- 極論言えばたった一人でも -- 最高の合奏を楽しめるようにするため、コンピュータを合奏のメンバーにするためのソフトウエアの開発に挑んでいます。つまり、コンピュータが、人間の合奏者のように演奏を察知し、人間のように演奏を通じて応答するような技術を研究しています。

人がコンピュータと一緒に演奏する仕組みで一番身近なのは、カラオケのようにボタン一つで曲を演奏してくれる装置ではないでしょうか。しかし、この場合コンピュータは一つの曲をあらかじめ設定されたスピードやリズムで演奏するので、合奏するとなると、人間がそれに一方的に合わせなければいけません。人間のようにお互いの音の調子や弾き方を意識して、互いにかけ合うことで臨場感あふれる生き生きとした、合奏本来の楽しみ方はできません。

臨場感あふれる生き生きした合奏を実現するためには、相手の演奏に耳を傾ける必要があります。つまり耳から入ってくる情報をセンシングし、人間が楽曲のどこの位置を、どれくらいの速度で弾いているのか、さらにキレのある力強い弾き方か、音をやわらかく伸ばした弾き方か、といった音の表情も推測する必要があります。その上で、それに合わせて自動演奏ができるようにさせる必要がありました。そこで、人間の様々な弾き方をAI=人工知能に学習させることで、好きな曲を人間が弾きコンピュータに伴奏させる場合、弾き方の調子を変えたり、スピードをいきなり変えても、コンピュータはそれを察知して、適した演奏をさせられるようにまでできました。

このとき、機械が人間にぴったり合わせ過ぎてしまうと、人間がミスをしたらコンピュータの演奏も道ずれになってしまうという欠陥がありました。そこで、機械に任せる部分と、逆に人間がリードする部分を、コンピュータに推測させるようにしました。

そうして、お互いが自己主張し合い、また互いに合わせていく、そんな合奏の掛け合いの楽しみを味わえるようにしたのです。

息の合う合奏を実現するためには、耳だけではなく、目から入ってくる情報も重要です。たとえば、バイオリン奏者は最初の音を奏でる直前に、「せーの」と合図するように楽器を軽く振る動作をします。コンピュータがこうした予備動作を逃さずに検出できるように、カメラを使って動画像解析を行ない、コンピュータが人間とぴったりのタイミングで演奏を始められる工夫も取り入れました。

また、コンピュータが人間に合わせるだけでなく、人間もコンピュータの演奏に合わせやすくする工夫もしました。コンピュータが演奏している楽器のすぐ下の床に、あたかも人間が演奏しているかのように見える影絵を写し出すことにしたのです（影絵の動画）。演奏に合わせてコンピュータに自動生成させました。そうすることで、コンピュータの演奏の「調子」が視覚的にわかります。