文部科学省オープン・リサーチ・センター整備事業 日本大学芸術学部プロジェクトSITE MAPENGLISH
NANAの活動
舞踊教育アンケート
公開講座・シンポジウム・フォーラム
舞踊衣装検索
韓国舞踊紹介
研究発表会
研究業績一覧
日本舞踊 3DCG
NANAの活動
日本舞踊 3DCGトップ
3DCG 解説U

「日本舞踊『供奴』 〜じぇねれいてぃぶ足拍子〜」

3DCGアニメーションの音楽と足音について

川上 央(日本大学芸術学部准教授)

この3DCGアニメーションはビジュアル面だけでなく、オーディオ面にも工夫を凝らしています。キャラクターの動きは、西川箕乃助氏の実際の舞踊をモーションキャプチャシステムにより記録したデータから生成しておりますが、音楽もこの舞踊と同期しております。また、「供奴」の重要な要素である足拍子の音ですが、従来のサンプリング方式とは違い、モーションデータからコンピュータによって演算を行って生成しております。つまり、この3DCGアニメーションから聞こえてくる音楽や音は、西川箕乃助氏のモーションデータからすべて作り出されているところが特徴です。よって、従来のサンプリング方式のような違和感、簡単に言えば、「わざとらしさ」や「誇張」が軽減され、よりリアルな体感を得られることと思います。
「供奴」の演奏は、音楽自体のクオリティを上げるため、音楽用ホールで録音を行っています。演奏者には、長唄に今藤政貴氏、三味線に杵屋栄八郎氏、小鼓に藤舎呂英氏をお迎えし、「供奴」の最高の演奏を録音することができました。この録音を、パーシャル・トラッキング・アナリシス(Partial Tracking Analysis)というデジタル音声処理を行い、アニメーションの舞踊に同期させ、なおかつ、長唄独特のノリを変えてしまわないように演算を行いました。おそらく、このアニメーションをご覧になったかたは、流れている音楽に合わせて、モーションを記録したと思われるでしょうが、実際には、モーション記録時の舞踊の音楽とはテンポも長さも全くことなる音楽をデジタル処理し、このアニメーションに使用しております。
この方式を利用すれば、同じ演目であれば、さまざまな演奏や舞踊を自在に同期することができ、将来的には、時代の違う舞踊家と演奏者の夢のコラボレーションも可能になる技術と考えております。
次に、キャラクターの足音ですが、このプロジェクトの音楽情報処理チームで開発している励起物理モデルによって足音をコンピュータで生成しております。従来のアニメーションでは、効果音として録音された足音を映像に合わせて鳴らしていましたが、この方式を利用することによって、モーションのエネルギーから鳴る音を生成することが可能になりました。この方式自体は、世界でも初の試みですので、実際の足音そっくりに生成できる段階までは到達しておりませんが、踊り手のニュアンスとマッチした足音になっていると感じております。
励起物理モデルを簡単に紹介しますと、音というのは物質の振動であり、何らかの外的エネルギーが物質に作用し、振動が生成するという現象を、コンピュータでシミュレーションする技術です。たとえば、鐘が鳴るのは、銅などの金属でできた鐘の形状に、金槌などで叩いた場合、そのエネルギーによって、形状が微小変化します。この変化がもとの形状に戻ろうとすることによって、振動しながら最終的にはもとの静止状態に戻ろうとします。この物質の振動が、周囲の空気を振動させ、われわれの鼓動を振動するというのが、音の仕組みです。つまり、コンピュータ上で、物質の振動を演算させれば、その振動を音声信号に変換することで、音自体を生成することが可能になります。また、物質にエネルギーを加えることを励起といいますが、この励起情報を、現実を同じく、モーションデータから得ることによって、われわれの開発している励起物理モデルが可能となります。
また、この3DCGアニメーションには、励起物理モデルから生成した足音だけでなく、実際の踊り手の方が踊ったときの、床の振動をマイクではなく、床の接触型振動計を取り付け記録した音を付加したアニメーションも用意しております。アニメーション自体は同じですが、体格や経験の違う踊り手の足音を同時にお楽しみください。
これらの特徴は、従来の3DCGアニメーションには無かったもので、当プロジェクトが世界に先駆けて行っているものであります。これらの研究の動機は、バーチャルリアリティは、視覚だけから体感するものではなく、五感すべてから体感するものであるという考えからきたものです。カメラやマイクで記録した従来のアーカイブでは、このようなことは不可能でありましたが、人類の文化の中で最も価値のあるものは、作品や記録ではなく、たとえば踊り手の技こそが価値のあるものであり、モーションキャプチャによって、これらの動きを保存し、これらの価値が再現できるようにと考えた結果、視覚情報だけでなく、聴覚情報もよりリアルなものにしなければならないという結論に至りました。
今後のバーチャルリアリティは、現実と同じく、五感から体感できるものになって行きます。この研究は、そのような未来に大きく寄与するものであると考えております。

プロフィール

日本大学大学人芸術学研究科博士後期課程中退。博士(芸術学)。フランス国立音楽音響研究所(IRCAM)招聘研究員を経て、芸術学部で音や音楽と人間の関わりについて研究を行っている。日本サインデザイン協会、フランス国有鉄道(SNCF)、三菱電機、BOSEなどで、音のコンサルティングを通し、生活の中での音のソルーションを行っている。アメリカ音響学会、日本音楽知覚認知学会、日本サウンドスケープ協会所属。

Copyright (C) Nihon University College of Art, Department of Theatre