+ All Categories
Home > Documents > 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年...

平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年...

Date post: 25-Sep-2020
Category:
Upload: others
View: 1 times
Download: 0 times
Share this document with a friend
15
CREST - 様様 1) チチチチチ (CREST) 様様様様様 (20 様様様) 様様 様様様様様様 様様様様様様様様様様様様様様様様様様様様様様 様様様様 様様様様様様様 様様様 様様様 様様様 様様 (西) 1952 様 11 様 11 様 53 様 (20044様様 1) 様様様様 様様様様 様様様 様113-0033 Tel: 03-5841-3958 Fax: 03-5841-3958 E-mail: [email protected] 様様様 様様様様様 様様様様 様様様 様様様様様様 様様様 様様 様様様 チチチ ○様 ( 。) 様様様 、。 様 様様 T e l: Fax: E-mail: 様様様 、。 様様 Tel: 03-3332-7636 様様 Tel: 090-1853-8476 様様 () 53 様様様様様様様様様様様様様様 55 様様 () 様様 様 様様様様様 様様様様様 様様 60 () 様様様 様様様様 様様様様 様様様様様様様様様様様 55~62 様様様様様様様様様様様様様様様様様様様様様様様様様 様様様 様様様 62~6 (3 様様様様様様様様様様様様様様様様 様様様様 6~ 様様 様様 、、 様様 様様様様様様 体() 様様様様 様様様様 様様 様 様様様様 100 様様様 P16 1
Transcript
Page 1: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式1)

チーム型研究(CRESTタイプ) 研究提案書 研究課題名

(20 字程度)伝統芸能のデジタルアーカイブ・サイバネティッククリエーション

応募研究領域 デジタルメディア作品の制作を支援する基盤技術

フリガナ

研究代表者氏名

ササキ  マサト

佐々木 正人

生年月日

(西暦)

1952 年 11 月 11 日( 53歳)

(2004年4月1日現在)

所属機関

フリガナ

所在地

〒113-0033

Tel: 03-5841-3958 Fax: 03-5841-3958 E-mail: [email protected]

機関名

所属部署名

東京大学

大学院 教育学研究科 役職名教授

連絡先

 所属機関 ・ その他  (通常連絡を受ける場所を○で囲んで下さい。)

その他の場合には、その連絡先を記入してください。

 〒        住所

Tel: Fax: E-mail:

緊急の連絡をする場合もありますので、差し支えなければご記入下さい。

自宅 Tel: 03-3332-7636 携帯 Tel: 090-1853-8476

学歴

(大学卒業以

降)

昭和53年 東京学芸大学大学教育学部卒業昭和55年 筑波大学大学院心身障害学研究科博士課程中退(助手採用のため)

昭和60年 教育学博士 (筑波大学) 取得

研究歴

(主な職歴と

研究内容)

昭和55年~62年 筑波大学学校教育部助手    イメージの知覚的構造と視覚障害者の認知について研究

昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年か

ら)

    アフォーダンスに関する研究に従事

平成6年から年~現在まで 東京大学大学院教育学研究科・情報学環教授

    アフォーダンス理論、リハビリテーションでの運動発達、

    アーテイストの身体運動(技)について研究

P(  /16 )1

JST, 04/08/04,
該当する研究領域1つのみを記入して下さい。
JST, 04/08/04,
押印は不要です。
Page 2: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

研究規模

(想定されるおおよその研究費及び

研究期間をご記入ください)

 研究期間 5年間 の 総研究費 100千万円

P(  /16 )2

Page 3: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式2)

研究課題要旨○ 研究課題名(20字程度)

伝統芸能のデジタルアーカイブ・サイバネティッククリエーション

○ 応募研究領域

  デジタルメディア作品の制作を支援する基盤技術

○ 氏名

佐々木 正人

○ 所属機関・役職

  東京大学 大学院 教育学研究科・教授

○ 研究課題要旨

サイバネティッククリエーションとは、デジタル芸術作品を制作する際、心理学的・生理

学的に得られた鑑賞者の定量的な印象モデルを制作過程に導入し、全て直感でおこなってき

た観客の印象を定量的に予想しながら制作が進められる制作者と鑑賞者との間の閉ループを

実現する制作環境である。

欧米技術との差別化のため、豊かな蓄積を持つ伝統芸能を実装領域とし、

1) 伝統芸能の運動データを再利用可能な形で蓄積し、接続編集し、自在に新しい動作を生成

できる技術

2) 伝統芸能の個人差・性差・技量差・シナリオ差が鑑賞者に与える印象を心理学的・生理学

的に定量的に評価し、それらをモデル化する技術

3) 生成技術と印象モデルに基づき、制作者が鑑賞者の印象の定量的な予測を援用しながら自

身の直感をこれにかぶせて、双方向メディアやヒト型ロボットなどの媒体上で任意のジャ

ンルの動きとして提示できる技術

の 3項目の研究開発を主に行う。

本研究により、現場では必要ないとまで言われているデジタル編集技術のブレークスルー

を図り、欧米巨大企業としのぎを削る日本の零細企業の国際競争力を高めることを目的とす

る。

○ 提案内容に関するキーワード

 66コンテンツ・アーカイブ、254 心理学、*認知脳科学、*ロボティクス、*メディア芸術

○ 分野

主分野  No.211 ヒューマンインターフェイス技術

副分野  No.900 人文・社会  No.203 サービス・アプリケーション

○ 照会先

井口征士、広島国際大学、Tel 0823-70-4888、Email [email protected]

中村仁彦、東京大学、Tel 03-5841-6379、Fax 03-5841-7916、Email [email protected]

P(  /16 )3

JST, 4月8日,
CRESTタイプの研究代表者あるいはさきがけタイプの個人研究者として応募できるのは1課題のみです。 CRESTタイプの研究代表者への応募者が、他のチームの共同研究者として入ることや、さきがけタイプの個人研究者への応募者がCRESTタイプの共同研究者として入ること、また、CRESTタイプの共同研究者として複数のテーマに入ることについて、応募は可能です。ただし、CRESTタイプの研究代表者あるいはさきがけタイプの個人研究者として採択された場合は、共同研究者からは抜けていただく可能性が高くなります。また、CRESTタイプの共同研究者として複数のテーマに参加することは、研究内容的に仕分けができていることが必須条件ですが、程度の問題等ありますので個別に判断して調整させていただくことはあり得ます。
Page 4: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式3)

研究構想1. 具体的な背景(研究構想に至った経緯、これまでの研究との関連)

デジタルメディア作品を制作する際に、その中に登場する人体の動きを創り出すことは、現

在、もっとも手間のかかる工程であり、作品の品質に大きく関わる部分である。この人体動作

生成を自動化する方法として、実際の人間の動きをモーションキャプチャ装置で計測し、それ

を編集する技術がいくつか提案されている。しかしながら、これらの技術は、日本の実際の制

作現場でほとんど活用されていない。まず直接的な要因として、日本のデジタルメディア作品

制作が中小零細企業で行われており、モーションキャプチャ装置のような高額の機械を導入す

ることが難しいといった点がある。この制約に加えより重要な点として、現存する編集技術で

は人体動作に対する制作者の感性をふまえた味付け、すなわち観客に与える印象を予想した動

作変形が満足の行くレベルで行えないため特に職人気質の強い日本の制作者に好まれないとの

指摘がある。

一方、北米では、メディアとコンテンツの企業が統合され、巨大資本によってデジタルメデ

ィア作品が制作されるようになってきている。彼等は専用スタジオを設け、高額のモーション

キャプチャ装置をふんだんに使える環境にあり、それらを編集して人体動作を作り出す技術・

ノウハウを蓄積してきている。作品の質はともかくとして、技術的な表現力と物量に物を言わ

せる生産性については日本を凌駕し始めている。

本提案では、この状況を打開するため、鑑賞者の定量的な印象モデルを制作過程に導入する

ことで制作者と鑑賞者との間の閉ループを実現する。これにより、現場では不要とまで言われ

ている人体動作のデジタル生成手法のブレークスルーを図ることを主目的とする。まず、高額

のモーションキャプチャ装置を必要とせず、別途蓄積されたモーションクリップをつなぎ合わ

せることで、中小零細企業の制作現場でも効率的に人体動作を生成できる技術を開発する。こ

れとともに、人体動作の相違が鑑賞者にどのような印象の差を与えるのかを脳生理学・心理学

的手段で解明する。従来、実測された動作データの編集技術ばかりに力点が置かれていた。こ

のため制作者の感性を反映しづらかったとの反省に立ち、本研究は、編集技術と鑑賞者の印象

解析モデルを一貫して研究するし、サイバネティッククリエーションと呼ばれる制作環境を開

発する点に最大の特徴がある。サイバネティッククリエーションとは 、デジタル芸術作品を制

作する際、心理学的・生理学的に得られた鑑賞者の定量的な印象モデルを制作過程に導入し、

全て直感でおこなってきた鑑賞者の印象を定量的に予想しながら制作が進められる制作者と鑑

賞者との間の閉ループを実現する制作環境を指す。

このような技術はさまざまな人体動作に適用可能である。ただし、研究を進める段階では具

体的に対象動作を絞り込む必要がある。この際、先に掲げた北米に対抗するために、彼らにな

いもの・日本が有利であるものという側面を強調する。すなわち、本研究では日本の伝統芸能

を取り上げる。

日本古来の身体性を作品に活かすという点で、北米対抗技術として伝統芸能がもっとも有利

と判断した。じょんがら節など各地に残る民俗芸能には漁労・農耕の動作がデフォルメされて

含まれており、モーションクリップとしての再利用性は一般的な日常動作よりも高い。また、

能では能面の陰によって観客に与える印象を演出すると言われており、デジタルメディア作品

における表情や陰影の与え方に役立つ印象モデルが得られよう。

P(  /16 )4

Page 5: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

このような研究を進めるにあたり、提案者らは生態心理学、認知科学、コンピュータグラフ

ィクス、ロボティクス、バイオメカニクスからなる融合領域研究チームを構成した。生態心理

学、認知科学を専門とするメンバーらは、能の動きを実測し、その個人差・技量差を明らかに

してきた。これを、さらに拡張して鑑賞者の生理心理反応の解明につなげる。コンピュータグ

ラフィクス、ロボティクスを専門とするメンバーらでは、民俗芸能の動きを実測し、演者の性

差による演出の相違を分析し、その動きを CGやヒューマノイドロボットの動きとして再現す

る研究を進めてきた。また、ロボティクスとバイオメカニクスを専門とするメンバーらは、

人間の動きを分析、モデル化してそれをヒューマノイドロボットに実装する研究や、人間特性

情報を大量に蓄積して、再利用する研究を進めてきた。このような研究の経緯から、人間の動

きをモーションクリップに分解・再利用して多様な人体動作を生成するとともに、動作が鑑賞

者に与える印象を分析し、それを制作にフィードバックする研究の発想に至った。

2. 独創性・新規性、類似研究との比較

本研究の最大の特徴は、実測した人体動作の変形による動作生成技術と、動作や陰影が観客

に与える印象の科学的解明を一貫して研究し、鑑賞者に与える印象モデルを想定した人体動作

のサイバネティッククリエーションを実現するところにある。

第 2 の特徴として、デジタルメディアとして映画やアニメーションだけでなく、携帯電話、

ゲーム機、次世代TVのような双方向性のあるメディアや、ヒューマノイドロボットのような

実体提示メディアを提示媒体として指向する点も独創性が高い。

映画やアニメーション等の映像制作分野では、モーションキャプチャ装置によって測定した

人体動作データから CG キャラクターの動作を生成する研究が活発に行われている。従来の動

作生成手法は、計算に要する時間が長く、日本の制作者が有する計算機環境では十分なパフォ

ーマンスを発揮しないばかりか、計算待ち時間が制作者の創造力を分断するとして受け入れら

れなかった。本研究では負荷の高い計算をモーションクリップの蓄積時に済ませてしまい、制

作段階ではリアルタイムで動作編集・提示できる軽快な手法を提案する。この技術は制作者の

スムーズな創造作業を支援するだけでなく、次世代双方向メディアにおいて利用者の軽快なイ

ンタラクションを実現する。

印象モデルに関しては、伝統芸能動作よりも単純な動作について、被験者の運動知覚に与え

る影響を行動データと脳活動データの両面において研究している例がある。しかし、対象とし

ている動作が単純すぎるため、実験結果をメディア芸術鑑賞者の印象と結び付けるには飛躍が

ある。伝統芸能における人体動作をモーションキャプチャ装置によって記録し分析する研究も

あるが、それらの動作が鑑賞者に与える心理的な影響を認知科学・脳科学の側面から分析して

いない。従って、本研究での試みは、行動計測・生理計測・脳科学計測を実際の伝統芸能動作

分析に適用し鑑賞者モデルを生成すると言う点で、独創性の高いものである。この際、先行研

究であまり用いられていない近赤外光脳計測装置(光トポグラフィ装置)を主に用いることで、

できる限り低拘束の条件で観客側の脳活動を測定するという点でも良質のモデルが得られると

思われる。

3. 研究内容(目的と必要性含む)

伝統芸能のデジタルアーカイブを再利用して、新たな人体動作を生成する技術を開発すると

P(  /16 )5

Page 6: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

ともに、その人体動作と鑑賞者の印象の関連を科学的に解明し、動作生成にフィードバックす

る。鑑賞者の定量的な印象モデルを制作過程に導入し、制作者と鑑賞者との間の閉ループを実

現する制作環境「サイバネティッククリエーション」を確立することを目的とする。これによ

り、制作者が自身の感性や味付けだけで人体動作を構成するのではなく、鑑賞者の印象をいか

に形作るかといった計量的なデータの上に自身の感性をかぶせて、人体モデル全体の動きを自

動制作できるようになる。

本研究ではモーションクリップの具体例として、伝統芸能を取り上げる。伝統芸能の有する

豊富なコンテンツ(日本古来の身体性、演出、付属物)のみが、デジタル技術で追い上げを強

める北米に対抗する唯一最大の戦略であると考えるからである。

本研究のサイバネティッククリエーション技術は、デジタルメディア作品の制作における国

際競争力の維持にきわめて有効であり、北米との技術環境の差が広がらないうちに手がけるべ

き、喫緊の技術課題である。また、本研究を通じて蓄積される伝統芸能のデジタルアーカイブ

は、急速に失われつつある無形文化財を完全保存する技術であり、日本文化の保全と継承のた

めに緊急性・必要性が高いことはいうまでもない。

4. 進め方(項目と進め方、予想される問題点と解決策)

本研究は、大きく3つの研究から構成される。第1は、伝統芸能の運動データを再利用可能な

形で蓄積し、接続編集し、自在に新しい動作を生成できる技術である。第2は、伝統芸能の個

人差・性差・技量差・シナリオ差が観客に与える印象を心理学的・生理学的に定量評価し、そ

れらをモデル化する研究である。第3は、生成技術と印象モデルに基づき、制作者が鑑賞者の

印象予測を援用しながら自身の直感をこれにかぶせて、双方向メディアやヒト型ロボットなど

の媒体上で任意のジャンルの動きとして提示できる技術である。

(1)動作クリップの蓄積・検索・編集技術 

伝統芸能を例に、モーションクリップを自動的に切り出して蓄積し、それを効率的に検索し、

人体動作記述言語によって接続・編集する一連の技術を研究する。これらは、伝統芸能以外の

さまざまな動作に適用可能である。

(1-a) 解剖学・運動学・運動力学フィルタ

人体動作をモーションキャプチャ装置で計測した場合、データとして得られているのは体表面

P(  /16 )6

Page 7: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

のマーカの時系列座標であり、人体モデルの関節中心変位ではない。そこで、マーカを貼った

後に基本動作を計測し、被験者個人の体型に基づく解剖学モデル、運動学モデルを計測マーカ

座標にフィッティングさせることで、マーカ位置と人体モデルとの関係を得る。さらに、動作

と同時計測した床反力を活用し、人体モデルから逆動力学によって計算される床反力と実測し

た床反力の誤差を最小化するように、人体モデルの関節変位を修整する。これにより、解剖

学・運動学・運動力学的に整合した人体データを構成する。

(1-b) モーションクリップ切り出し

モーションクリップとは、(1-a)(1-b)の前処理をした実測動作データを、再利用性の高いプリ

ミティブな動作単位に分割したものである。ここでは、多様な動作を合成することに適したモ

ーションクリップ切り出し技術を開発していく。モーションクリップは、1~2秒程度の歩

く・立ち上がる・手を伸ばすなどの動作素と、関節ごとに曲げる・伸ばすなどの動作素によっ

て階層的に構成し、意味論的にラベル付けする。切り出しには最新の生態心理学の知見を活用

する。人間は、自身の姿勢を認識するのに、視覚や関節角度知覚ではなく関節に受けるモーメ

ントの深部体性感覚を用いていることが明らかになってきている。これは、動作を切り分ける

キー姿勢が、関節角度変化ではなく、(1-b)で算出した関節モーメント変化によって規定されて

いることを示唆している。そこで、従来の関節角度によるモーションクリップ分割に加え、 関

節モーメントを考慮した切り出し技術を開発する。このように切り出されたモーションクリッ

プは、人間が共通に有する姿勢に関する固有感覚と合致しており、制作者にも直感的に把握し

やすい動作単位となろう。

(1-c) モーションクリップ検索

モーションクリップの時間単位は1~2秒程度であり、数分に及ぶ伝統芸能の動作データから、

1000 以上のモーションクリップが抽出されることになる。上記のモーションクリップ蓄積技

術により持続的にクリップが蓄積されるとすれば、その数は容易に数 10 万レベルに達しうる。

制作者がこれらを閲覧しながら、検索するのは現実的ではない。そこで、切り出されたモーシ

ョンクリップ間の類似性を評価し、モーションクリップを類型化しながら蓄積する技術を開発

する。モーションクリップは多次元関節角度空間の軌道として表現されていることから、多次

元空間内の軌道の類似性によってモーションクリップ間の距離を定義し、類型化する技術を開

発する。

(1-d) 人体動作記述言語とリアルタイムモーション合成

検索したモーションクリップを接続して新しい動作を生成する方策として、ラベル付けされた

モーションクリップをさまざまに接続し、生成された動きをその場ですぐに確認でき、必要に

応じてすぐに修正ができる技術が必要となる。このための人体動作記述言語を開発する。動作

記述言語には、NHK放技研で開発した TVML のようなものなどがあるが、ここでは、より詳細

な動作種と動作変形効果を記述できるスクリプト言語を提案する。このスクリプトファイルに

基づき、モーションクリップを接続しリアルタイムで CG 提示する技術 も合わせて開発する。

制作者は画面上の動きを見ながらモーションクリップを繋ぎ変えたり、変形を加えたりできる

ようになる。当面はテキストエディタなどによる編集が必要になるが、最終的には GUI をかぶ

せる。

P(  /16 )7

Page 8: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(2) 伝統芸能のデジタルアーカイブと観客に与える印象解析・モデル化

伝統芸能を例に、動作が演者によってどのように異なるか(個人差、性差、技量差)を明らか

にする。さらに、その演者による動作の差が鑑賞者に与える印象にどのように影響するかを光

トポグラフィや脳波解析で明らかにする。また、能面の陰影が鑑賞者に与える印象も脳生理学

計測や心理実験によって分析する。これらの解析によって得られた知見が、より一般的な知見

として活用可能であるかどうかを検証する。その成果は、(3)のサイバネティッククリエーショ

ンに活用される。これらの研究に必要となるリソースとして、伝統芸能のデジタルアーカイブ

を進める。具体的には民俗芸能や能などの動作、音曲だけでなく、能面など付属物のデジタル

記録も行う。

(2-a) 動作の違いの評価

人体動作にも制作者の味付け(taste)があるように、伝統芸能も演者による違いがある。ここ

では、(1-d)のモーションクリップ類似性評価技術を用いて、演者による違いを個人内差、個人

間差、性差、技量差などの観点で明らかにしていく。また、関節運動だけでなく、演者の筋電

位など生理信号の相違も含めて解析を行う。

(2-b) 動作の違いが観客の印象に与える影響

(2-a)で明らかになった動作の違いを CG ないしは実写映像として鑑賞者に提示する。このとき、

観客に与える印象の深さが、映像(動作)の違いによってどの程度変化するかを、光トポグラ

フィや脳波計測によって明らかにする。また、具体的な印象のイメージを官能検査による心理

計測で取得する。これらの反応は鑑賞者の興味、性別、年代によって異なると予想されるため、

それらを網羅するような被験者実験を行い、系統的な鑑賞者の反応メカニズムを解明する。

(2-c) 能面の陰影が観客の印象に与える影響

能では、演者が顔の向きを変え、そのとき能面に生じる陰影だけで表情を表現している。ここ

ではデジタル記録した能面にさまざまな陰影を生じさせて映像として鑑賞者に提示し、 (2-b)と同様の方法で、能面の陰影と鑑賞者の反応のメカニズムを解明 する。

(2-d) 伝統芸能のデジタルアーカイブ

伝統芸能として、さまざまな生活動作がデフォルメされて含まれている民俗芸能と、日本古来

の身体性が含まれている能を取り上げ、動作だけでなく、音曲や能面などの舞踊付属物をデジ

タル記録する。動作については(1)で述べたような蓄積技術を用いて 1000 個以上のモーション クリップとしてアーカイブする。また、300 個以上の能面の形状、テクスチャ、反射特性 をデ

ジタル記録し、さまざまな照明条件、顔の傾斜条件に応じた陰影をリアルに再現できるように

する。

P(  /16 )8

Page 9: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(3)サイバネティッククリエーションとメディア提示技術 

(2)によって得られた動作や陰影に応じた鑑賞者の反応メカニズムを、定量的な印象モデルとし

て構成し、そのモデルを活用して制作者が直感的に動作を変形できる技術を開発する。制作さ

れた人体動作データを高精細にレンダリングして2次元デジタル映像として提示するだけでな

く、実時間で動作変形しなければならない双方向メディアや、人間の動きを実体提示できるメ

ディアに提示する研究を行う。

(3-a) 知見の一般モデル化

(2)の研究は、いずれも具体的な伝統芸能に特化した実験であるが、動作の違いと観客の印象、

あるいは、顔の陰影と観客の印象という意味では、一般のデジタルメディア作品制作に活用し

うる知見が含まれていると考えられる。そこで、得られた知見をモデル化し、それに応じて、

(1-d)の技術で動作を変形して映像化し、鑑賞者に提示する。この映像データは伝統芸能そのも

のではなく、一般的なデジタルメディア作品の動作である。同様の印象解析を行うことで、伝

統芸能によって得られた知見のうち、一般的な作品制作に活用できる知見を見いだし、モデル

化する。同様にして、顔の表情を変えずに陰影を変えることで、観客に与える印象がどのよう

に変わるのかを研究し、能面に依存しないデジタルメディア作品の顔についてモデル化を行う。

(3-b) サイバネティッククリエーション

(1-d)で開発したモーション合成技術に、(3-a)の動作や陰影と鑑賞者の印象モデルを導入して、

制作者が鑑賞者の反応を想定して直感的に動作変形・編集できるような技術を加える。たとえ

ば、動作の速度や間が鑑賞者に与える印象モデルをを構成する。これは、動作全体の時間や動

作をしないで静止している時間と、その時間が鑑賞者に与える印象度(10段階の数字など)の

関連を科学的に分析した結果に基づく統計モデルである。制作者が、人体動作記述言語をベー

スに、ある場面での人体動作の速度や間を調整・変形すると、それに応じてリアルタイムに動

作が生成提示され、さらに、そのときの動作が鑑賞者に与える印象の深さが同時に提示される。

制作者はこれを参考に、自身の感性を加えて動作に味付けを施していくことができる。

(3-c) 双方向メディア

人体モデルの体形や、動作時間・動作強度・動作方向、あるいは他の人体エージェントや環境

との幾何学的干渉制約が変更された場合、制作された人体動作データをその場で修整・変形し 、

コンピュータグラフィクス提示する技術を開発する。また、実際に携帯ゲーム機で伝統芸能動

P(  /16 )9

Page 10: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

作を提示し、ユーザがその動作をリアルタイムで変形できるようにする。

(3-d) 実体提示メディア

人体動作クリップの段階で動力学的な制約を満足するように整合されているため、制作された

人体動作データも動力学制約を満足している。しかしながら、ロボットで実体提示するには、

動力学的な拘束だけでなく、ロボットの関節可動制約、アクチュエータのパワー制約などを考

慮した上で、制作した人体動作を修整する必要がある。ここではそのための技術を開発すると

ともに、実際にヒューマノイドロボットを用いて伝統芸能動作を提示する。

5. 期待される研究成果とインパクト

本研究の第一の成果は、デジタルメディア作品制作において効率上、品質上の最大のボトルネ

ックである人体動作生成を、個人制作者ないしは中小スタジオの設備で実現するための技術基盤

確立にある。人体動作をモーションクリップとして蓄積・再利用するだけでなく、生成した動作

が鑑賞者にどのような印象を与えるかを定量的にモデル化し、それを制作者にフィードバック

するサイバネティッククリエーションを実現する点が最大の成果である。自動的な動作生成は

現場で役立たないと認識されてきたが、それは、自動化技術が不十分であったからと考えてい

る。無線通信によるコミュニケーション技術は 50 年以上前から存在するが、携帯電話というレ

ベルまで技術が高まったことで急激な展開を見せたことを思い合わせたい。 制作者と鑑賞者の

ループを閉じる技術により、既存デジタル編集技術のブレークスルーを図り、人体動作生成が現

場に受け入れられる技術水準に達すると期待される。

第 2番目の成果として、制作現場での手作業に起因する各種の制作上の拘束の打破が考えられ

る。たとえば日本のアニメーションでは制作手間数の加減から「Limited Animation」とよば

れる動きのコマ数を落として、それ自体を味付け(taste)であるとせざるを得なかった。一方

で、デジタルメディアの時空間解像度は飛躍的に増加しており、手作業だけでは次世代メディア

の品質を生かしきる作品制作が困難になっている。本研究の成果により制作現場の自動化が測れ

れば、Limited Animation に代表されるそうせざるを得なかったという手作業による拘束が打

破できるであろう。これにより、次世代メディア作品制作時に制作の自由度が格段に増加し、作

品の質にインパクトを与えると思われる。

第3の成果として伝統芸能のアーカイブが上げられる。本提案の技術基盤は北米に対する競争

力強化を第一義としており、そのために日本古来の伝統芸能をデジタルアーカイブして再利用す

ることが効果的と判断した。この伝統芸能のデジタルアーカイブが急速に失われつつある日本

文化を時空間的情報として完全保存する技術として大きなインパクトを持つ。伝統芸能のデジタ

ルアーカイブはこれまでにも存在するが、それは舞台のビデオ撮影や動作データに過ぎなかっ

た。本研究のデジタルアーカイブは、データを総合的に採取して保存・利用する点で、従来のも

のとはまったく異なる。たとえば、演者の重心位置や力の入脱期と方向を鑑賞者の印象分析結果

とともにデータベースに統合する。このようなアーカイブの構築は、これまで演者の暗黙知と

して伝承されてきた伝統芸能を数値化して保存・再現するもので、演者・演目に基づく比較研究

を飛躍的に向上させると同時に、今後の再演にも効果的に利用しうる。

第4のポイントとして、本研究の技術は伝統芸能を効果的に伝承するためにも有益と考えてい

る。能の一派である観世会によれば、技の伝授の一番問題は、師匠と弟子の体型・身体性が異な

P(  /16 )10

Page 11: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

るゆえに技を言語化して伝授せざるを得ず、その共通言語が存在しないことにあると言う。本

研究の成果は、人体の動きを客観的に表現し、さらにそれを異なる体型の人体に変形する技術を

提供するもので、さらには、印象解析により、各人体動作の観客への受け入れられ方が明確にな

る。以上の2つの解析結果を統合することで、現状の技の善し悪し(観客の印象の良い/良くな

い動作要素)とそれをもたらしている人体運用上の要因が科学的に明確化でき、技の伝授に必要

な共通言語を提供し得ると考えられる。これは、本研究が伝統芸能のデジタル保存だけでなく、

人的伝承をも支えうる技術インパクトを持つことを意味する。

P(  /16 )11

Page 12: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式4)

他制度での助成等の有無○ 研究代表者の受けている助成等の有無

研究課題名 科学研究補助金 平成 16年度特定研究「情報学」計画研究 「身体性に関わる人間─環境系情報の記述と解析」

研究資金額 16,000 千円研究期間 平成 16年度役割 研究代表者

○ 主たる研究参加者(共同研究を行う機関の代表者)の受けている助成等の有無

植田 一博(東京大学 大学院 総合文化研究科)

研究課題名 科学研究費補助金 領域創成研究「人間同士の自然なコミュニケーションを支援する知能

メディア技術」

研究資金の額 380,000 千円

研究期間 平成 13年度~平成 17年度役割 研究分担者(年間の助成金額は 600 万円程度).研究代表者は西田豊明教授(京都大学・

大学院情報学研究科)

研究課題名 科学研究費補助金 基盤研究(A)「読書の熟達化プロセスの解明とその教育への応用」

研究資金の額 38,900千円

研究期間 平成 16年度~18年度

役割 研究代表者

池内 克史(東京大学 生産技術研究所)

研究課題名 科学技術振興機構 CREST 「文化遺産のメディアコンテンツ化のための自動化手法」 

研究資金の額 573,000 千円

研究期間 平成 12年度~平成 16年度役割 研究代表者

 

馬場 章(東京大学 史料編纂所)研究課題名 科学研究費補助金 特別推進研究(COE)「前近代日本史料の構造と情報資源化の研究」

研究資金の額 982,740 千円

研究期間 平成 12年度~平成 16年度役割 研究分担者.研究代表者は石上英一教授

持丸 正明(産総研 デジタルヒューマン研究センター)

研究課題名 科学技術振興機構 CREST「デジタルヒューマン基盤技術」

研究資金の額 600,000 千円

研究期間 平成 12 年度~平成 16 年度

P(  /16 )12

Page 13: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

役割 共同研究者(分担額は年間 10,000 千円程度.分担課題は人体形状モデリング)

研究代表者は金出武雄(デジタルヒューマン研究センター長)

P(  /16 )13

Page 14: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式5)

研究実施体制 1

◎ 研究チームの構成と研究分担体制

-研究代表者が所属する研究機関からの参加者-

○ 東京大学 大学院 教育学研究科(研究実施場所 東京大学大学院教育学研究科)

氏名 役職 研究充当率

佐々木 正人 教授 50% (←研究代表者)○ 東京大学 生産技術研究所(研究実施場所 東京大学 生産技術研究所 )

池内 克史 教授 30% (←主たる研究参加者)

影沢 政隆 助手 30%

長谷川 一英 ポスドク 50%高松 淳 ポスドク 50%

小川原 光一 ポスドク 50%

○ 東京大学 大学院  総合文化研究 科 (研究実施場所 東京大学 大学院総合文化研究科 ) 植田 一博 助教授 30% (←主たる研究参加者)

平井 真洋 ポスドク 60%

○ 東京大学 史料編纂所(研究実施場所 東京大学 史料編纂所 ) 馬場 章 助教授 50% (←主たる研究参加者)

○ 研究実施項目と概要

・ 研究実施項目:研究全体の総括をするとともに、モーションクリップ蓄積技術、鑑賞者の印象モデ

ルに関する研究を分担する。

・ 概要:生産技術研究所の池内のグループでは、モーションクリップ蓄積技術における、運動力学フ

ィルタ、運動の切り出しに関する研究を実施する。また、総合文化研究所の植田のグループでは、

人体動作の違いに応じた鑑賞者の印象を計測・モデル化する研究を行う。さらに、史料編纂所の馬

場のグループでは、これらの研究に必要となる伝統芸能の動作、音曲、装束、面などのデジタルア

ーカイブを進める。

P(  /16 )14

JST, 4月8日,
研究実施体制については、選定された後にご相談させていただくこととなります。なお、申し込みに際しての事前のご相談もお受けいたします。 研究チームの構成メンバーについては、その果たす役割等について十分ご検討下さい。 サブグループの数の上限は設けておりませんが、研究推進上、必要なグループのみで編成してください。
Page 15: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式6)

研究実施体制 2産業技術総合研究所 デジタルヒューマン研究センター(研究実施場所 産総研臨海副都心セン

ター)

○ 当該機関からの研究参加者の氏名/役職等

氏名 役職 研究充当率

持丸 正明 副センター長 50% (←主たる研究参加者)

加賀美 聡 主任研究員 30%

西脇 光一 研究員 30%

山崎 俊太郎 研究員 50%

川地 克明 ポスドク 60%

○ 研究実施項目と概要

・ 研究実施項目:モーションクリップ蓄積技術とリアルタイム動作生成技術、および、サイバネティ

ッククリエーション技術の研究を担当する

・ 概要:解剖学・運動学フィルタと、モーションクリップの切り出し、さらに、それらを動作記述言

語で接続しリアルタイムにCG提示する技術の開発を行う。それらを双方向メディアとして携帯ゲー

ム機に実装したり、実体メディアとしてヒューマノイドロボットで提示する研究を行う。また、動

作編集技術を鑑賞者の印象モデルと連携させ、サイバネティッククリエーションを実現する。

大阪大学 サイバーメディアセンター(研究実施場所 大阪大学 豊中キャンパス)

○ 当該機関からの研究参加者の氏名/役職

氏名 役職 研究充当率

中澤 篤志 講師 50% (←主たる研究参加者)

○ 研究実施項目と概要

・ 研究実施項目:モーションクリップ蓄積技術を担当する

・ 概要:運動の解析と個人差の定量的比較、モーションクリップの編集・合成技術に関する研究を行

う。

福井大学 教育地域科学部(研究実施場所 福井 大学) ○ 当該機関からの研究参加者の氏名/役職

氏名 役職 研究充当率

三嶋 博之 助教授 50% (←主たる研究参加者)

○ 研究実施項目と概要

・ 研究実施項目:人体動作の生態心理解析を担当する

・ 概要:人体動作を動作素に分割するに当たり、人間が自己の動作や姿勢をどのように認識している

かを解析、解明する。

P(  /16 )15

JST, 6月27日,
民間企業など様々な機関が研究チーム入っていることが選考の際の条件とはなりません。研究推進上、最も適していると思われるチームを組んでいただくことが重要です。
JST, 4月8日,
民間企業など様々な機関が研究チーム入っていることが選考の際の条件とはなりません。研究推進上、最も適していると思われるチームを組んでいただくことが重要です。
Page 16: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式7)

論文・著書リスト(研究代表者)

―主要文献-

 後藤武・佐々木正人・深沢直人, デザインの生態学, 東京書籍, 2004

* SASAKI MASATO & HIROYUKI MISHIMA, Surface and Action; Concepts of Affordance in Ecological Psychology, Dynamic systems approach for embodiment and sociality; From Ecological psychology to Robotics, Murase Kazuyuki & Asakura Toshiyuki(eds.), Advanced knowledge international publisher, pp.14-19, 2003

*佐々木正人, 物・環境を行為で記述する試み , 人工知能学会誌, 18巻 4号, pp.399─407, 2003

*佐々木正人, レイアウトの法則─アートとアフォーダンス, 春秋社, 2003

*佐々木正人、三嶋博之編著, アフォーダンスの構想─知覚研究の生態心理学的デザイン, 東京大学出版会, 2001

*佐々木正人・三島博之編著, アフォーダンスと行為, 金子書房, 2001

 鈴木健太郎・佐々木正人, 行為の潜在的なユニット選択に働くタスク制約:日常タスクに観

察されるマイクロスリップの分析, 認知科学, 8巻 2号, pp.121─138, 2001

*佐々木正人, 知覚はおわらない, 青土社, 2000 年

P(  /16 )16

Page 17: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式8)

論文・著書リスト(主たる研究参加者)池内克史・中澤篤志・小川原光一・高松淳ほか, 民俗芸能のデジタルアーカイブとロボットによる動作提示 .

日本バーチャルリアリティ学会誌9巻2号 (2004)Koichi OGAWARA, Jun Takamatsu, Hiroshi KIMURA, Katsushi IKEUCHI, Extraction of Essential

Interactions Through Multiple Observations of Human Demonstrations, IEEE Trans. on Industrial Electronics, 50(4), pp.667-675, 2003

Shinichiro Nakaoka, Atsushi Nakazawa, Kazuhito Yokoi, Hirohisa Hirukawa, Katsushi Ikeuchi, Generating Whole Body Motions for a Biped Humanoid Robot from Captured Human Dances, 2003 IEEE International Conference on Robotics and Automation(ICRA2003), pp.14-19, 2003

土居 裕和・植田 一博 , モーション・キャプチャ・データに基づく能の所作の特徴量抽出, 情報処理学会研究

報告 2004-CH-62, pp.29-35, 2004Ueda,K., Uchida,Y., Izumi,K., Ito,Y., How Expert Dealers Make Profits and Reduce the Risk of Loss

in a Foreign Exchange Market?, Proceedings of the 26th Annual Conference of the Cognitive Science Society (in press)

羽山 博・植田 一博 , 差分明示機能を組み込んだ適応的インタフェースの開発と評価 , 認知科学 , 11(2),pp.124-142, 2004

植田 一博 ・岡田 猛(共編著), 協同の知を探る:創造的コラボレーションの認知科学, 共立出版, 2000

Kou HIDA, Akira BABA, Mitsuhiro TSUDA, iPalletnexus" Development of research support software for the large size images, Proceeding of the Nara Symposium for Digital Silk Roads, UNESCO, NII, ACCU, pp.445-454, 2003

馬場 章 ・越塚 登・坂村 健, 歴史学のデジタルミュージアムの試み, 人文科学とコンピュータシンポジウム論

文集, 情報処理学会シンポジウムシリーズ, 2002(13), pp.289-296, 2002馬場 章 ・吉田 成・谷 昭佳ほか, デジタルアーカイブからデジタルエキシビションへ, 人文科学とコンピュー

タシンポジウム論文集, 情報処理学会シンポジウムシリーズ 2001(18),pp.17-24,2001

持丸正明, 機械接触インタフェースと人体生理モデル , ヒューマンインタフェース学会誌 , Vol.6. No.1, pp19-24, 2004

持丸正明, 加賀美聡, 江原義弘, ヒトの歩行に学ぶヒューマノイド二足歩行の高速化 , 第 24回バイオメカニズ

ム学術講演会, pp97-100, 2003S. Kagami, M. Mochimaru, Y. Ehara, N. Miyata, K. Nishiwaki, H. Inoue, T. Kanade: Measurement

and Comparison of Humanoid H7 Walking with Human Being, IEEE International Conference on Humanoid Robots (Humanoids2003), 2003

倉林準, 持丸正明, 河内まき子, 股関節中心推定方法の比較・検討, バイオメカニズム学会誌, Vol.27. No.1, pp29-35, 2003

P(  /16 )17

Page 18: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式9)

特許リスト(研究代表者)

―主要特許-

なし

P(  /16 )18

Page 19: 平成14年度ki/proposals/040627n_crest.doc · Web view昭和62年~平成6年 早稲田大学人間科学部専任講師ー助教授(平成3年から) アフォーダンスに関する研究に従事

(CREST - 様式10)

戦略的創造研究推進事業に応募した理由、研究に際してのご希望、ご事情その他について、自

由に記入して下さい。

特になし。

P(  /16 )19

JST, 4月8日,
海外での研究実施を希望される場合は、その理由をこちらに記載してください。

Recommended