Post on 22-Mar-2021
transcript
The New Challenge ofDelphi Survey at NISTEP
Mar.2015
Science and Technology Foresight Center
Hitoshi KOSHIBA, Ph.D.
The Data Science into the Foresight
Summary
Mar-3, 2015 2
Implementing Digitization of Delphi Survey Transition from paper based to web based
questionnaires• It enables to collect mass data in a short time.
Embarking on data science efforts• It enables to overview data from various perspectives.
Developed online Delphi System called “Delphin” which enables data analysis from
various perspectives while sequentially verifying the condition of respondents and
responses
Requirements
Mar-3, 2015 3
Readiness Necessary to output analysis in a short time to follow
rapid technological and societal diversification and situation changes
ScalabilityEnable only to collect mass date in a short time by data
collection on ICT and reduced management cost
Necessary to develop a system for NISTEP staff who is not expert at mass data processing to analyze the collected data
Making Delphi Survey to be web based Making Delphi Survey to be web based and developing analyzing system
Transition to Web based Delphi Method
Mar-3, 2015 4
Delphi survey was conducted by mail in the past It is now switched to the new way. (i.e. Web based Delphi)
01011
Request
Cording
Counting
Response
few weeks
few weeks
few days
few weeks
≒ 1 month
Delphin https
Request
Response
Past(Mail Base) Present(Web Base)
It requires only a few seconds excluding responding time and progress can be tracked anytime.
It took months excluding response periodWith struggling with Excel for counting.
Participants
NISTEP
NISTEP
Participants
few minutes!Collection
Screenshot of Survey System
Mar-3, 2015 5
Topics
As this is a system for general questionnaire, there are issues
related to operability such as UI/ UX
Question items
Requirements
Mar-3, 2015 6
Readiness Necessary to output analysis in a short time to follow
rapid technological and societal diversification and situation changes
ScalabilityEnable only to collect mass date in a short time by data
collection on ICT and reduced management cost
Necessary to develop a system for NISTEP staff who is not expert at mass data processing to analyze the collected data
Making Delphi Survey to be web based Making Delphi Survey to be web based and developing analyzing system
Analyzing System:Delphin Core
Mar-3, 2015 7
Developed a system to process mass data – analyzing and visualizing - efficiently
RegistrationStatus View(Daily)
Result View(Represented value)
Visualization of result details
Cross/correlation analysis on detailed items
Correlation View(among the Topics)
Generate basic report (Printed documents)
Mounting functions timely and searchingly by self manufacturing Mounting functions timely and searchingly by self manufacturing necessary functions while using at practical level
Characteristics
Mar-3, 2015 8
Recognize the status promptly Enable to recognize registration and response status by fields in
real time• Enable to take measures such as additional recruitment by detecting a
shortage of responses Enable to present counting results timely (not complied this
time)
Analyze data easily Realize visualization from various perspectives only by mouse
operation Realize the comparison by demographics on site
Mount tools for data science Latent Semantic Analysis and calculating similarity of topics by
using Natural Language Processing Crawling related articles from web sites
Example of analytics function of Delphin
Mar-3, 2015 9
Dimensionality reduction Principal component analysis(PCA),Multi Dimension
Scaling (MDS) ,Self Organization Mapping (SOM)PLSA,LDA
Natural Language ProcessingCalculating correlation of free answerRelated Topics / Policy search (at web)
Others 1
2
3
4
5
6
7
89
10
11
12
13
14
15 16
17
18
19
2021
22
23
24
25
26 27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
6970
71
72
73
7475
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
9192
93
94
95
96
9798
99
100
101
重要度重要度国際競争⼒国際競争⼒不確実性不確実性⾮連続性⾮連続性倫理性倫理性技.わからない 技.わからない技.実現済み
技.実現済み
技.実現する
技.実現する
技.実現しない
技.実現しない
技術.実現年技術.実現年
技.資源配分
技.資源配分
技.内外の連携.協⼒
技.内外の連携.協⼒
技.⼈材戦略
技.⼈材戦略
技.環境整備
技.環境整備
技.その他
技.その他
社.わからない
社.わからない
社.実現済み
社.実現済み
社.実現する
社.実現する
社.実現しない社.実現しない
社会.実装年
社会.実装年
社.資源配分
社.資源配分
社.内外の連携.協⼒
社.内外の連携.協⼒
社.⼈材戦略
社.⼈材戦略
社.環境整備
社.環境整備
社.その他社.その他
-60
-40
-20
0
2 0
-60 -30 0 30 6 0
細⽬
01. 経営・政策
02. 知識マネジメント
03. 製品サービスシステム(PSS)
04. 社会設計・シミュレーション
05. サービスセンシング
06. サービスデザイン
07. サービスロボット
08. サービス理論
09. アナリティクス
10. ⼈⽂系基礎研究
⼈⼯知能
ビジョン・⾔語
メディア・DB
ハード
インタラクション
ネットワーク
ソフトウェア
HPC
理論
サイバーセキュリティBD・CPS・IoT
ICTと社会
医療機器・技術
健疫ゲ情報
その他
農_⾼度⽣産農_疾病防除農_バイオマス利⽤
農_環境保全
⾷品_⾼度⽣産
⾷品_流通・加⼯
⾷品_⾷品安全
⽔産_資源保全
⽔産_育種・⽣産
⽔産_環境保全
林_⾼度⽣産
林_バイオマス利⽤
林_環境保全
共通_情報サービス
共通_その他
宇宙
海洋
地球
地球観測・推計・予測
加速器、素粒⼦・原⼦核
ビーム応⽤:放射光ビーム応⽤:中性⼦等
計算科学・シミュ
数理科学・ビッグデータ
計測科学
エネルギー⽣産
エネルギー消費
エネ流変貯送
資源
リユース・リサイクル⽔
地球温暖化
環境保全
環境解析・予測
環境創成
リスクマネジメント
新材料の創成
先進製造モデ・シミュ応デ:ICT・ナノ
応デ:環エネ
応デ:インフラ国⼟開発・保全
都市・建築・環境
保守・メンテ
交通・物流
モビリティ
防減災技術
防減災情報
経営・政策
知識マネジメント
PSS
社会設計・シミュSvセンシングSvデザインSvロボット
サービス理論
アナリティクス
⼈⽂系基礎
-0.07 5
-0.05 0
-0.02 5
0.00 0
0.02 5
0.05 0
-0.1 0 .0 0.1 0.2
分野
1. ICT・アナリティクス
2. 健康・医療・⽣命科学
3. 農林⽔産・⾷品・バイオテクノロジー
4. 宇宙・海洋・地球・科学基盤
5. 環境・資源・エネルギー
6. マテリアル・デバイス・プロセス
7. 社会基盤
8. サービス化社会
System Structure
Mar-3, 2015 10
Delphin(Online Delphi System) constructed by 2 components Survey : Use existing OSS (Open source Software), Lime Survey. Analysis (Delphin core): Developed from scratch
• Constructed by DB, Web server, D3, R, php and java script.
Delphin Core
SQL DB httpdMySQL DBhttpd
script/code script/code
sync
Lime Survey
OSS: ExistingBuilt by NISTEP
SurveyAnalysis
ParticipantsNISTEP StaffOnline Delphi System : Delphin
Mar-3, 2015 11
Demonstration
Future Technology Conceptual Map
⼈⼯知能
ビジョン・⾔語
メディア・DB
ハード
インタラクション
ネットワーク
ソフトウェア
HPC
理論
サイバーセキュリティBD・CPS・IoT
ICTと社会
医療機器・技術
健疫ゲ情報
その他
農_⾼度⽣産農_疾病防除農_バイオマス利⽤
農_環境保全
⾷品_⾼度⽣産
⾷品_流通・加⼯
⾷品_⾷品安全
⽔産_資源保全
⽔産_育種・⽣産
⽔産_環境保全
林_⾼度⽣産
林_バイオマス利⽤
林_環境保全
共通_情報サービス
共通_その他
宇宙
海洋
地球
地球観測・推計・予測
加速器、素粒⼦・原⼦核
ビーム応⽤:放射光ビーム応⽤:中性⼦等
計算科学・シミュ
数理科学・ビッグデータ
計測科学
エネルギー⽣産
エネルギー消費
エネ流変貯送
資源
リユース・リサイクル⽔
地球温暖化
環境保全
環境解析・予測
環境創成
リスクマネジメント
新材料の創成
先進製造モデ・シミュ応デ:ICT・ナノ
応デ:環エネ
応デ:インフラ国⼟開発・保全
都市・建築・環境
保守・メンテ
交通・物流
モビリティ
防減災技術
防減災情報
経営・政策
知識マネジメント
PSS
社会設計・シミュSvセンシングSvデザインSvロボット
サービス理論
アナリティクス
⼈⽂系基礎
-0.075
-0.050
-0.025
0.000
0.025
0.050
-0 .1 0.0 0.1 0.2
分野
1. ICT・アナリティクス
2. 健康・医療・⽣命科学
3. 農林⽔産・⾷品・バイオテクノロジー
4. 宇宙・海洋・地球・科学基盤
5. 環境・資源・エネルギー
6. マテリアル・デバイス・プロセス
7. 社会基盤
8. サービス化社会
Mar-3, 2015 12
Visualizing correlation among fields by detail items through natural language processing
Co-Occurrence Relation Map
⼈⼯知能ビジョン・⾔語処理デジタルメディア・データベース
ハードウェア・アーキテクチャ
インタラクション
ネットワークソフトウェアHPC理論
サイバーセキュリティビッグデータ・CPS・IoT
ICTと社会
医薬 医療機器・技術
再⽣医療
コモンディジーズ、外傷、⽣殖補助医療
難病、希少疾患
精神・神経疾患新興・再興感染症
健医疫ゲ情報
⽣命科学基盤技術その他
農_⾼度⽣産
農_作物開発
農_疾病防除
農_バイオマス利⽤
農_環境保全
⾷品_⾼度⽣産
⾷品_流通・加⼯⾷品_⾷品安全
⾷品_⾷品機能性
⽔産_資源保全⽔産_育種・⽣産
⽔産_環境保全林_⾼度⽣産
林_バイオマス利⽤
林_環境保全
共通_情報サービス
共通_その他宇宙海洋
地球
地球観測・推計・予測
加速器、素粒⼦・原⼦核ビーム応⽤:放射光
ビーム応⽤:中性⼦
計算科学・シミュレーション数理科学・ビッグデータ計測科学
エネルギー⽣産
エネルギー消費エネルギー流変貯送資源
リユース・リサイクル
⽔地球温暖化
環境保全
環境解析・予測環境創成
リスクマネジメント
新しい物材機能創成
先進製造モデリング・シミュレーション先端材・デ計測・解析
応デ:ICT・ナノ
応デ:環エネ
応デ:インフラ
国⼟開発・保全
都市・建築・環境
インフラ保守・メンテナンス
交通・物流インフラ
⾞・鉄道・船舶・航空防災・減災技術防災・減災情報
経営・政策知識マネジメント
PSS社会設計・シミュサービスセンシング
サービスデザインサービスロボットサービス理論アナリティクス
⼈⽂系基礎研究
-0.02
0.00
0.02
-0.02 0.00 0.02 0.04
分野
1. ICT・アナリティクス
2. 健康・医療・⽣命科学
3. 農林⽔産・⾷品・バイオ
4. 宇宙・海洋・地球・科学基盤
5. 環境・資源・エネルギー
6. マテリアル・デバイス・プロセス
7. 社会基盤
8. サービス化社会
Mar-3, 2015 13
Visualizing correlation among fields by detail items from
co-occurrence relation when respond
Response Trends Classification Map:PCA Based
1
2
3
4
5
6
7
89
10
11
12
13
14
15 16
17
18
19
2021
22
23
24
25
26 27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
6970
71
72
73
7475
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
9192
93
94
95
96
9798
99
100
101
重要度重要度国際競争⼒国際競争⼒不確実性不確実性⾮連続性⾮連続性倫理性倫理性技.わからない 技.わからない技.実現済み
技.実現済み
技.実現する
技.実現する
技.実現しない
技.実現しない
技術.実現年技術.実現年
技.資源配分
技.資源配分
技.内外の連携.協⼒
技.内外の連携.協⼒
技.⼈材戦略
技.⼈材戦略
技.環境整備
技.環境整備
技.その他
技.その他
社.わからない
社.わからない
社.実現済み
社.実現済み
社.実現する
社.実現する
社.実現しない社.実現しない
社会.実装年
社会.実装年
社.資源配分
社.資源配分
社.内外の連携.協⼒
社.内外の連携.協⼒
社.⼈材戦略
社.⼈材戦略
社.環境整備
社.環境整備
社.その他社.その他
-60
-40
-20
0
20
-60 -30 0 30 60
細⽬
01. 経営・政策
02. 知識マネジメント
03. 製品サービスシステム(PSS)
04. 社会設計・シミュレーション
05. サービスセンシング
06. サービスデザイン
07. サービスロボット
08. サービス理論
09. アナリティクス
10. ⼈⽂系基礎研究
Mar-3, 2015 14
Visualizing response trends by dimensionality
reduction
Issues
Mar-3, 2015 15
SurveyGeneralized questionnaire systems cannot fully deal
with Delphi method in some points due to its particularity. • Dozens of question items for one Delphi topic• The number of topics is from dozens to thousands
►Questionnaire with hundreds questions are usually not constructed (organized).
►Be creative in UI
• After 2nd round, present last count result and re-enter
questionnaire system is consideredRevising and developing
questionnaire system is considered
Issues
Mar-3, 2015 16
AnalyticsDifficult to handle data in Excel due to a large
amount of data
Methods are available to use for data science but difficult to judge what is appropriate. • Difficult for outsourcing as required functions are searched
and found during practice
Developing continuously by a teams of Developing continuously by a teams of data scientists, persons with work
experience and experts
Summary
Mar-3, 2015 17
Identifying fieldsʼ future vision is important work for S&T policy NISTEP implemented Science and Technology Foresight
Survey by Delphi method Improving analyzing speed is a challenge along
with social diversification Using ICT to deal with the challenges but facing
the difficulty to handle a large amount of data Difficult to introduce simplest systems due to structural
issues
Not only digitized but developed online Delphi System called Delphin as a new initiative directing Data Science in Foresight