22
中南大学高性能计算公共平台建设进展
邹有2020年11月·苏州
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
目 录1.关于平台
2.平台概况
3.试运行情况
4. 问题与思考
知行合一、经世致用 Central South University
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
1
关于中南大学
知行合一、经世致用 Central South University
·
·
·
·
教育部直属全国重点大学
国家“211工程”首批重点建设高校
国家“985工程”部省重点共建高水平大学和国家“2011计划”
首批牵头高校
2017年9月入选世界一流大学A类建设高校
材料科学、工程学、临床医学、化学、药理学与毒理学、生物学与
生物化学、神经科学与行为学、数学、计算机科学、分子生物学
与遗传学、社会科学总论、免疫学、精神病学与心理学、地球科
学、环境科学与生态学、农业科学等16个学科ESI（基本科学指标）
排名居全球前1%
坐落于“中国最具幸福感城市”——长沙
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
4知行合一、经世致用 Central South University
校级高性能计算平台建设历程
2009
投入365万元初建校
级高性能计算平台，
共86个计算节点，
CPU理论计算峰值10
万亿次，存储20TB，
20Gb IB 计算网络
2013
投入40万元扩建第
二套高性能计算平台，
9个计算节点，CPU
理论计算峰值2.995
万亿次，存储18TB，
千兆以太网互联
2019
投入238万元建设第三套高性能计
算平台，共30个CPU计算节点，2个
GPU计算节点。CPU理论计算峰值
84.79万亿次，GPU理论计算峰值
48.4万亿次，存储72TB，万兆以太
网互联
2020
投入6349万元建设全新智算平台，
共1064个CPU+GPU计算节点。
总体理论计算峰值5644万亿次，
其中CPU理论计算峰值4856万亿
次，GPU理论计算峰值788万亿次，
存储2PB，100Gb IB 计算网络
承建部门：信息与网络中心
高性能计算中心（2人） 网络安全部（4人）？？部（6-7人）
知行合一、经世致用 Central South University
建设时间线
·
·
·
·
·
·
·
·
·
·
2019年5月，学校学科建设会议提出建立大规模高性能计算平台；
2019年6月，学校大型仪器设备领导小组联合信息与网络中心提交项目初步建设方案并进行校内外
立项论证；确定信息与网络中心承担设备和机房部分建设，后勤保障部承担电力增容建设；
2019年7月-2020年1月，细化参数：CPU、存储、计算网络、制冷、功耗……
2020年3月31日，开标采购，浪潮电子信息产业股份有限公司中标，金额6349万元；
2020年4月8日，电力增容部分完成招标；
2020年5月，完成合同签订，正式进场；
2020年7月26日，完成机房改造（天花、地板、装饰工程、微模块、空调、配电设施）；
2020年7月30日，主体服务器设备全部到货，开始上架安装；
2020年8月26日，设备正式通电，开始软件的安装与测试；
2020年10月正式开通用户注册通道，启动试运行。
知行合一、经世致用 Central South University
建设现场
2.平台概况
知行合一、经世致用 Central South University
·
·
·
·
·
机房部分（192㎡）
采用两组微模块承载计算设施：62个柜位（42个IT柜、16个空调柜、4个列头柜）
采用封闭热通道模式，16台风冷列间空调，单空调制冷功率60Kw
双路1000KVA市电接入，双电源设备同时接入双路市电，每IT柜配2组50A/380V PDU
登录管理节点、存储、核心交换机等设施接入300KVA模块化UPS
知行合一、经世致用 Central South University
平台概况-机房
知行合一、经世致用 Central South University
平台概况-硬件
· 主要计算设施部分
设备类型 主要配置 数量
管理和登录
节点
1U，CPU：2颗Intel 6248（2.5GHz/20核/27.5M）；内存：192GB(16GB*12)DDR4
ECC内存；硬盘：4块480GB SSD硬盘4
双路CPU计
算节点
1U，CPU：2颗Intel 6248R（3.0GHz/24核/35.75M）；内存：192GB(16GB*12)DDR4
ECC内存；硬盘：1块240GB SSD硬盘1022
四路CPU计
算节点
4U，CPU：4颗Intel 6248（2.5GHz/20核/27.5M）；内存：1.5TBGB(32GB*48)DDR4
ECC内存；硬盘：2块480GB SSD硬盘10
双卡GPU计
算节点
2U，CPU：2颗Intel 6248（2.5GHz/20核/27.5M）；内存：384GB(32GB*12)DDR4
ECC内存；硬盘：2块480GB SSD硬盘，GPU：2块NVIDIA Tesla V100S （32GB）10
四卡GPU计
算节点
4U，CPU：2颗Intel 6248（2.5GHz/20核/27.5M）；内存：384GB(32GB*12)DDR4
ECC内存；硬盘：2块480GB SSD硬盘，GPU：2块NVIDIA Tesla V100 （32GB，
NVlink）
12
八卡GPU计
算节点
4U，CPU：2颗Intel 6248（2.5GHz/20核/27.5M）；内存：384GB(32GB*12)DDR4
ECC内存；硬盘：2块480GB SSD硬盘，GPU：2块NVIDIA Tesla V100（32GB，
NVlink）
4
存储系统2 IO节点，DDN EXAScaler 商业版Lustre，DDN SFA200NV 元数据存储节点（5块
1.92TB SSD），DDN ES7990数据存储节点（企业级SAS，裸容量3.072PB）1
高速计算网
络Mellanox HDR，每端口一分二实现所有服务器100Gbps全线速，光纤和铜缆混用 42
知行合一、经世致用 Central South University
平台概况-监控
动环监控
浪潮ISPIM
DDN ESMON
Zabbix
视频监控
知行合一、经世致用 Central South University
平台概况-配置
队列名 队列配置
cpuQ 800节点，采用QoS进行限制，每用户最多100个任务、50节点、2400核心
ResQ 222节点，为测试和培训预留
gpu2Q 10个双卡GPU节点
gpu4Q 12个四卡GPU节点
gpu8Q 4个八卡GPU节点
·
·
·
·
·
·
·
平台管理配置情况
用户管理：OpenLDAP
作业调度：Slurm
安全配置：
校内直接访问、校外通过VPN访问；
防火墙（采购中……）
采用联网白名单制
容器环境：singularity+docker
更多介绍可访问 http://hpc.csu.edu.cn
·
·
·
·
·
·
·
·
·
性能测试
1000个双路计算节点Linpack实测2.89PFLOPS（62.7%）
10个四路计算节点Linpack实测41.96TFLOPS（65.56%）
双路单机平均Linpack效率65.86%
四路单机平均Linpack效率66.68%
OSU端到端实测平均带宽：97.76Gbps
内存带宽stream测试平均效率78.23%
单节点多线程读性能11.3GB/s，写性能10.3GB/s
持续读写1小时聚合读性能21.9GB/s，写性能20.6GB/s
知行合一、经世致用 Central South University
平台概况-性能
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
1
2.试运行情况
知行合一、经世致用 Central South University
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
知行合一、经世致用 Central South University
用户注册情况
154
55 51 48 40 38 26 24 23 21 19 15 14 14 14 10
计算机学院
交通运输工程学院
机电工程学院
土木工程学院
粉末冶金研究院
自动化学院
物理与电子学院
能源科学与工程学院
材料科学与工程学院
地球科学与信息
...
化学化工学院
数学与统计学院
轻合金研究院
资源加工与生物
...
冶金与环境学院
资源与安全工程学院
0
60
120
180 注册用户主要来源能自主并行编程计算 99
有超算使用经验 194
新手 406
截止2020年11月19日，注册用户699人 用户熟练程度
教职 75
博士生 185
硕士生 370
本科生 68
用户类型
国家级课题 296
省部级课题 49
横向课题 61
其他自研 332
计算项目分布
284个用户的计算内容提到了“深度学习”、“机器学习”、“训练”相
关信息
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
知行合一、经世致用 Central South University
平台运行情况
截止2020年11月19日，已提供145万核时，运行作业37034个，节点平均占用率超过92%
从用户提交的任务名称大致统计，使用较多的软件是Vasp、
Lammps、CPMD、Gaussian、StarCCM
＞1000核时 ~7.7%
50至1000核时 ~40%
<50核时 ~52.3%
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
知行合一、经世致用 Central South University
平台运行情况
12%
9%
7%
6%
7%
7%
6%
4%
3%3%
1%
1%1%1%
1%
29%
16个学院应用软件采购需求统计图土木工程学院
粉末冶金研究院
商学院
化学化工学院
轻合金研究院
计算机学院
交通运输工程学院
冶金与环境学院
材料院
公共管理学院
资源加工与生物工程学院
大数据研究院
地球科学与信息物理学院
数学与统计学院
物理与电子学院
自动化学院
MATLAB
16%
ANSYS
11%
VASP
11%
Materials Studio
8%PandatTM
8%
ABAQUS
5%
COMSOL
Multiphysics
5%
Deform
5%
Gaussian
5%
JMatPro
5%
SIMPACK
5%
Thermo-Calc
Software
5%
MICRESS
5%
FirstOpt
3%
EDEM
3%
高性能计算专业软件采购需求排名
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
知行合一、经世致用 Central South University
平台运行情况
·
·
·
平台功耗
理论值：1017.47KW（697.48+16*20）
试运行期间日均电能消耗月1.7万度
感谢您下载包图网平台上提供的PPT作品，为了您和包图网以及原创作者的利益，请勿复制、传播、销售，否则将承担法律责任！包图网将对作品进行维权，按照传播下载次数进行十倍的索取赔偿！
ibaotu.com
知行合一、经世致用 Central South University
平台运行情况
· 平台故障统计情况：截至2020年11月19日，出现故障25台次，主要故障集中在：主板、内存、CPU、IB卡、
电源
4. 问题与思考
知行合一、经世致用 Central South University
知行合一、经世致用 Central South University
问题与思考
·
·
·
·
·
·
心得分享：
校领导和学科的支持是建设的资金保障；
在投标与合同中将设备约定细致，其他的配套与改造尽量不要描述细节；
跟厂商保持沟通；
风冷制冷效果比预期的好；
有条件上一部分全闪存储；
知行合一、经世致用 Central South University
问题与思考
·
·
·
·
·
平台运维
寻求轻量级的节点探针
Open onDemand尝试
虚拟机管理
教学账号分配与管理
·
·
人才培养
培养模式
·
·
·
·
收费管理模式
按核时
机时预算制
优先级收费
谢 谢!
欢迎各位专家来我校参观指导
