HPC:让风云变幻不再莫测
时间:09-09
来源:与非网
点击:
计算需求无止境
数据的预处理对HPC来说还只是牛刀小试,而HPC的更重要的作用还是进行方程组的求解以及对气象规律的研究,包括对正在使用的方程组进行改进和计算模型进行优化。
据了解,目前数值天气预报普遍采用的是MM5、WRF预报模型,中国气象局、北京市气象局等中国绝大部分气象局都采用这种中尺度预报模型,除此之外,各地还有一些自己研发的辅助预报模型。例如中国气象局还运行T639、自主研发的GRAPES全球预报模型。无论哪种预报模型其共同点都是计算量非常大。比如,中央电视台每晚新闻联播之后的天气预报,其数值天气预报部分要运行多个模式,其中的一个模式的计算过程大约需要两个小时。"而有些气候预测模式在HPC上的运行时间可能长达几个月。" 洪文董表示。这些在HPC上的运行的模式大都是并行程序,就是说一个程序同时使用几百、上千个CPU是常有的事。程序并行度越高,即同时使用CPU数越多,计算时间越短。现在国际上,气候研究已经使用千万亿次HPC。
值得一提的,HPC的运算结果并不一定就是最后的天气预报。天气预报是一个非常复杂的过程,数值天气预报只是其中的一种,除此之外,天气预报的专家还会运用天气学、统计学以及个人经验,还可能会考虑周边地区做出的预报等,最后综合所有信息做出结论,这才是我们在电视、报纸上看到的天气预报结果。因此,天气预报的准确与否,HPC的计算能力大小只是其中一个因素,而更为主要的是预报模型是否科学,说到底还是人们对气象规律是否充分掌握。但是,这丝毫也动摇不了HPC在天气预报中的作用,特别是在正在努力提高天气预报准确率的今天,HPC是一个基本保证。
据了解,在奥运期间,来自多国气象领域的专家就围绕奥运场馆的天气预报悄悄展开了另一场比拼,他们用各自的预报模型对场馆进行预报,借此检验自己模型的准确性。而在这场比拼中,北京市气象局交上了一份满意的答卷,特别是开闭幕式的天气预报,都准确地预报出来当时天气,为开闭幕式的顺利进行奠定了基础。
"目前,天气预报的难题是定时、定点、定量的精细化预报,也就是准确预报出何时、何地有多大雨量、风速多大,这对于像奥运会、国庆等重大活动非常重要,而这些问题的解决都必须提高模拟大气方程中的分辨率,也就是必须具有强大计算能力的HPC的支持。"刘旭林介绍说,为了提高预报的准确性,目前的发展趋势就是增加资料同化种类和提高时空分辨率,而这样做的必然结果就是计算量呈指数级增加,比如计算分辨率从10公里提升到5公里,则计算量可能增加10倍以上。
需要更节能更高效的HPC
随着HPC在气象预报和气象研究中的应用和普及,其问题也日益凸显出来。其中最大的问题是HPC的耗电问题,在采访中,刘旭林和洪文董都谈到了这个问题,他们都表示,非常希望生产商能提供更节能的HPC。
刘旭林对记者说: "HPC是一个相当费钱的计算机,不只是采购成本高昂,其占地大,维护成本也很高,包括用电都是一笔很大的开支。"
据了解,为支持北京奥运会而采购的这台IBM p575仅仅是每年的电能消耗就达近300万元,再加上日常的维护成本,其每年投入不是小数。而计算能力更强大的国家气象信息中心的那台21亿万次的HPC,其功率近1兆瓦,这就意味着一昼夜就要消耗两万多度电。另外,据国外媒体的报道,占地四个网球场大小的日本"地球模拟器"仅每年的电费就达1亿日元,已经让其拥有者不堪重负。因此,与普通计算机相比,HPC的节能需求更为明显。
提高HPC的利用率也是目前HPC的用户共同面对的问题。HPC通常都具有几十个甚至上百个节点、数千个CPU,要充分发挥这台机器的计算能力本身就非常复杂,它不止是考验管理员的调度能力,同时也是对应用软件开发者的考验,软件开发者需要开发出高度并行的软件,而并行软件的开发也是当前软件领域的一个难题,而且也是在考验作业调度软件的调度能力和系统管理员的管理能力。目前,即使用得比较好的北京市气象局和国家气象信息中心的HPC利用率也不超过80%。
人才队伍的建设也是HPC应用中面临的一个问题,这里所说的人才不仅要懂HPC,还要懂气象知识,只有同时具有这两方面知识的人才能更好地优化计算模型、更好地发挥HPC的效能,而这样的人才是目前大多数HPC用户所缺乏的。
谈到HPC的未来发展,洪文董表示: "除了常规的天气预报之外,最近几年HPC在气候研究方面的价值也开始显现出来。比如,随着全球气候变暖趋势明显,越来越多的国家投入巨资进行这一课题的研究。而在这一课题的研究方面,没有HPC是根本不可能的,这也可以说是HPC对整个人类社会的贡献之一。"
数据的预处理对HPC来说还只是牛刀小试,而HPC的更重要的作用还是进行方程组的求解以及对气象规律的研究,包括对正在使用的方程组进行改进和计算模型进行优化。
据了解,目前数值天气预报普遍采用的是MM5、WRF预报模型,中国气象局、北京市气象局等中国绝大部分气象局都采用这种中尺度预报模型,除此之外,各地还有一些自己研发的辅助预报模型。例如中国气象局还运行T639、自主研发的GRAPES全球预报模型。无论哪种预报模型其共同点都是计算量非常大。比如,中央电视台每晚新闻联播之后的天气预报,其数值天气预报部分要运行多个模式,其中的一个模式的计算过程大约需要两个小时。"而有些气候预测模式在HPC上的运行时间可能长达几个月。" 洪文董表示。这些在HPC上的运行的模式大都是并行程序,就是说一个程序同时使用几百、上千个CPU是常有的事。程序并行度越高,即同时使用CPU数越多,计算时间越短。现在国际上,气候研究已经使用千万亿次HPC。
值得一提的,HPC的运算结果并不一定就是最后的天气预报。天气预报是一个非常复杂的过程,数值天气预报只是其中的一种,除此之外,天气预报的专家还会运用天气学、统计学以及个人经验,还可能会考虑周边地区做出的预报等,最后综合所有信息做出结论,这才是我们在电视、报纸上看到的天气预报结果。因此,天气预报的准确与否,HPC的计算能力大小只是其中一个因素,而更为主要的是预报模型是否科学,说到底还是人们对气象规律是否充分掌握。但是,这丝毫也动摇不了HPC在天气预报中的作用,特别是在正在努力提高天气预报准确率的今天,HPC是一个基本保证。
据了解,在奥运期间,来自多国气象领域的专家就围绕奥运场馆的天气预报悄悄展开了另一场比拼,他们用各自的预报模型对场馆进行预报,借此检验自己模型的准确性。而在这场比拼中,北京市气象局交上了一份满意的答卷,特别是开闭幕式的天气预报,都准确地预报出来当时天气,为开闭幕式的顺利进行奠定了基础。
"目前,天气预报的难题是定时、定点、定量的精细化预报,也就是准确预报出何时、何地有多大雨量、风速多大,这对于像奥运会、国庆等重大活动非常重要,而这些问题的解决都必须提高模拟大气方程中的分辨率,也就是必须具有强大计算能力的HPC的支持。"刘旭林介绍说,为了提高预报的准确性,目前的发展趋势就是增加资料同化种类和提高时空分辨率,而这样做的必然结果就是计算量呈指数级增加,比如计算分辨率从10公里提升到5公里,则计算量可能增加10倍以上。
需要更节能更高效的HPC
随着HPC在气象预报和气象研究中的应用和普及,其问题也日益凸显出来。其中最大的问题是HPC的耗电问题,在采访中,刘旭林和洪文董都谈到了这个问题,他们都表示,非常希望生产商能提供更节能的HPC。
刘旭林对记者说: "HPC是一个相当费钱的计算机,不只是采购成本高昂,其占地大,维护成本也很高,包括用电都是一笔很大的开支。"
据了解,为支持北京奥运会而采购的这台IBM p575仅仅是每年的电能消耗就达近300万元,再加上日常的维护成本,其每年投入不是小数。而计算能力更强大的国家气象信息中心的那台21亿万次的HPC,其功率近1兆瓦,这就意味着一昼夜就要消耗两万多度电。另外,据国外媒体的报道,占地四个网球场大小的日本"地球模拟器"仅每年的电费就达1亿日元,已经让其拥有者不堪重负。因此,与普通计算机相比,HPC的节能需求更为明显。
提高HPC的利用率也是目前HPC的用户共同面对的问题。HPC通常都具有几十个甚至上百个节点、数千个CPU,要充分发挥这台机器的计算能力本身就非常复杂,它不止是考验管理员的调度能力,同时也是对应用软件开发者的考验,软件开发者需要开发出高度并行的软件,而并行软件的开发也是当前软件领域的一个难题,而且也是在考验作业调度软件的调度能力和系统管理员的管理能力。目前,即使用得比较好的北京市气象局和国家气象信息中心的HPC利用率也不超过80%。
人才队伍的建设也是HPC应用中面临的一个问题,这里所说的人才不仅要懂HPC,还要懂气象知识,只有同时具有这两方面知识的人才能更好地优化计算模型、更好地发挥HPC的效能,而这样的人才是目前大多数HPC用户所缺乏的。
谈到HPC的未来发展,洪文董表示: "除了常规的天气预报之外,最近几年HPC在气候研究方面的价值也开始显现出来。比如,随着全球气候变暖趋势明显,越来越多的国家投入巨资进行这一课题的研究。而在这一课题的研究方面,没有HPC是根本不可能的,这也可以说是HPC对整个人类社会的贡献之一。"
- 我国酝酿出台高性能计算机节能技术标准(10-22)
- 中国高性能计算机产业联盟成立(11-18)
- 曙光携手AMD开创中国高性能计算机未来(01-22)
- 国产高性能计算机抢下半壁江山(01-26)
- 日立:2011年台式机硬盘存储容量可达到4TB (09-16)
- 日立数据系统公司召开2007合作伙伴峰会(10-21)