1.5倍速找油,浪潮分布式存储驱动石油勘探效率提升

  • 时间:
  • 浏览:0
  • 来源:江苏快3_江苏快3平台_江苏快3网投平台

随着震源隆隆的轰鸣声,某石油勘探公司的项目数据分类整理顺利进行。分类整理完毕后,数据的保存、除理、解释等阶段就该存储平台“上场”了。浪潮存储为某石油勘探公司构建了16节点、总容量4 2PB的分布式存储平台,以平均

随着震源隆隆的轰鸣声,某石油勘探公司的项目数据分类整理顺利进行。分类整理完毕后,数据的保存、除理、解释等阶段就该存储平台“上场”了。浪潮存储为某石油勘探公司构建了16节点、总容量4.2PB的分布式存储平台,以平均写性能27.4GB/s、读性能80.55GB/s的暗影性能,大幅缩短了石油勘探数据除理的周期,成为采用数字化、智能化技术提升能源行业业务数率的典型。

浪潮分布式存储平台服务石油勘探,缩短数据除理周期

当前石油储备逐步减少,石油勘探、开发难度增大,借助数据技术提高石油勘探的数率成为推动石油行业增长的关键。存储作为数据的载体,成为石油勘探企业转型增效的核心竞争力。

着实 数据极致性能需求已成为业界的普遍需求,根据IDC与浪潮联合发布的《2019年数据及存储发展研究报告》,随着新技术发展企业对数据实时性需求日益增加,到2023年实时数据将占全球数据圈24.5%的份额。

出厂前的操练

石油勘探耗资巨大,勘探数据十分宝贵,用户把如此 重要的勘探数据托付给浪潮存储,浪潮存储团队自然要全力以赴。石油勘探普遍采用地震波法,原始数据量可达数PB,后期做地震资料叠前偏移成像,会对存储并发性能提出较高要求。根据勘探场景的数据特点,浪潮提供了容量、性能线性扩展的分布式存储平台。

在分布式存储出厂前,为了确保浪潮分布式存储平台AS1800在地震资料除理作业环境中的功能及性能,浪潮存储决定在实验室里把整体环境搭起来,进行出厂前的“操练”。

济南的测试实验室里灯火通明,浪潮工程师团队用16个分布式存储节点,1:1实际搭建了一套测试系统。系统裸容量4.2PB,可用容量为3.969PB,可用容量比为73.6%。经存储集群测试验证,达到了进行某石油勘探公司的项目环境要求。

浪潮分布式存储

13次调优 性能比业界平均水平“拔高”80%

接下来是最为关键的性能调优环节。首先,浪潮存储工程师团队在压力机上部署了IOZONE测试工具。这是一款用来测试操作系统上文件系统性能的工具,范围包括Write、Re-Write、Read、Re-Read、Random Read、Random Write等十余种测试内容,可不须要说是380度无死角的性能测试。其次,设置测试工具模型为16MB块大小顺序读写,测试数据量为内存大小的2倍以上——2倍是比较大慨的设置,不然Linux会给读写内容进行缓存,让测试结果不真实。就也不,浪潮分布式存储团队,在压力机上基于IOZONE测试工具一遍遍运行、调优。

一次次功能调优,另一个个参数试验,不够好,再重来。一天夜半,加班回来也不躺下的浪潮存储测试工程师脑子里又现在开始过筛子:白天测试结果着实 达到了客户招标要求,但可不须要还有提升空间呢?总爱另一个灵感闪过——是都在能换个功能的参数组合试试?他一骨碌从床上爬起来,越快把想到的实验参数记录下来,次日便带领项目组进行组合调优,终于让性能上了个台阶——读性能从25GB/s~27GB/s区间段,提升到最高28.06GB/s。

经过长达二天的13次系统级测试,浪潮16个节点的分布式存储平台平均写性能达到27.4GB/s,平均读性能达到80.55GB/s,容量和性能超出了招标项目需求。最终,某石油勘探公司的工作组在浪潮济南实验室都看了测试数据的Demo演示,对测试情形非常满意。“浪潮存储的实力和几年前相比有了很大提升,这次让.我都的招标方案,性能要求肯能比较高了,没想到浪潮存储还能表现得更好”。

测试数据

浪潮存储研发工程师表示:“同等配置水平下,目前分布式存储业内平均水平为单节点写1.3GB/s、读1.5GB/s,也不一来16个节点的平均写性能是20.8GB/s、读性能24GB/s。对比来看,浪潮分布式存储在石油勘探项目中的性能表现,比业界平均水平高出了20%~80%。”更高的性能是因为,浪潮分布式存储平台可不须要帮助石油勘探项目缩短勘探开发周期、提高勘探开发成功率。

浪潮分布式存储的测试性能:写性能比业界平均水平高32%,读性能高27%

暗影性能的头上是基于场景的技术创新

同等的硬件配置,浪潮分布式存储为啥能实现更好的性能?答案在场景化定制上。浪潮存储通过内核客户端优化、对象聚合、高速缓存、读写锁优化等技术创新,结合石油勘探不同业务阶段的IO负载需求进行层厚优化。

在数据存储阶段,石油勘探须要将分类整理到的原始地震波数据也不写入分布式存储平台,存储须要提供高聚合数率和PB级容量,满足海量数据的并发写入、存储需求。

在数据解释阶段,存储须要提供高数率,不需要 一次性“读出”单个文件大小超80GB的超大文件。此时的存储需求是高数率,超宽通路过得了万吨轮船。

而在数据除理、分析阶段,石油勘探模型除理、分析产生了海量的次生小文件,存储须要通过小文件/对象聚合技术,提升海量次生小文件的并发性能。这就如同水库,先汇聚资源,达到一定蓄水量后再向下游统一输出,存储要把亿级/千万级小文件的随机写变为固定大小的数据的顺序写,提高数率。

浪潮能源行业部存储产品经理表示,“通过在石油勘探中的部署和应用,说明浪潮存储不仅产品过硬不需要 承载能源行业的领先应用,还有专业的测试、研发、服务团队,有能力在全球提供很好的支持”。

IDC与浪潮联合:新数据时代元年,分布式存储成为趋势

根据近日IDC与浪潮联合发布的《2019年数据及存储发展研究报告》,2019年中国迈入新数据时代元年。报告显示,在2019年中国数字化转型IT支出首次超过非数字化转型IT支出,占比达到51%。随着数字化转型的不断加速,行业新应用爆发式增长,从数千、数万跃升到百万量级,数据呈现出海量、多元、实时、多云等趋势。数据存储成为承载交通、金融、能源、通信等行业转型的基础平台,分布式存储成为趋势,2023年其占比将达到40%,闪存阵列将迎来高速发展。

《2019年数据及存储发展研究报告》现在免费下载,PC端下载点击地址1,移动端点击地址2,或扫描下方二维码:

(本内容属于网络转载,文中涉及图片等内容如有侵权,请联系编辑删除)