并行集群环境下迭前时间深度偏移作业的运行效能研究

并行集群环境下迭前时间深度偏移作业的运行效能研究并行集群环境下迭前时间/深度偏移作业的运行效能讨论大庆油田有限责任公司勘探开发讨论院冯保民魏锐李建霞集群技术应用现状地震数据处理领域始终是高性能计算服务器应用的重要领域。基于队架构的高性能集群并行机是伴随着计算机芯片技术、网络技术、系统集成技术和Linux的进展而消失的新产品。这些高性能集群并行机主要应用于地震数据处理、全三维可视化数据体解释、油藏模拟计算,尤其在三维叠前深度偏移及高分关辨率地震资料处理得到了很好的应用,高性能集群并行机和三维叠前深度偏移理论的进展,极大地提高了简单地质构造的地震资料的成像持量和油气勘探目标的精确识别,成为了三维叠前深度偏移及高辨别率地震资料处理的首选平台。二oO三年,大庆油田公司讨论院引进了129个节点的高性能集群并行机系统,运行Paradigm公司的GeoDepth三维迭前处理软件。目前,已经完成了1500kin2三维迭前深度偏移处理任务,实现了实际地震资料处理的工程化。二影响偏移作业运行效能的因素及保障作业稳定运行方案三维迭前深度偏移工作大致分为三个阶段:预处理、提取速度建立模型、偏移。从工作方式上三个阶段的差别是:预处理为单节点批量处理;速度建模为单节点交互处理;时间偏移和深度偏移为多节点并行批量处理。从作业运行时间上,三个阶段的差别是:预处理作业用时少,单作业时间一般不超过一两天;速度建模则为处理解释人员的人工劳动;偏移阶段依据数据体大小,短则两周,长则一到两个月。偏移阶段的特点是:一次分发任务给上百个节点,这些节点同时参加并行计算。当第一次分发的数据在全部计算节点上全部计算完成后,主节点回收结果数据并进行其次次数据分发,直至作业结束。在这个循环过程中,假如其中某个节点消失问题,则会导致节点计算速度慢,造成其它节点的等待,直到该节点处理完当前任务,回收后才进行下一次任务的分发。所以在确保并行各节点正常稳定工作的同时,应避开某一节点因用户访问数目过多或提交其他作业争夺系统资源而导致该节点计算速度缓慢,造成集群并行系统整体性能下降,如我们后面要重点介绍的屏蔽其它用户对偏移作业运行节点访问就是通过保证该节点用户数目的合理性方面,来提升系统整体性能的实例。影响偏移作业运行效能的因素有网络延迟、CPU速度、内存大小、倍频参数、死进程、文件系统限制、临时交换区、系统负载等。工作中我们分析了影响偏移作业运行效能的主要因素并摸索出一套行之有效的方案避开了上述问题的发生,保障了作业的稳定运行。保障作业稳定运行、提高效能的方案:(1)在大偏移作业提交之前,彻底清除用户死进程和系统死进程。保证正常的系统初始环境。(2)检查全部计算节点的CPU数、倍频参数、内存大小是否全都。(3)检查全部计算节点的临时空间是否满意计算需要,删除无用的文件,释放更多的缓冲空间。(4)检查全部计算节点的管理网络和计算网络是否畅通,有无延迟时间太长的节点。(5)检查全部计算节点是否存在文件大小限制问题。一77—(6)屏蔽其它用户对偏移作业运行节点的访问,使作业在运行期间不受其它干扰。(7)重点监控参加偏移任务的节点机的关键性能指标的变化趋势,如温度、风扇速度,准时评估节点运行状态,做好故障处理预案。(8)记录、统计计算节点故障次数,分析、总结故障缘由,进一步完善该方案。现以屏蔽其它用户对偏移作业运行节点的访问,使作业在运行期间不受其它干扰,提高并行系统效能方面,来具体阐述一下实现过程:三屏蔽其它用户对偏移作业运行节点访问的实现过程首先选择参加并行运算的一百个节点形成hostsl00cheny文件,再将系统允许正常访问各节点的用户形成usernames文件;其次,编写denyuser脚本程序进行封装、屏蔽其他用户,确保进行并行计算的大作业(一到二个月内)不受任何干扰;最终当偏移作业运行结束时再释放这些节点交给其他用户使用,提高并行机群系统性能的整体发挥。实现方法:1.hostsl00cheny文件该文件定义了参加并行计算的100...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供参考,付费前请自行鉴别。
3、如文档内容存在侵犯商业秘密、侵犯著作权等,请点击“举报”。

常见问题具体如下:

1、问:已经付过费的文档可以多次下载吗?

      答:可以。登陆您已经付过费的账号,付过费的文档可以免费进行多次下载。

2、问:已经付过费的文档不知下载到什么地方去了?

     答:电脑端-浏览器下载列表里可以找到;手机端-文件管理或下载里可以找到。

            如以上两种方式都没有找到,请提供您的交易单号或截图及接收文档的邮箱等有效信息,发送到客服邮箱,客服经核实后,会将您已经付过费的文档即时发到您邮箱。

注:微信交易号是以“420000”开头的28位数字;

       支付宝交易号是以“2024XXXX”交易日期开头的28位数字。

客服邮箱:

biganzikefu@outlook.com

所有的文档都被视为“模板”,用于写作参考,下载前须认真查看,确认无误后再购买;

文档大部份都是可以预览的,笔杆子文库无法对文档的真实性、完整性、准确性以及专业性等问题提供审核和保证,请慎重购买;

文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为依据;

如果您还有什么不清楚的或需要我们协助,可以联系客服邮箱:

biganzikefu@outlook.com

常见问题具体如下:

1、问:已经付过费的文档可以多次下载吗?

      答:可以。登陆您已经付过费的账号,付过费的文档可以免费进行多次下载。

2、问:已经付过费的文档不知下载到什么地方去了?

     答:电脑端-浏览器下载列表里可以找到;手机端-文件管理或下载里可以找到。

            如以上两种方式都没有找到,请提供您的交易单号或截图及接收文档的邮箱等有效信息,发送到客服邮箱,客服经核实后,会将您已经付过费的文档即时发到您邮箱。

注:微信交易号是以“420000”开头的28位数字;

       支付宝交易号是以“2024XXXX”交易日期开头的28位数字。

文秘专家
机构认证
内容提供者

1

确认删除?