SKA低频成像管线并行优化
Abstract
平方公里阵列(Square Kilometre Array, SKA)射电望远镜的数据处理是通过管线方式进行的, 管线的执行效率是SKA区域中心考虑的重要因素. 连续谱成像观测是SKA的主要观测模式之一, 也是许多科学工作的基础. 本文以SKA低频先导设备(Murchison Widefield Array, MWA)的成像管线为例, 在中国SKA区域中心原型机(China SKA Regional Centre Prototype, CSRC-P)上进行并行处理管线优化. 以往的优化方案都集中在少数性能热点, 缺乏对整体管线的系统优化, 导致整体加速比相对较低. 针对这一问题, 本文提出一种全局优化方案, 针对管线使用多种编程语言和图像数据可独立处理的特点, 综合使用C+多线程、Python多进程和Shell多任务并行等优化方法, 并验证了优化结果的准确性. 实验表明, 优化后的代码在CSRC-P的x86节点和ARM (Advanced RISC Machine)节点上分别获得了2.7和2.4倍加速, 运行时间分别从7479和9666 s, 降低为2759和4061 s. ARM计算节点展现出对SKA应用良好的适应性. 本文的优化策略和方法也适用于其他SKA科学应用, 对SKA先导望远镜的科学运行和未来的运行也有帮助.
