监测太阳表面
借助美国航空航天局的太阳动力学天文台、
惠普 Z 系列工作站和 NVIDIA
摘要
在美国航空航天局，数据是一切工作的核心。从对象监测到任务实施，数据收集和快速理解对成功完成任务至关重要。分析数据时面临的挑战不仅在于数据的规模，还在于数据的类型。这些数据来自于地球之外，包括银河系、恒星以及太阳系中各个行星表面的图像。在美国航空航天局及其承包商寻求更迅速、更可靠的方式来收集和分析数据的过程中，他们越来越多地转而采用人工智能 (AI) 作为解决方案。ESG 近期与美国航空航天局的科学家进行了沟通，了解了他们在 AI 方面所做的工作以及惠普 Z 系列工作站是如何帮助他们转变了数据分析的方式。
美国航空航天局和 AI
考虑到美国航空航天局为完成各个任务或项目所收集的庞大数据量，就不难理解为什么他们将 AI 视为一项赋能技术。如今，AI 主要用于帮助检测“事物”及模型增强。在美国航空航天局中，AI 被用于监测太空的各个区域，自动检测是否发生了或即将发生有趣的天文现象。基于所收集的数据和能够描述物理过程的科学模型，AI 可通过实现更广泛的参数探索，提高科学模型的性能和可靠性。
美国航空航天局在在强化任务和赋能方面对 AI 的使用只能算是初窥门径。为了提升人类对太阳物理学及其衍生模型的理解，航天器上收集的数据量非常庞大，每天达到数十乃至数百 TB。事实上，如此庞大的数据量加上远在数百英里之外的航天器计算能力有限，分析所有数据根本不切实际，美国航空航天局只能根据任务需求将某些类型的遥测数据优先发回地球。这无疑给 AI 应用提供了广阔的机会，各种卫星、探测器、飞机或气球都是其可以发挥潜力之处。
监测太阳大气层
ESG 与天体研究物理学家 Michael Kirk (ASTRA llc.) 以及美国航空航天局戈达德太空飞行中心的太阳天文学家 Raphael Attié（乔治梅森大学）进行了 沟通，了解了他们监测太阳大气层的任务以及使用 AI 完成这一长期任务时所依靠的技术类型。分类是他们任务的第一个要点。他们需要利用 AI 绘制太阳局部等离子体运动的分布，根据磁场活动对各个区域进行分类，从而专注于易受太阳耀斑影响的区域。虽然太阳耀斑散发出的难以想象的高温和热量不一定会对地球或其大气层产生影响，但是电磁辐射和高能粒子可以进入并改变地球的上层大气，干扰绕地球运行的 GPS 卫星的信号传输。除了监测太阳的活跃磁区外，科学家们还专注于绘制太阳等离子体流的分布图。为此，该团队与美国国家太阳天文台 (NSO) 的科学家 Benoit Tremblay 合作，通过采用模拟数据训练的深度神经网络来了解等离子体流及其与磁场的关系。
通过使用台式工作站，我们迅速认识到可以获得真正的高性能引擎。但是如果您没有适当的传输通道（即经过优化的软件堆栈）来发挥性能优势，您可能仍然会以放弃而告终，因为您知道自己无法取得有意义的成果。
Michael Kirk
ASTRA llc. 美国航空航天局戈达德太空飞行中心天体研究物理学家
工作流程和挑战
太阳动力学天文台每隔 1.3 秒就会拍摄一次太阳的照片，并通过这种方式收集数据。Kirk 和 Attié 重新利用了现有算法，去除了图像中的错误（例如坏像素），并对每天不断增长的存储库进行了研究。以下数据可以从另一个方面展示这个任务的规模：数十 PB 的图像、总计超过 1.5 亿个错误文件，以及 1000 亿项检测必须经过准确排序、标记并经评定为包含良好像素而不是坏像素。缺乏与数据相匹配的计算能力，是该团队首先需要克服的重要问题。这意味着为了顺利完成任务，数据必须不断地在存档、本地笔记本电脑/工作站和/或远程计算集群之间传输。将全部数据聚合在一起，延迟问题会变得难以承受，尤其是当需要收集和分析的数据变得越来越多，这一情况将愈发严重。
高达数百 TB 的存档
由于云计算和网络方面存在的限制，完整提取数百 TB 的数据存档根本不具有可行性。考虑到需要转移的数据量和有限的计算能力，团队可能需要花费长达几年的时间才能看到结果。此外，为执行太阳表面监测和分析任务，每天还要收集 1.5 TB 的新数据。延迟和等待时间变得让人难以接受。为解决转移数据时的延迟问题和冗长的处理时间，该团队曾尝试利用专为一般 GPU 计算设计的台式工作站，该工作站仅有不到 1 TB 的 SATA 存储空间、32 GB 的内存和一个 NVIDIA 1080 TI GPU。但是由于数据集规模过于庞大，Kirk 和 Attié 被迫通过 USB 利用外部存储空间，这造成了严重的 I/O 制约。云计算集群具有大量存储空间和较高的计算能力，看上去似乎是一个不错的选择。但是，云又带来了新的挑战：如何找到合适的安全协议。
安全性
美国航空航天局的安全性标准正变得越来越严格。虽然数据集是公开的，但是在数据科学领域中采用新的技术时，与访问、移动和计算消耗相关的安全层有时会对其起到制约作用。虽然某些新技术和软件堆栈非常吸引人，并且能在云环境中发挥巨大的作用，但安全程序几乎迫使 Kirk 和 Attié 重新评估在本地部署 AI 工作站的可行性。
可靠性与支持
经过预先训练的神经网络可以检测出普通图像中的对象，但是无法处理该团队所收集的太阳图像。而这些他们需要分析的图像类型每天都会增加 1.5 TB 的新数据。美国航空航天局的图像被保存为称作 FITS 的科学文件类型，而非 JPG 和 TIFF 等标准图像文件。向 IT 团队求助似乎是理所当然的选择，但是美国航空航天局的 IT 团队通常都很忙。他们没有足够的时间来持续地开展故障排除、测试和实施工作。研究团队的软件堆栈和数据科学工作流程包含 Python，并使用了 TensorFlow、Dask、CuPy 和其他应用来处理大量数据；Pandas、RAPIDS 和 CuDF 用于统计探索；另外还包含各种 2D 和 3D 可视化工具。在继续忍受现有系统一年多并和 IT 团队合作安装正确的驱动程序以支持相关要求后，他们放弃了利用工作站的想法，被迫改回使用云运维模型。
对新型 AI 工作站的要求
鉴于之前的工作站连为单个数据集提供适量的存储空间和速度都做不到，而且在存档、设备和计算集群之间的数据转移存在延迟，需要一年以上才能获得结果，因此美国航空航天局开始寻求替代方案，以满足其个别需求，并帮助他们完成任务目标。他们需要一个强大的本地系统，以支持其软件堆栈和自定义工作流程，确保维持安全合规性，尽量减少数据转移并提供可靠的性能。除了基本存储空间和计算性能，并行度也至关重要，可靠的并行度不仅能够保证充分利用可用的 GPU 容量，而且还能启用额外的 CPU 核心。鉴于过去的深刻教训，研究人员和 IT 团队都希望他们这次选择的供应商能够更好地为美国航空航天局的计算要求提供支持。
借助 HP Z8 工作站
充分满足
美国航空航天局的要求
惠普提供的 Z8 工作站功能齐全，可使用强大的 NVIDIA GPU 和现有 CPU，能够轻松满足美国航空航天局的软件要求并流畅运行数据科学工作流程。借助这款拥有高密度存储空间的台式工作站系统，美国航空航天局可以将速度较快的 NVMe 磁盘与企业级旋转性磁盘结合使用，以存储数十 TB 的数据，通过两个 NVIDIA Quadro RTX 8000 GPU 运用数千个 NVIDIA GPU 核心，还有两个用于数据准备和数据交互的 Xeon CPU。而且在大多数情况下，工作站都能发挥应有的作用。
可访问性
对于美国航空航天局中负责探索太阳表面的研究人员而言，惠普 Z 系列工作站为他们提供了一种轻松访问数据的方式。现在，他们能够以更快速、更稳定的方式访问所需数据。
“在大型组织中工作的人员都知道，网络速度经常会发生剧烈变化。有时我能够以 10 MB/秒的速度访问数据，有时网络速度却降至 1 MB/秒甚至更低。现在，我能够在本地存储所需的数十 TB 数据，并且立即可将其用于需要查看全体数据的统计分析，我只需利用基于 CPU 或基于 GPU 的并行功能即可做到这些，且无需每月为云解决方案付费。这个工作流程带来的压力小了很多，因为我无需担心如何删除花了几年时间下载的数据，以及那些需要用到的远程数据存档中经常无法使用的数据。”
Raphael Attié
美国航空航天局戈达德太空飞行中心的太阳天文学家
交互性
现在，数据都存储在 Z8 工作站中，因此能够轻松地进行访问。随着数据可访问性的提高，与数据的交互也变得更加轻松。过去通常需要耗费数天的时间来转移、处理、再次转移数据，然后与其进行交互，如今这一切都变得轻而易举。该团队可利用 Z8 系统完成任务，而无需再利用不同系统来进行数据处理、分析和交互。如此一来，获得结果所需的时间便得到大幅缩减。此前需要或预计需要一年或更久才能完成的任务，现在不到一周便可完成。
“由于远程计算集群不是视觉交互系统，我必须在本地下载中间结果，以便与所处理的数据子集进行交互。这很大地影响了工作流程效率。现在，我可以在同一通道内执行计算和可视化操作。这让我再次找回探索科学所带来的乐趣。”
Raphael Attié
美国航空航天局戈达德太空飞行中心的太阳天文学家
性能
考虑到之前转移 12 TB 数据块时遇到的种种困难，该团队知道，性能对于统计分析至关重要。下载数据需要数周时间，而且由于数据存储在外部，利用并行度（CPU 或 GPU）来提高计算能力成为了一纸空谈。在面临严峻挑战的情况下，他们借助 HP Z8 工作站的强大功能，将原本需要几个月才能完成的计算处理任务，变成了只需一周就能完成的轻松工作。
“与之前使用远程计算机集群的工作流程相比，使用 HP Z8 工作站的速度要快 1 个数量级左右，这让我受益匪浅。我能够在 7 分钟内训练神经网络，在笔记本电脑上能有这样的速度简直不可思议，之前在远程计算机集群上完成同样的任务需要一个小时。”
Raphael Attié
美国航空航天局戈达德太空飞行中心的太阳天文学家
在将 CPU 集群上的计算结果与 NVIDIA Quadro RTX 8000 进行比较后，该团队亲眼见证了一个真真切切的性能提升示例。针对一共大约 130,000,000 个文件，每个文件包含安装在由太阳动力学天文台 (SDO) 上的摄像机拍摄下来的数千个高能粒子坐标，该工作站分析每个文件的用时仅为三秒左右。基于过往表现并结合线性外推法，配备 50 个核心的常规远程计算集群在执行相同任务时，可能需要 90 天的时间才能分析完整个数据集。而在 NVIDIA Quadro RTX 8000 的协助下，分析每个文件的用时仅为 20 毫秒。也就是说，速度提高至 150 倍，并且整个数据集的计算时间从 90 天缩短到了 1.5 小时。
灵活性
了解到 CPU 或 GPU 能够较好地解决某些问题后，Kirk 和 Attié 开始使用新的惠普 Z 系列工作站，这使得他们能够快速地在多个计算环境中针对软件和工作流程进行原型设计，而且全部操作都在一个平台上执行。
“能够尝试不同的工作流程可带来诸多好处，云环境无法提供这种灵活性。现在我们可以同时在一个大沙盒中进行原型设计，因此将想法变为具体原型的速度显著加快。”
Raphael Attié
美国航空航天局戈达德太空飞行中心的太阳天文学家
支持
解决计算机技术问题并不是科学家的工作。因此，Kirk 和 Attié 需要保证在发生问题时可以快速解决问题。无论是升级组件还是更新驱动程序，惠普 Z 系列工作站都能迅速提供技术支持。
“惠普 Z 系列支持让我们倍感放心。我们曾经遇到硬盘空间不足的问题，这导致系统无法正常启动，惠普第一时间提供了相应的支持。安装新的内部驱动器并非易事，但惠普快速地将新驱动器交付到位，我们只需要插入并启动新的驱动器。整个过程没有出现丝毫问题。”
Michael Kirk
美国航空航天局戈达德太空飞行中心天体研究物理学家
安全性
由于不需要利用云进行计算，该团队不必再处理与转移到云中的数据和云中使用的软件相关的 IT 安全性延迟问题。虽然他们必须在内部维持有效的安全态势，但该系统让他们能够自由地使用所需软件来高效完成相关工作。
“越堆越高的安全层抑制了该行业采用新技术的步伐，这违背了我们的初衷，即采用更快速、更便捷的技术来处理每个多达数 TB 的大型数据集。现在，当我在本地计算 TB 级的数据集时，再也不必担心大型组织的 IT 安全瓶颈会打击我的积极性。”
Raphael Attié
美国航空航天局戈达德太空飞行中心的太阳天文学家
重要的事实
随着数据集不断增长，以及数据转移进一步限制了及时取得结果的能力，美国航空航天局戈达德太空飞行中心内研究太阳表面的科学家们陷入了僵局。他们要么接受利用云计算集群会耗费大量时间这一现状，并耐心面对数据从系统移进移出时不断出现的延迟问题，要么另寻他法。大量案例表明，惠普 Z 系列工作站是理想的解决方案，能提供强大的技术基础，以更有效、更迅速和更具协作性的方式对不断增长的数据集进行交互式数据分析。随着美国航空航天局继续致力于借助 AI 来改变其数据分析方式，采用搭载 NVIDIA GPU 的 HP Z8 工作站会是一个上佳的选择，其可提供不断探索下一个前沿领域所需的出众性能、灵活性和可靠性。
硬件和软件
采用的
惠普 Z 系列系统
该案例研究中，受访的美国航空航天局研究人员使用的惠普 Z 系列系统配置如下：
硬件：
• HP Z8 G4
• 2 个 NVIDIA® RTX 8000 显卡
• 384 GB (12 x 32 GB) DDR4 2933 ECC 带寄存器的内存
• 2 个英特尔® 至强® 6240 2.60 GHz 18C CPU
• HP Z Turbo Drive M.2 1 TB TLC 固态硬盘
• 2 个 4 TB 7200 SATA 企业级 3.5 英寸硬盘
• 高端正面 I/O（2 个 USB3.1 Type C 端口、2 个 USB3 Type A 端口）
软件：
• Ubuntu Linux® 18.04
• Python 3.6（TensorFlow、NumPy 以及其他科学计算程序包）
Enterprise Strategy Group
是一家 IT 分析师、研究、验证和策略公司，为全球 IT 社区提供市场情报和切实可行的深入见解。
让我们帮助您立即创建出众的业务解决方案
您还可能有兴趣了解以下内容
了解产品
惠普 Z 系列数据科学
工作站搭载
NVIDIA RTX™ 显卡技术。
有疑问？
联系销售支持。
不知道该怎么选
Z 系列工作站？
需要 Z 系列工作站方面的支持？
免责声明
产品的Logo及位置可能与图片有所差异，不影响产品性能和功能，请以实物为准。
产品图片仅供参考，因不同国家可能存在稍许差异，实际产品以销售为准。
本文所载信息如有变更，恕不另行通知。惠普产品与服务的完整保修条款见此类产品和服务附带的正式保修声明。本文中的任何信息概不构成额外的保修条款。惠普对于本文中所包含的技术或编辑错误或遗漏概不负责。
英特尔、英特尔标志、酷睿和至强是英特尔公司或其子公司在美国和其他国家（地区）的商标或注册商标。Microsoft 和 Windows 是 Microsoft Corporation 在美国和/或其他国家（地区）的注册商标或商标。NVIDIA 和 Quadro 是 NVIDIA Corporation 在美国和其他国家（地区）的商标和/或注册商标。Linux® 是 Linus Torvalds 在美国和其他国家（地区）的注册商标。AMD 是 Advanced Micro Devices, Inc. 的商标。
4AA7-9682ENW，2021 年 1 月