根据定义，HPC（高性能计算）始终处于计算的最前沿，推动处理器、系统和软件设计方面的创新，最终进入更主流的计算系统。

随着我们迈向百万兆时代，机器学习和数据分析正在创造许多最具挑战性的HPC工作负载。这意味着数据处理和存储，以及在必要时与供应商无关的需求，在构建HPC堆栈时变得越来越重要，并从中获得最大收益。那么，目前的技术水平如何，在短期内可能会发生什么变化呢？

HPC的诞生是为了满足对专用计算机进行仿真和建模的需求，其功率是通过每秒的浮点运算来测量的。在1972年引进CRAY 1超级计算机之前，Seymour Cray于1964年参与了CDC 6600系统的开发，该系统具有每秒300万次浮点运算的能力，并连续五年成为世界上运算速度最快的计算机。这类系统的使用和用户相对较少，CDC 6600系统获得了100个客户，主要来自大型企业、美国政府和军方。

几十年来，HPC的规模和采用逐渐扩大，包括更多的多核处理器、高性能连接器和集群机器。此外，HPC制造商还与合作伙伴和应用程序科学家在高性能存储等领域进行了合作设计。

根据Hyperion Research的数据，如今的HPC通常可以达到数十甚至数百万亿次的运算，市场价值超过112亿美元，涉及生物和地球科学、化学工程、金融服务、学术界和气象服务等垂直领域。与半个世纪前相比，今天推动HPC增长的是大数据，特别是分析，机器学习正逐渐成为形成HPC的市场。

利用大规模HPC的优势意味着创建合适的堆栈，根据Cray全球系统工程总监Rex Tanakit的说法，其基础是正确的存储架构。如果弄错了，那你对计算能力的巨额投资将一事无成。

“随着我们向百万兆迈进，计算将产生大量数据。应用程序将读取大量数据并处理这些数据。 并且，计算和处理将产生更多数据，“他说。“确保你在HPC上的投资得到正确使用，是各个层面的要求，这意味着高效快速的存储，可以尽快的进行计算并提供数据。

“这一事实适用于所有工作负载，包括典型的和非典型的的——在国家实验室级别，或在使用HPC用于各种工作负载和许多不同数据类型的许多不同行业中。 很难有一个适合适合所有人的单一存储设计，”他表示。

并非所有HPC都一样
HPC涵盖各种规模的组织。 因此，工作量是多种多样的。 例如，在多个团队共享资源的情况下，同时运行数百万个模拟研究药物发现或天气预测通常意味着需要高速主存储器来保存应用程序中的大量数据。当涉及到国家实验室级的科学时，系统必须使用自定义应用程序，而工程师必须针对代码调整和优化其HPC系统。

人工智能凭借其机器学习和神经网络，是一个快速增长的市场，它封装了许多这样的用例。包含大数据、分析、处理速度，以及为新代码或自定义代码构建和调整系统的需求。由于软件的突破，人工智能正在进入HPC，以前更多的开发人员可以访问代码，并且能够在HPC的计算和存储上运行。

“在这里获取数据和数据架构至关重要。人工智能是数据的巨大消费者 ，以速度和规模提供数据。scale元素基于一个合理大小的数据集，以便人工智能模型开始学习。“Tanakit继续说。

Cray认为，只要将新数据输入模型，算法就会随着时间的推移而改进。 这需要大量的数据存储和处理能力。因此，选择能够平衡性能、可伸缩性和可用性的系统是明智的。

根据Tanakit的说法，500 GB已成为一个相当大的数据集，但我们可能有很多这样的数据集，如今，对于一个典型的人工智能工作负载，一个PB或半个PB是很常见的。但企业通常无法回答的问题是：“你的数据集是什么样子的。”

要回答这个问题，需要正确的工具来运行和收集数据。“做分析很重要，然后进行配置，并将技术与工作负载正确匹配，”Tanakit说。

人工智能只是一个例子。在这些大型系统中，越来越多的应用程序落入不断增长的“数据密集型”的范畴。其它领域包括基因组学、计算化学、蛋白质建模、高级天气模拟和预报，以及油气地震处理。它们的共同特点是计算密集型、具有高水平的网络性能和大量内存。

平衡容量与性能
针对不同类型的工作负载和工作流程，最佳的优化存储平台类型是什么? 同一系统可能需要处理各种大文件、流数据和小文件的混合。这些混合工作负载将需要一个混合硬件设置，包括适合流式传输的传统SAS磁盘驱动器和用于高IOPS的固态硬盘。

这意味着要用正确的磁盘与闪存的比率构建一个存储体系结构。很少有公司能够负担得起全部使用闪存来管理PB级的数据。而且闪存并不是一种适合长期存储和检索的媒体。在工业用例中，这仍然给识别数据与优化磁盘和SSD之间的数据移动带来了挑战。

通过Cray的ClusterStor L300N存储系统提供的策略驱动存储，其NXD加速器可识别并将小数据块指向SSD和大数据流到磁盘。ClusterStor L300N存储系统管理混合I/Os，它将新硬件配置与软件相结合，提供自动功能，无需单独的存储层即可有选择地提高性能。该软件还包括读取持久性、回写、I/O直方图、性能统计和动态刷新。带有NXD闪存加速器的ClusterStor L300N存储系统，可以无缝地处理并行文件系统的小文件I/O和大顺序I/O。

当然，业界也在讨论闪存以及基于闪存的HPC存储系统。闪存有望成为HPC存储中必不可少的技术，将成为HPC存储领域的一项重要技术。

从性能的角度来看，所有的闪存系统具有很大的吸引力，它大约比磁盘快15倍。因此，Flash在每个IOPS的价格和吞吐量上很容易击败磁盘。然而，闪存的容量存储成本很高，大约是磁盘的5倍。考虑到这一事实以及磁盘的占用空间和混合I / O工作负载的性质，磁盘驱动器将在一段时间内成为现实，使HPC中的存储成为一种混合应用。

计算集群和较慢的基于磁盘的存储层之间的基于闪存的存储层可以为超级计算机提供更快的存储资源。但如何跨越这个复杂的世界呢?

使用闪存和磁盘时，无需使用单独的存储层、强制数据移动，不需要用户重写或重新编译应用程序，也不需要复杂的策略引擎来处理工作流。

简而言之，它应该对用户，应用程序和所选的文件系统透明。

除了NXD的ClusterStor L300N存储系统外，Cray最近还推出了ClusterStor L300F存储系统，这是一个完整的闪存双机架单元，拥有24个SSD机箱，旨在创建一个具有加速的混合闪存、磁盘系统，可指导I / O.到适当的存储介质。 L300F简化了存储管理，因为它允许管理员使用现有的工具和技能在基于lust的文件系统中创建闪存池。

光泽和开放性
如今，ClusterStor存储系统完全基于Lustre并行文件系统，这实际上是顶级超级计算环境中的标准，根据2018年6月的超级计算机500强排名，前100强系统中有77%使用Lustre。

作为开放系统和并行文件系统的领导者，以及OpenSFS的联合创始人和赞助者，Cray以社区驱动的Lustre为基础，使用Cray经过验证的HPC存储系统架构解锁Linux集群和超级计算机的性能。

Cray很早就意识到，无论是在架构上还是在经济上，专有文件系统将难以满足未来的存储需求。作为Lustre用户组的主要参与者，Cray工程师与所有参与者保持联系，他们定期向社区贡献专业知识和代码。

2017年末，CRAY通过与希捷的战略交易，收购了自己的Lustre开发和支持团队，增加了许多已经在CRAY工作的Lustre开发和支持工程师。在参与最新版本Lustre(2.11）的18个组织中，Cray在提交的数量和更改的代码行数方面都是第三大贡献者。

Cray的贡献包括：为一个已经很强大的文件系统增加企业可靠性，包括自适应超时、池和易用性附加功能，并提高了对大型生产站点的吸引力。

当然，Lustre已针对磁盘进行了优化，但闪存呢？Cray正在为闪存优化Lustre，包括服务器端配置、设置和IOPS性能调优。通过闪存优化，Cray正在减少隐藏在磁盘技术背后的软件本身的延迟。Cray还表示，它将探索在SAS、NVM Express和NMV Express over Fabrics中实现实施闪存的用例。随着这些优化的完成，Cray将把它们全部贡献给社区。

勿止步不前
很明显，对于HPC应用程序，只有混合存储架构和开放系统模型才能为真正的百万兆计算创建可行的路线图，既保护现有投资，又提供可伸缩的迁移路径。

今天，每个人都在讨论HPC的计算部分以及向百万兆的转变，但存储在这个领域变得越来越重要。除非能在SSD和磁盘之间建立有效数据，否则不要购买大规模计算。

这样可以避免产生瓶颈，优化工作负载效率并得到最大化投资回报。否则，我们会发现这只在静止状态下，并没有充分利用大量CPU。