基于隐式矢量化的 HPC 编程语言
HPC programming language relying on implicit vectorization
是否有依赖于隐式矢量化的编程语言或语言扩展？
我需要一些东西来做出积极的假设来生成好的 DLP/vectorized 代码，对于 SSE4.1、AVX、AVX2（有或没有 FMA3/4），从标量的 single/double 精度C代码。
在过去的 10 年里，我很高兴依靠英特尔的内在函数来编写我的 HPC 内核，显式矢量化。同时，我经常对 C/C++ 编译器（GCC、clang、LLVM 等）生成的 DLP 代码的质量感到失望，如果你问的话，我可以 post 具体示例).
从 Intrinsics Guide 可以看出，为现代平台编写具有内在函数的 "manually" HPC 内核显然不再是可持续的选择，除非我有一群程序员。版本和组合太多：SSE4.1、AVX、AVX2、AVX512+flavors、FMA、SP、DP、半精度？如果我的目标平台是自 2012 年以来最广泛的平台，那将是不可持续的。
我最近试用了面向 OpenCL 的英特尔离线编译器 (CPU)。我编写了内核 "a la CUDA"（即标量代码，隐式矢量化），令我惊讶的是，生成的程序集矢量化得非常好！ （Skylake，SP 中的 AVX2 + FMA）我遇到的唯一限制是缺少数据 reductions/interworkitem-communication 的内置函数而不依赖共享内存（这将转化为 CPU 水平添加或随机播放 + min/max 操作）。
正如 clemens and sschuberth 所指出的那样，除非我不完全接受 OpenCL，否则离线编译器并不是真正的解决方案。或者我破解我的调用者代码以遵守生成的程序集的调用约定，其中包括我不需要的参数，例如 ndrange。完全拥抱 OpenCL 对我来说也不是一个选择，因为对于 TLP，我依赖 OpenMP 和 Pthreads（对于 ILP，我依赖硬件）。
更新
首先，值得记住的是，隐式向量化和自动向量化不是一回事。事实上，我对自动矢量化失去了希望（如上所述）。不在隐式矢量化中。
下面的答案之一是要求提供一些代码示例。
Here 我提供了一个内核代码示例，该内核为 3D 结构块上的 NSE 的对流项实现了三阶逆风方案。值得一提的是，这代表了一个 简单的例子，因为不需要 SIMD 通道间 cooperation/communication。
请注意，如果没有数学或代码示例，很难知道这里的最佳答案是什么。如果您提供代码示例，我将尝试在下面提到的一些方言中实现它。
Fortran 90
Fortran 90+ 冒号表示法是实现隐式矢量化的好方法，尽管我怀疑如果您是 C 内在函数程序员，您可能不会愿意使用 Fortran。
有关此主题的一个合理信息来源是 fortran90.org。
OpenMP 4.0
OpenMP 4.0 引入了 SIMD 关键字，它强制编译器对代码进行矢量化。您应该将其视为内在函数的替代方法。
网上有很多 OpenMP 4.0 pragma omp simd 的例子，但是一个非常简单的例子是 Enabling SIMD in program using OpenMP4.0.
很明显，OpenMP的最终权威是最新的规范：OpenMP Application Programming Interface Version 4.5.
CilkPlus
由于您已经表示愿意编写低于 ISO 标准的代码，因此您可能愿意使用英特尔编译器和 GCC 支持的 C/C++ 的 CilkPlus 扩展（并且可能 Clang/LLVM，但我尚未验证）。
详情见Best practices for using Intel® Cilk™ Plus and the CilkPlus home page。
OpenCL
OpenCL 在理论上是另一个不错的选择，但在实践中似乎不太引人注目。我自己不是 OpenCL 用户，但我与 OpenCL Programming Guide 的作者合作，我认为他是可靠的来源。
自动矢量化
如果一切都失败了，Intel 16 编译器在自动矢量化方面做得很好，但你必须阅读 opt 报告，在许多情况下使用 restrict 和 __assume_aligned。
尝试使用 Intel C/C++ 实现自动矢量化时，最好的起点是 -qopt-report 编译器选项。这通常会告诉您什么是向量化的，什么不是，以及为什么。您可能需要使用不同的分配器（ lists the relevant options), and then use __assume_aligned in your kernel. Vector dependencies can be harder to mitigate, although AVX-512CDI instructions 可能会有所帮助，前提是您使用第二代英特尔至强融核处理器（又名 Knights Landing）或其他支持它们的产品。
Cray 编译器也能很好地自动矢量化，但仅限于可以访问 Cray 超级计算机的用户。
对于那些好奇的人，我对这些编译器的乐观态度是基于 NWChem kernels 获得的结果。最好的结果是使用 Fortran 77、OpenMP 3/4 和使用其他编译器指令获得的，但至少其中没有特定于处理器的代码。而且 C99 内核矢量化得很好。
免责声明
我在英特尔工作 research/pathfinding。我不从事我们任何软件产品的工作，但我会不时向编译器团队的专家学习。
英特尔 SPMD 程序编译器。
目前最好的选择是Intel SPMD Program Compiler。 ISPC 是一个开源编译器，其编程模型依赖于隐式矢量化（从英特尔 OpenCL SDK 文档中借用的术语）来输出矢量化汇编代码。 ISPC 将源代码映射到 SSE4.1、AVX、AVX2、KNC 和 KNL 的 AVX512 指令 SP/DP。 ISPC 的后端是 LLVM。
对于 CFD 内核，它可以提供无与伦比的性能。对于必须是标量的代码部分，只需将 "uniform" 关键字添加到相关变量即可。内置了shuffle、broadcast和reduce_add等车道间通信功能
为什么 ISPC 与其他 C++ 编译器相比速度如此之快？
我的猜测是因为 C/C++ 编译器假设除非有相反的明确证据，否则什么都不能矢量化。 ISPC 假定每一行代码都由所有 SIMD 通道（独立地）执行，除非另有说明。
我想知道为什么 ISPC 还没有被广泛接受。
也许是因为他还未成年，但在 CG/Scientific 可视化社区中已经显示出强大的能力 (Embree, OSPray)。
ISPC 是编写 HPC 内核的一个很好的选择，因为它似乎很好地弥合了性能与生产力之间的差距。
基准
对于问题中引用的 trivial kernel example，使用 GCC 4.9.X 和 ISPC 1.8.2 获得了以下结果。性能以每个周期的 FLOPs 来报告。
此处未报告 ICC 结果（就可访问性而言，针对免费和开源编译器报告 ICC 是否 100% 公平？）。尽管如此，在这种情况下，ICC 相对于 GCC 报告的最大增益约为 4 倍，因此不会损害 ISPC 的优势。
是否有依赖于隐式矢量化的编程语言或语言扩展？
我需要一些东西来做出积极的假设来生成好的 DLP/vectorized 代码，对于 SSE4.1、AVX、AVX2（有或没有 FMA3/4），从标量的 single/double 精度C代码。
在过去的 10 年里，我很高兴依靠英特尔的内在函数来编写我的 HPC 内核，显式矢量化。同时，我经常对 C/C++ 编译器（GCC、clang、LLVM 等）生成的 DLP 代码的质量感到失望，如果你问的话，我可以 post 具体示例).
从 Intrinsics Guide 可以看出，为现代平台编写具有内在函数的 "manually" HPC 内核显然不再是可持续的选择，除非我有一群程序员。版本和组合太多：SSE4.1、AVX、AVX2、AVX512+flavors、FMA、SP、DP、半精度？如果我的目标平台是自 2012 年以来最广泛的平台，那将是不可持续的。
我最近试用了面向 OpenCL 的英特尔离线编译器 (CPU)。我编写了内核 "a la CUDA"（即标量代码，隐式矢量化），令我惊讶的是，生成的程序集矢量化得非常好！ （Skylake，SP 中的 AVX2 + FMA）我遇到的唯一限制是缺少数据 reductions/interworkitem-communication 的内置函数而不依赖共享内存（这将转化为 CPU 水平添加或随机播放 + min/max 操作）。
正如 clemens and sschuberth 所指出的那样，除非我不完全接受 OpenCL，否则离线编译器并不是真正的解决方案。或者我破解我的调用者代码以遵守生成的程序集的调用约定，其中包括我不需要的参数，例如 ndrange。完全拥抱 OpenCL 对我来说也不是一个选择，因为对于 TLP，我依赖 OpenMP 和 Pthreads（对于 ILP，我依赖硬件）。
更新
首先，值得记住的是，隐式向量化和自动向量化不是一回事。事实上，我对自动矢量化失去了希望（如上所述）。不在隐式矢量化中。
下面的答案之一是要求提供一些代码示例。 Here 我提供了一个内核代码示例，该内核为 3D 结构块上的 NSE 的对流项实现了三阶逆风方案。值得一提的是，这代表了一个 简单的例子，因为不需要 SIMD 通道间 cooperation/communication。
请注意，如果没有数学或代码示例，很难知道这里的最佳答案是什么。如果您提供代码示例，我将尝试在下面提到的一些方言中实现它。
Fortran 90
Fortran 90+ 冒号表示法是实现隐式矢量化的好方法，尽管我怀疑如果您是 C 内在函数程序员，您可能不会愿意使用 Fortran。
有关此主题的一个合理信息来源是 fortran90.org。
OpenMP 4.0
OpenMP 4.0 引入了 SIMD 关键字，它强制编译器对代码进行矢量化。您应该将其视为内在函数的替代方法。
网上有很多 OpenMP 4.0 pragma omp simd 的例子，但是一个非常简单的例子是 Enabling SIMD in program using OpenMP4.0.
很明显，OpenMP的最终权威是最新的规范：OpenMP Application Programming Interface Version 4.5.
CilkPlus
由于您已经表示愿意编写低于 ISO 标准的代码，因此您可能愿意使用英特尔编译器和 GCC 支持的 C/C++ 的 CilkPlus 扩展（并且可能 Clang/LLVM，但我尚未验证）。
详情见Best practices for using Intel® Cilk™ Plus and the CilkPlus home page。
OpenCL
OpenCL 在理论上是另一个不错的选择，但在实践中似乎不太引人注目。我自己不是 OpenCL 用户，但我与 OpenCL Programming Guide 的作者合作，我认为他是可靠的来源。
自动矢量化
如果一切都失败了，Intel 16 编译器在自动矢量化方面做得很好，但你必须阅读 opt 报告，在许多情况下使用 restrict 和 __assume_aligned。
尝试使用 Intel C/C++ 实现自动矢量化时，最好的起点是 -qopt-report 编译器选项。这通常会告诉您什么是向量化的，什么不是，以及为什么。您可能需要使用不同的分配器（__assume_aligned in your kernel. Vector dependencies can be harder to mitigate, although AVX-512CDI instructions 可能会有所帮助，前提是您使用第二代英特尔至强融核处理器（又名 Knights Landing）或其他支持它们的产品。
Cray 编译器也能很好地自动矢量化，但仅限于可以访问 Cray 超级计算机的用户。
对于那些好奇的人，我对这些编译器的乐观态度是基于 NWChem kernels 获得的结果。最好的结果是使用 Fortran 77、OpenMP 3/4 和使用其他编译器指令获得的，但至少其中没有特定于处理器的代码。而且 C99 内核矢量化得很好。
免责声明
我在英特尔工作 research/pathfinding。我不从事我们任何软件产品的工作，但我会不时向编译器团队的专家学习。
英特尔 SPMD 程序编译器。
目前最好的选择是Intel SPMD Program Compiler。 ISPC 是一个开源编译器，其编程模型依赖于隐式矢量化（从英特尔 OpenCL SDK 文档中借用的术语）来输出矢量化汇编代码。 ISPC 将源代码映射到 SSE4.1、AVX、AVX2、KNC 和 KNL 的 AVX512 指令 SP/DP。 ISPC 的后端是 LLVM。
对于 CFD 内核，它可以提供无与伦比的性能。对于必须是标量的代码部分，只需将 "uniform" 关键字添加到相关变量即可。内置了shuffle、broadcast和reduce_add等车道间通信功能
为什么 ISPC 与其他 C++ 编译器相比速度如此之快？ 我的猜测是因为 C/C++ 编译器假设除非有相反的明确证据，否则什么都不能矢量化。 ISPC 假定每一行代码都由所有 SIMD 通道（独立地）执行，除非另有说明。
我想知道为什么 ISPC 还没有被广泛接受。 也许是因为他还未成年，但在 CG/Scientific 可视化社区中已经显示出强大的能力 (Embree, OSPray)。 ISPC 是编写 HPC 内核的一个很好的选择，因为它似乎很好地弥合了性能与生产力之间的差距。
基准
对于问题中引用的 trivial kernel example，使用 GCC 4.9.X 和 ISPC 1.8.2 获得了以下结果。性能以每个周期的 FLOPs 来报告。
此处未报告 ICC 结果（就可访问性而言，针对免费和开源编译器报告 ICC 是否 100% 公平？）。尽管如此，在这种情况下，ICC 相对于 GCC 报告的最大增益约为 4 倍，因此不会损害 ISPC 的优势。