我们可以使用 x86_64 CPU 原子在 PCI Express 上生成复合原子操作吗？
Can we use x86_64 CPU atomics to generate on PCI Express the compound atomic operations?
众所周知，从2.0版本开始，PCI Express支持复合原子操作：FetchAdd、Swap、CAS：https://pcisig.com/sites/default/files/specification_documents/ECN_Atomic_Ops_080417.pdf
也知道，x86_64 CPU 有汇编复合原子操作：lock add、[lock] xchg、lock cmpxchg：https://godbolt.org/g/MmqMRw
C编译器可以生成volatile atomic_int-操作：
int expceted_cas = 0;
volatile atomic_int a;
atomic_fetch_add( &a, 1 );
atomic_exchange( &a, 1 );
atomic_compare_exchange_weak( &a, &expceted_cas, 1 );
我想访问通过 PCI Express 连接到 PC-x86_64 的设备（以太网、GPU 等）上的缓冲存储器，通过使用复合原子操作。 IE。我们已经知道硬件总线是如何工作的（PCIe 支持原子FetchAdd/Swap/CAS），但是我们想知道需要什么汇编程序源代码才能使用这个 PCIe 特性。
我们可以使用 x86_64 CPU 复合原子操作：lock add、[lock] xchg、lock cmpxchg 在 PCI Express 上生成复合原子操作：FetchAdd, Swap, CAS?
或者我们应该在 x86_64 CPU 上使用什么 asm 代码来执行 PCI Express 2.0 上的原子操作 FetchAdd、Swap、CAS/ 3.0?
根据我从互联网上收集到的信息，撰写本文时最新一代的英特尔 CPU [1] [2] [3] 仅支持 PCIe AtomicOps 完成者。
集成到 uncore 中的 PCIe 设备可以完成一个 AtomicOp 但不能请求一个，PCIe 端口可以请求一个 AtomicOp 但那可能只是为了转发设备发起的请求。
看来 PCI 根联合体无法请求 AtomicOps。
启用 AtomicOps 需要处理器和根联合体之间的紧密耦合：不仅处理器必须传输它正在执行的操作类型 - 从而实现 x86 指令和 PCIe AtomicOps 之间的映射 - 而且它的操作数。
此外，根联合体必须能够在所有可能的目的地中识别出何时写入一个启用 AtomicOps 的设备——因此需要一组软件可配置的地址范围。
最后，AtomicOps 需要由 QPI Quiesce Master 专门处理 - 因为目标设备已经处理原子性，所以可以避免全局 QPI 锁。
当然，所有这一切都假设目标内存不可缓存（或者会发生缓存锁定）。
我不认为这些是无法克服的障碍，而是我相信 AtomicOps 的发明主要是为了缩短 IO->HostMem 原子写入或 IO->IO 写入的延迟。
Looking at what Intel wrote:
Today, message-based transactions are used for PCIe devices, and these use interrupts that can experience long latency, unlike CPU updates to main memory that use atomic transactions.
似乎主要关注的是使用中断通知设备驱动程序必须代表其托管设备执行原子写入。
Host->IO AtomicOps 是允许的，但似乎不能像今天那样生成，
肯定不能单独使用 lock 前缀。
我还相信，从处理器向设备发出 AtomicOps 只会对执行相对于 其他 PCIe 设备 的原子写入有用，因为处理器通常会与锁同步。
众所周知，从2.0版本开始，PCI Express支持复合原子操作：
FetchAdd、Swap、CAS：https://pcisig.com/sites/default/files/specification_documents/ECN_Atomic_Ops_080417.pdf也知道，x86_64 CPU 有汇编复合原子操作：
lock add、[lock] xchg、lock cmpxchg：https://godbolt.org/g/MmqMRw
C编译器可以生成volatile atomic_int-操作：
int expceted_cas = 0;
volatile atomic_int a;
atomic_fetch_add( &a, 1 );
atomic_exchange( &a, 1 );
atomic_compare_exchange_weak( &a, &expceted_cas, 1 );
我想访问通过 PCI Express 连接到 PC-x86_64 的设备（以太网、GPU 等）上的缓冲存储器，通过使用复合原子操作。 IE。我们已经知道硬件总线是如何工作的（PCIe 支持原子FetchAdd/Swap/CAS），但是我们想知道需要什么汇编程序源代码才能使用这个 PCIe 特性。
我们可以使用 x86_64 CPU 复合原子操作：lock add、[lock] xchg、lock cmpxchg 在 PCI Express 上生成复合原子操作：FetchAdd, Swap, CAS?
或者我们应该在 x86_64 CPU 上使用什么 asm 代码来执行 PCI Express 2.0 上的原子操作 FetchAdd、Swap、CAS/ 3.0?
根据我从互联网上收集到的信息，撰写本文时最新一代的英特尔 CPU [1] [2] [3] 仅支持 PCIe AtomicOps 完成者。
集成到 uncore 中的 PCIe 设备可以完成一个 AtomicOp 但不能请求一个，PCIe 端口可以请求一个 AtomicOp 但那可能只是为了转发设备发起的请求。
看来 PCI 根联合体无法请求 AtomicOps。
启用 AtomicOps 需要处理器和根联合体之间的紧密耦合：不仅处理器必须传输它正在执行的操作类型 - 从而实现 x86 指令和 PCIe AtomicOps 之间的映射 - 而且它的操作数。
此外，根联合体必须能够在所有可能的目的地中识别出何时写入一个启用 AtomicOps 的设备——因此需要一组软件可配置的地址范围。
最后，AtomicOps 需要由 QPI Quiesce Master 专门处理 - 因为目标设备已经处理原子性，所以可以避免全局 QPI 锁。
当然，所有这一切都假设目标内存不可缓存（或者会发生缓存锁定）。
我不认为这些是无法克服的障碍，而是我相信 AtomicOps 的发明主要是为了缩短 IO->HostMem 原子写入或 IO->IO 写入的延迟。
Looking at what Intel wrote:
Today, message-based transactions are used for PCIe devices, and these use interrupts that can experience long latency, unlike CPU updates to main memory that use atomic transactions.
似乎主要关注的是使用中断通知设备驱动程序必须代表其托管设备执行原子写入。
Host->IO AtomicOps 是允许的，但似乎不能像今天那样生成，
肯定不能单独使用 lock 前缀。
我还相信，从处理器向设备发出 AtomicOps 只会对执行相对于 其他 PCIe 设备 的原子写入有用，因为处理器通常会与锁同步。