Enable/Disable 硬件锁省略
Enable/Disable Hardware Lock Elision
我使用的是 glibc 2.24 版本。它包含用于 pthread_mutex_lock 事务同步扩展(如 _xbegin() 和 _xend())实现的锁省略路径。硬件应该支持锁省略,因为我认为 hle CPU 标志用于硬件锁省略。我使用的处理器是 Intel(R) Xeon(R) Gold 6130 with Skylake architecture.
首先我想禁用 Lock elision 但是当我 运行 使用 pthread_mutex_lock 的程序时,perf stat -T 来监视事务周期,我得到 0。我认为这意味着 pthread_mutex_lock 根本不使用事务路径。谷歌搜索后我发现可能需要先使用 export GLIBC_TUNABLES=glibc.elision.enable=1 来启用锁省略,但在这一步之后我仍然没有查看与 perf 的任何交易。
另一方面,当我包含 _xbegin();和_xend();直接在这个过程中,我通过 perf stat -T 获得了一些事务周期,这应该意味着我正在寻找具有 perf 的正确计数器,希望如此。
因此,关于如何启用锁省略的任何建议都会有所帮助。还是我检查不正确?
更新 for TSX 我在主函数中使用了这两条指令,就像这样:
_xbegin();
_xend();
我不确定它需要哪个库,我已经包含了数十个。对于编译,我使用以下标志:-O3 -march=native -lpthread 与此示例相关。
对于锁,我有互斥量:
pthread_mutex_t * mutex;
mutex = (pthread_mutex_t *) malloc(10 * sizeof(pthread_mutex_t));
for(int k=0; k<10; k++){
pthread_mutex_init(&mutex[k], NULL);
}
也许对于省略我应该以不同的方式初始化它?
在 glibc 的早期版本中,在 2.27 之前,只能使用名为 enable-lock-elision
的 compile-time 标志来控制对 TSX 的支持。我不知道哪些版本启用或禁用了 enable-lock-elision
,但这就是它过去的工作方式1。所以如果你想 enable/dsiable TSX,你必须自己编译 glibc 并相应地使用该标志。从 glibc 2.27 开始,compile-time 选项已被删除并由名为 glibc.elision.enable
的 run-time 选项取代。也就是说,glibc 始终在编译时支持 TSX,但只有在应用程序 运行 之前将环境变量 glibc.elision.enable
设置为 1 时才会使用 TSX(例如,通过执行 export GLIBC_TUNABLES=glibc.elision.enable=1
) .
在 2.27 之前,glibc.elision.enable
不存在,因此没有任何作用。是否使用 TSX 取决于 compile-time 标志 enable-lock-elision
。您使用的是 2.24。所以最简单的解决方案是移动到 2.27 或更新的版本。
请注意,根据各自的规范更新,目前所有支持 TSX 的英特尔处理器似乎都存在与 "using Intel TSX Instructions May Lead to Unpredictable System Behavior" 相同的错误。对于某些处理器,英特尔发布了微代码更新以实际禁用 TSX。但是,您的处理器上的实施将继续启用。
脚注:
(1) 根据此 bug report,glibc 从 2.23 开始已禁用锁省略。我认为这是通过在构建 glibc 时禁用 enable-lock-elision
来完成的,但我没有通过查看代码来验证这一点。但这与你观察到的在2.24中被禁用是一致的。
补充一下 Ana 的回答,我认为 glibc 可能在 OS 上有自定义变量。至少在 RHEL 上,glibc 2.17 已经引入了“RHEL_GLIBC_TUNABLES="glibc.elision.enable=1"。OP 的发行版可能也有类似的环境变量,用于在运行时启用 HLE。
%define glibcsrcdir glibc-2.17-c758a686
%define glibcversion 2.17
%define glibcrelease 317%{?dist}
...
# If the architecture has elision support in glibc then it should be listed
# here to enable elision for default pthread mutexes and rwlocks. The elision
# is not enabled automatically and each process has to opt-in to elision via
# the environment variable RHEL_GLIBC_TUNABLES by setting it to enabled e.g.
# RHEL_GLIBC_TUNABLES="glibc.elision.enable=1".
%define elisionarches x86_64 %{power64}
...
%ifarch %{elisionarches}
--enable-lock-elision=yes \
%endif
...
根据 Fedora 24 的 glibc 2.23.1 的 glibc.spec,自 glibc 2.20 起在编译时已禁用省略,s390/s390x 系统除外。
glibc 2.24 的 glibc.spec 再次确认了这一点。对于 Fedora 25。
# Enable lock elision support for these architectures
#
# At the moment lock elision is disabled on x86_64 until there's a CPU that
# would actually benefit from enabling it. Intel released a microcode update
# to disable HLE and RTM at boot and the Fedora kernel now applies it early
# enough that keeping lock elision enabled should be harmless, but we have
# disabled it anyway as a conservative measure.
%define lock_elision_arches s390 s390x
...
%ifarch %{lock_elision_arches}
--enable-lock-elision \
%endif
...
# Disable rwlock elision if --enable-lock-elision is not used.
Patch0052: glibc-disable-rwlock-elision.patch
...
* Tue Sep 30 2014 Siddhesh Poyarekar <siddhesh@redhat.com> - 2.20.90-6
- Sync with upstream master.
- Disable more Intel TSX usage in rwlocks (#1146967).
- Enable lock elision again on s390 and s390x.
- Enable Systemtap SDT probes for all architectures (#985109).
虽然不能确定说 OP 的 Linux 发行版与 Fedora 25 在相同的 glibc 2.24 上运行,但根据 Patch0052,通用 glibc 2.24 可能已禁用省略。这就是为什么 OP 无法通过“export GLIBC_TUNABLES=glibc.elision.enable=1”
看到性能提升
来源:
http://rpmfind.net/linux/RPM/centos/7.9.2009/x86_64/Packages/glibc-2.17-317.el7.x86_64.html
http://rpm.pbone.net/info_idpl_48715292_distro_fedora_24_com_glibc-2.23.1-12.fc24.x86_64.rpm.html
http://rpm.pbone.net/resultsb_dist_103_size_26149846_name_glibc-2.24-10.fc25.src.rpm.html
更新:
SLES12 有自己的 glibc 版本。 SP2 自带 glibc 2.22,与 Fedora 25 的 glibc 2.22 不同。
SLES12 SP2
Fedora 25
\
Patch0052: glibc-disable-rwlock-elision.patch (since 2.20.90)
elision=--enable-lock-elision
if [ "$dirname" = "noelision" ]; then
elision=--disable-lock-elision
fi
\
来源:
https://www.suse.com/support/kb/doc/?id=000019071
http://rpm.pbone.net/info_idpl_55157770_distro_opensuse_com_glibc-2.24-3.29.x86_64.rpm.html
我使用的是 glibc 2.24 版本。它包含用于 pthread_mutex_lock 事务同步扩展(如 _xbegin() 和 _xend())实现的锁省略路径。硬件应该支持锁省略,因为我认为 hle CPU 标志用于硬件锁省略。我使用的处理器是 Intel(R) Xeon(R) Gold 6130 with Skylake architecture.
首先我想禁用 Lock elision 但是当我 运行 使用 pthread_mutex_lock 的程序时,perf stat -T 来监视事务周期,我得到 0。我认为这意味着 pthread_mutex_lock 根本不使用事务路径。谷歌搜索后我发现可能需要先使用 export GLIBC_TUNABLES=glibc.elision.enable=1 来启用锁省略,但在这一步之后我仍然没有查看与 perf 的任何交易。
另一方面,当我包含 _xbegin();和_xend();直接在这个过程中,我通过 perf stat -T 获得了一些事务周期,这应该意味着我正在寻找具有 perf 的正确计数器,希望如此。
因此,关于如何启用锁省略的任何建议都会有所帮助。还是我检查不正确?
更新 for TSX 我在主函数中使用了这两条指令,就像这样:
_xbegin();
_xend();
我不确定它需要哪个库,我已经包含了数十个。对于编译,我使用以下标志:-O3 -march=native -lpthread 与此示例相关。
对于锁,我有互斥量:
pthread_mutex_t * mutex;
mutex = (pthread_mutex_t *) malloc(10 * sizeof(pthread_mutex_t));
for(int k=0; k<10; k++){
pthread_mutex_init(&mutex[k], NULL);
}
也许对于省略我应该以不同的方式初始化它?
在 glibc 的早期版本中,在 2.27 之前,只能使用名为 enable-lock-elision
的 compile-time 标志来控制对 TSX 的支持。我不知道哪些版本启用或禁用了 enable-lock-elision
,但这就是它过去的工作方式1。所以如果你想 enable/dsiable TSX,你必须自己编译 glibc 并相应地使用该标志。从 glibc 2.27 开始,compile-time 选项已被删除并由名为 glibc.elision.enable
的 run-time 选项取代。也就是说,glibc 始终在编译时支持 TSX,但只有在应用程序 运行 之前将环境变量 glibc.elision.enable
设置为 1 时才会使用 TSX(例如,通过执行 export GLIBC_TUNABLES=glibc.elision.enable=1
) .
在 2.27 之前,glibc.elision.enable
不存在,因此没有任何作用。是否使用 TSX 取决于 compile-time 标志 enable-lock-elision
。您使用的是 2.24。所以最简单的解决方案是移动到 2.27 或更新的版本。
请注意,根据各自的规范更新,目前所有支持 TSX 的英特尔处理器似乎都存在与 "using Intel TSX Instructions May Lead to Unpredictable System Behavior" 相同的错误。对于某些处理器,英特尔发布了微代码更新以实际禁用 TSX。但是,您的处理器上的实施将继续启用。
脚注:
(1) 根据此 bug report,glibc 从 2.23 开始已禁用锁省略。我认为这是通过在构建 glibc 时禁用 enable-lock-elision
来完成的,但我没有通过查看代码来验证这一点。但这与你观察到的在2.24中被禁用是一致的。
补充一下 Ana 的回答,我认为 glibc 可能在 OS 上有自定义变量。至少在 RHEL 上,glibc 2.17 已经引入了“RHEL_GLIBC_TUNABLES="glibc.elision.enable=1"。OP 的发行版可能也有类似的环境变量,用于在运行时启用 HLE。
%define glibcsrcdir glibc-2.17-c758a686
%define glibcversion 2.17
%define glibcrelease 317%{?dist}
...
# If the architecture has elision support in glibc then it should be listed
# here to enable elision for default pthread mutexes and rwlocks. The elision
# is not enabled automatically and each process has to opt-in to elision via
# the environment variable RHEL_GLIBC_TUNABLES by setting it to enabled e.g.
# RHEL_GLIBC_TUNABLES="glibc.elision.enable=1".
%define elisionarches x86_64 %{power64}
...
%ifarch %{elisionarches}
--enable-lock-elision=yes \
%endif
...
根据 Fedora 24 的 glibc 2.23.1 的 glibc.spec,自 glibc 2.20 起在编译时已禁用省略,s390/s390x 系统除外。 glibc 2.24 的 glibc.spec 再次确认了这一点。对于 Fedora 25。
# Enable lock elision support for these architectures
#
# At the moment lock elision is disabled on x86_64 until there's a CPU that
# would actually benefit from enabling it. Intel released a microcode update
# to disable HLE and RTM at boot and the Fedora kernel now applies it early
# enough that keeping lock elision enabled should be harmless, but we have
# disabled it anyway as a conservative measure.
%define lock_elision_arches s390 s390x
...
%ifarch %{lock_elision_arches}
--enable-lock-elision \
%endif
...
# Disable rwlock elision if --enable-lock-elision is not used.
Patch0052: glibc-disable-rwlock-elision.patch
...
* Tue Sep 30 2014 Siddhesh Poyarekar <siddhesh@redhat.com> - 2.20.90-6
- Sync with upstream master.
- Disable more Intel TSX usage in rwlocks (#1146967).
- Enable lock elision again on s390 and s390x.
- Enable Systemtap SDT probes for all architectures (#985109).
虽然不能确定说 OP 的 Linux 发行版与 Fedora 25 在相同的 glibc 2.24 上运行,但根据 Patch0052,通用 glibc 2.24 可能已禁用省略。这就是为什么 OP 无法通过“export GLIBC_TUNABLES=glibc.elision.enable=1”
看到性能提升来源:
http://rpmfind.net/linux/RPM/centos/7.9.2009/x86_64/Packages/glibc-2.17-317.el7.x86_64.html
http://rpm.pbone.net/info_idpl_48715292_distro_fedora_24_com_glibc-2.23.1-12.fc24.x86_64.rpm.html
http://rpm.pbone.net/resultsb_dist_103_size_26149846_name_glibc-2.24-10.fc25.src.rpm.html
更新:
SLES12 有自己的 glibc 版本。 SP2 自带 glibc 2.22,与 Fedora 25 的 glibc 2.22 不同。
SLES12 SP2 | Fedora 25 |
---|---|
\ | Patch0052: glibc-disable-rwlock-elision.patch (since 2.20.90) |
elision=--enable-lock-elision if [ "$dirname" = "noelision" ]; then elision=--disable-lock-elision fi |
\ |
来源:
https://www.suse.com/support/kb/doc/?id=000019071
http://rpm.pbone.net/info_idpl_55157770_distro_opensuse_com_glibc-2.24-3.29.x86_64.rpm.html