Infiniband Exporter

针对 Infiniband 网络 treydock 开发了一个 Infiniband Exporter 来采集 Infiniband 的监控指标，官方仓库是 https://github.com/treydock/infiniband_exporter ，最新版本是 v0.2.0 ，发布于 2021 年7 月 3 日，这是一个新的 Exporter，之前监控 HPC 集群的时候，就差 Infiniband 的监控了。

InfiniBand Exporter 从 InfiniBand 交换机和 HCA 收集指标，好的指标从 /metrics 暴露，包含 InfiniBand Exporter 自身的指标和InfiniBand 的指标。

InfiniBand Exporter 必须在一个主机上运行，该主机在要监控的InfiniBand fabric 上具有活动接口。默认情况下，Exporter 将从连接到运行的主机的 fabric 的所有交换机端口收集监控数据。

IB 诊断工具 ibnetdiscover 和 perfquery 也必须在运行在这个部署 InfiniBand Exporter 的主机上，这些工具可以通过 infiniband-diags 包安装。

安装运行

InfiniBand Exporter 可以用二进制运行，也可以使用容器来运行。

使用二进制运行需要先下载最新的 InfiniBand Exporter ，然后开始第一步，创建运行的账号，可以使用如下命令。

groupadd -r infiniband_exporter
useradd -r -d /var/lib/infiniband_exporter -s /sbin/nologin -M -g infiniband_exporter -M infiniband_exporter

第二步就是解压下载好的 压缩包，将解压出来的 infiniBand_exporter 文件放到 /usr/local/bin/infiniband_exporter 。

第三步，下载官方提供的 infiniband_exporter.service 文件，并且放到指定的位置，可以就可以使用 SystemD 来启停并且守护进程了。

cp systemd/infiniband_exporter.service /etc/systemd/system/infiniband_exporter.service
systemctl daemon-reload
systemctl start infiniband_exporter

启动好的 InfiniBand Exporter 会在 9315 端口暴露监控数据。

InfiniBand Exporter 也可以使用容器运行，启动方式可以参考如下：

docker run -d -p 9315:9315 \
--name infiniband_exporter \
--cap-add=IPC_LOCK \
--device=/dev/infiniband/umad0 \
treydock/infiniband_exporter

使用

InfiniBand Exporter 可以使用 --collector.<name> 和 --no-collector.<name> 两个参数来打开和关闭相应的采集项。

如果你有一个和子网管理器一起使用的节点名字的映射列表文件，可以使用 --ibnetdiscover.node-name-map 参数来使用，这样从交换机的得到的名称会是一个友好的名字，也就是你自己定义的。

如果您有一个通常与子网管理器一起使用的节点名称映射文件，您可以将该文件提供给——ibnetdiscover。node-name-map国旗。这将为交换机使用友好的名称。

如果你希望以非 root 用户的身份运行 Exporter，并且不想使用sudo，你必须让 UMAD 设备对所有用户进行读写操作，如下所示:

$ cat /etc/udev/rules.d/99-ib.rules 
KERNEL=="umad*", NAME="infiniband/%k" MODE="0666"

如果你想使用 sudo 那么使用 --sudo 这个命令行参数就可以。

如果使用 Exporter Rule 作为infiniband_exporter 用户规则，这是是一个 sudo rule 的例子 ，可以根据需要调整 perfquery 和 ibnetdiscover 的路径 。

Defaults:infiniband_exporter !syslog
Defaults:infiniband_exporter !requiretty
infiniband_exporter ALL=(ALL) NOPASSWD: /usr/sbin/ibnetdiscover
infiniband_exporter ALL=(ALL) NOPASSWD: /usr/sbin/perfquery

如果 perfquery 和 ibnetdiscover 的路径不在变量里，那么可以使用 --ibnetdiscover.path 和 --perfquery.path 参数进行指定。

大型结构注意事项

如果您有一个大型 fabric，其中收集时间对 Prometheus 来说太长了，那么 Infiniband Exporter 可以将指标写入一个可以由 Node Exporter 自定义文本文件收集的文件中。

Infiniband Exporter 已经在 109个 交换机上进行了测试，每个交换机大约有36个端口，收集交换机指标需要大约10秒。

Node Exporter 可以使用 --collector.textfile.directory 参数从一个文本文件中收集指标，参数使用方法是 --collector.textfile.directory=/var/lib/node_exporter/textfile_collector.prom 。Infiniband Exporter 可以通过 cron 定时任务和参数将指标输出到文件里，比如：

• --exporter.runonce
• --exporter.output=/var/lib/node_exporter/textfile_collector/infiniband_exporter.prom

使用 --collector.switch.rcv-err-details 收集 perfquery 指标相较于采集基础指标会花费很多采集时间，因为需要对每个端口执行一次 perfquery ，收集这些指标的一种方法是 使用 Prometheus 收集 --collector.switch.rcv-err-details 基础指标，并使用如下命令行进行收集。如果机器是 8 核的，那么可以通过 --perfquery.max-concurrent=8 来进行 采集。

• --exporter.runonce
• --exporter.output=/var/lib/node_exporter/textfile_collector/infiniband_exporter.prom
• --no-collector.switch.base-metrics
• --collector.switch.rcv-err-details
• --perfquery.max-concurrent=8

小结

Infiniband Exporter 是采集 Infiniband 交换机和网络管理器的监控指标的， Infiniband 网卡的监控指标使用 Node Exporter 打开 Infiniband 指标采集项就可以收集，这样就完成了 Infiniband 监控采集的闭环。