企业级SSD在存储系统的部署运维过程中,有时会需要收集日志信息做进一步问题调试分析,传统的做法是一些SSD厂商会自定义命令和工具进行收集,但不同SSD厂商工具和命令格式不尽相同,这就为存储系统的运维带来很高的运维成本。有些存储系统对SSD要求十分严格,不允许发一些自定义的命令,也会给日志收集工作带来很大的挑战。因此,Telemetry标准化日志收集接口应运而生。
Telemetry是 NVM ExpressTM Base Specification 定义的错误日志收集标准接口,是NVMe1.3新增功能。Telemetry通过统一的标准接口来收集SSD厂商自定义数据日志,用户下发一条标准命令就可以获取需要的日志,然后将收集到的日志发给SSD厂商做进一步日志分析,降低为了收集日志需要将SSD从部署系统移出的可能性,减少现场debug时间,提升用户运维效率。Telemetry典型应用场景如现场失效分类,周期性健康监控,问题定位等,快速定位问题并解析,进一步提高产品可靠性。
Memblaze PCIe4.0 PBlaze6系列开始全线支持Telemetry功能。
Telemetry功能定义了收集SSD厂商自定义日志的机制,Telemetry数据采集可以是Host-Initiated和Controller-Initiated,前者是host发起获取SSD一些关键信息,后者是SSD认为重要的数据,由SSD厂商自定义。
Host发起的收集数据记录在Telemetry Host-Initiated Log,Controller发起的收集数据记录在Telemetry Controller-Initiated Log。
每个Telemetry数据日志由一组单独的Telemetry数据块(Block)组成,每个Telemetry数据块大小为512字节,Telemetry数据以Telemetry数据块为单位返回(必须是512Bytes 的整数倍)。Block 0是日志Header部分。NVMe Spec 定义了标准Telemetry Header 信息(Byte#0~511,Host-Initiated Telemetry日志和Controller-Initiated Telemetry 日志的数据结构类似)。其中384:511 Reason Identifier这部分属于厂商自定义字段,不同方式触发的Controller-Initiated日志该部分结构可能存在差异。
Telemetry: Host-Initiated log (Log 07 h) 数据结构
Telemetry日志数据块返回必须是512Bytes 的整数倍
每个Telemetry数据日志被划分为三个Telemetry数据区(即Area 1、Area 2和Area 3,后者均包含前者)。
所有Telemetry数据区从Telemetry Area1开始,通过Byte 383:Telemetry Controller-Initiated Data Generation Number判断数据是否已经读完。
以下是NVMe Spec中给出的Host-Initiated Telemetry Log实例,Controller-Initiated Telemetry log类似。
- Telemetry Host-Initiated Data Area 1 Last Block = 0
- Telemetry Host-Initiated Data Area 2 Last Block = 0
- Telemetry Host-Initiated Data Area 3 Last Block = 0
- Telemetry Host-Initiated Data Area 1 Last Block = 65
- Telemetry Host-Initiated Data Area 2 Last Block = 1000
- Telemetry Host-Initiated Data Area 3 Last Block = 30000
- Telemetry Host-Initiated Data Area 1 Last Block = 0
- Telemetry Host-Initiated Data Area 2 Last Block = 1000
- Telemetry Host-Initiated Data Area 3 Last Block = 1000
Host-Initiated和Controller-Initiated的数据的准备、收集和提交等方面类似,主要的区别在于收集的触发方式,Controller-Initiated Telemetry Log会在出现坏块、PCIe超时等SSD厂商自定义场景下触发。
Telemetry的操作流程一般为:
1)主机在Identify Controller data structure 中识别控制器对Telemetry日志的支持;
2)主机准备一个区域,以便在需要时存储Telemetry数据;
3)要接收Controller-Initiated的Telemetry数据可用的通知,主机使用异步事件配置功能启用Telemetry日志通知;
4) 如果主机决定收集Host-Initiated的Telemetry数据或控制器信号表明Controller-Initiated的Telemetry数据可用
a. 主机从Host-Initiated的日志或Controller-Initiated的日志中读取Telemetry数据区(Telemetry Data Area)的相应块。如果可能,主机应该收集Telemetry数据区1、2和3。主机以512字节的Telemetry数据块单元读取日志。作为对Controller-Initiated的日志的最后一次读取的一部分,主机将异步保持事件RAE位清除为0;
b. 如果是Controller-Initiated的日志,主机将重新读取日志页的头,并确保读取的controller-initiated Data Generation Number与读取的原始值匹配。如果这个值不匹配,则获取的数据不完整,需要重新继续读取;
c. 当所有Telemetry数据保存完毕后,应将数据转发给SSD厂商
开源CLI工具支持Telemetry log收集,收集到的telemetry日志Hearder部分可以解析,数据日志内容都进行加密,需要返回Memblaze进行解析,以nvme-cli v1.12为例:
NAME
nvme telemetry-log
SYNOPSIS
nvme telemetry-log <device> [OPTIONS]
OPTIONS
[ --output-file=<FILE>, -o <FILE> ] --- 必选。指定输出文件,输出的内容为二进制格式,
包括 Telemetry header
[ --host-generate=<NUM>, -g <NUM> ] --- 可选。指定收集 Host 触发的Telemetry log
[ --controller-init, -c ] --- 可选。指定收集 controller 触发的Telemetry log。
[ --data-area=<NUM>, -d <NUM> ] --- 可选。指定要收集的data area,取值包括1、2 3。
未指定时表示收集所有data area信息。
示例1:收集一条host-initiated的telemetry-log。
# nvme telemetry-log /dev/nvme0 -o host_tel.log -g 1
示例2:收集一条controller-initiated的telemetry-log(如需获取全部,需要执行多次)。
# nvme telemetry-log /dev/nvme0 -o controller_tel.log -c
真实场景有可能存了多条telemetry日志,Memblaze基于nvme-cli 提供自动化收集工具,可以一次性把所以telemetry 日志全部收集。
OCP(Open Compute Project) Datacenter NVMe® SSD Specification是Facebook和Microsoft主导制定,来自Hyperscale业务商对SSD的需求定义,协议到2021年演进到2.0版本。
OCP 2.0协议中新增基于 PCIe VDM 实现的NVMe-MI带外管理支持Telemetry日志收集,这也可能是国内业务厂商未来的潜在需求。
参考文献: