企业级SSD在存储系统的部署运维过程中，有时会需要收集日志信息做进一步问题调试分析，传统的做法是一些SSD厂商会自定义命令和工具进行收集，但不同SSD厂商工具和命令格式不尽相同，这就为存储系统的运维带来很高的运维成本。有些存储系统对SSD要求十分严格，不允许发一些自定义的命令，也会给日志收集工作带来很大的挑战。因此，Telemetry标准化日志收集接口应运而生。
Telemetry是 NVM ExpressTM Base Specification 定义的错误日志收集标准接口，是NVMe1.3新增功能。Telemetry通过统一的标准接口来收集SSD厂商自定义数据日志，用户下发一条标准命令就可以获取需要的日志，然后将收集到的日志发给SSD厂商做进一步日志分析，降低为了收集日志需要将SSD从部署系统移出的可能性，有效减少现场debug时间，提升用户运维效率。Telemetry典型应用场景如现场失效分类，周期性健康监控，问题定位等，快速定位问题并解析，进一步提高产品可靠性。
Memblaze PCIe4.0 PBlaze6系列开始全线支持Telemetry功能。
Telemetry功能定义了收集SSD厂商自定义日志的机制，Telemetry数据采集可以是Host-Initiated和Controller-Initiated，前者是host发起获取SSD一些关键信息，后者是SSD认为重要的数据，由SSD厂商自定义。
Host发起的收集数据记录在Telemetry Host-Initiated Log，Controller发起的收集数据记录在Telemetry Controller-Initiated Log。
每个Telemetry数据日志由一组单独的Telemetry数据块（Block）组成，每个Telemetry数据块大小为512字节，Telemetry数据以Telemetry数据块为单位返回（必须是512Bytes 的整数倍）。Block 0是日志Header部分。NVMe Spec 定义了标准Telemetry Header 信息（Byte#0~511，Host-Initiated Telemetry日志和Controller-Initiated Telemetry 日志的数据结构类似）。其中384:511 Reason Identifier这部分属于厂商自定义字段，不同方式触发的Controller-Initiated日志该部分结构可能存在差异。
Telemetry: Host-Initiated log (Log 07 h) 数据结构
Telemetry日志数据块返回必须是512Bytes 的整数倍
每个Telemetry数据日志被划分为三个Telemetry数据区（即Area 1、Area 2和Area 3，后者均包含前者)。
所有Telemetry数据区从Telemetry Area1开始，通过Byte 383：Telemetry Controller-Initiated Data Generation Number判断数据是否已经读完。
以下是NVMe Spec中给出的Host-Initiated Telemetry Log实例，Controller-Initiated Telemetry log类似。
- Telemetry Host-Initiated Data Area 1 Last Block = 0
- Telemetry Host-Initiated Data Area 2 Last Block = 0
- Telemetry Host-Initiated Data Area 3 Last Block = 0
- Telemetry Host-Initiated Data Area 1 Last Block = 65
- Telemetry Host-Initiated Data Area 2 Last Block = 1000
- Telemetry Host-Initiated Data Area 3 Last Block = 30000
- Telemetry Host-Initiated Data Area 1 Last Block = 0
- Telemetry Host-Initiated Data Area 2 Last Block = 1000
- Telemetry Host-Initiated Data Area 3 Last Block = 1000
Host-Initiated和Controller-Initiated的数据的准备、收集和提交等方面类似，主要的区别在于收集的触发方式，Controller-Initiated Telemetry Log会在出现坏块、PCIe超时等SSD厂商自定义场景下触发。
Telemetry的操作流程一般为:
1）主机在Identify Controller data structure 中识别控制器对Telemetry日志的支持;
2）主机准备一个区域，以便在需要时存储Telemetry数据;
3）要接收Controller-Initiated的Telemetry数据可用的通知，主机使用异步事件配置功能启用Telemetry日志通知;
4） 如果主机决定收集Host-Initiated的Telemetry数据或控制器信号表明Controller-Initiated的Telemetry数据可用
a. 主机从Host-Initiated的日志或Controller-Initiated的日志中读取Telemetry数据区（Telemetry Data Area）的相应块。如果可能，主机应该收集Telemetry数据区1、2和3。主机以512字节的Telemetry数据块单元读取日志。作为对Controller-Initiated的日志的最后一次读取的一部分，主机将异步保持事件RAE位清除为0;
b. 如果是Controller-Initiated的日志，主机将重新读取日志页的头，并确保读取的controller-initiated Data Generation Number与读取的原始值匹配。如果这个值不匹配，则获取的数据不完整，需要重新继续读取;
c. 当所有Telemetry数据保存完毕后，应将数据转发给SSD厂商
开源CLI工具支持Telemetry log收集，收集到的telemetry日志Hearder部分可以解析，数据日志内容都进行加密，需要返回Memblaze进行解析，以nvme-cli v1.12为例：
NAME
nvme telemetry-log
SYNOPSIS
nvme telemetry-log <device> [OPTIONS]
OPTIONS
[ --output-file=<FILE>, -o <FILE> ] --- 必选。指定输出文件，输出的内容为二进制格式，
包括 Telemetry header
[ --host-generate=<NUM>, -g <NUM> ] --- 可选。指定收集 Host 触发的Telemetry log
[ --controller-init, -c ] --- 可选。指定收集 controller 触发的Telemetry log。
[ --data-area=<NUM>, -d <NUM> ] --- 可选。指定要收集的data area，取值包括1、2 3。
未指定时表示收集所有data area信息。
示例1：收集一条host-initiated的telemetry-log。
# nvme telemetry-log /dev/nvme0 -o host_tel.log -g 1
示例2：收集一条controller-initiated的telemetry-log（如需获取全部，需要执行多次）。
# nvme telemetry-log /dev/nvme0 -o controller_tel.log -c
真实场景有可能存了多条telemetry日志，Memblaze基于nvme-cli 提供自动化收集工具，可以一次性把所以telemetry 日志全部收集。
OCP（Open Compute Project） Datacenter NVMe® SSD Specification是Facebook和Microsoft主导制定，来自Hyperscale业务商对SSD的需求定义，协议到2021年演进到2.0版本。
OCP 2.0协议中新增基于 PCIe VDM 实现的NVMe-MI带外管理支持Telemetry日志收集，这也可能是国内业务厂商未来的潜在需求。
参考文献：
