你开心就好
PCIE数据链路层-DLLPs
编辑
2024-03-05
工作知识
0

PCIE数据链路层-DLLPs

数据链路层在事务层下面，它封装了TLP数据包，并加上前缀和后缀，形成了DLLP包。如下是层级关系

image.png

DLLP包是完全由硬件完成的

数据链路状态机

数据链路状态机如下

image.png

DLLP

所有的DLLP包含1dword，前面8bit作为dllp的type，后面作为dllp的type的衍生字段。最后16bit作为crc校验，如下

image.png

这里关于dllp type的类型如下

image.png

所以根据不同类型的dllp的字段如下

ack/nak

image.png

InitFC1

image.png

InitFC2

image.png

UpdateFC*

image.png

PM_*

image.png

Vendor Specific

image.png

包装TLP

对于数据链路层，先发送了DLLP包出去，里面标明了DLLP的type和DLLP的type对应字段，再加上CRC。然后再发送TLP，这时候的TLP包会包装前缀和后缀，用作标明TLP包的序列号以及TLP的LCRC校验，也就是如下

image.png

这里的Sequence ID 和LCRC是对TLP的封装。

所以数据链路层的通信流程如下

image.png

这里A是发送者，B是接收者，A会发送TLP包给B，所以B会发送ACK/NAK的DLLP给A接收，这里的DLLP就包含两个部分，一个是1dword+16bit crc的DLLP，一个是包装TLP包加上Sequence和LCRC的完整TLP包。

DLLP发送接收流程

上面已经知道DLLP包括自定义的DLLP字段以及会在TLP添加前缀和后缀。这里根据文档描述，讲述DLLP的发送和接收流程

TLP发送流程

image.png

NEXT_TRANSMIT_SEQ：存放下一个待发TLP包的序列号，TLP包前缀。 AckNak_Seq_Num：DLLP的ACK/NAK字段，存放最后成功接收TLP的序列号 ACKD_SEQ：存放最近收到的序列号（从DLLP的ACK/NAK返回）

所以先判断下一个待发TLP的序列号，不能大于总Counter(4096)的一半。 如果ACKD_SEQ（存放的序列号）和AckNak_Seq_Num（DLLP的ACK/NAK）不相等，则意味着上一次的包发送成功，开始发下一个包，则清空原来的retry buffer，将新的包的序列号加载到ACKD_SEQ，开始发送，如果接收到ACK，则成功，如果为NAK，则重发。

TLP接收流程

image.png

将NEXT_RCV_SEQ：这里是一个计数器，对TLP包计数加1，用来判断NEXT_TRANSMIT_SEQ和自己是否相等

先计算收到的TLP包的LCRC值，然后判断物理层确定TLP是否有效，再获取这次接收到的TLP包的DLLP的后缀LCRC，判断自己计算的LCRC和DLLP的LCRC是否匹配，最后判断当前TLP包的序列号是否等于NEXT_RCV_SEQ，如果等于，将NEXT_RCV_SEQ自增加1，开始处理TLP包，发送ACK，否则发送NAK。

阅读全文
PCIE事务层-消息请求
编辑
2024-03-01
工作知识
0

PCIE事务层-消息请求

消息请求主要传递如下信号：

  • INTx中断信号
  • 电源管理
  • 错误信号
  • 锁定事务支持
  • slot电源限制支持
  • Vendor-Defined信息
  • LTR（延迟容忍报告）
  • OBFF（buffer刷新和填充的优化信息）
  • DRS
  • FRS
  • PTM

对于一个消息请求，格式如下所示

image.png

对于上面header内的type域的[2:0]代表了消息路由类型如下：

image.png

INTx中断信号

MSI/MSI-X是PCIE首选的中断信号机制，中断消息的length字段是reserved的，有如下8种中断消息

image.png

image.png

电源管理信号

image.png

错误信号消息

image.png

锁定事务

image.png

槽位电源限制

限制下游端口的电源大小 image.png

Vendor-Defined信息

image.png

image.png

LTR（Latency Tolerance Reporting）

延迟容忍上报信息用于上报设备对读写服务消息的容忍度

image.png

OBFF信息

OBFF是向EP设备上报平台的中心资源情况

image.png

PTM信息

Precision Time Measurement，高精度时间测量

image.png

image.png

阅读全文
PCIE事务层-tlp事务层描述符
编辑
2024-02-29
工作知识
0

PCIE事务层-tlp事务层描述符

描述符通过三个部分组成，事务ID，属性域，TC域。如下图

image.png

Transaction ID

由上可以知道，事务ID是以一个16位的的requester ID和一个8位的tag组成。 这是由请求者的BDF，Bus Number[7:0]、Device Number[4:0]、Function Number[2:0]组成的信息。 对于post请求，仅发送bdf作为requester id即可，对于non-posted请求，还需要tag字段，

attributes

这里之前有提到，对于attr[2]和attr[1:0]定义如下

image.png

对于bit1和bit2，有四种模式为，1.pci强排序模式，2.轻松排序模式，3.基于ID的排序模式，4.轻松排序或ID排序，如下

image.png

对于bit0，选择是否cache一致性。0是默认一致，1可不一致，如下图

image.png

tc

tc作为流量控制，之前也提到过，000为默认不控制，001-111按照优先级做流控

image.png

阅读全文
PCIE事务层-tlp路由寻址
编辑
2024-02-28
工作知识
0

PCIE事务层-tlp路由寻址

tlp有三种方式路由，Address方式，ID方式和implicit（隐式） address和id是常用路由方式，implicit仅用作message request的type tlp包的路由，这里描述一下address和id。

地址路由

address 路由用作memory和io类型，如果是64位地址则header是4dword，32位地址则是3dword，如下

image.png

对于地址路由时，header的1dword的at字段在memory read/write和atomicOp请求时有效，其他tlp类型时，at字段保留。如下

image.png

也就是：00b=未转换的地址，01b=地址转换请求，10b=已转换的地址，11b=预留

如果存在转换的地址，则地址映射关系，体现在header域的byte8-byte15上，如下图所示

image.png

值得注意的是，对于4g以下的地址，请求必须以32位的格式。

ID路由

id路由通常作为配置请求，ID Routed Message和Completions。对于header中，需要定义Vendor_Defined Messages作为ID。

id路由通过BDF（Bus，Device，Function Numbers）来明确TLP的目的地址

对于ari和非ari设备，id路由的header域值如下

image.png

如果是4dword的tlp header，id路由的header布局如下.（不同字节的header由tlp的类型决定）

image.png

如果是3dword的tlp header，id路由的header布局如下

image.png

这里可以从byte8和byte9来确定BDF值作为id路由的依据

First/Last DW Byte

对于header的byte7，有两个字段，last dw/1st dw。它与byte2和byte3的length[9:0]有一定关系：

  • 如果length的长度是大于1dword，则1st的值不能为0000，last的值也不能为0000
  • 如果length的长度等于1字节，则last的值必须是0000
阅读全文
PCIE事务层-tlp包格式
编辑
2024-02-28
工作知识
0

PCIE事务层-tlp包格式

事务层主要处理生成和接收TLP包，以及其他如交换流控信息，支持软件和硬件启动的电源管理，这里主要说TLP包。

image.png

TLP事务类型

主要包括四个类型，内存，IO，配置，消息。如下图

image.png

TLP包格式

TLP包有前缀，头，数据，摘要四个部分组成，如下图

image.png

详细的TLP包格式如下图

image.png

tlp prefix

对于TLP的包的前缀包含如下字段。

image.png

前缀默认只有1dword，也就是上述字段。这里注意的是prefix的fmt一定是100b，其中type位的4位代表前缀的类型。对于local tlp prefix的type字段如下

image.png

组合起来如下

  • 1000 0000 ---> MR-IOV
  • 1000 1110 ---> VendPrefixL0
  • 1000 1111 ---> VendPrefixL1

对于end-end tlp prefix 的type字段如下

image.png

组合起来如下

  • 1001 0000 ---> ExtTPH
  • 1001 0001 ---> PASID
  • 1001 1110 ---> VendPrefixE0
  • 1001 1111 ---> VendPrefixE1

这里VendPrefix均是Vendor定义的TLP前缀字段

tlp header

和prefix一样，header的第一个dword也是固定格式

image.png

但是对于fmt字段，不是prefix的固定的100，而是如下定义

image.png

这里fmt的值代表整个header包含多少个dword，

而接下来的type字段确定tlp的类型，故fmt和type的对于tlp包的类型如下图

image.png

image.png

这里还有如下字段解释

  • R：预留
  • TC[2:0]: 流量控制，默认是0,最大流量,001-111是基于优先级的流量控制等级
  • Attr[2]：是否支持ID-Based Ordering（设置允许不相关流量之间放宽排序要求，避免pcie在生产者和消费者模型中发送死锁）
  • LN：对于内存请求中，指示是否为LN Read还是LN Write，对完成者指示LN是否完成
  • TH：是否存在TPH（TLP Processing Hints）
  • TD：确定是否存在1个dword的tlp digest
  • EP：确定tlp的数据是否有效（CRC校验），1代表无效
  • Attr[1:0]：bit5标识是否打开Relaxed Ordering，bit4标识是否打开硬件（cache）一致性管理
  • AT: 与地址转换有关，00b=未转换的地址，01b=地址转换请求，10b=已转换的地址，11b=预留

关于length域，主要如下

  • Length[9:0]：tlp的data payload的大小，以dword为单位

image.png

tlp data payload

对于data payload，需要注意如下

  1. 通常情况下，payload的size是length[9:0]大小的dword，但是在Device Control寄存器会设置一个Max_Payload_Size，length[9:0]的值不能超过这个size。
  2. header后面的数据第一个字节更趋近于0，后面的字节逐步增加（非AtomicOp Request和AtomicOp Completion）
  3. 如果是AtomicOp Request和AtomicOp Completion，则第一数据字节应该是数据的最低有效字节，如果涉及到小端，则是header-0x100-0x107。因为0x100是最低位字节，如果涉及大端，则是header-0x107-0x100。 如下图

image.png

对于数据 76543210，如果非AtomicOp Request和AtomicOp Completion，则0x100存放0，0x107存放7（第二点） 如果是AtomicOp Request和AtomicOp Completion，如果目标内存架构是小端，则100存放0，107存放7（小端数据高位存在低地址）。如果是大端，则100存放7，107存放0.

tlp digest

如上述可知，TD位如果是1，则tlp址出digest，并且digest域存放ecrc的值，当然，如果tlp本身不支持ecrc校验，则应该主动忽略digest域的内容

这里ECRC的意思是，end to end crc，端到端crc。ecrc与lcrc不同的点是，数据的内部转发不会对lcrc值进行校验，如果转发过程中出现错误，则可以通过ecrc来进行判断。

阅读全文