經過了多年的發展，GPU也具備了多層緩存的結構。這些精心設計的緩存架構，可以填補顯存和計算單元之間讀寫速度不匹配的矛盾，與CPU的緩存有類似的作用。由於GPU架構的不同，不同芯片設計廠商對其緩存的設計也不一樣。在Ampere架構上，英偉達仍然堅持使用相對傳統的L1和L2緩存兩級結構。

AMD在RDNA 2架構上，則採用了L0、L1、L2和Infinity Cache，事實上Infinity Cache是​​充當了L3緩存的角色。近期Chips and Cheese發布了一項新研究，比較了英偉達與AMD最新顯卡的顯存延遲情況。

Chips and Cheese採用了OpenCL編寫的指針追踪基準，用於評估GPU顯存緩存中的延遲。在測試裡，使用的是Radeon RX 6800 XT和GeForce RTX 3090顯卡。測試結果表明，RDNA 2架構比Ampere架構具有更低的顯存延遲。

在測試中，英偉達GA102的L1和L2緩存之間的延遲超過了100ns，而AMD Navi 21的L0至L2緩存之間的延遲為66ns，加上Infinity Cache僅增加了20ns的額外延遲。這可能可以解釋為什麼RDNA 2架構在較低分辨率的時候會有更出色的性能表現，而Ampere架構需要更多並行運算才能有更好的發揮。

無論英偉達還是AMD，都注意到了大型高效緩存的重要性。英偉達GA100（Ampere）的L2緩存已經增加到了40MB，是GV100（Volta）的七倍。AMD則率先使用了高帶寬的設計，類似的結構也有用於CDNA架構的Instinct系列，在Radeon RX系列中（RDNA）為遊戲開發了Infinity Cache。

Chips and Cheese還比較了英偉達和AMD較老的一些架構，總體而言都在不斷改善。不過AMD每一代架構都隨有一定程度的降低，相對來說更明顯。