在re:Invent大會上，AWS不僅宣布了SageMaker Studio機器學習集成開發環境，還推出了Inferentia芯片。去年首次宣布的該芯片，能夠加速機器學習的推理計算。在Inferentia芯片的加持下，研究者可較之前預先訓練過的模型帶來更明顯的提速、且更具成本效益。

（圖自：AWS）

AWS 首席執行官Andy Jassy 指出：許多企業都在模型訓練的定制芯片上投入了大量精力，儘管常規CPU 上已經能夠較好地執行推理運算，但定制芯片的效率明顯更高。

與EC4 上的常規G4 實例相比，Inferentia 能夠讓AWS 帶來更低的延時、三倍的吞吐量、且降低40% 單次的成本。

（截圖via AWS）

新的Inf1 實例，可實現高達2000 TOPS 的特性、與TensorFlow、PyTorch 和MXNet 集成、且支持可在框架之間遷移的ONNX 模型格式。

目前其僅可在EC2 計算服務中使用，但AWS 將很快為其引入對SageMaker 機器學習和其它容器服務的支持。