微軟申請DeepSpeed商標考慮為雲服務提供深度學習優化庫
微軟已經為深度學習優化庫DeepSpeed 申請了商標保護。該商標於2020年12月8日提交,其中提到“為人工智能處理和深度學習提供臨時使用的在線不可下載的計算機軟件”,這表明微軟可能在考慮通過在線雲服務提供DeepSpeed。
該庫於今年2 月發布,可以在適度的硬件上訓練大規模的人工智能模型。它只需要使用800 塊Nvidia V100 顯卡就可以創建具有萬億參數的深度學習模型,是目前世界上最大的模型的5 倍多。如果沒有DeepSpeed,同樣的任務需要4000 塊Nvidia A100(性能比V100 快2.5倍),而且事件縮短了100 多天。
在GPT-3 顯示模型在神經網和數據集越大的情況下繼續改進後,這個工具特別有用。然而,這確實有可能將最新的創新推到資源較少的小型團隊的範圍之外,但DeepSpeed已經允許這些團隊以最小的硬件與更大的服務競爭。轉移到雲處理可能會使大型模型AI訓練更容易獲得。