今天，史丹佛HAI 發布了其基礎模型透明度指數，該指數追蹤10 個最受歡迎的人工智慧模型的創建者是否披露有關其工作以及人們如何使用其係統的資訊。在其測試的模型中，Meta 的Llama 2 得分最高，其次是BloomZ，然後是OpenAI 的GPT-4。但事實證明，他們都沒有得到特別高的分數。

其他評估的模型包括Stability 的Stable Diffusion、Anthropic 的Claude、Google 的PaLM 2、Cohere 的Command、AI21 Labs 的Jurassic 2、Inflection 的Inflection-1 和Amazon 的Titan。研究人員承認，透明度可以是一個相當廣泛的概念。他們的定義基於100 個指標，這些指標提供有關模型如何建構、模型如何運作以及人們如何使用模型的資訊。他們解析了有關該模型的公開信息，並給每個人打分，指出這些公司是否披露了合作夥伴和第三方開發商，是否告訴客戶他們的模型是否使用了私人信息，以及一系列其他問題。隨著該公司發布了對模型創建的研究，Meta 得分為53%，在模型基礎上得分最高。開源模型BloomZ 緊隨其後，獲得了50% 的支持，GPT-4 獲得了47% 的支持——儘管OpenAI 的設計方法相對鎖定，但它與穩定擴散並列。OpenAI 拒絕公佈其大部分研究成果，也沒有透露資料來源，但GPT-4 卻成功排名靠前，因為有大量有關其合作夥伴的可用資訊。OpenAI 與許多不同的公司合作，將GPT-4 整合到他們的產品中，產生了大量可供查看的公開細節。然而，史丹佛大學的研究人員發現，這些模型的創建者都沒有透露任何有關社會影響的信息，包括向何處提出隱私、版權或偏見投訴。史丹佛大學基礎模型研究中心的學會負責人、該指數的研究人員之一Rishi Bommasani 表示，該指數的目標是為政府和公司提供基準。一些擬議的法規，例如歐盟的人工智慧法案，可能很快就會迫使大型基礎模型的開發商提供透明度報告。「我們試圖透過該指數實現的目標是使模型更加透明，並將非常不明確的概念分解為可以測量的更具體的事物，」博馬薩尼說。該小組專注於每個公司的一種模型，以便更容易進行比較。生成式人工智慧擁有一個龐大而活躍的開源社區，但該領域的一些最大的公司並沒有公開分享研究成果或他們的程式碼。儘管OpenAI 的名稱中有「開放」一詞，但它以競爭和安全問題為由，不再分發其研究成果。Bommasani 表示，該組織對擴大該指數的範圍持開放態度，但同時，將堅持使用已評估的10 個基礎模型。