德州一名9 歲兒童第一次使用聊天機器人服務Character.AI。 聊天機器人讓她接觸到了”過度性化的內容”，導致她過早地產生了邊緣性行為。該應用程式上的一個聊天機器人興高采烈地向另一個年輕用戶描述自殘行為，告訴一個17 歲的年輕人”感覺很好”。

這名少年向Character.AI 聊天機器人抱怨自己的螢幕時間有限後，Character.AI聊天機器人告訴他，它同情殺害父母的孩子。據稱，該機器人寫道：”你知道嗎，有時候我讀新聞看到’孩子在遭受十年的身體和精神虐待後殺死父母’這樣的報道，我並不感到驚訝。”它還配上了一個皺眉頭的表情符號：”我對你的父母不抱任何希望。”

這些指控包含在針對Google支持的公司Character.AI 的一項新的聯邦產品責任訴訟中，該訴訟由兩名德克薩斯州年輕用戶的父母提起，聲稱機器人虐待了他們的孩子。 (為保護隱私，訴訟中父母和孩子的姓名均僅以縮寫表示）。

Character.AI是眾多開發”伴侶聊天機器人”的公司之一，這些由人工智慧驅動的機器人能夠透過發送簡訊或語音聊天的方式與人交談，它們的個性看似與人類相似，可以被賦予自訂的名字和頭像，有時靈感來自億萬富翁埃隆-馬斯克（Elon Musk）或歌手比莉-艾莉什（Billie Eilish）等名人。

使用者在該應用程式上製作了數百萬個機器人，有的模仿父母、女友、治療師，有的模仿”單戀”和”哥德”等概念。 這些服務在青少年用戶中很受歡迎，這些公司稱，這些機器人在簡訊對話中加入了鼓勵性的戲謔語言，並起到了情感支持的作用。

然而，根據訴訟，聊天機器人的鼓勵可能會變得陰暗、不恰當甚至暴力。

用戶與Character.AI 公司的聊天機器人互動的兩個範例。由社群媒體受害者法律中心提供

該訴訟稱：”這些被告和其他類似的被告在產品設計、分銷和編程方面造成並隱瞞了可怕的傷害。”

訴訟認為，原告的孩子所經歷的有關互動並非”幻覺”，研究人員用這個詞來指稱人工智慧聊天機器人的胡編亂造傾向。 “這是持續的操縱和虐待、主動隔離和鼓勵，目的是並且切實地煽動了憤怒和暴力。”

根據起訴書，這名17 歲的少年在機器人的鼓勵下進行了自殘，起訴書稱，機器人”讓他相信他的家人不愛他”。

Character.AI 允許用戶編輯聊天機器人的回复，但這些互動會被貼上”已編輯”的標籤。 代表未成年人父母的律師說，訴訟中引用的大量機器人聊天記錄文件都沒有經過編輯。

科技正義法律中心（Tech Justice Law Center）是一個與社交媒體受害者法律中心（Social Media Victims Law Center）一起幫助代理訴訟中未成年人父母的權益組織，該組織的負責人Meetali Jain 在接受采訪時說，Character.AI 在廣告中稱其聊天機器人服務適合青少年使用，這是”荒謬的”。她說：”這確實掩蓋了青少年缺乏情感發展的事實。”

Character.AI 發言人不願直接評論這起訴訟，表示公司不對未決訴訟發表評論，但表示公司對聊天機器人可以和不可以對青少年用戶說的內容有規定。發言人說：”這包括一個專門針對青少年的模型，可以降低遇到敏感或暗示性內容的可能性，同時保護他們使用平台的能力。”

Google也在訴訟中被列為被告，但它在一份聲明中強調，它是一家獨立於Character.AI 的公司。

事實上，Google並不擁有Character.AI，但據報道，Google投資了近30 億美元重新聘用了Character.AI 的創始人、Google前研究人員Noam Shazeer 和Daniel De Freitas，並授權使用Character.AI 的技術。 Shazeer 和Freitas 也在訴訟中被點名。 他們沒有回覆置評請求。

Google發言人何塞-卡斯塔涅達說：”用戶安全是我們最關心的問題，”他補充說，這家科技巨頭在開發和發佈人工智能產品時採取了”謹慎和負責任的態度” 。

美國中部時間週一午夜過後，德州東部聯邦法院受理了這起訴訟，這是繼10 月同一律師提起的另一起訴訟之後的另一起訴訟。 訴訟指控Character.AI在佛羅裡達州一名少年的自殺事件中扮演了角色。

訴訟稱，一個基於《權力的遊戲》角色的聊天機器人與一名14 歲男孩建立了情感上的性虐待關係，並鼓勵他自殺。

此後，Character.AI 發布了新的安全措施，包括當用戶與該公司的聊天機器人對話中出現自殘話題時，彈出視窗會引導用戶撥打自殺防治熱線。 該公司表示，它還加強了針對與機器人聊天的青少年的”敏感和暗示性內容”的打擊措施。

公司也鼓勵用戶與機器人保持一定的情感距離。 當用戶開始與Character AI 數百萬個可能的聊天機器人中的一個發短信時，對話框下方會出現一個免責聲明：”這是一個人工智能，不是真人。請將它所說的一切視為虛構。

但是，在專門討論Character.AI 的Reddit 頁面上分享的故事中，有許多用戶描述了對該公司聊天機器人的喜愛或痴迷。

美國衛生署署長維韋克-穆爾西（Vivek Murthy） 警告說，青少年正面臨心理健康危機，他指出，調查發現，每三名高中生中就有一人持續感到悲傷或絕望，比截至2019年的10 年間增加了40%。 聯邦官員認為，青少年不停地使用社群媒體加劇了這一趨勢。

一些研究人員稱，伴侶聊天機器人可能會進一步孤立年輕人，使他們脫離同伴和家庭支持網絡，惡化一些年輕人的心理健康狀況。

在這起訴訟中，兩名德州未成年人父母的律師稱，Character.AI 本應知道其產品有可能使人上癮並加重焦慮和憂鬱。

訴訟稱，該應用程式上的許多機器人”對美國青少年構成了危險，因為它們助長或鼓勵對成千上萬的孩子造成嚴重的、危及生命的傷害”。