加州提出的一項新法案（SB 243）將要求人工智慧公司定期提醒孩子們聊天機器人是人工智慧而非人類。 該法案由加州參議員史蒂夫-帕迪拉（Steve Padilla）提出，旨在保護兒童免受人工智慧的”成癮性、孤立性和影響性”。

除了限制公司使用”成癮性參與模式”外，該法案還要求人工智慧公司向州衛生保健服務部提供年度報告，概述公司發現使用該平台的兒童有自殺傾向的次數，以及聊天機器人提出該話題的次數。 它還會讓公司告訴用戶，他們的聊天機器人可能不適合某些孩子。

去年，一位家長對Character.AI 提起了過失致死訴訟，稱其定制的人工智慧聊天機器人”不合理地危險”，因為她的孩子在不斷與這些機器人聊天後自殺身亡。 另一起訴訟指控該公司向青少年發送”有害訊息”。 Character.AI 隨後宣布正在開發家長控制，並為青少年用戶開發了一個新的AI 模型，該模型將阻止”敏感或暗示性”輸出。

帕迪拉參議員在新聞稿中說：”我們的孩子不是科技公司以他們的心理健康為代價進行實驗的小白鼠。我們需要為聊天機器人用戶提供常識性保護，以防止開發者採用他們明知會上癮和具有掠奪性的策略。

隨著州和聯邦政府加倍重視社群媒體平台的安全性，人工智慧聊天機器人可能很快就會成為立法者的下一個目標。