在活動家和家長的監督下，OpenAI 組建了一個新團隊，研究如何防止其人工智慧工具被兒童誤用或濫用。 OpenAI 在其職業頁面上發布了一條新的招聘信息，披露了一個兒童安全團隊的存在，該團隊與OpenAI 內部的平台政策、法律和調查小組以及外部合作夥伴合作，管理與未成年用戶相關的”流程、事件和審查”。

該團隊目前正在招募一名兒童安全執行專家，負責在人工智慧生成的內容中應用OpenAI 的政策，並制定與”敏感”（可能與兒童有關）內容相關的審查流程。

具有一定規模的科技廠商都會投入相當多的資源來遵守《美國兒童在線隱私保護規則》（Children’s Online Privacy Protection Rule）等法律，這些法律規定了兒童可以訪問和不可以訪問的網絡內容，以及公司可以收集他們的哪些數據。因此，OpenAI 聘請兒童安全專家並不令人完全意外，尤其是如果該公司預計有一天會有大量未成年用戶的話。 (OpenAI目前的使用條款規定，13至18歲的兒童必須徵得父母同意，禁止13歲以下兒童使用）。

不過，在OpenAI宣布與常識媒體（Common Sense Media）合作制定兒童友善人工智慧指南並獲得首個教育客戶數週後，新團隊的成立也表明OpenAI 對觸犯未成年人使用人工智慧相關政策和負面新聞抱持著戒心。

越來越多的兒童和青少年不僅在課業上，還在個人問題上向GenAI 工具尋求幫助。根據美國民主與科技中心（Center for Democracy and Technology）的一項民意調查，29% 的孩子表示曾使用ChatGPT 解決焦慮或心理健康問題，22% 的孩子使用ChatGPT 解決與朋友的問題，16% 的孩子使用ChatGPT 解決家庭矛盾。

有些人認為這種風險越來越大。

去年夏天，由於擔心剽竊和錯誤訊息，有學校和學院急忙禁止ChatGPT。此後，一些學校和學院撤銷了禁令。但並非所有人都相信GenAI的潛在好處，英國安全互聯網中心（UK Safer Internet Centre）等機構的調查發現，超過一半的孩子（53%）表示曾見過同齡人以負面的方式使用GenAI–例如製造可信的假訊息或圖片來擾亂他人。

今年9 月，OpenAI 發布了課堂ChatGPT 文檔，其中包含提示和常見問題解答，為教育工作者將GenAI 用作教學工具提供指導。在其中一篇支援文章中，OpenAI 承認其工具，尤其是ChatGPT，”可能會產生不適合所有受眾或所有年齡段的輸出”，並建議”謹慎”接觸兒童–即使是那些符合年齡要求的兒童。

要求為兒童使用GenAI 制定指導方針的呼聲日益高漲。

聯合國教育、科學及文化組織（UNESCO）在去年年底推動各國政府規範GenAI 在教育領域的使用，包括對使用者實施年齡限制，並在資料保護和使用者隱私方面設置防護欄。聯合國教科文組織總幹事奧黛麗-阿祖萊（Audrey Azoulay）在一份新聞稿中說：「生成式人工智慧可以成為人類發展的巨大機遇，但也可能造成傷害和偏見。如果沒有公眾的參與以及政府必要的保障和監管，它就無法融入教育。”