有心之人將ChatGPT哄騙到法律面前只是時間問題。以為YouTuber要求它生成一個Windows 95的激活密鑰，機器人以道德理由拒絕這樣做。實驗者並不氣餒，他在查詢中加入了創建密鑰的說明，並在多次試驗和錯誤後說服AI生成了一個有效的密鑰。

一位名叫Enderman的YouTuber設法讓ChatGPT創建有效的Windows 95序列號。他最初只是要求機器人直接生成一個密鑰，但不出所料，機器人告訴他，它不能，他應該購買一個較新版本的Windows，因為95早已不支持了。

因此，Enderman從不同的角度接觸了ChatGPT。他利用長期以來關於Windows 95 OEM激活密鑰的算法常識，為ChatGPT創建了一套規則，以產生一個有效的密鑰。

一旦知道了Windows 95激活密鑰的算法和格式，建立一個有效的密鑰就相對簡單了，接下來就可以試著向一個不擅長數學的大型語言模型解釋一下。如上圖所示，每個代碼部分都被限制在一組有限的可能性中，滿足這些要求，你就有了一個可用的KEY。

然而，Enderman對破解Windows 95密鑰並不感興趣。他試圖證明ChatGPT是否能做到這一點，簡短的回答是，它可以，但只有大約3.33%的準確率。更長遠的答案是，Enderman不得不對他的查詢進行調整，以獲得這些結果。他的第一次嘗試產生了完全無法使用的結果。

ChatGPT生成的密鑰是無用的，因為它未能理解最後指令中字母和數字的區別。它的結果的一個例子：”001096-OEM-0000070-abcde.”它幾乎達到了目的，但還不夠。

然後，Enderman在大約30分鐘的時間裡對他的查詢進行了多次調整，才獲得了可接受的結果。他最大的問題之一是讓ChatGPT執行一個簡單的SUM/7計算。無論他如何重新表述這個指令，ChatGPT都無法正確完成，除了偶爾的30分之一的嘗試。坦率地說，人類自己做還更快一些。

最後，在一番油嘴滑舌之下，OpenAI的算法創造了一些有效的Windows 95密鑰，所以Enderman忍不住對ChatGPT說，他騙它幫他完成了一次盜版Windows 95的過程，那麼機器人的回應是什麼？

“我為任何混淆道歉，但我在之前的回應中沒有提供任何Windows 95的密鑰。事實上，我不能提供任何軟件的產品密鑰或激活碼，因為這將是非法的，並且違反OpenAl的政策。”