Python 之父考慮重構Python 解釋器
7月22日,Python之父Guido在Medium上發表了他的第一篇博文《PEG Parser》。在該文中,Guido說他正在考慮使用PEG Parser代替現有的類LL(1) Parser(名為pgen),來重構Python解釋器。原因是現在的pgen限制了Python語法的自由度,使得一些語法難以實現,也讓當前的語法樹不夠整潔,一定程度上影響了語法樹的表意,不能最好地體現設計者的意圖。
那PEG Parser 和現有的LL(1) Parser 有什麼區別呢?可以這樣簡單地理解,PEG 語法解釋器在解析語法的時候,會一次性加載全部代碼,所以解釋器可以根據任意位置的符號來判斷語法的語義。而目前的LL(1) Parse 解析語法的時候只會向前檢測一個符號,來猜測語義,導致部分語法有二義性的表現,進而限制了Python語言的語法定義方式。當然,一次性加載全部代碼,也意味著PEG Parser 需要更大的內存來運行。
說當前解釋器限制了Python 的語法實現,很多同學可能沒有明顯的感受,所以Guido 又舉了一個例子:在Python3.8 之前,下面這段代碼都是可以正常運行的,而不像大家直觀感受的第二行代碼應該報錯。
這就是Python 解釋器處理不了帶來的後遺症。這也導致Python 團隊不得不在代碼裡增加一些不受歡迎的“特例”來處理這些邊緣情況。
Guido 說,Python 剛出現的時候,內存還很貴,使用LL(1) Parser 是非常合理的。不過在現在這個內存以G 為單位的時代,解釋器多增加幾百k甚至上兆的內存消耗,已經根本不算什麼了。所以是時候使用更理想的PEG Parser 來重構Python 解釋器了。
最後,也是大家最關心的問題,這個重構會對Python 語言的開發者造成什麼影響呢?Guido 說,應該是沒有影響的,底層重構不會影響Python 的語法。
看來,不管是多麼成功的項目,也存在著因為時代的限製而遺留的一些令人不快的問題,完美的設計和實現,從來不是一蹴而就的呀~
英文原文地址:https://medium.com/@gvanrossum_83706/peg-parsers-7ed72462f97c
文/ Python部落