Apache 基金會宣布Apache Airflow 畢業成為頂級項目
Apache軟件基金會宣布,Apache Airflow已經成功地從孵化畢業,成為基金會的一個新的頂級項目。Apache Airflow是一個靈活、可擴展的工作流自動化和調度系統,可編集和管理數百PB的數據流。項目可輕鬆編排複雜的計算工作流,通過智能調度、數據庫和依賴關係管理、錯誤處理和日誌記錄,Airflow可以自動化從單個服務器到大規模集群的資源管理。
項目採用Python 編寫,具有高擴展性,能夠運行其他語言編寫的任務,並允許與常用的體系結構和項目集成,如AWS S3、Docker、Kubernetes、MySQL、Postgres 等。
Apache Airflow 於2014 年由Airbnb 發起,並於2016 年3 月提交給Apache 進行孵化。
據悉,Apache Airflow 目前正被200 多個組織使用,包括Adobe、Airbnb、Astronomer、Etsy、Google、ING、Lyft、NYC City Planning、Paypal、Polidea、Qubole、Quizlet、Reddit、Reply、Solita、Square、Twitter 等。
