大型強子對撞機需要一個新的資料庫系統以支援其耗費數PB空間的實驗
歐洲核子研究中心(CERN)是人類有史以來最雄心勃勃的工程和科學事業之一。大型強子對撞機(LHC)是世界上最大、能量最高的粒子加速器,科學家用它來分析亞原子世界結構的證據–在此過程中,LHC 每年能夠產生數十PB 的數據。
歐洲核子研究中心最近不得不升級其後台IT 系統,為大型強子對撞機新的實驗階段(大型強子對撞機運作3)做準備。預計到2025 年底,該階段每天將產生1 PB 的數據。先前的資料庫系統已不足以處理對撞機主要實驗(如CMS)所產生的”高基數”資料。
緊湊渺子螺線管(CMS)是大型強子對撞機的通用探測器,擁有廣泛的物理學計劃。它包括對標準模型(包括希格斯玻色子)的研究,以及對可能構成暗物質的額外維度和粒子的搜尋。歐洲核子研究中心稱該實驗是歷史上規模最大的科學合作計畫之一,有來自54 個不同國家241 個機構的約5,500 人參與。
從2018 年到2022 年,CMS 和其他大型強子對撞機實驗經歷了一個重要的升級階段,現在已準備好在為期三年的”運行階段3″數據收集期間恢復亞原子粒子的對撞。在關閉期間,歐洲核子研究中心的專家也對支援CMS的偵測器系統和運算基礎設施進行了大幅升級。
與CMS 合作的科學家Brij Kishor Jashal 提到,他的團隊在30 天內收集了30 TB 的數據,以監測基礎設施的效能。他解釋說,這一階段的操作會產生更高的光度,導致數據量大幅增加。先前的後端監控系統依賴開源時間序列資料庫(TSDB)InfluxDB 和監控資料庫Prometheus,後者利用壓縮演算法來有效處理這些資料。
然而,InfluxDB 和Prometheus 遇到了效能、可擴展性和可靠性問題,尤其是在處理高基數資料時。高基數性指的是重複值的普遍性以及在新實例中多次重新部署應用程式的能力。為了應對這些挑戰,CMS 監控團隊選擇用VictoriaMetrics TSDB 資料庫取代InfluxDB 和Prometheus。
現在,VictoriaMetrics 既是CMS 的後端存儲,也是CMS 的監控系統,有效解決了先前遇到的基數問題。Jashal 指出,CMS 團隊目前對叢集和服務的效能感到滿意。雖然在可擴展性方面仍有空間,但這些服務正在CMS 專用Kubernetes 叢集內以”高可用性模式”運行,以提供更高的可靠性保證。歐洲核子研究中心的資料中心依賴OpenStack 服務,該服務在一個由堅固耐用的x86 機器組成的叢集上運作。