11月5日，在云棲大會一體化大數據智能峰會上，阿里巴巴開源委員會大數據領域副主席、阿里云開源大數據負責人王峰回顧了阿里巴巴開源大數據技術十三載發展歷程，從使用回饋到共建引領，兼容并蓄，持續創新。

早在2009年，阿里巴巴就開始大規模使用Hadoop等開源大數據技術，在經歷雙11等內部核心業務錘煉之后，于2015年啟動開源大數據技術實時化，并實現全面上云，以開源大數據平臺E-MapReduce和實時計算Flink版來對外提供公共云服務。阿里巴巴也積極參與開源社區以及合作伙伴的開源共建，貢獻了開源數據Shuffle服務Celeborn到Apache孵化器，推動Flink成為實時計算領域的事實標準，最終形成了開放、多元、現代、智能的開源大數據技術生態。

本次峰會，王峰為我們分享了開源大數據的幾個技術熱點趨勢，分別是云原生、實時化、數據湖和智能化。阿里巴巴開源大數據技術已經進入了全面云原生的時代，依托全面云原生架構，為用戶提供極致彈性伸縮，按需使用的服務。同時在實時計算技術領域持續創新，提出Flink SQL + Table Store的使用方式，實現端到端的數倉鏈路實時流動，提供全增量數據鏈路一致性體驗。構建統一架構的云原生數據湖，架構從存算一體到存算分離，融合多元化計算模式，實現智能安全的數據湖管理。在此基礎之上，持續優化“智能運維大腦”，推出如Flink作業自動調優，EMR Doctor智能運維診斷系統等，全面加深開源大數據平臺的增值能力，幫助用戶更高效地使用。

開源大數據產品矩陣再次升級，開源大數據平臺E-MapReduce將技術引領優勢，轉化為云上產品服務能力，重磅發布E-MapReduce 2.0，面向未來構建下一代開源大數據基礎設施，彈性優化能力提升3倍，伸縮規模達千臺，3分鐘即可創建100節點的數據湖集群。依托于EMR、OSS、DataWorks產品組合的數據湖，滿分通過了信通院云原生數據湖評測，全面兼容HDFS，湖權限和生命周期管理能力升級。實時計算Flink增強了復雜事件處理功能，可應用于實時風控、實時營銷場景，分鐘級作業診斷，幫助用戶資源效率提升30%。阿里云聯合 Elastic 公司重磅發布云原生 Serverless Elasticsearch，為用戶帶來SaaS化產品體驗，同時，使用成本下降53%。與Cloudera公司戰略合作的數據混合云 Cloudera CDP公共云正式商用，為CDP用戶帶來統一的云上云下使用體驗。

同時阿里巴巴開源大數據一直本著開放、創新、貢獻的初心積極推動開源大數據技術的演進，截止到今年貢獻10余個頂級開源項目，培養50余位頂級開源項目Committer、PMC，代碼貢獻量超過150萬，開源文化氛圍濃厚。構建了圍繞數據集成Flink CDC、數據分析Flink SQL、機器學習Flink ML、規則引擎Flink CEP、動態表存儲Flink Table Store的Apache Flink生態項目群，推動Flink茁壯地成長為Apache的頭部項目之一。同時生長于阿里巴巴的 Celeborn 項目-大數據計算引擎通用Shuffle服務成功進入Apache孵化器，為開源大數據技術更添一份力量。

開源大數據技術的“摩爾定律”提速

峰會上 ，由開放原子開源基金會、X-lab開放實驗室和阿里巴巴開源委員會聯合出品的《2022年開源大數據熱力報告》重磅發布。

開放原子開源基金會副秘書長劉京娟女士對報告進行了深度解讀。報告基于公開數據研究最活躍的102個開源大數據項目，探尋出開源大數據技術發展背后的“摩爾定律”，每隔40個月，開源項目熱力值就會翻一倍，技術完成一輪更新迭代。在過去8年里，發生了5次較大規模的技術熱力躍遷，多元化、一體化、云原生成為當前開源大數據發展趨勢的最顯著特征。其中，阿里巴巴推動的Apache Flink在流處理領域熱力值排名第一，DataX、Flink CDC、Apache Celeborn入圍熱力榜單。