數字經濟的全面發展,使銀行迎來了前所未有的線上業務流量,這些流量一方面為疫情下的銀行業務發展帶來了動力,另一方面也對于銀行IT基礎架構帶來了沖擊。疫情更是讓銀行業務從常態、穩態的運行環境,切換到了更多敏態的環境中。銀行要全方位保障支付的流暢度和安全性,就要利用云計算、大數據、人工智能等技術,來實現銀行產品和服務的線上化、移動化。
當今,多家銀行機構已經將金融科技上升到了戰略層面,通過組織架構調整、建設數字化技術平臺等手段,來實現更加明確、清晰的數字化轉型目標。權威數據顯示,全球最具價值的前100家銀行中,70%以上已通過建設開放銀行平臺等模式投入場景生態建設浪潮。加快線上的,尤其是移動端的 “非接觸式”銀行業務,是各銀行的首要任務。
為了適配“非接觸式”銀行業務,解決對于敏態業務發展過程中業務形態、業務量的不可預知,在“2021騰訊數字生態大會上”上,騰訊云發布了TDSQL 新敏態引擎。
騰訊云TDSQL全自研新敏態引擎是什么?
騰訊云TDSQL全自研新敏態引擎支持無限擴展、模式在線變更,可以完美解決對于敏態業務發展過程中業務形態、業務量的不可預知性,適配金融敏態業務。
為什么需要做敏態存儲引擎?
銀行的敏態業務對底層基礎技術提出了具備敏態能力的要求。場景化、線上化意味著業務系統中的數據形態、訪問模式、計算邏輯等也將隨之變得更加敏捷、多樣化,對底層技術系統在靈活性與擴展性方面提出了全新的要求。敏態模式下業務形態不斷變化,后臺支撐應用的數據庫表結構也需要持續變更,這對傳統數據庫而言是非常龐大、繁重的工作。
騰訊云TDSQL全自研新敏態引擎如何支撐銀行敏態業務?
1、支持數據庫表結構持續變化,輕松支撐千萬級QPS流量
騰訊云TDSQL新敏態引擎實現了大量的Instant DDL,對于add column、修改varchar長度等常用DDL都通過只修改元數據來瞬間完成,不影響用戶請求。對于add index,change column,變更分區表等其他需要生成數據的DDL,也不會影響在線業務的讀寫請求,最大程度上保證schema的變更對業務無感知。在騰訊內部業務實踐中,TDSQL新敏態引擎支撐業務在保持高性能且連續服務的基礎上,一個月內完成了高達1000次表結構在線變更。
2、計算存儲分離,并可獨立擴展,滿足分布式事務的高并發、高性能、高擴展
TDSQL新敏態引擎計算節點和存儲節點完全解耦,這使得用戶可以根據業務進行不同層次的擴展:如果業務存儲量大,但是請求量并不大,就可以只擴容存儲節點;如果業務請求量很大且偏分析性,則可以只擴容計算節點。
TDSQL新敏態引擎通過將分布式事務的協調者下沉到存儲層,實現了計算層節點完全無狀態,可以隨時隨地任意新增或減少節點。
TDSQL新敏態引擎在存儲節點對數據進行range分區時,每個分區的數據保持在一個閾值以下,當檢測到出現數據容量瓶頸或者熱點現象,就自動將分區數據搬遷到空閑節點上,無需人工介入就實現了靈活彈性擴容。
同時,TDSQL新敏態引擎在分布式事務使用了異步提交技術,減少了分布式事務的時耗,同時還提供數據分布控制的能力,在對性能要求較高的場景下,可以實現將分布式事務優化成一階段事務,杜絕分布式事務兩階段提交帶來的消耗。
TDSQL新敏態引擎的吞吐量可以隨著計算節點和存儲節點而線性擴展,單實例可以達到千萬級QPS。
3、極致的數據強一致性
數據一致性是金融級數據庫的基石。
在多副本一致性方面,TDSQL新敏態引擎存儲節點采用RAFT協議來保證副本一致性。當出現網絡分區時,多數派的分區可以繼續提供服務,而分區的另一邊的節點在網絡分區消失時,會自動補齊與多數派節點之間的數據差異,以確保金融業務的副本之間的強一致性。
在事務一致性方面,TDSQL新敏態引擎采用自研的分布式事務并發控制算法實現事務的原子性和隔離性,為業務的數據安全保駕護航。
4、數據形態自動感知,數據庫全域智能化自適應調度
騰訊云TDSQL 數據庫的計算引擎提供了原創的 SQL 語法接口,提供給用戶自定義數據的形態規則,例如表副本數,地理位置分布偏好,分區策略等等。TDSQL 新敏態引擎的管控模塊根據用戶自定義的規則,結合數據庫層面的數據對象語義,將具有訪問親和性的數據關聯在一起,大幅降低了分布式環境下 RPC 網絡請求的數量,將大量兩階段事務優化為一階段本地事務,顯著提升了常見高時耗場景下的響應性能,如回表、join查詢、批量二級索引更新等等。此外,管控模塊還會根據不同數據對象的訪問熱度、關聯模型等因素,自適應地對數據對象進行分裂、合并、遷移、切主等操作,從而實現分布式存儲集群中的負載均衡和自適應調度。
騰訊云TDSQL全自研新敏態引擎給客戶帶來的價值是什么?
TDSQL新敏態引擎支持業務無感知,計算資源和存儲資源的獨立彈性擴縮容,集群運維操作一鍵完成,全過程無須人工干預,可以靈活地根據當前業務場景的流量壓力調整資源規模。同時,TDSQL新敏態引擎“全域智能化自適應調度”技術,在存儲層通過數據形態相關性自動感知,生成數據親和性策略,可以使得數據能夠根據業務負載情況在分布式系統架構中自動遷移,打散熱點,降低分布式系統中分布式事務的數量,實現極高的擴展性和性能提升。這給用戶帶來的最大價值就是,可以讓業務敏捷應對各類型需求變化的場景。
歷經打磨,TDSQL產品家族盡顯企業服務優勢
TDSQL產品家族是騰訊企業級分布式關系型數據庫品牌,除了TDSQL新敏態引擎,TDSQL系列還有金融級分布式數據庫TDSQL、云原生數據庫TDSQL-C、分析型數據庫TDSQL-A等多引擎能力。此外,TDSQL還提供完善的服務工具,包括多源同步遷移工具DBbridge、智能運維平臺DBbrain等。
TDSQL產品系列經過了騰訊集團以及騰訊云上金融、社交、電商、物聯網、政務、公益、工業制造等各行各業海量客戶場景的實際打磨驗證,具有在實際場景中領先的金融級全局一致性、99.999%自動容災切換的高可用性、高可靠性,以及彈性擴展、高性能能力。
在前不久騰訊發布的Q3財報中顯示:“騰訊云數據庫TDSQL已被3000多家來自金融、公共服務和電信垂直行業的客戶采用,中國十大銀行中的六家都應用了該產品。TDSQL在不同金融機構核心系統中的滲透率明顯提升,顯示了騰訊在數據安全性、可靠性和一致性方面的能力。”
除了銀行金融場景,騰訊云數據庫TDSQL在政務、電信運營商等行業場景中也實現了突破。未來,騰訊云將繼續助力IT基礎設施從傳統架構向分布式架構演進,加速全行業的數字化轉型。
原文地址:https://cloud.51cto.com/art/202112/694425.htm