李佳

Flink CDC是基于數(shù)據(jù)庫(kù)的日志CDC技術(shù)，實(shí)現(xiàn)了全增量一體化讀取的數(shù)據(jù)集成框架。配合Flink優(yōu)秀的管道能力和豐富的上下游生態(tài)，F(xiàn)link CDC可以高效實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)集成。

作為新一代的實(shí)時(shí)數(shù)據(jù)集成框架，F(xiàn)link CDC具有全增量一體化、無(wú)鎖讀取、并行讀取、表結(jié)構(gòu)變更自動(dòng)同步、分布式架構(gòu)等技術(shù)優(yōu)勢(shì)，同時(shí)社區(qū)提供了完整的文檔支持。在Flink CDC開(kāi)源的2年多時(shí)間里，社區(qū)成長(zhǎng)迅速，目前Flink CDC社區(qū)已有76位貢獻(xiàn)者，7位Maintainer，社區(qū)釘釘用戶(hù)群超過(guò)7 800人。2.3版本共有49位社區(qū)貢獻(xiàn)者參與貢獻(xiàn)，累計(jì)解決126個(gè)issue，合并了133個(gè)PR，累計(jì)貢獻(xiàn)了170余個(gè)提交。從代碼分布上看，MySQL CDC，MongoDB CDC，Oracle CDC和增量快照框架（flink-cdc-base）模塊以及文檔模塊均為用戶(hù)帶來(lái)了很多特性和改進(jìn)。Flink CDC 2.3版本帶來(lái)了諸多重要的改進(jìn)和特性，這里挑選最重要的4個(gè)進(jìn)行深入解讀。

新增Db2 CDC連接器

Db2是IBM開(kāi)發(fā)的關(guān)系型數(shù)據(jù)庫(kù)。Db2 CDC連接器可以捕獲Db2數(shù)據(jù)庫(kù)中表的行級(jí)變更，其實(shí)現(xiàn)原理是基于ASN Capture/Apply agents提供的SQL復(fù)制能力，將數(shù)據(jù)庫(kù)中開(kāi)啟capture mode的表的變更存到指定的change table中。Db2 CDC連接器首先通過(guò)JDBC讀取表中的歷史數(shù)據(jù)，再?gòu)腸hange table中獲取增量變更數(shù)據(jù)，從而實(shí)現(xiàn)全增量同步。

MongoDB CDC，Oracle CDC連接器支持增量快照算法

在Flink CDC 2.3版本中，MongoDB CDC連接器和Oracle CDC連接器都對(duì)接到了Flink CDC增量快照框架上，實(shí)現(xiàn)了增量快照算法，從而提供無(wú)鎖讀取、并行讀取和斷點(diǎn)續(xù)傳的功能。至此，F(xiàn)link CDC支持增量快照算法的數(shù)據(jù)源不斷擴(kuò)大，在接下來(lái)的版本中，社區(qū)也在規(guī)劃讓更多的連接器對(duì)接到增量快照框架上。

MySQL CDC連接器優(yōu)化

作為社區(qū)最受用戶(hù)關(guān)注的MySQL CDC連接器，2.3版本中社區(qū)引入了諸多高級(jí)特性，極大地提升了性能和穩(wěn)定性，具體包括：

支持指定位點(diǎn)啟動(dòng)

MySQL CDC連接器支持從指定的位點(diǎn)啟動(dòng)作業(yè)?？梢酝ㄟ^(guò)Timestamp、Binlog Offset或Binlog Gtid的方式指定作業(yè)啟動(dòng)時(shí)的Binlog具體位置，還支持設(shè)置為Earliest-Offset從最早的Binlog位點(diǎn)啟動(dòng)作業(yè)。

分片算法優(yōu)化

版本對(duì)全量階段分片算法進(jìn)行優(yōu)化。將目前的同步分片改為異步進(jìn)行，支持用戶(hù)指定主鍵中某一列作為分片的切分列，并且分片過(guò)程支持checkpoint，提升了全量讀取階段時(shí)因?yàn)橥椒制枞麑?dǎo)致的性能問(wèn)題。

穩(wěn)定性提升

MySQL CDC連接器支持全部字符集對(duì)接到Flink SQL，解鎖更多用戶(hù)場(chǎng)景，支持寬容默認(rèn)值提升作業(yè)對(duì)不規(guī)范DDL的容忍度，支持自動(dòng)獲取數(shù)據(jù)庫(kù)的時(shí)區(qū)從而解決時(shí)區(qū)問(wèn)題。

性能提升

MySQL CDC重點(diǎn)優(yōu)化了內(nèi)存和讀取性能，通過(guò)JM里的meta復(fù)用和TM中流式讀取等改進(jìn)降低了JM和TM的內(nèi)存使用；同時(shí)通過(guò)優(yōu)化Binlog解析邏輯提升了Binlog讀取性能。

其他改進(jìn)

FlinkCDC 2.3版本兼容了Flink 1.13，1.14，1.15，1.16四個(gè)大版本，極大地降低用戶(hù)Connector的升級(jí)和運(yùn)維成本。

OceanBaseCDC修復(fù)了時(shí)區(qū)問(wèn)題，支持全類(lèi)型對(duì)接到Flink SQL，并提供了更多的配置項(xiàng)，支持更靈活的配置。如新增加table-list配置項(xiàng)，支持訪(fǎng)問(wèn)多張OceanBase數(shù)據(jù)表等。

MongoDBCDC支持了更多的數(shù)據(jù)類(lèi)型，優(yōu)化了捕獲表的篩選過(guò)程。

TiDB CDC修復(fù)了全增量切換時(shí)數(shù)據(jù)丟失問(wèn)題，支持讀取時(shí)region切換。

PostgresCDC支持geometry類(lèi)型，開(kāi)放了更多配置項(xiàng)，支持配置changelogmode來(lái)過(guò)濾發(fā)送的數(shù)據(jù)。

SqlServer CDC支持了更多的版本，并對(duì)文檔進(jìn)行完善。

MySQL CDC和OceanBase CDC連接器提供了中文文檔，此外還對(duì)OceanBase CDC連接器提供了視頻教程。

未來(lái)規(guī)劃

Flink CDC開(kāi)源社區(qū)的發(fā)展，得益于貢獻(xiàn)者們的無(wú)私貢獻(xiàn)和Maintainer成員的開(kāi)源布道，更離不開(kāi)廣大Flink CDC用戶(hù)群體的積極反饋和宣傳布道，F(xiàn)link CDC社區(qū)將會(huì)繼續(xù)做好開(kāi)源社區(qū)建設(shè)。當(dāng)前Flink CDC社區(qū)正在做2.4版本的規(guī)劃，也歡迎所有用戶(hù)和貢獻(xiàn)者參與反饋，在接下來(lái)的2.4版本，社區(qū)主要方向計(jì)劃從下述4個(gè)方面展開(kāi)：

數(shù)據(jù)源完善

支持更多的數(shù)據(jù)源，推動(dòng)更多的CDC連接器接入增量快照框架，支持無(wú)鎖讀取、并發(fā)讀取、斷點(diǎn)續(xù)傳等特性。

性能提升

支持使用Batch模式同步全量階段數(shù)據(jù)，提升全量階段性能；全量讀取階段結(jié)束后自動(dòng)釋放空閑Reader資源等。

可觀測(cè)性提升

提供限流功能，以降低全量階段對(duì)數(shù)據(jù)庫(kù)產(chǎn)生的查詢(xún)壓力；提供更豐富的監(jiān)控指標(biāo)，可以獲取到任務(wù)進(jìn)度相關(guān)指標(biāo)監(jiān)控任務(wù)狀態(tài)。

易用性提升

提升連接器的易用性，比如簡(jiǎn)化開(kāi)箱即用的配置參數(shù)，提供Datastream API程序示例等。