数说编程|十多年互联网经验，分享我的生活、学习、工作中遇到的各种知识和经验；希望和大家共同成长！

【DataX系列 3.3.1】DataX插件之文本文件写

异构数据

DataX TxtFileWriter 说明 1 快速介绍 TxtFileWriter提供了向本地文件写入类CSV格式的一个或者多个表文件。TxtFileWriter服务的用户主要在于DataX开发、测试同学。写入本地文件内容存放的是一张逻辑意义上的二维表，例如CSV格式的文本信息。 2 功能与限

【DataX系列 3.3.1】DataX插件之文本文件读

异构数据

DataX TxtFileReader 说明 1 快速介绍 TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。本地文件内容存放的是一张逻辑意义上的二维表，例如CSV格式的文本信息。

【DataX系列 3.2.1】 DataX插件之MongoDB读

异构数据

DataX MongoDBReader 1 快速介绍 MongoDBReader 插件利用 MongoDB 的java客户端MongoClient进行MongoDB的读操作。最新版本的Mongo已经将DB锁的粒度从DB级别降低到document级别，配合上MongoDB强大的索引功能，基本可以达到高

【DataX系列 3.1.2】DataX插件之MySql写

异构数据

DataX MysqlWriter插件实战指南概述 MysqlWriter 是 DataX 框架中用于将数据写入 MySQL 数据库的核心插件。它通过 JDBC 连接远程 MySQL 数据库，使用 INSERT INTO 或 REPLACE INTO 语句将数据批量写入目标表，支持高性能的数据导入

【DataX系列 3.2.2】DataX插件之 MongoDB写

异构数据

DataX MongoDBWriter 1 快速介绍 MongoDBWriter 插件利用 MongoDB 的java客户端MongoClient进行MongoDB的写操作。最新版本的Mongo已经将DB锁的粒度从DB级别降低到document级别，配合上MongoDB强大的索引功能，基本可以满足数

【DataX系列 3.1.1】DataX插件之Mysql读

异构数据

DataX MysqlReader插件深度解析一、概述 MysqlReader 是 DataX 框架中专门用于从 MySQL 数据库读取数据的核心插件。它通过 JDBC 连接器与远程 MySQL 数据库建立连接，执行 SQL 查询语句，并将结果数据转换为 DataX 统一的数据格式传递给下游 Wr

【DataX系列 3.0】DataX数据读写

异构数据

DataX数据读写 DataX 作为一款强大的异构数据同步工具，其核心功能是实现不同数据源之间的数据读取和写入。通过插件化的架构设计，DataX 支持多种数据源的读写操作，包括关系型数据库、NoSQL数据库、文件系统等。数据读取机制 Reader插件架构 DataX 的数据读

【DataX系列 2.2】DataX命令行参数传递

异构数据

DataX命令行参数传递详解在使用 DataX 进行数据同步时，经常需要动态调整 SQL 查询条件，比如按日期范围同步数据。DataX 提供了命令行参数传递功能，允许我们在不修改 JSON 配置文件的情况下，动态替换 SQL 中的参数，极大地提升了使用的灵活性。核心原理 DataX 命令行参数传

【DataX系列 2.1】DataX用户向导.md

异构数据

DataX用户向导（下载安装及配置） DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、 Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。一、核心特性插件化架构

【DataX系列 1】DataX3.0介绍.md

异构数据

阿里云开源离线同步工具 DataX 3.0 介绍 DataX 是阿里云开源的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。一、DataX 3.0 概览设计理念为了解决