“password”: “123321”,
“preSql”: [
“delete from t_info WHERE order_date = CURDATE();”
],
“session”: [],
“username”: “root”,
“writeMode”: “insert”
}
}
}
],
“setting”: {
“speed”: {
“channel”: “5”
}
}
}
}
1. 生成单个datax 的json任务文件
1. 准备配置文件：datax.ini
将reader和writer的连接信息、需要同步的表、字段及其前置语句等写在配置文件中
vim datax.ini
; section名称
[sqlserver]
url = jdbc:sqlserver://hadoop103:1433;DatabaseName=test
username = sa
password = yH5nm57BSkFjmL8rBpRH
table = t_info
column = id,order_date,purchaser,quantity,product_id
where =
;key 只能是小写
[mysql]
url = jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8
username = root
password = 123321
table = t_info
column = id,order_date,purchaser,quantity,product_id
;preSql = delete from t_info WHERE order_date = CURDATE();
preSql =
writeMode = insert
2. 使用python脚本，读取配置文件自动生成datax的json文件config.json
这个json文件即datax的job任务，可以直接运行同步数据
vim generate_json.py
import json
datax_json = {
“job”: {
“content”: [
{
“reader”: {
“name”: “sqlserverreader”,
“parameter”: {
“connection”: [
{
“jdbcUrl”: [],
“table”: []
}
],
“password”: “”,
“username”: “”,
“column”: []
}
},
“writer”: {
“name”: “mysqlwriter”,
“parameter”: {
“column”: [],
“connection”: [
{
“jdbcUrl”: “”,
“table”: []
}
],
“password”: “”,
“preSql”: [],
“session”: [],
“username”: “”,
“writeMode”: “”
}
}
}
],
“setting”: {
“speed”: {
“channel”: “5”
}
}
}
}
def get_config():
import configparser
file = ‘proddatax.ini’
con = configparser.ConfigParser()
con.read(file, encoding=‘utf-8-sig’)
sections = con.sections()
items_sqlserver = con.items(‘sqlserver’) # 返回结果为元组
config_sqlserver = dict(items_sqlserver)
items_mysql = con.items(‘mysql’) # 返回结果为元组
config_mysql = dict(items_mysql)
return {‘config_sqlserver’:config_sqlserver,‘config_mysql’:config_mysql}
if name == ‘main’:
config = get_config()
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘connection’][0][‘jdbcUrl’].append(config[‘config_sqlserver’][‘url’])
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘connection’][0][‘table’].append(config[‘config_sqlserver’][‘table’])
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘password’] = config[‘config_sqlserver’][‘password’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘username’] = config[‘config_sqlserver’][‘username’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘where’] = config[‘config_sqlserver’][‘where’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘column’] = list(config[‘config_sqlserver’][‘column’].split(‘,’))
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘connection’][0][‘jdbcUrl’] = config[‘config_mysql’][‘url’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘connection’][0][‘table’].append(config[‘config_mysql’][‘table’])
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘password’] = config[‘config_mysql’][‘password’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘username’] = config[‘config_mysql’][‘username’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘preSql’].append(config[‘config_mysql’][‘presql’]) # 配置里面key只能识别为小写
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘writeMode’] = config[‘config_mysql’][‘writemode’]# 配置里面key只能识别为小写
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘column’] = list(config[‘config_mysql’][‘column’].split(‘,’))
with open (‘prodconfig.json’, ‘w’) as f:
f.write(json.dumps(datax_json))
print(datax_json)
3. 按照步骤2生成的json文件如下所示：
{
“job”: {
“content”: [{
“reader”: {
“name”: “sqlserverreader”,
“parameter”: {
“connection”: [{
“jdbcUrl”: [“jdbc:sqlserver://hadoop103:1433;DatabaseName=test”],
“table”: [“t_info”]
}],
“password”: “yH5nm57BSkFjmL8rBpRH”,
“username”: “sa”,
“column”: [“id”, “order_date”, “purchaser”, “quantity”, “product_id”],
“where”: “”
}
},
“writer”: {
“name”: “mysqlwriter”,
“parameter”: {
“column”: [“id”, “order_date”, “purchaser”, “quantity”, “product_id”],
“connection”: [{
“jdbcUrl”: “jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8”,
“table”: [“t_info”]
}],
“password”: “123321”,
“preSql”: [“”],
“session”: [],
“username”: “root”,
“writeMode”: “insert”
}
}
}],
“setting”: {
“speed”: {
“channel”: “5”
}
}
}
}
4. 将3中的json文件放在服务器运行
将json文件放在datax的job目录下，命名为：sqlserver2mysql.json，然后执行以下命令：
python /data/module/datax/bin/datax.py --jvm=“-Xms8G -Xmx8G” /data/module/datax/job/sqlserver2mysql.json
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
三、入门学习视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)