数据层交换和高性能并发处理
-
北风先生
-
免费咨询
-
软件工程师
————认证资质————
- 个人未认证
- 企业未认证
- 微信未认证
- 手机已认证
线上沟通
与商家沟通核实商家资质
线下服务
核实商家身份所有交流确保留有证据
服务售后
有保障期的服务请与商家确定保障实效
详情
数据层交换和高性能并发处理
数据层交换和高性能并发处理（开源ETL大数据治理工具--KETTLE使用及二次开发 ）
课程讲师：李傲
课程分类：大数据
适合人高级
课时数量：15课时
更新程度：完毕
用到技术：KETTLE、spoon使用
涉及项目：源码分析、二次开发、流程设计
课程大纲：
1.ETL简介开源KETTLE（1课时）
介绍KETTLE在大数据应用的位置和作用。
主要讲解ETL是什么，KETTLE进行简单介绍，并且使用例子进行KETTLE的使用介绍。
介绍KETTLE流程的部署。
2.KETTLE使用（1课时）
详细介绍KETTLE的spoon使用
KETTLE的trans和job入门
KETTLE的日志和调试工具使用
3. KETTLE之Step流程设计（3课时）
编写例子介绍KETTLE常用的转换、清洗组件
主要完成以下插件：
输入插件：
文本文件输入、生成记录、表输入、Fixed file input、Get data from XML
输出插件：
XML输出、删除、插入更新、文本文件输出、更新、表输出
转换插件：
Add a checksum、Replace in string、Set field value、Unique rows（HashSet）、
增加常量、增加序列、字段选择、拆分字段
Flow插件：
Abort、Switchcase、空操作、过滤记录
脚本插件：
Modified Java Script Value、执行SQL脚本
查询插件：
File exists、Table exists、调用DB存储过程
4. KETTLE之Job流程设计（2课时）
编写例子介绍KETTLE常用的作业组件
主要完成以下插件：
通用插件：
START、DUMMY、Transformation、Success
文件管理插件：
Copy Files、Compare folders、Create a folder、Create file、Delete files、Delete folders、
File Compare、Move Files、Wait for file、Zip file、Unzip file
条件插件：
Check Db connections、Check files locked、Check if a folder is empty、Check if files exist、
File Exists、Table exists、Wait for
脚本插件：
Shell、SQL
Utility插件：
Ping a host、Truncate tables
文件传输插件：
Upload files to FTPS、Get a file with FTPS、FTP Delete
Kettle与Hadoop的联合使用
5. KETTLE之流程性能调优与监控（1课时）
介绍KETTLE的流程监控功能
介绍KETTLE的性能优化方法
6. KETTLE之嵌入开发（1课时）
编写程序介绍KETTLE的流程如何嵌入到我们的java应用中
主要包括java嵌入trans以及job流程
7. KETTLE之自定义Step、Job插件制作（3课时）
编写Step和Job模板，并给大家作为二次开发的基础工程使用，提高大家的开发效率。
编写程序说明Step和Job插件的开发方法。
8. KETTLE之数据同步方案（1课时）
介绍5种数据同步方案，并且这5种方案都是支持异构数据同步的。
包括全量快速同步方案和增量同步方案
9. KETTLE之分区、集群以及原理（1课时）
介绍KETTLE的分区原理，并且讲解配置使用。
介绍KETTLE的集群原理，并且讲解配置使用，以及监控方法。
10. KETTLE之源码分析与二次开发（1课时）
介绍KETTLE的SRC导入ECLIPSE方法，以及打包和运行方法。
分析KETTLE的包结构以及运行流程，讲解KETTLE的运行原理。
2）确认收货前请仔细核验产品质量，避免出现以次充好的情况。
3）该信息由排行8用户自行发布，其真实性及合法性由发布人负责，排行8仅引用以供用户参考，详情请阅读排行8免责条款。查看详情>