整理自己发在知识星球和公众号的系列文章,方便查找。
介绍
进知识星球的小伙伴有的是刚接触 Flink 的,有的是根本没接触过的,有的是已经用 Flink 很久的,所以很难适合所有的口味。
我一向认为对一门技术的学习方式应该是:
- 了解(知道它的相关介绍、用处)
- 用(了解常用 API)
- 用熟(对常用 API 能够用熟来,并了解一些高级 API)
- 解决问题(根据业务场景遇到的问题能够定位问题并解决)
- 看源码(深入源码的实现,此种情况主要是兴趣爱好驱动)
这里先把《从 0 到 1 学习 Flink》的系列文章给列出来,我觉得从这个系列文章的顺序来学习起码可以让你先达到第四个步骤,如果有什么疑问或者文章不足之处欢迎指出。
《从 0 到 1 学习 Flink》系列
- Flink 从 0 到 1 学习 —— Apache Flink 介绍
- Flink 从 0 到 1 学习 —— Flink 架构、原理与部署测试
- Flink 从 0 到 1 学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门
- Flink 从 0 到 1 学习 —— Flink 配置文件详解
- Flink 从 0 到 1 学习 —— Flink JobManager 高可用性配置
- Flink 从 0 到 1 学习 —— Data Source 介绍
- Flink 从 0 到 1 学习 —— 如何自定义 Data Source ?
- Flink 从 0 到 1 学习 —— Data Sink 介绍
- Flink 从 0 到 1 学习 —— 如何自定义 Data Sink ?
- Flink 从 0 到 1 学习 —— Flink Data transformation(转换)
- Flink 从 0 到 1 学习 —— 介绍Flink中的Stream Windows
- Flink 从 0 到 1 学习 —— Flink 流计算编程–看看别人怎么用 Session Window
- Flink 从 0 到 1 学习 —— 这一次带你彻底搞懂 Flink Watermark
- Flink 从 0 到 1 学习 —— Flink 中几种 Time 详解
- Flink 从 0 到 1 学习 —— Flink 项目如何运行?
- Flink 从 0 到 1 学习 —— Flink parallelism 和 Slot 介绍
- Flink 从 0 到 1 学习 —— Flink 写入数据到 ElasticSearch
- Flink 从 0 到 1 学习 —— Flink 实时写入数据到 ElasticSearch 性能调优
- Flink 从 0 到 1 学习 —— Flink 写入数据到 Kafka
- Flink 从 0 到 1 学习 —— Flink 读取 Kafka 数据批量写入到 MySQL
- Flink 从 0 到 1 学习 —— Flink 读取 Kafka 数据写入到 RabbitMQ
- Flink 从 0 到 1 学习 —— 你上传的 jar 包藏到哪里去了?
- Flink 从 0 到 1 学习 —— Flink 中如何管理配置?
- Flink 从 0 到 1 学习—— 分享四本 Flink 国外的书和二十多篇 Paper 论文
- Flink 从 0 到 1 学习 —— 为什么说流处理即未来?
- Flink 从 0 到 1 学习 —— 流计算框架 Flink 与 Storm 的性能对比
- Flink 从 0 到 1 学习 —— Flink Checkpoint 轻量级分布式快照
- Flink 从 0 到 1 学习 —— Flink状态管理和容错机制介绍
- Flink 从 0 到 1 学习 —— Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理
- Flink 从 0 到 1 学习 —— 使用 Prometheus Grafana 监控 Flink
- Flink 从 0 到 1 学习 —— 使用 InflubDB 和 Grafana 监控 Flink JobManager TaskManager 和作业
- Flink 从 0 到 1 学习 —— 从0到1搭建一套 Flink 监控系统
- Flink 从 0 到 1 学习 —— 详解 Flink Metrics 原理与监控实战
- Flink 从 0 到 1 学习 —— Flink 读取 Kafka 商品数据后写入到 Redis
- Flink 从 0 到 1 学习 —— 一文搞懂 Flink 网络流控与反压机制
- Flink 从 0 到 1 学习 —— 一文搞懂Flink内部的Exactly Once和At Least Once
- Flink 从 0 到 1 学习 —— Flink On K8s
- Flink 从 0 到 1 学习 —— Apache Flink 是如何管理好内存的?
- Flink 从 0 到 1 学习 —— Flink 参数配置和常见参数调优
- Flink 从 0 到 1 学习 —— Flink 状态生存时间(State TTL)机制的底层实现
- Flink 从 0 到 1 学习 —— Flink State 最佳实践
- Flink 从 0 到 1 学习 —— Flink 使用大状态时的一点优化
- Flink 从 0 到 1 学习 —— Flink 使用 broadcast 实现维表或配置的实时更新
- Flink 从 0 到 1 学习 —— Spark/Flink广播实现作业配置动态更新
- Flink 从 0 到 1 学习 —— Flink 清理过期 Checkpoint 目录的正确姿势
- Flink 从 0 到 1 学习 —— Flink 状态管理与 Checkpoint 机制
- Flink 从 0 到 1 学习 —— Flink 能否动态更改 Checkpoint 配置
- Flink 从 0 到 1 学习 —— Flink Checkpoint 问题排查实用指南
- Flink 从 0 到 1 学习 —— Apache Flink 管理大型状态之增量 Checkpoint 详解
- Flink 从 0 到 1 学习 —— 深入理解 Flink 容错机制
- Flink 从 0 到 1 学习 —— Flink 使用 connect 实现双流匹配
- Flink 从 0 到 1 学习 —— Flink流计算编程–Flink扩容、程序升级前后的思考
- Flink 从 0 到 1 学习 —— Flink HDFS Sink 如何保证 exactly-once 语义
- Flink 从 0 到 1 学习 —— Flink Connector 深度解析
- Flink 从 0 到 1 学习 —— 如何使用 Side Output 来分流?
- Flink 从 0 到 1 学习 —— Flink 不可以连续 Split(分流)?
- Flink 从 0 到 1 学习 —— Flink 全链路端到端延迟的测量方法
- Flink 从 0 到 1 学习 —— Flink on Yarn / K8s 原理剖析及实践
- Flink 从 0 到 1 学习 —— 如何使用 Kubernetes 部署 Flink 应用
- Flink 从 0 到 1 学习 —— 一张图轻松掌握 Flink on YARN 基础架构与启动流程
- Flink 从 0 到 1 学习 —— Flink on YARN 常见问题与排查思路
- Flink 从 0 到 1 学习 —— Flink 单并行度内使用多线程来提高作业性能
- Flink 从 0 到 1 学习 —— Flink中资源管理机制解读与展望
- Flink 从 0 到 1 学习 —— Flink Back Pressure(背压)是怎么实现的?有什么绝妙之处?
Flink SQL
- 知识星球 Flink 标签所有内容
- Java SPI 机制在 Flink SQL 中的应用
- Flink 通过 DDL 和 SQL 来实现读取 Kafka 数据并处理后将数据写回 Kafka
- Flink SQL 实战——读取Kafka数据处理后写入 ElasticSearch 6 和 7 两种版本
- Flink 聚合性能优化 – MiniBatch 分析
- Flink流计算编程:双流中实现Inner Join、Left Join与Right Join
- Flink SQL 如何实现数据流的 Join?
《Flink 各版本功能特性解读》
- Apache Flink 1.9 重大特性提前解读
- Flink 1.11 日志文件该如何配置?
- Flink 1.11 Release 文档解读
- Apache Flink 1.10 TaskManager 内存管理优化
- Flink 版本升级方案
- Flink 1.11 新特性详解:【非对齐】Unaligned Checkpoint 优化高反压
- 千呼万唤,Apache Flink 1.11.0 新功能正式介绍
- 重磅!Apache Flink 1.11 会有哪些牛逼的功能
- Flink 1.10 新特性研究
- 修改代码150万行!Apache Flink 1.9.0做了这些重大修改!
《Flink 在大厂的实践与应用》
- OPPO 数据中台之基石:基于 Flink SQL 构建实时数据仓库
- 360深度实践:Flink与Storm协议级对比
- 携程——如何基于Flink+TensorFlow打造实时智能异常检测平台?只看这一篇就够了
- 数据仓库、数据库的对比介绍与实时数仓案例分享
- 基于 Apache Flink 的监控告警系统 文章
- 基于 Apache Flink 的监控告警系统 视频
- 如何利用Flink Rest API 监控满足生产环境非常刚需的需求
- 无流量 Flink 作业告警
- Apache Flink 维表关联实战
- 如何利用 Flink 实时将应用 Error 日志告警?
- Flink 流批一体的技术架构以及在阿里 的实践
- 基于 Flink 搭建实时个性化营销平台?
- 基于 Flink 和 Drools 的实时日志处理
- 新一代大数据实时数据架构到底长啥样
- 从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践
- 日均万亿条数据如何处理?爱奇艺实时计算平台这样做
- Flink 流批一体的实践与探索
- 趣头条基于 Flink+ClickHouse 构建实时数据分析平台
- Flink 维表关联多种方案对比
- 美团点评基于 Flink 的实时数仓平台实践
- 基于 Apache Flink 的大规模准实时数据分析平台
- 阿里巴巴 Flink 踩坑经验:如何大幅降低 HDFS 压力?
- 58 同城基于 Flink 的千亿级实时计算平台架构实践
- 基于 Flink 构建关联分析引擎的挑战和实践
- 滴滴实时计算发展之路及平台架构实践
- 如何使用 Flink 每天实时处理百亿条日志?
- 美团点评基于 Flink 的实时数仓建设实践
- 基于Kafka+Flink+Redis的电商大屏实时计算案例
- Flink 在小红书推荐系统中的应用
- Flink 实战 | 贝壳找房基于Flink的实时平台建设
- Flink 在趣头条的应用与实践
《Flink 实战与性能优化》专栏部分文章
因为这个专栏是一开始自己写的,当时还没有和任何一家公司签协议,所以当时就是想放在知识星球的,后面有公司联系,才有完整的专栏文章诞生出来,否则自己也不知道是否可以坚持写完这个系列,所以后面合作开这个专栏后新写的文章就没放在星球了,因为签了合同的,是不能够在其他平台公开的,这里希望大家可以体谅,但是已经早公开的依旧不会删除掉的,有如下这些文章:
预备篇:
- 你公司到底需不需要引入实时计算引擎?
- 一文让你彻底了解大数据实时计算框架 Flink
- 别再傻傻的分不清大数据框架Flink、Blink、Spark Streaming、Structured Streaming和Storm之间的区别了
- Flink 环境准备看这一篇就够了
- 一文讲解从 Flink 环境安装到源码编译运行
- 通过 WordCount 程序教你快速入门上手 Flink
- Flink 如何处理 Socket 数据及分析实现过程
- Flink job 如何在 Standalone、YARN、Mesos、K8S 上部署运行?
基础篇 :
- Flink 数据转换必须熟悉的算子(Operator)
- Flink 中 Processing Time、Event Time、Ingestion Time 对比及其使用场景分析
- 如何使用 Flink Window 及 Window 基本概念与实现原理
- 如何使用 DataStream API 来处理数据?
- Flink WaterMark 详解及结合 WaterMark 处理延迟数据
- Flink 常用的 Source 和 Sink Connectors 介绍
- Flink 最最最常使用的 Connector —— Kafka 该如何使用?
- 如何自定义 Flink Connectors(Source 和 Sink)?
- Flink 读取 Kafka 数据后如何批量写入到 MySQL?
- 一文了解如何使用 Flink Connectors —— ElasticSearch?
- 一文了解如何使用 Flink Connectors —— HBase?
- 如何利用 Redis 存储 Flink 计算后的数据?
《Flink 源码解析文章》
- Flink 源码解析 —— 源码编译运行
- Flink 源码解析 —— 项目结构一览
- Flink 源码解析 —— Flink 源码的结构和其对应的功能点
- Flink 源码解析—— local 模式启动流程
- Flink 源码解析 —— standalonesession 模式启动流程
- Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动
- Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动
- Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程
- Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程
- Flink 源码解析 —— 如何获取 JobGraph?
- Flink 源码解析 —— 如何获取 StreamGraph?
- Flink 源码解析 —— Flink JobManager 有什么作用?
- Flink 源码解析 —— Flink TaskManager 有什么作用
- Flink 源码解析 —— JobManager 处理 SubmitJob 的过程
- Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程
- Flink 源码解析 —— 深度解析 Flink Checkpoint 机制
- Flink 源码解析 —— 深度解析 Flink 序列化机制
- Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的?
- Flink 源码解析 —— Flink-metrics-core 源码解析
- Flink 源码解析 —— Flink-metrics-datadog 源码解析
- Flink 源码解析 —— Flink-metrics-dropwizard 源码解析
- Flink 源码解析 —— Flink-metrics-graphite 源码解析
- Flink 源码解析 —— Flink-metrics-influxdb 源码解析
- Flink 源码解析 —— Flink-metrics-jmx 源码解析
- Flink 源码解析 —— Flink-metrics-slf4j 源码解析
- Flink 源码解析 —— Flink-metrics-statsd 源码解析
- Flink 源码解析 —— Flink-metrics-prometheus 源码解析
- Flink 源码解析 —— Flink 注解源码解析
- Flink 源码解析 —— Flink Metrics 实战
《Flink 自己录制过的视频》
- Flink 整合 Apollo 动态更新配置
- Flink 整合 Nacos 动态更新配置
- Flink 专栏的开篇词
- 你公司到底需不需要引入实时计算引擎
- 一文让你彻底了解大数据实时计算框架 Flink
- 别再傻傻的分不清大数据框架 Flink、Blink、Spark Streaming、Structured Streaming 和 Storm 之间的区别了
- Flink环境准备
- Flink环境安装
- Flink WordCount 程序入门上手及分析实现过程
- Flink 如何处理 Socket 数据及分析实现过程
- Flink 中 Processing Time、Event Time、Ingestion Time 对比及其使用场景分析
- 如何使用 Flink Window 及 Window 基本概念与实现原理
- Flink_Window组件深度讲解和如何自定义Window
- Flink 读取 Kafka 商品数据后写入到 Redis
- 基于 Apache Flink 的监控告警系统
- Flink源码解析01——源码编译运行
- Flink源码解析02——源码结构一览
- Flink源码解析03——源码阅读规划
- Flink源码解析04——flink-example模块源码结构
- Flink源码解析05——flink-example模块源码分析
- Flink源码解析06——flink-example-streaming 异步IO源码分析
- Flink源码解析07——flink-example-streaming SideOutput源码分析
- Flink源码解析08——flink-example-streaming Socket源码分析
- Flink源码解析09——flink-example-streaming window和join源码分析
- Flink源码解析10——flink-example-streaming 源码分析总结
- Flink到底是否可以动态更改checkpoint配置
- Flink 通过 DDL 和 SQL 来实现读取 Kafka 数据并处理后将数据写回 Kafka
- Flink SQL 实战——读取Kafka数据处理后写入 ElasticSearch 6 和 7 两种版本
其他资源下载
- Flink Forward Asia 2019 的 PPT和视频下载
- Flink Forward 2020 PPT 下载
- 实时计算平台架构(上)
- 实时计算平台架构(下)
- 基于Flink实现的商品实时推荐系统
- Flink1.8学习路线
- Kafka 学习文章和视频
- 数据分析指南
- TimeoutException The heartbeat of TaskManager
- Flink on RocksDB 参数调优指南
- 2020最新Java面试题及答案
- 以业务为核心的中台体系建设
- Skip List–跳表(全网最详细的跳表文章没有之一)
- Stream Processing with Apache Flink
- 假如我是面试官,我会问你这些问题,请接招
- YARN 运行机制分析
- 企业大数据平台仓库架构建设思路
- 阿里巴巴开源的 Blink 实时计算框架真香
- 吐血之作 | 流系统Spark/Flink/Kafka/DataFlow端到端一致性实现对比
另外就是星球里可以向我提问,我看到问题会及时回答的,发现提问的还是比较少,想想当初就该还是要所有的都付费才能进,免费进的就会让你不珍惜自己付出的钱💰,自己也不会持续跟着一直学习下去。后面我会根据提问情况把长期潜水且当初是没付费的移除掉!
还有就是群里的一些问题解答会同步到这里沉淀下来!如果你对这些问题还有更好的解答也欢迎提出你的回答,如果觉得棒的话我会进行一定额度的打赏!
打赏包括但不限制于:
- 高质量的问题
- 学习资料资源分享
- 问题全面的解答
- 分享自己的建议
好好做好这几点,肯定会把入知识星球的钱赚到!
为什么要做一个这样的 Flink 知识星球?
- 帮助他人成长就是自己在成长
- 主动促使自己去深入这门技术(心里总觉得要对得起付费玩家)
- 真的想遇到那么一两个人可以一直好好学习下去(学习真特么是孤独的,一个人学习确实遇到的坑很多,效率肯定也低点,如果没有找到的话,那么还是我自己的那句话:坑要自己一个个填,路要自己一步步走!)
一个人走的快一些,一群人走的远一些,欢迎扫码上面的二维码加入知识星球,我们一起向前!