MySQL Flink实时流处理的核心技术之窗口机制_Mysql

MySQL Flink实时流处理的核心技术之窗口机制

2023-05-09 14:03奔跑如风 Mysql

Flink是一款流处理框架，窗口机制是其核心技术之一。Flink的窗口机制可以将无限的数据流划分为有限的窗口，并对窗口内的数据进行处理。Flink的窗口机制支持时间、计数、会话等多种窗口类型，并且可以在不同的窗口之间进行流

1.为什么要学窗口

流式计算，一般有两种场景：

无限制的流式计算，比如：wordcount案例，它没有任何外部的限制条件，这种情况不多。
有限制的流式计算，比如：统计早高峰时间内经过某个道路的车辆数。

对于第二种情况来说，我们需要加上额外的限制条件。最常用的限制条件就是时间了。

这个时间段，在程序中，就用一个窗口来表示。

也就是说，窗口的作用：把流式计算转换为批量计算，窗口是流转批的一个桥梁。

这就是为什么要学窗口的原因了。

2.Flink中的窗口

在Flink中，窗口可以分为如下几类：

滚动窗口（Tumble）
滑动窗口（hop、Slice）
会话窗口（session）
渐进式窗口（cumulate）
聚合窗口（over）

3.滚动窗口（Tumble）

3.1 概念

滚动窗口：窗口大小 = 滚动距离（时间间隔）

特点：上一个窗口的结束就是下一个窗口的开始，数据不重复、也不丢失。

3.2 案例SQL

				?

									#1.创建source表

									CREATE TABLE source_table ( 

									 user_id STRING, 

									 price BIGINT,

									 `timestamp` bigint,

									 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),

									 watermark for row_time as row_time - interval '0' second

									) WITH (

									  'connector' = 'socket',

									  'hostname' = 'node1',        

									  'port' = '9999',

									  'format' = 'csv'

									);

									#2.语法

									tumble(事件时间列,窗口大小)

									窗口大小是用户自定义的。比如30分钟、1小时等。

									直接把tumble窗口放在group by语句后即可。

									比如：tumble(row_time,interval '5' second)

									含义：定义一个5秒大小的滚动窗口。

									#3.数据处理

									select

									user_id,

									count(*) as pv,

									    sum(price) as sum_price,

									UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval '5' second) AS STRING)) * 1000  as window_start,

									UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval '5' second) AS STRING)) * 1000  as window_end

									from source_table

									group by

									    user_id,

									    tumble(row_time, interval '5' second);