DataNode健康检查

概述

HDFS的一个核心假设是,硬件故障是常态,而不是例外。健康检查尽可能不影响线上使用。 一共有三种检查机制:Block Scanner & Volume Scanner、Directory Scanner、Disk Checker。

Flink Key Groups与最大并行度

概述

Key Groups机制决定Flink中带有key的数据由哪个subtask处理。类似Spark中的Hash Shuffle。Key-Group数量就是最大并行度的值。即算子并行度不能超过Key-Group个数。初次设置最大并行度后,如果调整必须丢弃Checkpoint/Savepoint。

SQL笔记

基础知识 SQL IN SELECT column_name FROM table_name WHERE column_name IN (value1, value2); 作用:筛选column等于value1或value2。 SQL BETWEEN SELECT column_name(s) FROM table_name WHERE column_name IN (value1,value2); 作用:筛选大于等于value小于value2。 value可为字符串。 ALTER 添加列 ALTER TABLE table_name ADD column_name datatype 删除列 ALTER TABLE table_name DROP COLUMN column_name 改变列数据类型 ALTER TABLE table_name ALTER COLUMN column_name datatype 常用记不住的SQL语句收集 创建行时create_at字段自动填写为当前时间。 ALTER TABLE foo MODIFY create_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP; 更新行时update_at字段自动填写为当前时间。 ALTER TABLE foo MODIFY update_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP;