阅读数:98 评论数:0

1、仓库建设原则

（1）自上而下+自下而上。

（2）高容错性

（3）数据质量监控贯穿整个数据流程

（3）不怕数据冗余，利用存储换易用

总体思路-》模型设计-》数据架构-》数据治理

2、维度建模OR实体关系建模

减少层次结构的目的是为了压缩整体数据处理流程的长度，扁平化的数据处理流程有助于数据质量控制和数据运维。

当前的数据应用方向会起来越关注数据的时效性，越实时的数据越有价值。

结构化数据采集：

（1）全量采集（2）增量采集（3）实时采集

非结构数据特征提取：

（1）语音转文本（2）图片处理（3）自然语言处理（4）图片打标（5）视频识别

数据服务化：

（1）统计服务（2）分析服务（3)标签服务

实用的点：

（1）巧用虚拟节点（2）强制分区（3）计算框架应用（4）优化关键路径

数据不再是一个边缘性的东西，数据的质量越来越重要。

合理的数据生命周期要保证温热数据占整个数据体系大部分。