排序
Flume 读取本地数据输出到 HDFS/Kafka
一、介绍 Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具...
数据异构就该这样做,yyds~
何谓数据异构,上周交易部门商品的同事过来做分享,又看到这个词,他的PPT里面是 数据库异构。其实我们以前做的事情,也是可以称之为数据异构。比如我们将DB里面的数据持久化到Redis里面去,就...
原创:广告系统架构设计
广告业务 广告、游戏、电商,是互联网企业最主要的盈利业务模式。广告占市场收入份额很大,业务重要性不言而喻。 我们大致从技术角度来看广告业务,广告业务主要涉及的技术方向有:检索引擎、高...
Kafka快速学习三进一步了解及实战开发
消息队列的常见问题 如何保证消息队列的高可用? 如何保证消息不被重复消费? 如何保证消息不丢失? 如何保证消息的消费顺序? kafka怎么解决这些问题 1.kafka高可用 kafka可以搭建集群...
Kafka快速学习二生产者和消费者开发
producer发送消息的分区策略 1.默认策略 DefaultPartitioner 发送消息时指定分区,优先级最高 发送消息时指定key,会根据key值hash取模 发送...