摘要:Hbase的客户端有原生java客户端,Hbase Shell,Thrift,Rest,Mapreduce,WebUI等等。 下面是这几种客户端的常见用法。 一、原生Java客户端 原生java客户端是hbase最主要,最高效的客户端。 涵盖了增删改查等API,还实现了创建,删除,修改表等DDL操作 阅读全文
posted @ 2019-10-14 10:44 独孤风 阅读 (17) 评论 (0) 编辑
摘要:Hbase的表结构设计与关系型数据库有很多不同,主要是Hbase有Rowkey和列族、timestamp这几个全新的概念,如何设计表结构?#22836;?#24120;的重要。 创建 Hbase就是通过 表 Rowkey 列族 timestamp确定一行数据。 这与关系型数据库完全不同: | 属性 | HBase | RDB 阅读全文
posted @ 2019-10-08 10:28 独孤风 阅读 (163) 评论 (0) 编辑
摘要:Hbase最核心但也是最难理解的就是数据模型,由于与传统的关系型数据库不同,虽然Hbase也有表(Table),也有行(Row)和列(Column),但是与关系型数据库不同的是Hbase有一个列族(Column Family)的概念,它将一列或者多列组织在一起,HBase必须属于某一个列族。 行和列 阅读全文
posted @ 2019-09-30 09:39 独孤风 阅读 (144) 评论 (0) 编辑
摘要:本文讲述如何安装,部署,启停HBase集群,如何通过命令行对Hbase进行基本操作。 并介绍Hbase的配置文件。 在安装前需要将所有先决条件安装完成。 一、先决条件 1、JDK 和Hadoop一样,Hbase需要JDK1.6或者更高的版本,所以请安装好JDK并配置环境变量。 Hbase版本与JDK 阅读全文
posted @ 2019-09-29 11:00 独孤风 阅读 (73) 评论 (0) 编辑
摘要:本文将介绍大数据的知识和Hbase的基本概念,作为大数据体系中重要的一员,Hbase弥补了Hadoop只能离线批处理的不足,支持存储小文件,随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。 1、大数据与Hbase 大 阅读全文
posted @ 2019-09-24 09:06 独孤风 阅读 (217) 评论 (0) 编辑
摘要:本文基于Flink1.9版本简述如何连接Kafka。 流式连接器 我们知道可以自己来开发Source 和 Sink ,但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义的source支持从文件、目录、socket,以及 collections 和 iterators 阅读全文
posted @ 2019-09-20 11:53 独孤风 阅读 (354) 评论 (0) 编辑
摘要:本文基于java构建Flink1.9版本入门程序,需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。 这里简述安装过程,并使用IDEA进行开发一个简单流处理程序,本地调试或者提交到Flink上运行,Maven与JDK安装这里不做?#24471;鰲?一、Flink简介 Fl 阅读全文
posted @ 2019-09-18 10:10 独孤风 阅读 (312) 评论 (0) 编辑
摘要:1、UnknownTopicOrPartitionException 报错内容:分区数据不在 原因分析:producer向不存在的topic发送消息,用户可以检查topic是否存在 或者设置auto.create.topics.enable参数 2、LEADER_NOT_AVAILABLE 报错内容 阅读全文
posted @ 2019-09-17 09:07 独孤风 阅读 (219) 评论 (0) 编辑
摘要:1、集群管理 前台启动broker Ctrl + C 关闭 后台启动broker 关闭broker 2、Topic管理 创建topic 删除topic 查询topic列表 查询topic详情 修改topic 3、Consumer Groups管理 查询消费者组 查询消费者组详情 重设消费者组位移 删 阅读全文
posted @ 2019-09-16 09:27 独孤风 阅读 (86) 评论 (0) 编辑
摘要:1.背景 Apache Flink 和 Apache Storm 是当前?#21040;?#24191;泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm?#20445;?#22312;美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的 可靠性保证测试),有管理平台、常用 API 和相应的文档,大量实时 阅读全文
posted @ 2019-09-12 09:47 独孤风 阅读 (222) 评论 (0) 编辑
丛林巫师APP下载