我正在使用HBase.1.1.2版本。我能够通过Hbase Shell以及Hbase REST API进行所有操作。我有一个带有Ubuntu的VMWare,其中已配置Hadoop和Hbase,并且正在从Windows机器执行Java程序。 注意:-我尚未安装单独的Zookeeper,我正在使用Hbase内置的Zookeeper。 JPS输出:- 3824 SecondaryNameNode 4194 NodeManager 7154 HMaster 9092 Jps 3300 NameNode 3510 DataN…

2020年11月14日 0条评论 19点热度 阅读全文

因此,我建立了一个来自kafka的 Storm 喷口,并用 bolt 写入HDFS。这一切都很好。现在,我想添加一个写入Hbase的新 bolt 。由于某些原因,我的应用程序未获取hbase配置资料,并且出现以下错误: java.lang.IllegalArgumentException: HBase configuration not found using key 'null' at org.apache.storm.hbase.bolt.AbstractHBaseBolt.prepare(AbstractHB…

2020年11月13日 0条评论 24点热度 阅读全文

我正在创建具有整数-17678的值的HBASE表。但是,当我从pheonix检索它时,它给了我不同的积极值(value)。 RowKey是复合行键,rowkey没问题。 Hbase插入: public class test { public static void main(String args[]) { Configuration config = HBaseConfiguration.create(); Connection connection = ConnectionFactory.createConne…

2020年11月12日 0条评论 20点热度 阅读全文

我在HBE中为现有表使用CREATE EXTERNAL TABLE命令创建了表中的表。Hive在HBase现有表上查询 我能看穿HIVE表外壳 但同时通过HIVE在桌子上查询,返回“0”的记录。通过日志发现HIVE在HADOOP中执行MAP-REDUCE程序,而不是在HBase中 我在配置Hive和HBase时错过了什么吗? ===========解决方案如下: 我猜你在0.9之前使用的是Hive的一个版本。 在Hive 0.8和之前的版本中使用HBase存储处理程序创建Hive表只会允许您访问通过相应Hive表插…

2020年11月11日 0条评论 28点热度 阅读全文

我有以下设置 2 node hadoop/hbase cluster with thirft server running on hbase. Hbase has a table with 10 million rows. 我需要在hbase表上运行汇总查询,例如sum() 以便在网络上显示(图表目的)。 现在,我正在使用python(thrift client)获取数据集并显示。 我正在寻找要在网络中使用的数据库(hbase)级聚合功能。 有什么想法吗? 解决方案如下: 这通常是 map 缩小作业。您可能想研究使…

2020年11月11日 0条评论 26点热度 阅读全文

我对Hadoop和Map Reduce非常陌生。首先,我执行了字数统计程序。它执行得很好,但是当我尝试将csv文件运行到跟随[Csv File] [1]的Htable中时它使我陷入以下我不知道的错误,请有人可以帮助我了解上述错误 12/09/07 05:47:31 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser cause:org.apache.hadoop.mapreduce.lib.input.InvalidIn…

2020年11月11日 0条评论 5点热度 阅读全文

我有一堆版本为t1,t2,t3,t4的列。只删除某列的特定版本 HBase的文档claims: 为此,您可以指定版本,否则默认的currentTimeMillis使用。这意味着删除版本小于或等于此版本的所有单元格。 在上述情况下,如果我做delete 'table', 'row', 'col', t3所有版本t1,t2和t3将被删除。 但是是否有可能只删除t3以便t1和t2得到保留? ===========解决方案如下: 正如我从我们在评论部分的讨论中了解到的那样,您希望通过删除重复项来保留单元格的唯一值。你可以做…

2020年11月10日 0条评论 11点热度 阅读全文

我刚在我的iMac上安装了HBase 0.94.2,运行Sun Java 7和Mac OS 10.8.2。新的HBase安装非常慢 我确实有一个开发Hadoop实例,但是现在我正在独立模式下运行HBase。 不幸的是,许多基本的操作接管30秒,执行: magoo:bin mattpainter$ ./hbase shell HBase Shell; enter 'help<RETURN>' for list of supported commands. Type "exit<RETURN>"…

2020年11月8日 0条评论 29点热度 阅读全文

我试图让Sqoop在Java上运行,并发现以下问题: How to use Sqoop in Java Program? 看来这正是我所需要的,除了我找不到“勺 jar ”的Maven回购协议(protocol)。我正在使用cdh4.2,我们的sqoop版本是Sqoop 1.4.2-cdh4.2.1 注意:我添加了一个仓库,但是仍然无法访问诸如ExportTool(),ExportTool()甚至Sqoop之类的对象? 解决方案如下: 该 Artifact 的Maven回购例如是:http://www.maven-…

2020年11月8日 0条评论 22点热度 阅读全文

今天早上,我在 pig 脚本中使用了UDF,没有任何问题。但是现在当我尝试时,我收到此错误消息: 信息:错误:java.lang.ClassNotFoundException:org.apache.hadoop.hbase.util.Bytes 我想这意味着我在我的类路径中错过了一个hbase jar!但是我什么也没改变! 我该如何解决? 我如何添加hbase jar的示例非常棒! 解决方案如下: 我通过在Pig脚本中注册hbase来解决它。 注册path / to / hbase / jar 就我而言 注册/us…

2020年11月8日 0条评论 6点热度 阅读全文