guiyu0856
- 浏览: 38451 次
- 性别:
- 来自: 北京
-
最新评论
-
zenoh：
我也遇到这问题，搜到的都是老文章
Impala V1.0安装之lzo -
guiyu0856：
java.lang.UnsatisfiedLinkError: ...
独家 安装 Hadoop 2.0.0-cdh4.3.0 LZO 成功 -
guiyu0856：
后来让EMC自己的人来装，好了，具体我也没时间关注longzw ...
EMC Hawq安装问题，Greeplum安装问题 -
longzw：
我也遇到了和你一样的问题，不知道怎么解决。你解决了吗？
EMC Hawq安装问题，Greeplum安装问题 -
xouou_53320：
吊龙虾,鹿过...
鸟巢龙形水系钓鱼
文章列表
在经历过忍饥挨饿、老眼昏花的深夜加班，最后扛不住没搞定，今天周六，再次来从新梳理思路和审核每一步操作，最终苍天终不负，让我搞定了LZO的安装，使集群间lzo文件的对拷和读写成为现实。期间，重启集群不下30遍，甚 ...
java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738)
at java.lang.Runtime.loadLibrary0(Runtime.java:823)
at java.lang.System.loadLibrary(System.java:1028)
at com.hadoop.compression.lzo.GPLNativeCodeLoader.<clinit> ...
在hadoop领域，上T数据的存储和处理是非常常见的。不同的存储格式和压缩组合能为存储和性能带来效率。本次对比测试 Snappy+RCFile组合 与 LZO+TextFile组合 的压缩比和查询性能，其结果见下面两个截图。至于hive、mr、压缩、存储格式等，这里不赘述，就在iteye搜索一下，都会出来一大堆。
北京五环、六环开外，房价已经逐渐飙升至2w以上了，今天去偏远的房山看了一遍，与今年1月相比，上涨了30%，超过2w的楼盘多得的去了，相反低于2w的，已经屈指可数了，尽管那边有些楼盘周边还很荒凉，但是依然不能成为不涨的理由。正如小杂货店的录音机冒出来的：机不可失时不再来，你买不了上当，买不了吃亏。
尼玛，这对刚需一族是种摧残啊。
安心钓鱼去，尽管钓不上来，但是可以陶冶情操，没有压力。
Hawq的安装遇到以下问题，谁能解答一下？？20130527:10:00:05:213181 gpstart:bdp6:gpadmin-[ERROR]:-ExecutionError: 'non-zero rc: 1' occured. Details: 'ssh -o 'StrictHostKeyChecking no' bdp7 ". /usr/local/hawq/./greenplum_path.sh; $GPHOME/sbin/gpoperation.py"' cmd had rc=1 completed=True halted=False stdout='' ...
哈哈哈，我花了146元的准豪华装备，今天5点不到就去钓鱼，直到7点，收获是一条两手指大的鲫鱼和4条小指大的麻公鱼，哈哈哈，最后还全部赠送给了同行的钓友。
鸟巢的水系里真是物种丰富，鲤鱼、红鲤鱼、鲫鱼、乌龟、泥鳅、小虾、青蛙等什么都有。今天在我脚边的就有只乌龟，起初只看到它伸出水面头，还以为是蛇，要是在老家那边的河里发现这样的团鱼，那肯定是野的，宝贝啊。
我饶了一圈，在那钓鱼的人很多，其中有调到红色鲤鱼的，有大于一斤的，有点意思。
- 2013-05-25 14:00
- 浏览 1220
- 评论(1)
impala的最大优势，也是它最大致命弱点。它将要处理的数据全部（有一定的优化和加载规则）加载至内存，在内存中实现数据处理，在所处理的数据较小时，其性能非常显著，但是当数据很大时，它就慢如蜗牛，甚至崩溃，在此时，它远不如hive+mapreduce。
今天的测试：
Impala简单测试汇总：
一、软件环境：
Hadoop 2.0.0-cdh4.2.1
impalad version 1.0 RELEASE
二、硬件环境：
CPU ...
啊，为了暂时总结无聊的周末，哈哈哈，我今天买了鱼杆，“霸王3.6米+换把+竿桶+赠品”才85块钱，值得啊。下周去鸟巢的龙形水系里钓鱼去，有人一起吗？？？
平时晚上也可以去，反正我看那早晚很多人在那钓鱼，没人管，只要白天不去就行。钓些小鲫鱼，还是不错的。
奥林匹克森林公园里的鱼比较大，有大草鱼、鲤鱼、金鱼等，但是好像没人在那钓，管的严啊，哈哈
Phoenix可用性测试报告
——种基于HBase的SQL中间层开源插件
目录
1.文档说明4
1.1
2. 接口数据协议
IDE基于Hive部分约定的数据调用约定。
2.1 HQL语法约定
该部分的HQL由Web Server提交至Hive Server端执行。
根据Hive的特点，除了执行部分SELECT语句会启动MapReduce外，其他如alter、
在这天气不好，空气质量不高的周末，大家会做什么？分享一下吧。
曾经我会看书、电影、一个人去爬山、逛公园、看别人下象棋、和朋友吃饭、喝酒、KTV、台球等，但是至去年以来就很少这样了，难道我老了吗？？还是对日复一日没有新意的生活乏味了，总是似乎缺少了一些令我期待、感动和开心的事，所以周末干什么都好像缺少激情了。
大伙呢？在忙碌一周之后，周末会做些什么呢？
hadoop支持多用户环境，在生产环境中，往往一个大的hadoop集群，供多个应用如Hive，Mahout等之类的使用。在多用户环境下，有的用户提交的工作量很大、很频繁，而有的很少，还有的优先级很高，那么如何保证“按需” ...
Impala是个什么东西？主要解决什么领域的问题？它有什么特征等等这里不想赘述。只讲解安装impala release版安装中的一个小节。
关于impala的安装，随便百度、谷歌一下，都会出来漫天的安装说明，不过大部分都是转载的，也都是一些beta版，毫无创新。另外，impala官方cloudera的网站也有impala的多类文档，但是，在某些地方取描述不尽详尽，甚至在程序猿安装时会出现与之描述不符的问题，如dfs.client.use.legacy.blockreader.local 这个参数，官网要求是true，但是我在实际安装过程中发现，这个参数如果是t ...
今天我也奇葩了一把，因一个失误，酿成从业6年以来最严重的工作灾难事故。本来今天完成跨HDFS版本数据迁移和1.0IMPALA-LZO是非常值得我高兴的事情，却因在线上环境和测试环境之间迁移数据时，本该删除测试环境的，不小心递归删除了在线数据仓库的一个大目录，造成海量数据丢失，造成难以评估的结果。尼玛，老子人品暴跌吗？
一再提醒自己细心处理在线事务，却还是在不经意间发生了本不该发生的事情，不是因为不熟悉，而是因为粗心，不可饶恕。
这次误操作，我没有逃避，没有隐瞒，及时坦白地向上汇报，让事故造成的影响得到了最高程度的控制。目前公司还没有责 ...
虽然HDFS提供了distcp的远程拷贝工具，在同版本之间拷贝很方便，功能也很强大。但是，在跨版本、跨 运维机制时，它就不可用了。另外，HDFS也专门为跨版本提供了hftp协议，提供只读功能，但是该功能也有个致命缺陷 ...