ITeye博客

guiyu0856的博客

guiyu0856 · 共 16 篇文章

独家 安装 Hadoop 2.0.0-cdh4.3.0 LZO 成功

在经历过忍饥挨饿、老眼昏花的深夜加班,最后扛不住没搞定,今天周六,再次来从新梳理思路和审核每一步操作,最终苍天终不负,让我搞定了LZO的安装,使集群间lzo文件的对拷和读写成为现实。期间,重启集群不下30遍,甚至一度丢掉了所有文件(测试环境),重新格式化。真心不容易,同时我很喜悦!因此,只要坚持和努力,结果不会令人太失望! 言归正传,把我安装的过程记录一下,以备下次再安装时,我就驾轻就熟了。 1、安装JAVA、HADOOP、ANT等环境以及安装lzo、lzop系统工具,这里不赘述; 2、下载lzo源码(我是从这里下载的 https://github.com/twitter/hadoop-lz…

2013-08-31 11:42 · mapreduce · hdfs · yarn · hive · hbase · 评论(1)

lzo悲催的安装

java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1738) at java.lang.Runtime.loadLibrary0(Runtime.java:823) at java.lang.System.loadLibrary(System.java:1028) at com.hadoop.compression.lzo.GPLNativeCodeLoader.<clinit>(GPLNati…

2013-08-30 19:23 · mapreduce · 评论(0)

对比测试 Snappy+RCFile组合 与 LZO+TextFile组合 的压缩比和查询性能

在hadoop领域,上T数据的存储和处理是非常常见的。不同的存储格式和压缩组合能为存储和性能带来效率。本次对比测试 Snappy+RCFile组合 与 LZO+TextFile组合 的压缩比和查询性能,其结果见下面两个截图。至于hive、mr、压缩、存储格式等,这里不赘述,就在iteye搜索一下,都会出来一大堆。

2013-06-04 09:25 · mapreduce · yarn · hive · 评论(0)

发飙的房价

北京五环、六环开外,房价已经逐渐飙升至2w以上了,今天去偏远的房山看了一遍,与今年1月相比,上涨了30%,超过2w的楼盘多得的去了,相反低于2w的,已经屈指可数了,尽管那边有些楼盘周边还很荒凉,但是依然不能成为不涨的理由。正如小杂货店的录音机冒出来的:机不可失时不再来,你买不了上当,买不了吃亏。 尼玛,这对刚需一族是种摧残啊。 安心钓鱼去,尽管钓不上来,但是可以陶冶情操,没有压力。

2013-06-01 21:33 · 生活杂谈 · 评论(0)

EMC Hawq安装问题,Greeplum安装问题

Hawq的安装遇到以下问题,谁能解答一下?? 20130527:10:00:05:213181 gpstart:bdp6:gpadmin-[ERROR]:-ExecutionError: 'non-zero rc: 1' occured. Details: 'ssh -o 'StrictHostKeyChecking no' bdp7 ". /usr/local/hawq/./greenplum_path.sh; $GPHOME/sbin/gpoperation.py"' cmd had rc=1 completed=True halted=False stdout='' stderr=''…

2013-05-28 09:23 · 其他技术 · 评论(2)

鸟巢龙形水系钓鱼

哈哈哈,我花了146元的准豪华装备,今天5点不到就去钓鱼,直到7点,收获是一条两手指大的鲫鱼和4条小指大的麻公鱼,哈哈哈,最后还全部赠送给了同行的钓友。 鸟巢的水系里真是物种丰富,鲤鱼、红鲤鱼、鲫鱼、乌龟、泥鳅、小虾、青蛙等什么都有。今天在我脚边的就有只乌龟,起初只看到它伸出水面头,还以为是蛇,要是在老家那边的河里发现这样的团鱼,那肯定是野的,宝贝啊。 我饶了一圈,在那钓鱼的人很多,其中有调到红色鲤鱼的,有大于一斤的,有点意思。

2013-05-25 14:00 · 生活杂谈 · 评论(1)

impala的最大优势亦即最大致命弱点,并不像cloudera描述的那么强大

impala的最大优势,也是它最大致命弱点。它将要处理的数据全部(有一定的优化和加载规则)加载至内存,在内存中实现数据处理,在所处理的数据较小时,其性能非常显著,但是当数据很大时,它就慢如蜗牛,甚至崩溃,在此时,它远不如hive+mapreduce。 今天的测试: Impala简单测试汇总: 一、软件环境: Hadoop 2.0.0-cdh4.2.1 impalad version 1.0 RELEASE 二、硬件环境: CPU : 24核,型号:Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz 内 存: 32G 硬盘空间: 6.6T,9块数据磁盘 操作系统:…

2013-05-24 11:23 · impala · 评论(1)

钓鱼,有人一起吗

啊,为了暂时总结无聊的周末,哈哈哈,我今天买了鱼杆,“霸王3.6米+换把+竿桶+赠品”才85块钱,值得啊。下周去鸟巢的龙形水系里钓鱼去,有人一起吗??? 平时晚上也可以去,反正我看那早晚很多人在那钓鱼,没人管,只要白天不去就行。钓些小鲫鱼,还是不错的。 奥林匹克森林公园里的鱼比较大,有大草鱼、鲤鱼、金鱼等,但是好像没人在那钓,管的严啊,哈哈

2013-05-19 10:39 · 生活杂谈 · 评论(4)

Phoenix V1.1 分析与测试

Phoenix可用性测试报告 ——种基于HBase的SQL中间层开源插件 目录 1.文档说明4 1.1编写目的4 1.2适用范围4 1.3参考资料4 1.4测试目的5 2.测试说明5 2.1测试类型5 2.2硬件环境5 2.3软件环境5 2.4部署环境5 3.测试结果及分析6 3.1测试类型6 3.2 Phoenix VS HBase 写入6 3.3 Phoenix VS HBase VS Hive 基于主键查询7 3.4 Phoenix VS Hive 基于列模糊查询7 3.5 Phoenix VS Hive基于列模糊带函数查询8 4.结论9 4.1 Phoenix优势9 4.2 Phoe…

2013-05-18 14:37 · phoenix · 评论(0)

Hive可视化日志web方案的实现

2. 接口数据协议 IDE基于Hive部分约定的数据调用约定。 2.1 HQL语法约定 该部分的HQL由Web Server提交至Hive Server端执行。 根据Hive的特点,除了执行部分SELECT语句会启动MapReduce外,其他如alter、load、insert语句等都不会涉及M/R。由此可知,大部分情况下不会有MapReduce的执行过程日志输出,而目前IDE的日志监控部分仅对有MapReduce执行的查询有处理。根据《基于Hive JDBC实现的Web可视化界面方案V0.2.docx》分析得知,Hive JDBC仅对executeQuery和close方法做了真正实现,所…

2013-05-18 14:33 · hive · 评论(0)

无聊的周末

在这天气不好,空气质量不高的周末,大家会做什么?分享一下吧。 曾经我会看书、电影、一个人去爬山、逛公园、看别人下象棋、和朋友吃饭、喝酒、KTV、台球等,但是至去年以来就很少这样了,难道我老了吗??还是对日复一日没有新意的生活乏味了,总是似乎缺少了一些令我期待、感动和开心的事,所以周末干什么都好像缺少激情了。 大伙呢?在忙碌一周之后,周末会做些什么呢?

2013-05-18 08:58 · 生活杂谈 · 评论(16)

hadoop资源调度器

hadoop支持多用户环境,在生产环境中,往往一个大的hadoop集群,供多个应用如Hive,Mahout等之类的使用。在多用户环境下,有的用户提交的工作量很大、很频繁,而有的很少,还有的优先级很高,那么如何保证“按需”来为各个用户分配资源(内存、CPU、带宽、IO、磁盘)呢?这就需要用到资源调度器。 这里,我对hadoop的资源调度做个简单的归纳总结: 一、基本术语 用户分组管理 用于按组为单位组织管理,某个用户只能向固定分组中提交作业,只能使用固定分组中配置的资源;同时可以限制每个用户提交的作业数,使用的资源量等 作业管理 包括作业提交权限控制,作业运行状态查看权限控制等。如:可限定可提…

2013-05-17 17:07 · mapreduce · yarn · 评论(0)

Impala V1.0安装之lzo

Impala是个什么东西?主要解决什么领域的问题?它有什么特征等等这里不想赘述。只讲解安装impala release版安装中的一个小节。 关于impala的安装,随便百度、谷歌一下,都会出来漫天的安装说明,不过大部分都是转载的,也都是一些beta版,毫无创新。另外,impala官方cloudera的网站也有impala的多类文档,但是,在某些地方取描述不尽详尽,甚至在程序猿安装时会出现与之描述不符的问题,如dfs.client.use.legacy.blockreader.local 这个参数,官网要求是true,但是我在实际安装过程中发现,这个参数如果是true,会有问题,而应该是fal…

2013-05-16 11:33 · impala · 评论(1)

rmr事故

今天我也奇葩了一把,因一个失误,酿成从业6年以来最严重的工作灾难事故。本来今天完成跨HDFS版本数据迁移和1.0IMPALA-LZO是非常值得我高兴的事情,却因在线上环境和测试环境之间迁移数据时,本该删除测试环境的,不小心递归删除了在线数据仓库的一个大目录,造成海量数据丢失,造成难以评估的结果。尼玛,老子人品暴跌吗? 一再提醒自己细心处理在线事务,却还是在不经意间发生了本不该发生的事情,不是因为不熟悉,而是因为粗心,不可饶恕。 这次误操作,我没有逃避,没有隐瞒,及时坦白地向上汇报,让事故造成的影响得到了最高程度的控制。目前公司还没有责罚我,不管怎么样,我愿意去承受我能承受的一切!但是还是感谢…

2013-05-15 22:23 · 感悟&启示&总结 · 评论(2)

自开发跨HDFS版本的拷贝工具

虽然HDFS提供了distcp的远程拷贝工具,在同版本之间拷贝很方便,功能也很强大。但是,在跨版本、跨 运维机制时,它就不可用了。另外,HDFS也专门为跨版本提供了hftp协议,提供只读功能,但是该功能也有个致命缺陷,即需要配置被拷贝集群的所有节点的hosts,因为这个协议走的是HDFS的web管理接口,里面每个数据节点都是以hostname对外提供服务,所以,不配置hosts是不行的。但是在一些大公司,运维制度很苛刻,root的密码是不对非运维人员提供的,甚至普通用户的密码也不对外,更别人让他们去配置那么多的hosts,这是要走申请和授权的,太麻烦。再者,在大公司,hadoop的集群比较多…

2013-05-15 11:29 · hdfs · 评论(0)