impala的最大优势,也是它最大致命弱点。它将要处理的数据全部(有一定的优化和加载规则)加载至内存,在内存中实现数据处理,在所处理的数据较小时,其性能非常显著,但是当数据很大时,它就慢如蜗牛,甚至崩溃,在此时,它远不如hive+mapreduce。
今天的测试:
Impala简单测试汇总:
一、软件环境:
Hadoop 2.0.0-cdh4.2.1
impalad version 1.0 RELEASE
二、硬件环境:
CPU : 24核,型号:Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz
内 存: 32G
硬盘空间: 6.6T,9块数据磁盘
操作系统: Cent OS 6.3
服 务 器 :同一网段,7台主机,其中6 台数据节点,6个impalad,1个statestored
三、测试数据:
记录行数:8亿多条
记录大小:349.2G
表 信 息:约180个基本类型字段、2个分区、lzo压缩
四 、测试结果:
涉及具体数据,不便公布。不过可以告知的是,一般count或排序或distinct都得6分钟以上,当加载数据大于有效物理内存时,直接崩溃,其他很多情况下容易造成impalad崩溃退出。impala有待继续改进优化。
如果有impala查询数据的同仁,非常欢迎一起交流,我的QQ:214814466
相关推荐
cloudera impala的官方文档,带书签
cloudera-impala.pdf )cloudera-impala.pdf )cloudera-impala.pdf )cloudera-impala.pdf )cloudera-impala.pdf )cloudera-impala.pdf )
Cloudera JDBC Driver for Impala ,jdbc连接cdh impala 官方驱动
Cloudera Impala is an open source project that is opening up the Apache Hadoop software stack to a wide audience of database analysts, users, and developers. The Impala massively parallel processing ...
impala 官方文档 汉化 少部分没有翻译 有不准确的地方 需参照英文原版
Cloudera-JDBC-Driver-for-Impala-Install-Guide.pdf 有80多页,主要介绍了Java API,实现对impala的操作
基于Hadoop的实时查询 Cloudera Impala ,Cloudera 发布实时查询开源项目 Impala (黑斑羚)!多款产品实测表明,比原来基于Map...
impala的驱动下载,com.cloudera.impala.jdbc41.Driver
Cloudera Impala ODBC Connector 2.5.36 for windows 32bit
提供cloudera-hive/impala-odbc下载,使用tableau 连接数据源用得到哦,拿去用吧
Impala 驱动包 Cloudera_ImpalaJDBC4_2.5.41.zip Cloudera_ImpalaJDBC41_2.5.41.zip Cloudera-JDBC-Driver-for-Impala-Install-Guide.pdf Cloudera-JDBC-Driver-for-Impala-Release-Notes.pdf
cloudera-impala.pdf-impala使用文档 cloudera-installation.pdf-安装CDH和CM的文档 cloudera-introduction.pdf-基本介绍文档 cloudera-operation.pdf-操作使用文档 cloudera-quickstart.pdf-虚拟机快速使用(免安装)...
impala_jdbc驱动包 ,包括jdbc3,jdbc4,jdbc41
Learning cloud Impala
Cloudera Manager API调用实例(JAVA版),已通过测试可用。Cloudera Manager API调用实例(JAVA版),已通过测试可用。
dbeaver中连接impala所需jdbc包,适用于CDH5.16.2,impala2.12
该文档来自2013中国大数据技术大会,秒针技术经理讲师刘诚忠在大数据技术论坛的演讲。刘诚忠分享了选择Cloudera Impala作为Camaro开发基础的原因,详细介绍了Camaro的功能,并对其未来功能进行了展望。
使用JDBC连接impala数据库所用jar包,jdbc驱动版本4.0 com.cloudera.impala.jdbc4.Driver。内含JDBC连接impala数据库dome
ImpalaJDBC驱动包,用于Impala数据库连接,Maven配置所需的jar包
资源名称:cloudera官方文档资源目录:【】cloudera-administration【】cloudera-datamgmt【】cloudera-impala【】cloudera-installation【】cloudera-introduction【】cloudera-operation【】Cloudera-Opera ...