Kudu编译安装部署

大数据

2021-06-11

3

0

    Kudu是Cloudera开源的新型列式存储系统,是Apache Hadoop生态圈的成员之一(incubating),专门为了对快速变化的数据进行快速的分析,填补了以往Hadoop存储层的空缺。kudu官方没有提供有二进制安装包,只提供了docker和源码编译两种方式,本文将在centos7上采用源码编译来安装部署。

一、环境准备

系统要求:

RHEL 7, RHEL 8, CentOS 7, CentOS 8, Ubuntu 18.04 (bionic), Ubuntu 20.04 (focal)

macOS 10.13 (High Sierra), macOS 10.14 (Mojave), macOS 10.15 (Catalina)

JAVA:

jdk8

二、编译环境准备

1、安装必须的编译工具

sudo yum install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi \
  cyrus-sasl-plain flex gcc gcc-c++ gdb git java-1.8.0-openjdk-devel \
  krb5-server krb5-workstation libtool make openssl-devel patch \
  pkgconfig redhat-lsb-core rsync unzip vim-common which

2、如果是centos8之前的版本这需要安装devtoolset

sudo yum install centos-release-scl-rh
sudo yum install devtoolset-8

3、如果需要kudu支持NVM (non-volatile memory) 功能,还需要安装memkind

memkind需要1.8以上的版本,是用yum来安装可能版本比较低,这里建议使用源码来编译安装。

sudo yum install numactl-libs numactl-devel
git clone https://github.com/memkind/memkind.git
cd memkind
./build.sh --prefix=/usr
sudo yum remove memkind
sudo make install
sudo ldconfig

4、如果需要构建文档的话,还需要安装ruby

sudo yum install gem graphviz ruby-devel zlib-devel

三、编译kudu

1、从git上拉取源码

git clone https://github.com/apache/kudu

PS:如果拉取失败,可以把"https"更换成"git"

2、编译缺失的第三方依赖

cd kudu
build-support/enable_devtoolset.sh thirdparty/build-if-necessary.sh

PS:此过程比较久,还需要下载很多第三方源码

 

未完待续。。。

转载请注明出处: http://www.julyme.com/20210611/112.html

发表评论

全部评论:0条

Julyme

感觉还行吧。

Julyme的IT技术分享



/sitemap