一、環(huán)境準備
1.CentOS配置
最好是用新克隆的虛擬機 ，虛擬機內存設置大一點（我設置的4G），配置網(wǎng)絡，主機名，關閉防火墻，關閉selinux
注意：采用root角色編譯，減少文件夾權限出現(xiàn)問題
2.jar包準備(hadoop源碼、JDK8、maven、ant 、protobuf)
（1）hadoop-2.7.2-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的）
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz（序列化的框架）
3.jar包安裝（注意：所有操作必須在root用戶下完成）
JDK
1.解壓
tar -zxf jdk-8u141-linux-x64.tar.gz -C /export/compile
2.配置環(huán)境變量
|
1
2
3
|
vim /etc/profileexport JAVA_HOME=/export/compile/jdk1.8.0_141export PATH=$PATH:$JAVA_HOME/bin |
3.更新profile文件
source /etc/profile
4.驗證安裝是否成功
驗證命令：jps 出現(xiàn)jps進程表示安裝配置成功
2.Maven
1.解壓&重命名
|
1
2
|
tar -zxf apache-maven-3.0.5-bin.tar.gz -C /export/compilemv /export/compile/apache-maven-3.0.5-bin.tar.gz /export/compile/maven |
2.修改配置文件
vim /export/compile/maven/conf/settings.xml
添加阿里云鏡像地址：
|
1
2
3
4
5
6
7
8
|
<mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror></mirrors> |
3.配置環(huán)境變量
|
1
2
3
|
vim /etc/profileexport MAVEN_HOME=/export/compile/mavenexport PATH=$PATH:$MAVEN_HOME/bin |
4.更新profile文件
source /etc/profile
5.驗證安裝是否成功
驗證命令：mvn -version 出現(xiàn)版本信息表示安裝成功
3.ant
1.解壓&重命名
|
1
2
|
tar -zxf apache-ant-1.9.9-bin.tar.gz -C /export/compilemv apache-ant-1.9.9 ant |
2.配置環(huán)境變量
|
1
2
3
|
vim /etc/profileexport ANT_HOME=/export/compile/antexport PATH=$PATH:$ANT_HOME/bin |
3.更新profile文件
source /etc/profile
4.驗證安裝是否成功
驗證命令：ant -version 出現(xiàn)版本信息表示安裝成功
4.glibc-headers
|
1
2
|
yum -y install glibc-headersyum -y install gcc-c++ |
5.make和cmake
|
1
2
|
yum -y install makeyum -y install cmake |
6.protobuf
1.解壓&重命名&進入protobuf根目錄
|
1
2
3
|
tar -zxf protobuf-2.5.0.tar.gz -C /export/compilemv protobuf-2.5.0/ protobufcd /export/compile/protobuf |
2.依次執(zhí)行如下命令
1 ./configure
2 make
3 make check
4 make install
5 ldconfig
3.配置環(huán)境變量
|
1
2
3
|
vim /etc/profileexport LD_LIBRARY_PATH=/export/compile/protobufexport PATH=$PATH:$LD_LIBRARY_PATH |
4.更新profile文件
source /etc/profile
5.驗證安裝是否成功
驗證命令：protoc --version 出現(xiàn)版本信息表示安裝成功
7.安裝openssl庫
yum -y install openssl-devel
8.安裝 ncurses-devel庫
yum -y install ncurses-devel
二、編譯源碼
1.解壓
tar -zxf hadoop-2.7.2-src.tar.gz -C /export/compile
2.進入hadoop源碼主目錄
/export/compile/hadoop-2.7.2-src
3.通過maven執(zhí)行編譯命令
mvn package -Pdist,native -DskipTests -Dtar
4.然后就是漫長的等待...（大約等待時間30分鐘左右，最終成功是全部SUCCESS，如下圖所示）
5.成功的64位hadoop包在/export/compile/hadoop-2.7.2-src/hadoop-dist/target目錄下
三、編譯源碼過程中常見的問題及解決方案
（1）MAVEN install時候JVM內存溢出
原因以及處理方式：在環(huán)境配置文件和maven的執(zhí)行文件均可調整MAVEN_OPT的heap大小。
（詳情查閱MAVEN 編譯 JVM調優(yōu)問題，如：http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method）
（2）編譯期間maven報錯
原因以及處理方式：可能網(wǎng)絡阻塞問題導致依賴庫下載不完整導致，多次執(zhí)行命令（一次通過比較難）：
mvn package -Pdist,nativeN -DskipTests -Dtar
（3）報ant、protobuf等錯誤
原因以及處理方式：插件下載未完整或者插件版本問題，最開始鏈接有較多特殊情況。
總結
到此這篇關于Hadoop2.7.2 編譯64位源碼的文章就介紹到這了,更多相關Hadoop 編譯源碼內容請搜索服務器之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持服務器之家！
原文鏈接：https://blog.csdn.net/qq_43733123/article/details/104534926
