1. 項目概述為什么要在Windows上折騰Hadoop如果你和我一樣主要工作環(huán)境是Windows但又需要學習、測試或者開發(fā)基于Hadoop的大數(shù)據(jù)應用那么直接在Windows上安裝一個單機版的Hadoop就成了一個繞不開的“必修課”。很多人一聽到Hadoop第一反應就是Linux集群覺得在Windows上搞這個純屬自找麻煩。但說實話對于絕大多數(shù)開發(fā)者、學生或者數(shù)據(jù)分析師來說我們需要的并不是一個生產級別的、多節(jié)點的高可用集群而是一個能在本機快速搭建、用于代碼調試、功能驗證和學習原理的沙箱環(huán)境。Hadoop 3.1.3是一個比較經典的穩(wěn)定版本雖然現(xiàn)在有更新的3.2.x、3.3.x但3.1.3的文檔和社區(qū)資源非常豐富踩坑時更容易找到解決方案對于入門和日常開發(fā)測試來說完全夠用。在Windows上安裝它核心目的就是模擬一個完整的Hadoop運行環(huán)境讓你能夠運行MapReduce程序、操作HDFS文件系統(tǒng)甚至跑一跑Hive、Spark on YARN等上層應用而無需額外準備Linux服務器或虛擬機極大提升了學習和開發(fā)前期的效率。當然Windows并非Hadoop的原生支持平臺所以整個過程會涉及到一些“非標準”操作比如需要借助一些工具來提供Linux環(huán)境下的基礎服務。別擔心我會把每一步的原理、可能遇到的坑以及我的解決經驗都詳細拆解出來。只要你跟著步驟走保持耐心在Windows 10或Windows 11上成功跑起Hadoop 3.1.3是完全可以實現(xiàn)的。整個過程我們追求的不是極致的性能而是環(huán)境的可用性、穩(wěn)定性和可復現(xiàn)性。2. 核心思路與前置準備模擬Linux環(huán)境是關鍵在Linux上安裝Hadoop相對直接因為其底層依賴如Shell環(huán)境、文件系統(tǒng)權限、原生庫都是現(xiàn)成的。而在Windows上我們需要一個“橋梁”來滿足這些依賴。主流方案有兩種使用Cygwin或使用Windows Subsystem for Linux (WSL)。我這里強烈推薦并詳細講解基于WSL的方案因為它更接近原生Linux性能損耗小且與Windows系統(tǒng)集成度更高管理起來更方便。2.1 方案選型為什么是WSL而不是CygwinCygwin是一個在Windows上模擬POSIX兼容環(huán)境的大型工具集它通過一個兼容層cygwin1.dll將Linux API調用翻譯成Windows API。早期很多在Windows上運行Hadoop的教程都基于Cygwin。但它有幾個明顯缺點性能開銷兼容層帶來了額外的性能損耗。路徑問題Cygwin的路徑如/cygdrive/c/Users與Windows路徑C:\Users需要轉換在配置Hadoop時容易混淆。環(huán)境復雜安裝包龐大需要手動選擇很多開發(fā)包對新手不友好。WSLWindows Subsystem for Linux則是微軟官方提供的、在Windows內核之上運行一個完整的Linux兼容層。WSL 2更是基于輕量級虛擬機技術提供了完整的Linux內核。它的優(yōu)勢在于近乎原生性能文件I/O、網(wǎng)絡等性能接近原生Linux。無縫交互可以直接在Windows資源管理器中訪問Linux文件系統(tǒng)\\wsl$也可以在Linux中通過/mnt/c訪問Windows盤符路徑處理清晰。系統(tǒng)集成好通過wsl命令在Windows終端如Windows Terminal中直接啟動Linux Shell體驗流暢。因此我們的核心思路就是在Windows上啟用WSL 2并安裝一個Linux發(fā)行版如Ubuntu然后在這個Linux子系統(tǒng)中安裝和配置Hadoop。這樣Hadoop實際上是運行在一個“真正的”Linux環(huán)境中只是這個環(huán)境被Windows托管了。2.2 準備工作清單在開始安裝Hadoop之前我們需要確保Windows環(huán)境就緒。請按順序完成以下檢查與安裝操作系統(tǒng)版本確保你的Windows 10版本為2004及以上內部版本19041及以上或者Windows 11。這是支持WSL 2的最低要求?？梢栽凇霸O置”-“系統(tǒng)”-“關于”中查看。啟用WSL功能以管理員身份打開Windows PowerShell或命令提示符運行以下命令。這會啟用“適用于Linux的Windows子系統(tǒng)”和“虛擬機平臺”兩個可選功能。dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart執(zhí)行后務必重啟電腦使更改生效。設置WSL 2為默認版本重啟后再次以管理員身份打開PowerShell運行wsl --set-default-version 2如果提示W(wǎng)SL 2需要內核更新請根據(jù)提示鏈接下載并安裝“WSL2 Linux內核更新包”。安裝Linux發(fā)行版打開Microsoft Store搜索“Ubuntu”。建議選擇最新的LTS版本例如“Ubuntu 22.04 LTS”。點擊獲取并安裝。安裝完成后從開始菜單啟動Ubuntu它會完成初始設置要求你創(chuàng)建用戶名和密碼。這個用戶名和密碼很重要后續(xù)會頻繁使用。驗證WSL版本安裝好Ubuntu后在Windows PowerShell中運行wsl -l -v你應該能看到安裝的發(fā)行版如Ubuntu-22.04及其版本VERSION列應為2。注意如果你的網(wǎng)絡環(huán)境訪問Microsoft Store有困難也可以手動下載Linux發(fā)行版的Appx包進行離線安裝。但通過Store安裝是最簡單的方式。至此你的Windows已經擁有了一個完整的Linux運行環(huán)境。接下來所有的操作除非特別說明都將在WSL中的Ubuntu終端里進行。3. 詳細安裝與配置步驟實錄現(xiàn)在我們進入WSL的Ubuntu環(huán)境開始Hadoop的安裝之旅。打開Windows Terminal推薦或PowerShell輸入wsl或ubuntu命令即可進入Ubuntu命令行。3.1 基礎環(huán)境配置用戶、SSH與JavaHadoop分布式運行需要SSH免密登錄即使單機模式某些腳本也會檢查SSH服務。同時Hadoop是Java編寫的所以JDK是必須的。3.1.1 更新系統(tǒng)與創(chuàng)建Hadoop專用用戶雖然可以使用安裝時創(chuàng)建的個人用戶但為了環(huán)境隔離和避免權限問題我習慣為Hadoop創(chuàng)建一個專用用戶。# 首先更新軟件包列表 sudo apt update sudo apt upgrade -y # 創(chuàng)建名為 hadoop 的用戶并設置密碼按提示輸入 sudo adduser hadoop系統(tǒng)會提示你設置密碼和填寫一些信息密碼可以簡單點如hadoop其他信息可以直接回車跳過。接下來我們需要給這個新用戶添加sudo權限方便后續(xù)安裝軟件sudo usermod -aG sudo hadoop然后切換到hadoop用戶進行操作su - hadoop輸入你剛才設置的密碼。你會發(fā)現(xiàn)命令行提示符的用戶名變成了hadoop。3.1.2 配置SSH免密登錄Hadoop的啟動腳本如start-dfs.sh,start-yarn.sh需要通過SSH連接到各個節(jié)點包括本地來啟動守護進程。配置免密登錄后這些腳本才能無干預運行。# 1. 安裝SSH服務器和客戶端 sudo apt install openssh-server openssh-client -y # 2. 生成SSH密鑰對。一路回車使用默認位置和不設置密碼。 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa # 3. 將公鑰追加到授權密鑰文件并設置正確的權限 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys # 4. 測試SSH連接到本機是否不需要密碼 ssh localhost第一次SSH連接時會詢問是否將主機加入已知主機列表輸入yes。如果配置成功你應該能直接登錄到本機而不需要輸入密碼。執(zhí)行exit命令退出SSH會話回到原來的終端。實操心得如果ssh localhost仍然要求輸入密碼99%的原因是~/.ssh目錄或authorized_keys文件的權限不對。確保.ssh目錄權限為700 (chmod 700 ~/.ssh)authorized_keys文件權限為600。3.1.3 安裝Java (JDK 8)Hadoop 3.1.3官方兼容JDK 8。雖然更高版本也可能工作但為了最大程度避免兼容性問題我們安裝OpenJDK 8。sudo apt install openjdk-8-jdk -y安裝完成后驗證安裝java -version你應該看到類似openjdk version 1.8.0_392的輸出。接下來需要配置JAVA_HOME環(huán)境變量。首先找到JDK的安裝路徑update-alternatives --config java記下路徑例如/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java。那么JAVA_HOME就是其上級目錄的上級目錄/usr/lib/jvm/java-8-openjdk-amd64。編輯hadoop用戶的bash配置文件nano ~/.bashrc在文件末尾添加以下行請根據(jù)你實際查到的路徑修改export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 export PATH$PATH:$JAVA_HOME/bin保存退出CtrlX然后按Y再回車。讓配置立即生效source ~/.bashrc驗證JAVA_HOMEecho $JAVA_HOME應該正確輸出你設置的路徑。3.2 Hadoop 3.1.3 安裝與核心配置3.2.1 下載與解壓我們切換到hadoop用戶的家目錄進行操作。cd ~使用wget從Apache鏡像下載Hadoop 3.1.3二進制包。如果下載速度慢可以先用瀏覽器從 Apache Hadoop官網(wǎng) 找到下載鏈接然后在WSL里用wget加鏈接下載。wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz下載完成后解壓并移動到合適的目錄。我習慣放在/usr/local下但為了權限方便我們先解壓到當前用戶目錄然后建立軟鏈接或直接配置環(huán)境變量。tar -xzvf hadoop-3.1.3.tar.gz mv hadoop-3.1.3 ~/hadoop # 重命名并移動到用戶目錄下方便管理現(xiàn)在Hadoop的主目錄就是/home/hadoop/hadoop。3.2.2 配置環(huán)境變量同樣編輯~/.bashrc文件nano ~/.bashrc在文件末尾添加Hadoop相關環(huán)境變量export HADOOP_HOME/home/hadoop/hadoop export HADOOP_INSTALL$HADOOP_HOME export HADOOP_MAPRED_HOME$HADOOP_HOME export HADOOP_COMMON_HOME$HADOOP_HOME export HADOOP_HDFS_HOME$HADOOP_HOME export YARN_HOME$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin保存退出并使其生效source ~/.bashrc驗證輸入hadoop version應該能看到Hadoop 3.1.3的版本信息。3.2.3 修改Hadoop配置文件最關鍵的一步Hadoop的配置文件位于$HADOOP_HOME/etc/hadoop/目錄下。我們需要修改以下幾個核心文件。請務必仔細核對每項配置。1.hadoop-env.sh配置Hadoop運行環(huán)境。cd $HADOOP_HOME/etc/hadoop nano hadoop-env.sh找到export JAVA_HOME這一行取消注釋并設置為我們之前找到的JDK路徑export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64還可以在同一文件中設置Hadoop的日志目錄等但默認即可。2.core-site.xmlHadoop核心配置定義文件系統(tǒng)默認的URI和臨時目錄。nano core-site.xml在configuration標簽內添加configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value descriptionHDFS的默認訪問地址和端口/description /property property namehadoop.tmp.dir/name value/home/hadoop/hadoopdata/tmp/value descriptionHadoop臨時文件存儲目錄非常重要NameNode和DataNode的數(shù)據(jù)目錄會基于此生成。/description /property /configuration注意hadoop.tmp.dir的路徑需要提前創(chuàng)建并且hadoop用戶要有讀寫權限。我們稍后創(chuàng)建。3.hdfs-site.xmlHDFS相關配置如副本數(shù)、數(shù)據(jù)存儲路徑。nano hdfs-site.xml在configuration標簽內添加。因為是單機模式我們把副本數(shù)設為1并明確指定NameNode和DataNode的數(shù)據(jù)存儲目錄。configuration property namedfs.replication/name value1/value description數(shù)據(jù)塊副本數(shù)量單機模式設為1/description /property property namedfs.namenode.name.dir/name valuefile:///home/hadoop/hadoopdata/dfs/name/value descriptionNameNode元數(shù)據(jù)存儲路徑/description /property property namedfs.datanode.data.dir/name valuefile:///home/hadoop/hadoopdata/dfs/data/value descriptionDataNode數(shù)據(jù)塊存儲路徑/description /property /configuration4.mapred-site.xmlMapReduce框架配置指定使用YARN作為資源調度器。nano mapred-site.xmlconfiguration property namemapreduce.framework.name/name valueyarn/value description指定MapReduce作業(yè)運行在YARN框架上/description /property /configuration5.yarn-site.xmlYARN資源管理器配置。nano yarn-site.xmlconfiguration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value descriptionNodeManager上運行的附屬服務MapReduce需要shuffle服務/description /property property nameyarn.nodemanager.aux-services.mapreduce_shuffle.class/name valueorg.apache.hadoop.mapred.ShuffleHandler/value /property property nameyarn.resourcemanager.hostname/name valuelocalhost/value descriptionResourceManager運行的主機名/description /property /configuration3.2.4 創(chuàng)建必要的目錄并設置權限根據(jù)配置文件中的路徑創(chuàng)建所有需要的目錄mkdir -p ~/hadoopdata/tmp mkdir -p ~/hadoopdata/dfs/name mkdir -p ~/hadoopdata/dfs/data確保hadoop用戶擁有這些目錄的所有權chown -R hadoop:hadoop ~/hadoopdata chmod -R 755 ~/hadoopdata4. 啟動、驗證與基礎操作經過漫長的配置終于到了激動人心的啟動時刻。4.1 格式化HDFS這是第一次啟動前必須且只能執(zhí)行一次的操作它會初始化NameNode的元數(shù)據(jù)存儲目錄。如果后續(xù)啟動失敗需要重新格式化務必先徹底刪除~/hadoopdata/dfs/name和~/hadoopdata/dfs/data目錄下的所有內容否則可能導致數(shù)據(jù)不一致。hdfs namenode -format看到類似 “Storage directory /home/hadoop/hadoopdata/dfs/name has been successfully formatted” 的提示說明格式化成功。4.2 啟動Hadoop守護進程Hadoop提供了便捷的腳本啟動所有服務。我們先啟動HDFS。start-dfs.sh這個腳本會啟動NameNode、DataNode和SecondaryNameNode。你會看到一些啟動日志。用jps命令Java進程查看工具來檢查是否啟動成功jps你應該能看到至少包含NameNode,DataNode,SecondaryNameNode的進程列表。接下來啟動YARNstart-yarn.sh再次運行jps應該會多出ResourceManager和NodeManager進程。4.3 驗證服務與Web UI訪問Hadoop各個組件都提供了Web管理界面這是驗證服務是否正常運行的直觀方式。HDFS NameNode UI: 在Windows的瀏覽器中打開http://localhost:9870。注意Hadoop 3.x 默認NameNode的Web端口從50070改為了9870。如果頁面能打開并顯示Overview、Datanodes等信息說明HDFS啟動成功。YARN ResourceManager UI: 打開http://localhost:8088。這里可以查看集群資源使用情況和提交的作業(yè)。重要提示由于Hadoop服務運行在WSL的Linux環(huán)境中而瀏覽器在Windows端localhost能互通是因為WSL 2做了網(wǎng)絡橋接。如果無法訪問請檢查WSL 2的防火墻設置或者嘗試在WSL內部用curl http://localhost:9870測試服務是否在監(jiān)聽。4.4 基礎HDFS操作體驗現(xiàn)在讓我們在命令行中體驗一下HDFS的基本操作感受一下這個“分布式”文件系統(tǒng)。# 1. 在HDFS上創(chuàng)建一個用戶目錄類似于Linux的/home hdfs dfs -mkdir -p /user/hadoop # 2. 從本地文件系統(tǒng)上傳一個文件到HDFS。先創(chuàng)建一個測試文件。 echo Hello, Hadoop on Windows with WSL! ~/test.txt hdfs dfs -put ~/test.txt /user/hadoop/ # 3. 查看HDFS上的文件列表 hdfs dfs -ls /user/hadoop # 4. 查看HDFS上文件的內容 hdfs dfs -cat /user/hadoop/test.txt # 5. 從HDFS下載文件到本地 hdfs dfs -get /user/hadoop/test.txt ~/test_download.txt cat ~/test_download.txt如果這些命令都能成功執(zhí)行那么恭喜你一個單機版的Hadoop已經在你的Windows上完美運行起來了4.5 運行一個示例MapReduce作業(yè)Hadoop自帶了一些示例JAR包我們可以運行經典的WordCount程序來測試整個MapReduce on YARN的流程是否通暢。# 1. 在HDFS上創(chuàng)建輸入目錄并上傳一些文本文件作為輸入。 # 我們可以用Hadoop的配置文件作為輸入源。 hdfs dfs -mkdir /user/hadoop/input hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /user/hadoop/input/ # 2. 運行WordCount示例程序。 # hadoop-mapreduce-examples-3.1.3.jar 包含了各種示例。 # 指定輸入目錄和輸出目錄輸出目錄必須不存在。 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/hadoop/input /user/hadoop/output # 3. 觀察YARN Web UI (http://localhost:8088)你會看到一個新的應用被提交和運行。 # 等待作業(yè)完成。完成后查看輸出結果。 hdfs dfs -cat /user/hadoop/output/part-r-00000 | head -20你會看到各個單詞及其出現(xiàn)的次數(shù)。至此你的Hadoop環(huán)境已經具備了完整的HDFS存儲和MapReduce計算能力。5. 常見問題與故障排查實錄在WindowsWSL環(huán)境下安裝Hadoop雖然步驟清晰但依然可能遇到一些特有的問題。下面是我在多次安裝中總結的“坑”和解決方案。5.1 WSL相關網(wǎng)絡與權限問題問題1Hadoop Web UI (9870, 8088) 在Windows瀏覽器中無法訪問。排查首先在WSL內部用curl http://localhost:9870測試。如果WSL內能訪問說明服務正常是Windows到WSL的網(wǎng)絡問題。解決獲取WSL 2的IP地址在WSL中運行ip addr show eth0 | grep inet。你會看到一個類似172.x.x.x的IP。在Windows瀏覽器中用這個IP地址替換localhost訪問如http://172.x.x.x:9870。更一勞永逸的方法在WSL中編輯Hadoop配置文件將localhost綁定到0.0.0.0或者直接使用WSL的主機名。但最簡單還是用IP訪問。問題2啟動腳本報錯 “Connection refused” 或 SSH相關錯誤。排查執(zhí)行ssh localhost是否真的免密。檢查~/.ssh目錄權限必須700authorized_keys文件權限必須600。解決確保SSH服務正在運行sudo service ssh status。如果沒運行啟動它sudo service ssh start。還可以將SSH服務設為開機自啟sudo systemctl enable sshWSL 2可能需要額外配置systemd支持。5.2 Hadoop啟動與運行報錯問題3執(zhí)行start-dfs.sh后jps看不到 NameNode 或 DataNode。排查查看日志日志是排錯的生命線。Hadoop的日志默認在$HADOOP_HOME/logs/目錄下。查看最新的對應日志文件如hadoop-hadoop-namenode-主機名.log。常見原因與解決端口被占用Hadoop默認使用9000、9870、50070等端口。用netstat -tlnp | grep :9000查看。如果被占用可以修改core-site.xml中的fs.defaultFS端口或者停止占用端口的程序。目錄權限不足確保hadoop.tmp.dir以及HDFS數(shù)據(jù)目錄dfs.namenode.name.dir,dfs.datanode.data.dir的所屬用戶和組是hadoop并且有讀寫權限。用ls -ld 目錄路徑檢查。多次格式化導致ClusterID不一致如果DataNode的VERSION文件中的clusterID與NameNode的不一致DataNode就無法啟動。解決方法停止所有服務刪除dfs.name.dir和dfs.data.dir目錄下的所有內容重新格式化NameNode (hdfs namenode -format)再啟動。問題4運行MapReduce作業(yè)失敗YARN Web UI顯示作業(yè)狀態(tài)為 FAILED。排查點擊失敗的應用ID進入應用詳情頁查看Logs鏈接特別是stderr和syslog。常見原因內存不足WSL默認分配的內存可能較小?？梢栽赪indows用戶目錄下的.wslconfig文件如C:\Users\你的用戶名\.wslconfig中增加內存限制[wsl2] memory4GB # 根據(jù)你的機器情況調整建議至少4G processors2修改后在PowerShell中執(zhí)行wsl --shutdown關閉WSL再重新打開。本地庫Native Library問題某些Hadoop功能依賴本地庫。可以嘗試在$HADOOP_HOME/etc/hadoop/hadoop-env.sh中添加export HADOOP_OPTS-Djava.library.path$HADOOP_HOME/lib/native?；蛘咧苯雍雎詫τ诨AWordCount影響不大。5.3 日常使用與維護技巧停止服務與啟動腳本對應使用stop-yarn.sh和stop-dfs.sh來優(yōu)雅地停止服務。重置環(huán)境如果你想從頭再來最干凈的方式是停止所有Hadoop進程。刪除Hadoop數(shù)據(jù)目錄rm -rf ~/hadoopdata刪除Hadoop安裝目錄如果你想重裝rm -rf ~/hadoop重新解壓、配置、格式化、啟動。資源清理長期使用后HDFS會存儲數(shù)據(jù)MapReduce作業(yè)會產生中間文件。定期清理不用的數(shù)據(jù)hdfs dfs -rm -r /user/hadoop/output刪除輸出目錄。對于YARN的作業(yè)歷史日志可以配置日志聚合并設置保留時間。在Windows上通過WSL運行Hadoop本質上是在一個高度集成的Linux容器中運行它。這帶來了近乎原生的體驗同時又保留了Windows主系統(tǒng)的便利性。對于學習、開發(fā)和輕量級測試而言這套方案已經非常成熟和可靠。最大的挑戰(zhàn)往往來自于最初的環(huán)境配置和網(wǎng)絡設置一旦跨過這個坎后面就是海闊天空。