IDEA 中运行 Hadoop/Spark 程序报错 - Could not locate executable null\bin\winutils.exe in the Hadoop binaries

IDEA 中运行 Hadoop/Spark 程序报错 - Could not locate executable null\bin\winutils.exe in the Hadoop binaries

Windows 的 IDEA 中运行 Spark 程序总是报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 要怎么解决呢？

如题，在 Windows 系统下，通过 IDEA 等开发工具运行 Hadoop / Spark 任务，报错如下： java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 可通过下述方式尝试解决： 1）到这里 下载和你的 Hadoop 版本对应的工具所在的整个目录，比如 hadoop-3.2.0； 2）在本机创建不包含中文和空格的目录（比如 D:\software\hadoop）； 3）把下载的文件中的 winutils.exe 拷贝到上述文件夹中； 4）在代码中设置环境变量： System.setProperty("hadoop.home.dir", "file:///D:/software/hadoop/"); 5）创建临时目录（如 D:\data\hadoop_tmp），并给予 777 权限； 7）Spark Session 中加入下述配置： .config("spark.sql.warehouse.dir", "file:///D:/data/hadoop_tmp") 再来运行，看还有没有报错吧：-

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。