hadoop

hadoop

如何在写入hive orc表时合并spark中的小文件

我正在从s3读取csv文件并将其作为orc写入hive表。在写作时，它写的是很多小文件。我需要合并所有这些文件。我有以下属性集： spark.sql("SET hive.merge.sparkfiles = true") spark.sql("SET hive.merge.mapredfiles

5年前 129

hadoop

Hadoop学习笔记—Yarn

首页专栏 hadoop 文章详情 0 Hadoop学习笔记—Yarn 西北偏北发布于 4 月 10 日 Hadoop学习笔记—Yarn @(Hadoop)[hadoop, yarn] [TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些H

4年前 50

hadoop

使用spark-submit部署程序时的java.lang.NoSuchMethodError

我正在编写一个程序来将数据上传到某个s3a：//链接。该计划是通过mvn install编制的。在本地运行程序（如使用java -jar jarfile.jar）没有返回任何错误。但是，当我使用spark-submit（如使用spark-submit jarfile.jar）时，它返回了这样的错误：

6年前 50

hadoop

你如何检查dfs中的目录

我在dfs中创建了一个名为/ foodir的目录来测试，如下所示： hadoop dfs -mkdir /foodir 有人能告诉我这个/美食家在哪里保存了吗？我该如何查看路径？我需要确保它不会保存在本地文件系统/ tmp下，因为每次重启服务器/ tmp都会被删除。任何想法如何检查服务器文件系统

6年前 61

hadoop

Hadoop学习笔记—HDFS

首页专栏 hadoop 文章详情 0 Hadoop学习笔记—HDFS 西北偏北发布于 4 月 3 日 [TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问

4年前 43

hadoop

livy 安装并集成kerberos

使用原因：因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。版本说明: Livy版本0.7 spark版本CDH6.2-spark2.4 安装（1）下载apache livy 下载地址：https://github.com/apache/incubator-l

5年前 55

hadoop

Hadoop是否会被Spark取代？Hadoop生态组件原理解析

首页专栏数据库文章详情 1 Hadoop是否会被Spark取代？Hadoop生态组件原理解析录信数软发布于 4 月 19 日 Hadoop和Spark都是目前主流的大数据框架，但是随着Spark在速度和易用性方面表现出的优势，一些国内外专家逐渐推崇S

4年前 27

hadoop

HBase到底是列式存储还是行式存储？

逻辑概念上，数据库表是一种二维的数据结构，具有行和列。但在内存、磁盘等物理存储上，数据一般是需要线性顺序组织的。所以为了存储数据库表中的数据，有了两种常见的组织方式：基于行的存储和基于列的存储。基于行的存储，是将整行数据连续存在一起。在基于行存储的表中，即使只需要读取指定列时，也需要先将对应行的数

5年前 35

hadoop

hadoop 在 termux 安装配置的问题

首页专栏机器学习文章详情 0 hadoop 在 termux 安装配置的问题 Mikele 发布于 3 月 29 日在安卓手机安装使用 hadoop 遇到的问题由于新的 termux 在安卓 10 安装不了 Java ，所以在 termux 里安装了

4年前 26

hadoop

Hadoop“Permission denied（publickey，password，keyboard-interactive）”警告

我正在关注this教程，以便在我的计算机中安装Hadoop。完成安装后，当我尝试使用此命令./start-dfs.sh启动Hadoop时，它返回以下内容： U:sbin U$ ./start-dfs.sh Starting namenodes on [localhost] localhost: U@

6年前 646