可视化/数字孪生专业社区
资源中心
问答
文章
实用工具
ByteVCharts
开源中台
申请建模
申请帮助
登录
注册
申请协助
此单为
付费
协助
×
为协助帮威客用户快速入门,帮威客平台可损供用户特定项目的框架代码开发服务。该服务可为用户快速构建符合项目基本需求的3D可视化框架代码资源(包括源码、3D模型、贴图、数据等),用户的技术团队可在此基础上快速上手,大幅提高3D可视化项目成功基础。
预算金额
公司名称
联系人
微信号
手机号码
提交申请
申请协助
此单为
付费
协助
×
为协助帮威客用户快速入门,帮威客平台可损供用户特定项目的框架代码开发服务。该服务可为用户快速构建符合项目基本需求的3D可视化框架代码资源(包括源码、3D模型、贴图、数据等),用户的技术团队可在此基础上快速上手,大幅提高3D可视化项目成功基础。
预算金额
公司名称
联系人
微信号
手机号码
提交申请
业务咨询
开发咨询
微信咨询
杜老师
黄老师
熊老师
支付信息
×
购买文章
Hadoop
订单金额
¥
0
实付金额
¥
0
我已阅读并同意ByteV组件购买协议
取消
提交订单
支付宝支付
微信支付
提交订单
0
点赞
0
评论
收藏
分享
举报
Hadoop
young
关注
已关注
0
0
0
1656
发表于 2020-06-23 13:49:17
后端技术-Hadoop ByteV做为一个开源的可视化操作平台,编辑器中使用到的组件涉及了大量的文件操作,因此在后端使用了Hadoop分布式文件系统(HDFS)技术对文件进行操作,而为什么选择Hadoop,就要讲到其几大特点: 1. 支持海量数据的存储:一般来说,HDFS存储的文件可以支持TB和PB级别的数据。 1. 流式数据访问:HDFS不能做到低延迟的数据访问,但是HDFS的吞吐量大,Hadoop适用于处理离线数据,不适合处理实时数据。HDFS的数据处理规模比较大,应用一次需要大量的数据,同时这些应用一般都是批量处理,而不是用户交互式处理。应用程序能以流的形式访问数据库。主要的是数据的吞吐量,而不是访问速度。 1. 简化的一致性模型:对于外部使用用户,不需要了解hadoop底层细节,比如文件的切块,文件的存储,节点的管理。一个文件存储在HDFS上后,适合一次写入,多次读取的场景。因为存储在HDFS上的文件都是超大文件,当上传完这个文件到hadoop集群后,会进行文件切块,分发,复制等操作。 1. 高容错性:数据自动保存多个副本,副本丢失后自动恢复。可构建在廉价的机器上,实现线性扩展。当集群增加新节点之后,namenode也可以感知,将数据分发和备份到相应的节点上。 1. 商用硬件:Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件(在各种零售店都能买到的普通硬件)的集群上的,因此至少对于庞大的集群来说,节点故障的几率还是非常高的。HDFS遇到上述故障时,被设计成能够继续运行且不让用户察觉到明显的中断。 再简单说连个使用过程常遇到的问题及解决方案: 问题一:namenode -format命令重复使用,导致Hadoop启动不成功 解决方案: 1. 生成的data文件中/hadoop/hdfs/data/current下和/hadoop/hdfs/name/current下ID不一致,手动将data目录下文件中的VERSION中的clusterID改为**name**目录下文件中的VERSION中的clusterID,一定要保持一致。 1. 找到core-site.xml中data配置地址,删除date文件夹,使用namenode-format命令,生成新data文件,并重新启动本地hadoop即可使用. 问题二:远程hadoop服务器连接失败,报:org.apache.hadoop.ipc.RemoteException异常 解决方案: 1. 确认服务器是否支持外网连接 1. 查看是否关闭防火墙
点击查看更多
全部评论
登录
|
注册
关于作者
young
TA的个人主页
关注
已关注
文章
5
粉丝
0
获赞
0
评论
0
访问
7943
Hadoop
Spring Data JPA 常用注解
HttpSecurity初步理解
Redis简介
Java小技巧
推荐文章
ThreeJS 轮廓线特效 OutLinePath
(3)、React中使用ECharts——柱状图
31个惊艳的数据可视化作品,让你感受“数据之美”!
防抖节流
创建海洋特效组件 THREEJS 海洋效果 Shader实现
文章目录
文章分享
×
扫一扫分享
复制链接