大数据迁移

由于服务器调整,需要把服务器A上面约2T的数据库表空间文件迁移到同网段的另一台服务器B。

具体来说,就是N个32G的表空间文件(注意,是单个文件32G)

局域网传输文件的工具很多,但是没想到的是,一旦处理起这么大的文件,基本全部歇菜。。

先试了FeiQ,传输速度是很快,1000M网卡下速度可以达到90M/s,但是,文件传输到5280M的时刻就出错了,试了N次也不行。

然后在服务器B上架上FTP服务,在A上面用FTP软件往上上传,但是FTP软件看到这么大的单文件也歇菜了,连文件大小都显示成了负的。。。

最后只能想到一招,FastCopy了。

也就是,在服务器B上将目地文件夹共享,然后在服务器A中将其映射为一个网络驱动器,再使用FastCopy进行拷贝就可以了。

最终按此办法测试成功,2T的数据花了将近一天的时间终于拷贝完成。

看来还是FastCopy靠谱啊。

而且,据以往的经验,拷贝单个超过10G左右的文件,系统在处理时就会报错,具体表现就是拷贝进行一段后报告内存不足什么的。

这就只能使用FastCopy了。当然,类似的软件不止这一款,不过据权威测评,FastCopy的表现是最好的,而且它是免费的!!!

强烈推荐~  以上~~

时间: 01-26

大数据迁移的相关文章

利用Tsunami UDP将大数据迁移至云中

当你的数据规模达到PB级别的时候,想要移动这样大规模数据时就会变的费时费力,这也是企业在利用AWS规模化和弹性优势处理分析任务时面临的最大挑战之一.本文主要介绍了加速文件传输协议,谈到如何利用Tsunami DUP实现将大规模数据迁移到云中,其中利用UDP处理数据传输,TCP负责连接控制. 值得一提的是,与SCP.FTP或者HTTP等纯粹基于TCP的协议不同,这些混合型UDP/TCP协议处理数据的吞吐量更加出色,它可以充分利用当前的可用带宽的情况下,不易受到网络延迟的影响,这些特性使其成为远距离

大数据迁移之DRBD扩容

扩容主/备物理数据盘: [[email protected] ~]# drbdadm down data [[email protected] ~]# mount /dev/sdb1 /mnt/ [[email protected] ~]# df -h Filesystem      Size  Used Avail Use% Mounted on /dev/sda3       7.2G  1.9G  5.0G  28% / tmpfs           242M     0  242M  

Tsunami 跨机房大数据迁移【ubuntu】

一.Tsunami 安装 1.首先确保系统已经安装automake和autoconfapt-get install automake autoconf (linux 系统:yum -y install automake autoconf ) git clone git://github.com/rriley/tsunami-udp.git cd tsunami-udp ./recompile.sh (在ubuntu 构建出错,原因是automake失敗了.需要修改recompile.sh把aut

oracle 的一个大数据表 快速迁移到 Sqlserver2008数据库

"-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> oracle 的一个大数据表 快速迁移到 Sqlserver2008数据库 - HappyBinhaer的专栏 - 博客频道 - CSDN.NET HappyBinhaer的专栏 目录视图 摘要视图 订阅 [活动]2017 CSDN博客专栏评选 &nbsp [5月书讯

大数据平台Hive数据迁移至阿里云ODPS平台流程与问题记录

一.背景介绍 最近几天,接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务.而申请的这个ODPS平台是属于政务内网的,因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的,所以不能使用数据采集工作流模板. 然而,考虑到原大数据平台数据量并不是很大,可以通过将原大数据平台数据导出到CSV文件,然后再将CSV文件导入到ODPS平台.在这个过程中踩的坑有点多,所以想写篇文档作为记录. 二.大数据平台Hive数据导出到本地 编写export_data.sh脚本如下: #!/

细说Mammut大数据系统测试环境Docker迁移之路

欢迎访问网易云社区,了解更多网易技术产品运营经验. 前言 最近几个月花了比较多精力在项目的测试环境Docker迁移上,从最初的docker"门外汉"到现在组里的同学(大部分测试及少数的开发)都可以熟练地使用docker环境开展测试工作,中间也积累了一些经验和踩过不少坑,借此2017复盘的机会,总结一下整个环境的搭建过程,希望可以给其他有志于向docker迁移的项目提供些许参考,同时也想跟其他docker的老司机们一起探讨改进方式. Docker迁移的必要性 这篇文章不对docker的基

大数据快速迁移案例以及HA整合DRDB实战

01-企业级实战案例-20T以上级别数据迁移实战演示_1 01-企业级实战案例-20T以上级别数据迁移实战演示_2 02-企业级实战案例-20T以上级别数据迁移后感想 03-企业级实战案例-20T以上级别数据迁移解答学生问题 04-调试heartbeat到正常环境准备 05-heartbeat控制drbd的原理及实践深度讲解 06-heartbeat控制drbd实践及切换深度实战及结论总结_1 06-heartbeat控制drbd实践及切换深度实战及结论总结_2 06-heartbeat控制dr

Mysql(三) ------数据迁移备份(针对数据量很大的情况)

新跳槽了一家公司,上来就是数据库调优和数据迁移.调优那部分后面再补上来.公司目前用的是5.1的数据库,很老了,而且随着业务的发展需要做读写分离和主从复制.想把所有的数据都挪到新库上去.但这个库大概有60G的数据.主要思路: 1.创建用户,并授权 2.搭建主从,做到主从同步,数据目前先保持一致,在切换主从同步切换ipMysql5.1已有数据量了,为保证数据的一致性.故需要锁库,等数据导入后再解锁 3.需要注意从库和主库的引擎,字符集show variables like 'character_se

每年为联想省去一个亿 ——Talend大数据解决方案实例

联想公司是一家价值 340 亿美金的个人技术公司和世界上最大的个人电脑供应商.一个企业组织如何构建其愿景.团队和平台以便于更了解其客户的特征是联想面临的最大问题. 2013年, 联想需要将所有数据管理从他们的外包供应商迁移出去.没有预算,没有团队, 没有平台, 联想必须从零开始. 挑战 什么特定产品具有最大的获利能力? 我们应该展示的产品的正确配置是什么? 价格促销及相应竞争是什么? 哪些客户受营销策略的影响并有可能改变他们的采购? 不同组的用户体验的区别是什么? 在他们放弃现有购物车中选定的产