浦发银行大数据库表备份设计思路(数据泵)
2016-07-11 14:39
302 查看
经常会遇到数据量很大的业务表导入导出时把数据库导挂的情况,利用oracle特性可以有效解决。
备份须知:检测表空间大小,预估导出文件大小,注意修改用户、导出文件路径等,考虑到数据量较大,建议分两步导出;
检查生产用户【XXX】表空间大小及所剩空间大小,避免备份时磁盘空间不足,下一步建立导出文件夹【expdb_oradata】要大于导出文件的大小。
建立导出文件夹【expdb_oradata】注意修改文件路径
使用数据泵导出数据库 注: XXX 用户名 ,MMM 密码 , NNN 数据库实例;
这里分两笔导出,第一笔数据量较小(采用排除业务数据较大的表),第二笔较大 注意修改命令文件名
第一笔 排除大数据量的表
第二笔 导出大数据量的表
备份须知:检测表空间大小,预估导出文件大小,注意修改用户、导出文件路径等,考虑到数据量较大,建议分两步导出;
检查生产用户【XXX】表空间大小及所剩空间大小,避免备份时磁盘空间不足,下一步建立导出文件夹【expdb_oradata】要大于导出文件的大小。
<span style="font-size:18px;">select a.tablespace_name, a.bytes / 1024 / 1024 "Sum MB", (a.bytes - b.bytes) / 1024 / 1024 "used MB", b.bytes / 1024 / 1024 "free MB", round(((a.bytes - b.bytes) / a.bytes) * 100, 2) "percent_used" from (select tablespace_name, sum(bytes) bytes from dba_data_files group by tablespace_name) a, (select tablespace_name, sum(bytes) bytes, max(bytes) largest from dba_free_space group by tablespace_name) b ,dba_users where a.tablespace_name = b.tablespace_name and dba_users.USERNAME='XXX' and dba_users.default_tablespace=a.tablespace_name;</span>
建立导出文件夹【expdb_oradata】注意修改文件路径
<span style="font-size:18px;">create directory dump_dir as '/home/oracle/expdb_oradata'; </span>给用户赋目录操作权限
<span style="font-size:18px;">grant read, write on directory dump_dir to XXX;</span>
使用数据泵导出数据库 注: XXX 用户名 ,MMM 密码 , NNN 数据库实例;
这里分两笔导出,第一笔数据量较小(采用排除业务数据较大的表),第二笔较大 注意修改命令文件名
第一笔 排除大数据量的表
<span style="font-size:18px;">expdp XXX/MMM@NNN DIRECTORY=dump_dir DUMPFILE=PEPP_BFS_SPDB_20160701_A.dmp LOGFILE=exp_tab_test.log exclude=table:"in('COM_MESSAGE_IN','COM_MESSAGE_OUT','BFS_TRX_TRANSACTION','BFS_IPP_TRX_LOG','BFS_BILL_STATEMENT','BFS_BANK_VOUCHER','BFS_BANK_VOUCHER_DTL')";</span>
第二笔 导出大数据量的表
<span style="font-size:18px;">expdp XXX/MMM@NNN DIRECTORY=dump_dir DUMPFILE=PEPP_BFS_SPDB_20160701_B.dmp LOGFILE=exp_tab_test.log TABLES=COM_MESSAGE_IN,COM_MESSAGE_OUT,BFS_TRX_TRANSACTION,BFS_IPP_TRX_LOG,BFS_BILL_STATEMENT,BFS_BANK_VOUCHER,BFS_BANK_VOUCHER_DTL;</span>
相关文章推荐
- 康诺云推出三款智能硬件产品,为健康管理业务搭建数据池
- MySQL中使用innobackupex、xtrabackup进行大数据的备份和还原教程
- oracle 数据泵导入导出介绍
- Oracle数据泵(Data Dump)使用过程当中经常会遇到一些奇奇怪怪的错误案例
- php+ajax导入大数据时产生的问题处理
- C# 大数据导出word的假死报错的处理方法
- 用Python实现协同过滤的教程
- Python利用多进程将大量数据放入有限内存的教程
- mongodb常遇到的错误。
- Stack数据结构的特点后进先出的应用:大数据运算
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- Spark机器学习(二) 局部向量 Local-- Data Types - MLlib
- Spark机器学习(三) Labeled point-- Data Types
- YARN或将成为Hadoop新发力点
- Hadoop 1.x版本伪单机配置
- Glusterfs的编译选项 #pragma GCC poison system popen
- Python 大数据思维导图
- Spark HA部署方案
- Spark HA原理架构图
- HADOOP的HA部署方案