Could not buffer record
2015-10-04 08:49
756 查看
1.1.1. Could
not buffer record
在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小1.1.1. 数据库àHDFS
sqoop import --connect jdbc:mysql://192.168.56.204:3306/sqoop --username hive --password hive --table jobinfo --target-dir/sqoop/test5 --inline-lob-limit 16777216 --fields-terminated-by '\t' -m 1
sqoop export --connect "jdbc:mysql://192.168.56.204:3306/sqoop?useUnicode=true&characterEncoding=utf-8" --username hive --password
hive --table jobinfo2 --export-dir /sqoop/test --input-fields-terminated-by '\t'
1.1.2. Packet
for query is too large (1136885 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.
有时候大的插入和更新会受max_allowed_packet 参数限制,导致写入或者更新失败。查看目前配置
show VARIABLES like '%max_allowed_packet%';
显示的结果为:
+--------------------+---------+
| Variable_name | Value |
+--------------------+---------+
| max_allowed_packet | 1048576 |
+--------------------+---------+
以上说明目前的配置是:1M
修改方法
修改方法
1、修改配置文件
可以编辑my.cnf来修改(windows下my.ini),在[mysqld]段或者mysql的server配置段进行修改。
max_allowed_packet = 20M
如果找不到my.cnf可以通过
mysql --help | grep my.cnf
去寻找my.cnf文件。
linux下该文件在/etc/下。
2、在mysql命令行中修改
在mysql 命令行中运行
set global max_allowed_packet = 2*1024*1024*10
然后退出命令行,重启mysql服务,再进入。
show VARIABLES like '%max_allowed_packet%';
查看下max_allowed_packet是否编辑成功
注意:该值设置过小将导致单个记录超过限制后写入数据库失败,且后续记录写入也将失败。
相关文章推荐
- ByteBuffer写入数组BufferUnderflowException异常
- A configuration error occurred during startup.Please verify the preference filed with the prompt
- hadoop异常“could only be replicated to 0 nodes, instead of 1” 解决
- javascript类型转化加法就不会直接字符相加了
- CSS before和after伪元素
- 用javascript实现五子棋(二)
- 读jQuery官方文档:$(document).ready()与避免冲突
- [LeetCode] Game of Life
- 用javascript实现五子棋(一)
- css best practice for big team and project
- jquery 实现输入邮箱时自动补全下拉提示功能
- jQuery插件Timelinr 实现时间轴特效
- javascript日期格式化方法汇总
- 推荐10 个很棒的 jQuery 特效代码
- HTML5概述
- 初学javascript
- USACO 2.4 Overfencing (BFS)
- CSS样式----图文详解:css样式表和选择器
- React Native实战(二):Android的打包
- 【nodemailer】之 work with mustache