博客
关于我
pg_bulkload
阅读量:388 次
发布时间:2019-03-05

本文共 2133 字,大约阅读时间需要 7 分钟。

作者:瀚高PG实验室 (Highgo PG Lab)- 天蝎座

[highgo@hgdb ~]$ pg_config |grep CONFIGCONFIGURE = '--prefix=/opt/HighGo/db/hgdb4_enterprise' '--enable-nls=zh_CN zh_TW' '--with-perl' '--with-python' '--without-tcl' '--without-gssapi' '--without-pam' '--with-ldap' '--without-bonjour' '--with-openssl' '--with-libxml' '--with-libxslt' '--enable-thread-safety' '--with-zlib' '--without-selinux' '--with-ossp-uuid' '--with-pgport=5866' '--with-hgdb-extra-version=Enterprise Edition' 'LDFLAGS=-llber'highgo=# \d myt             Table "public.myt" Column |         Type          | Modifiers --------+-----------------------+----------- id     | integer               |  nm     | character varying(20) | highgo=# \! head /tmp/file.csv1,Fa,Shighgo=# truncate myt;TRUNCATE TABLEhighgo=# copy myt from '/tmp/file.csv' with csv;ERROR:  22P02: invalid input syntax for integer: "a"CONTEXT:  COPY myt, line 2, column id: "a"highgo=# select * from myt; id | nm ----+----(0 rows)

报错以后发现,第二行出错了,之前的行也看不到数据。

如果在大量的数据copy时,假如出现问题,那么整个copy过程都是失败的,
并且数据实际占用磁盘空间,但是无法访问。
如果我们想继续加载过程而忽略错误,可以使用pg_bulkload工具。

highgo=# create extension pg_bulkload;CREATE EXTENSIONhighgo=# select * from pg_available_extensions where name='pg_bulkload';    name     | default_version | installed_version |                             comment                             -------------+-----------------+-------------------+------------------------------------------------ pg_bulkload | 1.0             |                   | pg_bulkload is a high speed data loading utility for PostgreSQL(1 row)highgo=# create extension pg_bulkload;CREATE EXTENSION[highgo@hgdb ~]$ cat /tmp/file.ctl TYPE = CSVINPUT = /tmp/file.csv			  DELIMITER=","                     #分隔符TABLE = myt         LOGFILE = /tmp/blk.log			  #日志文件PARSE_BADFILE = /tmp/parse.csv    #坏数据记录[highgo@hgdb ~]$ pg_bulkload /tmp/file.ctl -d highgoNOTICE: BULK LOAD STARTNOTICE: BULK LOAD END	0 Rows skipped.	1 Rows successfully loaded.	1 Rows not loaded due to parse errors.	0 Rows not loaded due to duplicate errors.	0 Rows replaced with new rows.WARNING: some rows were not loaded due to errors.[highgo@hgdb ~]$ more /tmp/parse.csva,S

转载地址:http://oiowz.baihongyu.com/

你可能感兴趣的文章
Mysql学习总结(46)——8种常被忽视的SQL错误用法
查看>>
Mysql学习总结(48)——MySql的日志与备份还原
查看>>
Mysql学习总结(49)——从开发规范、选型、拆分到减压
查看>>
Mysql学习总结(4)——MySql基础知识、存储引擎与常用数据类型
查看>>
Mysql学习总结(50)——Oracle,mysql和SQL Server的区别
查看>>
Mysql学习总结(51)——Linux主机Mysql数据库自动备份
查看>>
Mysql学习总结(52)——最全面的MySQL 索引详解
查看>>
Mysql学习总结(53)——使用MySql开发的Java开发者规范
查看>>
Mysql学习总结(54)——MySQL 集群常用的几种高可用架构方案
查看>>
Mysql学习总结(55)——MySQL 语句大全再温习
查看>>
Mysql学习总结(56)——MySQL用户管理和权限设置
查看>>
Mysql学习总结(57)——MySQL查询当天、本周、本月、上周、本周、上月、距离当前现在6个月数据
查看>>
Mysql学习总结(58)——深入理解Mysql的四种隔离级别
查看>>
Mysql学习总结(59)——数据库分库分表策略总结
查看>>
Mysql学习总结(5)——MySql常用函数大全讲解
查看>>
Mysql学习总结(60)——并发量大、数据量大的互联网业务数据库设计规范总结
查看>>
Mysql学习总结(61)——MySQL优化之DBA级优化整理汇总
查看>>
Mysql学习总结(62)——MySQL连接com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link问题
查看>>
Mysql学习总结(63)——Mysql数据库架构方案选择与分析
查看>>
Mysql学习总结(64)——Mysql配置文件my.cnf各项参数解读
查看>>