博客
关于我
pg_bulkload
阅读量:388 次
发布时间:2019-03-05

本文共 2133 字,大约阅读时间需要 7 分钟。

作者:瀚高PG实验室 (Highgo PG Lab)- 天蝎座

[highgo@hgdb ~]$ pg_config |grep CONFIGCONFIGURE = '--prefix=/opt/HighGo/db/hgdb4_enterprise' '--enable-nls=zh_CN zh_TW' '--with-perl' '--with-python' '--without-tcl' '--without-gssapi' '--without-pam' '--with-ldap' '--without-bonjour' '--with-openssl' '--with-libxml' '--with-libxslt' '--enable-thread-safety' '--with-zlib' '--without-selinux' '--with-ossp-uuid' '--with-pgport=5866' '--with-hgdb-extra-version=Enterprise Edition' 'LDFLAGS=-llber'highgo=# \d myt             Table "public.myt" Column |         Type          | Modifiers --------+-----------------------+----------- id     | integer               |  nm     | character varying(20) | highgo=# \! head /tmp/file.csv1,Fa,Shighgo=# truncate myt;TRUNCATE TABLEhighgo=# copy myt from '/tmp/file.csv' with csv;ERROR:  22P02: invalid input syntax for integer: "a"CONTEXT:  COPY myt, line 2, column id: "a"highgo=# select * from myt; id | nm ----+----(0 rows)

报错以后发现,第二行出错了,之前的行也看不到数据。

如果在大量的数据copy时,假如出现问题,那么整个copy过程都是失败的,
并且数据实际占用磁盘空间,但是无法访问。
如果我们想继续加载过程而忽略错误,可以使用pg_bulkload工具。

highgo=# create extension pg_bulkload;CREATE EXTENSIONhighgo=# select * from pg_available_extensions where name='pg_bulkload';    name     | default_version | installed_version |                             comment                             -------------+-----------------+-------------------+------------------------------------------------ pg_bulkload | 1.0             |                   | pg_bulkload is a high speed data loading utility for PostgreSQL(1 row)highgo=# create extension pg_bulkload;CREATE EXTENSION[highgo@hgdb ~]$ cat /tmp/file.ctl TYPE = CSVINPUT = /tmp/file.csv			  DELIMITER=","                     #分隔符TABLE = myt         LOGFILE = /tmp/blk.log			  #日志文件PARSE_BADFILE = /tmp/parse.csv    #坏数据记录[highgo@hgdb ~]$ pg_bulkload /tmp/file.ctl -d highgoNOTICE: BULK LOAD STARTNOTICE: BULK LOAD END	0 Rows skipped.	1 Rows successfully loaded.	1 Rows not loaded due to parse errors.	0 Rows not loaded due to duplicate errors.	0 Rows replaced with new rows.WARNING: some rows were not loaded due to errors.[highgo@hgdb ~]$ more /tmp/parse.csva,S

转载地址:http://oiowz.baihongyu.com/

你可能感兴趣的文章
mysql 主从 lock_mysql 主从同步权限mysql 行锁的实现
查看>>
mysql 主从互备份_mysql互为主从实战设置详解及自动化备份(Centos7.2)
查看>>
mysql 主从关系切换
查看>>
MYSQL 主从同步文档的大坑
查看>>
mysql 主键重复则覆盖_数据库主键不能重复
查看>>
Mysql 事务知识点与优化建议
查看>>
Mysql 优化 or
查看>>
mysql 优化器 key_mysql – 选择*和查询优化器
查看>>
MySQL 优化:Explain 执行计划详解
查看>>
Mysql 会导致锁表的语法
查看>>
mysql 使用sql文件恢复数据库
查看>>
mysql 修改默认字符集为utf8
查看>>
Mysql 共享锁
查看>>
MySQL 内核深度优化
查看>>
mysql 内连接、自然连接、外连接的区别
查看>>
mysql 写入慢优化
查看>>
mysql 分组统计SQL语句
查看>>
Mysql 分页
查看>>
Mysql 分页语句 Limit原理
查看>>
MySql 创建函数 Error Code : 1418
查看>>