如果数据库有特殊字符(换行符，转义符),会导致生成的csv无法正常导入。
val1,val2,val3 aa,bb,cc a a,bb,cc aa ,bb,cc aa, bb,cc a\a,bb,cc
第一行header和第二行数据正常。
第三行第一个列有换行符，此时导致第四行看着正常(3列),但是数据又是错误的。
第五行跟第三行类似
第七行实际是第二个单元格首字符换行，导致第八行缺失一列。
第九行有转义符
处理成
val1,val2,val3 aa,bb,cc aa,bb,cc aa,bb,cc aa,bb,cc aa,bb,cc
利用空闲时间，用python写了个修补工具,原理是利用，csv是从上往下读的，如果前一行列数不够，一定可以从后一列补上。但是可能存在补完后超过指定列(比如列内包含分隔符，导致数据库3列，变成4列)，所以需要对其切片，只保留指定列数。
clean_csv.py
# -*- coding: utf-8 -*-
# Author AnJia(anjia0532@gmail.com https://anjia0532.github.io)
import argparse
import sys, os
import io
reload(sys)
sys.setdefaultencoding('utf8')
black_dict={"\\":"","\"":""}
def main():
parser = argparse.ArgumentParser()
parser.add_argument('--cols', type=int, dest='cols', action='store', default=-1,help="count of columns,default first line's cells")
parser.add_argument('--src', type=str, dest='src', action='store', default='',
help='path to source csv file')
parser.add_argument('--dest', type=str, dest='dest', action='store', default='',
help='path to dest csv file')
parser.add_argument('--encoding', type=str, dest='encoding', action='store', default='utf-8',
help='file encoding,default utf-8')
parser.add_argument('--chunksize', type=int, dest='chunksize', action='store', default='10000',
help='batch lines to write dest file,default 10000')
parser.add_argument('--delimiter', type=str, dest='delimiter', action='store', default=',',
help='csv delimiter,default ,')
args = parser.parse_args()
cols = args.cols
src = args.src
dest = args.dest
encoding = args.encoding
chunksize = args.chunksize
delimiter = args.delimiter
if not (src and dest) or chunksize <= 0:
print("invaild args!")
sys.exit(-1)
olds=[]
lines=[]
with io.open(src,encoding=encoding) as fp:
for line in fp.readlines():
line = line.strip()
for k,v in black_dict.items():
if k in line:
line=line.replace(k,v)
cells = line.split(delimiter)
if cols == -1:
cols=len(cells)
if(len(cells) < cols or (len(olds)>0 and len(olds) < cols)):
if not olds:
olds = cells
else:
cells[0]=olds[-1]+cells[0]
olds.pop()
olds.extend(cells)
if len(olds) >= cols:
cells=olds
olds=[]
if not olds:
lines.append(delimiter.join(cells[0:cols])+"\n")
if len(lines) % chunksize == 0:
write_to_file(dest=dest,lines=lines)
lines=[]
write_to_file(dest=dest,lines=lines)
def write_to_file(dest,lines=[],encoding='utf-8'):
p = os.path.split(dest)[0]
if not os.path.exists(p):
os.makedirs(p)
with io.open(file=dest,mode="a+",encoding=encoding) as fp:
fp.writelines(lines)
if __name__ == '__main__':
main()
使用方式
python clean_csv.py --src=src.csv --dest=dest.csv --chunksize=50000 --cols --encoding=utf-8 --delimiter=,
总结
以上所述是小编给大家介绍的csv文件容错处理方法,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
标签：
.csv文件,csv文件容错处理
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！
如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
内蒙古资源网 Copyright www.nmgbbs.com
暂无“csv文件容错处理方法”评论...
苹果官宣WWDC 2024！预计会有大批AI功能 - 2024/12/21
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。