導入100W的Csv數(shù)據(jù)，使用OpenCsv解析工具解析Csv，發(fā)現(xiàn)報錯
報錯內(nèi)容
com.opencsv.exceptions.CsvMalformedLineException: Unterminated quoted field at end of CSV line. Beginning of lost text: [XXXXX...]
at com.opencsv.CSVReader.readNext(CSVReader.java:355) ~[opencsv-4.6.jar!/:na]
解析代碼
CSVParser csvParser = new CSVParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(csvParser).build()) {
String[] lines;
while ((lines = readerCsv.readNext()) != null) {
doRead(lines);
}
} catch (CsvValidationException e) {
throw new IOException(e);
}
報錯位置發(fā)生在英文逗號處，一開始懷疑是英文逗號解析問題
Csv 文本報錯位置
"2018-04-28 00:40:43","xxx,XXXXX"
去掉當前位置英文逗號導入仍舊失敗
后來查看源碼發(fā)現(xiàn)默認的 CSVParser 會對反斜杠""進行處理
這導致了解析Csv邏輯與源文件不同
后來使用了 RFC4180Parser 問題解決
RFC4180Parser rfc4180Parser = new RFC4180ParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(rfc4180Parser).build()) {
String[] lines;
while ((lines = readerCsv.readNext()) != null) {
doRead(lines);
}
} catch (CsvValidationException e) {
throw new IOException(e);
}
參考文檔：（RFC4180標準文檔）https://datatracker.ietf.org/doc/html/rfc4180
到此這篇關(guān)于使用OpenCsv導入大數(shù)據(jù)量報錯的問題 的文章就介紹到這了,更多相關(guān)OpenCsv導入大數(shù)據(jù)量報錯內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- 使用opencsv文件讀寫CSV文件
- Java中使用opencsv讀寫csv文件示例
