你好,java 向数据库添加大量数据时内存溢出 在不改变内存的情况下如何解...

发布网友 发布时间：2022-04-23 06:43

我来回答

共8个回答

懂视网 时间：2022-04-09 00:54

import java.io.BufferedInputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.ArrayList;


public class DBconn {
int bufferSize=20*1024*1024;
ArrayList<String> column3string=new ArrayList<String>();
ArrayList<String> column13string=new ArrayList<String>(); 

ArrayList<String> test2col1 = new ArrayList<String>();
     ArrayList<Integer> test2col2 = new ArrayList<Integer>();
     ArrayList<String> test2col3 = new ArrayList<String>();
     
     String driver = "com.mysql.jdbc.Driver";
     static String dbName="test";
     static String password="6983124ACD";
     static String userName="root";
     static String url="jdbc:mysql://localhost:3306/" + dbName;
     static String sql= "select * from workinfo";
     
     Connection conn=null;
     public static Connection getConnection() {
    String encoding = "utf-8";
    Connection conn = null;
    try {
Class.forName("com.mysql.jdbc.Driver");
conn=DriverManager.getConnection(url,userName,password);
} catch (ClassNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} 
          catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return conn;
     }

     public void readFile(String filename) throws FileNotFoundException{
    File file = new File(filename);
           if (file.isFile() && file.exists()) {
BufferedInputStream bufferedInputStream = new BufferedInputStream(new FileInputStream(file));
InputStreamReader inputStreamReader = new InputStreamReader(bufferedInputStream);
BufferedReader bufferedReader = new BufferedReader(inputStreamReader, bufferSize);
String lineTXT = null;
PreparedStatement pstmt = null;
Connection conn = getConnection();
//String sql = "insert into workinfo(column3,column13) values(1,2)(2,3)(4,5)";
String sql = "insert into workinfo(column3,column13) values(?,?)";

try {
while((lineTXT=bufferedReader.readLine())!=null){
String[] temp = null;
temp = lineTXT.split("  ");
int count = 0;// 计数器
pstmt = conn.prepareStatement(sql, ResultSet.TYPE_SCROLL_SENSITIVE, ResultSet.CONCUR_READ_ONLY);
conn.setAutoCommit(false);// 设置数据手动提交，自己管理事务 
pstmt.setString(1, temp[0]);
pstmt.setString(2, temp[0]);
pstmt.addBatch();// 用PreparedStatement的批量处理

if (count % 2000 == 0) {// 当增加了500个批处理的时候再提交
         pstmt.executeBatch();// 执行批处理

}
}
conn.commit();
pstmt.close();
conn.close();

} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}


}


     
 }
     
     public void show(){
    System.out.println("This is string:");
    for (int i = 0; i < column3string.size(); i++) {
    System.out.println(column3string.get(i));
    }
    System.out.println("This is integer:");
    for (int i = 0; i < column13string.size(); i++) {
    System.out.println(column13string.get(i));
    }
     }
     
     public static void main(String[] args) throws FileNotFoundException{
    DBconn test=new DBconn();
    long timeTsetStart =System.currentTimeMillis();//记录时间
     
     test.readFile("D:\java\Work_Test\ddd.dat");
     
     System.out.println("数据插入成功！");
     long timeTestEnd = System.currentTimeMillis();// 记录结束时间
     long time = timeTestEnd - timeTsetStart;
     long secondTime = time / 1000;
     System.out.println("解析时间：:" + secondTime + " seconds");
     
     }
}
结果为Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 1

主要是while((lineTXT=bufferedReader.readLine())!=null){
String[] temp = null;
temp = lineTXT.split("  ");
int count = 0;// 计数器
pstmt = conn.prepareStatement(sql, ResultSet.TYPE_SCROLL_SENSITIVE, ResultSet.CONCUR_READ_ONLY);
conn.setAutoCommit(false);
pstmt.setString(1, temp[0]);
pstmt.setString(2, temp[1]);
pstmt.addBatch();有问题。

java读取文本，插到mysql表中，出现问题。内存溢出。

标签：mysql   java   

热心网友 时间：2022-04-08 22:02

比如想将一个1000W数据的数据库表，导出到文件；此时，你要么进行分页，oracle当然用三层包装即可，mysql用limit，不过分页每次都会新的查询，而且随着翻页，会越来越慢，其实我们想拿到一个句柄，然后向下游动，编译一部分数据（如10000行）将写文件一次（写文件细节不多说了，这个是最基本的），需要注意的时候每次buffer的数据，在用outputstream写入的时候，最好flush一下，将缓冲区清空下；接下来，执行一个没有where条件的SQL，会不会将内存撑爆？是的，这个问题我们值得去思考下，通过API发现可以对SQL进行一些操作，例如，通过：PreparedStatement statement = connection.prepareStatement(sql)，这是默认得到的预编译，还可以通过设置：PreparedStatement statement = connection.prepareStatement(sql , ResultSet.TYPE_FORWARD_ONLY , ResultSet.CONCUR_READ_ONLY);
来设置游标的方式，以至于游标不是将数据直接cache到本地内存，然后通过设置statement.setFetchSize(200);设置游标每次遍历的大小；OK，这个其实我用过，oracle用了和没用没区别，因为oracle的jdbc API默认就是不会将数据cache到java的内存中的，而mysql里头设置根本无效，我上面说了一堆废话，呵呵，我只是想说，java提供的标准API也未必有效，很多时候要看厂商的实现机制，还有这个设置是很多网上说有效的，但是这纯属抄袭；对于oracle上面说了不用关心，他本身就不是cache到内存，所以java内存不会导致什么问题，如果是mysql，首先必须使用5以上的版本，然后在连接参数上加上useCursorFetch=true这个参数，至于游标大小可以通过连接参数上加上：defaultFetchSize=1000来设置，例如：
jdbc:mysql://xxx.xxx.xxx.xxx:3306/abc?zeroDateTimeBehavior=convertToNull&useCursorFetch=true&defaultFetchSize=1000
上次被这个问题纠结了很久（mysql的数据老导致程序内存膨胀，并行2个直接系统就宕了），还去看了很多源码才发现奇迹竟然在这里，最后经过mysql文档的确认，然后进行测试，并行多个，而且数据量都是500W以上的，都不会导致内存膨胀，GC一切正常，这个问题终于完结了。

参考资料：xieyuoo_blog

热心网友 时间：2022-04-08 23:20

2万条数据加载到内存中会出现内存溢出？有点假啊。。。你先试一下不插数据库会不会溢出，如果没有，解决办法：批量插入数据库，2000条一批吧，应该没问题。我当时20多万数据，耗时不到2秒。

热心网友 时间：2022-04-09 00:54

分批次添加啊...你读取表的时候 是一条条读取的吧 这里应该用到循环了
你在循环1000次的时候或者100次的时候 提交一次

热心网友 时间：2022-04-09 02:46

20,000个数据将被加载到内存中的内存溢出？有点假啊。 。 。尽量不要插在数据库中会溢出，如果没有量的解决方案：插入到数据库中，2000年的一批应该是没有问题的。我是20多万数据，消耗小于2秒。

热心网友 时间：2022-04-09 04:54

批量插入，当累积到一定量的数据时先刷新到数据库，然后再循环

热心网友 时间：2022-04-09 07:18

读入使用Buffer
存库用batch update

热心网友 时间：2022-04-09 10:00

一次加载少部分数据追问？？？ 我是从excel中读出的数据 有2W条 是在几十条之后提交一次嘛？还是如何具体讲解下？？