У меня есть более 10 миллионов документов JSON формы:
["key": "val2", "key1" : "val", "{\"key\":\"val", \"key2\":\"val2"}"]
в одном файле.
Импорт с использованием JAVA Driver API занял около 3 часов, используя следующую функцию (одновременно импортируя один BSON):
public static void importJSONFileToDBUsingJavaDriver(String pathToFile, DB db, String collectionName) {
// open file
FileInputStream fstream = null;
try {
fstream = new FileInputStream(pathToFile);
} catch (FileNotFoundException e) {
e.printStackTrace();
System.out.println("file not exist, exiting");
return;
}
BufferedReader br = new BufferedReader(new InputStreamReader(fstream));
// read it line by line
String strLine;
DBCollection newColl = db.getCollection(collectionName);
try {
while ((strLine = br.readLine()) != null) {
// convert line by line to BSON
DBObject bson = (DBObject) JSON.parse(JSONstr);
// insert BSONs to database
try {
newColl.insert(bson);
}
catch (MongoException e) {
// duplicate key
e.printStackTrace();
}
}
br.close();
} catch (IOException e) {
e.printStackTrace(); //To change body of catch statement use File | Settings | File Templates.
}
}
Есть ли более быстрый способ? Может быть, настройки MongoDB могут влиять на скорость ввода? (например, добавить ключ: "_id", который будет функционировать как индекс, так что MongoDB не будет создавать искусственный ключ и, следовательно, индекс для каждого документа) или вообще отключить создание индекса при вставке. Благодарю.
