MySQL批量插入遇上唯一索引避免方法

在MySQL中，如果你需要批量插入数据，但数据中可能包含唯一索引（如主键或唯一约束字段）的重复值，你可以采取以下几种方法来避免插入错误或重复记录：

### 1. 使用`INSERT IGNORE INTO`

这个方法会忽略由于唯一索引导致的错误，只插入那些不会导致重复的记录。

INSERT IGNORE INTO your_table (column1, column2, ...)
VALUES (value1_1, value1_2, ...),
       (value2_1, value2_2, ...),
       ...;

### 2. 使用`ON DUPLICATE KEY UPDATE`

如果你希望在遇到重复键时更新记录（虽然你的问题是避免插入，但了解这个也很有用），你可以这样做。不过，如果你的目标是避免插入重复数据，你可以简单地更新一个无影响的字段，如时间戳。

INSERT INTO your_table (column1, column2, ...)
VALUES (value1_1, value1_2, ...),
       (value2_1, value2_2, ...)
ON DUPLICATE KEY UPDATE column_timestamp = column_timestamp;

在这个例子中，`column_timestamp`是一个存在但更新与否都无关紧要的字段。

### 3. 先查询再插入

在批量插入之前，你可以先查询数据库以检查是否已存在具有相同唯一索引的记录。这种方法在数据量大时可能效率不高，因为它需要多次数据库交互。

-- 伪代码，具体实现取决于你的应用逻辑
FOREACH (value IN values_to_insert) {
    IF NOT EXISTS (SELECT 1 FROM your_table WHERE unique_column = value.unique_value) {
        INSERT INTO your_table (column1, column2, ...) VALUES (value.value1, value.value2, ...);
    }
}

注意：上面的伪代码需要根据你的具体编程语言（如Python、Java等）来实现。

### 4. 使用临时表

对于复杂的批量插入场景，你可以先将数据插入到一个临时表中，然后使用SQL语句（如`INSERT ... SELECT ... WHERE NOT EXISTS`）从临时表将数据转移到目标表中，同时避免重复。

-- 假设temp_table是你的临时表
INSERT INTO your_table (column1, column2, ...)
SELECT column1, column2, ...
FROM temp_table
WHERE NOT EXISTS (
    SELECT 1 FROM your_table WHERE your_table.unique_column = temp_table.unique_column
);

选择哪种方法取决于你的具体需求、数据量和性能考虑。通常，`INSERT IGNORE INTO`或`ON DUPLICATE KEY UPDATE`在大多数场景下都是足够的，特别是当你主要关心避免插入重复记录时。