mysql關(guān)聯(lián)刪除記錄問題

steel_lei

有倆個(gè)表table1 , table2

talbe1   有倆個(gè)字段id,pid     有2千萬條記錄         同一pid對(duì)應(yīng)多個(gè)id
table2   有一個(gè)字段pid         有100萬條記錄        pid唯一

想要?jiǎng)h除表table1中記錄，條件是table1.pid=table2.pid

大家給推薦一個(gè)效率高一點(diǎn)的方法，用delete表關(guān)聯(lián)刪除效率不是很高，感覺有點(diǎn)慢

[ 本帖最后由 steel_lei 于 2009-5-14 00:23 編輯 ]

ws00377531

我想到的是select建新表，但是好像也快不了多少

CREATE TABLE tmp AS  SELECT  * FROM table1  WHERE pid NOT IN (SELECT pid FROM table2)

steel_lei

原帖由 ws00377531 于 2009-5-14 09:29 發(fā)表
我想到的是select建新表，但是好像也快不了多少

CREATE TABLE tmp AS  SELECT  * FROM table1  WHERE pid NOT IN (SELECT pid FROM table2)

我在測(cè)試創(chuàng)建表,看一下create的效率,但后面沒用not in,用not in會(huì)很慢的，用表關(guān)聯(lián)會(huì)好很多

楓影誰用了

not in 更慢的了，關(guān)連要快�？此饕�了。

voxxu

改用left join吧
SELECT  * FROM table1 a left join table2 b on (a.pid=b.pid) where b.pid is null

楓影誰用了

原帖由 voxxu 于 2009-5-14 09:55 發(fā)表
改用left join吧
SELECT  * FROM table1 a left join table2 b on (a.pid=b.pid) where b.pid is null

這個(gè)好。

Coolriver

對(duì)于一個(gè)2000W的大表，一次走一個(gè)全表掃描確是很困難的。不過對(duì)于100W的表走一個(gè)全描掃也困難。

如果做這件事情又不想影響太大，就要分步來完成。

我給你一個(gè)思路你來參考一下。
首先衡量刪除操作有多大。
selet count(*) from table1 a ,table2 b where a.pid=b.pid;
如果都有索引的話，這個(gè)操作還是挺快的。
如果操作的操作大于原表的40%，那么很有必要重建這個(gè)表了。

重建表的方法：就是按條件提取數(shù)據(jù)到一個(gè)新表，最后改名完成。這是一種方案。

另一種 刪除方向。

上面通過比較覺的需要?jiǎng)h除的量不是太大時(shí)，把需要?jiǎng)h除的PID生到到另一個(gè)臨時(shí)表中。
mysql DBname -e "select a.pid from table1 a ,table2 b where a.pid=b.pid">del_pid.txt;

sed -i '1d' del_pid.txt
awk '{print "delete from table1 where pid=",$1,";"}' del_pid.txt >del_pid.sql
mysql DBname<del_pid.sql

這樣把SQL拆成多個(gè)SQL執(zhí)行速度應(yīng)該不會(huì)太慢了。

如果還是感覺不行，那就只能分段操作了。

楓影誰用了

這個(gè)很好,我們經(jīng)常也這樣做，用perl..

不過一般我是數(shù)據(jù)庫做的事情讓數(shù)據(jù)庫做。

Coolriver

原帖由 楓影誰用了 于 2009-5-14 10:30 發(fā)表
這個(gè)很好,我們經(jīng)常也這樣做，用perl..

不過一般我是數(shù)據(jù)庫做的事情讓數(shù)據(jù)庫做。

我現(xiàn)在很多工作拿到數(shù)據(jù)外面做了。
數(shù)據(jù)量大了，全壓到DB上，都出不了結(jié)果了。：）

cenalulu

原帖由 Coolriver 于 2009-5-14 10:16 發(fā)表
對(duì)于一個(gè)2000W的大表，一次走一個(gè)全表掃描確是很困難的。不過對(duì)于100W的表走一個(gè)全描掃也困難。

如果做這件事情又不想影響太大，就要分步來完成。

我給你一個(gè)思路你來參考一下。
首先衡量刪除操作有多大 ...

很不錯(cuò)~收藏了~但是把id放到臨時(shí)文件里會(huì)有效率問題嗎？跟建個(gè)臨時(shí)表存id，哪個(gè)好一點(diǎn)？