1이 아닌 2 열에서 중복을 찾는 방법


107

관심있는 두 개의 열이있는 MySQL 데이터베이스 테이블이 있습니다. 개별적으로 그들은 각각 중복을 가질 수 있지만 동일한 값을 갖는 둘 다의 중복을 가져서는 안됩니다.

stone_idupsharge제목이 다르면 반대로 중복 될 수 있습니다 . 그러나 예를 들어 stone_id= 412 및 upcharge_title= "sapphire"라는 조합은 한 번만 발생해야합니다.

이것은 괜찮습니다.

stone_id = 412 upcharge_title = "sapphire"
stone_id = 412 upcharge_title = "ruby"

이것은 좋지 않습니다.

stone_id = 412 upcharge_title = "sapphire"
stone_id = 412 upcharge_title = "sapphire"

두 필드에서 중복을 찾는 쿼리가 있습니까? 그리고 가능하다면 데이터베이스를 허용하지 않도록 설정하는 방법이 있습니까?

MySQL 버전 4.1.22를 사용하고 있습니다.

답변:


192

두 필드 사이에 복합 키를 설정해야합니다. 각 행에 대해 고유 한 stone_id 및 upcharge_title이 필요합니다.

기존 중복을 찾는 한 다음을 시도하십시오.

select   stone_id,
         upcharge_title,
         count(*)
from     your_table
group by stone_id,
         upcharge_title
having   count(*) > 1

고맙습니다. 중복 삭제 방법을 알려 주시면 감사하겠습니다. 감사합니다 !!
JD Isaacks

2
한 가지 방법은 모든 고유 데이터를 가져와 테이블을 다시 만드는 것입니다.
Miyagi Coder

1
@John Isaacks : 구분할 수있는 다른 필드가없는 경우 (즉, 모든 필드가 중복 됨) 두 행을 모두 삭제하고 하나를 다시 만들어야합니다. 한 가지 방법은 중복 항목을 테이블 사본에 복사하고 원본에서 삭제 한 다음 사본에서 고유 한 행을 다시 삽입하는 것입니다.
P Daddy

이것은 postgres 8.1에서 작동하지 않습니다. 누군가 내게 도움을 줄 수 있습니까?
Lennon

감사합니다. 그룹화하는 순서가 중요합니까?
Andrew

35

중복을 제거하고 원하는 것처럼 들리는 고유 한 레코드를 적용하는 "ALTER IGNORE"를 사용하여 unqiue 인덱스를 추가하는 것이 도움이된다는 것을 알았습니다. 따라서 구문은 다음과 같습니다.

ALTER IGNORE TABLE `table` ADD UNIQUE INDEX(`id`, `another_id`, `one_more_id`);

이것은 고유 한 제약 조건을 효과적으로 추가하여 중복 레코드를 가지지 않으며 IGNORE는 기존 중복을 삭제합니다.

ALTER IGNORE에 대한 자세한 내용은 http://mediakey.dk/~cc/mysql-remove-duplicate-entries/ 에서 확인할 수 있습니다 .

업데이트 : @Inquisitive로부터 MySql> 5.5 버전에서 실패 할 수 있다는 알림을 받았습니다.

MySQL> 5.5 및 InnoDB 테이블 및 Percona에서는 InnoDB 빠른 인덱스 생성 기능으로 인해 실패합니다 [ http://bugs.mysql.com/bug.php?id=40344] . 이 경우 먼저 실행 set session old_alter_table=1하면 위의 명령이 제대로 작동합니다.

업데이트 ALTER IGNORE-5.7에서 제거됨

로부터 문서

MySQL 5.6.17부터 IGNORE 절은 더 이상 사용되지 않으며이를 사용하면 경고가 생성됩니다. IGNORE는 MySQL 5.7에서 제거되었습니다.

MySQL 개발자 중 하나는 두 가지 대안을 제공합니다 .

  • 고유 필드별로 그룹화하고 위와 같이 삭제하십시오.
  • 새 테이블을 만들고 고유 색인을 추가하고를 사용합니다 INSERT IGNORE. 예 :
CREATE TABLE duplicate_row_table LIKE regular_row_table;
ALTER TABLE duplicate_row_table ADD UNIQUE INDEX (id, another_id);
INSERT IGNORE INTO duplicate_row_table SELECT * FROM regular_row_table;
DROP TABLE regular_row_table;
RENAME TABLE duplicate_row_table TO regular_row_table;

그러나 테이블의 크기에 따라 실용적이지 않을 수 있습니다.


1
사실이지만 적어도 다음 번에는 알 수 있습니다. 저도 같은 문제를 가지고 다른 사람과 공유에 좋은 그것을 생각
SeanDowney

3 년 늦었다는 것만 놀리고 있었다. 공유해 주셔서 정말 기쁩니다. 따라서 플러스 1입니다.
JD Isaacks

나는 이것이 중복 중 하나를 임의로 제거한다고 생각하므로 각 행 사이에 알거나 유지하는 데 유용한 데이터가 다른지 확인하십시오.
Joshua Pinter 2012

2 년이 늦어도 답변에 +1. 실수로 복합 키를 삭제했는데 이것은 생명의 은인이었습니다. 주셔서 감사합니다
ivcode

나는 몇 가지 복제 파인더 기술을 시도했지만 그중 어느 것도 이렇게 간단하고 빠르지 않았습니다. 이 방법을 공유해 주셔서 감사합니다.
Kristjan O.

8

이와 같은 중복을 찾을 수 있습니다 ..

Select
    stone_id, upcharge_title, count(*)
from 
    particulartable
group by 
    stone_id, upcharge_title
having 
    count(*) > 1

4

중복을 찾으려면 :

select stone_id, upcharge_title from tablename group by stone_id, upcharge_title having count(*)>1

앞으로이를 방지하려면이 두 필드에 복합 고유 키를 만듭니다.


1
감사합니다. 중복 된 항목 중 하나를 제외하고 모두 삭제하는 방법을 알려주세요. 그리고 phpmyadmin에서 compisite 키를 어떻게 설정합니까? 감사합니다!!!
JD Isaacks

3

덧붙여서, 테이블에 대한 복합 고유 제약 조건은 이것이 처음에 발생하는 것을 방지합니다.

ALTER TABLE table
    ADD UNIQUE(stone_id, charge_title)

(유효한 T-SQL입니다. MySQL에 대해서는 확실하지 않습니다.)


1
나는 그것이 효과가 있다고 생각하지만 복제를 먼저 제거하기 전까지는 그것을 할 수 없습니다. 감사.
JD Isaacks

1

이 글이 도움이되었지만 행 중 하나를 삭제하고 유지하는 방법을 알고 싶었습니다 ... 여기에 중복 행을 삭제하고 하나를 유지하는 PHP 솔루션이 있습니다 (내 경우에는 2 개의 열만 있고 중복 카테고리 연관을 지우는 기능)

$dupes = $db->query('select *, count(*) as NUM_DUPES from PRODUCT_CATEGORY_PRODUCT group by fkPRODUCT_CATEGORY_ID, fkPRODUCT_ID having count(*) > 1');
if (!is_array($dupes))
    return true;
foreach ($dupes as $dupe) {
    $db->query('delete from PRODUCT_CATEGORY_PRODUCT where fkPRODUCT_ID = ' . $dupe['fkPRODUCT_ID'] . ' and fkPRODUCT_CATEGORY_ID = ' . $dupe['fkPRODUCT_CATEGORY_ID'] . ' limit ' . ($dupe['NUM_DUPES'] - 1);
}

(제한 NUM_DUPES-1)은 단일 행을 유지하는 것입니다 ...

모두 감사합니다


3
ALTER IGNORE TABLE table ADD UNIQUE INDEX index_name(stone_id, charge_title) 하나의 고유 한 쌍만 남기고 중복 행을 제거합니다.
dev-null-dweller
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.