Magento는 1M 제품에 적합한 플랫폼입니까?


31

Magento가 1M SKU를 어떻게 수행하는지보아야합니다. 그러나 다운로드 할 대량의 샘플 데이터 세트를 찾거나 가져 오기를위한 피드 (및 가져 오기 프로세스 자체)를 생성하는 적절한 방법을 찾기 위해 고심하고 있습니다.

  1. 누구나 가져 오기 위해 더미 데이터의 큰 데이터 세트를 다운로드 할 수있는 곳 (또는 그것을 생성하고 가져 오는 합리적인 수단)을 알고 있습니까?
  2. 카탈로그 크기가 1M + 이상인 경우 어떤 문제가 있습니까?
  3. 단일 제품 DB를 여러 독립 상점 (다른 회사)과 공유 할 수있는 방법이 있습니까?

답변:


36

tl;dr ->" Magento는 1M 제품을 처리 할 수 ​​있습니까? ", 그 대답은 ' 그렇지만 '몇 가지 고려 사항이 있습니다. 이 규모에서는 인프라 및 인력에 대한 적절한 투자를 지원하여이 비율의 카탈로그를 상품화 할 볼륨이 있다고 가정합니다.

먼저:

보시다시피 Magento CE 샘플 데이터 에는 다양한 범주 의 소수 의 제품 있습니다. EE 샘플 데이터에는 더 많은 것이 있으며 상점 유형별로 구분되어 있습니다.

여기에서 CE 샘플 데이터를 다운로드 할 수 있습니다 . EE가있는 경우 MagentoCommerce.com 계정에서 EE 샘플 데이터를 다운로드해야합니다.

그러나이 제품은 수백 또는 수천 개의 제품이 아닙니다. 나는 당신이 것을 권합니다 데이터베이스에 제품을 수입 - 좋은 운동 방법이 프로세스 작품에 대한 핸들을 얻을 수 있습니다. Magento의 Dataflow 또는 API 가져 오기를 통해이 작업을 수행 할 수 있습니다.이를 대규모로 수행하는 방법에 대한 정보는 인터넷에서 쉽게 구할 수 있습니다.

주의 사항-데이터 흐름이 너무 느리기 때문에 요청한 크기의 카탈로그를 가져 오는 데 상당한 시간이 걸릴 수 있습니다. 내 지식으로 는 수십만 또는 수백만 개의 제품이 존재 하는 샘플 카탈로그 가 없습니다 .


1/7/14 수정 :

트위터의 @ryaan_anthony는 수십만 개의 제품을 생성하는 MySQL 저장 프로 시저를 출시했습니다 https://gist.github.com/ryaan-anthony/6290973


Magento API 및 Dataflow에 대한 일부 내용 :

http://www.magentocommerce.com/knowledge-base/entry/introduction-to-magento-dataflow

http://www.magentocommerce.com/api/soap/catalog/catalog.html

둘째:

이 크기 의 카탈로그를 실행할 때 제품, URL 다시 쓰기 및 인벤토리 색인 생성 이 주요 문제 입니다. 카탈로그 검색도 상당히 느릴 수 있지만 Apache Solr (EE에 기본 제공되는 통합)를 사용하면 완화 할 수 있습니다. Solr에 대한 CE 플러그인이 있습니다 -Sonassi 에는 하나가 있으며 다른 플러그인은 Google을 통해 찾을 수 있습니다.

700k 범위의 카탈로그를 관리했지만 여전히 1M 미만의 거래이며 색인 작성에는 몇 시간이 걸릴 수 있습니다 . 이것은 Enterprise 1.13 에서 해결되었습니다 . 나는 매우 추천 이 규모의 엔터프라이즈 에디션에서 하드를보십시오. CE에서도 가능합니까? 전혀; 그러나 EE 1.13의 인덱싱 개선 사항은 이러한 상황에 맞게 조정되었습니다.

제삼:

멀티 스토어는 마 젠토 네이티브입니다 . 다양한 최상위 카테고리와 웹 사이트를 설정할 수 있습니다. 모두 동일한 카탈로그를 공유 할 필요는 없습니다. 여러 사이트에서 공유 할 제품을 선택하거나 카탈로그를 분리하여 유지할 수 있습니다. 여기에 더 많은 정보가 있습니다 :

http://www.magentocommerce.com/knowledge-base/entry/overview-how-multiple-websites-stores-work

Magento에 더 많은 상점, 상점보기가있을 수록 더 많은 색인 항목 및 더 많은 플랫 카탈로그가 실제로 플랫 카탈로그가 성능 저하가 될 수있는 수준으로 팽창 할 수 있습니다. Sonassi는 Magento.SE와 그들의 사이트 에 이것에 관한 많은 정보 를 가지고 있습니다 . 이 제품 관리 영역에 들어갈 때 Magento를 처리 / 확장하기 위해 Magento.SE에서 Sonassi의 답변 중 일부를 검색하려고합니다.

모든 사람의 설치는 다릅니다. 상황에 따라 카탈로그에 가장 적합한 설정을 찾기 위해 지속적으로 테스트, 수정, 조정을 수행해야합니다.


안녕하십니까! 이 모든 정보에 대해 대단히 감사합니다.
Gabriele

DB는 정기적으로 DB를 업데이트하는 많은 편집자와 연결된 시스템에 의해 자동으로 구축됩니다. 우리는 서점에 최종 DB 및 업데이트를 제공하고 이제는 고객에게 완벽한 전자 상거래 솔루션을 제공하고자합니다. Magmi를 통해 모든 데이터를 가져 오기 위해 만들었습니다. 환상적이고 완벽합니다. 인덱싱에 관해서는 Solr 솔루션으로갑니다. 고객에게 전체 관리자 액세스 권한을 제공해야하므로 멀티 스토어를 사용할 수 없습니다. 다시 감사합니다!
Gabriele

호스팅, db 최적화, 데이터 흐름의 대안 또는 개선, 대형 데이터 처리를위한 팩토리 인스턴스화 대신 복제 사용, 캐시 및 성능 최적화 및이 카탈로그에 대한 magento를 최적화하기위한 기타 성능 옵션에 대한 언급을 언급하지 못한 것에 흥미가 있습니다. 크기. 인덱싱을 위해 몇 시간을 기다리는 것은 고통 스럽습니다 ... 왜 클러스터를 실행하거나 mysql 프록시를 사용하여 인덱싱을 처리하고 DB 테이블이 완료되면 동기화합니까? 몇 가지 기본 생각 만하면 ... 더 고급 방법도 사용할 수 있습니다.
mprototype

@mprototype 당신이 적합하다고 생각하면 자신의 답변을 자유롭게 추가하십시오.
philwinkle

7

이러한 대량의 제품을 가져 오려면 ApiImport 를 사용하십시오 . ImportExport를 기반으로하고 매우 빠릅니다. 가상 머신에서 시간당 최대 500k (색인)의 간단한 제품을 관리했습니다.

tests / benchmark_import_api.php를 실행하십시오. 필요하지 않은 엔티티 유형 (및 하위 유형)을 제거하려면 해당 파일을 편집하십시오. 더 빠른 결과를 위해 USE_API를 false로 설정할 수도 있습니다.


4

과거에 http://www.icecat.biz/en/ 을 사용 하여 샘플 데이터에로드 할 제품 피드를 추출했습니다. Magento 확장도 몇 개 있지만, 우리를 위해 결코 효과가 없었으므로 대부분의 가져 오기 스크립트를 작성했습니다.


4

백만개 이상의 제품을 마 젠토에 제공합니다. 다양한 종류의 제품으로 magmi 지원 제품 가져 오기 CSV 파일을 생성하는 간단한 PHP 스크립트를 작성하십시오. 그런 다음 magmi를 사용하여 가져옵니다.

http://sourceforge.net/apps/mediawiki/magmi/index.php?title=Magmi_Wiki


Magmi는 CSV 수입업자입니다. 그래서 카탈로그에 포함 된 CSV 파일을 Magm에 공급해야합니다.
Gabriele

1
예, Wiki에는 제품 가져 오기를 위해 csv를 형식화 한 다음 웹 인터페이스로 프로파일을 작성하고 cli 명령을 사용하여 가져 오는 방법이 있습니다 / usr / bin / php magmi.cli.php -profile = custom_options -mode = create -CSV : filename = "$ {x}"; 완료
sutha kathir

CSV는 Magmi가 사용할 수있는 데이터 소스 중 하나입니다. Magmi에는 데이터를 sans CSV 파일에 삽입 할 수있는 데이터 펌프 인터페이스가 있습니다.
Axel

3

다른 사람들이 이미 대부분의 질문을 해결 한 것 같지만 추가 할 몇 가지 사항이있는 것 같으므로 완전한 대답은 아닙니다.

1) 나는 이것을 둘러 봤습니다 : 10 개의 CSV로 거의 백만 개의 임의 마 젠토 제품 http://beta.generatedata.com/ 을 시도해 볼 수도 있습니다 .

2) Philwinkle이 이미 언급했듯이 인덱싱, 데이터 흐름 및 검색은 이러한 큰 데이터 세트로 극복해야 할 가장 큰 장애물입니다. EE1.13은 이러한 많은 양의 데이터 (MySQL 트리거, 모든 제품 / 카테고리 상태 등을 고려)를 더 잘 처리하지만 현재 초기 릴리스 (x.0.0)를 명심하십시오. 프로덕션 환경에서 버그를 발견하기 전에 다른 사람들이 버그 찾기에 대한 부담을 갖도록 릴리스합니다. 인프라 및 최적화가 핵심입니다. 업그레이드 ALTER TABLE중에 결합되지 않으며 DB에서 업그레이드를 수행하는 데 몇 시간 / 일이 걸릴 수 있으므로 향후 업그레이드도 고려해야 할 사항입니다 .

큰 데이터베이스에서 인덱싱 주제에 대한 추가 정보 :

3) 두 Magento 상점간에 데이터를 공유하는 가장 쉬운 방법은 다른 회사 Magento API에 REST / SOAP 요청을하는 것입니다. 대안은 단순히 한 회사에서 카탈로그를 덤프하고 다른 회사에서 카탈로그를 가져 와서 구문 분석 할 수있게하는 것입니다. 1 백만 개 이상의 제품으로 API를 사용하는 것보다 훨씬 빠를 수 있습니다.


1
1) 나는 그것을 볼 것이다. 2) 예, 저는 CE에서 Magmi를 방문했습니다. 우리는 그것이 어떻게 수행되는지 볼 것입니다. 3) 예 모든 전자 상점간에 공통 제품 DB를 공유 할 수있는 방법을 찾을 수 없다면 데이터 덤핑 및 새 상점으로 가져 오기를 선택하는 것이 좋습니다. 고마워요 B00mer!
Gabriele

3

우리는 magento 1.7.x를 사용하여 1.2m (특성 및 특히 하나의 상점보기 만) 제품으로 프로젝트를 진행했으며 다음과 같은 경험이 있습니다.

  1. 실제로 제품을 수입하는 것은 꽤 괜찮습니다. 초기 수입품은 1.5h와 비슷했습니다.

  2. 재 인덱싱을 수행 할 때 디스크 io가 극도로 어려움을 겪을 경우 솔루션은 많은 양의 램 (32GB 램 아마존 ssd 인스턴스)을 얻는 것이 었습니다. innodb 풀 메모리 할당을 데이터베이스의 크기보다 조금 더 크게 배치하고 특히 임시 테이블 버퍼를 기본 16MB에서 128mb로 변경하는 innodb 설정을 최적화하십시오. 이것이 실제로 재색 인화 프로세스를 저장 한 것입니다.

  3. 캐시, 빠른 캐시를위한 APC 캐시, 느린 캐시를위한 파일, 플랫 테이블 및 기타 몇 가지 최적화와 함께 불필요한 로깅 및 모듈을 끄면 서버는 200ms 내에 제품 페이지를 html (전체 페이지 아님)로 전달합니다. 우리의 할 일 목록에는 광택 캐시가 있습니다.

  4. 우리는 많은 교착 상태 문제를 해결하고 죽이는 곳 (일부 관리자는 여전히 남아 있음), Magento의 최신 버전은 포럼에 따라 이러한 문제를 일으키지 않을 것입니다.

1.2m 제품에는 실제로 문제가 있다고 말할 것입니다. 적절한 팀과 리소스를 갖추지 않은 상태에서 권장하는 것은 아니지만 시간을 할애하면 제품을 사용할 수 있습니다.

다른 플랫폼이 더 잘하는 일을 모르겠습니다.


2

Magento CE & EE는 (제공된 데이터 세트를 사용하는 이론이 아닌 경험에서) 가능하지만 EE는 색인 작성에 더 좋습니다. Magmi는 좋지만 초기로드를 위해 색인을 다시 만들 때 심각한 문제가 발생합니다. 또한 매일 3 %의 제품이 변경되는 경우 자동 인덱스를 사용하여 30,000 개의 제품을 업데이트해야하는 유지 관리 작업이 있으며 매일 다시 색인을 생성 할 수 없습니다. 이 모든 것은 클러스터링 호스팅과 델타 가능 공급 업체 온 보딩이라는 두 가지로 기업 기업의 영역입니다.

사람들은 제품이로드 될 때 작업이 끝났다고 생각하는 것 같습니다. 상점, 가격 계층이 너무 많은 경우 호스팅을 두 배로 늘려야하므로 모든 의도와 목적으로 95 %가이를 구현할 기회가없고 99 %가이를 유지할 기회가 없습니다. 수백만 개의 제품이 중기업에서 대기업에 해당 – 컨설턴트가이 경험이없는 경우 인프라가 중장기 적으로 축소 될 것으로 예상합니다.


당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.