"자체를 물리 치는"예측 모델을 처리하는 방법?

저는 주요 소매점의 ML 전문가가 프레젠테이션을보고 있었는데 여기서 재고 부족 이벤트를 예측하는 모델을 개발했습니다.

시간이 지남에 따라 모델이 매우 정확 해 졌다고 가정 해 보자. 즉, 모델이 실제로 제대로 작동하면 품절 이벤트를 예상하고 피할 수 있으며 결국 품절 이벤트가 거의 또는 전혀없는 지점에 도달 할 수 있습니다. 그러나이 경우 모델을 실행할 수있는 과거 데이터가 충분하지 않거나 모델이 탈선됩니다. 재고 부족 이벤트를 나타내는 데 사용 된 것과 동일한 인과 요인이 더 이상 그렇게하지 않기 때문입니다.

그러한 시나리오를 다루기위한 전략은 무엇입니까?

또한, 반대 상황을 구상 할 수도 있습니다. 예를 들어, 추천 시스템은 두 항목이 실제로 그렇지 않은 경우에도 추천 시스템의 출력에 의해 구동되는 품목 쌍의 판매가 증가함에 따라 "자가 이행 예언"이 될 수 있습니다. 관련.

둘 다 예측 변수의 출력과 그것을 기반으로 수행되는 동작 사이에 발생하는 일종의 피드백 루프의 결과 인 것 같습니다. 이런 상황을 어떻게 다룰 수 있습니까?

품절 (OOS) 감지 모델이 자체 탈선 될 수있는 두 가지 가능성이 있습니다.

1. 입력과 OOS의 관계는 시간이 지남에 따라 변경 될 수 있습니다. 예를 들어, 프로모션으로 인해 OOS가 높아질 수 있습니다 (프로모션 판매는 일반 판매보다 예측하기가 더 어렵습니다. 부분적으로 평균 판매 증가뿐만 아니라 판매 차이 도 있고 "예측하기 어렵다"는 경우 종종 OOS로 해석 됨) 그러나 시스템과 그 사용자는 이것을 배우고 판촉 용 추가 재고를 쌓을 수 있습니다. 잠시 후 프로모션과 OOS 간의 원래 관계는 더 이상 유지되지 않습니다.

   이것을 종종 "모델 전환" 또는 이와 유사 합니다. 모델을 조정하여 극복 할 수 있습니다. 가장 일반적인 방법은 입력에 가중치를 다르게 지정하여 이전 관측치에 가중치를 낮추는 것입니다.

2. 예측 변수와 OOS 간의 관계가 변경되지 않더라도 예측 변수의 분포가 변경 될 수 있습니다. 예를 들어, 특정 재고 유지 단위 (SKU)의 판매가 0 일인 며칠이 OOS를 신호 할 수 있습니다. 그러나 모델의 성능이 좋으면 OOS가 전반적으로 감소 할 수 있으며 단순히 판매가 0 인 시퀀스가 ​​많지 않을 수 있습니다 .

   예측 변수 분포의 변화는 문제가되지 않습니다. 모델은 단순히 낮은 확률의 OOS를 출력합니다.

결국, 당신은 아마 너무 걱정할 필요가 없습니다. OOS는 전혀 없습니다. 위와 같은 피드백 메커니즘이 발생하지만 OOS가 완전히 제거 될 때까지 작동하지 않습니다.

• 보류중인 일부 OOS는 단순히 회피 할 수 없습니다. "선반에 한 대의 장비가 있으며 앞으로 5 주 동안 5 개의 수요가있을 것입니다. 그러나 다음 배송은 오늘부터 1 주일입니다."
• 일부 OOS이 될 것입니다 매우 그들이 경우에도 예측하기 어려운 있다 그들은 시간에 알려져 더라면 피할 수있는. "만약 우리가 팔레트를 지게차에서 떨어 뜨려 모든 제품을 파기한다는 것을 알았다면 다른 것을 주문했을 것입니다."
• 소매 업체는 높은 서비스 수준을 목표로해야하지만 100 % 달성 할 수는 없다는 것을 알고 있습니다. 사람들은 특정 제품에 들어 와서 전체 주식을 구매합니다. 이것은 예측하기 어렵고 (위 참조) 이런 일이 발생할 가능성에 선반을 채우고 싶지 않은 경우는 거의 없습니다. 파레토의 법칙을 비교해보십시오. 서비스 수준 80 % (또는 90 %)는 달성하기가 쉽지만 99.9 %는 훨씬 더 어렵습니다. 일부 OOS는 의식적으로 허용됩니다.
• 무어의 법칙 과 유사한 점이 있습니다. ML이 향상 될수록 더 많은 기대치가 높아지고 사람들이 모델의 삶을 더 힘들게 만들 것입니다. OOS 탐지 (및 예측) 알고리즘이 개선되는 동안 소매 업체는 우리의 삶을 더욱 어렵게 만듭니다.
  • 예를 들어 변형 증식을 통해. 20 가지 맛보다 4 가지 맛의 요구르트에서 OOS를 감지하는 것이 더 쉽습니다. 왜? 사람들은 요구르트를 5 배나 많이 먹지 않기 때문입니다. 대신, 거의 변하지 않은 총 수요가 현재 5 배 많은 SKU에 분산되어 있으며 각 SKU의 주식은 이전보다 5 분의 1이 높습니다. 롱테일이 확대되고 신호가 약해지고 있습니다.
  • 또는 자신의 기기를 사용하여 모바일 결제를 허용합니다. 이로 인해 좀도둑에 대한 심리적 장벽 이 낮아질 수 있으므로 시스템 인벤토리는 기존 보다 훨씬 나빠질 것 입니다. 물론 시스템 인벤토리는 아마도 OOS에 가장 적합한 예측 기일 것입니다.

저는 12 년이 넘는 기간 동안 소매 판매를 예측하는 일을 해왔 기 때문에 이와 같은 개발에 대한 아이디어가 조금 있습니다.

비관적 일지 모르지만 OOS 탐지 이외의 다른 ML 사용 사례에서도 매우 유사한 효과가 작동한다고 생각합니다. 또는 이것은 비관적이지 않을 수도 있습니다. 문제가 결코 "해결되지 않을 것"을 의미하므로 지금부터 수십 년 동안 우리에게는 여전히 일이있을 것입니다.

당신이 시스템에 개입에 대한 의사 결정을 지원하는 모델을 사용하는 경우, 논리적으로,이 모델은 결과를 예측하기 위해 노력해야한다 조절 주어진 개입에 있습니다. 그런 다음 별도로 예상되는 결과가 가장 좋은 개입 을 선택하도록 최적화 해야 합니다 . 자신의 개입을 예측하려고하지 않습니다.

이 경우 모델은 수요 (직접 제어하지 않는 변수)를 예측할 수 있으며이를 재고 선택과 함께 사용하면 재고 부족 이벤트가 발생하거나 발생하지 않을 수 있습니다. 모델은 수요 이기 때문에 수요를 정확하게 예측 하기 위해 계속 "보상"되어야합니다 . 품절 이벤트와 함께이 변수에 따라 달라집니다 당신의 스타킹 선택.

재입고 이벤트가 발생한시기를 추적 할 수 있습니다. 그렇다면 재고를 재입고하는 데 모델을 사용하지 않았을 때 재고가 고갈되는 시점을 해결하는 것은 산술 문제 일뿐입니다.

이는 긍정적 인 재고 수준이 판매 수준과 무관하다고 가정합니다. • 어떤 제안자는이 가정이 실제로 적용되지 않는다고 말합니다. 어느 쪽도 모르겠습니다. 소매 데이터 세트에서는 일하지 않습니다. 그러나 단순화를 위해 제안 된 접근 방식은 반추 론적 추론을 사용하여 추론 할 수있게합니다. 이 단순화가 너무 비현실적인지 여부는 의미있는 통찰력을 제공하는 데 달려 있습니다.

여러분의 시나리오는 경제학 에서 Lucas Critique 와 많은 유사점을 가지고 있습니다. 기계 학습에서는이를 " 데이터 세트 이동 "이라고합니다.

@Sycorax가 명시 적으로 모델링하여이를 극복 할 수 있습니다.

기억해야 할 것은 ML이 도구적인 목표라는 것입니다. 궁극적으로 품절 이벤트를 예측하지 않고 품절 이벤트를 방지하려고합니다. 품절 이벤트를 예측하는 것은 단순히 그 목적을위한 수단입니다. 따라서 유형 II 오류에 관한 한 이것은 문제가되지 않습니다. 우리는 OOSE를 계속 보유하고 있는데,이 경우 모델 훈련을위한 데이터가 있거나, 그렇지 않은 경우에는 모델이 해결하기 위해 모델이 생성 한 문제가 해결되지 않습니다. 문제는 유형 I 오류입니다. 곰 순찰 에 빠지기 쉽다Y를 방지하기 위해 구축 된 시스템 X가있는 오류는 Y를 보지 못하므로 X가 Y를 방지한다고 결론을 내리고 X를 종료하려는 시도는 "하지만 그렇게 잘하고 있습니다. Y 방지! " Y가 다시 올 위험에 처하기를 원하지 않기 때문에 조직은 고가의 프로그램에 갇힐 수 있으며, 그러한 가능성을 허용하지 않으면 서 X가 실제로 필요한지 여부를 찾기가 어렵습니다.

그런 다음 제어 그룹을 얻기 위해 때때로 (모델에 따라) 차선책의 행동에 얼마나 많이 기꺼이 참여하고자 하는가의 절충이됩니다. 효과적인 탐사의 일부입니다. 효과적인 것으로 생각되는 약이 있다면 실제로 약효를 확인하기위한 약을받지 않는 대조군이 있어야합니다.