저자: Minhyeong Yu, Wonduk Seo*
소속: AI Research, Enhans, Seoul, South Korea
*동등 기여 저자
논문 링크: https://arxiv.org/abs/2604.23993

‍

요약

1. EPM-RL은 서로 다른 이커머스 상품 이름이 동일한 SKU를 가리키는지 판단하는 On-Premise Product Mapping 프레임워크입니다.
2. 비용이 큰 agentic reasoning은 학습 단계에서만 사용하고, 실제 운영에서는 그 판단 방식을 학습한 내부 모델이 추론을 수행합니다.
3. 학습 파이프라인은 teacher가 생성한 reasoning trace, LoRA 기반 SFT, 그리고 verifiable reward와 3개의 specialized judge agent를 활용한 GRPO로 구성됩니다.
4. 500개 브랜드의 1K held-out product pair로 구성된 내부 벤치마크에서 EPM-RL은 0.8120 F1을 기록하며 zero-shot, CoT, BM25 RAG, Multi-Agent RAG, GPT-5.4 reasoning baseline을 앞섰습니다.

‍

초록

Product mapping은 서로 다른 마켓플레이스 제품 이름이 같은 판매 상품을 설명하는지 판단하는 작업입니다. 이 판단 하나가 가격 모니터링, 카탈로그 통합, 프로모션 운영, 브랜드 보호 전반을 지탱합니다.

실제 이커머스 데이터에서는 비슷한 제목이 곧 같은 상품을 의미하지 않습니다. 두 제품 이름이 같은 브랜드, 상품명, 이미지, 수량, 용량을 공유하더라도 번들 구성, 판매 조건, 옵션, 실제 판매 SKU가 다를 수 있습니다. 단순 매칭 시스템은 이런 상품을 같은 상품으로 판단하고, 정상 판매자를 가격 덤핑으로 잘못 탐지할 수 있습니다.

EPM-RL은 product mapping을 단일 On-Premise 모델로 전환합니다. 고비용 agentic pipeline을 대체하는 방식입니다. 학습에는 agentic reasoning을 활용하고, 배포 단계에서는 단독 On-Premise 추론만 남깁니다.

‍

Product Mapping

Product mapping은 이커머스 운영의 기반 신호입니다. 이 판단 하나가 여러 워크플로우를 동시에 지탱합니다.

판매자에게는 빠른 경쟁사 가격 모니터링을 가능하게 합니다. 같은 SKU를 다른 판매자가 더 높은 가격에 판매하고 있다면, 가격 운영 시스템은 며칠이 아니라 몇 분 안에 대응할 수 있습니다.

소비자 관점에서는 가격 비교의 정확도를 높입니다. 가장 저렴한 상품이라는 판단은 실제로 같은 상품일 때만 의미가 있습니다. 비슷한 제목 뒤에 다른 번들, 옵션, 판매 조건이 숨어 있다면 단순 가격 비교는 오히려 잘못된 결정을 만들 수 있습니다.

브랜드 오너에게는 채널 보호의 기반이 됩니다. MAP 정책 준수 여부, grey-market reseller 탐지, margin leakage 분석은 모두 각 리스팅이 같은 SKU에 매핑되는지 정확히 알아야 가능합니다.

문제는 마켓플레이스의 상품 제목이 정제된 카탈로그 데이터가 아니라 검색 노출과 판매 최적화를 위해 작성된다는 점입니다. 따라서 product mapping은 브랜드, 모델, variant, 수량, 옵션, 번들 구조까지 함께 판단해야 합니다. 단순한 문자열 유사도로는 충분하지 않습니다.

‍

프레임워크: EPM-RL

EPM-RL은 Data, PEFT, GRPO RL, On-premise model로 이어지는 학습 및 배포 흐름을 따릅니다.

첫 번째 단계에서는 curated product-pair dataset을 구축합니다. 데이터는 500개 브랜드의 12K product pair로 구성되며, 6K는 SFT, 4K는 RL, 1K는 validation, 1K는 test에 사용됩니다. 강한 teacher model은 labeled 상품 쌍에서 reflective reasoning trace를 생성하되, 근거는 두 상품 제목 안의 내용으로 제한됩니다.

두 번째 단계에서는 student model이 structured reasoning과 최종 binary label을 함께 생성하도록 학습됩니다. reasoning format은 세 단계로 구성됩니다. 먼저 core product를 식별하고, 다음으로 brand와 model identifier를 비교한 뒤, 마지막으로 variant attribute와 bundle composition을 확인합니다. 이 구조 덕분에 모델의 판단 과정을 외부에서 검토할 수 있고, 이후 reward-based training에도 활용됩니다.

SFT 이후에는 GRPO를 적용합니다. 각 product pair에 대해 policy가 여러 rollout을 생성하고, 시스템은 정해진 출력 형식을 따르며, 올바른 label을 예측하고, 상품 비교에 근거한 reasoning을 생성한 출력에 더 높은 reward를 부여합니다.

‍

Agentic Reward 설계

EPM-RL의 reward design은 product mapping에서 실제로 자주 발생하는 실패 유형을 반영합니다.

학습 과정에서는 세 개의 specialized judge agent가 사용됩니다.

• Core Identity Judge: reasoning이 중심 상품 또는 카테고리를 제대로 식별했는지 확인합니다.
• Model-Identifier Judge: brand, model line, explicit identifier를 올바르게 다루는지 확인합니다.
• Variant-Conflict Judge: size, capacity, count, option, bundle, version처럼 SKU를 바꿀 수 있는 차이를 감지했는지 확인합니다.

각 judge는 하나의 sub-skill만 0~1 점수로 평가합니다. 또한 입력 제목에 없는 token을 hallucination으로 간주하고, generic한 reasoning에는 낮은 점수를 부여합니다. 이 방식은 모델이 단순히 더 긴 설명을 만든다는 이유만으로 reward를 받지 못하게 합니다.

judge agent는 학습 시점에만 피드백 역할을 합니다. 추론 시점의 EPM-RL은 retrieval agent, coordinator agent, external API call 없이 하나의 On-Premise 모델로 동작합니다.

‍

Nemotron 스택 기반 구현

시스템 전체는 NVIDIA Nemotron stack 위에서 end-to-end로 구축되었습니다.

이 연구는 시스템을 네 개의 layer로 설명합니다. Raw product-pair data, Curator와 Data Designer를 활용한 data operations, Megatron-Bridge와 NeMo-RL을 활용한 training, 그리고 최종적으로 On-Premise에서 동작하는 EPM-RL model입니다. Nemotron-3 Super 120B는 teacher와 judge model 역할을 하고, Nemotron-3 Nano 30B는 student policy 역할을 합니다.

이 stack의 목표는 product mapping을 catalog scale에서 배포 가능한 시스템으로 전환하는 것입니다. Private inference와 예측 가능한 운영 비용, 두 가지를 동시에 충족하는 구조입니다.

‍

실험 결과

내부 1K held-out benchmark에서 EPM-RL은 비교 대상 중 가장 높은 F1 score를 기록했습니다.

reasoning을 더 많이 생성하도록 유도한다고 product mapping 성능이 자동으로 오르지는 않습니다. CoT와 Entity-Attribute prompting은 zero-shot보다 낮은 성능을 보였습니다. GPT-5.4와 Multi-Agent RAG는 precision은 높지만 recall이 낮아, false positive는 줄이는 대신 많은 true match를 놓치는 경향을 보였습니다.

EPM-RL은 더 균형 잡힌 결과를 보입니다. Recall을 높이면서도 경쟁력 있는 precision을 유지했고, 그 결과 가장 높은 F1을 달성했습니다. structured reasoning이 실제로 유용하려면 설명 생성에 그치지 않고, task-specific product-matching 기준에 맞게 학습하고 reward를 받아야 합니다.

‍

On-Premise 속도와 비용 관점에서 바라보는 추론 경제성

EPM-RL의 의미는 성능 개선에만 있지 않습니다. Product mapping은 대규모 product pair를 반복적으로 비교해야 하는 작업이기 때문에, 실제 운영 환경에서는 추론 비용과 처리량도 중요한 기준이 됩니다.

이 연구에서는 GPT-5.4 reasoning API를 외부 API 기반 baseline으로 두고, Nemotron-3 Nano를 vLLM 기반 On-Premise 환경에서 서빙했을 때의 추론 경제성을 비교했습니다.

1,000-pair benchmark에서 측정한 token profile을 기준으로 보면, GPT-5.4 reasoning은 월 6.08M pair 처리 시 약 $41,988의 API 비용이 발생합니다. 반면 On-Premise 환경에서는 동일한 규모의 요청에 대해 API 호출당 과금이 발생하지 않으며, 1 GPU 기준 월 6.08M pair 수준의 처리량을 달성할 수 있습니다.

여기서 local cost $0은 하드웨어 비용이 없다는 뜻은 아닙니다. GPU 감가상각, 전력, 운영 비용은 제외한 수치이며, API 호출당 과금이 사라진다는 의미입니다. 그럼에도 이 비교는 EPM-RL이 대규모 product mapping에서 비용 절감과 데이터 통제를 동시에 기대할 수 있는 프레임워크임을 보여줍니다.

‍

결론

EPM-RL은 reinforcement learning을 통해 product mapping을 agentic inference pipeline에서 production model로 전환할 수 있음을 보여줍니다.

첫째, decomposed judge reward는 reasoning을 실제 판단에 더 충실하게 만듭니다. Core identity, model identifier, variant conflict를 분리해 평가하기 때문에 모델은 SKU-level matching에 필요한 비교 행동을 학습할 수 있습니다.

둘째, agentic reasoning은 가장 효과적인 위치인 학습 단계에만 남습니다. Reasoning behavior가 student model에 내재화되고 나면, 추론은 단일 On-Premise forward pass로 단순화됩니다.

셋째, 이 배포 방식은 엔터프라이즈 환경에 잘 맞습니다. Catalog data는 내부 환경에 남고, API 의존도는 줄어들며, 대규모 product matching을 가격 모니터링, 프로모션 운영, 브랜드 보호 워크플로우 전반에 적용하기 쉬워집니다.