요약

• ValuesRAG는 실제 가치관 데이터(World Value Survey 등)를 답변에 넣어 LLM이 지역·문화에 더 맞게 말하도록 돕습니다.
• 고정 페르소나 대신 질문마다 필요한 맥락을 검색(RAG) 해서 편향을 줄입니다.
• 이는 Commerce AI와 AI 에이전트에 유용하며 CS 문구 현지화, 정책 안내 정확도, 브랜드 보호에 효과적입니다.
• Agentic AI / LAM과 연계해 답변 뒤 필요한 액션(정책 선택, 템플릿 적용)을 자동화할 수 있습니다.
• 결과적으로 신뢰도는 더 개선시키고 오해 요소를 줄임으로써 각 지역의 생각과 언어에 맞는 현지화 AI를 구현합니다.

‍

저자:Wonduk Seo (서원덕)¹,Zonghao Yuan², Yi Bu³

1.Enhans 2. Tsinghua University 3. Peking University

Published:AAAI-AIES 2025 Main Paper

‍

‍

연구 배경

대규모 언어모델(LLM)에서 문화적 가치 정렬(cultural values alignment) 을 보장하는 일은 여전히 중대한 과제다. 학습 데이터의 서구 중심 편향이 내재되는 경우가 많아, 교차문화적 응용에서 오표현과 공정성(fairness) 문제가 발생한다. 역할 부여(role assignment)나 퓨샷 학습(few-shot learning)과 같은 기존 접근은 사전학습 지식 의존, 확장성 제약, 미묘한 문화 가치 포착의 한계로 충분한 개선을 제공하지 못한다. 이러한 한계를 보완하기 위해 ValuesRAG가 제안된다. 이 프레임워크는 검색 증강 생성(RAG) 과 문맥 내 학습(ICL) 을 결합하여 텍스트 생성 중 문화·인구통계 지식을 동적으로 통합한다. World Values Survey(WVS)를 활용해 개인별 가치 요약을 생성하고, 여러 대표 지역 데이터셋을 테스트 셋으로 큐레이션한 뒤, 인구통계 특성에 기반하여 관련 요약을 검색·재랭킹하여 상위 k개를 선택한다. 여섯 개의 다양한 지역 데이터셋 평가에서 본 실험과 어블레이션 모두에서 베이스라인을 일관되게 상회하며, 선행 방법 대비 전반적 최고 성능을 보였다. 또한 두 가지 정성적 사례 연구를 통해 인구통계적으로 정렬된 가치 프로파일을 검색함으로써, 고정 프롬프트나 스테레오타입에 의존하지 않고 맥락 민감 추론을 가능하게 함을 보인다. 결과적으로 검색 기반 접근이 글로벌 LLM 능력과 지역화된 문화 가치 간 격차를 메우는 잠재력을 지님이 확인된다.

‍

‍

목적

대규모 언어모델(LLM)은 대화형 에이전트부터 의사결정 지원에 이르기까지 광범위한 응용의 중심으로 자리 잡았다. 그러나 서구 중심 말뭉치에 편중된 학습으로 인해 문화 편향이 내재되고, 이는 전 지구적 적용 가능성을 제약하며 비서구 관점의 오표현·소외 위험을 낳는다. 공정성, 포용성, 신뢰가 핵심인 교차문화 맥락에서 특히 문제가 된다. 역할 부여·퓨샷 프롬프트 등 선행 접근은 대개 정태적 인구통계 역할, 협소한 예시 집합에 의존하여, 다양한 집단에 걸친 문화 가치의 미묘하고 다면적 특성을 포착하는 데 한계를 드러낸다.

이 문제를 해결하려면 정태적·예시 기반 조정을 넘어 구조화된 문화 지식을 텍스트 생성 과정에서 동적으로 통합하는 프레임워크가 요구된다. 한편 대규모·접근 가능한 문화 데이터셋의 부족과, 해당 데이터를 생성적 추론 과정과 정렬시키는 난제가 존재한다. 지역 내 표현의 다양성, 사전학습 지식에만 의존할 때 생길 수 있는 스테레오타입 강화 위험도 정렬 노력을 복잡하게 만든다. 이러한 장벽을 극복하기 위해 ValuesRAG가 제안되며, WVS로부터 가치 기반 요약을 검색·재랭킹하고 이를 인구통계 특성과 정렬하여, 교차문화 응용에서 공정성·포용성·맥락 민감도 향상을 목표로 한다.

‍

‍

방법론

데이터셋과 모집단

다중 데이터셋 후향적 검증 연구로 진행되었으며, 여섯 개 지역 테스트 데이터셋 전반에서 ValuesRAG의 진단 성능이 평가되었다: European Values Study(EVS), General Social Survey(GSS, 북미), Chinese General Social Survey(CGSS), India Survey Dataset(ISD), Latin America Public Opinion Project(LAPOP), Afrobarometer(아프리카). 이들 데이터셋은 2017–2022년에 조사된 20만 명 이상의 개인을 포함하며, 다양한 인구통계·문화 변수를 포괄한다. WVS(Wave 7) 는 검색 코퍼스로 사용되었고, 120개국 97,000명 이상의 응답자 가치·인구통계 프로파일을 제공한다. 포함 기준은 인구통계 정보와 WVS 범주에 직접 또는 준직접 매핑 가능한 가치 관련 문항을 동시에 갖춘 데이터셋이다. 제외 기준은 WVS 인구통계 특성과의 겹침이 충분치 않거나, 설문이 불완전·손상된 데이터셋이다.

‍

기준

기준(reference)으로 WVS가 활용되었다. 전 세계적 대표성, 엄격한 설계, 교차문화 연구에서의 빈번한 채택을 근거로 선택되었다. 문화 가치 차원은 (1) 사회 가치와 신뢰, (2) 웰빙, (3) 정치문화와 체제, (4) 윤리·종교 가치, (5) 부패·이주·안보 인식을 포함한다. 지역 데이터셋은 WVS 문항과 일관성 있게 매칭되었으며, 불일치는 합의 매핑으로 조정되었다.

‍

ValuesRAG 프레임워크

프레임워크는 세 구성요소로 이루어진다.

1. 가치·인구통계 요약 생성: WVS에서 개인별로 주제(토픽)별 가치와 인구통계 메타데이터를 묶어 개인 수준 요약을 생성한다.
2. 검색과 재랭킹: 각 테스트 개인에 대해 임베딩 모델(E5-base)로 인구통계 유사 상위 100개 요약을 검색하고, 다국어 재랭커로 정밀도를 높인다. 최종적으로 상위 k개(최적 k=3) 를 선택한다.
3. 가치 증강 생성: 선택된 요약을 인구통계 정보와 테스트 질문과 함께 LLM 입력으로 결합하여, 맥락적으로 정렬된 응답 생성을 유도한다.

‍

통계 분석

정확도(accuracy) 를 1차 평가변수로 사용하고, 95% 신뢰구간(CI) 과 함께 보고하였다. 지역별 층화 분석 및 검색 깊이(k=1, 3, 5, 10) 하위 분석으로 강건성을 평가하였다. 최적 검색 깊이는 검색된 요약과 테스트 응답 간 합치를 최대화하는 기준으로 결정하였다. 비교 대상으로 제로샷, 역할 부여, 퓨샷, 하이브리드 베이스라인이 포함되었다. 통계적 유의성은 대응 t-검정과 Holm–Bonferroni 보정으로 판정하였다(p<0.05 유의).

‍

‍

결과

모집단

여섯 지역 데이터셋 전반에서 총 212,000명이 포함되었으며, 연령·성별·교육·종교·소득 등 다양한 인구통계 범주를 포괄한다. 문화 관련 문항 수는 ISD 33개에서 EVS 211개까지 분포한다.

‍

전반적 성능

ValuesRAG는 모든 지역에서 모든 베이스라인을 일관되게 상회하였다. k=3 사용 시 GPT-4o-mini 평균 정확도 0.6195, Gemini-1.5 Flash 평균 정확도 0.5977을 기록했으며, 베이스라인 평균(0.4973–0.5764)을 상회했다. 특히 GSS(북미) 와 ISD(인도) 에서 제로샷 대비 최대 12%p의 향상이 관찰되었다.

‍

지역별 층화 분석

모델 성능은 지역에 따라 차이를 보였다. WVS와 인구통계적 겹침이 풍부한 지역(북미, 남아시아) 에서 이득이 컸고, 0.77을 초과하는 정확도가 달성되었다. 반면 아프리카(Afrobarometer)와 남미(LAPOP) 지역에서는 향상 폭이 비교적 작지만 통계적으로 유의했으며, 보다 이질적인 문화 패턴을 반영하는 결과로 해석된다.

‍

최적 검색 정도

두 모델 모두에서 k=3이 최적 값으로 확인되었다. 이 깊이에서 맥락 폭과 검색 정밀도의 균형이 확보되어 평균 성능이 가장 높았다. k=10으로 증가시키면 관련성이 희석되어 정확도가 하락했고, k=1로 축소하면 다양성이 부족해 일반화 능력이 제한되었다.

‍

‍

결론

ValuesRAG는 맥락 인지 추론을 통해 문화 가치 정렬을 고도화하도록 설계된 프레임워크다. 고정 인구통계 레이블이나 제한된 퓨샷 프롬프트에 의존하는 선행 방법과 달리, 적응적 검색·재랭킹·문맥 내 학습(ICL) 을 통해 맥락적으로 풍부한 가치 요약을 동적으로 통합한다. 기여 범위는 프레임워크 설계를 넘어, 문화·지리적으로 대표성 있는 다양한 테스트 데이터셋에 대한 포괄적 평가까지 포함한다. 광범위한 실험에서 기존 접근을 일관되게 능가하였고, 복잡한 문화적 뉘앙스를 효과적으로 포착하며 편향을 감소시키고 맥락 정렬 응답을 생성함이 입증되었다.

‍