DeepSeek-R1 심층 해부: 비평가 모델(Critic)을 제거한 GRPO(Group Relative Policy Optimization)와 대규모 추론 강화학습 훈련 파이프라인 아키텍처

인공지능 모델이 복잡한 수학 증명과 소프트웨어 엔지니어링, 논리 퍼즐을 해결하기 위해 길고 정교한 사고의 사슬(Chain of Thought, CoT)을 자율적으로 전개하는 추론형 모델(Reasoning Model)의 등장은 생성형 AI의 판도를 뒤흔들었습니다. 과거에는 사전 학습된 모델에 대규모 질문-답변 쌍을 지도 미세조정(SFT, Supervised Fine-Tuning)하는 방식이 표준이었으나, 이는 인간 주석자의 한계와 정답 예시의 편향에 갇혀 진정한 의미의 새로운 문제 해결 전략을 도출하지 못한다는 구조적 한계를 안고 있었습니다.

2025년 초 공개된 DeepSeek-R1(딥시크-R1)은 전 세계 인공지능 학계와 산업계에 엄청난 충격을 안겨주었습니다. 인간이 정성껏 작성한 추론 단계 데이터가 단 한 줄도 주어지지 않은 상태(Zero-SFT)에서, 오직 순수한 강화학습(Pure RL)만으로 모델 스스로 오답을 반성하고, 검증하며, 대안적 접근법을 모색하는 아하 모먼트(Aha Moment)를 스스로 터득했음을 실증했기 때문입니다.

더욱 혁신적인 것은 이 거대한 추론 모델을 학습시키기 위해 고안된 시스템 인프라 아키텍처였습니다. 전통적인 인간 피드백 기반 강화학습(RLHF)의 표준 알고리즘인 PPO(Proximal Policy Optimization)는 생성 정책 모델(Actor)과 완전히 동일한 크기의 거대한 가치 평가 모델(Critic)을 메모리에 동시에 상주시켜야만 했습니다. 671B(총 6,710억 개 매개변수)에 달하는 MoE 모델을 학습시킬 때 Critic 모델을 위해 또 다른 수백 대의 GPU 클러스터를 배치해야 하는 천문학적 비용 문제는 치명적인 장벽이었습니다.

DeepSeek 연구팀은 가치 평가 모델을 100% 제거하고 동일 프롬프트에서 생성된 복수 출력의 통계적 우열을 활용하는 GRPO(Group Relative Policy Optimization) 알고리즘을 설계하여 강화학습 훈련에 필요한 VRAM 요구량을 절반으로 압축했습니다. 나아가 인간 선호도의 모호성에 의존하던 신경망 보상 모델을 버리고, 컴파일러 및 수학적 결정론적 검증기를 배치함으로써 보상 해킹(Reward Hacking)을 원천 차단했습니다.

본 기술 포스팅에서는 DeepSeek-R1의 핵심 알고리즘인 GRPO의 수학적 유도 과정, 비평가 없는 강화학습 시스템 아키텍처, 콜드 스타트부터 거부 샘플링 및 소형 모델 증류(Distillation)로 이어지는 4단계 프로덕션 파이프라인을 소스 코드 수준에서 상세히 해부합니다.

전통적인 PPO 강화학습의 하드웨어 메모리 병목과 비평가(Critic) 패러독스

대규모 언어 모델의 강화학습 파이프라인에서 가장 널리 쓰여 온 PPO 알고리즘은 배우-비평가(Actor-Critic) 아키텍처에 기반합니다.

DeepSeek-R1 GRPO 아키텍처 다이어그램

PPO의 4대 모델 메모리 점유 구조

전형적인 PPO 파이프라인을 클러스터에서 구동하려면 다음과 같은 4개의 대형 언어 모델 인스턴스가 GPU VRAM에 동시에 적재되어야 합니다:

정책 모델 (Actor, Policy): 토큰을 생성하고 역전파를 통해 파라미터가 지속적으로 업데이트되는 주 모델.
가치 모델 (Critic, Value Network): 입력 토큰 시퀀스의 매 상태(State)마다 미래에 획득할 누적 기대 보상 V(s)를 예측하는 독립된 거대 신경망.
참조 모델 (Reference Model): 정책 모델이 과도하게 변형되어 기존의 일반 언어 이해 능력을 상실하는 것을 막기 위한 고정된(Frozen) 사전 학습 모델.
보상 모델 (Reward Model): 생성된 전체 응답에 대해 단일 스칼라 보상 점수를 산출하는 모델.

여기서 가장 큰 재앙은 바로 비평가 모델(Critic)입니다. 정책 모델의 크기가 671B 매개변수라면, 상태 가치 함수를 정밀하게 예측하기 위해 비평가 모델 역시 671B에 필적하는 거대한 용량을 가져야 합니다. 게다가 비평가 모델 역시 매 스텝마다 최적화기(Optimizer States)와 그래디언트를 유지해야 하므로, 순수 추론 모델 메모리의 최소 4배에서 8배에 달하는 VRAM을 독점합니다.

수만 토큰에 달하는 긴 추론 연쇄(Long-CoT)를 전개할 경우, 활성화 값(Activation) 텐서의 크기까지 제곱 비례로 폭증하면서 최첨단 H100 GPU 클러스터에서도 극심한 메모리 부족(OOM)으로 훈련이 좌초되는 사태가 발생했습니다. 이것이 바로 거대 모델의 장기 추론 강화를 가로막던 비평가 패러독스였습니다.

GRPO (Group Relative Policy Optimization) 알고리즘의 수학적 유도

DeepSeek-R1의 핵심 돌파구인 GRPO는 매우 대담한 질문에서 출발했습니다: “과연 토큰 단위의 가치를 예측하는 무거운 비평가 신경망이 반드시 필요한가?”

GRPO는 비평가 모델을 아예 삭제하고, 단일 프롬프트에 대해 정책 모델이 생성한 여러 응답들의 상대적 우열을 그룹 통계로 비교하는 그룹 상대적 평가 기법을 도입했습니다.

그룹 샘플링과 정규화된 이점(Advantage) 계산

질문 데이터셋에서 추출된 하나의 프롬프트 q에 대해, 기존 정책 모델은 오래된 파라미터(old policy)를 기반으로 G개의 서로 다른 후보 응답 출력을 병렬 생성합니다: Outputs = {o_1, o_2, o_3, ... o_G} (보통 G는 8개에서 16개로 설정)

각 응답 o_i에 대해 작업별 검증 보상 함수(규칙 기반 채점기)를 통과시켜 스칼라 보상 점수 r_i를 획득합니다: Rewards = {r_1, r_2, r_3, ... r_G}

이어서 비평가 모델의 신경망 추론 대신, 생성된 G개 보상 점수들의 표본 평균(mean)과 표준편차(std)를 계산합니다: mean_reward = sum(r_i) / G std_reward = sqrt(sum((r_i - mean_reward)^2) / G + epsilon)

각 후보 응답 o_i의 정규화된 상대적 이점(Advantage, A_i)은 다음과 같이 단순하고 명쾌하게 도출됩니다: A_i = (r_i - mean_reward) / std_reward

이 수식이 의미하는 바는 명백합니다:

해당 응답이 동일한 질문에 대해 모델 스스로 생성한 다른 대안들보다 우수하면(r_i > mean), 양(+)의 이점을 부여받아 해당 사고 경로의 확률이 강화됩니다.
다른 대안들보다 열등하면(r_i < mean), 음(-)의 이점을 부여받아 해당 경로의 발생 확률이 억제됩니다.
거대한 비평가 신경망을 단 1회의 산술 평균과 표준편차 나눗셈으로 완벽하게 대체한 것입니다.

클리핑된 서로게이트 목적 함수와 KL 발산 제약

GRPO의 전체 목적 함수는 PPO의 안정적인 정책 업데이트 장점을 그대로 흡수하면서, 비평가 없이 토큰별 확률비(Probability Ratio)와 참조 정책과의 KL 발산 페널티를 결합합니다:

L_GRPO = sum(
    min(
        ratio_i . A_i,
        clip(ratio_i, 1.0 - epsilon, 1.0 + epsilon) . A_i
    ) - beta . D_KL(pi_theta || pi_ref)
) / G

여기서 ratio_i는 현재 정책 모델과 이전 정책 모델의 토큰 생성 조건부 확률 비율이며, beta 파라미터는 모델이 기존 언어 능력에서 급격히 이탈하지 않도록 구속하는 정규화 항입니다.

이로써 전체 강화학습 파이프라인은 오직 정책 모델(Actor) 하나만을 가동하며, VRAM 사용량을 즉각 50% 절감하고 훈련 스루풋을 2배 이상 끌어올리는 극적인 엔지니어링 도약을 이뤄냈습니다.

보상 해킹(Reward Hacking)을 분쇄하는 규칙 기반 검증기(Rule-based Verifier)

일반적인 챗봇 정렬(RLHF)에서는 인간 선호도 데이터셋으로 훈련된 신경망 보상 모델(Reward Model, RM)을 채점관으로 기용합니다. 그러나 신경망 보상 모델은 본질적인 취약점을 가집니다. 정책 모델이 실제로 올바른 추론을 하지 않으면서도 보상 모델이 높은 점수를 주는 문장 패턴(예: 지나치게 정중한 어조, 무의미하게 긴 전문용어 나열)을 학습하여 보상 점수를 속이는 보상 해킹(Reward Hacking)에 극도로 취약합니다.

DeepSeek-R1은 추론 역량 강화 단계에서 블랙박스 신경망 보상 모델을 완전히 배제하고, 100% 결정론적인 규칙 기반 검증기(Rule-based Verifiers)를 채택했습니다.

정확도 보상 (Accuracy Reward)

수학 및 코딩 영역에서는 정답의 참/거짓이 수학적으로 명확히 규정됩니다:

수학 문제: 모델이 도출한 최종 결론이 문제의 공식 정답(Ground Truth)과 엄격히 일치하는지 심볼릭 파서(SymPy 등)를 통해 검증합니다. 정답이면 +1.0, 오답이면 0.0의 명확한 이진 보상을 부여합니다.
프로그래밍 코드: 모델이 작성한 코드를 샌드박스 Docker 컨테이너 격리 환경에서 실제로 컴파일하고 단위 테스트 케이스를 실행합니다. 모든 테스트 케이스를 통과하면 보상을 부여하고, 런타임 에러나 타임아웃이 발생하면 보상을 박탈합니다.

형식 보상 (Format Reward)

모델이 인간이 읽을 수 있는 명시적인 사고 과정을 전개하도록 강제하기 위해 구조적 태그를 보상 함수에 통합했습니다:

모델은 반드시 <think> 태그로 사고 과정을 시작하고, 검토를 마친 뒤 </think> 태그로 닫은 후 최종 답변을 서술해야 합니다.
태그의 시작과 닫힘이 올바르지 않거나, 생각 과정 없이 곧바로 답을 내놓는 경우 페널티 보상을 부여하여 모델 스스로 생각을 길게 전개하는 습관을 형성하도록 유도했습니다.

Zero-SFT에서 목격된 지능의 발현: 아하 모먼트(Aha Moment)의 실체

DeepSeek-R1 연구의 가장 매혹적인 발견은 사전 지도학습이 전혀 없는 순수 강화학습 베이스 모델(DeepSeek-R1-Zero)의 진화 과정이었습니다.

어떠한 인간의 모범 답안도 주지 않고 오직 정답 검증기와 GRPO 알고리즘만을 부여하여 수천 스텝의 강화학습을 진행하자, 모델은 놀라운 자율적 행동 패턴을 스스로 창발시켰습니다:

자발적인 사고 체인 길이의 연장: 초기 수백 토큰에 불과하던 응답 길이가 훈련이 진행됨에 따라 수천, 수만 토큰으로 스스로 확장되었습니다. 문제를 더 깊이 고민할수록 정답 보상을 받을 확률이 높아진다는 점을 정책 모델 스스로 깨달았기 때문입니다.
자기 반성 및 백트래킹(Self-reflection and Backtracking): 문제를 풀어나가던 도중 스스로 “잠깐만, 이 공식은 분모가 0이 될 수 있으므로 틀렸다. 다른 방식으로 다시 시도해 보자”라며 이전 단계를 기각하고 새로운 논리 경로를 개척하는 행동을 보였습니다.
다국어 교차 검증: 복잡한 수학 퍼즐을 풀 때 영어로 생각을 전개하다가, 중국어로 변수 치환의 타당성을 재검토한 뒤 최종 정답을 영어로 도출하는 다국어 지능 융합 현상이 자발적으로 관측되었습니다.

인간이 가르쳐준 적 없는 반성과 재시도의 알고리즘이, 순수한 보상 최적화의 수학적 압력 속에서 자연스럽게 발현된 것입니다.

엔터프라이즈급 DeepSeek-R1 4단계 파이프라인 구현

DeepSeek-R1-Zero의 경이로운 성공에도 불구하고, 순수 강화학습 모델은 가독성이 떨어지고 여러 언어가 뒤섞이며 지나치게 장황해지는 실무적 결함이 있었습니다. 연구팀은 이를 상용 서비스 수준으로 정제하기 위해 다음과 같은 4단계 정렬 파이프라인을 구축했습니다.

1단계: 소규모 고품질 콜드 스타트 데이터(Cold-start SFT) 구축

장황한 혼란을 방지하기 위해 가독성이 높고 단계별 구조가 잘 정돈된 소수의 고품질 장문 추론 데이터 수천 건을 수집하여 베이스 모델을 가볍게 사전 정렬합니다.

2단계: 대규모 추론 지향 GRPO 강화학습

수학, 코딩, 과학 논리 등 엄밀한 검증이 가능한 데이터셋에 대해 GRPO 알고리즘을 본격 가동합니다. 모델은 이 단계에서 인간 수준을 뛰어넘는 고난도 추론 능력을 획득합니다.

3단계: 거부 샘플링(Rejection Sampling) 기반 일반 도메인 SFT

추론이 완성된 모델을 통해 80만 건(800K)의 방대한 추론 데이터를 생성하고, 정답 검증기를 통과한 완벽한 데이터만을 선별(거부 샘플링)합니다. 여기에 글쓰기, 번역, 사실적 지식 문답 등 일반 언어 작업 데이터를 결합하여 모델의 다목적 범용 능력을 복원합니다.

4단계: 전 도메인 최종 강화학습 (안전성 및 인간 선호도 정렬)

최종 배포 전 유해성 차단, 편향 제거, 정중함과 도움됨(Helpfulness & Harmlessness)을 보장하기 위한 최종 GRPO 정렬을 수행하여 최종 프로덕션 DeepSeek-R1을 완성합니다.

파이썬 기반 GRPO 핵심 손실 함수 및 이점 계산 커널

다음은 비평가 모델(Critic) 없이 배치 단위의 샘플링된 응답들로부터 정규화된 이점(Advantage)을 도출하고 정책 네트워크를 업데이트하는 GRPO 핵심 파이토치(PyTorch) 구현 패턴입니다.

import torch
import torch.nn.functional as F

class GRPOLossCalculator:
    def __init__(self, clip_epsilon=0.2, kl_beta=0.04):
        self.clip_epsilon = clip_epsilon
        self.kl_beta = kl_beta

    def compute_group_advantages(self, rewards_tensor):
        # rewards_tensor shape: [batch_size, group_size]
        # 각 프롬프트별 그룹 내부의 평균과 표준편차 산출
        mean_rewards = rewards_tensor.mean(dim=-1, keepdim=True)
        std_rewards = rewards_tensor.std(dim=-1, keepdim=True) + 1e-8

        # 비평가 모델(Critic) 없이 상대적 이점(Advantage) 직접 정규화
        advantages = (rewards_tensor - mean_rewards) / std_rewards
        return advantages

    def compute_loss(
        self,
        log_probs_policy,      # 현재 정책의 토큰별 로그 확률
        log_probs_old,         # 이전 정책의 토큰별 로그 확률
        log_probs_reference,   # 고정된 참조 모델의 토큰별 로그 확률
        advantages,            # 그룹 정규화된 이점 텐서
        token_masks            # 패딩 제외 유효 토큰 마스크
    ):
        # 확률 비율 (Probability Ratio) 계산
        # exp(log_pi - log_pi_old)
        ratio = torch.exp(log_probs_policy - log_probs_old)

        # 서브로게이트 목적 함수 1: ratio .mul(Advantage)
        surr1 = ratio.mul(advantages.unsqueeze(-1))

        # 서브로게이트 목적 함수 2: 클리핑된 비율 .mul(Advantage)
        clipped_ratio = torch.clamp(
            ratio,
            1.0 - self.clip_epsilon,
            1.0 + self.clip_epsilon
        )
        surr2 = clipped_ratio.mul(advantages.unsqueeze(-1))

        # 정책 손실 (최대화를 위한 음수화)
        policy_loss = -torch.min(surr1, surr2)

        # 근사 KL 발산 페널티 (Schulman 근사식 활용)
        # KL(pi || ref) approx exp(log_ref - log_pi) - (log_ref - log_pi) - 1
        log_diff = log_probs_reference - log_probs_policy
        kl_penalty = torch.exp(log_diff) - log_diff - 1.0

        # 최종 결합 손실
        total_token_loss = policy_loss + self.kl_beta.mul(kl_penalty)
        
        # 유효 토큰 영역에 대해서만 평균 마스킹
        masked_loss = (total_token_loss.mul(token_masks)).sum() / token_masks.sum()
        return masked_loss

위 구현에서 알 수 있듯이, 거대한 신경망 역전파 루프가 오직 단 하나의 정책 모델만을 관통하며, 비평가 모델 관리를 위한 텐서 할당과 분산 락킹 오버헤드가 원천적으로 배제됩니다.

소형 모델로의 순수 지식 증류(Distillation)의 파괴력

DeepSeek-R1의 또 다른 위대한 업적은 거대 모델이 획득한 고난도 추론 능력을 1.5B, 7B, 14B, 32B, 70B와 같은 경량 소형 모델에 그대로 이식해 냈다는 점입니다.

과거에는 소형 모델에 직접 강화학습을 적용하려 시도했으나, 모델의 파라미터 용량 부족으로 인해 자기 반성과 탐색이라는 복잡한 탐험(Exploration) 과정을 스스로 시작하지 못하고 훈련이 붕괴되는 현상이 빈번했습니다.

연구팀은 DeepSeek-R1이 생성한 80만 건의 정제된 긴 사고 사슬(CoT) 데이터를 오픈소스 소형 베이스 모델(Qwen-2.5 및 Llama-3)에 직접 지도 미세조정(SFT)하는 지식 증류 기법을 적용했습니다. 그 결과는 경이로웠습니다:

DeepSeek-R1-Distill-Qwen-32B: 전미 수학 올림피아드 AIME 2024 벤치마크에서 72.6점, MATH-500에서 94.3점을 기록하여 OpenAI의 초대형 o1-mini 모델을 공식적으로 추월했습니다.
DeepSeek-R1-Distill-Qwen-1.5B: 단 15억 개의 초소형 매개변수만으로 MATH 벤치마크 80% 이상의 정답률을 기록하여 스마트폰 단말기에서도 대학 수준의 미적분 문제를 실시간 증명하는 기적을 시현했습니다.

이는 값비싼 강화학습 인프라를 직접 가동할 수 없는 일반 기업과 개발자들도, 최고 성능 모델의 추론 체인을 지식 증류함으로써 고성능 온디바이스 추론기를 손쉽게 확보할 수 있음을 증명합니다.

실무 엔지니어링 한계 및 프로덕션 도입 고려 사항

DeepSeek-R1과 GRPO 아키텍처를 기업 환경에 도입하려는 시스템 아키텍트는 다음과 같은 기술적 도전 과제를 신중히 평가해야 합니다.

긴 추론 컨텍스트가 초래하는 서빙 인프라 비용 폭증

추론 모델의 성능은 생각의 길이에 정비례합니다. DeepSeek-R1은 어려운 문제에 직면하면 수천에서 수만 토큰에 달하는 장문의 생각을 쏟아냅니다. 이는 사용자에게 첫 번째 글자가 출력되기까지의 첫 토큰 생성 지연시간(TTFT)을 극단적으로 지연시키며, KV 캐시 메모리 점유율을 급증시켜 단일 인스턴스가 감당할 수 있는 동시 요청 수(Throughput)를 급감시킵니다. 따라서 실서비스 적용 시 사고의 조기 종료(Early Stopping) 휴리스틱과 동적 토큰 상한선 설정이 필수적입니다.

결정론적 정답이 존재하지 않는 주관적 도메인 적용의 난제

GRPO의 눈부신 성공은 수학과 코딩처럼 컴파일러나 수식 파서로 정답을 기계적으로 판정할 수 있는 닫힌 도메인(Closed-domain)에 기반합니다. 창의적 마케팅 문구 작성, 법률 전략 수립, 문맥적 협상 등 정답이 다의적이고 주관적인 비즈니스 도메인에서는 단순한 규칙 기반 보상 검증기를 설계하기 어려우므로, 여전히 인간 평가자 또는 신뢰할 수 있는 다중 LLM 심사위원(LLM-as-a-Judge) 아키텍처와의 복합 설계가 요구됩니다.

결론: 비평가 없는 강화학습과 추론 지능의 개화

DeepSeek-R1은 인공지능 엔지니어링이 나아가야 할 새로운 나침반을 제시했습니다. 막대한 자본과 폐쇄적인 인프라 없이도, 하드웨어 메모리 병목을 정밀하게 타격하는 알고리즘 혁신(GRPO)과 엄격한 결정론적 규칙 기반 검증 체계만으로 최고 수준의 폐쇄형 독점 모델을 능가할 수 있음을 입증했기 때문입니다.

차세대 AI 시스템을 설계하는 소프트웨어 엔지니어가 반드시 가슴에 새겨야 할 교훈은 다음과 같습니다:

무거운 비평가 신경망의 과감한 해체 원칙: 메모리 병목을 유발하는 고비용 가치 평가 모델 대신, 그룹 상대 비교와 같은 수학적 통계 우열 체계를 구축하여 VRAM 효율을 극대화하십시오.
모호한 뉴럴 보상 대신 결정론적 검증기 구축 원칙: 보상 해킹에 취약한 인공신경망 채점기를 맹신하지 말고, 컴파일러와 엄격한 파서를 기반으로 정밀한 피드백 루프를 완성하십시오.
대형 추론 모델의 사고 체인을 활용한 소형 모델 증류 원칙: 모든 프로젝트에서 거대한 강화학습 클러스터를 가동하려 하지 말고, 고성능 모델의 검증된 추론 데이터를 정제하여 엣지 디바이스용 경량 모델로 지식을 전이하십시오.

알고리즘의 순수성과 하드웨어 효율성이 완벽히 조화를 이룰 때, 인공지능은 단순한 언어 모방기를 넘어 진정한 논리적 지능과 문제 해결 능력을 갖춘 자율적 지성체로 진화할 것입니다.