모호함을 구조로

문제

배터리 공급망은 OEM부터 광산까지 수십 단계 협력사가 연결된 구조. 이 관계를 단계별 데이터로 보유한 기업은 없어, 원산지·지리적 위험을 tier별로 역추적하는 것이 불가능한 상태

해결

N단계 공급망을 탐색하는 데이터 모델을 설계하고, 도메인 간 통신은 ~30종 이벤트 계약으로 연결. 이 구조 위에 지리 감사 → 규제 판정 → 위험 점수 파이프라인이 자동 실행되며, 확신이 낮은 판정은 사람 검토(HITL)로 분기

담당

5인 팀의 PM · 기술 리드 · 인프라를 동시에 맡아 데이터 모델부터 배포·CI/CD까지 시스템의 뼈대와 최종 통합·검증을 책임. 매주 작업량을 분석해 노션 작업 카드로 배분하고 진행을 로그로 추적하는 운영 체계를 만들어 팀 표준 워크플로우로 정착

아키텍처 — AI 사용 2곳 vs 결정론 5곳

기술 스택

벤치마크를 네 번 다시 만든 이유

• 결론 문장 탐지 기준을 4차례 재설계 — 31편 → 311편 → 304건 → 289건(최종)으로 정제
• 충실성 게이트(복원 단어 90% 이상 원문 일치 강제)를 직접 설계해 창작 차단
• 편지 트랙(438건)은 방법론 한계로 채택 보류 — 안 되는 것도 판단 기준으로 삼음

실사용 도그푸딩 5회전

• 8B 대화 모델 실사용 검증 5회전 — 1~4차 반복질문·대명사 오류·처방 위반·환각 등 실패 모드 기록 후 5차 최초 합격
• 배포 후 실사용 로그 기반 2일간 런타임 가드 10건+ 수정·즉시 재배포 — "만들고 끝"이 아닌 실서비스 루프 완주

문제해결 흐름

품질·안전 장치

• 형태소 분석기(kiwipiepy) 기반 실명 토큰 매칭으로 오탐 방지, 위기 신호(자해·자살)는 학습 데이터에서 배제하고 룰 기반으로 전문 자원 안내에 라우팅
• 인칭·시제·서법 보존 게이트로 왜곡 3종 정본화, DPO 파이프라인(rejected vs chosen) 다음 단계 설계 완료

기술 스택

멀티 에이전트 오케스트레이션

독립 수집 에이전트 4종(크로스플랫폼 · 프로듀서 · 커뮤니티 · 히스토리)을 ThreadPoolExecutor로 병렬 실행하고 결과를 통합하는 오케스트레이터 설계

Grounding 설계

분석 에이전트에서 의도적으로 웹 검색을 제거해 수집된 스냅샷만을 근거로 추론하도록 강제, AI가 근거 없이 지어내는 것을 구조로 차단

통합 · 운영

YouTube · Apple Music · Last.fm 등 18개 소스를 통합하되 한 소스가 죽어도 나머지로 리포트가 나오는 내결함 구조. cron으로 매일 자동 실행되며 플래그 기반 장애 복구 보유

아키텍처

기술 스택

발견

여러 번의 학습 중 가장 높은 검증 정확도가 77.6%까지 나왔으나, 모델이 학습한 것이 ‘장르’가 아니라 ‘데이터의 출처 유형’이라는 사실을 발견. 정확도는 실력이 아니라 source-type leakage에 의한 가짜 신호였음

재설계

모델을 소스 타입별로 분리(드럼루프(Model A)와 풀트랙(Model B))하고, 성능 기준을 학습 내부 점수에서 별도 K-pop 평가셋으로 옮기는 데이터·모델 구조

문제해결 흐름

기술 스택

핵심 설계

LLM은 장소 선별 · 순서 · 시간만 결정하고 실제 이름과 좌표는 DB에서 join하는 구조로 환각과 실명 노출을 원천 차단. AI에게 “하지 말라”고 부탁하는 대신, 실명을 응답의 reveal 블록에만 격리해 “할 수 없는 구조”로 구현

백엔드 · AI

FastAPI로 일정 생성 API를 구현하고 Pydantic으로 엣지케이스를 상태코드로 명확히 처리. Claude의 tool use로 JSON 출력을 스키마 강제해 파싱 실패를 제거하고 재시도 · 폴백으로 안정성 확보. 자주 쓰는 무드 임베딩은 사전 계산 · 캐싱해 호출 비용과 지연을 절감

데이터 · 검색

카카오 로컬 API로 서울 16개 동네를 수집하고 품질 필터와 동네×카테고리 균형 선별을 거치는 다단계 파이프라인 설계. 각 단계를 멱등(idempotent)하게 만들어 중단·재개가 안전하며, PostGIS 거리 필터와 pgvector 유사도 검색을 단일 SQL 함수로 결합

아키텍처

기술 스택