투 타워(two-tower) 모델은 양쪽을 따로 임베딩해 쌍 점수를 내적으로 계산한다
·수정 1회
요약
- 투 타워는 사용자(쿼리)와 상대(아이템)를 각자의 신경망(타워)으로 같은 차원의 벡터로 바꾸고, 두 벡터의 내적으로 쌍 점수를 낸다.
- 두 쪽이 마지막 내적에서만 만나서 한쪽 벡터를 상대와 무관하게 미리 계산해 둘 수 있다. N명 풀의 모든 쌍 점수는 타워 N번 실행과 행렬곱 한 번으로 나오고, 후보가 수억 개면 미리 계산한 벡터를 ANN 인덱스에 넣고 찾는다.
- 대가로 "전에 만난 적 있음", "나이 차" 같은 쌍에만 있는 정보는 입력으로 넣을 수 없다. 이런 정보를 쓰는 크로스 모델은 쌍마다 신경망을 돌려야 해서, 투 타워로 좁힌 후보를 다시 정렬하는 단계에 둔다.
본문
구조
내 특징 → [유저 타워] → 벡터 u
상대 특징 → [피어 타워] → 벡터 v
점수 = u · v
- 타워는 특징을 받아 같은 길이의 임베딩을 내놓는 신경망이다. 두 타워의 출력이 같은 임베딩 공간에 놓이도록 함께 학습한다.
- 정답이 큰 쌍(클릭한 쌍, 오래 대화한 쌍)은 내적이 커지도록 학습한다. 아자르 CUPID는 대화 시간을 맞히려고 내적에 지수 변환을 씌운다: ŷ = exp(w(e_user · e_peer) + b).
계산량: 신경망을 사람 수만큼만 돌린다
풀에 1,000명이 있을 때 모든 쌍(1,000×999/2 = 499,500쌍)의 점수를 구하는 비용:
| 크로스 모델 | 투 타워 | |
|---|---|---|
| 신경망 실행 | 쌍마다 1번, 499,500번 | 사람마다 1번, 1,000번 |
| 점수 계산 | 신경망 출력이 곧 점수 | 임베딩 행렬 E로 EᵀE 행렬곱 한 번 |
- 한 사람의 벡터는 상대가 누구든 같아서 캐시해 둘 수 있다. CUPID는 최근 매칭 기록을 요약하는 세션 임베딩을 매칭 요청 경로에서 떼어 비동기로 계산해 두고, 요청 때는 캐시된 값을 쓴다.
- Google Cloud 참조 아키텍처는 학습 뒤 두 타워를 따로 저장한다. 후보 타워는 배치 예측으로 모든 후보의 임베딩을 미리 계산해 ANN 검색용 벡터 인덱스에 넣고, 쿼리 타워만 온라인 엔드포인트에 띄워 요청마다 쿼리 임베딩을 만든다.
- Google Cloud 블로그는 이 구조를 1억 개가 넘는 후보에서 수백 개를 추려 다음 랭킹 단계로 넘기는 첫 단계(후보 검색)로 소개한다.
한계: 두 쪽 정보는 내적에서만 만난다
- 쌍에만 있는 정보(만난 적 있는지, 나이 차, 거리)는 어느 타워에도 넣을 수 없다.
- 대신 각자의 벡터에 나이·국가·언어가 담기면, 내적이 속성 조합의 궁합을 간접적으로 배울 수 있다. 예를 들어 특정 국가 사용자 벡터가 다른 특정 국가 사용자 벡터와 가까워지는 식이다.
- 그래서 투 타워 점수는 "개인 점수 A + 개인 점수 B"처럼 상대와 무관한 합이 아니다. 상대에 따라 점수가 달라지는 조합 효과를 담을 수 있다. 다만 데이터에 그런 조합 신호가 있어야 배운다.
크로스 모델과 나눠 쓰는 방식
- 크로스 모델은 두 쪽 특징을 처음부터 한 신경망에 함께 넣어 상호작용을 계산하고, 쌍 특징도 입력으로 받는다.
- 비용이 쌍 수에 비례해서, 투 타워나 BM25로 추린 소수 후보를 재정렬하는 단계에 쓴다. 검색에서 상위 N개를 LLM 리랭커로 다시 정렬하는 것이 이 자리다.
여러 지표를 함께 예측할 때
- CUPID는 같은 임베딩을 작업마다 다른 선형 투영으로 바꾼 뒤 내적해서, 대화 시간을 포함한 여러 1차 지표를 한 모델로 예측한다.
매칭 서비스에 쓸 때 (설계 의견)
- 나이·국가처럼 반드시 지켜야 하는 조건은 점수 밖의 필터로 거르고, 투 타워 점수는 필터를 통과한 후보끼리 순서를 정하는 데 쓴다. 필터를 점수에 섞으면 학습 데이터에 없는 조합에서 점수가 엉뚱하게 나와도 막을 장치가 없다.
관련 노트
- 아자르 CUPID는 예상 대화 시간을 엣지 가중치로 두고 매칭 풀 전체 합을 최대화한다
- QMD는 BM25, 벡터, LLM 리랭킹을 로컬 SQLite에서 결합한다
- 검색에서 쿼리 표현이 결정적이지만 query rewriting보다 하이브리드 retrieval이 ROI가 크다
참고
- https://docs.cloud.google.com/architecture/implement-two-tower-retrieval-large-scale-candidate-generation — Google Cloud, "Implement two-tower retrieval for large-scale candidate generation"
- https://cloud.google.com/blog/products/ai-machine-learning/scaling-deep-retrieval-tensorflow-two-towers-architecture — Jeremy Wortz, Jordan Totten, "Scaling deep retrieval with TensorFlow Recommenders and Vertex AI Matching Engine" (2023-04-20)
- https://hyperconnect.github.io/2024/11/19/azar-recommendation-model.html — Joonyoung Yi, Gihun Lee, "아자르에서는 어떤 추천 모델을 사용하고 있을까?" (2024-11-19)
- https://arxiv.org/abs/2410.18087 — Kim et al., "CUPID: A Real-Time Session-Based Reciprocal Recommendation System for a One-on-One Social Discovery Platform"