Zettelkasten

투 타워(two-tower) 모델은 양쪽을 따로 임베딩해 쌍 점수를 내적으로 계산한다

·수정 1회

요약

  • 투 타워는 사용자(쿼리)와 상대(아이템)를 각자의 신경망(타워)으로 같은 차원의 벡터로 바꾸고, 두 벡터의 내적으로 쌍 점수를 낸다.
  • 두 쪽이 마지막 내적에서만 만나서 한쪽 벡터를 상대와 무관하게 미리 계산해 둘 수 있다. N명 풀의 모든 쌍 점수는 타워 N번 실행과 행렬곱 한 번으로 나오고, 후보가 수억 개면 미리 계산한 벡터를 ANN 인덱스에 넣고 찾는다.
  • 대가로 "전에 만난 적 있음", "나이 차" 같은 쌍에만 있는 정보는 입력으로 넣을 수 없다. 이런 정보를 쓰는 크로스 모델은 쌍마다 신경망을 돌려야 해서, 투 타워로 좁힌 후보를 다시 정렬하는 단계에 둔다.

본문

구조

내 특징   → [유저 타워] → 벡터 u
상대 특징 → [피어 타워] → 벡터 v
                         점수 = u · v
  • 타워는 특징을 받아 같은 길이의 임베딩을 내놓는 신경망이다. 두 타워의 출력이 같은 임베딩 공간에 놓이도록 함께 학습한다.
  • 정답이 큰 쌍(클릭한 쌍, 오래 대화한 쌍)은 내적이 커지도록 학습한다. 아자르 CUPID는 대화 시간을 맞히려고 내적에 지수 변환을 씌운다: ŷ = exp(w(e_user · e_peer) + b).

계산량: 신경망을 사람 수만큼만 돌린다

풀에 1,000명이 있을 때 모든 쌍(1,000×999/2 = 499,500쌍)의 점수를 구하는 비용:

크로스 모델 투 타워
신경망 실행 쌍마다 1번, 499,500번 사람마다 1번, 1,000번
점수 계산 신경망 출력이 곧 점수 임베딩 행렬 E로 EᵀE 행렬곱 한 번
  • 한 사람의 벡터는 상대가 누구든 같아서 캐시해 둘 수 있다. CUPID는 최근 매칭 기록을 요약하는 세션 임베딩을 매칭 요청 경로에서 떼어 비동기로 계산해 두고, 요청 때는 캐시된 값을 쓴다.
  • Google Cloud 참조 아키텍처는 학습 뒤 두 타워를 따로 저장한다. 후보 타워는 배치 예측으로 모든 후보의 임베딩을 미리 계산해 ANN 검색용 벡터 인덱스에 넣고, 쿼리 타워만 온라인 엔드포인트에 띄워 요청마다 쿼리 임베딩을 만든다.
  • Google Cloud 블로그는 이 구조를 1억 개가 넘는 후보에서 수백 개를 추려 다음 랭킹 단계로 넘기는 첫 단계(후보 검색)로 소개한다.

한계: 두 쪽 정보는 내적에서만 만난다

  • 쌍에만 있는 정보(만난 적 있는지, 나이 차, 거리)는 어느 타워에도 넣을 수 없다.
  • 대신 각자의 벡터에 나이·국가·언어가 담기면, 내적이 속성 조합의 궁합을 간접적으로 배울 수 있다. 예를 들어 특정 국가 사용자 벡터가 다른 특정 국가 사용자 벡터와 가까워지는 식이다.
  • 그래서 투 타워 점수는 "개인 점수 A + 개인 점수 B"처럼 상대와 무관한 합이 아니다. 상대에 따라 점수가 달라지는 조합 효과를 담을 수 있다. 다만 데이터에 그런 조합 신호가 있어야 배운다.

크로스 모델과 나눠 쓰는 방식

  • 크로스 모델은 두 쪽 특징을 처음부터 한 신경망에 함께 넣어 상호작용을 계산하고, 쌍 특징도 입력으로 받는다.
  • 비용이 쌍 수에 비례해서, 투 타워나 BM25로 추린 소수 후보를 재정렬하는 단계에 쓴다. 검색에서 상위 N개를 LLM 리랭커로 다시 정렬하는 것이 이 자리다.

여러 지표를 함께 예측할 때

  • CUPID는 같은 임베딩을 작업마다 다른 선형 투영으로 바꾼 뒤 내적해서, 대화 시간을 포함한 여러 1차 지표를 한 모델로 예측한다.

매칭 서비스에 쓸 때 (설계 의견)

  • 나이·국가처럼 반드시 지켜야 하는 조건은 점수 밖의 필터로 거르고, 투 타워 점수는 필터를 통과한 후보끼리 순서를 정하는 데 쓴다. 필터를 점수에 섞으면 학습 데이터에 없는 조합에서 점수가 엉뚱하게 나와도 막을 장치가 없다.

관련 노트

참고