확률론

배우는 이유: 불확실성을 정확하고 정량적으로 표현하는데 도움을 줌

• 확률 기본
  • 합의 법칙, 곱의 법칙
    • 주변확률, 조건부확률
    • 곱의 법칙은 조건부확률과 관련 되어 있음
  • 베이즈 정리
    • 곱의 법칙과 대칭성(P(x,y) = P(y,x)) 로 부터 조건부 확률 사이의 관계를 도출 할 수 있음
    • 사전확률과 사후 확률
  • 확률 변수의 독립성
• 확률밀도
  • 확률 밀도의 정의: 실수 변수 x가 (x, x+dx) 구간 안의 값을 갖고 그 변수의 확률이 p(x)dx이면 p(x)는 x의 확률 밀도
  • 확률 분포 함수는 야코비안 인자에 의한 비선형 변수 변환 시에 일반적인 함수와는 다른 방식으로 변환해야함
    • 그 이유는 확률 질량 값이 유지되어야 하기 때문임
  • 야코비안 인자:
    • 야코비안은 다변수 함수의 미분을 나타내는 행렬
• 기댓값과 공분산
• 베이지안 확률
• 곡선 피팅
• 베이지안 곡선 피팅

모델 선택

차원의 저주

정보 이론

확률분포

이산 확률 분포

• 베타 분포

다항 변수

• 디리클레 분포

가우시안 분포

• 조건부 가우시안 분포
• 주변 가우시안 분포
• 가우시안 변수에 대한 베이지안 정리
• 가우시안 분포의 최대 가능도
• 순차 측정
• 가우시안 분포에서의 베이지안 추론
• 스튜던트 t 분포
• 주기적 변수
• 가우시안 분포의 혼합

지수족

• 최대 가능도와 충분 통계량
• 켤레 사전 분포
• 무정보적 사전 분포

비매개변수적 방법

• 커널 밀도 추정
• 최근접 이웃방법론