Machine Learning Basics — AI Foundations

데이터와 나누기

한 행이 콘크리트 배합 하나입니다. 재료 일곱 가지(1 m³당 kg), 시험한 재령(일), 그리고 잰 압축강도(MPa)입니다. 재료와 재령이 입력(특징), 강도가 정답(목표)입니다. 모델은 처음 보는 배합에서 맞아야 쓸모가 있으므로, 무엇을 배우기 전에 행을 먼저 나눕니다. 맞추는 데 쓰는 학습 묶음, 설정을 고르는 검증 묶음, 맨 끝에 한 번만 여는 시험 묶음입니다.

체험: 데이터 보기

변수

체험: 행 나누기

학습 비율 검증 비율 섞는 시드

체험: 시험 묶음이 작으면 점수가 흔들린다

참 정확도가 p인 모델을 시험 묶음 n개로 재면, 잰 값은 n과 p로 정해지는 만큼 흔들립니다. 같은 모델을 서로 다른 시험 묶음 400개로 잰 결과를 그렸습니다. 시험 묶음을 네 배로 늘려야 흔들림이 절반이 됩니다.

시험 묶음 크기 n (로그) 참 정확도 p

요약특징은 입력, 목표는 맞히려는 값입니다.배우기 전에 나누고, 시험 묶음은 맨 끝까지 닫아 둡니다.같은 행이 양쪽 묶음에 들어가면 시험 점수가 실제보다 좋아 보입니다.

기호표

기호	뜻	단위
x	배합 하나의 특징 벡터	—
y	압축강도(목표)	MPa
w/b	물 ÷ 결합재(시멘트 + 슬래그 + 플라이애시)	—

참고문헌

Yeh, I-C. (1998). Modeling of strength of high-performance concrete using artificial neural networks. Cement and Concrete Research 28(12).
Data: Concrete Compressive Strength · UCI Machine Learning Repository · CC BY 4.0 · https://doi.org/10.24432/C5PK67
Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.), §7.2. Springer.

선형 회귀

선형 회귀는 목표를 특징들의 가중합으로 예측합니다. 배운다는 것은 학습 묶음에서 평균제곱오차(MSE)가 가장 작아지는 가중치를 찾는 일입니다. 경사하강법은 오차를 가장 많이 줄이는 방향으로 가중치를 조금씩 옮기기를 되풀이해 그 값에 다가갑니다. 먼저 특징 하나, 물-결합재 비(w/b)로 시작합니다. 재령 28일에 시험한 425개 배합이고, 전통적인 Abrams 법칙은 이 비가 클수록 강도가 낮다고 말합니다.

ŷ = w₀ + w₁x₁ + … + w_k x_k · MSE = (1/n) Σ (ŷᵢ − yᵢ)² · w ← w − η ∇MSE

체험: 특징 하나로 경사하강법

학습률 η 단계

체험: 특징 전부, 시험 묶음으로 채점

1번 탭의 나누기를 씁니다(학습 행으로 맞추고 시험 행으로 채점). 가중치는 표준화한 특징에 최소제곱으로 바로 풉니다.

체험: 점을 찍어 직선 맞추기

빈 곳을 누르면 점이 생기고, 점을 끌면 옮겨지고, 점을 누르면 지워집니다. 최소제곱은 빨간 사각형 넓이의 합이 가장 작은 직선입니다. 먼 점 하나가 사각형을 크게 만들어 직선을 끌어당깁니다. 절댓값 오차로 바꾸면 같은 점의 영향이 훨씬 작습니다(회색 점선이 최소제곱).

손실

요약학습률이 너무 작으면 기어가고, 너무 크면 넘쳐서 발산합니다.늘 가장 단순한 기준선, 학습 묶음의 평균으로 찍기와 비교합니다.재령을 log(재령)으로 바꾸는 것이 특징 공학입니다. 모델은 그대로 선형이지만 굽은 관계를 맞춥니다.

참고문헌

Abrams, D.A. (1919). Design of Concrete Mixtures. Bulletin 1, Structural Materials Research Laboratory, Lewis Institute, Chicago.
Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.), ch. 3. Springer.
Cauchy, A. (1847). Méthode générale pour la résolution des systèmes d'équations simultanées. Comptes Rendus 25.

분류

정답이 범주일 때 모델은 확률을 내고, 문턱이 그것을 결정으로 바꿉니다. 여기서는 배합이 목표 강도에 이르는지를 두 특징, 물-결합재 비와 log(재령)으로 맞힙니다. 로지스틱 회귀는 가중합을 sigmoid 함수에 넣어 0과 1 사이의 수로 만들고, 그 값이 0.5인 선이 결정 경계입니다.

p = σ(w₀ + w₁·w/b + w₂·log age) · σ(z) = 1 / (1 + e^(−z)) · loss = −Σ [y log p + (1−y) log(1−p)] + (λ/2)‖w‖²

체험: 목표 강도 · 벌점 · 문턱

목표 강도 L2 벌점 λ 결정 문턱

체험: 점을 찍어 로지스틱 회귀

고른 색으로 점을 찍으면 로지스틱 회귀를 다시 맞춥니다(뉴턴법). 배경 색이 주황일 확률, 검은 선이 확률 0.5인 경계입니다. 테두리가 검은 점은 틀린 점입니다. 고리 배치는 직선으로 나뉘지 않지만 x², y², xy를 특징으로 더하면 원 모양 경계가 됩니다. 두 무리가 완전히 나뉘면 벌점이 없을 때 가중치가 끝없이 커지려 합니다.

특징

L2 벌점 λ (log₁₀)

요약모델은 확률을 내고, 문턱은 따로 정하는 값입니다.문턱을 올리면 '통과'로 잘못 고르는 일은 줄고 놓치는 일은 늘어납니다.벌점 λ가 크면 가중치가 작아지고 경계가 덜 가팔라집니다.

참고문헌

Cox, D.R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society B 20(2).
Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.), §4.4. Springer.

과적합과 규제

유연한 모델은 잡음까지 포함해 학습 점마다 휘어 지나가고, 그 대신 새 데이터에서 틀립니다. 이것이 과적합입니다. 여기서는 28일 배합 중 적은 수를 무작위로 뽑아 물-결합재 비의 다항식을 맞춥니다. 차수를 올리면 학습 오차는 계속 줄지만 검증 오차는 다시 올라갑니다. L2 벌점(ridge)이 곡선을 매끈한 쪽으로 끌어당깁니다.

ŷ = Σ_{d=0..D} w_d x^d · minimize Σ (ŷᵢ − yᵢ)² + λ Σ_{d≥1} w_d²

체험: 차수 · 표본 수 · 벌점

다항식 차수 D 학습 점 수 Ridge 벌점 λ 표본 시드

체험: 시험 묶음으로 고르면 속임수

40번 되풀이합니다. 28일 배합에서 학습 표본과 서로 겹치지 않는 검증·시험·새 묶음을 뽑고, 그중 하나에서 오차가 가장 작은 차수(1–12)를 골라 보고합니다. 시험 오차로 고르면 보고한 오차가 새 배합에서의 오차보다 좋게 나옵니다.

체험: 편향과 분산을 따로 보기

참 함수 sin 2πx에 잡음을 얹은 점 n개를 200번 새로 뽑아, 매번 같은 차수의 다항식을 맞췄습니다(그중 30개가 파란 가는 선). 평균 곡선이 참 함수에서 벗어난 정도가 편향, 곡선들이 서로 흩어진 정도가 분산입니다. 차수가 낮으면 편향이, 높으면 분산이 시험 오차를 차지합니다.

차수 점 개수 n 잡음 σ

요약학습 오차만 보면 늘 더 복잡한 모델이 이깁니다.데이터를 늘리는 것과 벌점을 거는 것 모두 과적합을 줄입니다.설정은 검증 데이터로 고르고, 시험 묶음은 마지막 보고에만 씁니다.

참고문헌

Hoerl, A.E., Kennard, R.W. (1970). Ridge regression: biased estimation for nonorthogonal problems. Technometrics 12(1).
Stone, M. (1974). Cross-validatory choice and assessment of statistical predictions. Journal of the Royal Statistical Society B 36(2).
Geman, S., Bienenstock, E., Doursat, R. (1992). Neural networks and the bias/variance dilemma. Neural Computation 4(1).
Cawley, G.C., Talbot, N.L.C. (2010). On over-fitting in model selection and subsequent selection bias in performance evaluation. JMLR 11.

평가 지표

숫자 하나로는 다 알 수 없습니다. 회귀에서 RMSE와 MAE는 MPa 단위의 오차이고, R²는 설명한 분산의 몫이며, 모두 평균으로 찍기와 견줘야 합니다. 분류에서 정확도는 한 범주가 흔하기만 해도 높아 보일 수 있습니다. 정밀도, 재현율, ROC 곡선이 문턱이 무엇을 맞바꾸는지 보여 줍니다.

RMSE = √mean(e²) · MAE = mean|e| · R² = 1 − Σe²/Σ(y−ȳ)² · precision = TP/(TP+FP) · recall = TP/(TP+FN)

체험: 시험 묶음의 회귀

1·2번 탭의 모델과 나누기를 씁니다.

체험: ROC 곡선과 문턱

3번 탭의 모델·목표 강도·문턱을 쓰고, 1번 탭의 시험 행으로 채점합니다.

체험: 드문 것을 찾을 때의 정밀도

1,000명 중 양성 비율(유병률)을 바꿔 보세요. 민감도(양성을 양성이라 하는 비율)와 특이도(음성을 음성이라 하는 비율)가 같아도, 양성이 드물면 양성 판정의 대부분이 거짓 경보가 됩니다. 이때 정확도는 높아 보여도, 무조건 음성이라고 하는 모델과 별 차이가 없습니다.

민감도 특이도 유병률 (로그)

요약오차는 목표의 단위로, 기준선과 나란히 보고합니다.정확도는 범주 불균형을 가립니다. 정밀도와 재현율도 읽습니다.AUC는 모든 문턱을 한 번에 요약할 뿐 문턱을 대신 골라 주지 않습니다.

참고문헌

Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters 27(8).
Willmott, C.J., Matsuura, K. (2005). Advantages of the mean absolute error (MAE) over the root mean square error (RMSE). Climate Research 30.
Saito, T., Rehmsmeier, M. (2015). The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLOS ONE 10(3).