[ML] 01-3 마켓과 머신러닝

생선 분류 문제

1. 도미 데이터 준비

bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]

 

import matplotlib.pyplot as plt

plt.scatter(bream_length, bream_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

맷플로립 패키지를 활용하여 산점도를 아래와 같이 표현 가능하다.

위 산점도 그래프와 같이 일직선에 가까운 형태로 나타나지는 경우 선형적이라고 표현한다.

 

2. 빙어 데이터 준비

smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.xlabel('length')
plt.ylabel('weigth')
plt.show()

두개의 데이터를 산점도로 표현하기 위해서는 위와 같이 scatter()함수를 연달아 사용하면 된다.

 

셀을 실행시키면 아래와 같은 산점도를 확인할 수 있다.

첫 번째 머신러닝 프로그램

1. 도미와 빙어 데이터를 하나의 데이터로 결합한다.

length = bream_length + smelt_length
weight = bream_weight + smelt_weight

 

2. 각 특성의 리스트를 세로 방향으로 늘어뜨린 2차원 리스트로 만든다.

fish_data = [[l, w] for l, w in zip(length, weight)]

print(fish_data)

fish_data 출력값

3. 정답 데이터를 생성한다.

fish_target = [1] * 35 + [0] * 14
print(fish_target)

fish_target 출력값

정답 데이터를 생성할 때 찾으려는 대상을 1로 놓고 그 외에는 0으로 설정한다.

 

4. KNeighborsClassifier 클래스를 임포트, 클래스 객체 생성, 데이터 훈련

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(fish_data, fish_target)

kn에 fish_data와 fish_target을 전달하여 도미를 찾기 위한 기준을 학습시키며 이 과정을 훈련(training)이라고 한다.

fit()메서드는 주어진 데이터로 알고리즘을 학습한다. 

 

모델 평가를 위해 score()메서드를 활용하여 값을 확인한다.

kn.score(fish_data, fish_target)

kn.socre() 출력값

 

k-최근접 이웃 알고리즘

: 어떤 데이터에 대한 답을 구할 때 주위의 다른 데이터를 보고 다수를 차지하는 것을 정답으로 사용하는 알고리즘

위와 같은 산점도를 가질 때 (30, 600)에 위치한 데이터는 도미라고 판단하게 된다.

 

kn.predict([[30, 600]])

kn.predict() 출력값

k-최근접 이웃 알고리즘은 데이터를 모두 가지고 있어야하기 때문에 데이터가 아주 많을 경우에는 메모리와 계산 시간이 많이 소요된다는 단점을 갖는다.

 

KNeighborsClassifier 클래스의 데이터 참고 기본값은 5이며 아래와 같이 변경이 가능하다.

kn49 = KNeighborsClassifier(n_neighbors = 49)

위와 같이 모델을 생성할 경우 데이터 49개 중 도미가 35개로 다수를 차지하기 때문에 어떤 데이터를 넣어도 무조건 도미가 출력되게 된다.

kn49.fit(fish_data, fish_target)
kn49.score(fish_data, fish_target)

print(35/49)

이런 경우 kn49 모델은 사용하지 않는게 옳다.

 

kn = KNeighborsClassifier()
kn.fit(fish_data, fish_target)

for i in range(5, 50):
  kn.n_neighbors = i
  
  score = kn.score(fish_data, fish_target)
  if score < 1:
    print(i, score)
    break

위 코드를 통해 정확도가 1보다 작지만 가장 1에 근접한 수를 찾을 수 있다.

즉 kn18을 통해 가장 높은 정확도를 얻을 수 있음을 알 수 있다.