데이터 분석가 블로그

[Node.js] Node.js 공부 -1

심심한 내일 — Sat, 11 Aug 2018 23:27:37 +0900

책과 강의를 추천받아 Node.js 공부를 시작했다.

일단 자바스크립트 기반이라 아예 모르지는 않지만 function, callback의 형태가 자바스크립트랑 좀 달라서 헷갈렸었다.

싱글 스레드를 비동기식으로 처리하여 멀티 스레드 효과를 내는 방법이 있다고 하는데 어느 정도의 데이터 크기가 되어야지 두 방식에 차이가 있을지도 궁금하지만 일단은 데이터 베이스와 연동하는 기초부터 차근차근 해야겠다.

일단 책으로 공부하는 게 아니라서 코드가 주석으로 너무 지저분해져서 따로 올리지는 않는다. 나중에 책 오면 제대로 정리해서 올려야지.

아래는 공부하는 강좌이다.

생활코딩, 제가 돈 벌면 꼭 후원하겠습니다!

https://www.inflearn.com/course/nodejs-강좌-생활코딩/

[CSharp 기초] C# 초보 강좌 -0(예제로 배우는 C#)

심심한 내일 — Fri, 10 Aug 2018 08:20:29 +0900

어제 면접을 봤는데 C계열 언어, Node.js 능력이 필요하다는 말을 들어서 두 언어 다 찾아보고 기초 부분을 공부해봤다.

일단 C#이 자바와 비슷하여 더 쉬웠고 먼저 배워보기로 판단했다.

아직 합격을 한 건 아니지만 목표를 가지고 공부를 한다는 점이 중요하다고 생각한다.

열심히 해야겠다.

일단 아래는 배우는 주소이다. 나중에 합격하면 책도 사야지.

https://www.inflearn.com/course/c-%EC%B4%88%EB%B3%B4-%EA%B0%95%EC%A2%8C-%EC%98%88%EC%A0%9C%EB%A1%9C-%EB%B0%B0%EC%9A%B0%EB%8A%94-c/

[빅데이터 캠퍼스 공모전] 외국인 관광객 유치를 위한 외국인 카드 사용 데이터 분석 및 시뮬레이션-1(데이터 수집 및 확인)

심심한 내일 — Fri, 3 Aug 2018 12:45:45 +0900

요새 아이디어 정리와 구직활동 등을 하느라 1일 1포스트를 못하고 있었다.

프로젝트도 내키는대로 하다보니 하나가 다 끝나기 전에 다른게 올라오고 또 다른게 올라오는 형태가 되었는데 일단 각 프로젝트를 계속 진행하고 있는 상황이다.

아무래도 혼자 3개의 프로젝트를 진행하다보니 산만하게 포스팅이 되는 경향도 있지만 취미로 하는 것이기에 상관은 없을 것이고...

일단 현재 최우선으로 해야 하는 프로젝트는 이 프로젝트이다.

일단 기본 개요는 아래와 같다.
1. 외국인 관광객이 많이 찾는 장소의 특징을 찾아 보기.
2. 외국인 관광객이 어디에 소비를 하는지 살펴보기.
3. 외국인 관광객의 이동 경로를 파악하기.

이것을 통해 해보고자 하는 것을 아래와 같다.
1. 각 요소를 조합하여 지표 만들기.
2. 만들어낸 지표를 이용하여 외국인 관광객의 소비에 관한 시뮬레이션 돌려보기.
3. 관광객이 많이 찾지 않는 장소에 관광객이 많이 찾을만한 요소를 넣고 시뮬레이션 돌려보기.

현재 위의 것들을 해보기 위한 모든 플랜을 세워놨으며 진행을 하면 되는데 문제는 이전과 달리 빅데이터 캠퍼스에만 자료가 있고 이를 반출하는 것이 불가능하기 때문에 포스팅을 하는데 애로사항이 있다는 점이다.

일단 어제 하루동안 기본 개요의 1, 2를 확인했다. 약 2년간의 자료가 있었고 유의미한 자료를 얻을 수 있었다. 이제 수집해야 하는 자료는 서울을 방문하는 외국인 관광객이 어떤 경로로 이동하는지, 관광 상품을 통해 들어오는 비율과 자유 여행의 비율을 확인하는 작업이 남아있다. 이 자료는 나중에 시뮬레이션을 돌리는데 있어서 중요한 자료이기 때문에 최대한 정제가 덜 된 자료를 찾아볼 예정이다.

이 프로젝트를 통해 얻고자 하는 것은 단기적으로는 1.외국인 관광객에게 더욱 다양한 경험을 하게 만들어 더 많은 돈을 쓰게 만들고 2.어떤 포인트로 외국에 한국을 홍보해야하는지 파악하는 것이고 장기적으로는 1.외국인 관광객이 덜 찾는 지역에 새로운 관광상품을 개발하여 지역 세수를 늘리는데 도움을 주는 것과 2.외국인 관광객이 다양한 경험을 할 수 있게 하여 재방문 및 홍보효과를 극대화 하는 것이다.

이것저것 거창하게 써놨지만 결국 얼마나 유의미한 자료를 얻어내는가가 제일 중요할텐데 현재까지 진행상황으로 보면 이번 프로젝트도 잘 될 것이라고 생각한다.

[주식매매 시뮬레이션] 크롤링으로 네이버 주식 데이터를 가져와 Zipline을 이용하여 주식 매매 시뮬레이션 돌리기 -1

심심한 내일 — Mon, 30 Jul 2018 21:56:16 +0900

예전에 크롤링을 활용하여 네이버 주식 데이터를 가져와서 데이터프레임을 만들고 시각화 하는 작업을 했었다. 이번에는 더 나아가 Zipline이라는 라이브러리를 이용하여 주식매매를 시뮬레이션 해보는 코드를 작성해보도록 하겠다.
코드가 제대로 동작한다면 보다 정교한 코드를 삽입하여 실제 차트 전략을 적용해볼 것이다.

출처.
wikibooks - 파이썬으로 배우는 알고리즘 트레이딩
https://wikidocs.net/4429

깃허브
https://github.com/iesilder/projectFinance/blob/master/Zipline%EA%B8%B0%EC%B4%88.ipynb

[Python] 파이썬을 이용한 여러가지 플롯 그리기

심심한 내일 — Sun, 29 Jul 2018 20:27:38 +0900

휴가를 왔기 때문에 Google CoLab과 GitHub 연동 및 간단한 몇가지 시각화 실습만 해보았다.

아래는 출처와 실제 시각화를 한 자료들 및 깃허브, CoLab 주소이다.

출처.
https://datascienceschool.net/view-notebook/6e71dbff254542d9b0a054a7c98b34ec/

https://github.com/iesilder/projectFinance

https://colab.research.google.com/drive/1TENK17j9CwtdRmx17ZnJgiy6RYhoqvfJ

[TensorFlow] Batch를 만들어서 MNIST 데이터를 학습시키고 test 데이터에 적용해보기

심심한 내일 — Thu, 26 Jul 2018 12:25:49 +0900

세션이 살아있는 동안 계속해서 새로운 데이터를 학습할 수 있는 Online learning을 위한 기본이 되는 Batch만들기를 텐서플로우를 이용해 만들어봤다.

아래는 전체 소스 코드이다.

=========================== Python ===========================

import tensorflow as tf

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import random

nb_classes = 10

X = tf.placeholder(tf.float32, shape=[None, 784])

Y = tf.placeholder(tf.float32, shape=[None, nb_classes])

W = tf.Variable(tf.random_normal([784, nb_classes]), name='weight')

b = tf.Variable(tf.random_normal([nb_classes]), name='bias')

from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

logits = tf.matmul(X, W) + b

hypothesis = tf.nn.softmax(logits)

cost = tf.reduce_mean(-tf.reduce_sum(Y * tf.log(hypothesis)))

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.002).minimize(cost)

is_correct = tf.equal(tf.argmax(hypothesis, 1), tf.argmax(Y, 1))

accuracy = tf.reduce_mean(tf.cast(is_correct, tf.float32))

training_epochs = 15

batch_size = 100

with tf.Session() as sess:

sess.run(tf.global_variables_initializer())

for epoch in range(training_epochs):

avg_cost = 0

total_batch = int(mnist.train.num_examples / batch_size)

for i in range(total_batch):

batch_xs, batch_ys = mnist.train.next_batch(100) # 100개의 x,y가 읽어진다.

c, _ = sess.run([cost,optimizer], feed_dict={X:batch_xs, Y:batch_ys})

avg_cost += c/total_batch

print('epoch:', '%04d' %(epoch+1), 'cost = ', '{:.9f}'.format(avg_cost))

print('Accuracy: ', accuracy.eval(session=sess, feed_dict={X:mnist.test.images, Y:mnist.test.labels}))

r = random.randint(0, mnist.test.num_examples -1)

print("label:", sess.run(tf.argmax(mnist.test.labels[r:r+1],1)))

print("prediction:", sess.run(tf.argmax(hypothesis, 1), feed_dict={X:mnist.test.images[r:r+1]}))

plt.imshow(mnist.test.images[r:r+1].reshape(28,28), cmap="Greys", interpolation='nearest')

plt.show()

=========================== Python ===========================

결과는 아래와 같다.

epoch: 0015 cost = 0.746036197
Accuracy: 0.9021
label: [7]
prediction: [7]

결과는 좋게 나왔지만 Cost값이 너무 높게 나왔다.

소프트맥스를 이용했으므로 cross-entropy loss를 이용해서 cost 값을 구하는데 이는 아래와 같다.

H(P,Q)=−(1/m)∑xP(x)logQ(x)

이를 바탕으로 생각해보면 전체 평균이 0.7이고 P(x)는 항상 1인 것만 남으므로 -logQ(x)의 값이 0.7이라는 것을 알 수 있는데 이는 Q(x)가 약 0.2라는 뜻이다.

저기서 Q(x)가 소프트맥스라는 것을 생각하면 정답을 0.2로 맞춘다는 뜻이고 이것은 나머지 0.8을 9개가 나눠 갖는다는 것을 생각하면 충분한 확률이 아니라는 것을 알 수 있다.

어쨌든 간단한 모델로 꽤나 정확한 결과를 얻을 수 있다는 점에서는 유용하다고 할 수 있다.

ref.
인프런 / 모두를 위한 딥러닝 - 기본적인 머신러닝과 딥러닝 강좌

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 11(텐서플로우 소프트맥스 함수 적용)

심심한 내일 — Wed, 25 Jul 2018 12:26:17 +0900

특정 바다 상태일 때 사고 확률이 얼마나 나올 것인가를 알아보는 것이 목적인지라 확률로 나오는 것들을 다 해보고 있다.

그런데 생각보다 잘 안 되고 있어서 문제이다.

1차 제출이 26일까지라 거의 끝났지만 제출 전까지 분류 알고리즘을 확률로 바꿔보는 작업을 하려고 한다.

오늘은 소프트맥스 함수를 이용하였다. 소스코드는 아래와 같다.

========================= Python =========================

import tensorflow as tf

import numpy as np

xy1 = np.loadtxt("D:/deep1/projectdata/sibala1.csv", delimiter=",") # 실제

xy = np.loadtxt("D:/deep1/projectdata/sixx/West-Central2.csv", delimiter=",") # 학습

x_data = xy[:, 0:-1] # 8 colomns 학습

y_data = xy[:, [-1]] # 1 columns, [0, 1 ] 2 classes 학습

x1_data = xy[:, 0:-1] # 실제

y1_data = xy1[:, [-1]] # 실제

data_columns = 8

one_hot_classes = 2

Ww = [[-0.38062394, -1.1824702 ],

[-0.58688945, -0.08159877],

[ 0.0117368, 0.15746553],

[-0.27620426, 1.167679 ],

[ 0.35279995, 0.16170044],

[-0.4119897, -0.20874338],

[-1.8185207, 0.66683036],

[ 0.6255578, 0.62470055]]

Bb = [0.4964638, 0.50644296]

X = tf.placeholder(tf.float32, shape=[None, data_columns]) #[n, 8]

Y = tf.placeholder(tf.int32, shape=[None, 1]) # [n, 1]

Y_one_hot = tf.one_hot(Y, one_hot_classes) # 3D array

Y_one_hot = tf.reshape(Y_one_hot, [-1, one_hot_classes]) # 2D array shape [n, 2]

# W [8, 2]

W = tf.Variable(tf.random_normal([data_columns, one_hot_classes]), name='weight')

# b [2]

b = tf.Variable(tf.random_normal([one_hot_classes]), name='bias')

# W [8, 2]

W = tf.Variable(Ww, name='weight')

# b [2]

b = tf.Variable(Bb, name='bias')

logits = tf.matmul(X, W) + b

hypothesis = tf.nn.softmax(logits)

cost_i = tf.nn.softmax_cross_entropy_with_logits_v2(logits=logits, labels=Y_one_hot)

cost = tf.reduce_mean(cost_i)

optimizer = tf.train.GradientDescentOptimizer(learning_rate=1e-5)

train = optimizer.minimize(cost)

prediction = tf.argmax(hypothesis, 1)

correct_prediction = tf.equal(prediction, tf.argmax(Y_one_hot, 1))

accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

with tf.Session() as sess:

sess.run(tf.global_variables_initializer())

for step in range(1001):

sess.run(train, feed_dict={X: x_data, Y: y_data})

if step % 1000 == 0:

loss, acc, W_val, b_val = sess.run([cost, accuracy, W, b], feed_dict={X: x_data, Y: y_data})

print("Step: {:5}\tLoss: {:.3f}\tAcc: {:.2%}".format(step, loss, acc))

print(W_val, b_val)

#print(sess.run([W, b], feed_dict={X: x_data, Y: y_data}))

pred, hy_val = sess.run([prediction, hypothesis], feed_dict={X: x1_data, Y: y1_data})

all = 0

acci = 0

predict = 0

test = 0

for p, y, i in zip(pred, y1_data.flatten(), range(len(hy_val))):

all += 1

if int(y) == 1:

acci += 1

if p == int(y):

predict += 1

if p == int(y):

test += 1

print("[{}] Prediction: {} True Y: {}".format(p == int(y), p, int(y)), hy_val[i])

print("accu all : {:.3f}".format(test/all))

print("accu predict : {:.3f}".format(predict/acci))

========================= Python =========================

최적화를 시켜서 Loss를 0.7까지 낮췄지만 cost func. 값으로는 여전히 높은 수치이고 실제 사고 데이터에 적용시켜보니 사고를 분류하는 확률이 10%정도 밖에 안 됐다.

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 10(데이터셋을 바꿔서 로지스틱스 회귀분석 적용)

심심한 내일 — Tue, 24 Jul 2018 17:09:24 +0900

기존에 사용하던 변수가 %로 표현되었는데 그 중 간격척도인 온도가 있어서 (원본데이터 - 3시간 이동평균선 데이터)로 바꿔서 측정하였다. 소스코드는 기존과 같고 결과는 아래처럼 나왔다.

========================== Results ==========================

Optimization terminated successfully.

Current function value: 0.389416

Iterations 7

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 54649

Model: Logit Df Residuals: 54643

Method: MLE Df Model: 5

Date: Tue, 24 Jul 2018 Pseudo R-squ.: -0.1312

Time: 09:23:17 Log-Likelihood: -21281.

converged: True LL-Null: -18812.

LLR p-value: 1.000

==============================================================================

coef std err z P>|z| [0.025 0.975]

------------------------------------------------------------------------------

WindFlow% -0.3271 0.015 -21.267 0.000 -0.357 -0.297

Temp% 0.3170 0.030 10.482 0.000 0.258 0.376

MaxWave% 0.9890 0.096 10.250 0.000 0.800 1.178

SigWave% -1.3945 0.202 -6.897 0.000 -1.791 -0.998

강수량(mm) -0.3900 0.027 -14.631 0.000 -0.442 -0.338

시정(10m) -0.0012 9.29e-06 -133.229 0.000 -0.001 -0.001

==============================================================================

WindFlow% 0.721020

Temp% 1.372957

MaxWave% 2.688644

SigWave% 0.247965

강수량(mm) 0.677048

시정(10m) 0.998764

dtype: float64

West-South

Optimization terminated successfully.

Current function value: 0.528471

Iterations 7

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 17408

Model: Logit Df Residuals: 17402

Method: MLE Df Model: 5

Date: Tue, 24 Jul 2018 Pseudo R-squ.: 0.001457

Time: 09:23:17 Log-Likelihood: -9199.6

converged: True LL-Null: -9213.0

LLR p-value: 6.109e-05

==============================================================================

coef std err z P>|z| [0.025 0.975]

------------------------------------------------------------------------------

WindFlow% -0.5030 0.026 -19.596 0.000 -0.553 -0.453

Temp% 0.3173 0.066 4.792 0.000 0.188 0.447

MaxWave% 0.2764 0.131 2.113 0.035 0.020 0.533

SigWave% -1.6947 0.258 -6.576 0.000 -2.200 -1.190

강수량(mm) -0.4821 0.058 -8.258 0.000 -0.596 -0.368

시정(10m) -0.0008 1.28e-05 -62.794 0.000 -0.001 -0.001

==============================================================================

WindFlow% 0.604729

Temp% 1.373455

MaxWave% 1.318373

SigWave% 0.183655

강수량(mm) 0.617511

시정(10m) 0.999199

dtype: float64

West-Central

Optimization terminated successfully.

Current function value: 0.366349

Iterations 7

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 46005

Model: Logit Df Residuals: 45999

Method: MLE Df Model: 5

Date: Tue, 24 Jul 2018 Pseudo R-squ.: -0.1752

Time: 09:23:17 Log-Likelihood: -16854.

converged: True LL-Null: -14341.

LLR p-value: 1.000

==============================================================================

coef std err z P>|z| [0.025 0.975]

------------------------------------------------------------------------------

WindFlow% -0.3007 0.017 -17.711 0.000 -0.334 -0.267

Temp% 0.3072 0.032 9.476 0.000 0.244 0.371

MaxWave% 1.3045 0.113 11.528 0.000 1.083 1.526

SigWave% -1.3484 0.243 -5.553 0.000 -1.824 -0.872

강수량(mm) -0.3935 0.029 -13.405 0.000 -0.451 -0.336

시정(10m) -0.0013 1.06e-05 -123.200 0.000 -0.001 -0.001

==============================================================================

WindFlow% 0.740332

Temp% 1.359617

MaxWave% 3.685696

SigWave% 0.259663

강수량(mm) 0.674694

시정(10m) 0.998696

dtype: float64

South-West

Optimization terminated successfully.

Current function value: 0.455674

Iterations 6

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 59885

Model: Logit Df Residuals: 59879

Method: MLE Df Model: 5

Date: Tue, 24 Jul 2018 Pseudo R-squ.: 0.03234

Time: 09:23:18 Log-Likelihood: -27288.

converged: True LL-Null: -28200.

LLR p-value: 0.000

==============================================================================

coef std err z P>|z| [0.025 0.975]

------------------------------------------------------------------------------

WindFlow% -0.5744 0.014 -39.922 0.000 -0.603 -0.546

Temp% 0.9198 0.039 23.714 0.000 0.844 0.996

MaxWave% 0.4207 0.070 6.025 0.000 0.284 0.558

SigWave% -0.5422 0.138 -3.921 0.000 -0.813 -0.271

강수량(mm) -0.1299 0.009 -13.877 0.000 -0.148 -0.112

시정(10m) -0.0009 7.12e-06 -132.013 0.000 -0.001 -0.001

==============================================================================

WindFlow% 0.563015

Temp% 2.508860

MaxWave% 1.523075

SigWave% 0.581455

강수량(mm) 0.878226

시정(10m) 0.999061

dtype: float64

South-East

Optimization terminated successfully.

Current function value: 0.483324

Iterations 7

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 144734

Model: Logit Df Residuals: 144728

Method: MLE Df Model: 5

Date: Tue, 24 Jul 2018 Pseudo R-squ.: 0.007035

Time: 09:23:19 Log-Likelihood: -69953.

converged: True LL-Null: -70449.

LLR p-value: 4.636e-212

==============================================================================

coef std err z P>|z| [0.025 0.975]

------------------------------------------------------------------------------

WindFlow% -0.5170 0.008 -62.105 0.000 -0.533 -0.501

Temp% 0.6344 0.022 28.323 0.000 0.590 0.678

MaxWave% 0.1932 0.034 5.621 0.000 0.126 0.260

SigWave% -0.4455 0.069 -6.475 0.000 -0.580 -0.311

강수량(mm) -0.2044 0.008 -25.115 0.000 -0.220 -0.188

시정(10m) -0.0009 4.29e-06 -198.708 0.000 -0.001 -0.001

==============================================================================

WindFlow% 0.596288

Temp% 1.885815

MaxWave% 1.213066

SigWave% 0.640527

강수량(mm) 0.815153

시정(10m) 0.999149

dtype: float64

East-South

Optimization terminated successfully.

Current function value: 0.505116

Iterations 7

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 76009

Model: Logit Df Residuals: 76003

Method: MLE Df Model: 5

Date: Tue, 24 Jul 2018 Pseudo R-squ.: -0.005069

Time: 09:23:19 Log-Likelihood: -38393.

converged: True LL-Null: -38200.

LLR p-value: 1.000

==============================================================================

coef std err z P>|z| [0.025 0.975]

------------------------------------------------------------------------------

WindFlow% -0.4887 0.011 -45.692 0.000 -0.510 -0.468

Temp% 0.4496 0.029 15.763 0.000 0.394 0.506

MaxWave% 0.1066 0.042 2.553 0.011 0.025 0.188

SigWave% -0.3673 0.084 -4.366 0.000 -0.532 -0.202

강수량(mm) -0.3801 0.017 -22.214 0.000 -0.414 -0.347

시정(10m) -0.0008 5.62e-06 -138.072 0.000 -0.001 -0.001

==============================================================================

WindFlow% 0.613439

Temp% 1.567751

MaxWave% 1.112502

SigWave% 0.692618

강수량(mm) 0.683776

시정(10m) 0.999225

dtype: float64

East-Central

========================== Results ==========================

서남, 남서쪽 바다의 경우 정답률이 다른 바다보다 낮게 나왔다.

이유는 1. 데이터 정제 과정에서 서남, 남서쪽 데이터가 유실되었고, 2. 다도해가 다른 바다와 다른 특성을 가지기 때문이라고 추측된다.

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 9(텐서플로우 로지스틱스 회귀분석)

심심한 내일 — Tue, 24 Jul 2018 16:43:25 +0900

이전에 했던 텐서플로우 로지스틱스 회귀분석이 제대로 동작하지 않았던 부분을 해결해보기 위해서 이런저런 고민을 했었는데 결국 아주 사소한 부분이 문제였었다.

시그모이드 함수의 Cost Func.을 설정할 때 log가 들어가서 log 내부의 값이 0이 되었을 때 발생하는 문제임을 알지 못하고 계속 왜 inf, nan이 나오는지에 대해서 고민을 했던 것이었다.

이 문제는 텐서플로우의 clip_by_value() 메서드를 이용해서 해결을 했다.

아래는 사용한 전체 소스 코드이다.

============================= Python =============================

import tensorflow as tf

import pandas as pd

import numpy as np

xy = np.loadtxt("D:/deep1/projectdata/sixx/test.csv", delimiter=",")

df = pd.read_csv("D:/deep1/projectdata/sixx/test.csv", encoding='mbcs')

x_data = xy[:, 10:18]

y_data = xy[:, [-1]]

column_len = len(df.columns.values.tolist()) - 1 # 맨 마지막 [-1]컬럼을 제외

column_len = 8

X = tf.placeholder(tf.float32, shape=[None, column_len])

Y = tf.placeholder(tf.float32, shape=[None, 1])

W = tf.Variable(tf.random_normal([column_len, 1]), name='weight')

b = tf.Variable(tf.random_normal([1]))

hypothesis = tf.sigmoid(tf.matmul(X, W) + b)

# hypothesis가 0이 나오면 cost func을 돌리는데 문제가 발생하므로 clip_by_value를 이용해서 값의 범위를 정한다.

hypothesis = tf.clip_by_value(hypothesis,1e-5,1-(1e-5)) # 상한, 하한 설정

cost = -tf.reduce_mean(Y * tf.log(hypothesis) + (1 - Y) * (tf.log(1 - hypothesis)))

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)

train = optimizer.minimize(cost)

sess = tf.Session()

sess.run(tf.global_variables_initializer())

for step in range(1001):

cost_val, W_val, b_val, _ = sess.run([cost, W, b, train], feed_dict={X:x_data, Y:y_data})

if step % 100 == 0:

print('step :', step, " , cost_val :", cost_val, ' , W :', W_val, ' , b_val :', b_val)

#print('step :', step, " , cost_val :", cost_val)

predicted = tf.cast(hypothesis > 0.5, dtype=tf.float32)

accuracy = tf.reduce_mean(tf.cast(tf.equal(predicted, Y), dtype=tf.float32))

h, c, a = sess.run([hypothesis, predicted, accuracy], feed_dict={X: x_data, Y:y_data})

#print('\n', h, '\n',c, '\n',a)

print(a)

============================= Python =============================

결과는 cost_val가 1.0823343, 정확도가 0.9058798로 나왔다.

cost_val 값이 step 100에서부터 변화가 없는 것으로 보아 마지막 W, b를 Variable 객체에 넣고 learning_rate를 줄여서 다시 시행을 해봐야겠다는 생각이 든다.

============================= Python =============================

import tensorflow as tf

import pandas as pd

import numpy as np

xy = np.loadtxt("D:/deep1/projectdata/sixx/test.csv", delimiter=",")

df = pd.read_csv("D:/deep1/projectdata/sixx/test.csv", encoding='mbcs')

x_data = xy[:, 10:18]

y_data = xy[:, [-1]]

column_len = len(df.columns.values.tolist()) - 1 # 맨 마지막 [-1]컬럼을 제외

column_len = 8

K = [[-0.5448839 ], [-0.7040692 ], [-1.5916004 ], [ 0.9268937 ], [-0.56564385],

[ 1.1852934 ], [ 0.17947902], [-0.31339148]]

L = [1.2286115]

X = tf.placeholder(tf.float32, shape=[None, column_len])

Y = tf.placeholder(tf.float32, shape=[None, 1])

W = tf.Variable(K, name='weight')

b = tf.Variable(L)

hypothesis = tf.sigmoid(tf.matmul(X, W) + b)

# hypothesis가 0이 나오면 cost func을 돌리는데 문제가 발생하므로 clip_by_value를 이용해서 값의 범위를 정한다.

hypothesis = tf.clip_by_value(hypothesis,1e-5,1-(1e-5)) # 상한, 하한 설정

cost = -tf.reduce_mean(Y * tf.log(hypothesis) + (1 - Y) * (tf.log(1 - hypothesis)))

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.13)

train = optimizer.minimize(cost)

sess = tf.Session()

sess.run(tf.global_variables_initializer())

for step in range(1001):

cost_val, W_val, b_val, _ = \

sess.run([cost, W, b, train], feed_dict={X:x_data, Y:y_data})

if step % 100 == 0:

#print('step :', step, " , cost_val :", cost_val, ' , \

# W :', W_val, ' , b_val :', b_val)

print('step :', step, " , cost_val :", cost_val)

predicted = tf.cast(hypothesis > 0.5, dtype=tf.float32)

accuracy = tf.reduce_mean(tf.cast(tf.equal(predicted, Y), dtype=tf.float32))

h, c, a = sess.run([hypothesis, predicted, accuracy], feed_dict={X: x_data, Y:y_data})

#print('\n', h, '\n',c, '\n',a)

print(a)

============================= Python =============================

바꿨더니 cost_val은 조금 줄었지만 정확도도 떨어졌다.

유의미하게 수치가 줄어든 것이 아니기에 필요없다고 생각한다.

[TensorFlow] TensorFlow 기초

심심한 내일 — Mon, 23 Jul 2018 22:39:49 +0900

TensorFlow에 대해서 알려달라는 메일이 와서 한 번 끄적여본다.

TensorFlow는 기본적으로 그래프를 그려 문제를 방법이다.

여기서 그래프란 우리가 알고 있는 Y = X + 1 같은 것이 아니라 노드(데이터)와 엣지(링크)로 연결된 형태를 말한다.

위키 백과에 그래프에 대해서 잘 설명을 해놨으니 읽어보는 것이 좋겠다.
https://ko.wikipedia.org/wiki/%EA%B7%B8%EB%9E%98%ED%94%84

이는 딥러닝 또한 마찬가지인데, 쉽게 말해서 행렬문제를 많이 풀도록 컴퓨터한테 시키는 것이다.

이를 사용하기 잘 위해서 선형대수학, 함수, 미적분, 미분방정식에 대해서 알아야 한다.

그럼 텐서플로우를 사용하기 위한 기본 개념을 알아보자.

텐서플로우에는 기본적으로 placeholder, Variable, constant가 있다. 이는 모두 노드를 뜻한다.

placeholder는 우리가 집어 넣을 데이터의 공간이고 constant는 말 그대로 상수의 공간이다. 그리고 Variable이 보통 '딥러닝(머신러닝)으로 이 문제를 풀어봐!' 라고 말하는 사람들이 원하는 답이 들어있는 공간이다.

placeholder: 우리가 가진 데이터를 넣는 공간
Variable: 최적화를 시킬 필요가 있는 공간
constant: 상수

그럼 노드의 계산이 어떻게 일어나는지 생각을 해보자.

A = B + C 라는 식이 있다고 해보자.

이를 그래프로 표현하면 어떻게 될까?

위의 그래프는 공학이나 수학, 물리학을 전공한 사람들에게는 익숙하겠지만 보통의 사람들에게는 익숙하지 않은 모양일 것이다.

쉽게 설명해보자면 B, C라는 데이터가 +연산을 하여 A라는 데이터로 바뀌는 과정을 도식화 한 것이다.

placeholder, Variable, constant는 A, B, C에 들어가는 공간이다.

각 객체를 어떻게 사용하는지는 TensorFlow Document에서 찾아서 읽어보도록 하자.
https://www.tensorflow.org/api_docs/

그럼 가장 쉬운 예제인 선형회귀에 대해서 생각을 해보도록 하자.

선형회귀에 대한 설명을 알아서 찾아보기로 하고 선형회귀를 텐서플로우로 바꾸면 어떻게 되는지 살펴보자.

======================= Python =======================

# 텐서플로우 가져오기

import tensorflow as tf

# 사용할 데이터 정의

x_data = [1, 2, 3]

y_data = [1, 2, 3]

# W, X, Y 정의

# W = tf.Variable(tf.random_normal([1]), name='weight')

W = tf.Variable(5.0)

X = tf.placeholder(tf.float32, shape=[None], name='x')

Y = tf.placeholder(tf.float32, shape=[None], name='y')

# 사용할 식 정의. linear regression

hypothesis = W * X

# cost func 정의

# cost(W, b) = (1/m) * sigma(i = 1 ~ m)((W * X) - Y)^2

cost = tf.reduce_mean(tf.square(hypothesis - Y))

### minimize하기

# GradientDescentOptimizer의 식

# W := W - a * (1/m) * sigma(i = 1 ~ m)((W*xi - yi) * xi)

# 어느 정도로 시도할 것인지 결정

learning_rate = 0.1 # a

# 기울기 값

gradient_W = tf.reduce_mean((W * X - Y) * X) # (1/m) * sigma(i = 1 ~ m)((W*xi - yi) * xi)

descent_W = W - learning_rate * gradient_W # W - a * (1/m) * sigma(i = 1 ~ m)((W*xi - yi) * xi)

# W에 descent값을 재할당 한다.

update_W = W.assign(descent_W) # W := W - a * (1/m) * sigma(i = 1 ~ m)((W*xi - yi) * xi)

# 세션 열기

sess = tf.Session()

# Variable 초기화하기

sess.run(tf.global_variables_initializer())

for step in range(101):

sess.run(update_W, feed_dict={X:x_data, Y:y_data})

print(step, sess.run(cost, feed_dict={X:x_data, Y:y_data}), sess.run(W))

======================= Python =======================

위는 가장 기본적인 형태의 선형회귀를 텐서플로우로 표현한 것이다.

원래는 Y = W * X + b 로 표현해야겠지만 직접 최적화를 하는 것을 보여주기 위해서 b를 뺐다.

Y = W * X 를 그래프로 표현해보면 아래와 같다.

이건 위에서도 봤던 간단한 형태의 그래프이다.

이제 각각의 요소를 텐서플로우로 봐보자.

먼저 X, Y는 placeholder이다. 이것들은 우리가 가지고 있는 데이터 값이기 때문이다. W의 경우 Variable로 정의되는데 이것은 우리가 최적화해야 하는 값이기 때문이다.

위에서 최적화(Optimization)의 경우 cost function(loss function)을 최소화하는 방법을 이용했는데 이는 경사하강법(Gradient Descent)을 이용한 것이다.

위의 코드를 돌려보면 아래와 비슷하게 나올 것이다.

============================== Results ==============================

0 21.238516 3.1333332

1 6.041179 2.1377778

2 1.71838 1.6068149

3 0.48878372 1.3236346

4 0.1390319 1.1726052

5 0.0395468 1.092056

6 0.011248882 1.0490966

7 0.0031996702 1.0261848

8 0.0009101348 1.0139652

9 0.0002588762 1.0074481

10 7.363582e-05 1.0039723

11 2.0945927e-05 1.0021186

12 5.95745e-06 1.0011299

13 1.6944645e-06 1.0006026

14 4.820219e-07 1.0003214

15 1.3713388e-07 1.0001714

16 3.8991956e-08 1.0000914

17 1.1105257e-08 1.0000488

18 3.1516645e-09 1.000026

19 8.923659e-10 1.0000138

20 2.5492378e-10 1.0000074

21 7.316222e-11 1.0000039

22 2.1486812e-11 1.0000021

23 6.631732e-12 1.0000012

24 1.8047785e-12 1.0000006

25 5.163277e-13 1.0000004

26 2.6526928e-13 1.0000002

27 9.947598e-14 1.0000001

28 0.0 1.0

29 0.0 1.0

...

100 0.0 1.0

============================== Results ==============================

횟수가 거듭될수록 점점 cost가 줄고 W가 1.0이 되는 것을 확인 할 수 있다.

이는 사용한 데이터의 모양을 보면 왜 저렇게 되는지 알 수 있다.

위에서 사용한 데이터는 아래와 같다.
x_data = [1, 2, 3]
y_data = [1, 2, 3]

텐서플로우의 사용법에 대해서 설명을 할 생각을 해보지 않았기에 잘 이해가 안 가는 부분이 있을수도 있다. 혹시 잘 모르겠으면 메일로 물어보기를 바란다.

p.s. tf.Session()등의 내용은 텐서플로우 홈페이지의 맨처음 예제를 해보면 알 수 있기에 설명에서 제외했다.

[알고리즘]랜덤포레스트(RandomForest)

심심한 내일 — Sat, 21 Jul 2018 16:16:59 +0900

랜덤포레스트에 대한 내용을 정리해봤다.

랜덤포래스트는 의사결정나무만을 사용한다면 과적합(OverFit)이 일어날 확률이 높기 때문에 이를 해결하기 위해 랜덤하게 여러 개의 트리를 만드는 방법이다. 데이터가 들어왔을 때 랜덤포레스트 방법으로 만들어진 여러 개의 트리가 각각 어떤 결과를 내는지 보고 각 트리별 결과를 취합하여 결과를 예측하는 방법을 뜻한다.

*장단점
장점: 단일 트리의 약점을 보완하고 장점은 그대로 유지한 알고리즘이다.
단점: random_state 매개변수를 고정(지정)해야만 동일한 결과를 얻을 수 있다. 텍스트 데이터와 같은 매우 차원이 높고 희소한 데이터에는 잘 작동하지 않는다.

*중요 매개변수
n_estimators: 랜덤포레스트로 만들 트리의ㅠ갯수를 지정한다.
max_features: 각 트리별로 몇 개의 컬럼을 선택할 것인가, 각 트리의 랜덤성 결정, 클수록 과적합을 줄인다.
max_depth: 최대 깊이를 지정한다.
max_leaf_nodes: 최대 잎의 갯수를 지정한다.

*max_features에 대한 설명
1. max_features값이 큰 경우
- 모든 특성을 고려하므로 특성 선택에 무작위성이 들어가지 않는다. 하지만 부트스트랩 샘플링으로 인한 무작위성은 그대로 유지된다. 따라서 각 트리들이 비슷해지고 가장 두드러진 특성을 이용해 데이터를 맞출 것이다.
2. max_featurea값이 작은 경우
- 트리의 분기에서 선택되는 특성이 적어지게 된다. 1로 설정할 경우 테스트할 특성을 고를 필요가 없게 되며 그냥 무작위로 선택된 특성의 임계값만을 찾는다. 따라서 각 트리들이 많이 달라지고 각 트리를 데이터에 맞추기 위해서 깊이가 깊어지게 된다.

분류(classification)를 할 때,
max_features = sqrt(n_features)

회귀(regression)를 할 때,
max_features = n_features

*추가
max_features나 max_leaf_nodes 매개변수를 추가하면 성능이 향상되기도 한다. 또한 훈련과 예측에 필요한 메모리와 시간을 많이 줄일 수도 있다.
n_jobs = -1로 하면 모든 CPU 코어를 사용한다.

ref.
텐서플로우 블로그
https://tensorflow.blog/파이썬-머신러닝/2-3-6-결정-트리의-앙상블/

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 8(바다를 6개로 나눠서 로지스틱스 회귀분석)

심심한 내일 — Thu, 19 Jul 2018 18:50:55 +0900

오늘 바다를 아래와 같이 서해중부, 서해남부, 남해서부, 남해동부, 동해남부, 동해중부로 나눈다는 것을 알고 어제 했던 데이터를 기준에 맞춰서 나눴다.

아래는 우리 팀원(안*모씨)이 바다를 나눈 방법이다. 군대에서 레이더 근무를 한 뛰어난 팀원의 도움을 받아 쉽게 해결할 수 있었다.

======================== 구분 ========================

# 동해 서해 남해 구분.

f1(x) -> (x1, y1) : 동해/남해 구분함수 <- 부산 팔각정 좌표 (129.032664, 35.101221)

f1(x) = y1 = (cos135)x1 + b1 = -1*x1 + b1

b1 = 164.133885

f2(x) -> (x2, y2) : 서해/남해 구분함수 <- 전남 해남 땅끝탑 (126.524866, 34.2947005)

f2(x) = y2 = (cos 225)x2 + b2 = 1 * x2 + b2

b2 = -92.2301655

함수 분기점 : (128.18202525, 35.95185975)

f1(x) = y = -x +164.133885

f2(x) = y = x - 92.2301655

2y = 71.9037195 y = 35.95185975 -> x = 128.18202525

# 데이터 갯수

서해 영역 : y < x - 92.2301655 (범위 x < 128.18202525) -> x-y < 92.2301665

2662개

동해 영역 : y < -x + 164.133885 (범위 x > 128.18202525) -> x+y > 164.133885

1492개

남해 영역 : y < x - 92.2301655, y < -x + 164.133885

2575개

# 3해역을 각각 두 개로 나누는 기준

서해중부 / 서해남부 y = 35.98587

남해서부 / 남해동부 x = 127.794149

동해중부 / 동해남부 y = 37.144592

# 데이터 갯수

서해중부 (2017) / 서해남부 (645)남해서부 (1348) / 남해동부 (1227)

동해중부 (594)/ 동해남부 (898) y = 37.144592

======================== 구분 ========================

위에 구분하는 방법을 기준으로 데이터를 나눠 어제 사용했던 더미 데이터를 나눴다.

부이를 기준으로 해상 데이터가 나오고 해상 기상 상황을 기준으로 더미 사고 데이터를 만들었기 때문에 중간에 겹치는 해역이 존재한다.

======================== Python ========================

import pandas as pd

# 나눈 6개의 해역별로 로지스틱스 회귀분석 전처리 과정

df = pd.read_csv("D:/deep1/projectdata/dummy_data_test.csv", encoding="utf-8")

df = df.dropna()

# East-Central 동해, 울릉도, 울진

east_c1 = df.loc[df["spot"] == "동해"]

east_c2 = df.loc[df["spot"] == "울릉도"]

east_c3 = df.loc[df["spot"] == "울진"]

df1 = pd.concat([east_c1, east_c2, east_c3], ignore_index=True)

df1.to_csv("East-Central.csv")

print(df1)

# East-South 거제도, 동해, 울릉도, 울산, 울진, 포항

east_s1 = df.loc[df["spot"] == "거제도"]

east_s2 = df.loc[df["spot"] == "동해"]

east_s3 = df.loc[df["spot"] == "울릉도"]

east_s4 = df.loc[df["spot"] == "울산"]

east_s5 = df.loc[df["spot"] == "울진"]

east_s6 = df.loc[df["spot"] == "포항"]

df2 = pd.concat([east_s1, east_s2, east_s3, east_s4, east_s5, east_s6], ignore_index=True)

df2.to_csv("East-South.csv")

print(df2)

# South-East 거제도 서귀포 여수 거문도 통영

south_e1 = df.loc[df["spot"] == "거제도"]

south_e2 = df.loc[df["spot"] == "서귀포"]

south_e3 = df.loc[df["spot"] == "여수 거문도"]

south_e4 = df.loc[df["spot"] == "통영"]

df3 = pd.concat([south_e1, south_e2, south_e3, south_e4], ignore_index=True)

df3.to_csv("South-East.csv")

print(df3)

# South-West 보령 외연도, 서귀포, 서귀포 마라도, 신안, 여수 거문도, 제주 추자도, 통영

south_w1 = df.loc[df["spot"] == "보령 외연도"]

south_w2 = df.loc[df["spot"] == "서귀포"]

south_w3 = df.loc[df["spot"] == "서귀포 마라도"]

south_w4 = df.loc[df["spot"] == "신안"]

south_w5 = df.loc[df["spot"] == "여수 거문도"]

south_w6 = df.loc[df["spot"] == "제주 추자도"]

south_w7 = df.loc[df["spot"] == "통영"]

df4 = pd.concat([south_w1, south_w2, south_w3, south_w4, south_w5, south_w6, south_w7], ignore_index=True)

df4.to_csv("South-West.csv")

print(df4)

# West-Central 보령 외연도, 부안, 인천, 인천 덕적도

west_c1 = df.loc[df["spot"] == "보령 외연도"]

west_c2 = df.loc[df["spot"] == "부안"]

west_c3 = df.loc[df["spot"] == "인천"]

west_c4 = df.loc[df["spot"] == "인천 덕적도"]

df5 = pd.concat([west_c1, west_c2, west_c3, west_c4], ignore_index=True)

df5.to_csv("West-Central.csv")

print(df5)

# West-South 보령 외연도, 부안, 서귀포 마라도, 신안, 제주 추자도

west_s1 = df.loc[df["spot"] == "보령 외연도"]

west_s2 = df.loc[df["spot"] == "부안"]

west_s3 = df.loc[df["spot"] == "서귀포 마라도"]

west_s4 = df.loc[df["spot"] == "신안"]

west_s5 = df.loc[df["spot"] == "제주 추자도"]

df6 = pd.concat([west_s1, west_s2, west_s3, west_s4, west_s5])

df6.to_csv("West-South.csv")

print(df6)

======================== Python ========================

이후 어제와 같이 이동평균선과, (원래데이터-이동평균선)/(원래데이터)를 추가해줬다.

======================== Python ========================

import pandas as pd

### 이동평균선을 만든다.

df1 = pd.read_csv("D:/deep1/projectdata/six/West-South.csv", encoding="utf-8")

df2 = pd.read_csv("D:/deep1/projectdata/six/West-Central.csv", encoding="utf-8")

df3 = pd.read_csv("D:/deep1/projectdata/six/South-West.csv", encoding="utf-8")

df4 = pd.read_csv("D:/deep1/projectdata/six/South-East.csv", encoding="utf-8")

df5 = pd.read_csv("D:/deep1/projectdata/six/East-South.csv", encoding="utf-8")

df6 = pd.read_csv("D:/deep1/projectdata/six/East-Central.csv", encoding="utf-8")

df = df6

a = df["WindFlow(m/s)"].rolling(window=3).mean()

df["ma3_WindFlow(m/s)"] = a

a = df["GUSTWindFlow(m/s)"].rolling(window=3).mean()

df["ma3_GUSTWindFlow(m/s)"] = a

a = df["Temp(Celsius)"].rolling(window=3).mean()

df["ma3_Temp(Celsius)"] = a

a = df["MaxWave(m)"].rolling(window=3).mean()

df["ma3_MaxWave(m)"] = a

a = df["SigWave(m)"].rolling(window=3).mean()

df["ma3_SigWave(m)"] = a

# (원본데이터 - 이동평균선)/(원본데이터)

a = []

b = []

c = []

d = []

e = []

for k in range(len(df.acci)):

z=(df["WindFlow(m/s)"][k]-df["ma3_WindFlow(m/s)"][k])/(df["WindFlow(m/s)"][k]+0.00001)

x=(df["GUSTWindFlow(m/s)"][k]-df["ma3_GUSTWindFlow(m/s)"][k])/(df["GUSTWindFlow(m/s)"][k]+0.00001)

q=(df["Temp(Celsius)"][k] - df["ma3_Temp(Celsius)"][k]) / (df["Temp(Celsius)"][k]+0.00001)

v=(df["MaxWave(m)"][k] - df["ma3_MaxWave(m)"][k]) / (df["MaxWave(m)"][k]+0.00001)

n=(df["SigWave(m)"][k] - df["ma3_SigWave(m)"][k]) / (df["SigWave(m)"][k]+0.00001)

a.append(z)

b.append(x)

c.append(q)

d.append(v)

e.append(n)

df["WindFlow%"] = a

df["GUSTWindFlow%"] = b

df["Temp%"] = c

df["MaxWave%"] = d

df["SigWave%"] = e

df.to_csv("D:/deep1/projectdata/six/East-Central.csv", encoding='utf-8')

======================== Python ========================

코딩을 os, dir 라이브러리를 이용했으면 더 쉽게 했겠지만 일단 다 수작업으로 해결했다.

이렇게해서 만든 자료를 이용하여 각각을 로지스틱스 회귀분석을 하였다.

======================== Python ========================

import pandas as pd

import statsmodels.api as sm

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

import matplotlib.font_manager as fm

# 나눈 6개의 해역별로 로지스틱스 회귀분석

df1 = pd.read_csv("D:/deep1/projectdata/six/West-South.csv", encoding="utf-8")

df2 = pd.read_csv("D:/deep1/projectdata/six/West-Central.csv", encoding="utf-8")

df3 = pd.read_csv("D:/deep1/projectdata/six/South-West.csv", encoding="utf-8")

df4 = pd.read_csv("D:/deep1/projectdata/six/South-East.csv", encoding="utf-8")

df5 = pd.read_csv("D:/deep1/projectdata/six/East-South.csv", encoding="utf-8")

df6 = pd.read_csv("D:/deep1/projectdata/six/East-Central.csv", encoding="utf-8")

dataframe = [df1, df2, df3, df4, df5, df6]

for df in dataframe:

df = df.dropna()

# 로지스틱스 회귀분석

train_cols = df.columns[-5:] # 더미데이터

logit = sm.Logit(df["acci"], df[train_cols]) # 더미 데이터

# fit the model

result = logit.fit()

# 분석결과 출력

print(result.summary())

# 오즈비 출력

print(np.exp(result.params))

# predict 컬럼을 만들어서 예측한 값을 출력

# df["predict"] = result.predict(df[train_cols])

# print(df.head())

print("\n\n\n")

======================== Python ========================

각각의 분석 결과를 살펴보자.

서해 중부의 경우 정답률이 69%가 나왔다.

서해 중부는 바람과 온도에 관한 요소보다 파고에 의한 영향이 훨씬 크다는 것을 알 수 있다.

======================== Result ========================

Optimization terminated successfully.

Current function value: 0.690398

Iterations 6

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 110385

Model: Logit Df Residuals: 110380

Method: MLE Df Model: 4

Date: Thu, 19 Jul 2018 Pseudo R-squ.: -0.3282

Time: 18:19:36 Log-Likelihood: -76210.

converged: True LL-Null: -57379.

LLR p-value: 1.000

=================================================================================

coef std err z P>|z| [0.025 0.975]

---------------------------------------------------------------------------------

WindFlow% 5.273e-06 7.78e-07 6.780 0.000 3.75e-06 6.8e-06

GUSTWindFlow% 2.114e-06 8.37e-07 2.526 0.012 4.73e-07 3.75e-06

Temp% 2.433e-06 3.71e-06 0.655 0.512 -4.84e-06 9.71e-06

MaxWave% 0.9388 0.046 20.472 0.000 0.849 1.029

SigWave% 0.0002 3.87e-05 4.256 0.000 8.89e-05 0.000

=================================================================================

WindFlow% 1.000005

GUSTWindFlow% 1.000002

Temp% 1.000002

MaxWave% 2.557038

SigWave% 1.000165

======================== Result ========================

서해 남부는 정답률이 67%가 나왔다.
서해 중부와 마찬가지로 파고에 의한 영향이 큰 것으로 나타났다.

======================== Result ========================

Optimization terminated successfully.

Current function value: 0.672893

Iterations 15

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 151506

Model: Logit Df Residuals: 151501

Method: MLE Df Model: 4

Date: Thu, 19 Jul 2018 Pseudo R-squ.: -0.5290

Time: 18:19:35 Log-Likelihood: -1.0195e+05

converged: True LL-Null: -66674.

LLR p-value: 1.000

=================================================================================

coef std err z P>|z| [0.025 0.975]

---------------------------------------------------------------------------------

WindFlow% 1.556e-06 8.77e-07 1.774 0.076 -1.63e-07 3.27e-06

GUSTWindFlow% 7.658e-07 7.62e-07 1.005 0.315 -7.27e-07 2.26e-06

Temp% -4.428e-06 5.11e-06 -0.867 0.386 -1.44e-05 5.59e-06

MaxWave% 0.9713 0.026 37.019 0.000 0.920 1.023

SigWave% 0.0009 4.14e-05 21.915 0.000 0.001 0.001

=================================================================================

WindFlow% 1.000002

GUSTWindFlow% 1.000001

Temp% 0.999996

MaxWave% 2.641444

SigWave% 1.000907

======================== Result ========================

남해 서부의 경우 정답률이 67%로 나왔다.
남해 서부도 파고에 의한 영향이 크다는 것을 알 수 있다.

======================== Result ========================

Optimization terminated successfully.

Current function value: 0.678255

Iterations 15

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 208087

Model: Logit Df Residuals: 208082

Method: MLE Df Model: 4

Date: Thu, 19 Jul 2018 Pseudo R-squ.: -0.4836

Time: 18:19:38 Log-Likelihood: -1.4114e+05

converged: True LL-Null: -95129.

LLR p-value: 1.000

=================================================================================

coef std err z P>|z| [0.025 0.975]

---------------------------------------------------------------------------------

WindFlow% -3.235e-06 8.06e-07 -4.012 0.000 -4.82e-06 -1.65e-06

GUSTWindFlow% -2.146e-07 9.29e-07 -0.231 0.817 -2.03e-06 1.61e-06

Temp% 4.277e-06 3.06e-06 1.399 0.162 -1.71e-06 1.03e-05

MaxWave% 0.9396 0.025 38.036 0.000 0.891 0.988

SigWave% 0.0009 4.14e-05 21.992 0.000 0.001 0.001

=================================================================================

WindFlow% 0.999997

GUSTWindFlow% 1.000000

Temp% 1.000004

MaxWave% 2.559080

SigWave% 1.000910

======================== Result ========================

남해 동부의 경우 정답률이 69%로 나왔다.
위의 3곳에 비해 파고의 영향이 다소 적어진 것을 확인할 수 있었다.

======================== Result ========================

Optimization terminated successfully.

Current function value: 0.691483

Iterations 12

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 114895

Model: Logit Df Residuals: 114890

Method: MLE Df Model: 4

Date: Thu, 19 Jul 2018 Pseudo R-squ.: -0.4278

Time: 18:19:38 Log-Likelihood: -79448.

converged: True LL-Null: -55645.

LLR p-value: 1.000

=================================================================================

coef std err z P>|z| [0.025 0.975]

---------------------------------------------------------------------------------

WindFlow% -1.301e-05 1.42e-06 -9.181 0.000 -1.58e-05 -1.02e-05

GUSTWindFlow% 5.273e-07 1.39e-06 0.379 0.705 -2.2e-06 3.26e-06

Temp% 1.583e-05 6.93e-06 2.284 0.022 2.25e-06 2.94e-05

MaxWave% 0.7220 0.055 13.240 0.000 0.615 0.829

SigWave% 0.0007 0.001 0.662 0.508 -0.001 0.003

=================================================================================

WindFlow% 0.999987

GUSTWindFlow% 1.000001

Temp% 1.000016

MaxWave% 2.058610

SigWave% 1.000683

======================== Result ========================

동해 남부의 경우 정답률이 69%가 나왔다.
동해는 남해, 서해와는 다르게 파고의 영향이 확연하게 줄어든 것을 확인할 수 있었다.

======================== Result ========================

Optimization terminated successfully.

Current function value: 0.692411

Iterations 13

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 200959

Model: Logit Df Residuals: 200954

Method: MLE Df Model: 4

Date: Thu, 19 Jul 2018 Pseudo R-squ.: -0.4333

Time: 18:19:41 Log-Likelihood: -1.3915e+05

converged: True LL-Null: -97078.

LLR p-value: 1.000

=================================================================================

coef std err z P>|z| [0.025 0.975]

---------------------------------------------------------------------------------

WindFlow% -9.912e-06 1.21e-06 -8.186 0.000 -1.23e-05 -7.54e-06

GUSTWindFlow% 1.218e-06 1.25e-06 0.973 0.331 -1.24e-06 3.67e-06

Temp% 1.068e-05 3.89e-06 2.745 0.006 3.05e-06 1.83e-05

MaxWave% 0.4758 0.041 11.705 0.000 0.396 0.555

SigWave% 0.0014 0.001 1.057 0.291 -0.001 0.004

=================================================================================

WindFlow% 0.999990

GUSTWindFlow% 1.000001

Temp% 1.000011

MaxWave% 1.609249

SigWave% 1.001386

======================== Result ========================

동해 중부의 경우 정답률이 69%가 나왔다.
동해 중부는 파고의 영향이 가장 작은 곳이었다.

======================== Result ========================

Optimization terminated successfully.

Current function value: 0.692753

Iterations 14

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 97330

Model: Logit Df Residuals: 97325

Method: MLE Df Model: 4

Date: Thu, 19 Jul 2018 Pseudo R-squ.: -0.3804

Time: 18:19:41 Log-Likelihood: -67426.

converged: True LL-Null: -48844.

LLR p-value: 1.000

=================================================================================

coef std err z P>|z| [0.025 0.975]

---------------------------------------------------------------------------------

WindFlow% -1.095e-05 2.2e-06 -4.979 0.000 -1.53e-05 -6.64e-06

GUSTWindFlow% 1.971e-06 2.09e-06 0.943 0.346 -2.13e-06 6.07e-06

Temp% 1.01e-05 4.83e-06 2.091 0.036 6.35e-07 1.96e-05

MaxWave% 0.2322 0.058 4.023 0.000 0.119 0.345

SigWave% 0.0011 0.002 0.634 0.526 -0.002 0.004

=================================================================================

WindFlow% 0.999989

GUSTWindFlow% 1.000002

Temp% 1.000010

MaxWave% 1.261414

SigWave% 1.001073

======================== Result ========================

사실 P>|z|(p-value) 값을 보면 MaxWave%를 제외한 나머지 값은 사용되어서는 안 되는 값으로 보인다. 실제로 MaxWave%만 사용하더라도 확률이 다소 오르거나 혹은 거의 변동이 없다. 이는 논문과 다른 결과라서 어떻게 해석을 해야 할지 난감하다.

내일은 다시 신경망 모델에 넣어보는 것과 더미 데이터에서 얻은 자료가 실제 사고에 얼마나 잘 적용되는지 비교를 해봐야겠다.

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 7(더미 데이터 생성 및 로지스틱스 회귀분석)

심심한 내일 — Wed, 18 Jul 2018 18:11:08 +0900

전체 사고 데이터가 전체 데이터의 2%도 안 되어 더미 데이터를 만들기로 했다.

더미 데이터를 생성하는 방법은
1. 사용하는 논문에서 사고의 요인으로 지목된 해상 기상 요소를 선정한 데이터 셋을 만들고
2. C4.5 알고리즘(의사결정나무)에서 사고 원인을 가장 잘 보여준 상위 2개의 결정과정을 선택하여
3. 전체 데이터에 2.의 결정과정을 프로그래밍하여 더미 데이터를 만든다.

========================= Python =========================

import pandas as pd

df = pd.read_csv("D:/deep1/projectdata/weather_test.csv", encoding="utf-8")

### 더미 데이터 만들기

Cause = []

# 만약 여러가지가 다 해당 된다면 우선적으로 ImproperManagement > OperationFailure > Others > BadCondition 이 되게 했다.

for a in range(len(df["spot"])):

test = df.ix[a]

# 데이터를 먼저 추가하고 나중에 바뀔 내용이 있다면 아래 if문에서 데이터를 바꾼다.

Cause.append("None")

# WindFlow(m/s) GUSTWindFlow(m/s) Temp(Celsius) MaxWave(m) SigWave(m)

if (test["SigWave(m)"] <= 2.2 and test["MaxWave(m)"] > 6.7) \

or (test["SigWave(m)"] > 2.2 and test["MaxWave(m)"] <= 5.6 and test["WindFlow(m/s)"] > 11 and test["Temp(Celsius)"] > 20.2 and test["MaxWave(m)"] > 3.5):

Cause[a] = "BadCondition"

if (test["WindFlow(m/s)"] > 11 and test["GUSTWindFlow(m/s)"] > 14.7 and test["SigWave(m)"] > 2.4 and test["MaxWave(m)"] > 4.1 and test["SigWave(m)"] <= 3.2)\

or (test["WindFlow(m/s)"] > 11 and test["Temp(Celsius)"] <= 20.2 and test["GUSTWindFlow(m/s)"] > 14.7 and test["SigWave(m)"] > 2.4 and test["MaxWave(m)"] > 4.1 and test["Temp(Celsius)"] <= 11.8 and test["SigWave(m)"] <= 3.2):

Cause[a] = "Others"

if (test["MaxWave(m)"] > 0.5 and test["Temp(Celsius)"] <= 27.4 and test["MaxWave(m)"] <= 0.6 and test["GUSTWindFlow(m/s)"] <= 4.7 and test["WindFlow(m/s)"] <= 3.7 )\

or (test["Temp(Celsius)"] <= 27.4 and test["MaxWave(m)"] > 0.6 and test["WindFlow(m/s)"] < 3.3 and test["SigWave(m)"] > 0.2 and test["WindFlow(m/s)"] <= 5.2 and test["GUSTWindFlow(m/s)"] <= 4.8):

Cause[a] = "OperationFailure"

if (test["Temp(Celsius)"] <= 5.9 and test["MaxWave(m)"] > 0.8 and test["SigWave(m)"] <= 0.6 and test["WindFlow(m/s)"] > 1.8) \

or (test["WindFlow(m/s)"] <= 4.9 and test["MaxWave(m)"] <= 2.2 and test["Temp(Celsius)"] <= 5.9 and test["SigWave(m)"] > 0.8):

Cause[a] = "ImproperManagement"

# 데이터를 확인한다.

# print(len(df.index.tolist()))

# print(len(Cause))

# 데이터를 컬럼에 저장한다.

df["dummy"] = Cause

# 데이터를 저장한다.

df.to_csv("dummy_data.csv")

========================= Python =========================

프로그래밍을 하는데 우선순위를 ImproperManagement > OperationFailure > Others > BadCondition 을 선택한 이유는 사고 발생 갯수 비가 위의 순서를 따르기 때문이다.

더 정확하게 분류를 하려면 Naive Bayes 알고리즘도 적용시키면 될 것이다.

더미 데이터에 사고가 났는지(1) 안 났는지(0)에 대한 컬럼을 추가하여 보다 단순화 시켰다.

그리고 이동평균선과 (원본데이터 - 이동평균선)/(원본데이터)의 값도 연관이 있을 것이라고 판단하여 컬럼을 추가하였다.

========================= Python =========================

import pandas as pd

### 이동평균선을 만든다.

df = pd.read_csv("test.csv", encoding='utf-8')

# a = df["WindFlow(m/s)"].rolling(window=3).mean()

# df["ma3_WindFlow(m/s)"] = a

# a = df["GUSTWindFlow(m/s)"].rolling(window=3).mean()

# df["ma3_GUSTWindFlow(m/s)"] = a

# a = df["Temp(Celsius)"].rolling(window=3).mean()

# df["ma3_Temp(Celsius)"] = a

# a = df["MaxWave(m)"].rolling(window=3).mean()

# df["ma3_MaxWave(m)"] = a

# a = df["SigWave(m)"].rolling(window=3).mean()

# df["ma3_SigWave(m)"] = a

# df.to_csv("test.csv")

# (원본데이터 - 이동평균선)/(원본데이터)

a = []

b = []

c = []

d = []

e = []

for k in range(len(df.acci)):

z=(df["WindFlow(m/s)"][k]-df["ma3_WindFlow(m/s)"][k])/(df["WindFlow(m/s)"][k]+0.00001)

x=(df["GUSTWindFlow(m/s)"][k]-df["ma3_GUSTWindFlow(m/s)"][k])/(df["GUSTWindFlow(m/s)"][k]+0.00001)

q=(df["Temp(Celsius)"][k] - df["ma3_Temp(Celsius)"][k]) / (df["Temp(Celsius)"][k]+0.00001)

v=(df["MaxWave(m)"][k] - df["ma3_MaxWave(m)"][k]) / (df["MaxWave(m)"][k]+0.00001)

n=(df["SigWave(m)"][k] - df["ma3_SigWave(m)"][k]) / (df["SigWave(m)"][k]+0.00001)

a.append(z)

b.append(x)

c.append(q)

d.append(v)

e.append(n)

df["WindFlow%"] = a

df["GUSTWindFlow%"] = b

df["Temp%"] = c

df["MaxWave%"] = d

df["SigWave%"] = e

df.to_csv("using_data.csv")

========================= Python =========================

아래는 로지스틱스 회귀분석의 코드이다.

ref.
https://m.blog.naver.com/PostView.nhn?blogId=jy93630&logNo=220442325857&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F

========================= Python =========================

import pandas as pd

import statsmodels.api as sm

import numpy as np

# 사용할 데이터를 불러오기

# df = pd.read_csv("D:/deep1/projectdata/test.csv", encoding='utf-8') # 더미 데이터

df = pd.read_csv("final_utf-8.csv", encoding='utf-8') # 원본 데이터

# df = pd.read_csv("using_data.csv", encoding='utf-8') # 퍼센트

# df = pd.read_csv("using_data.csv", encoding='utf-8') # 이동평균선

df = df.dropna() # 원본 데이터

# 로지스틱스 회귀분석

# train_cols = df.columns[:-1] # 더미데이터

train_cols = df.columns[:-2] # 원본데이터

# train_cols = df.columns[-5:] # 퍼센트

# train_cols = df.columns[7:-4] # 이동평균선

# logit = sm.Logit(df["acci"], df[train_cols]) # 더미 데이터

logit = sm.Logit(df["test"], df[train_cols]) # 원본 데이터

# logit = sm.Logit(df["acci"], df[train_cols]) # 퍼센트

# logit = sm.Logit(df["acci"], df[train_cols]) # 이동평균선

# fit the model

result = logit.fit()

# 분석결과 출력

print(result.summary())

# 오즈비 출력

print(np.exp(result.params))

# predict 컬럼을 만들어서 예측한 값을 출력

df["predict"] = result.predict(df[train_cols])

print(df.head())

========================= Python =========================

먼저, 더미 데이터가 없는 상태에서 로지스틱스 회귀분석을 실행했을 경우, 6.7%의 정답률을 보였다.

========================= Result =========================

Optimization terminated successfully.

Current function value: 0.067211

Iterations 9

Logit Regression Results

==============================================================================

Dep. Variable: test No. Observations: 486618

Model: Logit Df Residuals: 486606

Method: MLE Df Model: 11

Date: Wed, 18 Jul 2018 Pseudo R-squ.: 0.008958

Time: 17:31:50 Log-Likelihood: -32706.

converged: True LL-Null: -33002.

LLR p-value: 1.045e-119

===============================================================================

coef std err z P>|z| [0.025 0.975]

-------------------------------------------------------------------------------

풍속(m/s) 0.0261 0.009 3.050 0.002 0.009 0.043

풍향(deg) 0.0003 0.000 2.581 0.010 7.18e-05 0.001

GUST풍속(m/s) 0.0070 0.005 1.312 0.190 -0.003 0.017

현지기압(hPa) -0.0045 0.000 -45.286 0.000 -0.005 -0.004

습도(%) -0.0028 0.001 -2.746 0.006 -0.005 -0.001

기온(°C) -0.0055 0.005 -1.103 0.270 -0.015 0.004

수온(°C) 0.0298 0.006 5.238 0.000 0.019 0.041

최대파고(m) 0.0334 0.058 0.577 0.564 -0.080 0.147

유의파고(m) -1.3827 0.117 -11.857 0.000 -1.611 -1.154

평균파고(m) 1.4636 0.116 12.573 0.000 1.235 1.692

파주기(sec) 0.0068 0.007 0.926 0.355 -0.008 0.021

파향(deg) 0.0008 0.000 5.929 0.000 0.001 0.001

===============================================================================

풍속(m/s) 1.026484

풍향(deg) 1.000299

GUST풍속(m/s) 1.007034

현지기압(hPa) 0.995464

습도(%) 0.997163

기온(°C) 0.994502

수온(°C) 1.030263

최대파고(m) 1.033918

유의파고(m) 0.250898

평균파고(m) 4.321299

파주기(sec) 1.006802

파향(deg) 1.000774

dtype: float64

풍속(m/s) 풍향(deg) GUST풍속(m/s) ... acci test predict

0 2.1 304.0 4.2 ... non accident 0 0.004050

1 4.5 293.0 6.9 ... non accident 0 0.004145

2 4.6 277.0 7.2 ... non accident 0 0.004722

3 3.2 285.0 6.0 ... non accident 0 0.003980

4 2.7 276.0 4.6 ... non accident 0 0.005255

[5 rows x 15 columns]

========================= Result =========================

더미 데이터에 적용하였을 때는 35%의 정답률이 나왔다.

========================= Result =========================

Optimization terminated successfully.

Current function value: 0.358967

Iterations 7

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 516338

Model: Logit Df Residuals: 516333

Method: MLE Df Model: 4

Date: Wed, 18 Jul 2018 Pseudo R-squ.: 0.2647

Time: 17:39:57 Log-Likelihood: -1.8535e+05

converged: True LL-Null: -2.5206e+05

LLR p-value: 0.000

=====================================================================================

coef std err z P>|z| [0.025 0.975]

-------------------------------------------------------------------------------------

WindFlow(m/s) -0.4124 0.006 -66.795 0.000 -0.425 -0.400

GUSTWindFlow(m/s) -0.2100 0.005 -42.696 0.000 -0.220 -0.200

Temp(Celsius) 0.0082 0.000 24.346 0.000 0.008 0.009

MaxWave(m) 0.8595 0.018 48.681 0.000 0.825 0.894

SigWave(m) 0.1403 0.028 4.964 0.000 0.085 0.196

=====================================================================================

WindFlow(m/s) 0.662036

GUSTWindFlow(m/s) 0.810586

Temp(Celsius) 1.008224

MaxWave(m) 2.361918

SigWave(m) 1.150633

dtype: float64

WindFlow(m/s) GUSTWindFlow(m/s) ... acci predict

0 2.1 4.2 ... 1 0.857100

1 4.5 6.9 ... 0 0.537088

2 4.6 7.2 ... 0 0.465284

3 3.2 6.0 ... 0 0.646656

4 2.7 4.6 ... 1 0.616929

[5 rows x 7 columns]

========================= Result =========================

3시간 이동평균선으로 회귀분석을 하였을 경우 37%의 정답률을 보였다.

========================= Result =========================

Optimization terminated successfully.

Current function value: 0.377096

Iterations 7

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 516336

Model: Logit Df Residuals: 516330

Method: MLE Df Model: 5

Date: Wed, 18 Jul 2018 Pseudo R-squ.: 0.2275

Time: 17:54:35 Log-Likelihood: -1.9471e+05

converged: True LL-Null: -2.5206e+05

LLR p-value: 0.000

=========================================================================================

coef std err z P>|z| [0.025 0.975]

-----------------------------------------------------------------------------------------

ma3_WindFlow(m/s) -0.4964 0.006 -77.737 0.000 -0.509 -0.484

ma3_GUSTWindFlow(m/s) -0.1082 0.005 -21.951 0.000 -0.118 -0.099

ma3_Temp(Celsius) 0.0053 0.000 15.723 0.000 0.005 0.006

ma3_MaxWave(m) 0.8879 0.023 37.983 0.000 0.842 0.934

ma3_SigWave(m) -0.0210 0.037 -0.564 0.573 -0.094 0.052

WindFlow% -7.249e-07 3.82e-07 -1.899 0.058 -1.47e-06 2.32e-08

=========================================================================================

ma3_WindFlow(m/s) 0.608737

ma3_GUSTWindFlow(m/s) 0.897472

ma3_Temp(Celsius) 1.005289

ma3_MaxWave(m) 2.430081

ma3_SigWave(m) 0.979264

WindFlow% 0.999999

dtype: float64

Unnamed: 0 WindFlow(m/s) ... SigWave% predict

0 0 4.6 ... -0.031746 0.655159

1 1 3.2 ... -0.015873 0.568988

2 2 2.7 ... -0.070175 0.590366

3 3 2.2 ... -0.117646 0.637301

4 4 1.7 ... -0.083333 0.670363

[5 rows x 18 columns]

========================= Result =========================

(원본데이터 - 이동평균선)/(원본데이터)의 경우 68%의 정답률을 보였다.

========================= Result =========================

Optimization terminated successfully.

Current function value: 0.687029

Iterations 15

Logit Regression Results

==============================================================================

Dep. Variable: acci No. Observations: 516336

Model: Logit Df Residuals: 516331

Method: MLE Df Model: 4

Date: Wed, 18 Jul 2018 Pseudo R-squ.: -0.4074

Time: 18:06:03 Log-Likelihood: -3.5474e+05

converged: True LL-Null: -2.5206e+05

LLR p-value: 1.000

=================================================================================

coef std err z P>|z| [0.025 0.975]

---------------------------------------------------------------------------------

WindFlow% -1.25e-06 4.31e-07 -2.896 0.004 -2.1e-06 -4.04e-07

GUSTWindFlow% 9.636e-07 4.11e-07 2.342 0.019 1.57e-07 1.77e-06

Temp% 4.821e-06 1.77e-06 2.723 0.006 1.35e-06 8.29e-06

MaxWave% 0.8497 0.019 45.100 0.000 0.813 0.887

SigWave% 0.0006 2.13e-05 26.447 0.000 0.001 0.001

=================================================================================

WindFlow% 0.999999

GUSTWindFlow% 1.000001

Temp% 1.000005

MaxWave% 2.339004

SigWave% 1.000564

dtype: float64

Unnamed: 0 WindFlow(m/s) ... SigWave% predict

0 0 4.6 ... -0.031746 0.489584

1 1 3.2 ... -0.015873 0.491416

2 2 2.7 ... -0.070175 0.459229

3 3 2.2 ... -0.117646 0.467574

4 4 1.7 ... -0.083333 0.505435

[5 rows x 18 columns]

========================= Result =========================

이제 추가적으로 최적화를 하고 가장 최적화가 잘 된 로지스틱스 회귀분석 결과를 원래 사고가 난 데이터에 적용을 시켜볼 것이다.

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 6(Weka를 이용한 분석)

심심한 내일 — Tue, 17 Jul 2018 21:35:23 +0900

전체 데이터 중, 사고 데이터가 약 2%밖에 안 되기 때문에 알고리즘 적용에 어려움을 겪고 있다.

보다 더 정확한 결과를 얻기 위해서는 임의적으로 사고 데이터를 추가해야 한다는 결론에 도달했고 논문을 바탕으로 사고와 연관성이 높은 5개의 요소만 추려서 실제로 어떤 연관관계가 있는지 확인해보고자 했다.

Weka와 Python으로 5가지 요소의 상관관계를 확인해본 결과 대략적으로 비슷한 결과가 나왔다.

사고원인과 5가지 요소를 그래프화 시켰다. 대부분의 결과는 인간의 부주의에 의한 원인이 크다고 판단되었지만 BadCondition(기상악화)의 경우 그래프의 우측에 몰려있어 기상상태의 영향을 많이 받을 것이라는 추측이 가능했다.

아래는 Weka를 이용하여 Principal Component 분석을 한 결과이다.

========================= Principal Component =========================

=== Run information ===

Evaluator: weka.attributeSelection.PrincipalComponents -R 0.95 -A 5

Search: weka.attributeSelection.Ranker -T -1.7976931348623157E308 -N -1

Relation: abc2

Instances: 6469

Attributes: 6

WindFlow(m/s)

GUSTWindFlow(m/s)

Temp(Celsius)

MaxWave(m)

SigWave(m)

Cause

Evaluation mode: evaluate on all training data

=== Attribute Selection on all input data ===

Search Method:

Attribute ranking.

Attribute Evaluator (unsupervised):

Principal Components Attribute Transformer

Correlation matrix

1 0.89 -0.23 0.69 0.7

0.89 1 -0.24 0.65 0.67

-0.23 -0.24 1 -0.16 -0.17

0.69 0.65 -0.16 1 0.97

0.7 0.67 -0.17 0.97 1

eigenvalue proportion cumulative

3.3575 0.6715 0.6715 -0.5SigWave(m)-0.496MaxWave(m)-0.493WindFlow(m/s)-0.483GUSTWindFlow(m/s)+0.167Temp(Celsius)

0.9476 0.18952 0.86102 -0.967Temp(Celsius)-0.187MaxWave(m)-0.171SigWave(m)+0.035GUSTWindFlow(m/s)-0WindFlow(m/s)

0.55646 0.11129 0.97231 -0.545GUSTWindFlow(m/s)+0.479MaxWave(m)-0.477WindFlow(m/s)+0.457SigWave(m)-0.193Temp(Celsius)

Eigenvectors

V1 V2 V3

-0.493 -0.0004 -0.4766 WindFlow(m/s)

-0.4828 0.035 -0.5453 GUSTWindFlow(m/s)

0.167 -0.9668 -0.1929 Temp(Celsius)

-0.4955 -0.1866 0.4794 MaxWave(m)

-0.5004 -0.1711 0.4566 SigWave(m)

Ranked attributes:

0.3285 1 -0.5SigWave(m)-0.496MaxWave(m)-0.493WindFlow(m/s)-0.483GUSTWindFlow(m/s)+0.167Temp(Celsius)

0.139 2 -0.967Temp(Celsius)-0.187MaxWave(m)-0.171SigWave(m)+0.035GUSTWindFlow(m/s)-0WindFlow(m/s)

0.0277 3 -0.545GUSTWindFlow(m/s)+0.479MaxWave(m)-0.477WindFlow(m/s)+0.457SigWave(m)-0.193Temp(Celsius)

Selected attributes: 1,2,3 : 3

========================= Principal Component =========================

Weka에서 선정한 주성분 분석 식은 아래와 같이 나왔다.
-0.545GUSTWindFlow(m/s)+0.479MaxWave(m)-0.477WindFlow(m/s)+0.457SigWave(m)-0.193Temp(Celsius)

cumulative의 값이 97%가 되었을 때 나온 Eigenvector 값들은 풍속에 반비례, 파고에 비례하는 형태로 나왔다.

Weka에는 적재 그림과 특이치 식별을 할 수 없으므로 이는 나중에 추가하도록 하겠다.

이제 각 값들을 가지고 의사결정나무를 만들어 보았다.

이를 통해 어떤 사고가 어떤 요소들의 집합으로 표현되는지 알 수 있을 것이다.

========================= C4.5 algorithm =========================

=== Run information ===

Scheme: weka.classifiers.trees.J48 -C 0.25 -M 2

Relation: abc2

Instances: 6469

Attributes: 6

WindFlow(m/s)

GUSTWindFlow(m/s)

Temp(Celsius)

MaxWave(m)

SigWave(m)

Cause

Test mode: evaluate on training data

=== Evaluation on training set ===

Time taken to test model on training data: 0.05 seconds

=== Summary ===

Correctly Classified Instances 4483 69.2997 %

Incorrectly Classified Instances 1986 30.7003 %

Kappa statistic 0.5556

Mean absolute error 0.0936

Root mean squared error 0.2163

Relative absolute error 57.8373 %

Root relative squared error 76.0625 %

Total Number of Instances 6469

=== Detailed Accuracy By Class ===

TP Rate FP Rate Precision Recall F-Measure MCC ROC Area PRC Area Class

0.174 0.001 0.444 0.174 0.250 0.276 0.991 0.255 MaterialFailure

0.549 0.038 0.684 0.549 0.609 0.561 0.915 0.679 Others

0.683 0.110 0.722 0.683 0.702 0.583 0.894 0.788 OperationFailure

0.610 0.010 0.759 0.610 0.676 0.667 0.977 0.738 BadCondition

0.878 0.282 0.675 0.878 0.763 0.584 0.882 0.819 ImproperManagement

0.181 0.003 0.630 0.181 0.282 0.330 0.959 0.403 RunOut

0.417 0.013 0.698 0.417 0.522 0.515 0.944 0.607 MaintenaceFailure

0.129 0.000 0.667 0.129 0.216 0.292 0.993 0.398 LoadFailure

0.209 0.002 0.767 0.209 0.328 0.394 0.966 0.485 Fire

Weighted Avg. 0.693 0.152 0.696 0.693 0.677 0.566 0.903 0.751

=== Confusion Matrix ===

a b c d e f g h i <-- classified as

4 4 6 1 8 0 0 0 0 | a = MaterialFailure

0 467 97 10 252 6 15 0 4 | b = Others

2 66 1302 9 494 2 27 1 2 | c = OperationFailure

0 20 40 186 54 0 5 0 0 | d = BadCondition

0 61 212 17 2271 3 21 0 3 | e = ImproperManagement

1 16 39 3 68 29 4 0 0 | f = RunOut

1 29 61 15 148 5 187 1 1 | g = MaintenaceFailure

0 4 4 1 17 0 1 4 0 | h = LoadFailure

1 16 42 3 54 1 8 0 33 | i = Fire

========================= C4.5 algorithm =========================

의사결정나무의 정확도는 69.3%이다. 이 알고리즘은 사고의 수가 상대적으로 적은 MaterialFailure(재질불량), RunOut(연료고갈), LoadFailure(적재불량), Fire(화기취급부주의)가 잘 안 맞는 결과가 나왔다.

아마 위의 4개를 제외시킨다면 보다 더 정확한 결과를 얻을 수 있을 것이라고 생각한다.

그리고 저 4개를 제외시키는 것은 우리가 하는 기상상태와 연관이 없기에 없애는 것이 합리적이기도 하다.

추가적으로 Logistic 분석, NaiveBayes 분석을 해보았는데 둘 다 정확도가 40% 미만으로 나왔다.

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 5(전처리 및 TensorFlow 신경망 적용)

심심한 내일 — Mon, 16 Jul 2018 18:43:16 +0900

어제 랜덤포레스트로 분석이 안 되던 자료를 0~1의 시그모이드 함수로 표현해보기 위해서 신경망(TensorFlow)를 사용해봤다.

데이터와 실행횟수가 많아 거의 하루종일 돌리는데 아직도 결과가 안 나왔다.

출처는 아래의 블로그이다.

ref.
http://gdyoon.tistory.com/11

=================================== Python ===================================

import pandas as pd

import tensorflow as tf

### 데이터 불러오기

# df = pd.read_csv("final.csv", encoding="utf-8")

# df = df.dropna()

# ### 학습시킬 데이터를 넣기

# x_data = []

# y_data = []

# i = 1

# for a in range(len(df.test)):

# try:

# for b in range(len(df.columns.values)):

# if b == 0:

# inner_list = []

# inner_list.append(df.ix[a][b])

# if b == len(df.columns.values)-1:

# x_data.append(inner_list[:12])

# y_data.append(inner_list[-1])

# except:

# i += 1

# print("데이터 없음: ", i)

# aa = pd.DataFrame(x_data)

# bb = pd.DataFrame(y_data)

# aa.to_csv("aa.csv")

# bb.to_csv("bb.csv")

aa = pd.read_csv("aa.csv")

bb = pd.read_csv("bb.csv")

x_data = [aa.ix[data].values.tolist() for data in range(len(aa["1"]))]

y_data = [bb.ix[data] for data in range(len(bb["0"]))]

print(x_data[:2])

print(y_data[:2])

### 노드 설정하고 weight, output 설정하기

x = tf.placeholder(tf.float32, shape=[None, 11])

y = tf.placeholder(tf.float32, shape=[None, 1])

# input = 12, output = 1

w = tf.Variable(tf.random_normal([11, 1]), name="weight")

# output = 1, bias. 이걸 이용해서 under fit을 예방한다.

b = tf.Variable(tf.random_normal([1]), name="bias")

### 로지스틱스 회귀분석을 위한 시그모이드 함수

# sigmoid function 은 가설이다. H(X) = 1/(1+e^(-w.transpose * X))

# tf.div(1, tf.exp(tf.matmul(X, W) + b)) 와 같음

hypothesis = tf.sigmoid(tf.matmul(x, w) + b)

# 이하 아래의 블로그를 보면서 이해할 필요가 있다.

# http://gdyoon.tistory.com/11

### 경사하강법을 적용한다.

# 새롭게 정의된 오차함수

cost = -tf.reduce_mean(y * tf.log(hypothesis) + (1 - y) * (tf.log(1 - hypothesis)))

# 학습 그래프 최적화 알고리즘 경사하강법

train = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(cost)

# 예측값이 0.5 이상이면 True, 아니면 False

predicted = tf.cast(hypothesis > 0.5, dtype=tf.float32)

# 0이나 1의 값을 트레이닝 횟수만큼 평균치 계산

accuracy = tf.reduce_mean(tf.cast(tf.equal(predicted, y), dtype=tf.float32))

### 그래프를 정의하고 세션을 통해 트레이닝 시킨다. cost값이 감소하는지 관찰한다.

with tf.Session() as sess:

sess.run(tf.global_variables_initializer())

for step in range(10):

cost_val, _ = sess.run([cost, train], feed_dict={x: x_data, y: y_data})

print(step, '\t', cost_val)

# if step % 1000 == 0:

# print(step, '\t', cost_val)

=================================== Python ===================================

[Python] Python 28일차(파이썬을 이용한 머신러닝, 딥러닝 실전 개발 입문)

심심한 내일 — Mon, 16 Jul 2018 18:37:59 +0900

한국어 분석(형태소 분석), Word2Vec으로 문장을 벡터로 변환하기를 해보았다.

두 단어의 positivity, negativity를 이용하여 문서 내에서 두 단어의 상관관계라던가 벡터로 변환한 단어들의 관계 등을 알 수 있었다.

여기 나오는 내용은 "파이썬을 이용한 머신러닝, 딥러닝, 실전 개발 입문"에 나오는 내용이다.

========================== Python ==========================

import codecs

from bs4 import BeautifulSoup

from konlpy.tag import Twitter

# utf-16 인코딩으로 파일을 열고 글자를 출력하기

fp = codecs.open("BEXX0003.txt", "r", encoding="utf-16")

soup = BeautifulSoup(fp, "html.parser")

body = soup.select_one("body > text") # body 태그 아래에 있는 text 선택

text = body.getText() # 위에서 선택한 text 가져오기

# 텍스트를 한 줄씩 처리하기

twitter = Twitter()

word_dic = {}

lines = text.split("\n") # 줄바꿈을 기본 단위로 분해한다.

for line in lines:

malist = twitter.pos(line) # 줄바꿈을 하고 각 요소를 분석한다. ('제', 'Noun') 이런 형태로 분석하게 된다.

# print(malist) # 분해한 요소 확인

'''

[]

[('제', 'Noun'), ('1', 'Number'), ('편', 'Noun'), ('어둠', 'Noun'), ('의', 'Josa'), ('발', 'Noun'), ('소리', 'Noun')]

[('서', 'Verb'), ('(', 'Punctuation'), ('序', 'Foreign'), (')', 'Punctuation')]

[('1897', 'Number'), ('년', 'Noun'), ('의', 'Josa'), ('한가위', 'Noun'), ('.', 'Punctuation')]

...

'''

for word in malist:

if word[1] == "Noun": # 명사 확인하기. 데이터가 ('제', 'Noun')처럼 나오기 때문에

# 두번째 자료('Noun')를 읽어야 명사인지 아닌지 구별이 가능

if not (word[0] in word_dic): # 사전타입으로 카운트하기

word_dic[word[0]] = 1 # 만약 사전에 데이터가 없으면 새로 만들고 카운트 1을 넣기

word_dic[word[0]] += 1 # 만약 있는 단어라면 뒤의 카운트에 1을 더하기

# 많이 사용된 명사 출력하기

# print(word_dic.items()) # dict_items([('직일놈', 2), ('누설', 2), ('껄', 6), ('씨끄럽', 3), ('영문', 5),...])

keys = sorted(word_dic.items(), key=lambda x: x[1], reverse=True) # word_dic에 있는 value만 lambda를 이용해서 꺼낸다.

# reverse=True를 이용해서 내림차순 정렬

for word, count in keys[:50]: # 상위 50개의 키만 선택한다.

print("{0}({1})".format(word, count), end="\n") # 위에서 선택한 것을 앞에는 word, 뒤에는 (count) 형태로 출력한다.

'''

'결과'

것(629)

그(520)

말(378)

안(305)

소리(199)

...

'''

### Gensim의 Word2vec으로 "토지"를 읽어보기

## 오류를 없애는 방법

import warnings

warnings.filterwarnings(action='ignore', category=UserWarning)

warnings.filterwarnings(action='ignore', category=FutureWarning)

import codecs

from bs4 import BeautifulSoup

from konlpy.tag import Twitter

from gensim.models import word2vec

# utf-16 인코딩으로 파일을 열고 글자를 출력하기

fp = codecs.open("BEXX0003.txt", "r", encoding="utf-16")

soup = BeautifulSoup(fp, "html.parser")

body = soup.select_one("body > text")

text = body.getText()

# 텍스트를 한 줄씩 처리하기

twitter = Twitter()

results = []

lines = text.split("\n")

for line in lines:

# 형태소 분석하기

# 단어의 기본형 사용

malist = twitter.pos(line, norm=True, stem=True)

r = []

for word in malist:

# 어미/조사/구두점 등은 대상에서 제외

if not (word[1] in ["Josa", "Eomi", "Punctuation"]): # 어미/조사/구두점 등은 대상에서 제외

r.append(word[0])

rl = (" ".join(r)).strip() # " "를 이용해서 r의 리스트 값들을 합치고 좌우의 빈칸을 없앤다.

results.append(rl)

print(rl)

# 파일로 출력하기

wakati_file = 'toji.wakati' # 파일을 toji.wakati파일로 저장한다.

with open(wakati_file, 'w', encoding='utf-8') as fp:

fp.write("\n".join(results))

# Word2Vec 모델 만들기

data = word2vec.LineSentence(wakati_file)

model = word2vec.Word2Vec(data, size=200, window=10, hs=1, min_count=2, sg=1)

model.save("toji.model") # toji.model로 저장

print("ok")

# 모델 출력하기

import warnings

warnings.filterwarnings(action='ignore', category=UserWarning)

warnings.filterwarnings(action='ignore', category=FutureWarning)

from gensim.models import word2vec

from pprint import pprint

# 모델 로드하기

model = word2vec.Word2Vec.load("toji.model")

# 모델에서 가장 가까운 단어를 찾는 알고리즘을 실행하기

a = model.most_similar(positive=["땅"]) # 가까운 단어

b = model.most_similar(negative=["땅"]) # 먼 단어

pprint(a)

pprint(b)

### 위키피디아 문서를 이용하여 word2vec 사용해보기

## 모델 만들기 전처리

import warnings

warnings.filterwarnings(action='ignore', category=UserWarning)

warnings.filterwarnings(action='ignore', category=FutureWarning)

import codecs

from bs4 import BeautifulSoup

from konlpy.tag import Twitter

from gensim.models import word2vec

# 파일 열기

readFp = codecs.open("wiki.txt", "r", encoding="utf-8")

wakati_file = "wiki.wakati"

writeFp = open(wakati_file, "w", encoding="utf-8")

# 형태소 분석

twitter = Twitter()

i = 0

# 텍스트를 한 줄씩 처리하기

while True:

line = readFp.readline()

if not line:

break

if i % 20000 == 0:

print("current -" + str(i))

i += 1

# 형태소 분석

malist = twitter.pos(line, norm=True, stem=True)

# 필요한 어구만 대상으로 하기

r = []

for word in malist:

# 어미/조사/구두점 등은 대상에서 제외

if not (word[1] in ["Josa", "Eomi", "Punctuation"]):

writeFp.write(word[0] + " ")

writeFp.close()

## wiki.wakati를 가지고 모델을 생성하기

import warnings

warnings.filterwarnings(action='ignore', category=UserWarning)

warnings.filterwarnings(action='ignore', category=FutureWarning)

from gensim.models import word2vec

data = word2vec.Text8Corpus('wiki.wakati')

model = word2vec.Word2Vec(data, size=100)

model.save("wiki.model")

print("ok")

## 모델을 이용하기

import warnings

warnings.filterwarnings(action='ignore', category=UserWarning)

warnings.filterwarnings(action='ignore', category=FutureWarning)

from gensim.models import word2vec

# 모델을 로드하기

model = word2vec.Word2Vec.load("wiki.model")

# 모델을 이용하여 원하는 자료 얻기

print(model.most_similar(positive=["Python", "파이썬"]))

print(model.most_similar(positive=["아빠", "여성"], negative=["남성"])[0])

print(model.most_similar(positive=["왕자", "여성"], negative=['남성']))

print(model.most_similar(positive=["서울", "일본"], negative=['한국']))

print(model.most_similar(positive=["서울", "중국"], negative=["한국"]))

print(model.most_similar(positive=["오른쪽", "남자"], negative=["왼쪽"]))

print(model.most_similar(positive=["서울", "맛집"]))

========================== Python ==========================

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 4(전처리 및 랜덤포레스트 적용)

심심한 내일 — Sun, 15 Jul 2018 23:08:43 +0900

어제의 문제는 데이터의 최대 컬럼을 잘못 집어넣어서 발생했던 것으로 파악되었다.

문제를 해결하고 최종적으로 가지고 있는 데이터를 시각화 및 랜덤포레스트로 분석을 하였다.

안타깝게도 랜덤포레스트는 현재 분석하고자 하는 모델과 맞지 않았다.

그 이유는 전체 48만개 데이터에서 사고 데이터는 7000개 정도였기 때문이다.

따라서 대부분의 사고가 안 난 데이터를 기준으로 모델이 만들어졌기 때문에 정확도가 매우 높게 나와버렸다.

이것을 해결하기 위한 알고리즘 설정이 필요하다.

============================ Python ============================

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import seaborn as sns

import matplotlib.font_manager as fm

# 플롯에 한글이 들어가도 출력할 수 있도록 설정하기

# path = 'C:/Windows/Fonts/malgun.ttf'

# font_name = fm.FontProperties(fname=path, size=50).get_name()

# plt.rc('font', family=font_name)

# ### 합친 두 데이터에 학습시킬 사고와 사고가 아닌 데이터를 명명하기

# # 데이터 불러오기

# df = pd.read_csv("G:/deep/project/final.csv", encoding='ANSI')

# # 명명할 데이터 객체 만들기

# test = []

# # 만약 특정 컬럼에 데이터가 존재한다면 사고가 발생했다는 뜻이므로 데이터가 있는지 없는지 확인

# for i in range(len(df.NumberofShips)):

# if df.NumberofShips.isnull()[i] == False:

# test.append("accident")

# else:

# test.append("non accident")

# # 나온 데이터를 acci 컬럼에 넣기

# df["acci"] = test

### 해상 데이터와 사고 데이터의 관계를 보여주는 그래프 출력해보기

# 출력할 데이터의 객체 만들기

# df = pd.read_csv("G:/deep/project/test.csv", encoding='utf-8')

# 필요한 컬럼만 가져오기

# df = df[['풍속(m/s)', '풍향(deg)', 'GUST풍속(m/s)', '현지기압(hPa)', '습도(%)', '기온(°C)', '수온(°C)',

# '최대파고(m)', '유의파고(m)', '평균파고(m)', '파주기(sec)', '파향(deg)', 'acci']]

# 결측치 없애기

# df = df.dropna()

# 결측치를 없애고 확인해보기

# check_data = df.acci.value_counts()

# print(check_data)

'''

non accident 480466

accident 6152

'''

# 데이터 분류하기

# df1 = df[['풍속(m/s)', '풍향(deg)', 'GUST풍속(m/s)', 'acci']] # 풍향, 풍속에 대해서 분류

# df2 = df[['현지기압(hPa)', '습도(%)', '기온(°C)', '수온(°C)', 'acci']] # 일반 기상 데이터로 분류

# df3 = df[['최대파고(m)', '유의파고(m)', '평균파고(m)', '파주기(sec)', '파향(deg)', 'acci']] # 해상 데이터로 분류

# print(df.head()) # 데이터 확인

# pairplot으로 컬럼간의 관계를 acci에 따라 분류해보기

# sns.pairplot(df1, hue='acci') # 풍향, 풍속에 대해서 분류

# sns.pairplot(df2, hue='acci') # 일반 기상 데이터로 분류

# sns.pairplot(df3, hue='acci') # 해상 데이터로 분류

# sns.pairplot(df, hue='acci') # 전체 데이터

# 그래프로 출력

# plt.show()

# 데이터를 png파일로 저장

# fig = plt.gcf()

# fig.savefig("전체 데이터.png")

# 테스트를 하기 위한 0,1로만 된 데이터를 만들어서 저장

# test = []

# for i in range(len(df.acci)):

# if df.acci[i] == "accident":

# test.append(1)

# else:

# test.append(0)

# 컬럼을 만든다.

# df["test"] = test

# 데이터를 저장한다

# df.to_csv("G:/deep/project/final.csv")

### 랜덤포레스트를 위한 테스트 셋팅

# 데이터 가져오기

df = pd.read_csv("G:/deep/project/final.csv", encoding='utf-8')

using_columns = ['풍속(m/s)', '풍향(deg)', 'GUST풍속(m/s)', '현지기압(hPa)', '습도(%)', '기온(°C)', '수온(°C)',

'최대파고(m)', '유의파고(m)', '평균파고(m)', '파주기(sec)', '파향(deg)', 'test']

# 사용할 데이터 컬럼만 추출

df = df[using_columns]

# 결측치 없애기. 안 했을 때랑 비교 필요. 안 하면 NaN값 에러가 난다. 꼭 해야함.

df = df.dropna()

from sklearn.model_selection import train_test_split

# 트레이닝, 테스트 세팅하기. 테스트 사이즈는 전체의 25%로 한다.

X_train, X_test, y_train, y_test = train_test_split(df[df.columns.values], df.test, test_size=0.25, stratify=df.test, random_state=123456)

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_estimators=100, oob_score=True, random_state=123456)

rf.fit(X_train, y_train)

print(rf)

'''

RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',

max_depth=None, max_features='auto', max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, n_estimators=100, n_jobs=1,

oob_score=True, random_state=123456, verbose=0,

warm_start=False)

'''

### 랜덤포레스트의 정확도 측정

from sklearn.metrics import accuracy_score

# 얼마만큼의 정확도를 가지고 있는지 확인

predicted = rf.predict(X_test)

accuracy = accuracy_score(y_test, predicted)

# 결과 출력

print(f'Out-of-bag score estimate: {rf.oob_score_:.3}')

print(f'Mean accuracy score: {accuracy:.3}')

### 결과를 시각화

# from sklearn.metrics import confusion_matrix

# cm = pd.DataFrame(confusion_matrix(y_test, predicted), columns=df.columns.values[using_columns], index=df.columns.values[using_columns])

# sns.heatmap(cm, annot=True)

# plt.show()

============================ Python ============================

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 3(에러)

심심한 내일 — Sat, 14 Jul 2018 21:04:38 +0900

현재 pandas._libs.hashtable.Int64HashTable.get_item 라는 에러가 나서 진행이 안 되고 있다.

찾아보니 사람들마다 이유가 제각각이라 도대체 뭐가 문제인지 모르겠는 상황이다.

하루종일 해봤지만 해결책을 찾지 못했기에 일단 기록으로 남기고 더 찾아보도록 하겠다.

=============================== Python ===============================

import math
import pandas as pd



# 두 개의 경도 위도를 알 때 두 점 사이의 거리를 구하기

def getDistance(lat1, lon1, lat2, lon2):
    a = 6378137.0
    b = 6356752.314245
    f = 1 / 298.257223563

    L = math.radians(lon2 - lon1)

    U1 = math.atan((1 - f) * math.tan(math.radians(lat1)));
    U2 = math.atan((1 - f) * math.tan(math.radians(lat2)));
    sinU1 = math.sin(U1)
    cosU1 = math.cos(U1)
    sinU2 = math.sin(U2)
    cosU2 = math.cos(U2)
    cosSqAlpha = float()
    sinSigma = float()
    cos2SigmaM = float()
    cosSigma = float()
    sigma = float()

    # l == lambda
    l = L
    lambdaP = float()
    iterLimit = 100

    while True:

        sinLambda = math.sin(l)
        cosLambda = math.cos(l)
        sinSigma = math.sqrt((cosU2 * sinLambda) * (cosU2 * sinLambda) + (cosU1 * sinU2 - sinU1 * cosU2 * cosLambda) * (
                    cosU1 * sinU2 - sinU1 * cosU2 * cosLambda))
        if (sinSigma == 0):
            return 0;

        cosSigma = sinU1 * sinU2 + cosU1 * cosU2 * cosLambda
        sigma = math.atan2(sinSigma, cosSigma)
        sinAlpha = cosU1 * cosU2 * sinLambda / sinSigma
        cosSqAlpha = 1 - sinAlpha * sinAlpha
        cos2SigmaM = cosSigma - 2 * sinU1 * sinU2 / cosSqAlpha
        C = f / 16 * cosSqAlpha * (4 + f * (4 - 3 * cosSqAlpha))
        lambdaP = l
        l = L + (1 - C) * f * sinAlpha * (
                    sigma + C * sinSigma * (cos2SigmaM + C * cosSigma * (-1 + 2 * cos2SigmaM * cos2SigmaM)));
        if (iterLimit == 0) or ((math.fabs(l - lambdaP) > 1e-12) and (iterLimit > 0)):
            break
        iterLimit = iterLimit - 1

    # end while

    if (iterLimit == 0):
        return 0

    uSq = cosSqAlpha * (a * a - b * b) / (b * b)
    A = 1 + uSq / 16384 * (4096 + uSq * (-768 + uSq * (320 - 175 * uSq)))
    B = uSq / 1024 * (256 + uSq * (-128 + uSq * (74 - 47 * uSq)))
    deltaSigma = B * sinSigma * (cos2SigmaM + B / 4 * (
                cosSigma * (-1 + 2 * cos2SigmaM * cos2SigmaM) - B / 6 * cos2SigmaM * (-3 + 4 * sinSigma * sinSigma) * (
                    -3 + 4 * cos2SigmaM * cos2SigmaM)))

    s = b * A * (sigma - deltaSigma)
    return s




# # # 소수점 둘째자리까지만 표현
# df = pd.read_csv("G:/deep/project/accident.csv", encoding="utf-8")
# # long = [float("{0:.2f}".format(data)) for data in df.Longitude]
# # df['Longitude'] = long
# # lat = [float("{0:.2f}".format(data)) for data in df.Latitude]
# # df['Latitude'] = lat
# # df.to_csv("G:/deep/project/accident.csv")
# from pprint import pprint
# list = [police_list for police_list in df.index]
# pprint(list)



import operator
import sys

df1 = pd.read_csv("G:/deep/project/bui.csv", encoding="utf-8")
df2 = pd.read_csv("G:/deep/project/accident.csv", encoding="ANSI")

df1 = df1[['Latitude', 'Longitude', 'spot']]
df2 = df2[['Latitude', 'Longitude']]


lat1 = df1['Latitude']  # 17개
long1 = df1['Longitude']  # 17개
lat2 = df2['Latitude']  # acci  # 9000개
long2 = df2['Longitude']  # acci  # 9000개
name_list = [name for name in df1.spot]

dist_a_to_b =[]

for a in range(0, len(df2['Latitude'])):  # 9000
    for b in range(0, len(df1['Latitude'])):  # 17
        if b == 0:  # for이 다시 처음부터 돌면 dist={}를 초기화를 시켜서 새로운 accident 지점이 들어갈 수 있게 만든다.
            dist = {}
        distance = float("{0:.2f}".format(getDistance(lat1[a], long1[a], lat2[b], long2[b])))
        # print("a:"+str(a)+",b:"+str(b)+",,"+str(distance))
        dist[name_list[b]] = distance  # dist에 key:value로 저장한다.
        if b == 16:
            sort = sorted(dist.items(), key=operator.itemgetter(1))  # value값을 비교해서 오름차순으로 정렬한다.
            dist_a_to_b.append(sort[0][0])  # key값만 뽑아서 저장한다.
            # print(dist_a_to_b)
            # print(dist)
        # if a == 3:
        #     sys.exit(0)

df2['spot'] = dist_a_to_b
df2.to_csv("G:/deep/project/accident.csv")

=============================== Python ===============================

=============================== Error ===============================

Traceback (most recent call last):

File "G:/deep/test.py", line 107, in <module>

distance = float("{0:.2f}".format(getDistance(lat1[a], long1[a], lat2[b], long2[b])))

File "G:\deep\venv\lib\site-packages\pandas\core\series.py", line 767, in __getitem__

result = self.index.get_value(self, key)

File "G:\deep\venv\lib\site-packages\pandas\core\indexes\base.py", line 3118, in get_value

tz=getattr(series.dtype, 'tz', None))

File "pandas\_libs\index.pyx", line 106, in pandas._libs.index.IndexEngine.get_value

File "pandas\_libs\index.pyx", line 114, in pandas._libs.index.IndexEngine.get_value

File "pandas\_libs\index.pyx", line 162, in pandas._libs.index.IndexEngine.get_loc

File "pandas\_libs\hashtable_class_helper.pxi", line 958, in pandas._libs.hashtable.Int64HashTable.get_item

File "pandas\_libs\hashtable_class_helper.pxi", line 964, in pandas._libs.hashtable.Int64HashTable.get_item

KeyError: 17

=============================== Error ===============================

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 2(데이터 전처리)

심심한 내일 — Fri, 13 Jul 2018 12:00:00 +0900

자료를 수집하는 위치와 사고가 난 위치가 다르기 때문에 이 부분을 해결하기 위한 노력의 결과이다.

나중에 여유가 생기면 이 부분에 대해서 설명을 해보겠다.

=========================== Python ===========================

import math

import pandas as pd

# 두 개의 경도 위도를 알 때 두 점 사이의 거리를 구하기

def getDistance(lat1, lon1, lat2, lon2):

a = 6378137.0

b = 6356752.314245

f = 1 / 298.257223563

L = math.radians(lon2 - lon1)

U1 = math.atan((1 - f) * math.tan(math.radians(lat1)));

U2 = math.atan((1 - f) * math.tan(math.radians(lat2)));

sinU1 = math.sin(U1)

cosU1 = math.cos(U1)

sinU2 = math.sin(U2)

cosU2 = math.cos(U2)

cosSqAlpha = float()

sinSigma = float()

cos2SigmaM = float()

cosSigma = float()

sigma = float()

# l == lambda

l = L

lambdaP = float()

iterLimit = 100

while True:

sinLambda = math.sin(l)

cosLambda = math.cos(l)

sinSigma = math.sqrt((cosU2 * sinLambda) * (cosU2 * sinLambda) + (cosU1 * sinU2 - sinU1 * cosU2 * cosLambda) * (

cosU1 * sinU2 - sinU1 * cosU2 * cosLambda))

if (sinSigma == 0):

return 0;

cosSigma = sinU1 * sinU2 + cosU1 * cosU2 * cosLambda

sigma = math.atan2(sinSigma, cosSigma)

sinAlpha = cosU1 * cosU2 * sinLambda / sinSigma

cosSqAlpha = 1 - sinAlpha * sinAlpha

cos2SigmaM = cosSigma - 2 * sinU1 * sinU2 / cosSqAlpha

C = f / 16 * cosSqAlpha * (4 + f * (4 - 3 * cosSqAlpha))

lambdaP = l

l = L + (1 - C) * f * sinAlpha * (

sigma + C * sinSigma * (cos2SigmaM + C * cosSigma * (-1 + 2 * cos2SigmaM * cos2SigmaM)));

if (iterLimit == 0) or ((math.fabs(l - lambdaP) > 1e-12) and (iterLimit > 0)):

break

iterLimit = iterLimit - 1

# end while

if (iterLimit == 0):

return 0

uSq = cosSqAlpha * (a * a - b * b) / (b * b)

A = 1 + uSq / 16384 * (4096 + uSq * (-768 + uSq * (320 - 175 * uSq)))

B = uSq / 1024 * (256 + uSq * (-128 + uSq * (74 - 47 * uSq)))

deltaSigma = B * sinSigma * (cos2SigmaM + B / 4 * (

cosSigma * (-1 + 2 * cos2SigmaM * cos2SigmaM) - B / 6 * cos2SigmaM * (-3 + 4 * sinSigma * sinSigma) * (

-3 + 4 * cos2SigmaM * cos2SigmaM)))

s = b * A * (sigma - deltaSigma)

return s

# 도분초를 경도 위도 값으로 바꾸기

def lat_lng(d, b, c):

return d + (b/60) + (c/3600)

### 경도 위도 자료 DataFrame으로 집어넣기

# df = pd.read_csv("accident.csv", encoding='utf-8')

# d = df['경도(시)']

# b = df['경도(분)']

# c = df['경도(초)']

# lng = []

# for a in range(len(d)):

# long = lat_lng(d[a], b[a], c[a])

# lng.append(long)

# df['longitude'] = lng

# d = df['위도(시)']

# b = df['위도(분)']

# c = df['위도(초)']

# lat = []

# for a in range(len(d)):

# long = lat_lng(d[a], b[a], c[a])

# lat.append(long)

# df['latitude'] = lat

# print(df)

# list = ["Unnamed: 19",'Unnamed: 20','Unnamed: 21','Unnamed: 22','Unnamed: 23']

# for a in list:

# del df[a]

# df.to_csv("accident1.csv")

import operator

import sys

df1 = pd.read_csv("bui.csv", encoding='utf-8')

df2 = pd.read_csv("accident.csv", encoding='utf-8')

lat1 = df1['latitude'] # 17개

long1 = df1['longitude'] # 17개

lat2 = df2['latitude'] # acci # 9000개

long2 = df2['longitude'] # acci # 9000개

name_list = [name for name in df1.지점]

dist_a_to_b =[]

for a in range(0, len(lat2)): # 9000

for b in range(0, len(lat1)): # 17

if b == 0: # for이 다시 처음부터 돌면 dist={}를 초기화를 시켜서 새로운 accident 지점이 들어갈 수 있게 만든다.

dist = {}

distance = getDistance(lat1[a], long1[a], lat2[b], long2[b])

# print("a:"+str(a)+",b:"+str(b)+",,"+str(distance))

dist[name_list[b]] = distance # dist에 key:value로 저장한다.

if b == 16:

sort = sorted(dist.items(), key=operator.itemgetter(1)) # value값을 비교해서 오름차순으로 정렬한다.

dist_a_to_b.append(sort[0][0]) # key값만 뽑아서 저장한다.

print(dist_a_to_b)

if a == 3:

sys.exit(0)

=========================== Python ===========================

[기상청 콘테스트] 해면 기상 상태에 따른 선박 사고 위험도를 측정하는 모델을 개발 - 1(데이터 전처리)

심심한 내일 — Thu, 12 Jul 2018 21:07:36 +0900

기상청에서 주최하는 날씨 콘테스트에 참가하는데 데이터 수집이 끝나 본격적으로 전처리 작업을 시작하였다.

내가 알 수 있을만큼 보다 더 성장한 모습을 볼 수 있어 뿌듯했다.

차후 전처리를 완료하고 좋은 모델을 만들기 위해 적합한 알고리즘을 찾는 작업을 할 것이다.

=========================== Python ===========================

import pandas as pd

### 사고 데이터 일시를 분단위를 제거하여 00으로 교체

# 데이터 가져오기

accident = pd.read_csv('accident.csv', encoding='utf-8')

# 객체 생성하여 발생일시 데이터를 추출하여 뒤에 '분'을 빼고 00으로 교체

refined_data = [data[:-2]+"00" for data in accident.발생일시]

# print(refined_data[0]) # 데이터 확인

# accident에서 '발생일시'컬럼을 제거하고 date 컬럼으로 위의 refined_data를 추가

del accident['발생일시']

accident['date'] = refined_data

# print(accident.head()) # 데이터 확인

# 추가적으로 필요없는 컬럼을 제거

del_col = ['선종2', '톤수2', '선종3', '톤수3', '항목제외필요성']

for a in del_col:

del accident[a]

# print(accident.columns.values) # 컬럼 데이터 확인

# 정제한 데이터를 csv로 저장

accident.to_csv("D:/deep1/refine_accident.csv")

### weather 데이터 살펴보기

weather = pd.read_csv("D:/deep1/weather.csv", encoding='utf-8')

# print(weather.head()) # 데이터 확인

# 어느 지역의 관측 데이터가 존재하는지 확인

location = weather.지점.value_counts()

# print(location) # 데이터 확인

#########################################################

### 위의 두 데이터를 합치기

# 데이터를 합치기 위해 accident의 관할해경서와 weather의 지점이 같은 부분이 있는지 확인

police = accident.관할해경서.value_counts()

# print(police) # 데이터 확인

# 같은 데이터가 없으므로 police와 가장 가까운 지역의 location을 매칭시키기 위해 accident에 데이터 추가

#########################################################

### 기상특보에 따라 사고 유형이 얼마나 바뀌는지 확인

# 기상상황과 관계없이 분석

cause = accident.발생원인.value_counts()

# print(cause) # 건수로 확인

'''

정비불량 3897

운항부주의 3111

기타 1501

관리소홀 797

기상악화 463

화기취급부주의 248

연료고갈 223

적재불량 47

재질불량 41

'''

# print(cause/cause.sum()) # 비율로 확인

'''

정비불량 0.377324

운항부주의 0.301220

기타 0.145333

관리소홀 0.077169

기상악화 0.044830

화기취급부주의 0.024012

연료고갈 0.021592

적재불량 0.004551

재질불량 0.003970

'''

# 기상상황이 좋지 않은 경우

bad_weather = accident.loc[accident['기상특보'] != '양호']

cause_in_bad_weather = bad_weather.발생원인.value_counts()

# print(cause_in_bad_weather) # 건수로 확인

'''

정비불량 413

기상악화 385

운항부주의 344

기타 248

관리소홀 86

화기취급부주의 31

연료고갈 14

적재불량 6

재질불량 4

'''

# print(cause_in_bad_weather/cause_in_bad_weather.sum()) # 비율로 확인

'''

정비불량 0.269758

기상악화 0.251470

운항부주의 0.224690

기타 0.161986

관리소홀 0.056172

화기취급부주의 0.020248

연료고갈 0.009144

적재불량 0.003919

재질불량 0.002613

'''

# 기상상황이 좋은 경우

fine_weather = accident.loc[accident['기상특보'] == '양호']

cause_in_fine_weather = fine_weather.발생원인.value_counts()

# print(cause_in_bad_weather) # 건수로 확인

'''

정비불량 3484

운항부주의 2767

기타 1253

관리소홀 711

화기취급부주의 217

연료고갈 209

기상악화 78

적재불량 41

재질불량 37

'''

# print(cause_in_fine_weather/cause_in_fine_weather.sum()) # 비율로 확인

'''

정비불량 0.396044

운항부주의 0.314539

기타 0.142435

관리소홀 0.080823

화기취급부주의 0.024668

연료고갈 0.023758

기상악화 0.008867

적재불량 0.004661

재질불량 0.004206

'''

### 각 관할해경마다 어떤 사고가 많이 일어나는지 확인

# 저장할 데잉터 객체 선언

data = pd.DataFrame()

# 관할해경서 리스트 뽑기

police = accident.관할해경서.value_counts()

police_list = [police_list for police_list in police.index]

# print(police_list) # 데이터 확인

# 관할해경서 별로 어떤 사고가 많이 일어나는 확인

# for list in police_list:

### 경도 위도를 이용하여 두 지점사이의 거리를 구하고 가장 가까운 weather 자료를 선별하기

import math

# 두 개의 경도 위도를 알 때 두 점 사이의 거리를 구하기

def getDistance(lat1, lon1, lat2, lon2):

a = 6378137.0

b = 6356752.314245

f = 1 / 298.257223563

L = math.radians(lon2 - lon1)

U1 = math.atan((1 - f) * math.tan(math.radians(lat1)));

U2 = math.atan((1 - f) * math.tan(math.radians(lat2)));

sinU1 = math.sin(U1)

cosU1 = math.cos(U1)

sinU2 = math.sin(U2)

cosU2 = math.cos(U2)

cosSqAlpha = float()

sinSigma = float()

cos2SigmaM = float()

cosSigma = float()

sigma = float()

# l == lambda

l = L

lambdaP = float()

iterLimit = 100

while True:

sinLambda = math.sin(l)

cosLambda = math.cos(l)

sinSigma = math.sqrt((cosU2 * sinLambda) * (cosU2 * sinLambda) + (cosU1 * sinU2 - sinU1 * cosU2 * cosLambda) * (

cosU1 * sinU2 - sinU1 * cosU2 * cosLambda))

if (sinSigma == 0):

return 0;

cosSigma = sinU1 * sinU2 + cosU1 * cosU2 * cosLambda

sigma = math.atan2(sinSigma, cosSigma)

sinAlpha = cosU1 * cosU2 * sinLambda / sinSigma

cosSqAlpha = 1 - sinAlpha * sinAlpha

cos2SigmaM = cosSigma - 2 * sinU1 * sinU2 / cosSqAlpha

C = f / 16 * cosSqAlpha * (4 + f * (4 - 3 * cosSqAlpha))

lambdaP = l

l = L + (1 - C) * f * sinAlpha * (

sigma + C * sinSigma * (cos2SigmaM + C * cosSigma * (-1 + 2 * cos2SigmaM * cos2SigmaM)));

if (iterLimit == 0) or ((math.fabs(l - lambdaP) > 1e-12) and (iterLimit > 0)):

break

iterLimit = iterLimit - 1

# end while

if (iterLimit == 0):

return 0

uSq = cosSqAlpha * (a * a - b * b) / (b * b)

A = 1 + uSq / 16384 * (4096 + uSq * (-768 + uSq * (320 - 175 * uSq)))

B = uSq / 1024 * (256 + uSq * (-128 + uSq * (74 - 47 * uSq)))

deltaSigma = B * sinSigma * (cos2SigmaM + B / 4 * (

cosSigma * (-1 + 2 * cos2SigmaM * cos2SigmaM) - B / 6 * cos2SigmaM * (-3 + 4 * sinSigma * sinSigma) * (

-3 + 4 * cos2SigmaM * cos2SigmaM)))

s = b * A * (sigma - deltaSigma)

return s

# 도분초를 경도 위도 값으로 바꾸기

def lat_lng(d, b, c):

return d + (b/60) + (c/3600)

=========================== Python ===========================