HTML에서 Python을 사용할 수 있는 PyScript (13)

250x250

관리 메뉴

😎 공부하는 징징알파카는 처음이지?

HTML에서 Python을 사용할 수 있는 PyScript (13) 본문

👩‍💻 백엔드(Back-End)/Node js

HTML에서 Python을 사용할 수 있는 PyScript (13)

징징알파카 2022. 11. 28. 10:54

728x90

<본 블로그는 itadventrue 님의 블로그를 참고해서 공부하며 작성하였습니다 :-)>

https://itadventure.tistory.com/555

파도!(14) - 릿지 리그레션으로 정확도가 높아진다구?

※ '파도'는 파이스크립트 도전기의 준말입니다. 지난 게시글에 연재되는 글입니다 : https://itadventure.tistory.com/554 파도!(13) - 음? 인공지능 적중율이?! - 평균가격 추가 '파도'는 파이스크립트 도전

itadventure.tistory.com

🌵 과소적합

훈련데이터 적중율이 테스트데이터 적중율보다 낮은 경우를 '과소적합'

훈련세트와 테스트 데이터의 적중율이 비슷해야 좋은 알고리즘

🌵 차수

선형회귀
- 1차 방정식
- x값이 한개가 아니라, 여러 개의 x값이 존재
- 머신러닝이 훈련과정에 그 값들을 절묘하게 조정해 매출량(y)값을 산출

제곱 수치 데이터를 제공하게 되면 그래프가 좀 더 정밀한 표현

주간매출데이터훈련_넘파이 = 주간매출데이터훈련_넘파이.astype(np.float)
주간매출데이터훈련_넘파이 = np.column_stack(( 
  주간매출데이터훈련_넘파이 ,
  주간매출데이터훈련_넘파이[:,0] ** 2,
  주간매출데이터훈련_넘파이[:,1] ** 2,
  주간매출데이터훈련_넘파이[:,2] ** 2,
  주간매출데이터훈련_넘파이[:,3] ** 2,
  주간매출데이터훈련_넘파이[:,4] ** 2,
  주간매출데이터훈련_넘파이[:,5] ** 2
))

astype(np.float) 는 넘파이 데이터들을 문자에서 숫자로 바꿔주는 기능

np.column_stack 은 넘파이 원본 데이터에 하나씩 열을 추가

🌵 과대적합

훈련용 데이터에 너무 충실

테스트데이터 적중율이 아주 좋지 않음

🥑 릿지 리그레션(Rigde Regression) -> 과적합을 해결

from sklearn.linear_model import Ridge

릿지모델 = Ridge(alpha=알파값)
릿지모델.fit(훈련용데이터, 훈련용목표)

print("훈련용데이터 정확도")
print(릿지모델.score(훈련용데이터, 훈련용목표))
print("테스트데이터 정확도")
print(릿지모델.score(테스트데이터, 테스트목표))

훈련용목표예측 = 릿지모델.predict(훈련용데이터)
테스트목표예측 = 릿지모델.predict(테스트데이터)

알파값이란 변수를 파라미터로 주는 점
이 알파값이 과적합되지 않도록 방지해주는 옵션

0.01, 0.1, 1, 10 등으로 1의 배수 단위를 사용하는 것이 일반적
사람이 이 값으로 정도를 조절해야 한다고 해서 하이퍼 파라미터(Hyper parameter)

릿지모델 = Ridge(alpha=0.1)

🥑 라쏘 리그레션(Lasso Regression) -> 과적합을 해결

라쏘는 그다음 페이지에서~

🌵 코드 구현

index.html

<html> 
    <head> 
      <link rel="stylesheet" 
        href="https://pyscript.net/alpha/pyscript.css" /> 
      <script defer 
        src="https://pyscript.net/alpha/pyscript.js"></script> 

<py-env>
  - pandas
  - matplotlib
  - seaborn
  - scikit-learn
  - paths :
    - ./common.py
</py-env>
    </head>
  <body> 
    <link rel="stylesheet" href="pytable.css"/>
    <py-script>
    import pandas as pd
    from pyodide.http import open_url
    from common import *
    import numpy as np

    from datetime import datetime

    <!-- 넘파이 배열 출력시 소숫점 자릴수 지정 -->
    np.set_printoptions(formatter={'float_kind': lambda x: "{0:0.2f}".format(x)})

    <!-- 경고 문구 제거 -->
    import warnings
    warnings.filterwarnings( 'ignore' )

    <!-- 판다스에서 csv 를 데이터 프레임으로 읽어옴 -->
    SalesData = pd.read_csv(open_url(
      "http://dreamplan7.cafe24.com/pyscript/csv/avocado.csv"
    ))      

    <!-- # 3개 필드만 추려서 데이터 프레임을 다시 만듬 -->
    SalesData = SalesData[[
      'Date', 
      'Total Volume',
      'AveragePrice'
    ]]   

    SalesData.columns = [
      'Day', 
      'Amount',
      'AveragePrice'
    ]

    <!-- 날짜별로 ( 주 단위로 ) 그룹을 지을 때도 매출량은 그룹단위로 합산하여 합계 -->
    WeekdaysSales_sum = SalesData.fillna(0) \
    .groupby('Day', as_index=False)[['Amount']].sum() \
    .sort_values(by='Day', ascending=True)
    
    WeekdaysSales_mean = SalesData.fillna(0) \
    .groupby('Day', as_index=False)[['AveragePrice']].mean() \
    .sort_values(by='Day', ascending=True)

    <!-- 2개의 데이터 프레임을 하나로 merge  (on에 기재된 '날짜'를 기준) -->
    WeekdaysSalesData = pd.merge(WeekdaysSales_sum, WeekdaysSales_mean, on = 'Day')


    <!-- 날짜(시간값) 추가 -->
    WeekdaysSalesData.insert(1, 'Day(timeValue)',
        '',   True)
  
    for i in WeekdaysSalesData['Day'].index:
      WeekdaysSalesData['Day(timeValue)'].loc[i]=time.mktime(
      datetime.strptime(
        WeekdaysSalesData['Day'].loc[i], 
        '%Y-%m-%d'
        ).timetuple()
      )

    <!-- 10000으로 나눈 매출량 필드 추가 -->
    WeekdaysSalesData.insert(3, 'Amount(10000)', 
    WeekdaysSalesData['Amount']/10000, 
      True)

    <!-- 훈련학습용으로 날짜를 연도, 월, 일로 나눈다 -->
    WeekdaysSalesData.insert(4, 'year', '', True)
    WeekdaysSalesData.insert(5, 'month', '', True)
    WeekdaysSalesData.insert(6, 'day', '', True)
    WeekdaysSalesData.insert(7, 'week', '', True)

    for i in WeekdaysSalesData['Day'].index:
      temp = str(WeekdaysSalesData['Day'].loc[i]).split('-')
      year = int(temp[0])
      month = int(temp[1])
      day = int(temp[2])
      WeekdaysSalesData['year'].loc[i] = year
      WeekdaysSalesData['month'].loc[i] = month
      WeekdaysSalesData['day'].loc[i] = day
      WeekdaysSalesData['week'].loc[i] = str(
        datetime(year, month, day).isocalendar()[1]
      )

    createElementDiv(
      document, 
      Element, 
      'output2'
    ).write(WeekdaysSalesData)

    WeekdaysSalesDataTrain_numpy = WeekdaysSalesData[['Day(timeValue)', 'year', 'month', 'day', 'week', 'AveragePrice']].to_numpy()
    WeekdaysSalesDataTest_numpy = WeekdaysSalesData['Amount(10000)'].to_numpy()
    WeekdaysSalesDataTrain_numpy = WeekdaysSalesDataTrain_numpy.astype(np.float)

    WeekdaysSalesDataTrain_numpy = np.column_stack(( 
      WeekdaysSalesDataTrain_numpy ,
      WeekdaysSalesDataTrain_numpy[:,0] ** 2,
      WeekdaysSalesDataTrain_numpy[:,1] ** 2,
      WeekdaysSalesDataTrain_numpy[:,2] ** 2,
      WeekdaysSalesDataTrain_numpy[:,3] ** 2,
      WeekdaysSalesDataTrain_numpy[:,4] ** 2,
      WeekdaysSalesDataTrain_numpy[:,5] ** 2
    ))


    from sklearn.model_selection import train_test_split

    X_train, X_test, y_train, y_test = \
      train_test_split(
        WeekdaysSalesDataTrain_numpy, 
        WeekdaysSalesDataTest_numpy,
        random_state=100,
        shuffle=False)

    <!-- 스케일화는 '데이터를 안정화' -->
    from sklearn.preprocessing import StandardScaler

    scaler = StandardScaler()
    scaler.fit(X_train)
    X_train_scaler = scaler.transform(X_train)
    X_test_scaler = scaler.transform(X_test)

    from sklearn.linear_model import Ridge
    ridge_model = Ridge(alpha=0.1)
    ridge_model.fit(X_train_scaler, y_train)

    <!-- 훈련과정에 대한 척도를 평가 -> score()  -->
    print("훈련용모델 정확도")
    print(ridge_model.score(X_train_scaler, y_train))
    print("테스트모델 정확도")
    print(ridge_model.score(X_test_scaler, y_test))

    <!-- 스케일화된 데이터를 바탕으로 예측결과 -->
    y_train_predict = ridge_model.predict(X_train_scaler)
    y_test_predict = ridge_model.predict(X_test_scaler)

    import matplotlib.pyplot as plt
    import matplotlib as mat

    <!-- 그래프 -->
    fig = plt.figure(
      figsize=(15, 7)
    )

    plt.xticks(WeekdaysSalesData['Day(timeValue)'].to_numpy(), WeekdaysSalesData[['Day']].to_numpy()[:,0], rotation=90)

    plt.title('Weekdays Avocado SalesAmount')

    plt.plot(        
        X_train[:,0],
        y_train,
        marker='o',
        color='#c14549',
        label='Original'
    )
    plt.plot(        
        X_train[:,0],
        y_train_predict,
        marker='d',
        color='blue',
        label='Train pattern'
    )

    plt.plot(        
        X_test[:, 0],
        y_test,
        marker='o',
        color='#c14549'
    )

    plt.plot(        
        X_test[:, 0],
        y_test_predict,
        marker='d',
        color='green',
        label='Predict pattern'
    )

    plt.xlabel('Day')
    plt.ylabel('Day(timeValue)')

    plt.legend(
      shadow=True
    )

    ax = plt.gca()
    <!-- 축만 그리드 -->
    ax.xaxis.grid(True)

    <!-- 배경색, 마진 조정 -->
    ax.set_facecolor('#e8e7d2')
    ax.margins(x=0.01, y=0.02)

    <!-- 주위 이상한 여백 없애기 -->
    fig.tight_layout() 
    fig
</py-script> 
  </body> 
</html>

common.py

def createElementDiv(document, Element, name):
    element = document.createElement('div')
    element.id = name
    document.body.append(element)
    return Element(name)

728x90

저작자표시

'👩‍💻 백엔드(Back-End) > Node js' 카테고리의 다른 글

HTML에서 Python을 사용할 수 있는 PyScript (15) (0)	2022.11.28
HTML에서 Python을 사용할 수 있는 PyScript (14) (0)	2022.11.28
HTML에서 Python을 사용할 수 있는 PyScript (12) (0)	2022.11.28
HTML에서 Python을 사용할 수 있는 PyScript (11) (0)	2022.11.25
HTML에서 Python을 사용할 수 있는 PyScript (10) (1)	2022.11.25