HTML에서 Python을 사용할 수 있는 PyScript (14)

250x250

관리 메뉴

😎 공부하는 징징알파카는 처음이지?

HTML에서 Python을 사용할 수 있는 PyScript (14) 본문

👩‍💻 백엔드(Back-End)/Node js

HTML에서 Python을 사용할 수 있는 PyScript (14)

징징알파카 2022. 11. 28. 13:38

728x90

<본 블로그는 itadventrue 님의 블로그를 참고해서 공부하며 작성하였습니다 :-)>

https://itadventure.tistory.com/557

파도!(15) - 라쏘회귀와 4차방정식까지

🍿 '파도'는 파이스크립트 도전기의 줄임말입니다. 지난 게시글에서 연재되는 글입니다. : https://itadventure.tistory.com/555 파도!(14) - 릿지 리그레션으로 정확도가 높아진다구? ※ '파도'는 파이스크

itadventure.tistory.com

🥝 라쏘 리그레션(Lasso Regression)

PolynomialFeatures ( 폴리노미얼 피쳐 ), 다항특성 모듈
제곱이나 곱하기할 수 있는 경우의 수가 모두 나열

1) 폴리 모듈을 불러와 다항식 모델을 만들기

from sklearn.preprocessing import PolynomialFeatures

폴리 = PolynomialFeatures(degree=4, include_bias=False)

2) 훈련용데이터를 넣어 틀에 맞게 훈련 시킴

폴리.fit(훈련용데이터)

3) 훈련된 다항식 모델에 데이터를 넣으면 새로운 데이터가 나옴

훈련용데이터_가공 = 폴리.transform(훈련용데이터)

4) 특성 목록 출력

print(폴리.get_feature_names_out())

🥝 라쏘 리그레션(Lasso Regression) vs 릿지 리그레션(Ridge Regression)

항이 많을수록 더욱 데이터에 과적합이 될 수 있움
항이 많을수록 알파값을 더 높게 줘야 함

#=====================================
# 릿지모델
from sklearn.linear_model import Ridge
릿지모델 = Ridge(alpha=10)
릿지모델.fit(훈련용데이터_가공, 훈련용목표)

# 종류가 목표가 아닌 이상 정확도는 측정 불가
print("릿지 훈련용모델 정확도")
print(릿지모델.score(훈련용데이터_가공, 훈련용목표))
print("릿지 테스트모델 정확도")
print(릿지모델.score(테스트데이터_가공, 테스트목표))

훈련용목표예측_릿지 = 릿지모델.predict(훈련용데이터_가공)
테스트목표예측_릿지 = 릿지모델.predict(테스트데이터_가공)

#=====================================
# 라쏘모델
from sklearn.linear_model import Lasso
라쏘모델 = Lasso(alpha=10)
라쏘모델.fit(훈련용데이터_가공, 훈련용목표)

# 종류가 목표가 아닌 이상 정확도는 측정 불가
print("라쏘 훈련용모델 정확도")
print(라쏘모델.score(훈련용데이터_가공, 훈련용목표))
print("라쏘 테스트모델 정확도")
print(라쏘모델.score(테스트데이터_가공, 테스트목표))

훈련용목표예측_라쏘 = 라쏘모델.predict(훈련용데이터_가공)
테스트목표예측_라쏘 = 라쏘모델.predict(테스트데이터_가공)

🥝 코드 구현

원본, 릿지, 라쏘 그래프를 함께 그리기

index.html

<html> 
    <head> 
      <title>다항회귀 + 라쏘 리그레션</title>
      <link rel="stylesheet" 
        href="https://pyscript.net/alpha/pyscript.css" /> 
      <script defer 
        src="https://pyscript.net/alpha/pyscript.js"></script> 

<py-env>
  - pandas
  - matplotlib
  - seaborn
  - scikit-learn
  - paths :
    - ./common.py
</py-env>
    </head>
  <body> 
    <link rel="stylesheet" href="pytable.css"/>
    <py-script>
    import pandas as pd
    from pyodide.http import open_url
    from common import *
    import numpy as np

    from datetime import datetime

    <!-- 넘파이 배열 출력시 소숫점 자릴수 지정 -->
    np.set_printoptions(formatter={'float_kind': lambda x: "{0:0.2f}".format(x)})

    <!-- 경고 문구 제거 -->
    import warnings
    warnings.filterwarnings( 'ignore' )

    <!-- 판다스에서 csv 를 데이터 프레임으로 읽어옴 -->
    SalesData = pd.read_csv(open_url(
      "http://dreamplan7.cafe24.com/pyscript/csv/avocado.csv"
    ))      

    <!-- # 3개 필드만 추려서 데이터 프레임을 다시 만듬 -->
    SalesData = SalesData[[
      'Date', 
      'Total Volume',
      'AveragePrice'
    ]]   

    SalesData.columns = [
      'Day', 
      'Amount',
      'AveragePrice'
    ]

    <!-- 날짜별로 ( 주 단위로 ) 그룹을 지을 때도 매출량은 그룹단위로 합산하여 합계 -->
    WeekdaysSales_sum = SalesData.fillna(0) \
    .groupby('Day', as_index=False)[['Amount']].sum() \
    .sort_values(by='Day', ascending=True)
    
    WeekdaysSales_mean = SalesData.fillna(0) \
    .groupby('Day', as_index=False)[['AveragePrice']].mean() \
    .sort_values(by='Day', ascending=True)

    <!-- 2개의 데이터 프레임을 하나로 merge  (on에 기재된 '날짜'를 기준) -->
    WeekdaysSalesData = pd.merge(WeekdaysSales_sum, WeekdaysSales_mean, on = 'Day')


    <!-- 날짜(시간값) 추가 -->
    WeekdaysSalesData.insert(1, 'Day(timeValue)',
        '',   True)
  
    for i in WeekdaysSalesData['Day'].index:
      WeekdaysSalesData['Day(timeValue)'].loc[i]=time.mktime(
      datetime.strptime(
        WeekdaysSalesData['Day'].loc[i], 
        '%Y-%m-%d'
        ).timetuple()
      )

    <!-- 10000으로 나눈 매출량 필드 추가 -->
    WeekdaysSalesData.insert(3, 'Amount(10000)', 
    WeekdaysSalesData['Amount']/10000, 
      True)

    <!-- 훈련학습용으로 날짜를 연도, 월, 일로 나눈다 -->
    WeekdaysSalesData.insert(4, 'year', '', True)
    WeekdaysSalesData.insert(5, 'month', '', True)
    WeekdaysSalesData.insert(6, 'day', '', True)
    WeekdaysSalesData.insert(7, 'week', '', True)

    for i in WeekdaysSalesData['Day'].index:
      temp = str(WeekdaysSalesData['Day'].loc[i]).split('-')
      year = int(temp[0])
      month = int(temp[1])
      day = int(temp[2])
      WeekdaysSalesData['year'].loc[i] = year
      WeekdaysSalesData['month'].loc[i] = month
      WeekdaysSalesData['day'].loc[i] = day
      WeekdaysSalesData['week'].loc[i] = str(
        datetime(year, month, day).isocalendar()[1]
      )

    createElementDiv(
      document, 
      Element, 
      'output2'
    ).write(WeekdaysSalesData)

    WeekdaysSalesDataTrain_numpy = WeekdaysSalesData[['Day(timeValue)', 'year', 'month', 'day', 'week', 'AveragePrice']].to_numpy()
    WeekdaysSalesDataTest_numpy = WeekdaysSalesData['Amount(10000)'].to_numpy()
    WeekdaysSalesDataDay_numpy = WeekdaysSalesData['Day'].to_numpy()

    from sklearn.model_selection import train_test_split

    X_train, X_test, y_train, y_test = \
      train_test_split(
        WeekdaysSalesDataTrain_numpy, 
        WeekdaysSalesDataTest_numpy,
        random_state=100,
        shuffle=False)

    <!-- PolynomialFeatures ( 폴리노미얼 피쳐 ), 다항특성 모듈 -->
    <!-- 제곱이나 곱하기할 수 있는 경우의 수가 모두 나열 -->
    from sklearn.preprocessing import PolynomialFeatures
    polynomial = PolynomialFeatures(degree=4, include_bias=False) # 절편 속성은 제거
    polynomial.fit(X_train) # 특성을 다항으로 자동으로 불림
    
    train_polynomial_added = polynomial.transform(X_train) # 학습에 추가된 파라미터에 맞게 다항 변환
    test_polynomial_added = polynomial.transform(X_test) # 테스트 세트도 다항 변환, fit했던 훈련 poly 를 사용.
    
    <!-- 스케일화는 '데이터를 안정화' -->
    from sklearn.preprocessing import StandardScaler

    scaler = StandardScaler()
    scaler.fit(train_polynomial_added)
    train_polynomial_added = scaler.transform(train_polynomial_added)
    test_polynomial_added = scaler.transform(test_polynomial_added)

    <!-- ===================================== -->
    <!-- 릿지모델 -->
    from sklearn.linear_model import Ridge
    ridge_model = Ridge(alpha=0.1)
    ridge_model.fit(train_polynomial_added, y_train)

    <!-- 훈련과정에 대한 척도를 평가 -> score()  -->
    print("릿지 훈련용모델 정확도")
    print(ridge_model.score(train_polynomial_added, y_train))
    print("릿지 테스트모델 정확도")
    print(ridge_model.score(test_polynomial_added, y_test))

    <!-- 스케일화된 데이터를 바탕으로 예측결과 -->
    y_train_ridge_predict = ridge_model.predict(train_polynomial_added)
    y_test_ridge_predict = ridge_model.predict(test_polynomial_added)

    <!-- ===================================== -->
    <!-- 라쏘모델 -->
    from sklearn.linear_model import Lasso
    lasso_model = Lasso(alpha=0.1)
    lasso_model.fit(train_polynomial_added, y_train)

    <!-- 훈련과정에 대한 척도를 평가 -> score()  -->
    print("라쏘 훈련용모델 정확도")
    print(lasso_model.score(train_polynomial_added, y_train))
    print("라쏘 테스트모델 정확도")
    print(lasso_model.score(test_polynomial_added, y_test))

    <!-- 스케일화된 데이터를 바탕으로 예측결과 -->
    y_train_lasso_predict = lasso_model.predict(train_polynomial_added)
    y_test_lasso_predict = lasso_model.predict(test_polynomial_added)

    import matplotlib.pyplot as plt
    import matplotlib as mat

    <!-- 그래프 -->
    fig = plt.figure(
      figsize=(15, 7)
    )

    plt.xticks(
      WeekdaysSalesDataTrain_numpy[:, 0],
      WeekdaysSalesDataDay_numpy, 
      rotation=90)

    plt.title('Weekdays Avocado SalesAmount (Ridge, Lasso)')

    line_alpha=0.5

    <!-- 원본 -->
    plt.plot(        
        X_train[:,0],
        y_train,
        marker='o',
        color='gray',
        label='Original', 
        alpha = line_alpha
    )
    plt.plot(        
        X_test[:,0],
        y_test,
        marker='o',
        color='gray',
        alpha = line_alpha
    )
    
    <!-- 릿지 -->
    plt.plot(        
        X_train[:,0],
        y_train_ridge_predict,
        marker='d',
        color='green',
        label='Train pattern (Ridge)', 
        alpha = line_alpha
    )

    <!-- 라쏘 -->
    plt.plot(        
        X_train[:,0],
        y_train_lasso_predict,
        marker='d',
        color='red',
        label='Train pattern (Lasso)', 
        alpha = line_alpha
    )

    <!-- 릿지 예측 -->
    plt.plot(        
        X_test[:,0],
        y_test_ridge_predict,
        marker='*',
        color='blue',
        label='Predict pattern (Ridge)', 
        alpha = line_alpha
    )

    <!-- 라쏘 예측-->
    plt.plot(        
        X_test[:,0],
        y_test_lasso_predict,
        marker='*',
        color='red',
        label='Predict pattern (Lasso)', 
        alpha = line_alpha
    )

    plt.xlabel('Day')
    plt.ylabel('Day(timeValue)')

    plt.legend(
      shadow=True
    )

    ax = plt.gca()
    <!-- 축만 그리드 -->
    ax.xaxis.grid(True)

    <!-- 배경색, 마진 조정 -->
    ax.set_facecolor('#e8e7d2')
    ax.margins(x=0.01, y=0.02)

    <!-- 주위 이상한 여백 없애기 -->
    fig.tight_layout() 
    fig
</py-script> 
  </body> 
</html>

common.py

def createElementDiv(document, Element, name):
    element = document.createElement('div')
    element.id = name
    document.body.append(element)
    return Element(name)

728x90

저작자표시

'👩‍💻 백엔드(Back-End) > Node js' 카테고리의 다른 글

다시 도전.. Flask CSV 불러와서 HTML에 표로 시각화하기(4) (0)	2022.11.30
HTML에서 Python을 사용할 수 있는 PyScript (15) (0)	2022.11.28
HTML에서 Python을 사용할 수 있는 PyScript (13) (1)	2022.11.28
HTML에서 Python을 사용할 수 있는 PyScript (12) (0)	2022.11.28
HTML에서 Python을 사용할 수 있는 PyScript (11) (0)	2022.11.25