[v0.5]Django_크롤링한 데이터 저장하기

220129 작성

<본 블로그는 beomi의 블로그를 참고해서 공부하며 작성하였습니다>

https://beomi.github.io/gb-crawling/posts/2017-03-01-HowToMakeWebCrawler-Save-with-Django.html

Django로 크롤링한 데이터 저장하기 · GitBook

 

 

 

 

 

 

1. Django 설치

pip install django		# 파이썬으로 작성된 오픈소스 웹 프레임워크
pip install pandas		# 데이터분석 라이브러리
pip install bs4			# 크롤링을 용이하게 도와주는 모듈
pip install requests	# 웹페이지에서 HTTP 요청을 보내 원하는 HTML 정보를 가져오는 모듈

 

 

2. 프로젝트 만들기

django-admin startproject websaver

 

 

3. 장고 앱 만들기

python manage.py startapp parsed_data

 

 

 

4. 앱 추가

:  Django가 관리하도록 websaver폴더 안의 settings.py파일의 INSTALLED_APPS에 추가

 

 

 

 

5. DB를 migrate

python manage.py migrate

 

 

 

 

6. Model 만들기

:  DB구조를 관리해주는 Model

: parser.py파일을 수정해 게시글의 title와 link를 DB에 저장

 

 

 

 

 

7. 앱 DB 반영

: Django가 모델을 관리하도록 하려면 makemigrations를 통해 DB의 변경 정보를 정리

: migrate를 통해 실제 DB에 반영

python manage.py makemigrations parsed_data
python manage.py migrate parsed_data

 

 

 

 

 

8. 크롤링 함수 만들기

https://beomi.github.io/beomi.github.io_old/

Beomi’s Tech Blog

: 이 블로그의  {'블로그 글 타이틀': '블로그 글 링크'}로 이루어진 딕셔너리를 반환 할 것임

## parser.py
import requests
from bs4 import BeautifulSoup
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "websaver.settings")

import django
django.setup()

## BlogData를 import해옵니다
from parsed_data.models import BlogData

def parse_blog():
    req = requests.get('https://beomi.github.io/beomi.github.io_old/')
    html = req.text
    soup = BeautifulSoup(html, 'html.parser')
    my_titles = soup.select(
        'h3 > a'
        )
    data = {}
    for title in my_titles:
        data[title.text] = title.get('href')
    return data

## 이 명령어는 이 파일이 import가 아닌 python에서 직접 실행할 경우에만 아래 코드가 동작
if __name__=='__main__':
    blog_data_dict = parse_blog()
    for t, l in blog_data_dict.items():
        BlogData(title=t, link=l).save()

 

 

 

 

9. 터미널에서 PY 파일 실행

python parser.py

 

 

 

 

10. 저장된 데이터 Django Admin에서 확인하기 

: Admin 계정을 만들기

: createsuperuser 명령어

python manage.py createsuperuser

 

 

 

 

11. 앱에 admin 등록

: Django가 어떤 앱을 admin에서 관리하도록 하기

## parsed_data/admin.py

from django.contrib import admin

## models에서 BlogData를 import 
from .models import BlogData

## 아래의 코드를 입력하면 BlogData를 admin 페이지에서 관리
admin.site.register(BlogData)

 

 

 

 

12. Django 서버 실행하기

: manage.py가 있는 위치에서 runserver 명령어로 장고 개발 서버 실행

python manage.py runserver

 

 

 

 

13. http://localhost:8000/admin/ 들어가기