wisePocket

3주차는 Python입문과 웹크롤링, MongoDB까지 과정을 배웠다. Python: 함수, 변수, 조건문, 반복문 등이 Python에선 어떻게 표현되는지 기초 문법을 사용 주의해야 될 것은 함수는 def라는 명칭으로 시작하고 ' : ' 콜론을 사용한다. 또한 실행될 함수 내용은 ' ' 탭 빈공간으로 열맞춤이 꼭 맞춰줘야 한다는 점 가상환경 venv 구축법(python3 -m venv .venv) venv내 라이브러리 설치법 (pip install xxx) 라이브러리 임포트(import xxx) requests 라이브러리 사용해보기(js fetch와 비슷한 역할) 데이터 가져오기 (data = requests.get(’link’) 크롤링에서 **BeautifulSoup 라이브러리 사용해보기(**우리가 원..

버튼만 달랑 있는 기초적인 웹 페이지를 만들어서 GET과 POST 요청, 응답이 이루어지는지 실습했다. 사실상 진짜는 여기부터.. 우선적으로 request와 jsonify 라이브러리를 임포트하고 '/test'로 라우트를 지정하고 'GET', 'POST' 예제를 실행해 보았다. 1. GET 방식 실습 '/test' URL에서 버튼을 눌러 GET 요청, 응답을 테스트했다. app.py의 코드 # 통상적으로 Flask framework를 사용할 때 가장 기본이되는 python파일을 app.py로 명칭한다. # 변경 가능하나 통상적으로 사용하니 그대로 따라하자. # render_template 를 추가로 임포트 했다. # request를 추가로 임포트 했다. # jsonify를 추가로 임포트 했다. from f..

render_template() 함수는 Flask에서 제공하는 templates폴더에 저장된 HTML을 불러올 때 사용하는 함수. 따라서 templates 폴더를 생성하고 index.html을 넣어두고자한다. 이 과정 전에 공식문서에서 Flask의 폴더 구조에 대한 글을 확인해보았다. 이 처럼 Flask Framework를 사용하고자 하기 때문에 프로젝트 내 폴더 구조를 맞춰주는 것이 좋다.(바꿔도 되지만 pip로 설치된 Flask 내부의 많은 config 파일들을 건들여야 한다.. 궂이? 절대적으로 안된다는 아니긴하다.) 1. templates 폴더 생성과 기본 index.html 작성 root/templates/ 구조로 폴더를 생성한다. 이후 아주 간단한 html을 작성했다. 버튼에는 onclick ..

첫 app.py를 만들고 commit을 하려하는데 까먹은 부분이있었다. 가상환경 설정시 "../venv/" 라는 폴더가 생성되고 안에 관련 파일들이 1000개 가까이 추가된다. 가상환경은 내 컴퓨터 로컬에서만 적용되도 상관없기 때문에 궂이 git으로 보낼 필요가 없다. 가상환경을 설정한 루트 폴더에 .gitignore를 생성하고 "venv" 폴더를 스테이징 조차 제외 시켜주면된다. .gitignore 파일에 내용은 별거없다. 이것 자체가 venv 폴더를 무시하겠다는거다. venv/ .gitignore를 넣자마자 깔끔하게 해당 폴더와 폴더내 파일들을 모두 추적하지 않는다. = 무시한다. 불필요한 파일이나 이전에 포트번호와 관련된 부분도 .gitignore에 등록하여 충돌이 발생하지 않게끔 관리 할 수 있다..

실습하고자하는 폴더를 venv로 가상환경을 잡은 것 까지 진행되었다. 본격적으로 Flask를 설치하고 사용해보자. 1. 패키지 매니저를 통한 Flask 설치 pip(Package Installer for Python)로 Flask Framework를 가상환경에 설치 할 수 있다. 원하는 폴더와 (venv)로 가상환경 터미널인지 확인한 후, pip install flask 성공적으로 설치 된다. 2. 설치된 Flask Framework 임포트와 첫 사용 통상적으로 Flask framework를 사용할 때 가장 기본이되는 python파일을 app.py로 명칭한다. 변경 가능하나 통상적으로 사용하니 그대로 따라하자. 아래 기본 코드를 기억하고 실행해본다. from flask import Flask app = ..

플라스크는 Python의 마이크로 웹 프레임워크이다. 다양한 웹 엔진과 붙여서 쓸 수 있고 또 가볍기도 해서 Django와 같이 쓰는 경우도 있다. 코드도 비교적 단순하고, 특히 API 서버를 만들기에 매우 편리하다. 원하는 폴더로 이동한다. /Users/inyongkim/Documents/sparta/projects/01.prac/ app.py를 만든다. /Users/inyongkim/Documents/sparta/projects/01.prac/app.py 터미널을 켠다. 터미널에서 해당 폴더에 가상환경을 잡는다.(venv) MacOS는 python3 python3 -m venv venv Windows는 python python -m venv venv 인터프리터 선택 -> Python 3.8.2 ('v..

현재까지 배운 내용들로 웹 크롤링 하기 실습을 최대한 안보고 진행해보자. Genie라는 음악 스트리밍 서비스에서 실시간, 일간, 주간, 월간 등 다양한 랭킹 차트를 제공한다. 그 중 가장 최근인 2023년 6월 월간 음악 랭킹 차트를 크롤링하고 URL = https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20230601 "순위 / 곡 제목 / 가수" 데이터를 가져오는 것을 실습하고자 한다. 0. 라이브러리 임포트와 HTML 크롤링 웹 크롤링을 위해서 requests를 받아온 html 소스를 parsing(문자열들을 분석/분해/구조화/가공 해주는 프로세스)해줄 수 있는 beautifulsoup을 임포트하면서 시작한다. # 크롤링 = 웹페이지에서 어떤 데이터를 ..

requests, beautifulsoup 라이브러리를 활용하여 웹 페이지의 원하는 정보를 크롤링하고 DB에 insert, read하는 과정까지 진행했다. 이번에는, 웹 크롤링 한 데이터를 Insert한 DB 자료를 DB에서 원하는 정보를 수정(편집)하는 == Update == Update_one 를 진행해보려 한다. 1. Update == update_one DB에 저장된 데이터중에 "영화 제목 '부당거래'의 연령 제한을 '18세 이상 관람가'로 수정하자" 영화 제목 = title이라는 key 부당거래 = title의 value값 연령제한 = 'age'라는 key의 value값을 '18세 ... '로 수정 1개 바꾸기 update_one 코드는 다음과 같다. #dbprac3_1_movie_insert ..

requests, beautifulsoup 라이브러리를 활용하여 웹 페이지의 원하는 정보를 크롤링하고 DB에 insert하는 과정까지 진행했다. 이번에는, 웹 크롤링 한 데이터를 Insert한 DB 자료를 DB에서 원하는 정보를 찾아오는 == Read == Find_one / Find 를 진행해보려 한다. 0. Insert 복습 우선 insert 과정을 복습할겸 db.movies2 라는 collection에 2010년 영화 랭킹 웹 페이지에서 새로 데이터를 insert했다. movies2 collection에 데이터를 넣는 스크립트는 다음과 같다. # 웹 크롤링을 위한 requests, bs4 Import import requests from bs4 import BeautifulSoup # Python과..

requests, beautifulsoup 라이브러리를 활용하여 웹 페이지의 원하는 정보를 크롤링 했었다. https://ohnyong.tistory.com/32 [Python] 파이썬 크롤링 with BeautifulSoup(bs4) - 2 History venv로 파이썬을 연습하고 있는 폴더의 가상 환경 구축을 완료 requests 라이브러리를 사용 BeautifulSoup 라이브러리 설치 및 사용 영화 예매 순위 사이트에서 제목 가져오기 크롤링 연습 완료 Ti ohnyong.tistory.com 0. 위 크롤링 실습 링크의 요약 웹 크롤링의 필수 코드는 다음과 같다. import requests from bs4 import BeautifulSoup URL = "https://movie.daum.ne..