목록requests (15)

wisePocket

[Python][Database] DB에 저장된 데이터를 찾기(Read) find_one, find

requests, beautifulsoup 라이브러리를 활용하여 웹 페이지의 원하는 정보를 크롤링하고 DB에 insert하는 과정까지 진행했다. 이번에는, 웹 크롤링 한 데이터를 Insert한 DB 자료를 DB에서 원하는 정보를 찾아오는 == Read == Find_one / Find 를 진행해보려 한다. 0. Insert 복습 우선 insert 과정을 복습할겸 db.movies2 라는 collection에 2010년 영화 랭킹 웹 페이지에서 새로 데이터를 insert했다. movies2 collection에 데이터를 넣는 스크립트는 다음과 같다. # 웹 크롤링을 위한 requests, bs4 Import import requests from bs4 import BeautifulSoup # Python과..
Python&Flask Tutorials, AWS EB/3rd WEEK Python, Crawling, MongoDB 2023. 7. 6. 22:01
[Python][Database] 웹 크롤링 데이터를 DB에 넣기(Create) Insert_one

requests, beautifulsoup 라이브러리를 활용하여 웹 페이지의 원하는 정보를 크롤링 했었다. https://ohnyong.tistory.com/32 [Python] 파이썬 크롤링 with BeautifulSoup(bs4) - 2 History venv로 파이썬을 연습하고 있는 폴더의 가상 환경 구축을 완료 requests 라이브러리를 사용 BeautifulSoup 라이브러리 설치 및 사용 영화 예매 순위 사이트에서 제목 가져오기 크롤링 연습 완료 Ti ohnyong.tistory.com 0. 위 크롤링 실습 링크의 요약 웹 크롤링의 필수 코드는 다음과 같다. import requests from bs4 import BeautifulSoup URL = "https://movie.daum.ne..
Python&Flask Tutorials, AWS EB/3rd WEEK Python, Crawling, MongoDB 2023. 7. 6. 17:16
[Python] 파이썬 크롤링 with BeautifulSoup(bs4) - 2

History venv로 파이썬을 연습하고 있는 폴더의 가상 환경 구축을 완료 requests 라이브러리를 사용 BeautifulSoup 라이브러리 설치 및 사용 영화 예매 순위 사이트에서 제목 가져오기 크롤링 연습 완료 Title 말고 다른 요소들도 가져와보자 1. 예매 순위 예매 순위는 rank_num이란 클래스를 사용하고 있다. 제목을 뽑아낼때랑 같다. rank변수에 넣고 print로 뽑아낸다. # 리스트 중에 반복문으로 # li 코드 내용 중에 클래스가 a class="link_txt"로 되어있는 태그부분만 가져오자 for li in titles: rank = li.select_one('.rank_num').text title = li.select_one('.link_txt').text # pri..
Python&Flask Tutorials, AWS EB/3rd WEEK Python, Crawling, MongoDB 2023. 7. 4. 23:56
[Python] 파이썬 크롤링 with BeautifulSoup(bs4) - 1

History venv로 파이썬을 연습하고 있는 폴더의 가상 환경 구축을 완료 requests 라이브러리를 사용 BeautifulSoup 라이브러리 설치 및 사용 1. BeautifulSoup 라이브러리 설치 venv 가 활성화된 터미널에서 아래 커맨드로 BeautifulSoup란 라이브러리를 설치한다. BeautifulSoup 라이브러리는 엄청 많은 HTML 코드 중에 우리가 원하는 특정 부분 을 빠르고 쉽게 필터링 해주는 라이브러리이다. pip install bs4 이같은 화면이 나타나고 금새 라이브러리 설치가 완료된다. 2. 라이브러리 임포트 라이브러리 설치가 완료되면 requests, 새로 설치한 BeautifulSoup 임포트 import requests from bs4 import Beauti..
Python&Flask Tutorials, AWS EB/3rd WEEK Python, Crawling, MongoDB 2023. 7. 4. 23:28
[Python] 파이썬 라이브러리 첫 사용 'requests'

이전글에서 venv로 파이썬을 연습하고 있는 폴더의 가상 환경 구축을 완료했다. 본격적으로 파이썬의 라이브러리를 사용해보고자 한다. requests라는 라이브러리를 사용해보자. 1. requests 라이브러리 설치 venv 가 활성화된 터미널에서 아래 커맨드로 requests란 라이브러리를 설치한다. pip install requests 이같은 화면이 나타나고 금새 라이브러리 설치가 완료된다. 2. 라이브러리 임포트 라이브러리 설치가 완료되면 프로젝트에서는 해당 라이브러리의 내용을 사용하기 위해서 파이썬에서 코드를 작성하는 가장 윗부분에 requests 임포트 # requests 라이브러리 임포트 import requests 이제 requests 라이브러리의 개발자의 도큐먼트에 따라서 어떤 기능들을 사용..
Python&Flask Tutorials, AWS EB/3rd WEEK Python, Crawling, MongoDB 2023. 7. 4. 21:29
이전 Prev 1 2 Next 다음