왕초보 코딩 개발 일지 블로그

한솥 도시락 (메뉴이름 | 가격 수집) 1. Selenium Method 활용 2. 메뉴이름, 가격 수집하기 3. 더보기 계속 자동적으로 클릭하기 (try / except) 4. DataFrame # 라이브러리 import from selenium import webdriver as wb # 구분자 from selenium.webdriver.common.by import By # 컴퓨터용 키보드 할당 - Keys의 'K' 대문자!!! from selenium.webdriver.common.keys import Keys #요청할 때 지연시간을 주기 위한 library import time # 지연시간 없이 크롤링을 하면, 봇으로 인식되어 막혀버린다. # 아무리 인터넷이 빠르고 좋아도 여전히 페이지는 데이터..

5_beautifulsoup_Practice_Extra_Cadilla Library Import import requests as req from bs4 import BeautifulSoup as bs import pandas as pd url = 'https://www.cadillac.co.kr/crossovers-suvs/escalade' res = req.get(url) res # 성공적으로 가져옴 (200번대 메세지) # 상태메시지로는 무엇을 받아왔는지, 어떤 데이터가 있는지, 모른다. res.text BeatifulSoup 객체화 # select, select_one 등 beautifulsoup에서 제공하는 메소드와 함수를 사용하기 위해 필수! bs_cadi = bs(res.text,'lxml'..

# 크롤링의 원리 - 절차는 빅픽처에서 보면 아래와 같다. 1. 정보를 가져올 사이트를 불러온다. 2. 원하는 정보와 해당 정보의 위치를 찾는다. 3. 정보를 가져오게 하는 코드를 작성한다. # Request - Success # Request ? # 브라우저 역할을 대신 해준다. # Request - Failed - 우리는 어떤 형태로든 인생에 있어서 거절당해본 경험이 있다. - 마찬가지로 컴퓨터도 항상 우리가 원하는 응답과 결과를 주진 않는다. # Beautifulsoup Library - HTML 문서 내 데이터에 접근할 수 있게 변환해주는 Library google tap에서 'Google' text 데이터를 가져오자 youtube에 접속해서 youtube의 타이틀을 tab에 저장하고, 그리고 텍..