ERROR
AttributeError: 'set' object has no attribute 'items'
02:00AM
2022. 4. 28. 14:26
크롤링 시도하다보면
막히는 사이트 있다.
headers 정보를 포함해서 requests 하면 되는데
headers 정보 양식이 틀린 경우가 있으면 위와 같은 오류를 내뱉는다.
우선 접속해서 사용자의 heders를 긁어 오자.
http://www.useragentstring.com/
url = '크롤링할 웹 url 주소'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'}
html = requests.get(url, headers=headers).text
soup = BeautifulSoup(html, 'html.parser')
정상적으로 불러오는 것을 확인할수 있다.