ERROR

AttributeError: 'set' object has no attribute 'items'

02:00AM 2022. 4. 28. 14:26

크롤링 시도하다보면 

AttributeError: 'set' object has no attribute 'items'


막히는 사이트 있다.
headers 정보를 포함해서 requests 하면 되는데
headers 정보 양식이 틀린 경우가 있으면 위와 같은 오류를 내뱉는다.

우선 접속해서 사용자의 heders를 긁어 오자.
http://www.useragentstring.com/

User Agent String explained.


url = '크롤링할 웹 url 주소'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36'}
html = requests.get(url, headers=headers).text
soup = BeautifulSoup(html, 'html.parser')

정상적으로 불러오는 것을 확인할수 있다.