소신의 블로그생활

자동화 프로그램 제작 시 대부분은 requests로 API를 직접 요청하는것을 선호하지만, 그것이 불가한 경우에는 selenium을 활용한다. Selenium 셀레니움은 웹 애플리케이션 자동화 및 테스트를 위한 포터블 프레임워크이다. 자바, C#, 펄 루비 등 다양한 언어들로 제공되며, 윈도우, 리눅스, macOS 플랫폼에서 사용가능하다. 순서 1. Selenium 클래스화 코드 2. 유용한 Selenium 클래스, 함수 3. Javascript 4. 자주발생하는 에러와 해결방법 1. Selenium 클래스화 코드 web_setting.py (모듈명은 임의 부여) # -----------------------------------------------------------------------------..

안녕하세요 소신입니다 ! 뉴스기사 분석을 통해 다양한 인사이트를 얻을 수 있습니다. 네이버 뉴스는 다양한 언론사를 포함하고 있기 때문에 주제, 분야별로 나눠 다양한 분석을 진행할 수 있습니다. 그럼 바로 크롤링 스타뜨 1. 패키지 Import 웹 데이터를 주고받기 위한 requests 패키지와 웹 구조를 따라 크롤링 할 수 있게 해주는 BeautifulSoup을 임포트 해줍니다. 2. 네이버 검색을 위한 URL 확인 위에 저렇게 URL 있죠? 저걸 가져옵니다. url_format = 'https://search.naver.com/search.naver?&where=news&query={검색어} &sm=tab_pge&sort=0&photo=0&field=0&reporter_article=&pd=3&ds={..