반응형

자동화 2

AWS EC2 python 주기적으로 실행 Cron 잡 스케줄러

본인의 경우 EC2 서버에서 주기적으로 파이썬 스크립트를 실행할 경우, 스크립트 내에서 실행 주기를 관리하기보다 cron을 활용해서 main.py를 주기적으로 실행한다. Cron 유닉스 계열 컴퓨터 운영체제의 시간 기반 잡 스케줄러 순서 1. cron 초기 설정 2. 시간 설정 3. cron 명령어 4. cron 로그 5. cron 사용 시 주의사항과 에러 1. Cron 초기 설정 터미널에서 다음 명령어 실행 crontab -e vim editor는 vim.tiny로 설정, 그 외에 에디터는 리눅스 운영체제를 자주 사용하지 않는 나에겐 사용하기 너무 불편함.. 에디터를 잘못 설정했다면, 기존 터미널은 휴지통 버튼으로 종료해주고, (닫기 아님) 터미널에서 select-editor를 입력하여 vim-edit..

[데이터 크롤링] 네이버 뉴스 기사 데이터 크롤링 방법 + 자동화

안녕하세요 소신입니다 ! 뉴스기사 분석을 통해 다양한 인사이트를 얻을 수 있습니다. 네이버 뉴스는 다양한 언론사를 포함하고 있기 때문에 주제, 분야별로 나눠 다양한 분석을 진행할 수 있습니다. 그럼 바로 크롤링 스타뜨 1. 패키지 Import 웹 데이터를 주고받기 위한 requests 패키지와 웹 구조를 따라 크롤링 할 수 있게 해주는 BeautifulSoup을 임포트 해줍니다. 2. 네이버 검색을 위한 URL 확인 위에 저렇게 URL 있죠? 저걸 가져옵니다. url_format = 'https://search.naver.com/search.naver?&where=news&query={검색어} &sm=tab_pge&sort=0&photo=0&field=0&reporter_article=&pd=3&ds={..

반응형