소신의 블로그생활

ㅁ 파일구조폴더구조는 이렇게 가져가는게 Docker로 배포하기 편한듯ㅁDockerfile3.9 버전 러버라 파이썬 쓸 떈 3.9 이미지를 주로 사용캐싱을 활용한 빌드속도 최적화셀레니움을 위한 크롬 설치 ### 20240906 수정 Stable 버전인 128.0.6613.119-1 크롬 설치 후 셀레니움 실행 시 disconnected: not connected to DevTools 에러 발생1. 윈도우에서 테스트해보니 에러메시지 [WinError 193] %1은(는) 올바른 Win32 응용 프로그램이 아닙니다webdriver-manager가 THIRD_PARTY_NOTICES.chromedriver를 가져오는 것을 확인하여 수정해봄 -> 도커에서는 적용되지 않음.2. 결국 특정 버전의 크롬을 설치하는 방..

자동화 프로그램 제작 시 대부분은 requests로 API를 직접 요청하는것을 선호하지만, 그것이 불가한 경우에는 selenium을 활용한다. Selenium 셀레니움은 웹 애플리케이션 자동화 및 테스트를 위한 포터블 프레임워크이다. 자바, C#, 펄 루비 등 다양한 언어들로 제공되며, 윈도우, 리눅스, macOS 플랫폼에서 사용가능하다. 순서 1. Selenium 클래스화 코드 2. 유용한 Selenium 클래스, 함수 3. Javascript 4. 자주발생하는 에러와 해결방법 1. Selenium 클래스화 코드 web_setting.py (모듈명은 임의 부여) # -----------------------------------------------------------------------------..

본인의 경우 EC2 서버에서 주기적으로 파이썬 스크립트를 실행할 경우, 스크립트 내에서 실행 주기를 관리하기보다 cron을 활용해서 main.py를 주기적으로 실행한다. Cron 유닉스 계열 컴퓨터 운영체제의 시간 기반 잡 스케줄러 순서 1. cron 초기 설정 2. 시간 설정 3. cron 명령어 4. cron 로그 5. cron 사용 시 주의사항과 에러 1. Cron 초기 설정 터미널에서 다음 명령어 실행 crontab -e vim editor는 vim.tiny로 설정, 그 외에 에디터는 리눅스 운영체제를 자주 사용하지 않는 나에겐 사용하기 너무 불편함.. 에디터를 잘못 설정했다면, 기존 터미널은 휴지통 버튼으로 종료해주고, (닫기 아님) 터미널에서 select-editor를 입력하여 vim-edit..

안녕하세요 ! 소신입니다. 데이터 분석을 위해선 pandas 모듈을 잘 사용하는게 도움이 많이 되는데요 자주 사용하진 않지만, 까먹었을 때 찾아보기는 귀찮은 함수들을 모아서 정리해보았습니다. # Pandas 기본 # Pandas DataFrame 기본 pd.read_csv('pth/to/file/path', index_col='date', header=None) df.dropna() df.reset_index(drop=True, inplace=True) pddf[pddf['본문'].apply(lambda i : '삼성전자' in str(i))] # = 본문에 삼성전자가 있는 애들만 출력 df.sort_values(by='날짜', ignore_index=True) pddf['카테고리'].count() / ..

안녕하세요 ! 소신입니다. 사용법 + 예제 코드까지 이해하고 찾기 쉽게 정리해놓았습니다 찾기 : CTRL+F로 검색어를 입력해보세요 #np.nan #np.inf np.nan + 1 => np.nan 1 + np.nan => np.nan np.inf + 1 => np.inf 1 + np.ifn => np.inf #vstack #hstack #numpy 배열 합치기, 가로 합치기, 세로 합치기, 열 합치기, 행 합치기 # vstack a = np.ones((1,5)) # 1x5 b = np.ones((1,3)) # 1x3 d = np.c_[a,b] # 1x8 d, d.shape # OUT >>> array([[1., 1., 1., 1., 1., 1., 1., 1.]]), (1, 8) # hstack a = ..

안녕하세요 소신입니다. 데이터 분석을 위한 파이썬 기초입니다. 파이썬을 다루기 위한 기본 문법을 살펴보겠습니다. 기본 문법은 외우고, 이해해야 하는 부분입니다. ㅁ 산술연산 ㅇ 사칙연산 파이썬에서 활용가능한 사칙연산은 다음과 같습니다. 구분 예제 결과 덧셈 1 + 2 3 뺄셈 1 - 2 -1 곱셈 5 * 2 10 나눗셈 5 / 2 2.5 나눗셈 (몫) 5 // 2 2 나눗셈 (나머지) 9 % 2 1 제곱 2 ** 3 8 괄호 (우선순위) (2 + 3) * 2 10 ㅇ 자료형 type(값) - 자료의 형태를 확인하는 함수 type(2) # 결과 : int type(10.5) # 결과 : float - 자료형 int - 정수 float - 실수 bool - True or False (논리형) str - 문자..

안녕하세요 소신입니다. 데이터 분석을 위한 Python 기초편입니다. 처음은 아나콘다를 설치하고 환경을 설정하는것부터 시작하겠습니다. ㅁ 아나콘다 설치 Anaconda | Individual Edition Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 파이썬 기본 설정과 분석 기본 패키지를 받기 위해 아나콘다를 설치합니다. Download 버튼을 클릭해줍니다. 각자의 환경에 맞게 설치해주시면 되는데 글을 작성하는 11월 14일 기준 최신버전은 3.8 버전입니다. ㅁ 아나콘다 설치 ..