728x90 pandas6 [크롤링] 웹 크롤링 kbs 뉴스 데이터로 직접 해보자! (Selenium 활용) + Trouble Shooting 이번 시간은 지난 포스팅 beautifulsoup을 활용하지 못했던 것을 이어 selenium으로 해보는 것을 이어서 작성하겠다. 2024.03.11 - [python] - [크롤링] 웹 크롤링 kbs 뉴스 데이터로 직접 해보자! (Beautifulsoup 활용) [크롤링] 웹 크롤링 kbs 뉴스 데이터로 직접 해보자! (Beautifulsoup 활용) 먼저 해당 포스팅은 앞전의 크롤링 개념 포스팅을 먼저 보고 오는 것을 추천한다. 2024.03.11 - [python] - [크롤링] 웹 크롤링에 대한 기초 지식을 알아보자! [크롤링] 웹 크롤링에 대한 기초 지식을 알 forky-develop.tistory.com 마찬가지로 메타코드의 웹 크롤링 기초 강의를 활용해서 수강하고 있는 중이다. JavaScr.. 2024. 3. 11. 분산분석을 진행하면서 발생한 이슈들 해결법 주말에 진행해본 라이브러리가 아닌 pingouin 라이브러리를 사용하라는 피드백을 받고 분산분석을 새로 진행했다. 주말에 진행한 코드에 문제가 있다고 생각해서 도움을 요청했는데 pingouin 라이브러리를 사용한 후 해결했다. ㅜㅜㅜㅜ 주말동안 이 부분으로 정말 골치 아팠는데 해결 되었다는 사실만으로 너무 다행이었다. 지금부터는 내가 라이브러리를 사용하면서 겪은 이슈와 해결한 방법을 작성해보려 한다. 기존 데이터프레임에 연도 설정이 없음 나는 4년치의 데이터를 비교하는 것이 목적이었기에 각 데이터가 몇년도를 뜻하는지를 코드에도 활용해야했다. 사람인 나는 코드 변수명을 보고 확인하면 그만이지만, 파이썬을 이용해 코드 분석을 진행하려면 어쩔 수가 없었다. 그래서 기존 데이터 프레임에 연도라는 컬럼을 생성해 .. 2023. 9. 18. pandas 다시 한번 짚고가자! (all in one으로 끝장내기) 이번 시간의 pandas 되짚기는 주피터노트북에서 실행했다. 1. 파일 입출력 현재 내가 있는 위치를 찾아보고, 데이터프레임을 간단히 만들어 csv 파일로 내보내고 다시 불러와본다. 이 때, 앞의 ./ 은 os로 확인한 현재 경로와 같다는 것을 의미한다. 2. 행, 열 추출하기 행과 열을 조건으로 추출하는 방법과, 여러 조건을 모두 만족하는 추출 방법, iloc와 loc로 추출하는 방법 등이 있다. 1. 조건이 하나일 때 추출하기 내가 사용한 csv 파일로, 연습하기에 좋다. AGE 추출연습에서는 reset_index를 사용하지 않으면, 굵은 색으로 보이는 인덱스 옆에 원래 인덱스 번호가 함께 나온다. 그래서 우리가 알아보는데 헷갈리게 하고, 쓸모없으니 삭제해줘야 한다. 2. 두개 이상의 조건을 만족하는.. 2023. 8. 9. Django로 회원가입/로그인 페이지 만들기 (Python) - 5탄 아래 링크까지 구현이 된 상태에서 진행을 해야한다. 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 파이썬 웹 개발로 장고를 사용하는 것을 배우면서 웹 개발 쪽으로 점차 관심이 가기 시작한다. 원래는 파이썬으로 웹 개발을 많이 하는 추세는 아니다보니 기대를 한 것도 아니었고, 빅데이터 forky-develop.tistory.com 엑셀파일을 업로드해서 데이터를 읽어올 수 있도록 해야한다. 1. html 수정하기 {% csrf_token %} 하단 버튼을 통해 파일을 업로드 해주세요.(.xls 확장자의 파일만 가능합니다.) 2. urls 파일 확인하기 우리는 앞전에 미리 경.. 2023. 8. 2. streamlit 꾸미기를 해보자 - 데이터 프레임 활용편 이 포스팅 역시 앞 부분과 관련되어 작성되었음을 알리지만 꼭 따라해볼 필요는 없다. 이 전에 다룬 마크다운 문법을 활용한 꾸미기가 궁금하다면 아래 링크를 보고오길 바란다. 2023.07.28 - [python] - streamlit 꾸미기를 해보자 - 마크다운 활용편 streamlit 꾸미기를 해보자 - 마크다운 활용편 streamlit을 활용하면 보기 쉽고 이쁘게 꾸미는 것도 한다면 좋다. 아래에 streamlit에서 제공하는 다양한 tool을 활용할 수 있는 링크도 걸려있으니 참고하자 지금부터 마크다운 문법을 활용한 streamli forky-develop.tistory.com 1. 데이터 프레임 import 내가 사용할 데이터 프레임을 import 해주자 2. 데이터 불러오기 아래 코드를 참고해 데.. 2023. 7. 28. Python에 여러개 파일 동시에 다운하기 (텍스트 파일 사용하기) 짧막하게 장고를 포함한 여러파일들을 한.번.에. 쉽게 다운받는 방법을 작성해보려 한다. 장고를 다운하려면 보통은 터미널창에 pip install django 라고 작성하지만, 우리는 텍스트 파일을 하나 만들어서 그 안에 다운받고자 하는 모든 파일들을 이름만 적어둔다. 지금은 장고 하나만 작성했지만 numpy, pandas 등 여러가지를 넣어도 된다!! 그리고 아래 코드를 입력해주면 초간단하게 다운 완료! 텍스트 파일 이름은 아무거나 설정해도 상관없다. pip install -r requirements.txt 아주 간단하게 설정 완료. 2023. 7. 27. 이전 1 다음 728x90
