728x90 파이썬37 코드를 익히는 필사 공부 이렇게 해보자! 나는 파이썬을 사용하고 있고, 데이터 분석쪽으로 수업을 수강중이라 파이썬 위주로 포스팅을 작성한다. 그러나 모든 프로그래밍 언어를 배울 때, 필사를 하는 것은 아주 중요하다. 다른 사람의 코드를 그냥 베끼는거 아냐? 싶다면 수업을 들으면서 치는 코드들도 다 마찬가지일거다. 필사가 가장 중요한 이유를 먼저 짚고 가겠다. 0. 필사가 왜 중요하지? 프로그래밍 언어를 공부할 때, 필사를 중요하다고 모두가 말을 하는 이유가 있다. 필사를 하는 이유는 먼저 내 눈에 익히고, 코드의 흐름을 파악하는데 도움을 준다. 이 코드를 외우라는 것이 절대 아니다. 필사를 하다보면, 이 코드는 어떤 부분을 다루는구나 하고 감이 잡힌다. 그리고 그 부분을 구글링이나 gpt 를 활용해서 어떻게 활용하는 라이브러리인지, 코드인지를 .. 2023. 8. 16. [데이터 분석] pdf 크롤링 파일 csv로 파싱하기 (+ pdf -> pdf 비추와 이유) 오늘은 약간의 푸념? 을 먼저 늘여놓고 포스팅을 시작하려한다. 요즘 세미프로젝트를 위해 각자 크롤링하고 그 파일을 분석하도록 시간을 최소 1~2시간 씩 주신다. 아직 조가 확정된 것은 아니지만, 내가 정한 주제는 확정되었기에 틈틈히 하는 것이 좋으나 나는 주말엔 다른 일정들이 많았고, 딱 하루 없는 날엔 체력 비축을 위해 그냥 놀고 쉬었다. 뭐,,, 사실 핑계거리다. ㅋㅋㅋㅋㅋㅋ 😂😂 그렇다고 내가 코드를 잘 아는 것도 아니고 실력이 뛰어나서 금방 구글링하는 것도 아니어서 수업시간에 주는 시간엔 얻은 결과값이 딱히 없다.. 이렇게 있다간 같은 조로 편성될 조원들에게 피해를 입힐까 두려워 일단 이 때까지 최대한 긁어모았던 pdf 파일들을 csv 파일로 변환해야겠단 생각이 들었다! 그래서 오늘의 포스팅은!!.. 2023. 8. 14. [통계] 빅데이터 분석기사를 위한 기초 통계 상식! 빅분기 통계 빅데이터 분석기사를 위해서, 데이터 분석 공부를 하기 위해서, 데이터 분석가를 꿈꾸기 위해서 공부해야할 통계파트 오늘 배운 내용을 포스팅으로 그대로 옮기는 이유는 조금의 예제로 쉽게 이해할 수 있었으면 좋겠다. 오늘 진행 내용은 구글 코랩을 기반으로 했지만, 주피터 노트북에서 해도 상관없다. 코랩 파일은 수업 내용을 그대로 따라친거라 올리지 않지만, 아래의 포스팅 내용이 모두 코랩에 작성된 부분이다. 1. 기초통계 검정방법론 모수통계 A 통계검정 방법론 (가정1, 가정2, 가정3 모두 충족할 때) 비 모수통계(= 모수가 아닌 통계) 2. 베이지안 통계 vs 모수 통계 모수 통계 : 평균에 기반한 통계 검정 베이지안 통계 : 확률에 기반한 통계 검정 3. t-test : z-test 평균의 비.. 2023. 8. 11. pandas 다시 한번 짚고가자! (all in one으로 끝장내기) 이번 시간의 pandas 되짚기는 주피터노트북에서 실행했다. 1. 파일 입출력 현재 내가 있는 위치를 찾아보고, 데이터프레임을 간단히 만들어 csv 파일로 내보내고 다시 불러와본다. 이 때, 앞의 ./ 은 os로 확인한 현재 경로와 같다는 것을 의미한다. 2. 행, 열 추출하기 행과 열을 조건으로 추출하는 방법과, 여러 조건을 모두 만족하는 추출 방법, iloc와 loc로 추출하는 방법 등이 있다. 1. 조건이 하나일 때 추출하기 내가 사용한 csv 파일로, 연습하기에 좋다. AGE 추출연습에서는 reset_index를 사용하지 않으면, 굵은 색으로 보이는 인덱스 옆에 원래 인덱스 번호가 함께 나온다. 그래서 우리가 알아보는데 헷갈리게 하고, 쓸모없으니 삭제해줘야 한다. 2. 두개 이상의 조건을 만족하는.. 2023. 8. 9. [selenium] 웹사이트에서 데이터 긁어오기 - 실시간 검색어편 이전에 이미지를 다운받을 수 있도록 코드를 짜는 것을 해봤으면, 이번엔 실시간 검색어 자체를 가져오는 것을 해보자 이미지 다운에 관련해서 궁금하다면 아래 링크로 들어가보면 된다. 2023.08.08 - [python] - [selenium] 웹사이트에서 데이터 긁어오기 - 이미지편 [selenium] 웹사이트에서 데이터 긁어오기 - 이미지편 오늘은 셀레니움을 이용해서 웹 사이트에서 사진을 다운받아오는 과정에 대해 작성한다. 이미지 분석에 사용할 수 있도록 예제코드를 배운 셈으로 생각보다 간단했다. 나는 주피터노트북 가상 forky-develop.tistory.com 1. 시그널 실시간 검색어 뽑아내기 시그널의 경우 실시간 검색어가 바로 top 10으로 보인다. 그래서 따로 페이지 로딩시간을 체크해서 기다.. 2023. 8. 8. [selenium] 웹사이트에서 데이터 긁어오기 - 이미지편 오늘은 셀레니움을 이용해서 웹 사이트에서 사진을 다운받아오는 과정에 대해 작성한다. 이미지 분석에 사용할 수 있도록 예제코드를 배운 셈으로 생각보다 간단했다. 나는 주피터노트북 가상환경 내에서 이 작업을 진행했으며, 이 과정까지는 더이상 언급하지 않겠다. 1. jupyter lab에서 크롬 드라이브 확인하기 이미지 분석을 위해 크롬에서 구글 이미지검색 사이트를 활용할 것이다. 그렇기 위해 크롬 드라이브가 지정한 위치에 있는지 확인을 해주자 import os def list_files(startpath): for root, dirs, files in os.walk(startpath): level = root.replace(startpath, '').count(os.sep) indent = ' ' * 4 *.. 2023. 8. 8. [데이터 분석] 고속도로 실시간 영업소간 통행시간 API 활용하기 이번에는 데이터 분석을 하기위한 연습을 먼저 한다. 이 때까지는 엑셀파일을 이용한 시각화 연습을 주로 했었다면, 지금은 API를 이용해 원하는 데이터를 분석해보는 방법을 이용할 계획이다. 이 부분은 세미프로젝트를 진행하는데에 매우 기본으로 사용되는 부분이라 더 잘 활용해야하고, 알아둬야 한다. 1. 공공데이터 포털에서 API 조회하기 먼저 사이트에 들어가서 분석하기 위한 파일을 찾는다. 내가 활용한 사이트는 아래에 첨부한다. http://data.ex.co.kr/dataset/datasetList/list?pn=1&CATEGORY=TR&GROUP_TR=TIME_TCS 2023. 8. 7. Chat GPT를 활용해서 pandas DF를 html로 만들기 0. 이용 계기 장고로 하는 엑셀 데이터 분석 페이지를 이용해서 html에 표현하는 것을 각자 해결해보라는 일종의 과제? 를 받았다. 나는 html에 대한 지식이 없다보니.. 구글링을 시도하다가 시간을 낭비하기보단, 확실하게 코드를 보며 배워가고싶어서 챗 GPT를 활용했다. 1. 검색하기 제일 먼저 검색했던 것은 수업에 사용했던 코드의 일부를 첨부해 pandas dataFrame을 html 결과창으로 만들고 싶다고 적었다. 처음에 검색하니 Flask 를 이용하는 방법을 소개해줬는데 나는 Django를 이용하던 중에 받은 과제라서 장고를 이용하는 방법으로 가르쳐 달라고 했다. 내가 준 간단한 코드 몇줄과 장고로 결과 페이지 구현해줘 라는 말 한마디로 여러 파일들의 코드를 짜주는데 너무 신기하기도 하고, 이.. 2023. 8. 3. Django로 회원가입/로그인 페이지 만들기 (Python) - 7탄 대망의 마지막!! 앞에서 로그인 실패 페이지에 대한 언급을 하고 뒤에서 다루기로했는데 중요도가 가장 낮았어서 마지막에 구현을 했다. 로그인과 관련해서는 아래 링크를 참고하자 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 파이썬 웹 개발로 장고를 사용하는 것을 배우면서 웹 개발 쪽으로 점차 관심이 가기 시작한다. 원래는 파이썬으로 웹 개발을 많이 하는 추세는 아니다보니 기대를 한 것도 아니었고, 빅데이터 forky-develop.tistory.com 1. views 파일 수정하기 main > views.py 현재 로그인 실패에 대한 함수 지정이 아예 되어있지 않았다. 이 .. 2023. 8. 3. 이전 1 2 3 4 5 다음 728x90
