728x90 데이터분석13 [데이터 분석] 딥러닝 합성곱에 대해 알아보자 오늘의 포스팅은 수업시간에 배운 합성곱에 대해 작성해보려한다. 포스팅을 시작하기 앞서 항상 느끼는게 있다. 포스팅을 하기 전에는 수업시간에 열심히 듣는다해도 코드부분을 그냥 의미없이 따라치게만 되었고, 그러다보면 항상 개념에 대한 기억은 휘발성으로 날아가버리기 마련이었다. 그래서 포스팅을 수업시간 중에 함께 하다가 언제부턴가 수업 이후 시간에 남기는 버릇을 들였는데, 포스팅을 하며 다시한번 찾아보는 과정이 도움되는것 같다. (그렇다고 다 기억하는건 아니지만....ㅋㅋㅋ) 이제 시작해보자! 1. 합성곱이란? 딥러닝의 합성곱은 이미지 처리와 패턴 인식 작업에 사용하는 중요한 연산이다. 간단히 실행 과정을 설명하자면, 입력 데이터에 작은 커널을 적용해 새로운 특성맵을 생성한다. 이 과정을 통해서 입력 데이터로.. 2023. 8. 28. [통계] 빅데이터 분석기사를 위한 기초 통계 상식! 빅분기 통계 빅데이터 분석기사를 위해서, 데이터 분석 공부를 하기 위해서, 데이터 분석가를 꿈꾸기 위해서 공부해야할 통계파트 오늘 배운 내용을 포스팅으로 그대로 옮기는 이유는 조금의 예제로 쉽게 이해할 수 있었으면 좋겠다. 오늘 진행 내용은 구글 코랩을 기반으로 했지만, 주피터 노트북에서 해도 상관없다. 코랩 파일은 수업 내용을 그대로 따라친거라 올리지 않지만, 아래의 포스팅 내용이 모두 코랩에 작성된 부분이다. 1. 기초통계 검정방법론 모수통계 A 통계검정 방법론 (가정1, 가정2, 가정3 모두 충족할 때) 비 모수통계(= 모수가 아닌 통계) 2. 베이지안 통계 vs 모수 통계 모수 통계 : 평균에 기반한 통계 검정 베이지안 통계 : 확률에 기반한 통계 검정 3. t-test : z-test 평균의 비.. 2023. 8. 11. pandas 다시 한번 짚고가자! (all in one으로 끝장내기) 이번 시간의 pandas 되짚기는 주피터노트북에서 실행했다. 1. 파일 입출력 현재 내가 있는 위치를 찾아보고, 데이터프레임을 간단히 만들어 csv 파일로 내보내고 다시 불러와본다. 이 때, 앞의 ./ 은 os로 확인한 현재 경로와 같다는 것을 의미한다. 2. 행, 열 추출하기 행과 열을 조건으로 추출하는 방법과, 여러 조건을 모두 만족하는 추출 방법, iloc와 loc로 추출하는 방법 등이 있다. 1. 조건이 하나일 때 추출하기 내가 사용한 csv 파일로, 연습하기에 좋다. AGE 추출연습에서는 reset_index를 사용하지 않으면, 굵은 색으로 보이는 인덱스 옆에 원래 인덱스 번호가 함께 나온다. 그래서 우리가 알아보는데 헷갈리게 하고, 쓸모없으니 삭제해줘야 한다. 2. 두개 이상의 조건을 만족하는.. 2023. 8. 9. [selenium] 웹사이트에서 데이터 긁어오기 - 실시간 검색어편 이전에 이미지를 다운받을 수 있도록 코드를 짜는 것을 해봤으면, 이번엔 실시간 검색어 자체를 가져오는 것을 해보자 이미지 다운에 관련해서 궁금하다면 아래 링크로 들어가보면 된다. 2023.08.08 - [python] - [selenium] 웹사이트에서 데이터 긁어오기 - 이미지편 [selenium] 웹사이트에서 데이터 긁어오기 - 이미지편 오늘은 셀레니움을 이용해서 웹 사이트에서 사진을 다운받아오는 과정에 대해 작성한다. 이미지 분석에 사용할 수 있도록 예제코드를 배운 셈으로 생각보다 간단했다. 나는 주피터노트북 가상 forky-develop.tistory.com 1. 시그널 실시간 검색어 뽑아내기 시그널의 경우 실시간 검색어가 바로 top 10으로 보인다. 그래서 따로 페이지 로딩시간을 체크해서 기다.. 2023. 8. 8. [selenium] 웹사이트에서 데이터 긁어오기 - 이미지편 오늘은 셀레니움을 이용해서 웹 사이트에서 사진을 다운받아오는 과정에 대해 작성한다. 이미지 분석에 사용할 수 있도록 예제코드를 배운 셈으로 생각보다 간단했다. 나는 주피터노트북 가상환경 내에서 이 작업을 진행했으며, 이 과정까지는 더이상 언급하지 않겠다. 1. jupyter lab에서 크롬 드라이브 확인하기 이미지 분석을 위해 크롬에서 구글 이미지검색 사이트를 활용할 것이다. 그렇기 위해 크롬 드라이브가 지정한 위치에 있는지 확인을 해주자 import os def list_files(startpath): for root, dirs, files in os.walk(startpath): level = root.replace(startpath, '').count(os.sep) indent = ' ' * 4 *.. 2023. 8. 8. [데이터 분석] 고속도로 실시간 영업소간 통행시간 API 활용하기 이번에는 데이터 분석을 하기위한 연습을 먼저 한다. 이 때까지는 엑셀파일을 이용한 시각화 연습을 주로 했었다면, 지금은 API를 이용해 원하는 데이터를 분석해보는 방법을 이용할 계획이다. 이 부분은 세미프로젝트를 진행하는데에 매우 기본으로 사용되는 부분이라 더 잘 활용해야하고, 알아둬야 한다. 1. 공공데이터 포털에서 API 조회하기 먼저 사이트에 들어가서 분석하기 위한 파일을 찾는다. 내가 활용한 사이트는 아래에 첨부한다. http://data.ex.co.kr/dataset/datasetList/list?pn=1&CATEGORY=TR&GROUP_TR=TIME_TCS 2023. 8. 7. Chat GPT를 활용해서 pandas DF를 html로 만들기 0. 이용 계기 장고로 하는 엑셀 데이터 분석 페이지를 이용해서 html에 표현하는 것을 각자 해결해보라는 일종의 과제? 를 받았다. 나는 html에 대한 지식이 없다보니.. 구글링을 시도하다가 시간을 낭비하기보단, 확실하게 코드를 보며 배워가고싶어서 챗 GPT를 활용했다. 1. 검색하기 제일 먼저 검색했던 것은 수업에 사용했던 코드의 일부를 첨부해 pandas dataFrame을 html 결과창으로 만들고 싶다고 적었다. 처음에 검색하니 Flask 를 이용하는 방법을 소개해줬는데 나는 Django를 이용하던 중에 받은 과제라서 장고를 이용하는 방법으로 가르쳐 달라고 했다. 내가 준 간단한 코드 몇줄과 장고로 결과 페이지 구현해줘 라는 말 한마디로 여러 파일들의 코드를 짜주는데 너무 신기하기도 하고, 이.. 2023. 8. 3. Django로 회원가입/로그인 페이지 만들기 (Python) - 7탄 대망의 마지막!! 앞에서 로그인 실패 페이지에 대한 언급을 하고 뒤에서 다루기로했는데 중요도가 가장 낮았어서 마지막에 구현을 했다. 로그인과 관련해서는 아래 링크를 참고하자 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 파이썬 웹 개발로 장고를 사용하는 것을 배우면서 웹 개발 쪽으로 점차 관심이 가기 시작한다. 원래는 파이썬으로 웹 개발을 많이 하는 추세는 아니다보니 기대를 한 것도 아니었고, 빅데이터 forky-develop.tistory.com 1. views 파일 수정하기 main > views.py 현재 로그인 실패에 대한 함수 지정이 아예 되어있지 않았다. 이 .. 2023. 8. 3. Django로 회원가입/로그인 페이지 만들기 (Python) - 6탄 이번 시간엔 불러온 엑셀파일의 데이터를 읽어오는 것을 먼저 해보자 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 5탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 5탄 아래 링크까지 구현이 된 상태에서 진행을 해야한다. 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 파이썬 웹 개발로 forky-develop.tistory.com 1. views 파일 수정하기 main > views.py 결과가 나타나게 해주는 함수를 수정해야한다. 이 때까지는 엑셀파일을 올려도 결과탭을 들어가보면 빈 화면이었.. 2023. 8. 3. 이전 1 2 다음 728x90
