728x90 전체 글133 [selenium] 웹사이트에서 데이터 긁어오기 - 이미지편 오늘은 셀레니움을 이용해서 웹 사이트에서 사진을 다운받아오는 과정에 대해 작성한다. 이미지 분석에 사용할 수 있도록 예제코드를 배운 셈으로 생각보다 간단했다. 나는 주피터노트북 가상환경 내에서 이 작업을 진행했으며, 이 과정까지는 더이상 언급하지 않겠다. 1. jupyter lab에서 크롬 드라이브 확인하기 이미지 분석을 위해 크롬에서 구글 이미지검색 사이트를 활용할 것이다. 그렇기 위해 크롬 드라이브가 지정한 위치에 있는지 확인을 해주자 import os def list_files(startpath): for root, dirs, files in os.walk(startpath): level = root.replace(startpath, '').count(os.sep) indent = ' ' * 4 *.. 2023. 8. 8. [데이터 분석] 고속도로 실시간 영업소간 통행시간 API 활용하기 이번에는 데이터 분석을 하기위한 연습을 먼저 한다. 이 때까지는 엑셀파일을 이용한 시각화 연습을 주로 했었다면, 지금은 API를 이용해 원하는 데이터를 분석해보는 방법을 이용할 계획이다. 이 부분은 세미프로젝트를 진행하는데에 매우 기본으로 사용되는 부분이라 더 잘 활용해야하고, 알아둬야 한다. 1. 공공데이터 포털에서 API 조회하기 먼저 사이트에 들어가서 분석하기 위한 파일을 찾는다. 내가 활용한 사이트는 아래에 첨부한다. http://data.ex.co.kr/dataset/datasetList/list?pn=1&CATEGORY=TR&GROUP_TR=TIME_TCS 2023. 8. 7. Chat GPT를 활용해서 pandas DF를 html로 만들기 0. 이용 계기 장고로 하는 엑셀 데이터 분석 페이지를 이용해서 html에 표현하는 것을 각자 해결해보라는 일종의 과제? 를 받았다. 나는 html에 대한 지식이 없다보니.. 구글링을 시도하다가 시간을 낭비하기보단, 확실하게 코드를 보며 배워가고싶어서 챗 GPT를 활용했다. 1. 검색하기 제일 먼저 검색했던 것은 수업에 사용했던 코드의 일부를 첨부해 pandas dataFrame을 html 결과창으로 만들고 싶다고 적었다. 처음에 검색하니 Flask 를 이용하는 방법을 소개해줬는데 나는 Django를 이용하던 중에 받은 과제라서 장고를 이용하는 방법으로 가르쳐 달라고 했다. 내가 준 간단한 코드 몇줄과 장고로 결과 페이지 구현해줘 라는 말 한마디로 여러 파일들의 코드를 짜주는데 너무 신기하기도 하고, 이.. 2023. 8. 3. Django로 회원가입/로그인 페이지 만들기 (Python) - 7탄 대망의 마지막!! 앞에서 로그인 실패 페이지에 대한 언급을 하고 뒤에서 다루기로했는데 중요도가 가장 낮았어서 마지막에 구현을 했다. 로그인과 관련해서는 아래 링크를 참고하자 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 파이썬 웹 개발로 장고를 사용하는 것을 배우면서 웹 개발 쪽으로 점차 관심이 가기 시작한다. 원래는 파이썬으로 웹 개발을 많이 하는 추세는 아니다보니 기대를 한 것도 아니었고, 빅데이터 forky-develop.tistory.com 1. views 파일 수정하기 main > views.py 현재 로그인 실패에 대한 함수 지정이 아예 되어있지 않았다. 이 .. 2023. 8. 3. Django로 회원가입/로그인 페이지 만들기 (Python) - 6탄 이번 시간엔 불러온 엑셀파일의 데이터를 읽어오는 것을 먼저 해보자 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 5탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 5탄 아래 링크까지 구현이 된 상태에서 진행을 해야한다. 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 파이썬 웹 개발로 forky-develop.tistory.com 1. views 파일 수정하기 main > views.py 결과가 나타나게 해주는 함수를 수정해야한다. 이 때까지는 엑셀파일을 올려도 결과탭을 들어가보면 빈 화면이었.. 2023. 8. 3. Django로 회원가입/로그인 페이지 만들기 (Python) - 5탄 아래 링크까지 구현이 된 상태에서 진행을 해야한다. 2023.08.02 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 파이썬 웹 개발로 장고를 사용하는 것을 배우면서 웹 개발 쪽으로 점차 관심이 가기 시작한다. 원래는 파이썬으로 웹 개발을 많이 하는 추세는 아니다보니 기대를 한 것도 아니었고, 빅데이터 forky-develop.tistory.com 엑셀파일을 업로드해서 데이터를 읽어올 수 있도록 해야한다. 1. html 수정하기 {% csrf_token %} 하단 버튼을 통해 파일을 업로드 해주세요.(.xls 확장자의 파일만 가능합니다.) 2. urls 파일 확인하기 우리는 앞전에 미리 경.. 2023. 8. 2. 가상환경 jupyter lab을 이용해 selenium 활용하기 (Python) - 1탄 이번 포스팅은 이전의 세팅이 완료된 상태에서 주피터 랩을 킨 후 시작한다. 세팅은 아래의 링크를 참고하면 되겠다. 2023.08.01 - [python] - 가상환경 jupyter lab을 이용해 selenium 세팅하기 (Python) 가상환경 jupyter lab을 이용해 selenium 세팅하기 (Python) 여태까지 포스팅한 글중에 가장 쉬운 것 같다. ㅋㅋㅋㅋ 가상환경에서 주피터 랩을 사용하는게 항상 해왔던 거라 그런게 아니라 진짜 쉽다! 물론 이 포스팅은 세팅하기지 활용하기가 아닌 것도 forky-develop.tistory.com 우리는 크롬 드라이브를 사용할 예정이라서 크롬 드라이브를 먼저 다운해 주자. 1. 크롬 버전 확인하기 크롬창 우측 점세개 메뉴 > 설정 > 크롬 정보 에서 나의 .. 2023. 8. 2. Django로 회원가입/로그인 페이지 만들기 (Python) - 4탄 파이썬 웹 개발로 장고를 사용하는 것을 배우면서 웹 개발 쪽으로 점차 관심이 가기 시작한다. 원래는 파이썬으로 웹 개발을 많이 하는 추세는 아니다보니 기대를 한 것도 아니었고, 빅데이터 분석쪽으로만 생각을 했는데 이번 내용을 수강하면서 html도 css도 제대로 알고싶어진다. 이 포스팅을 참고하려는 사람들도 파이썬으로 웹 개발하는 것에 관심이 커진다면, 장고만을 활용하기보단 최종적으로 자바스크립트 공부를 해서 능력을 업그레이드 시킬 목표를 잡는다면 좋겠다. 오늘의 포스팅은 이전에 인증코드를 통해 구현받은 내용에서 슈퍼유저부분을 재생성하는 것부터 시작한다. 2023.08.01 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 3탄 Django로 회원가입/로그인 페이지 .. 2023. 8. 2. 쿠키?? 세션?! (+ 캐시?) 차이점 확실히 알고가자! 오늘 수업에서 장고 회원가입과 인증코드 부분에 쿠키를 사용하며 갑자기 쿠키와 세션의 차이점이 무엇인지 궁금해졌다. 이번 기회에 쿠키와 세션이 뭔지 차이점은 무엇인지 정리해보려 한다. 더불에 캐시의 개념까지 언급해 확실히 개념을 알아가보자 1. 쿠키 (cookie) http에서 클라이언트의 상태를 로컬 PC에 저장해뒀다가 내가 필요할 때 꺼내 사용할 수 있다. - 쿠키 동작 1. 사용자가 사이트에 접속해서 클라이언트가 페이지 request한다. 2. 웹 서버에서 쿠키를 생성한다. 3. 생성한 쿠키에 정보를 넣어 http 화면을 넘길 때, 클라이언트에 함께 넘긴다. 4. 이렇게 받은 쿠키를 로컬 PC에 저장해두고 이후 서버에서 request할 때, request와 함께 쿠키를 전송한다. 5. 사이트 추후 재.. 2023. 8. 1. jinja2 template 진자 템플릿이 뭐길래?? 앞의 수업내용을 따라가면서 교재에는 사용하지 않는 것으로 나왔는데 실제로는 사용하지 않으면 오류가 났던 부분이 바로 Jinja 템플릿 이었다. 그래서 도대체 이 진자 템플릿이 뭐길래 오류가 난건지 알아보고 이 것에 대한 포스팅을 작성한다. 1. 진자의 개념 위키 백과에 나오는 개념이다. 진자는 파이썬용 웹 템플릿 엔진이다. 아민 로나처가 개발하였으며 BSD 허가서로 라이선스된다. 진자는 장고 템플릿 엔진과 비슷하지만 파이썬과 비슷한 식을 제공하면서 템플릿이 샌드박스 안에서 평가되는 것을 보장한다. 한마디로 설명하자면, 파이썬에서 html 파일을 다루기 쉽게 하려고 사용하는 템플릿으로 flask를 통해 웹 서버를 구축하도록 해준다. 2. 진자 사용방법 jinja2는 사용된 타입이 무엇이든 인식이 가능하다... 2023. 8. 1. Django로 회원가입/로그인 페이지 만들기 (Python) - 3탄 이번에는 인증코드를 입력해 회원 인증이 되는 것을 직접 확인해볼 것이다. 이 전의 내용은 앞의 포스팅을 참고하자 현재는 쿠키를 사용중인데 세션을 사용하는 것도 아래에 적어두겠다. 2023.08.01 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 2탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 2탄 오늘 포스팅하는 내용은 어제 내용에 이어서 인증코드를 발급 받는내용부터 시작한다. 이전 내용을 알고싶다면 이전 블로그 포스팅을 참고해주자 2023.07.31 - [python] - Django로 회원가입/로그인 페 forky-develop.tistory.com 1. 인증번호 매칭시키기 인증번호가 사용자가 입력한 번호와 쿠키에 저장된 값이 같은지를 확.. 2023. 8. 1. Django로 회원가입/로그인 페이지 만들기 (Python) - 2탄 오늘 포스팅하는 내용은 어제 내용에 이어서 인증코드를 발급 받는내용부터 시작한다. 이전 내용을 알고싶다면 이전 블로그 포스팅을 참고해주자 2023.07.31 - [python] - Django로 회원가입/로그인 페이지 만들기 (Python) - 1탄 Django로 회원가입/로그인 페이지 만들기 (Python) - 1탄 오늘 수강한 내용은 장고를 활용한 회원가입과 로그인 페이지를 만드는 것이다! 오전에는 파이쉘 커맨드를 사용해서 vagrant 가상환경을 연결하는 것을 했지만, 어떤 이유에서인지 오류가 아주 forky-develop.tistory.com 1. views.py 로 인증코드 발급 세팅하기 어제 사용한 파일에서 인증코드 발급을 받기 위한 부분은 join 이다. 이곳에서 이름과 이메일 주소, 비밀번.. 2023. 8. 1. 이전 1 ··· 6 7 8 9 10 11 12 다음 728x90
