본문 바로가기
반응형

전체 글139

[twilio] 스트림릿으로 문자 발송 구현하기 - 최종편 먼저 이번 포스팅에서 다룰 부분은 이전 포스팅에서 언급된 부분에서 동의하기 버튼이 달라진 것밖에 없다. 해당 포스팅에서는 내용이 이전 포스팅에서 다뤘던 부분은 크게 다루지 않을 예정이다. 문자 발송을 구현하고자 또는 개인적으로 공부하려고 보는 사람이라면, 앞의 포스팅을 먼저 보고오길 권한다. 2023.11.17 - [프로젝트] - [twilio] 무료 크레딧으로 파이썬 문자 발송하고 스트림릿 배포하기! [twilio] 무료 크레딧으로 파이썬 문자 발송하고 스트림릿 배포하기! 오늘은 프로젝트에서 진행할 스트림릿에서 문자 발송하기를 구현해봤다. 먼저 twilio가 잘 되는지 확인하는 것은 간단했다. 회원가입을 하면 15 달러의 크레딧을 주는데 무료로 테스트 해볼 사람 forky-develop.tistory... 2023. 11. 20.
[twilio] 무료 크레딧으로 파이썬 문자 발송하고 스트림릿 배포하기! 오늘은 프로젝트에서 진행할 스트림릿에서 문자 발송하기를 구현해봤다. 먼저 twilio가 잘 되는지 확인하는 것은 간단했다. 회원가입을 하면 15 달러의 크레딧을 주는데 무료로 테스트 해볼 사람들에겐 너무 편하고 좋다. 하나의 단점이라고는 무료를 사용하다보니, 본인의 연락처로만 발송이 가능했다는 것이다. 그러나 우리는 그냥 프로젝트일뿐? 굳이 누군가한테 보낼 일은 없었기에 그냥 무료 크레딧만 사용했다. 지금부터 twilio 사용에 대해 작성해보려한다. 0. 기본 세팅 twilio 사이트에서 무료로 회원가입을 해주자! 회원가입은 그냥 하라는대로 쉽게 할 수 있었다. 중간에 전화번호 인증도 한번 해주고 한국 사이트와 같은 방법이라서 굳이 다루지 않으려한다. 그리고 주피터나 코랩이 아닌 로컬 환경을 열어주자! .. 2023. 11. 17.
파이널 프로젝트 진행 중간 보고 현재 파이널 프로젝트의 기간은 조금 더 남아있지만, 거의 마무리 단계를 거치고 있는 변동사항에 대한 정리를 하려한다. 이번 프로젝트는 데이터를 얻기 위한 고생은 하지 않았지만, 다른 부분들의 고충이 꽤 있는 편이었다. 먼저 기존의 계획을 먼저 언급하고 멘토링 피드백과 변동사항을 작성하려 한다. 프로젝트 기존 계획 원래는 데이터 분석방면에서는 전처리과정, EDA 진행, 통계분석, 머신러닝 이렇게 하는 것을 생각했다. 머신러닝은 이탈 고객에 대한 예측을 하는 부분만 생각했었다. 대시보드는 통신사 제안용으로 루커를 기획했고, 고객 배포용으로는 웹을 활용해 장고를 사용하기로 했다. 장고에서는 문자를 보낼 수 있는 시스템을 구축해서 해당 링크를 타고 들어오면 메세지를 본인에게 보내도록 하거나, 구현이 힘들다면 이.. 2023. 11. 16.
파이널 프로젝트 군집분석 수행기! 오늘은 군집분석을 수행했다. 1차 멘토링때 군집분석이나 요인분석을 활용해보라고 하셨어서 예측 이후에 예측값을 토대로 하려했었다. 2차 멘토링때는 다른 멘토분께서 고령층을 선정한 이유가 탄탄하지 못하다고 하셔서 군집분석으로 해보기로 했다. 그래서 오늘은 예측에도 활용할 수 있는지를 확인하기 위해 전체 컬럼에 대한 군집분석, 고령층이 타겟층이 된 이유를 보강하기 위한 나이대 컬럼에 대한 군집분석을 진행했다. 전체 컬럼에 대한 군집분석 전체적으로 군집분석을 먼저 진행해봤다. 진짜 다사다난하게 오래걸릴 이유가 없는 부분인데 힘들게 돌아갔다. ㅋㅋㅋㅋ 먼저 범주형 데이터는 원핫 인코딩이 된 상태여서 문제가 없었고, 수치형 변수들만 표준형 스케일링을 진행했다. 보통 군집분석을 시행할 때, 표준형이나 정규형으로 스케.. 2023. 11. 13.
빅분기 실기 공부중 알게된 ADsP 39회 합격 후기! 오랜만에 포스팅을 작성한다. ㅋㅋㅋ 요즘 프로젝트 방향성을 확립하면서 코드를 조금씩 진행하다보니 트러블 슈팅이 아닌이상 작성할 거리가 없었다. 2023.11.10 일자로 ADsP 39회 사전발표일이었는데, 프로젝트로 바빠서 정신이 없었다.. 그래서 실기 공부를 하고있다가 아..? 이미 발표났겠네? 하고 얼른 확인해보고왔다. 결론! 오늘은 ADsP 합격후기를 작성하려한다. 0. 서론 치고 나올 당시 나와 한분이 동시에 내고 처음으로 나왔었다. 나오면서는 무조건 합격했겠다! 싶었는데 카페 복원문제에서 좀 틀렸길래 심장이 쫄렸었다. 개인적으로 빅분기 필기를 치고난 후 피로감이 몰려오고 하기싫어져서 공부를 제대로 하지 않았다. 빅분기때는 못해도 하루 3시간은 하자! 가 목표였다면, 이번엔 공부 진짜 해야하는데... 2023. 11. 11.
[selenium] 웹 크롤링으로 장소와 주소 긁어서 엑셀로 저장하기 (url 안변할때 쓰는 방법) 이전에 작성했던 포스팅은 url이 변경되는 사이트여서 사용할 수 있었지만, url이 변하지 않아서 다음 버튼을 눌러주면서 스크롤 위치도 조정하면서 해야하는 크롤링에 맞닿았다. 크롤링을 제대로 배운적도, 공부한적도 없어서 방향을 잡는게 너무 어려웠다. 그냥 xpath를 붙여넣고 하기만 하면 되는줄 알았는데 그게 아니더라.. 나의 경우는 버튼을 눌러서 검색도 해줘야했고, 반복문을 돌려가며 페이지마다 여러개 있는걸 추출했다. 3~4일은 꼬박 이 부분만 한 것 같다. 다행히도 이전에 인턴을 하시면서 크롤링을 해보셨다는 팀원분께서 도움을 주셨다!! 오늘은 나처럼 크롤링을 제대로 알지 못했지만 원하는 것을 추출해야하시는 분들을 위한 팁을 주고자 한다! 이제 path를 어떻게 써야하는지 확실하게 감 잡아서 쉽게 작성.. 2023. 11. 6.
[selenium] 웹 크롤링으로 장소와 주소 긁어서 엑셀로 저장하기 오늘은 파이널 프로젝트에서 마케팅 부분으로 필요한 지도 시각화를 구현하기 위해 크롤링을 먼저 진행했다. 하나하나 복사해서 붙여와도 되는 정도였지만, 프로젝트라는것 자체가 수작업보다는 내 역량을 끌어올리기 위해 안되는 것도 되게 바꿔보는 시간을 갖는 것이라고 생각한다. 처음엔 셀레니움을 사용할 생각을 못하고 gpt에 조언을 구했었다. 그러다가 수업시간에 셀레니움을 배웠던 게 기억이 나서 셀레니움으로 시도해봤다. 다른 부분의 코드는 정보를 구하기 쉬웠지만 크게 두가지가 어려웠다. 그래서 오늘은 코드자체는 간결하기 때문에 어떤점이 힘들었는지를 먼저 작성하려한다. 문제점 1-1. 드라이브 연결문제 셀레니움의 크롬 드라이브를 사용했다. 위에서 path 설정이 완료된 상태였는데도 자꾸 드라이브쪽에서 문제가 생겼다... 2023. 11. 2.
파이썬으로 빅분기 실기를 준비하는 모든 사람을 위한 글! (유료 X) 빅분기 실기를 준비하는 사람들을 위해 글을 작성한다. 나 역시 7회 필기 합격자로 실기를 준비중에 있어 겸사겸사 작성해본다. 1. 캐글 데이터 활용하기 먼저 유명한 캐글의 빅데이터 분석기사 데이터 셋을 활용해보자 인프런 강의로 유명한 퇴근후 딴짓 강사분께서 올려주신 데이터 셋으로 아래에 링크를 첨부해두겠다! https://www.kaggle.com/datasets/agileteam/bigdatacertificationkr/data Big Data Certification KR 빅데이터 분석기사 실기 (Python, R tutorial code) www.kaggle.com 이미 데이터셋을 활용하셔서 코드를 공유하신분들이 많다. 1000개가 넘는데 이걸 보고 코랩이나 주피터를 기반으로 하신 분들도 많으실거라.. 2023. 11. 2.
[GCP] 빅쿼리와 연동한 코랩 파일을 ssh로 깃허브 업로드 실패.. 먼저 이글을 작성할 생각은 없었지만, 생각보다 쉽지 않아서 작성해야겠다는 생각이 들었다. 왜 굳이 이 방법으로 업로드 하려했냐면 이 방법으로 하는 것도 가능하지 않을까 해서 도전해보고 싶었다! 내가 찾은 방법을 작성해보려 한다. 참고로 나는 이것저것 다 해봤는데도 실패했다.. 혹시라도 해결 방법을 아는 사람은 댓글로 참고 링크 부탁드려요! 1. 구글 드라이브랑 연동하기 나는 코랩과 빅쿼리를 연동해서 사용했기에 구글 드라이브와 연동을 시키지 않고 사용했다. 그래서 자꾸 파일이 없는 경로만 불러올 수 있었기에 구글 드라이브와 먼저 연동을 시켜야 했다. 구글 드라이브와 연동을 시킨 후 코랩 파일이 있는 경로로 이동해준다. %cd /content/drive/MyDrive/Colab Notebooks 나는 여기서.. 2023. 11. 1.
파이널 프로젝트를 시작하며.. 파이널 프로젝트를 시작하면서 해야할 것이 많은데다가 개인적인 스트레스로 인해 무기력감이 심했다. 그래도 혼자하는 것이 아니기에 피해를 주면 절대 안된다고 생각하고 그 순간에 최선을 다했다. 팀장님은 벌써 머신러닝부분을 다뤄보시는 것 같은데 나는 아직 EDA 를 하고있는 중이라 도움이 안될까 걱정이다. 그래도 이미 여러 부트캠프나 국비교육에서 진행한 프로젝트에다가, 캐글에서도 꽤 많은 사람들이 진행했던 프로젝트 기반이어서 어떤 방향성을 잡아야 하는지 도움을 받기는 쉽다. 나 역시 여러개를 보면서 어떤 쪽으로 진행방향을 잡아야 하는지 고민해나가고 있다. 참고할 사항이 많은게 꼭 장점만 있는 것은 아닌거 같다. 참고할 수 있는 코드들이 많은 만큼 우리가 차별성을 잡아야 하는 것이 중점이라고 생각한다. 업로드 .. 2023. 10. 31.
[GCP] 스트림릿과 연동해서 이전 프로젝트 배포해보기! 오늘은 구글 클라우드와 빅쿼리, 깃허브, 스트림릿을 같이 연동하는 방법을 배웠다. 이 부분들이 정확히 궁금하면 앞의 포스팅을 참고하자 2023.10.18 - [클라우드] - [GCP] 빅쿼리와 연동해서 스트림릿 페이지로 확인하기 [GCP] 빅쿼리와 연동해서 스트림릿 페이지로 확인하기 오늘은 구글 클라우드를 빅쿼리와 연동시키고, 스트림릿 페이지를 통해서 확인하는 과정에 대해 배웠다. 솔직히 어제 내용보다 오늘 내용이 더 정신없이 머리에 남은 것 같다. 포스팅 준비를 안 forky-develop.tistory.com 이번엔 내가 일전에 세미프로젝트를 진행한 부분들을 바탕으로 구글 클라우드로 다시 배포하는 과정을 작성하려 한다. 1. 인스턴스 시작하기 인스턴스를 새로 생성하기보단, 있는 것을 활용해보려 한다... 2023. 10. 18.
[GCP] 빅쿼리와 연동해서 스트림릿 페이지로 확인하기 오늘은 구글 클라우드를 빅쿼리와 연동시키고, 스트림릿 페이지를 통해서 확인하는 과정에 대해 배웠다. 솔직히 어제 내용보다 오늘 내용이 더 정신없이 머리에 남은 것 같다. 포스팅 준비를 안하고 수업만 따라가서인지 아니면 집중이 잘 안됐던건지 오늘 별건 없지만, 어려웠다.. 그래도 정신차리고 정리한걸 남겨보겠다! 0. 루커 스튜디오 연결하기 - 별첨 루커 스튜디오의 경우에는 차트 같이 활용하기가 매우 간편한 툴이다. 굳이 파이썬, R 등으로 힘들게 표현하지 않아도 프로그램으로 간단하게 할 수 있는 장점이 있다. 단, 구글 클라우드 메뉴바에서는 프로버전이나 한달 무료 체험 등으로만 되어 있기 때문에 아래 링크로 접속해주자 https://lookerstudio.google.com/ Looker Studio Ov.. 2023. 10. 18.
반응형

티스토리툴바