반응형 colab2 [selenium] 웹 크롤링으로 장소와 주소 긁어서 엑셀로 저장하기 오늘은 파이널 프로젝트에서 마케팅 부분으로 필요한 지도 시각화를 구현하기 위해 크롤링을 먼저 진행했다. 하나하나 복사해서 붙여와도 되는 정도였지만, 프로젝트라는것 자체가 수작업보다는 내 역량을 끌어올리기 위해 안되는 것도 되게 바꿔보는 시간을 갖는 것이라고 생각한다. 처음엔 셀레니움을 사용할 생각을 못하고 gpt에 조언을 구했었다. 그러다가 수업시간에 셀레니움을 배웠던 게 기억이 나서 셀레니움으로 시도해봤다. 다른 부분의 코드는 정보를 구하기 쉬웠지만 크게 두가지가 어려웠다. 그래서 오늘은 코드자체는 간결하기 때문에 어떤점이 힘들었는지를 먼저 작성하려한다. 문제점 1-1. 드라이브 연결문제 셀레니움의 크롬 드라이브를 사용했다. 위에서 path 설정이 완료된 상태였는데도 자꾸 드라이브쪽에서 문제가 생겼다... 2023. 11. 2. Colab의 GPU용량 이슈에 대한 해결법 요즘 수업에 딥러닝을 활용하고 있어서 에폭 코드를 돌리기 위해 코랩의 T4 gpu 런타임유형을 자주 사용하고 있다. 코랩은 구글이 제공하는 클라우드 기반 Jupyter Notebook 환경으로 즉, 웹 브라우저에서 Python 코드를 작성하고 실행할 수 있다. 이런 환경을 가진 코랩은 머신 러닝, 딥 러닝, 데이터 분석 등의 작업을 수행할 때 매우 유용하고, 많이들 사용한다. 무료로 gpu 기능까지 지원하다보니 나처럼 그래픽카드가 없는 사람들에겐 분석을 할 때, 큰 도움이 된다. 하지만, 이 좋은 기능은 조건없는 무료사용이 안된다. 나 역시 사용 첫날부터 수업시간이 길고, 수업 이후 시간에도 확인해보다보니 바로 용량 제한에 걸려버렸다. 지금부터 해결 방법을 적어보려 한다! 0. 코랩 이슈에 대해 코랩의 .. 2023. 8. 30. 이전 1 다음 반응형
