Colab의 GPU용량 이슈에 대한 해결법

 

 

요즘 수업에 딥러닝을 활용하고 있어서 에폭 코드를 돌리기 위해 코랩의 T4 gpu 런타임유형을 자주 사용하고 있다.

코랩은 구글이 제공하는 클라우드 기반 Jupyter Notebook 환경으로 즉, 웹 브라우저에서 Python 코드를 작성하고 실행할 수 있다.

이런 환경을 가진 코랩은 머신 러닝, 딥 러닝, 데이터 분석 등의 작업을 수행할 때 매우 유용하고, 많이들 사용한다.

무료로 gpu 기능까지 지원하다보니 나처럼 그래픽카드가 없는 사람들에겐 분석을 할 때, 큰 도움이 된다.

하지만, 이 좋은 기능은 조건없는 무료사용이 안된다.

나 역시 사용 첫날부터 수업시간이 길고, 수업 이후 시간에도 확인해보다보니 바로 용량 제한에 걸려버렸다.

지금부터 해결 방법을 적어보려 한다!

 

 

0. 코랩 이슈에 대해

코랩의 GPU 용량제한 이슈는 대부분이 런타임 실행 시간 제한이다.

코랩의 무료 버전에서 100 컴퓨팅 단위를 지원해주고, RAM 12GB, 디스크는 최대 107GB를 사용할 수 있다.

무료버전의 경우 12시간 이내로만, 유료버전의 경우 최대 24시간동안 실행시킬 수 있으며, 런타임 연속 재시작 제한타임은 90분이다.

근데 실제로 90분이 정확히 지켜지는건 아닌것 같다. 😂😂

확실하진 않지만 사양에 따라 달라지기 보다는 구글에서 관리를 하는 것 같은데 1~2시간 지나면 되는 사람도 있고,

하루가 지나야 되는 사람도 있고 며칠을 기다려도 안되는 사람들도 있었다.

나는 정확하게 풀린 시간은 잘 모르겠지만 하루정도 걸린 것 같다!

사실 코랩의 GPU이슈는 컴퓨터마다 다르게 런타임 제한이 풀리다보니 기다린다고 해결되는건 아니라고 할 수 있다.

게다가 제한이 풀린 이후, 사용할 때는 확실하게 런타임 실행 시간 자체가 너무 줄어든게 체감된다....

유료버전도 말이 최대 24시간이지 무료버전보다는 좀 더 사용가능한 것으로 알고있고,

무료버전의 경우 나는 첫 사용때도 12시간 최대로 사용할 수는 없었을만큼 더 짧다!

 

 

1. 부계정으로 이용하기

많은 사람들이 이용하는 방법이다.

구글 계정을 만드는 것은 쉽기 때문에 이 허점을 노려, 부계정을 이용해서 실행하는 것이다.

나 역시 첫 사용때, 제한을 걸린 것을 보고 일단  CPU로 변경해서 돌렸는데 딥러닝... 절대 못기다릴것 같았다..ㅋㅋㅋㅋ

다른 사람들은 부계정으로 코랩을 어떻게 이용할지 모르겠지만!

개인적으로 이렇게 사용하는데, 본계정에서 굳이 ipynb 으로 내보내기해서 다시 구글 드라이브에 올리는 과정은 필요없다.

 

1. 본계정에서 사용하던 파일창을 두고 새 시크릿 탭에서 구글계정을 부계정으로 로그인을 해준다.

2. 본계정에서 사용하던 파일창 주소를 복사해와 실행시켜 준다.

3. 그러면 다른 계정에서 사용중이라는 멘트가 뜨는데 이때 본계정의 지메일에서 권한을 부여해줘야 한다.

>> 이과정 때문에 부계정을 시크릿 탭에서 열기를 권장함!!

4. 권한을 허용했으면 부계정에서도 문서 실행과 편집이 가능하다. (단, 편집자로 승인해야함)

 

 

 

2. kaggle 주피터 환경 사용하기

 

GPU는 일주일에 30시간, TPU는 일주일에 20시간 제한으로, 횟수에는 제한이 없다.

 

 

 

이렇게 새 캐글 노트북을 생성하고 우측 점 3개 메뉴를 눌러 Accelerator에서 원하는 GPU나 TPU를 설정해주면 된다!

 

 

이렇게 파이썬의 버전도 비교적 최신버전으로 꽤 높다.

단, 주의해야할 부분이 있다.

혹시라도 캐글 노트북의 필사를 할 때, GPU가 필요한 상황이라면 비교적 최신 일자의 노트북을 참고하자.

왜냐면 과거에 올라온 노트북일 수록 주피터 노트북의 파이썬 버전이 낮을 가능성이 매우 높기 때문이다!!

이 부분만 유의해서 사용한다면 GPU가 필요한 사람들에겐 오아시스다. ㅋㅋㅋㅋㅋㅋ

 

결론 : 둘중 본인이 편한 방법으로 사용하자!