[취업특강] 대기업 Data Engineer 커리어 특강 후기

오늘은 처음으로 특강이 열린 데이터 엔지니어의 특강을 가져왔다!

이 강의는 신청해두고 다른일로 시간을 보지않아 실강을 듣지못한... 안타까운 강의다 ㅠㅠㅠㅠ

 

 

0. 특강 소개

강의 시간은 40분 정도로 데이터 사이언스와 엔지니어를 경험하신 강사님이 강의를 해주셨다.

아래의 링크를 눌러 메타코드 사이트에서 로그인을 해주고 강의 영상 카테고리 > 커리어 정보에서 바로 신청하면 된다. 

https://mcode.co.kr/

메타코드M

 

 

 

1. 내용 요약

 

강사 커리어 히스토리

 

금융권 데싸

 

데이터 사이언티스트로 금융권에서 직무를 수행해보신 분이시다.

통계학을 전공으로 하셨고, 당시 데이터 마이닝이나 머신러닝에 관심을 가지게 되어 공모전과 학회로 역량을 쌓으셨으며,

데이터 직군을 준비하며 인턴 경험이 가장 중요했던 것 같다 하셨다.

금융 회사에서 실제 데이터를 기반으로 한 프로젝트를 경험한 인턴직을 수행했다고 한다.

금융권에서 이직을 결심하신 이유는 데이터를 활용하는 부분이 법에 걸리는 제약이 많아 더 큰 경험을 쌓고자 하셨다더라.

 

제조업 데엔

 

전사 데이터를 처리하고 엔지니어링 하는 직무를 맡고 계신다고 한다.

강사님은 약간의 특수 케이스로 직무 이동 기회를 잡아 데이터 엔지니어링 직무를 함께 병행하게 되었다고 하셨다.

데이터 엔지니어링으로 이동하게 된 배경은 따로 CS를 맡은적이 없어 알고리즘, 자료구조를 개인적으로 공부했고 리눅스 환경, 프로그래밍 언어 등의 교육을 받고 직무 이동을 신청하게 되었다고 한다.

데이터를 업으로 삼으려면 엔지니어링을 할 줄 알아야될 것이라 판단하시고 해당 직무를 맡고자 하셨다 했다.

 

 

데싸 데엔 차이

 

데이터를 이용하는 과정은 데이터를 수집하기 위해 추출, 적재, 변형하고 수집된 데이터를 가지고 전처리 후 분석하고 모델링에 활용하고 이미지나 멀티 모델 등에 활용해 개발하게 된다.

데이터 엔지니어는 데이터 준비과정의 기반을 다져주는 것으로 전체의 70% 비중을 차지한다고 한다.

데이터 직군은 각 담당별로 하는 직무의 차이점을 서로 이해해줘야 한다.

 

 

적재된 데이터를 활용해서 파이프라인을 형성하고 이를 활용하는 방식을 그림으로 표현해주셨다.

데이터 웨어하우스에 다양한 소스의 데이터들이 정형화된 모습으로 저장이 되며,

이 데이터들을 주제에 맞게 데이터 마트에 각 주제에 맞도록 구조를 구성하게 된다.

데이터 엔지니어들이 데이터를 가공해서 사용하기 쉽도록 해주면 이 데이터를 이용해서 데이터 사이언티스트들이 가설을 만들고 문제를 해결하거나, 모델링을 개발하기도 한다.

 

업무 구조

 

데이터 조직을 중앙 집중형으로 한다고 하면, 전사의 원천 데이터를 운영하고 모델을 서빙하는 등을 맡는다.

현업 조직에도 팀단위로 데이터 분석가나 사이언티스트가 있으며, 선행 연구조직에는 도메인의 난제를 위해 연구하는 데이터 사이언티스트나 연구원들이 있다.

데이터 직무의 특성상 유관 부서와의 현업이 많은데 이 그림으로 쉽게 파악할 수 있어서 좋은 것 같다.

 

채용공고로 보는 데이터 엔지니어

 

토스/배민 데엔

 

두 케이스 모두 운영 데이터로 생산된 데이터를 한군데서 관리하도록 파이프라인을 생성하고 관리하는 직무를 하게된다.

토스는 대용량 분산 시스템인 하둡, 스파크 등을 이용해 데이터를 분산 처리하는 직무가 계획되어 있고,

배달의 민족의 경우 데이터 마트를 구축해 분석에 이용하거나 대시보드를 개발하기 위해 데이터 환경을 구축하는 것을 기반으로 하며 여러 부서와의 협업을 위한 커뮤니케이션 능력을 필요로 하고 있다.

 

토스/배민 데싸

 

토스뱅크의 경우 커머스 광고, 상품 추천 등에 유저 맞춤 서비스를 진행하기 위한 모델링을 개발해야하며, 모델을 고도화하고 최적화하는 것을 수행하는 업무를 준다.

배달의 민족의 경우 딜리버리 프로세스의 이상을 실시간으로 탐지하는 것과 인프라 최적화를 위한 프로젝트를 수행하는 업무를 주며, 통계쪽을 전공으로 한 사람이거나 지식을 갖추어야하며, 머신러닝과 툴을 다룰 줄 아는 의사소통 능력이 있는사람을 찾고 있다.

 

최종 정리

 

데이터 엔지니어로 요구된 역량으로 가장 많이 언급된 것은 대용량 분산 시스템에 대한 이해도와 경험이 있는 사람이었으며, 소프트웨어 개발 역량이 있는 사람을 필요로 하고 있었다.

그 외에도 파이프라인을 구축하기 위한 지식이나 경험이 있는 사람을 찾고 있으면,

데이터 사이언티스트의 경우 ML/AI에 경험이 있거나 유관 경험이 있는 사람, 툴을 사용할 줄 아는 사람 등이 있으며 이 부분들이 모두 공통된 사항으로 보인다.

데이터 사이언티스트에게는 개발자 역량을 우대하고, 데이터 엔지니어에게는 사이언티스트의 역량을 우대하는 추세같다.

 

 

데엔이 갖춰야할 역량

 

경력직 채용공고를 봤을 때, 신입 직무를 생각하고 다시 보면 데이터 엔지니어는 요구사항과 문제의식을 정확히 반영해서 설계하는 역량이 가장 중요한 것 같다고 하셨다.

왜냐면 데이터 엔지니어 직무를 경험하면서 요구사항을 반영해서 적절한 스택을 활용할 수 있는 능력이 필요하며, 문제의식을 정확히 반영해 설계를 해서 데이터를 안정적으로 서빙할 수 있어야 했기 때문이라고 한다.

추가로 최근엔 다양한 툴을 요구하고 기업마다 다르게 요구되기도 하는데 이런 툴을 모두 익히기보단 하나를 제대로 활용할 줄 알기만 하면 문제없을 것이라고 말씀하셨다.

 

 

데싸에게 데엔 스킬이 필요한가?

 

데이터 사이언티스트에게도 데이터 엔지니어링 스킬이 필요하며, 도움은 정말 많이 된다고 하셨다.

하둡이나 스파크 같은 분산 처리 기술에 대한 이해도나 에어플로우같은 배치성 파이프라인 프레임 워크의 기능적인 이해를 가지고 있다면, 다른 직무와의 협업에서 데이터를 더 큰 그림으로 보고 이해할 수 있기 때문에 갖추면 도움되는 역량이라고 했다.

나 역시 이런 특강들을 접하면서 요구하는 역량들에 대해 많이 들어봤기에 확실히 요즘은 직무별 경계가 많이 사라진 것 같고, 그만큼 데이터 관련 직무들에게 요구되는 역량을 갖출수록 우대되고 있는 것 같다.

 

 

데싸 VS 데엔

 

진로를 고민 중인 사람에게 조언을 해주셨다.

새로운 툴을 익히는데 거부감이 없고 즐기는 사람이라면 데이터 엔지니어 직무가 어울리고,

비즈니스나 도메인 지식을 더 쌓고 문제를 해결하는 것을 즐기는 사람이라면 데이터 사이언티스 직무가 어울린다고 했다.

그리고 요구사항이 명확하고 업무의 롤이 확실한 것을 선호하면 데이터 엔지니어를, 자유롭게 리서치하고 프로젝트를 매니징해서 기획하는 것을 선호하면 데이터 사이언티스트를 추천하셨다.

 

 

2. 수강 후기

해당 강의는 다른 특강들에 비해 ppt도 활용도가 높았고, 데이터 엔지니어와 데이터 사이언티스트의 차이점을 비교해주면서 데이터 엔지니어에게 요구되는 것들을 분석하는 방법으로 강의를 진행해 주셨다.

앞전에 들은 제조업 대기업 데싸 특강보다 훨씬 알아가는 것과 얻어갈 수 있는 것들이 많았던 특강 같아서 훨씬 알차게 느껴졌다.

 

추천 여부

내일까지 해당 특강은 무료로 들을 수 있는 강의이니까 빨리 신청해서 들어보는 것을 추천한다!!

피피티도 그래프나 그림 등을 활용해서 가독성과 이해도를 높이는데 도움이 되고, 데이터 엔지니어의 직무에 대해 조금 더 파고들 수 있는 시간이 된 것 같아서 좋았다.

처음 취업을 생각하면서 데싸는 석사 필에 데엔이나 데분으론 그나마 괜찮겠지 생각하고 둘을 거의 동등하게 생각하고 자소서를 작성했던 나인데, 이제 내용을 보면 데엔으로 작성했던 자소서에 어떤 부분을 강하게 어필해야하고 삭제할 부분을 솎아 내야하는지도 파악할 수 있었던 시간이 된 것 같아 좋은 강의였다.