데이터 엔지니어/Data Engineer

    DEA팀은 안정적인 데이터 인프라 개발을 목표로 합니다. 폭발적으로 증가하는 사용자로부터 추가되는 새로운 데이터 소스들로 인하여 아자르 서비스의 데이터 규모는 지난 4년간 150배의 속도로 성장해 왔습니다. 이에 2018년 10월 기준 하루에 처리해야 하는 데이터의 규모는 하루에 3 tera bytes 에 다다르고 있습니다.

    다양한 데이터 기반 feature 를 기획 및 개발하며 요구되는 파이프라인의 복잡도와 처리량은 계속해서 증가하고 있습니다. 데이터 파이프라인을 안정적으로 유지하기 위하여 지속적인 모니터링을 통해 문제가 될 수 있는 부분들을 확인하고, 사전에 적정한 방법을 활용하여 대응해 나가고 있습니다.

    파이프라인을 통해 실시간 데이터를 다른 어플리케이션으로 공급하는 경우에는 데이터 지연 시간 등을 모니터링하여 데이터 퀄리티를 보장하고, 위급 상황시에는 failover 가 가능해야 합니다. 뿐만 아니라, 데이터 기반 의사 결정 지원, 오퍼레이션 등 다양한 수요에 맞추어 데이터를 가공하여 제공합니다.

업무내용
  • Data Preparation
    데이터 소스를 추가하거나, 기존 데이터를 가공하여 2차 데이터를 구성합니다. 새로운 데이터 저장소를 도입하고 데이터를 준비하는 경우도 있습니다.

  • Code Review
    파이프라인의 모든 부분은 코드로 구성하고 관리합니다. Production 파이프라인에 적용하기 전에 Peer 리뷰를 합니다.

  • Improvement & Troubleshooting
    파이프라인을 이루는 각 작업들은 필요한 시점 이전에 성공해야 합니다. 서로 의존성이 있는 경우에는 실행 순서를 관리해야 합니다. 모니터링 프로세스를 자동화하고, 문제가 있다면, 해결합니다. 정기적으로 파이프라인의 상태를 점검하고, 병목이 되는 작업들을 재배치하거나, 보다 효율적으로 시간 안에 처리될 수 있도록 개선합니다.

  • Data Accessibility Management
    수요자가 안정적으로 데이터에 접근하고 활용할 수 있도록 지원합니다. Jupyter, Redash, Superset, DataStudio 등을 관리합니다.
지원자격 (필수)
  • 1년 이상의 Hadoop 관련 Ecosystem 기반 Data Pipeline 설계, 운영 경험
  • Python, SQL 실무 경험
우대사항
  • AWS (Amazon Web Services), GCP (Google Cloud Platform), Git 활용 경험
  • Google/Firebase Analytics 에 대한 이해 및 운영 경험
  • Adjust/Facebook/Twitter/Snapchat 등 광고 API 활용 경험
  • 데이터 분석 및 커뮤니케이션 경험
채용형태 / 근무시간
  • 정규직
  • 월요일 – 금요일, 10:00 – 19:00
채용절차
  • 서류평가 > 코딩테스트 > 1차 면접 > 2차 면접 > 최종합격
제출사항
  • 이력서와 상세 경력 기술서
  • 자기소개서 (선택)
  • 산업기능요원 지원인 경우
    -현역, 보충역, 전문연구요원 여부
    -신규/전직여부 및 남은 복무기간

  • 최종 합격 시, 입사 가능 시기
모집기간
  • 상시

Contact

Adress

Email

14FL, Seochodaero 78-gil, Seocho-gu, Seoul, Korea

contact@hpcnt.com