.png){kind=small}
●지난번 공모전 이야기
Paris region ai challenge
health/citizen/industry 분야 공모전 중 하나
150만 유로 상금(15억 정도)
기술적인것만큼 문제 해결 스토리텔링이 중요
사피언스 공모전: 10장내외 ppt, 영상자료, 활동기록 제출 ~4.30
● 진행중인 공모전 이야기
Azure AI challenge 5월 2일 제출 및 마감
내부적으로 두가지 주제 두 팀으로 나누어져서
신나게 일하는 중
●aws summit 참가후 내용 정리
데이터 파이프라인- 데이터레이크- 전처리 - 모델 - 메타데이터 - 서빙
실시간 온라인러닝 - 모델재트레인 - accuracy -
inference : 컨토마이제이션 ----
spark ...
이런 프로젝트를 손으로 하지 않고 솔루션으로 처리하는 법?
아마존에서 상당부분을 서버리스로 해결할 수 있게 해줌
아테나- cpu요금, 연산시간요금을 안받음(비용이 적게듬)
한달요금 4달러?! json 압축률이 높아 가능
람다 내부구조 공개
중요합니다
머신러닝을 deploy하는 파이프라인을 금방 구축하기 힘들고 실험실에서 모델이 나올 수가 없는데 --- 연산비용이 많이들기때문
아마존 sagemaker 라는 주피터 노트북을 제공하고, 그 코랩의 특징은 .deploy 가 있어서 그 자체로 컨테이너를 만들고 ec2를 생성하고 엔드포인트 생성
파이프라인 구축을 빨리해야하고 모델을 실험실에서 빠르게 내보내고 싶은 스타트업 등에서는 잘 사용할 수 있다
spark. 도 사용이 어려워
--->글루는 요금이 싸다
대신에 실제 빅데이터가 들어가면 조금 불안할 수 있음
ecs 아마존 오케스트레이션 서비스
쿠버네티스 대신 쓸 수 있음
Ground Truth 서비스
모델을 만들 때 레이블링이 오래걸림.
레이블링하는 로직을 정하고
그에따라서 크라우드소싱 서비스를 제공
메카니컬터크와 연동
작업예상시간과 작업자의 신뢰성 점수에 따라서 레이블 작업
개당 0.1~0.8달러!!!
액티브러닝---할일을 엄청줄여줌
아마존 sagemaker neo- 모델 옵티마이제이션 툴
1. 자동화된 베이지안 옵티마이제이션 하이퍼파라미터 튜닝
2. 모델 컨토마이제이션 툴 모델 플로팅포인트를 압축해서
모바일에서 돌릴수있게 될 정도로 모델줄이기
도커 이미지마다 태그나 버전명을 달아두는데
개발자는 latest로 해둔다. (귀차나서)
문제 생기니까 버전명 관리를 해라
도커파일이나 compose 파일에 명시적으로 이름을 써야 한다
딥랩 서버 코드 공개
정리 : 모델만들고 파이프라인 부분이 대부분의 잡
sas로 발전할것