클라우드 전쟁 - 오늘 아마존웹서비스 서밋(AWS Summit)을 다녀왔습니다.

4월 17일(수)와 18일(목) 이틀간 열리는 국내 최대의 IT행사 중에 하나 입니다. 사전 등록만 2만명이 했다고 합니다. 지난번 MS 이그나잇 행사도 대단했지만 이번 행사도 개발자들의 참여와 관심이 뜨겁네요. ^^ 듣고 싶은 세션들도 많고 앞으로 개발자들이 거의 필수로 사용하게될 환경이라고 생각합니다. 저는 개인적으로 마이크로소프트의 에저가 좀 더 쉽게 느껴지네요^^
혹시 근처에 계시거나 관심이 있으시면 한번 가보셔도 될 것 같습니다. 저는 내일도 참석합니다. ㅎㅎ

사전 등록을 확인하는 줄입니다. 오전 8:30분정도에 도착했는데 이미 많이들 오셨네요.

계속해서 성장하는 클라우드 환경에 대한 요약입니다.

미리 이렇게 간식을 나누어 줍니다.

심심할 때 조금씩 먹으면서 세션들을 들었습니다.

대부분의 부스 장식이 재활용 종이들로 되어 있습니다.

처음 AWS에 입문하시는 분들도 쉽게 이해할 수 있는 키노트 세션 입니다.

이미 국내에도 고객사를 상당히 많이 만들었네요.

점심으로 제공된 도시락입니다.

AWS Expo가 1층에서 별도로 진행됩니다. 볼거리도 많고 선물도 많이 줍니다. ㅎㅎ

딥레이서라는 자율주행차 경진대회도 있습니다.

알렉사와 연동되는 스마트 홈이 장난아니게 인기가 있습니다. 거의 등록하고 1:30분 이후에 입장을 했습니다. 에코닷하고 시계가 지르고 싶어지네요.

오늘 받은 선물들입니다.

대략 정리한 내용들입니다.
기존 연설은 3층 D룸에서 진행
장정욱 대표 기조 연설
5번째 서밋
올해 진행하는 가장 큰 IT행사
2만2천명이 사전 등록
1만5천명이 참석
파트너가 60개 정도 참석
120개 기술 비즈니스 세션
알렉사 기반의 스마트 홈 셋팅됨
가장 광범위하고 깊이 있는 클라우드 플랫폼
수만개의 한국 고객사 – 스타트업부터 대기업까지
수만명의 교육 수료생
AWS 한국 커뮤니티 총 가입자수 2만명
넷플릭스에서 클라우드 전략을 담당하는 담당자
Adrian Cockcroft
20개의 리전을 가지고 있다. 서울은 2016년에 생김
가용성 측면에서 독립적이라는 부분이 중요하다. 같은 영역에서도 분리가 되어 있다.
14개의 데이터베이스를 지원한다. Amazon Aurora MySQL, Amazon Aurora PostrreSQL,…
관계형 DB, 목적에 따른 서비스, 마이그레이션 서비스
자체에 구축하던 서비스가 이제는 대부분 내장되어 있다.
Storage
인스턴스 블록, 객체, 파일, 데이터 전송
Security
보안 인증, 암호화 및 키 관리, 보안 위협 및 앱 보안
데이터 전송 및 스토리지
12가지의 방법이 있다. 데이터 싱크도 중요하다. 오픈소스보다 10배 더 빠른 솔루션을 지원하고 있다.
앱 마이그레이션 SAP VMWARE Windows
마이그레이션 프로그램 AWS Migration Acceleration Program, AWS CLoud Adoption Framework
AWS Professional Services AWS Marketplace

What about 하이브리드 환경?
AWS Direct Connect, Snowball Edge Compute-Optimized VMware Cloud on AWS AWS Outposts

VMWare Cloud on 고객 사례
대한항공 향후: 3년 이내에 웹사이트, 화물 관리, 비행 제어 시스템, ERP 모든 인프라를 AWS로 이전한다.
시스템의 장애를 허용할 수 없는 산업 분야 중에 하나이다.

microservice: MONOLITH 모든 기능을 한통에
10년전에는 베스트 프랙티스 였지만 이제는 마이그레이션하고 있다.
to microservices: 기능을 각자 서비스로 분리
대규모로 구축하는 것이 효율성이 떨어지기 때문에 독립적으로 작은 서비스로 구축하기
Montolith 개발 사이클: Developers -> Services -> Delivery pipelines
빌드 테스트 릴리즈 모니터링

마이크로서비스 모범 사례
민첩성을 위해 서비스 분리
모든 것을 자동화
표준화된 도구 제공

지속적인 통합 및 배포(CI/CD)를 위한 AWS 개발 도구
AWS Pipeline
서버리스 기반으로 효과적으로 인프라를 모델링 및 구성하는 과정
인스턴스: 가장 폭넓고 깊이 있는 인스턴스 타입 선택 가능
분류별, 기능별 선택, 선택 사항
100기가 비트의 네트웍도 선택 가능 Amazon Elastic Block Store(Amazon)
컨테이너를 위한 최상의 플랫폼: Amazon ECS 높은 확장성과 성능을 제공하는 컨테이너 관리형 서비스
완전 관리형 서비스, 클러스터 관리 제공, 컨테이너 오케스트레이션
AWS Fargate: 서버 및 클러스터 관리가 불필요한 서버리스 컨테이너 서비스
클러스터 관리 없음. 유연한 확장성 제공. Amazon ECS와 통합 수천 만개 실행
Amazon EKS: kubernates기반의 서비스 운영을 위한 엔터프라이즈 수준의 서비스
일관된 관리형 서비스 경험
AWS 서비스와 유연하고 완벽한 통합
오픈 소스 커뮤니트와 함께 개발 중
KPMG 개발 사례
보안이 강화된 은행의 규제를 지원하고 있다.
AWS 고객 사례
AWS 기반 서버리스 아키텍쳐용 서비스 목록
46개의 서비스를 제공한다. 데이터 저장, 데이터 처리, 인증, 모니터링 및 감사, 컴퓨팅, 개발 및 배포, 시스템 통합, 네트워크, 서비스 플로우
FICO – 95%까지 컴퓨팅 비용 절감
코카콜라 – 36시간에서 10초로 실행 시간 단축
워싱턴 포스트 – 시간당 50번 이상의 배포 진행
HomeAway 주택에 대한 서비스 서버리스로 구축된 사례
서버리스 고객 사례 – 스타트업에서 대기업까지
배틀그라운드 – 일년안에 0에서 300만 고객을 서비스
롯데 이커머스
온라인 커머스 시장의 변환
100조 작년에 만든 시장
밀레니얼 세대 부상
AI, VR, Robot 새로운 디지털 기술
싱글사인온 7개의 웹사이트를 한번에 로그인 처리
el LOTTE 모노리틱 구조
단일 도메인 구조
복잡한 앱의 구조
“민첩성 저하, 확장성 저하”
20개의 마이크로서비스, 250개의 Lambda Function
Scale, DevOps, Serverless
탄력적인 인프라, 비즈니스 민첩성, 핵심역량에 집중
롯데 통합 APP
클라우드 기반 마이크로서비스 애자일 조직 고도화
하루에 천만의 트래픽을 받을 수 있는 앱을 구현할 예정

database freedom
라이센스로 부터 자유롭게 해달라는 이야기를 듣는다.
상용 DB에서 오픈 소스로의 이동
MySQL. Postgre SQL
Amazon Aurota
역사상 가장 빠르게 성장하는 AWS 서비스
MySQL 및 PostgreSQL 호환
표준 MySQL보다 5배 빠름
상용 데이터베이스 대비 1/10 가격
AWS에서 가장 빠르게 성장 중인 서비스
지난 3년간 2배 이상 성장
목적에 따른 다양한 데이터베이스 서비스 제공
관계형 키밸류 문서 인-메모리 그래프 시계열 원장
Amazon DynamoDB 어떤 규모에서도 신뢰할 만한 성능 제공
글로벌 테이블 지원 온-디맨드 및 백업 기능 시간에 따른 복원 기능 필요에 따라 읽기/쓰기 용량 조정
Blockchain에 대한 AWS의 생각은?
많은 생각과 혼란이 있지만 유용한 부분이 있다.
Amazon Quantum Ledger DB 어떤 애플리케이션 요구에도 맞추는 데이터베이스 발전
신뢰할 수 있는 중앙 기관이 수유한 투명하고 불변한 암호를 기반으로 입증 가능한 트랜잭션 로그를 제공하는
완전 관리 원장 DB
Amazon Managed Blockchain 확장성 높은 블록체인 클러스터 생성 및 관리
Hyperledger Fabri 또는 Ethereum 선택 가능
데이터베이스 자유 시대 도래
#databasefreedom 라이센스 자유의 시대

삼성의 사례를 소개: 정재연 상무
Samsung Account
삼성페이, 빅스비등을 사용하는 인증 플랫폼
오래된 웹기술과 모노리틱 기술 기반 스케일링에 어려움
시스템 노후화, 지속적 트래픽 증가, 마이크로 서비스 요구
기존 상용 데이터베이스로 해결하기 어려운 부분들이 있었다.
PostgreSQL + AWS
변환 도구 개발 및 활용, 단계별 롤백 계획 수립, 호환성 테스트
많은 레퍼런스가 없었다.
유럽 지역에 있던 오라클을 22주에 걸쳐서 Amazon Aurora PostgreSQL로 이전함
테라 바이트의 데이터를 이주함.
Source DB 덤프를 뜨고 Amazon RDS로 이전 그리고 작업
라이센스 비용 절감, 관리형 서비스 활용, 오픈 소스 활용 경험 축적, 다양한 서비스 실험 가능
상용DB와 맞먹는 성능을 얻을 수 있었다.

기업은 데이터에서 더 가치를 얻기를 원한다.
시각화 및 기계 학습, 데이터 분석, 데이터 레이크, 데이터 이동
Amazon Elasticssearch Service에 집중하고 있다.
Amazon S3, Amazon Lake Formation, AWS Glue
Amazon Redshift: 복잡한 질의 및 빠른 성능을 위한 페타 바이트 규모의 데이터베이스 하우스
애드혹 질의 대비 20배 이상 뛰어난 성능 제공
서로 다른 출처의 데이터
실시간 스트리밍 데이터 분석
Kinesis Video Streams 비디오 분석을 위한 스트림 캡처, 처리 및 저장
Kinesis Data Streams
클라우드 기반 데이터 레이크가 미래입니다.
Amazon S3 데이터 레이크를 위한 최상의 선택
타의 추종을 불허하는 내구성, 가용성 및 확장성
최상의 보안, 컴플라이언스 및 감시 기능
리전간 복제 기능 제공
데이터에서 비즈니스 인사이트 획득
Amazon Redshift Spectrum을 사용하여 S3의 엑사 바이트 데이터 분석
데이터레이크 구성 및 관리 단계
AWS Lake Formation 며칠 안에 데이터 레이크 서비스를 구성할 수 있는 서비스
기계 학습을 통해 데이터를 빠르게 이동, 저장, 카탈로그화
다중 서비스에 보안

Machine Learning 모든 개발자 및 데이터 과학자에게 제공
Amazon은 20년간 사용하고 있다.
물류와 배송, 알렉사, 아마존고
AI 서비스
ML 서비스
ML 프레임워크 + 인프라
기계 학습을 위한 프레임워크 및 인프라
EC3 P3 & P3n
기계 학습을 위한 프레임워크 및 인프라
계속 성장하면서 바뀌고 이는 제품들
TensorFlow, Pytorch,
TensorFlow가 거의 85%를 사용하고 있다.
65% 256 GPU기반 확장 성능
추론 작업 실행하기
기계 학습 비용의 대부분을 차지
학습(training) -> 추론(Inference)이 총 인프라 비용에서 발생한다.
Amazon Elastic Inference 훨씬 저렴한 비용으로 신속한 추론을 위해 Amazon EC2 인스턴스에 GPU 가속 기능 추가
AWS Inferentia 고성능 추론 칩(올해 안에 가능)

ML 서비스: Amazon SageMaker 호스팅과 디플로이 모든 것을 하나의 툴로 작업
SageMaker 모든 개발자들이 기계 학습 모델 훈련 및 서비스 가능
(세이즈메이커로 발음)
파이썬 기반의 머신 러닝 모델을 구축할 수 있다.
원-클릭 모델 훈련 원-클릭 모델 배포

AI 서비스: Vision은 비디오와 이미지를 분석한다.
Speech & Language 언어간 전환. 한국어를 지원한다. Amazon polly, Amazon Transcribe, Amazon Translate, Amazon Comprehead
Forecasting & Recommendations
개인화와 예측에 대한 서비스를 통합
Amazon Forecast Amazon Personalize 개인화와 추천을 제공한다.
Amazon ML Solutions Labs
아이디어 브레인스토밍
맞춤형 모델링 제공
기계 학습 관련 교육 및 훈련 제공
Amazon Machine Learning University 다양한 교육을 제공하고 있다.
AWS DeepLens 세계 최초의 딥러닝 제공 카메라
AWS DeepRacer 자율 주행으로 강화 학습을 배울 수 있도록 설계된 1/18 축소된 경주용 자동차
AWS DeepRacer League 세계 최초의 글로벌 자율 경주 리그를 제공한다. 서밋을 할 때마다 제공된다.
강화 학습 모델 구성 시뮬레이터를 통해 테스트 연강 가상 토너먼트 진행
ml.aws 에 모든 정보가 있다.
Edge에서 어떤 일이 일어나고 있는가?
수십억 개의 엣지 장치에서 데이터가 나오고 있다.
엣지 디바이스의 도전 사항
데이터 수집 및 분석의 에로점
AWS는 IoT를 위한 가장 완벽한 플랫폼
데이터 서비스
제어 서비스
디바이스 소프트웨어
이미 사용하고 있는 고객군이 엄청나다!
LG “새로운 IoT플랫폼에 AWS를 사용하여 개발비용을 80% 절감했다”
AWS Smart Home 전시장에 다양한 디바이스들이 설치되어 있다.
점심 식사 이후에 엑스포 방문

개발자와 스타트업 세션
NAT Gateway vs NAT Instance
NAT Multi-AZ구성

Elastic Load Balancing 3가지 제품이 있다.
클래스 로드 밸런스
Network Load Balancer
Application Load Balancer  가장 발전된 모델
CLB방식으로 비용을 예상해서 ALB 가격을 예측할 수 있다.
Load Balancer health check
CLB없이 HTTP+TCP이용
HTTPS와 HTTP 선택에 대한
대외 서비스 제공이면 무조건 HTTPS를 사용해야 한다.
내부 서비스면 HTTP를 사용하고 방화벽을 사용하면 된다.
AWS에서 HTTPs 이용 비용
인증서 발급/갱신, 인증서 관리, 암/복호화 성능
ACM 인증서 무상 발급/갱신
인증서 자동 갱신
Amazon Certificate Manager 인증서 라이프 사이클은 자동 관리가 된다.
콘솔 로그인 발급정보 입력 Route53 기반 ㅈ동 DCV인증 ALB,CLB 등 관련 서비스에서 인증서 선택
AWS서비스 이용 검증 및 인증서 자동 갱신
ACM을 통한 인증서 발급이 답입니다. 인증서를 외부에서 사용하는 경우만 예외로 사용하면 된다.
“인증서 및 비밀키는 AWS관리하에만 존재”
DV(Domain Validation)
OV(Organization Validation)
EV(Extended Validated)
“필요에 따라 웹브라우저에서 조직 정보 식별이 가능한 EV 인증서 선택”
AWS Well Architected
https://aws.amazon.com/wellArchitected 사이트에 자료 있음
비즈니스를 잘하고 있는 고객과 같이 협업을 해서 확인하는 프로그램이 웹아키텍트 리뷰
NDS도 이 프로그램을 진행하고 있다.
Well-Architected Review
인스턴스 하나 하나 시큐리티를 하나하나 다 체크한다.
NDS 농심 데이터 시스템
공공, 민간, 개발과 컨설팅,

연구 교육에 AWS를 도입한 사례 세션
핑크퐁 영상 컨텐츠 4000편의 컨텐츠를 가지고 있음
앱의 Content Delivery * CloudFront
다양한 언어로 앱을 지원함. 바로 AWS를 통해 해외 서비스를 제공함
S3 저장소에 저장해 놓으면 아마존 클라우드가 각 지역에 배포함
Dino Buddy Lab – Alexa Skill
핑크퐁 스토어 오프라인 물건을 판매하는 사이트
파이썬에 장고로 개발이 되어 있음
도커를 올려서 사용함.
레디스로 캐싱된 데이터를 사용. 오로라를 사용하고 있다. 30일 이내의 데이터베이스로 복원이 가능하다.
ELB는 10만정도가 와도 버티는 서비스
평소에는 2대를 사용하고 필요하면 20~30대를 사용한다.
VPC 사용 테스팅 환경에서 개발을 하고 그리고 프로덕션 환경으로 배포한다.
동일한 환경을 유지할 수 있다.
핑크퐁 원더스타 – KBS, KT 19년 6월 방영

카이스트 바이오 사례
CORUS
CONET
CODA
COCONUT
대중적인 연구개발을 할 수 있는 플랫폼이 필요하다.
WHY HOW WHAT
데이터를 모으는 가장 쉬운 방법 설문 조사
검색 기반의 연구를 진행: Simba – Lion 연결고리를 찾는 것이 어렵다.
모든 데이터는 블럭체인에 저장되도록 구현
연구 파이프라인을 진행할 수 있다. 쉽게
카이스트 서버실이 동파가 됨
효율적이고 안정적이며 보안이 좋고 확장성 있는 클라우드 기술을 도입했다.
많은 데이터를 모아서 딥러닝을 해야 한다.
S3  EC2 
97만 매트릭스의 데이터를 간단하게 구현해서 연구를 진행했다.
위키피디아 데이터를 크롤링해서 진행
EC2(웹인터페이스 배치) -> EC2(API Engine) 
개발과 운영 서버를 분리
Scalable 모든 데이터가 블럭체인에 저장된다. 신뢰성을 확보하기 위한 방법
한국리전과 외국리전이 다르다. 미국 노쓰 버전을 사용하고 있다. 그래서 CDN서비스를 추가적으로 사용하고 있다.

인디스쿨, AWS 길을 걷다
비영리 단체 초등교사 커뮤니티 인디스쿨
4만명의 교사들이 사용하고 있다.
한국의 초등교사는 18만명이 있음.
교수학습자료 공유
교육 집단지성 플랫폼
교수 학습 자료를 끊임없이 확대 재생산을 하고 있다.
현직 교사들의 자원봉사와 후원금으로 운영
서버가 장애가 발생해도 수업을 해야 하는 상황들이 발생한다.
IDC 방문 부담 스토리지 문제
서버랙 포화
방화벽, Dns설정의 불편함
서버 구입 비용, IDC 이용 비용이 합리적인가?
트래픽 요금에 대한 우려
1일 평균 전송량은 5테라 바이트를 전송했다.
AWS 월 비용 계산기로 미리 계산을 해봄. 전에 사용하던 것보다 높게 나옴.
Amazon CloudFront요금 할인
프리티어 온디맨드 요금 할인이 가능하다. 파트너사를 통해서 접근한다. 요금 결제를 원화로 할 수 있고 기술 지원을 받을 수 있다.
정확한 비용은 예측이 어려움
1~2달 정도 운영을 해보고 결정
당시에는 AWS Elastic File System이 서울 리전에서 서비스를 하지 않음
Zadara Storage를 사용함.
교사들의 사용 패턴이 명확하다.
비용 최적화
1년에서 3년을 약정하면 좀 더 할인된 가격으로 구매가 가능하다.
AWS NDS zadara 에서 도움을 많이 받음

테라폼을 사용한 마이크로서비스 세션
Microservices to Functions
지속적인 서비스의 진화
삼성전자 이용욱님
Terraform을 이용한 AWS 기반 대규모 마이크로서비스 인프라 인용
빌딩 블럭 단순하고, 확장되고, 단단해야 한다.
삼성전자 Cloud운영 그룹에서 근무
IaC를 통한 대규모 마이크로 서비스 인프라 운영
운영을 고려한 Terraform코드 구조화
Terraform모듈 코드 테스트
마이크로서비스: 소규모 팀이 관리하는 작은 크기의 서비스
넷플렉스의 예를 보여줌
다수의 팀이 관리하는 다수의 마이크로서비스
100개 이상의 마이크로서비스로 구성되는 과제들이 종종 있다.
microservices ~= teams
수십개의 팀과 같이 협업을 해야 하는 경우가 많이 생긴다.
초보자 ~ 전문가가 같이 협업을 해야 하는 상황이 벌어진다.
폴발 반경(Blast radius)제한 서비스 운영은 실수를 하면 곧 장애가 될 수 있다.
문제되는 반경을 제한하는 것이 상당히 중요할 수 있다.
다양한 환경 및 요구사항
작업환경
네트워크 환경
권한 관리
일관성 유지의 어려움
일관된 관리 필요
보안 규정 준수
이름 규칙, 태그 규칙 등 관리 정책
끊임없는 변경
마이크로 서비스 생성/삭제
마이크로 서비스 구조/연관성 변경
담당자 변경
리소스를 몇천개를 관리하는데 분노폭발!!
Iac(Infrastructure as Code)
인프라 생성, 설정, 관리를 코드를 통해 작업
인프라 코드 = 인프라 설정 = 아키텍쳐 문서
빠른 공유 및 병렬 작업
인프라 운영 = 유지 보수 = 변경 관리
정적인 셋팅은 테라폼을 사용
배포는 docker를 사용 Immutable image생성
Continuous Delivery Spinnaker 사용 배포시 생성되는 동적 인프라 지원
K8s 배포 kubernetes HEML차트를 사용한다. App배포 설정
(야물 파일에 적용)
적당한 툴들을 선택해서 사용한다.

관리 범위 쪼개기
Communication cost
상호 간섭 최소화
문제 발생시 영향 범위(Bloast range)최소화
개인별 필요 권한 최소화
 마이크로서비스 단위로 관리
소규모 팀에서 관리하기 때문에 아무래도 커뮤니케이션이 잘되는 경향이 있다.

동일 코드 기반의 인프라 환경 구성
환경 별 리소스 차이 최소화
동일 코드를 DEV -> STG -> PROD환경으로 단게적 승격
테스트, 테스트, 테스트
Fail fast, Fail safe

재사용 가능한 공용 모듈
VPC
ECS, EKS Cluster
LoadBalancer
ServerGroup

1. 일관된 인프라 관리
2. 신규 서비스 추가 용이

Terraform modules 문서가 잘 되어 있음
Github
Git
S3
consul.tf 로 저장해서 사용
각자 환경에 맞는 모듈을 사용할 수 있다.

Terraform workspaces
분리된 tfstate공간 제공
동일 코드로 다른 세트의 인프라 관리
Workspace variables / 별도 tfvars파일
가능하면 자동화된 경우만 권장을 한다.
main-repo microservice module repo
사람들이 코드 관리 구조를 이해하기 쉽게 구조를 가져가고 있다.
공용 리소스의 폴더 분리 관리
마이크로 서비스 별 분리 관리

완전 분산형 저장소 구조
환경별 코드 관리 git branch/tag활용
환경별 Terraform state 관리

Terraform 모듈 코드도 테스트?
vpc
loadbalancer
servergroup
과제1 테라폼 버전이 달라서 에러가 날 수 있다.
과제2 특정 리전에서는 지원하는 기능이 다른 리전에서는 지원되지 않은 경우도 에러가 발생한다.
글로벌 리전의 코드가 중국에서 작동하는 코드는 완전히 다르다.

Terraform코드 테스트
Linting 동적 코드 분석
Dry-run
단위/통합 테스트
TDD
kitchen-terraform
InSpec, awspec, terratest
보안 준수 검수 아무래도 인프라 관리를 위한 부분이여서 그렇다.

KitchenCI
쉐프를 사용해보아다면 키친CI도 유사하다.
다양한 테스트 환경 지원을 위한 Plugin구조
Driver
Provisioner
Verifier

Infrastructure testing frameworks
InSpec
awspec
terratest gruntwork에서 만든 인프라 테스트용 Go 라이브러리
알스펙은 루비 문법이 영어 문장처럼 되어 있어서 쉽게 읽힌다.
고를 잘하는 개발자들이 부족하다. 결국 고의 장벽을 넘지 못했다.
인스펙과 아마존스펙을 사용했다.

Terraform module testing pipeline
Terraform module에 대한 단위 테스트
다양한 환경에 대한 사전 테스트
테라폼 코드 변경=>깃허브=>circleci

다양한 Terraform provider들이 있다.
깃허브, Datadog, Grafana, MySQL, PostgreSQL
Kafka
Kong

Terraform v0.12 베타 버전이 최근에 출시 됨
더 유연하고 이해하기 쉬운 모듈 코드 작성에 도움