Azure 진화하는 데이터 세계에 대한 이해 내용들입니다.

개인의 관리 데이터도 상당히 늘어나고 있지만 기업의 데이터도 폭발적으로 늘어나고 있습니다. 여기에 대한 소개와 내용들입니다.

우리는 지난 30년 동안 현재 비즈니스 및 사용자 요구 사항에 따라 데이터를 생성하는 디바이스 및 소프트웨어의 수가 기하급수적으로 증가한 것을 목격했습니다. 기업은 이 데이터를 저장, 해석, 관리, 변환, 처리, 집계하고 이해 관계자에게 보고합니다. 이해 관계자에는 내부 관리자, 투자자, 비즈니스 파트너, 규제 기관 및 소비자가 포함됩니다.

데이터 소비자는 연결된 또는 연결되지 않은 PC, 태블릿 및 모바일 디바이스로 데이터를 봅니다. 소비자는 데이터를 생성하는 동시에 사용합니다. 소비자는 직장에서 그리고 여가 시간에 소셜 미디어 애플리케이션을 사용하여 데이터를 생성하고 사용합니다. 비즈니스 이해 관계자는 데이터를 사용하여 비즈니스 의사 결정을 내립니다. 소비자는 데이터를 사용하여 의사 결정(예: 무엇을 구매할 것인가)을 내립니다. AI 덕분에 Azure Machine Learning은 이제 사람이 하는 것처럼 데이터를 사용하고 의사 결정을 내릴 수 있습니다.

데이터 양식으로는 텍스트, 스트림, 오디오, 비디오 및 메타데이터가 있습니다. 데이터를 정형, 비정형 또는 집계할 수 있습니다. 정형 데이터베이스의 경우 데이터 설계자는 Azure SQL Database 및 Azure SQL Data Warehouse 같은 플랫폼 기술로 데이터 스토리지를 만들 때 구조(스키마)를 정의합니다. 비정형(NoSQL) 데이터베이스의 경우 각 데이터 요소는 쿼리 시 자체 스키마를 사용할 수 있습니다. 데이터를 Azure Blob 스토리지에 파일로 저장하거나 Azure Cosmos DB 또는 HDInsight에 NoSQL 데이터로 저장할 수 있습니다.

리프트 앤 시프트
많은 고객이 클라우드로 이동할 때 실제 또는 가상화된 온-프레미스 서버에서 Azure Virtual Machines로 마이그레이션합니다. 이 전략을 리프트 앤 시프트라고 합니다. 서버 관리자는 애플리케이션을 다시 설계하지 않고 물리적 환경에서 Azure Virtual Machines로 리프트 앤 시프트합니다.

온-프레미스 환경과 클라우드 환경 비교 입니다.

온-프레미스 환경
컴퓨팅 환경
온-프레미스 환경은 애플리케이션과 서비스를 실행할 물리적 장비가 필요합니다. 이러한 장비에는 물리적 서버, 네트워크 인프라 및 스토리지가 포함됩니다. 장비에는 전원 및 냉각 수단과 자격을 갖춘 직원의 정기적인 유지 관리가 필요합니다. 서버에는 하나 이상의 OS(운영 체제)가 설치되어야 합니다. 조직에서 가상화 기술을 사용하는 경우에는 두 가지 이상의 OS가 필요할 수 있습니다.

라이선스
서버에 설치된 OS마다 고유의 라이선스 비용이 발생할 수 있습니다. OS 및 소프트웨어 라이선스는 일반적으로 서버 또는 CAL(클라이언트 액세스 라이선스) 단위로 판매됩니다. 기업이 성장함에 따라 라이선스 계약에 대한 제한이 많아집니다.

유지 관리
온-프레미스 시스템은 하드웨어, 펌웨어, 드라이버, BIOS, 운영 체제, 소프트웨어 및 바이러스 백신 소프트웨어의 유지 관리가 필요합니다. 조직에서는 되도록이면 이 유지 관리 비용을 절감하려 합니다.

리프트 앤 시프트 전략은 즉각적인 이점을 제공합니다. 예를 들어 가용성을 향상하고, 운영 비용을 절감하고, 한 데이터 센터에서 다른 데이터 센터로 워크로드를 전송할 수 있습니다. 단점은 Azure 내에서 제공하는 여러 기능을 애플리케이션에 활용할 수 없다는 것입니다.

클라우드 환경
컴퓨팅 환경
클라우드 컴퓨팅 환경은 구독자를 위한 서비스, 가상 서버, 인텔리전트 애플리케이션 및 컨테이너를 호스트하는 물리적 및 논리적 인프라를 제공합니다. 온-프레미스 물리적 서버와 달리, 클라우드 환경은 자본 투자가 필요 없습니다. 그 대신, 조직에서 클라우드에 서비스를 프로비저닝하고 사용하는 만큼 요금을 지불하면 됩니다. 서버 및 서비스를 클라우드로 이동하면 운영 비용도 감소합니다.

조직에서는 Azure 서비스를 사용하여 몇 분 이내에 가상 서버부터 컨테이너화된 앱 클러스터까지 모든 것을 프로비저닝할 수 있습니다. Azure가 백그라운드에서 모든 물리적 및 논리적 인프라를 자동으로 만들고 처리합니다. 이러한 방식으로 Azure는 서비스를 만드는 복잡성과 비용을 줄입니다.

온-프레미스 서버는 실제 디스크와 가상 디스크에 데이터를 저장합니다. 클라우드 플랫폼에서는 스토리지가 더 일반적입니다. Azure Blob 스토리지, Azure Files 스토리지, Azure Disk Storage 등 다양한 종류의 스토리지가 있습니다. 복잡한 시스템에서는 종종 기술 아키텍처의 일부로 각 종류의 스토리지를 활용하기도 합니다. Azure Disk Storage를 사용하면 고객은 Microsoft에 디스크 스토리지 관리를 맡길 수도 있고, 프리미엄 비용을 지불하고 디스크 할당을 보다 세밀하게 제어할 수도 있습니다.

직무 책임 이해
5분
여러분의 기술 역량을 SQL Server 같은 온-프레미스 데이터베이스 서버 시스템 관리에서 클라우드 기반 데이터 시스템 관리로 발전시켜야 합니다. SQL Server 전문가는 일반적으로 시간이 지날수록 SQL Server보다는 데이터에 집중하게 될 것입니다. 데이터 엔지니어로 변하게 될 것입니다.

SQL Server 전문가는 일반적으로 관계형 데이터베이스 시스템만 다룹니다. 데이터 엔지니어는 스트리밍 데이터 같은 비정형 데이터와 다양한 종류의 새 데이터 형식을 다룹니다.

데이터 엔지니어링을 마스터하려면 새로운 도구, 아키텍처 및 플랫폼 세트를 학습해야 합니다. SQL Server 전문가의 기본 데이터 조작 도구는 T-SQL일 수 있습니다. 데이터 엔지니어는 Azure HDInsight 및 Azure Cosmos DB와 같은 추가 기술을 사용해야 합니다. 빅 데이터 시스템에서 데이터를 조작하려면 Hive 또는 Python과 같은 언어를 사용할 수 있습니다.

클라우드 사용 사례
Azure는 웹, 의료 및 IoT(사물 인터넷)를 포함하여 다양한 산업에 사용할 수 있습니다. 이러한 산업에서 Azure로 어떤 차이를 만들어 낼 수 있는지 살펴보겠습니다.

웹
데이터 엔지니어는 Azure Cosmos DB 다중 마스터 복제 모델을 사용하여 웹 및 모바일 애플리케이션을 지원하는 데이터 아키텍처를 만듭니다. Microsoft 성능 약정 덕분에 이러한 애플리케이션으로 전 세계 어디에서 10밀리초 미만의 응답 시간을 얻을 수 있습니다. 글로벌 조직은 웹 사이트의 처리 시간을 단축하여 고객 만족도를 높일 수 있습니다.

의료
의료 산업에서는 Azure Databricks를 사용하여 빅 데이터 분석 및 AI 솔루션의 속도를 높입니다. 예측의 규모가 페타바이트에 달하는 게놈 연구 또는 제약 영업에 이러한 기술이 적용됩니다. Databricks 기능을 사용하면 Spark 환경을 몇 분 안에 설정하고 쉽고 빠르게 자동 크기 조정을 수행할 수 있습니다.

Azure를 사용하면 SQL, R, Scala 및 Python을 비롯한 다양한 언어로 공유 프로젝트 및 작업 영역을 통해 데이터 과학자와 공동 작업을 수행할 수 있습니다. Azure Active Directory 및 기타 Azure 서비스가 기본적으로 통합되므로 다양한 솔루션을 빌드할 수 있습니다. 예를 들어 최신 데이터 웨어하우스 또는 기계 학습과 실시간 분석 솔루션을 빌드할 수 있습니다.

IoT 솔루션
지난 수년 간, 센서 데이터를 생성하는 수십만 개의 디바이스가 생산되었습니다. 이러한 것들을 IoT 디바이스라고 합니다.

Azure IoT Hub 같은 기술을 사용하면 IoT 디바이스에서 정보를 캡처하여 분석할 수 있는 데이터 솔루션 아키텍처를 디자인할 수 있습니다.

풍부한 데이터에 대한 소개 링크입니다.
https://docs.microsoft.com/ko-kr/learn/modules/evolving-world-of-data/2-data-abundance

온-프레미스 서버와 클라우드 서버의 차이점
https://docs.microsoft.com/ko-kr/learn/modules/evolving-world-of-data/3-systems-on-premise-vs-cloud

직무 책임에 대한 이해
https://docs.microsoft.com/ko-kr/learn/modules/evolving-world-of-data/4-understand-job-responsibility