AWS 상에서의 빅데이터 분석 옵션 (1)

이는 Big Data Analytics Options on AWS를 번역하고 정리하기 위한 글입니다. 

 

이 백서는 아키텍트, 데이터 과학자 및 개발자가 AWS 클라우드에서 사용할 수 있는 빅 데이터 분석 옵션을 이해하는데 도움을 줍니다. 다음을 포함한 서비스 개요에 대한 정보를 제공합니다.

 

• 이상적인 사용 패턴
• 비용 모델
• 성능
• 내구성 및 가용성
• 확장성 및 탄력성
• 인터페이스
• 안티 패턴

소개

세상이 디지털화됨에 따라 생성되고 수집되는 데이터의 양은 지속적으로 증가하고 가속화되고 있습니다. 계속해서 증가하는 이 데이터를 기존의 분석 도구로 분석하는 것은 해결해야 할 과제가 되었습니다. 따라서 생성된 데이터와 효과적으로 분석할 수 있는 데이터 간 격차를 줄이기 위해서는 혁신이 필요합니다.

 

빅 데이터 도구와 기술은 데이터를 효율적으로 분석할 수 있는 기회를 제공하는데 여기에는 고객 선호도를 더 잘 이해할 수 있거나 시장에서 경쟁 우위를 확보하거나 비즈니스를 성장시킬 수 있다는 것을 의미합니다. 데이터 관리의 아키텍처는 기존 데이터 웨어하우징 모델에서 실시간 및 일괄 처리, 정형 및 비정형 데이터, 고속 트랜잭션 등과 같은 더 많은 요구 사항을 처리하는 복잡한 아키텍처로 발전했습니다. 

 

AWS는 엔드 투 엔드 빅 데이터 애플리케이션을 빠르고 쉽게 구축, 보호 및 원활하게 확장하는데 도움을 줄 수 있는 광범위한 관리형 서비스 플랫폼을 제공하고 있습니다. 애플리케이션에 실시간 스트리밍이 필요하거나 일괄 데이터 처리가 필요할 때 AWS는 다음 빅데이터 프로젝트를 처리하기 위한 인프라와 도구를 제공합니다. 이를 위해 하드웨어나 유지 관리 및 확장할 인프라가 없기에 해야 할 것은 빅데이터를 수집하고, 저장하며, 처리하고 분석하는 것뿐입니다. 

 

빅  데이터 분석에서 AWS의 이점

대규모 데이터 세트를 분석하려면 입력 데이터의 양과 분석 유형에 따라 크기가 달라질 수 있는 상당한 컴퓨팅 용량이 필요합니다. 빅 데이터 워크로드의 이러한 특성은 애플리케이션이 수요에 따라 쉽게 확장 및 축소할 수 있는 종량제 클라우드 컴퓨팅 모델을 활용하기에 굉장히 적합합니다. 요구 사항이 변경되면 추가 하드웨어를 기다리거나 충분한 용량을 프로비저닝하기 위해 과도하게 투자할 필요 없이 요구사항에 맞게 AWS에서 환경 크기(수평 또는 수직)를 쉽게 조정할 수 있습니다.

 

보다 전통적인 인프라의 미션 크리티컬 애플리케이션의 경우 비즈니스 요구 증가로 인해 발생하는 데이터 급증을 시스템이 처리할 수 있어야 하기 때문에 시스템 설계자에게 과잉 프로비저닝 외에는 선택의 여지가 없었습니다. 이와 대조적으로 AWS에서는 몇 분만에 더 많은 용량과 컴퓨팅 리소스를 프로비저닝할 수 있습니다. 즉, 빅 데이터 애플리케이션을 수요에 따라 확장 및 축소되고 시스템을 가능한 최적의 효율성에 가까운 상태로 실행할 수 있습니다. 

 

또한 AWS에서 제공하는 다양한 지리적 영역에 접근할 수 있는 글로벌 인프라에서 유연한 컴퓨팅을 구현하고 정교한 빅데이터 애플리케이션을 구축하기 위해 확장 가능한 다른 서비스들도 사용할 수 있습니다. 이러한 다른 서비스는 다음과 같습니다:

 

• 데이터 저장을 위한 Amazon Simple Storage Service (Amazon S3) 
• 데이터를 손쉽게 이동하고 변환하기 위한 작업을 오케스트레이션하기 위한 AWS Glue
• 커넥티드 디바이스가 클라우드 애플리케이션과 다른 커넥티드 디바이스와 통신하기 위한 AWS IoT

생성되는 데이터 양이 계속 증가함에 따라 AWS는 클라우드로 데이터를 가져오기 위해 페타바이트 규모의 데이터를 옮기기 위한 AWS Snow Family와 같은 안전한 장비를 포함해, 스트리밍 데이터를 지속적으로 적재하기 위한 전달 스트림을 가진 Amazon Kinesis Data Firehose, 데이터 베이스 마이그레이션을 도와주는 AWS Database Migration Service, 그리고 확장 가능한 프라이빗 연결을 위한 AWS Direct Connect를 제공합니다. 

 

모바일 사용량이 계속 빠르게 증가함에 따라 AWS Mobile Hub 내의 서비스 모음을 사용하여 앱 사용량과 데이터를 수집 및 측정하거나 해당 데이터를 다른 서비스로 내보내 추가로 사용자 지정 분석을 수행할 수도 있습니다. 

 

AWS의 이러한 기능은 빅 데이터 문제를 해결하는 데 이상적이며 많은 고객이 AWS에서 성공적인 빅 데이터 분석 워크로드를 구현했습니다. 자세한 내용은 빅 데이터 고객 성공 사례를 참조할 수 있습니다.

 

빅 데이터를 수집, 처리, 저장 및 분석하기 위해 다음 서비스를 순서대로 설명합니다. 

• Amazon Kinesis
• Amazon Managed Streaming for Apache Kafka (Amazon MSK)
• AWS Lambda
• Amazon Elastic Map Reduce (Amazon EMR)
• AWS Glue
• AWS Lake Formation
• Amazon Machine Learning
• Amazon DynamoDB
• Amazon Redshift
• Amazon OpenSearch Service (OpenSearch Service)
• Amazon QuickSight
• Amazon Compute Services ( Amazon EC2, Amazon ECS, Amazon EKS)
• Amazon Athena