Explorando Soluciones de Arquitectura Eficiente para el Procesamiento de Archivos Grandes en la Nube

Pregunta

Una aplicación permite que un sitio de fabricación cargue archivos.

Cada archivo cargado de 2500 MB se procesa para extraer metadatos, y este proceso tarda unos segundos por archivo.

La frecuencia con la que ocurre la carga es impredecible.

Por ejemplo, es posible que no se cargue durante horas, seguido de varios archivos que se cargan al mismo tiempo. ¿Qué arquitectura abordará esta carga de trabajo de la manera más rentable?

Respuestas

A. Utilice Kinesis Data Delivery Stream para almacenar el archivo. Utilice Lambda para el procesamiento.

B. Utilice una cola SQS para almacenar el archivo al que accederá una flota de instancias EC2.

C. Almacene el archivo en un volumen de EBS, al que luego puede acceder otra instancia EC2 para su procesamiento.

D. Almacene el archivo en un depósito S3. Utilice la notificación de eventos de Amazon S3 para invocar una función de Lambda para el procesamiento de archivos.

Respuesta Correcta

A.BCD

Respuesta - D.

Primero puede crear una función Lambda con el código para procesar el archivo.

Luego, puede usar una notificación de evento del depósito S3 para invocar la función Lambda cada vez que se carga un archivo.

La opción A es incorrecta ya que Kinesis se utiliza para recopilar, procesar y analizar datos en tiempo real.

La opción B es incorrecta ya que SQS no puede almacenar un mensaje de 3 GB.

La carga útil máxima admitida por SQS es de 2 GB. Para administrar mensajes grandes de Amazon Simple Queue Service (Amazon SQS), puede usar Amazon Simple Storage Service (Amazon S3) y Amazon SQS Extended Client Library para Java.

Esto es especialmente útil para almacenar y consumir mensajes de hasta 2 GB. La opción C es incorrecta, ya que EBS es un servicio para proporcionar almacenamiento a nivel de bloque.

S3 es más adecuado en este escenario.

Nota: El volumen total de datos y la cantidad de objetos que puede almacenar son ilimitados.

Los objetos individuales de Amazon S3 pueden variar en tamaño desde un mínimo de 0 bytes hasta un máximo de 5 terabytes.

El objeto más grande que se puede cargar en un solo PUT es de 5 gigabytes.

Para obtener más información sobre la notificación de eventos de Amazon S3, visite la siguiente URL:

https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html

https://aws.amazon.com/s3/faqs/

https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-s3-messages.html