Infraestructura de AWS Machine Learning
Infraestructura de alto rendimiento, rentable y energéticamente eficiente para aplicaciones de ML
Desde las empresas de la lista Fortune 500 hasta las startups, organizaciones de diversos sectores están adoptando cada vez más el machine learning (ML) para una amplia gama de casos de uso, como el procesamiento del lenguaje natural (NLP), la visión artificial, los asistentes de voz, la detección de fraudes y los motores de recomendación. Además, los modelos de lenguaje de gran tamaño (LLM) que tienen cientos de miles de millones de parámetros están desbloqueando nuevos casos de uso de la IA generativa, por ejemplo, la generación de imágenes y texto. El crecimiento de las aplicaciones de ML conlleva un aumento del uso, la administración y el costo de los recursos informáticos, de almacenamiento y de red. Identificar y elegir la infraestructura informática adecuada es esencial para reducir el elevado consumo de energía, disminuir los costos excesivos y evitar la complejidad durante la formación y el despliegue de los modelos de ML a la producción. Para ayudarle a acelerar la innovación en ML, AWS ofrece la combinación ideal de herramientas y aceleradores de ML de alto rendimiento, rentables y energéticamente eficientes, optimizados para aplicaciones de ML.
Beneficios
Facilidad de uso
Acceda a aceleradores de ML creados específicamente, como AWS Trainium y AWS Inferentia, para entrenar y desplegar modelos fundacionales (FM) e integrarlos en las aplicaciones mediante servicios administrados de AWS, como Amazon SageMaker y Amazon Bedrock. SageMaker proporciona a los científicos de datos y desarrolladores de ML modelos básicos preentrenados que se pueden personalizar completamente para su caso de uso y datos específicos, y desplegar en producción. Bedrock proporciona a los clientes una experiencia sin servidor para crear aplicaciones de IA generativa utilizando FM a través de una API.
Alto rendimiento
Puede equipar su aplicación de ML con la infraestructura de ML de mayor rendimiento de AWS. Las instancias de Amazon EC2 P4d y Amazon EC2 Trn1 son ideales para el entrenamiento de ML de alto rendimiento. Para la inferencia, las instancias Inf2 de Amazon EC2, con tecnología Inferentia2 de segunda generación, ofrecen un rendimiento 4 veces mayor y una latencia hasta 10 veces menor que las instancias basadas en Inferentia de la generación anterior.
Rentabilidad
Con una amplia variedad de opciones de servicios de infraestructura, usted puede elegir la infraestructura adecuada para su presupuesto. Las instancias de Amazon EC2 Trn1 con tecnología AWS Trainium ofrecen un ahorro del 50 % en los costos de entrenamiento y las instancias de Amazon EC2 Inf2 con tecnología AWS Inferentia2 ofrecen hasta un 40 % más de rendimiento de precios que las instancias de Amazon EC2 comparables. Puede reinvertir este ahorro de costos para acelerar la innovación y hacer que su empresa crezca.
Sostenible
AWS se ha comprometido a cumplir el objetivo de Amazon de tener cero emisiones netas de carbono para 2040. Amazon SageMaker, un servicio de ML completamente administrado, ofrece aceleradores de ML optimizados para la eficiencia energética y la reducción del consumo de energía durante el entrenamiento y el despliegue de modelos de ML en producción. Las instancias de Amazon EC2 equipadas con aceleradores de ML, como AWS Trainium y AWS Inferentia2, ofrecen hasta un 50 % más de rendimiento por vatio que otras instancias de Amazon EC2 comparables.
Escalabilidad
Los clientes de AWS tienen acceso a informática, redes y almacenamiento prácticamente ilimitados para que puedan escalar. Puede escalar o desescalar verticalmente de una GPU o acelerador ML a miles, y de terabytes a petabytes de almacenamiento. Al utilizar la nube, no necesita invertir en toda la infraestructura posible. En su lugar, puede aprovechar las opciones de informática elástica, almacenamiento y redes.
Compatibilidad con marcos de ML populares
Las instancias informáticas de AWS son compatibles con importantes marcos de ML, como TensorFlow y PyTorch. También son compatibles con bibliotecas de modelos y conjuntos de herramientas como Hugging Face para una gran variedad de casos de uso de ML. Las AMI de aprendizaje profundo de AWS (AWS DLAMIs) y los contenedores de aprendizaje profundo de AWS (AWS DLCs) vienen con optimizaciones preinstaladas de marcos y conjuntos de herramientas de ML para acelerar el aprendizaje profundo en la nube.
Soluciones
*Dependiendo de sus requisitos de inferencia, puede explorar otras instancias en Amazon EC2 para la inferencia basada en CPU.
Historias de éxito
-
Pepperstone
-
Finch Computing
-
Amazon Robotics
-
Money Forward
-
Rad AI
-
Amazon Alexa
-
Autodesk
-
Sprinklr
-
Pepperstone
-
Pepperstone utiliza la infraestructura de AWS ML para ofrecer una experiencia de comercio global sin interrupciones a más de 40 000 visitantes únicos al mes. Utilizan Amazon SageMaker para automatizar la creación y el despliegue de modelos de ML. Al cambiar a SageMaker, pudieron reducir la fricción entre los equipos de DevOps y de ciencia de datos y disminuir el tiempo de entrenamiento de modelos ML de 180 horas a 4,3 horas.
-
Finch Computing
-
Finch Computing utiliza AWS Inferentia con PyTorch en AWS para crear modelos de ML con el fin de realizar tareas de NLP como la traducción de idiomas y la desambiguación de entidades, reduciendo así sus costos de inferencia en más de un 80 % en comparación con las GPU.
-
Amazon Robotics
-
Amazon Robotics utilizó Amazon SageMaker para desarrollar un modelo de machine learning sofisticado que reemplazó el análisis manual en los centros logísticos de Amazon. Amazon Robotics utilizó Amazon SageMaker y AWS Inferentia para reducir los costos de inferencia en casi un 50 %.
-
Money Forward
-
Money Forward lanzó su servicio de chatbot de IA a gran escala en instancias Inf1 de Amazon EC2 y redujo su latencia de inferencia en un 97 % con respecto a instancias comparables basadas en GPU, al tiempo que redujo los costos. Tras el éxito de su migración a instancias Inf1, también están evaluando instancias EC2 Trn1 con tecnología AWS Trainium para mejorar el rendimiento y el costo de ML de extremo a extremo.
-
Rad AI
-
Rad AI utiliza IA para automatizar los flujos de trabajo de la radiología y ayudar a optimizar la generación de informes radiológicos. Con las nuevas instancias P4d de Amazon EC2, Rad AI nota una inferencia más veloz y la capacidad de formar modelos 2,4 veces más rápido y con una mayor precisión.
-
Amazon Alexa
-
“La inteligencia basada en IA y ML de Amazon Alexa, con tecnología de Amazon Web Services, está disponible en más de 100 millones de dispositivos hoy en día, y nuestra promesa a los clientes es que Alexa será cada vez más inteligente, más conversacional, más proactiva y aún más encantadora. El cumplimiento de esta promesa requiere mejoras continuas en los tiempos de respuesta y en los costos de la infraestructura de machine learning, por lo que estamos encantados de utilizar Amazon EC2 Inf1 para reducir la latencia de inferencia y el costo por inferencia en la conversión de texto a voz de Alexa. Gracias a Inf1 de Amazon EC2 podremos mejorar aún más el servicio para las decenas de millones de clientes que utilizan Alexa cada mes”.
Tom Taylor, Senior Vice President en Amazon Alexa
-
Autodesk
-
.9396df1d739f5a3b99ce8985231b0a48f7767c05.png "Logotipo de Autodesk")
“Autodesk potencia la tecnología cognitiva de nuestro asistente virtual impulsado por IA, Autodesk Virtual Agent (AVA), mediante el uso de Inferentia. AVA responde más de 100 000 preguntas de clientes por mes gracias a la comprensión del lenguaje natural (NLU) y las técnicas de aprendizaje profundo para extraer el contexto, la intención y el significado de las consultas. Mediante el uso de Inferentia, podemos obtener un rendimiento 4,9 veces mayor que G4dn para nuestros modelos de NLU y esperamos ejecutar más cargas de trabajo en las instancias Inf1 basadas en Inferentia”.
Binghui Ouyang, Sr Data Scientist en Autodesk
-
Sprinklr
-
“Sprinklr proporciona una plataforma de administración unificada de la experiencia del cliente (Unified-CXM) que combina diferentes aplicaciones de marketing, publicidad, investigación, atención al cliente, ventas e interacciones en las redes sociales. El objetivo siempre es tener una latencia más baja, lo que significa una mejor experiencia del cliente. Con las instancias Inf1 de Amazon EC2, podemos lograrlo”.
Jamal Mazhar, Vice President of Infrastructure and DevOps en Sprinklr
Comenzar con estos recursos
- Accelerate machine learning innovation with the right cloud services and infrastructure (Acelere la innovación de machine learning con los servicios y la infraestructura en la nube correctos)
- Propel 4 common machine learning use cases into production (Impulse 4 casos de uso habituales del machine learning en la fase de producción)
- Q&A: Choosing the right compute infrastructure for machine learning (Preguntas y respuestas: Elegir la infraestructura de computación correcta para el machine learning)