Finch Computing reduce los costos de inferencia en un 80 % con AWS Inferentia para la traducción de idiomas

Con oficinas en Reston (Virginia) y Dayton (Ohio), Finch, una combinación de las palabras «find» y «search» (encontrar y buscar en inglés), presta servicios a empresas multimedia y agregadores de datos, organizaciones gubernamentales y de inteligencia estadounidenses y empresas de servicios financieros. Sus productos se centran en el NLP, un subconjunto de la inteligencia artificial que entrena a los modelos para que comprendan los matices del lenguaje humano, lo que incluye descifrar el tono y la intención. Su producto Finch for Text utiliza cálculos de machine learning (ML) densos y paralelos que se basan en una computación acelerada y de alto rendimiento para poder ofrecer a los clientes información casi en tiempo real sobre sus activos de información. Por ejemplo, su función de desambiguación de entidades ofrece a los clientes la posibilidad de interpretar el significado correcto de una palabra que tiene varios significados o grafías.

Finch amplió sus capacidades para admitir el holandés, lo que hizo surgir la idea de que necesitaba ampliarse aún más para incluir el francés, el alemán y el español, entre otros idiomas. Esta decisión resultó acertada no solo porque los clientes de Finch tenían mucho contenido en esos idiomas, sino también porque los modelos capaces de admitir idiomas adicionales podían atraer a nuevos clientes. Finch necesitaba encontrar una forma de procesar una cantidad significativa de datos adicionales sin afectar el rendimiento o los tiempos de respuesta, factores críticos para sus clientes, ni aumentar los costos de implementación.

En AWS re:Invent 2021, una conferencia anual organizada por AWS para la comunidad mundial de computación en la nube, los representantes de Finch conocieron las instancias basadas en AWS Inferentia en Amazon Elastic Compute Cloud (Amazon EC2), que ofrecen una capacidad de computación segura y redimensionable para prácticamente cualquier carga de trabajo. AWS presentó a Finch al socio de AWS Slalom, una empresa de consultoría centrada en la estrategia, la tecnología y la transformación empresarial. Durante los dos meses posteriores a AWS re:Invent, los miembros de los equipos de Slalom y Finch trabajaron en la creación de una solución rentable. «Además de recibir orientación del equipo de AWS, contactamos con Slalom, lo que nos ayudó a optimizar nuestras cargas de trabajo y a acelerar este proyecto», afirma Scott Lightner, Founder y Chief Technology Officer de Finch.

Juntos, Finch y Slalom crearon una solución que optimizó el uso de las instancias Amazon EC2 Inf1 basadas en AWS Inferentia, que ofrecen inferencias de machine learning de alto rendimiento a un bajo coste en la nube. «Dado el coste de las GPU, nos habría resultado imposible ofrecer a nuestros clientes idiomas adicionales y, al mismo tiempo, mantener la rentabilidad de nuestro producto», afirma Lightner. «Las instancias Inf1 de Amazon EC2 cambiaron esa ecuación para nosotros».

Los modelos de traducción de aprendizaje profundo patentados por la empresa se ejecutaban en PyTorch en AWS, un marco de aprendizaje profundo de código abierto que facilita el desarrollo de modelos de machine learning y su implementación en la producción. Finch usó Docker para incluir en contenedores e implementar sus modelos de PyTorch. Finch migró estos modelos con un uso intensivo de computación de instancias basadas en GPU a instancias de Amazon EC2 Inf1 con tecnología de AWS Inferentia. Las instancias Inf1 de Amazon EC2 se crearon para acelerar un conjunto diverso de modelos, que van desde la visión artificial hasta el NLP. El equipo pudo crear una solución capaz de combinar los tamaños de los modelos y mantener el mismo rendimiento que cuando utilizaba GPU, pero a un costo significativamente menor. «Con AWS Inferentia, podemos obtener el rendimiento necesario a un precio asequible para nuestros clientes», afirma Lightner.

La estrategia implicó la implementación de contenedores Docker en Amazon Elastic Container Service (Amazon ECS), un servicio de orquestación de contenedores totalmente gestionado que facilita a las organizaciones la implementación, la administración y el escalado de las aplicaciones en contenedores. La solución incorporaba las AMI de aprendizaje profundo de AWS (DLAMI), entornos preconfigurados para crear aplicaciones de aprendizaje profundo rápidamente. Finch incorporó las AMI de AWS Inferentia a su cartera de DevOps y actualizó sus plantillas de infraestructura como código para utilizar AWS Inferentia con el objetivo de ejecutar contenedores personalizados mediante Amazon ECS. «Cuando nuestra canalización de DevOps se ejecutó en instancias Inf1 de Amazon EC2 y Amazon ECS, pudimos implementar rápidamente más modelos de aprendizaje profundo», afirmó Franz Weckesser, Chief Architect de Finch. De hecho, Finch creó un modelo compatible con el idioma ucraniano en solo 2 días. En pocos meses, Finch implementó tres modelos de machine learning adicionales, compatibles con el NLP en alemán, francés y español, y mejoró el rendimiento de su modelo holandés existente.

Al utilizar las instancias Inf1 de Amazon EC2, la empresa mejoró la velocidad de desarrollo de estos nuevos productos y, al mismo tiempo, redujo sus costos de inferencia en más de un 80 %. La incorporación de los nuevos modelos atrajo a clientes interesados en obtener información de los idiomas adicionales y recibió comentarios positivos de los clientes existentes. «Siempre hay desafíos a la hora de realizar cambios radicales en la infraestructura», afirma Lightner. «Pero pudimos superarlos rápidamente gracias a la perseverancia de nuestro equipo con la ayuda de Slalom y AWS. El resultado final hizo que valiera la pena».

Finch espera seguir migrando más modelos a AWS Inferentia. Estos modelos incluyen Sentiment Assignment (asignación de sentimientos), que identifica un contenido como positivo, negativo o neutral, y una nueva función llamada Relationship Extraction (extracción de relaciones), una aplicación con uso intensivo de computación que descubre las relaciones entre las entidades mencionadas en el texto. Además, Finch continúa añadiendo nuevos idiomas, y tiene planes para el árabe, el chino y el ruso próximamente. «Nuestra experiencia trabajando en AWS Inferentia ha sido excelente», afirma Lightner. «Ha sido fantástico contar con un proveedor de servicios en la nube que colabora con nosotros y nos ayuda a crecer con nuestro negocio».