Pinterest su AWS
Pinterest è un motore di scoperta visiva che ospita miliardi di immagini che oltre 450 milioni di utenti possono esplorare, salvare e condividere come "Pin" su bacheche di ispirazione digitali personalizzate. Nato nel cloud Amazon Web Services (AWS), Pinterest è in grado di dimensionare l'elaborazione, l'archiviazione e l'analisi dei suoi dati in rapida crescita, il tutto riducendo la gestione dell'infrastruttura e concentrandosi sull'innovazione. Utilizzando le soluzioni di elaborazione di AWS, Pinterest ha migrato la sua pipeline iOS di integrazione continua e distribuzione continua (CI/CD) dall'ambiente on-premise per ridurre gli errori di compilazione di oltre l'80%. Inoltre, utilizza il machine learning (ML) per potenziare il suo strumento di ricerca visiva Pinterest Lens, in grado di riconoscere oltre 2,5 miliardi di oggetti e abbinarli ai prodotti. Attualmente, la piattaforma di dati exabyte di Pinterest funziona interamente su AWS, scalando la ricerca e l'analisi dei log a oltre 1,7 TB e riducendo i costi operativi del 30%.
-
Pinterest re:Invent 2023 - Riepilogo
-
Archiviazione
-
Soluzioni di dati
-
Machine learning
-
Migrazione
-
Ottimizzazione dei costi
-
Sicurezza
-
Sostenibilità
-
Pinterest re:Invent 2023 - Riepilogo
-
2023
AWS Graviton: il miglior rapporto prezzo/prestazioni per i carichi di lavoro AWS
Le istanze Amazon EC2 basate su AWS Graviton offrono il miglior rapporto prezzo/prestazioni per i carichi di lavoro in Amazon EC2. In questa sessione, scoprirai il processore AWS Graviton ed esaminerai le prestazioni dei carichi di lavoro, le storie di successo dei clienti AWS, l'efficienza energetica e le offerte software. Scopri le best practice per ottimizzare i carichi di lavoro su AWS Graviton in varie applicazioni e come iniziare il tuo percorso con AWS Graviton.
2023Addestramento dei modelli di grandi dimensioni su AMI AWS Deep Learning e PyTorch con Pinterest
Partecipa alla sessione per approfondire l'infrastruttura utilizzata per addestrare modelli di grandi dimensioni su Pinterest. Copre l'hardware di addestramento, l'orchestrazione di calcolo e gli SDK per lo sviluppo di applicazioni ML, nonché il modo in cui le scelte infrastrutturali accelerano lo sviluppo e migliorano l'efficienza dell'addestramento dei modelli. Scopri come Pinterest integra servizi AWS come UltraClusters Amazon EC2 e AMI AWS Deep Learning per ridurre il costo totale di proprietà dell'infrastruttura di ML.
2023Pinterest estende il data lake esistente con l'IA generativa
Pinterest è la piattaforma di ispirazione visiva cui gli utenti accedono per cercare, salvare e acquistare le migliori idee al mondo. Ascolta cosa afferma Dave Burgess, Vice President of Data Engineering presso Pinterest, sul data lake su scala exabyte e su come stanno utilizzando tali dati con l'IA generativa.
-
Archiviazione
-
2024
Spark sulla rete Amazon EKS – Parte 1
In questo post, mostriamo come Pinterest e AWS abbiano raccolto i requisiti e formulato i principi per un piano di progettazione di reti al fine di supportare implementazioni su larga scala nel mondo reale. Il processo è stato fondamentale per definire l'ambito del problema, stabilire i confini entro i quali operare, allinearsi con le parti interessate sui requisiti e stabilire un processo di collaborazione tra i team per raggiungere i nostri obiettivi.
2024Spark sulla rete Amazon EKS – Parte 2
In questo post, mostriamo un approccio iterativo e collaborativo come solida base per la nuova piattaforma di dati di Pinterest, ma anche per il futuro di Pinterest sul cloud. Si tratta di un progetto che ci è molto utile al momento, ma che possiamo e vogliamo continuare a perfezionare con nuove tecnologie, carichi di lavoro diversi e una nuova scala.
2023Risolvere il debito tecnologico e il backup dei dati critici su Pinterest
Scopri come Ambud Sharma, tech lead and engineering manager presso Pinterest, ha scoperto la sua passione per la tecnologia e come la sua ricerca sui sistemi di distribuzione lo ha portato a costruirli da zero. Ambud spiega anche come Amazon Simple Storage Service (Amazon S3) sia stato fondamentale per alcuni lavori di Pinterest, descrivendolo come un punto di svolta per il suo lavoro in corso.
2022Crea con me: Pinterest e AWS
Scopri come Ambud Sharma, tech lead and engineering manager presso Pinterest, ha scoperto la sua passione per la tecnologia e come la sua ricerca sui sistemi di distribuzione lo ha portato a costruirli da zero. Ambud spiega anche come Amazon Simple Storage Service (Amazon S3) sia stato fondamentale per alcuni lavori di Pinterest, descrivendolo come un punto di svolta per il suo lavoro in corso.
2022Come Pinterest utilizza AWS per creare un sistema per accelerare i tempi di sviluppo
Cercando di abilitare i propri utenti durante l'implementazione di strumenti di analisi, Pinterest ha compreso che questi utenti dovrebbero disporre dell’autorizzazione per accedere ai dati. Pinterest ha utilizzato Amazon S3 e AWS Identity and Access Management (IAM) per creare un sistema di controllo degli accessi a grana fine per garantire che fossero disponibili le autorizzazioni utente corrette, il che, in cambio, ha migliorato i tempi di sviluppo per gli utenti interni.
2021Come Pinterest ha collaborato con AWS per creare un nuovo modo di gestire l'accesso ai dati
Con migliaia di ingegneri e sviluppatori al lavoro sulla sua piattaforma, Pinterest aveva bisogno di limitare l'accesso ai dati a utenti e processi specifici; rivolgendosi ad AWS, ha cercato di elaborare una soluzione. Scopri la collaborazione tra Pinterest e AWS per sviluppare il sistema Fine Grain Access Control (FGAC), scalabile e sicuro, per i dati di Pinterest su Amazon S3 e come FGAC aiuta Pinterest a dare maggior risalto ai creatori sottorappresentati.
2021Scopri come Pinterest utilizza Deep Archive Amazon S3 Glacier per gestire l'archiviazione del suo motore di scoperta visiva
In qualità di utente su larga scala di Amazon S3, Pinterest archivia miliardi di oggetti e quasi un exabyte di dati in più regioni AWS. Scopri come Pinterest utilizza Amazon S3 Lifecycle per assegnare dati alle classi di archiviazione ottimali di Amazon S3, aiutando a raggiungere obiettivi su larga scala in termini di costi e a massimizzare l'efficienza dell'archiviazione.
2021Suggerimenti di Pinterest e AWS per una collaborazione innovativa ed efficace
Keith Regier, engineering manager presso Pinterest, e Doug Youd, senior solutions architect di AWS, condividono sei suggerimenti tratti dalla loro esperienza di collaborazione nella creazione del sistema FGAC di Pinterest. Scopri informazioni utili, tra cui come definire chiaramente un problema, perché anche le “cattive” idee possono essere utili e cosa può fare AWS per aiutare clienti come Pinterest a sviluppare soluzioni a difficili sfide tecniche.
Trattandosi di una piattaforma basata sulla visualizzazione, Pinterest fa molto affidamento sulla velocità e sulla qualità delle immagini. Tuttavia, il testo dietro queste immagini è altrettanto importante, in quanto fornisce un contesto e rende i Pin utilizzabili per i 200 milioni di "Pinner" attivi. Utilizzando la funzionalità Text in Image di Amazon Rekognition, è possibile migliorare il modo di estrarre il ricco testo delle immagini su vasta scala e a bassa latenza per i milioni di Pin archiviati su Amazon S3."
Vanja Josifovski
Chief Technology Officer presso Pinterest
-
Soluzioni di dati
-
2022
Come Pinterest ha collaborato con AWS Proserve per garantire ai Pinner un accesso sempre attivo alla sua piattaforma
Crescendo rapidamente con grandi quantità di dati, Pinterest ha riconosciuto la necessità di stabilire un piano di ripristino di emergenza. Pinterest ha collaborato con AWS Professional Services per sfruttare le soluzioni già esistenti su AWS e prendere quasi exabyte di dati, modificarli e distribuirli a livello regionale.
-
Machine learning
-
2022
Pinterest Lens aiuta gli utenti a trovare e acquistare l'articolo perfetto
Pinterest si basa sulle soluzioni di archiviazione ed elaborazione di AWS per alimentare i motori di ML alla base della funzionalità Lens della fotocamera della sua app, che viene utilizzata per condurre centinaia di milioni di ricerche visive ogni mese. Scopri come Lens può essere utilizzato come concierge digitale per aiutare gli utenti a reperire e acquistare articoli in pochi minuti.
Pinterest sviluppa continuamente sistemi di machine learning per rilevare oggetti per casi d'uso di ricerca visiva e moderazione. A tale scopo, ha la necessità di etichettare milioni di immagini per generare i set di dati di addestramento richiesti. Pinterest dispone di una piattaforma di etichettatura esistente che ha integrato servizi Amazon come Amazon Mechanical Turk. Siamo stati felici di esplorare l'utilizzo di SageMaker Ground Truth per estendere questa piattaforma per supportare le attività di etichettatura dei rettangoli di selezione. Abbiamo scoperto che SageMaker Ground Truth fornisce un'interfaccia semplice e ottimizzata per avviare lavori di etichettatura."
Veronica Mapes
Responsabile programmi tecnici, Pinterest
2018Approfondimenti su Amazon Rekognition, con Pinterest
Scopri come Pinterest può aggiungere facilmente analisi intelligenti di immagini e video alle applicazioni che utilizzano Amazon Rekognition per automatizzare i flussi di lavoro manuali, migliorare la creatività e fornire esperienze cliente più personalizzate.
-
Migrazione
-
2021
Pinterest migliora l'affidabilità della pipeline di build di iOS dell'80,5% grazie alle istanze Mac di Amazon EC2
In questo caso di studio, scopri come Pinterest ha migrato la sua pipeline di integrazione continua e distribuzione continua (CI/CD) per le applicazioni iOS dai computer locali alle istanze Mac di Amazon Elastic Compute Cloud (Amazon EC2). Su AWS, gli sviluppatori di Pinterest possono ora fornire l'accesso agli ambienti di calcolo macOS nel cloud senza problemi, riducendo dell'80,5% gli errori di compilazione dovuti alle macchine e migliorando la velocità di sviluppo del 18,4%.
-
Ottimizzazione dei costi
-
2023
Pinterest implementa una strategia conveniente sfruttando AWS
Scopri come Pinterest affronta le sfide relative alla propria impronta di calcolo in termini di disponibilità ed efficacia dei costi. Molly Junck, Infrastructure Governance Technical Program Manager presso Pinterest, spiega come lavorare a stretto contatto con l'account team di Amazon Web Services (AWS) abbia aiutato Pinterest a soddisfare le proprie esigenze tecnologiche in evoluzione man mano che queste crescevano e si espandevano.
2020Pinterest dimensiona la ricerca e l'analisi giornaliere dei log da 500 GB a 1,7 TB e riduce i costi del 30% sul servizio OpenSearch di Amazon
Scopri come Pinterest ha migrato i suoi carichi di lavoro di analisi dei log e delle ricerche da strumenti Elasticsearch autogestiti e di terze parti al servizio OpenSearch di Amazon. Dopo la migrazione, Pinterest ha dimensionato le sue capacità giornaliere di importazione di dati da 500 GB a 1,7 TB in appena un anno, riducendo i costi operativi del 30%, migliorando la sicurezza dei dati e aumentando la produttività degli ingegneri.
-
Sicurezza
-
2024
Raggiungere la sicurezza zero trust su Amazon EKS con Istio
In questo post, trattiamo i meccanismi di sicurezza di Istio, che ci consentono di implementare una vera architettura di sicurezza zero trust su Amazon EKS. Oltre alle funzionalità di sicurezza integrate per Request Authentication, Peer Authentication e Ingress security, abbiamo imparato a sfruttare strumenti aggiuntivi come Keycloak e OPA.
2022Come Pinterest ha collaborato con AWS Proserve per garantire ai Pinner un accesso sempre attivo alla piattaforma
Come Pinterest ha collaborato con AWS Proserve per garantire ai Pinner un accesso sempre attivo alla piattaforma.
2022Controllo degli accessi scalabile con la distribuzione di token STS
In questo video, Keith Regier, responsabile tecnico presso Pinterest, parla della soluzione scalabile di controllo degli accessi per cluster di istanze Amazon EC2 che richiedono l'accesso ai dati su Amazon S3. Scopri come Pinterest ha creato un servizio di distribuzione di token utilizzando il servizio di token di sicurezza AWS (STS) che aiuta a collegare il suo concetto interno di utenti e autenticazione alle policy gestite e AWS Identity and Access Management (IAM).
A Pinterest utilizziamo Amazon Elastic Container Registry (Amazon ECR) per la gestione delle immagini del container Docker. Utilizziamo la funzionalità di scansione delle immagini Amazon ECR per migliorare la sicurezza delle nostre immagini del container. Amazon ECR scansiona le immagini alla ricerca di una vasta gamma di vulnerabilità del sistema operativo e ci permette di sviluppare strumenti per agire sui risultati."
Cedric Staub
Direttore tecnico, Pinterest
-
Sostenibilità
-
2023
Pinterest e AWS Graviton: maggiori prestazioni e minore impronta di carbonio
Pinterest offre ispirazione a milioni di Pinner per creare una vita che amano. Per fare ciò, Pinterest vuole fornire le ultime innovazioni ai Pinner diventando, al contempo, più responsabile in materia di sostenibilità. Grazie all'adozione di AWS Graviton, Pinterest è in grado di fare di più con meno. Basarsi su AWS ha dato a Pinterest la flessibilità necessaria per disporre della tecnologia più recente, il supporto di un meraviglioso team all'avanguardia e la capacità di affrontare insieme qualsiasi sfida.
2024Migliorare la sostenibilità e le prestazioni dei prezzi grazie alle istanze basate su AWS Graviton con Pinterest
Scopri in che modo Pinterest ha migliorato l'efficienza dei costi dell'infrastruttura e la sostenibilità ambientale grazie alle istanze basate su AWS Graviton.
2022Sostenibilità e silicio AWS
Scopri come la sostenibilità è integrata nelle decisioni sull'architettura AWS di Pinterest e come AWS continua a innovare nella progettazione dei chip mentre lavora per raggiungere l'obiettivo zero emissioni nette di carbonio entro il 2040.
Informazioni su Pinterest
Pinterest è una piattaforma di scoperta visiva e una rete di social commerce la cui missione è ispirare. Basandosi sulle soluzioni di archiviazione e di calcolo di AWS, Pinterest utilizza sofisticati motori di machine learning per fornire contenuti personalizzati ai propri utenti.