Costruirò pipeline di dati scalabili con opensearch per ricerche rapidissime


Informazioni su questo servizio
Traduzione automatica.
Creo pipeline di dati OpenSearch che gestiscono carichi di lavoro in produzione, dalla progettazione dello schema al deployment su AWS.
Cosa consegno
Ingestione dati: pipeline ETL asincrone usando Python (asyncio, aiohttp). Modalità di elaborazione batch e in tempo reale. Supporto multi-sorgente: API, database, file, stream.
Configurazione OpenSearch: mapping degli indici ottimizzato per i tuoi pattern di query. Analizzatori e tokenizer personalizzati. ottimizzazione della rilevanza e query di aggregazione.
Integrazione AWS: funzioni Lambda per l'ingestione event-driven. S3 per lo staging dei dati grezzi. SQS/SNS per l'elaborazione basata su code. Deployment su Amazon OpenSearch Service.
Piattaforma tecnologica:
- Search: OpenSearch
- Lingue: Python
- AWS: Lambda, S3, SQS, SNS, OpenSearch, CloudWatch
Esperienza:
- Ho sviluppato un motore crawler asincrono che ha ingestito oltre 100K documenti in OpenSearch
- Ho pubblicato ricerche sui sistemi di ricerca distribuiti (ICOCI 2023)
- Ho progettato pipeline ETL per sistemi di serie temporali
- Esperienza con architetture multi-tenant e monitoraggio della qualità dei dati
Casi d'uso:
- Ricerca di prodotti e-commerce
- Analisi e monitoraggio dei log
- Ricerca di documenti/contenuti
- Pannelli di controllo in tempo reale
Prima di ordinare:
- Scrivimi con i tuoi requisiti. Valuterò il tuo caso d'uso e ti confermerò il pacchetto più adatto.
Scopri di più su Asadullah
Python Backend Developer, AWS, Data Engineering
- DaBangladesh
- Membro daott 2023
- Tempo di risposta medio3 giorni
- Ultima consegna10 mesi
Lingue
Bengali, Inglese
Traduzione automatica.
Il mio portfolio
Altri servizi della categoria Sviluppo di software offerti da me
FAQ
Traduzione automatica.
Voglio integrare un motore di ricerca personalizzato nella mia applicazione web.
Ottimo. Posso usare OpenSearch per archiviare documenti indicizzati per i tuoi articoli e quindi fornire API per gestire query complesse in base ai requisiti dell'utente. Posso anche generare statistiche sui tuoi dati e fornire API per alimentare una dashboard.
Ho un'applicazione che archivia file di documenti su S3. Come posso indicizzare tali documenti?
Posso configurare Amazon OpenSearch per te per archiviare documenti indicizzati. Posso usare un processore batch per indicizzare in blocco i documenti o attivare una Lambda per gestire i singoli file separatamente.
Devo fornire funzionalità di ricerca basate su dati testuali. Puoi aiutarmi?
Certo. Posso creare una pipeline che ingerisce dati, sia dal database primario che dai flussi di database, e quindi archivia in modo efficiente questi grandi dati testuali in OpenSearch. Posso creare query complesse da eseguire su cluster OpenSearch e fornire risultati classificati in base alla pertinenza.
2 recensioni per questo servizio
| (2) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Valutazione dettagliata
- Livello di comunicazione del venditore
- Qualità della consegna
- Valore della consegna
Ordina per
B 
bigfour98

Singapore
Quick to respond, polite, and display above-average understanding of opensearch
50 USD-100 USD
$
2 giorni
Tempo
Utile?C coghan

Stati Uniti
Very professional. Great work
100 USD-200 USD
$
5 giorni
Tempo
Utile?
2 recensioni per questo servizio
| (2) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Valutazione dettagliata
- Livello di comunicazione del venditore
- Qualità della consegna
- Valore della consegna
Ordina per
B 
bigfour98

Singapore
Quick to respond, polite, and display above-average understanding of opensearch
50 USD-100 USD
$
2 giorni
Tempo
Utile?C coghan

Stati Uniti
Very professional. Great work
100 USD-200 USD
$
5 giorni
Tempo
Utile?

