Configurerò un catalog Iceberg PostgreSQL con spark e trino

Alcune informazioni sono state tradotte automaticamente.
Michal Moc

Repubblica Ceca

Parlo Inglese, Ceco

14 ordini completati

DOTNET, C sharp, pipeline ETL

Oltre 4 anni di esperienza nel fintech con .NET / C# (più di 6 anni in totale). Costruisco e mantengo sistemi critici per l'infrastruttura bancaria di investimento. Posso offrirti: ✅ API REST backen...
Continua a leggere
Informazioni su questo servizio

Configurerò un catalog Iceberg completamente Dockerizzato supportato da PostgreSQL usando l'interfaccia JDBC, pronto a connettersi con Apache Spark e Trino. Questa configurazione leggera ma potente è perfetta per creare prototipi di lakehouse reali senza affidarsi a Hive o Nessie.


Ottieni (in base al pacchetto scelto):


  • Configurazione Docker Compose con PostgreSQL e Apache Iceberg
  • Integrazione del catalog JDBC per Spark e Trino
  • Supporto opzionale per ingestion e PySpark (livello Premium)
  • Esempio di tabella Iceberg e query cross-engine
  • Struttura modulare con documentazione completa


Puoi usare questo per:


  • Sviluppo leggero di Iceberg locale o in cloud
  • Condividere un catalogo di metadati tra Spark e Trino
  • Prototipare configurazioni lakehouse compatibili JDBC
  • Insegnare o dimostrare il comportamento del catalogo senza Hive
  • Semplificare i workflow di metadata per data engineer


Tutto è modulare, minimale e facile da sviluppare.


Nota bene:


  • I deliverable dipendono dal pacchetto scelto
  • Offerte personalizzate sono disponibili - scrivimi pure!
  • Inclusi 2 messaggi di follow-up per chiarimenti dopo la consegna
  • Sei responsabile dei test e dell'esecuzione nel tuo ambiente
Continua a leggere
set up a postgresql iceberg catalog with spark and trino
Schermo intero
set up a postgresql iceberg catalog with spark and trino

Destination Platform:

Databricks Lakehouse

•

PostgreSQL

+3 in più

Strumenti e piattaforme:

Kafka Connect

•

Pentaho Data Integration

+3 in più

Il mio portfolio

Tag correlati