Use case dashboard Comex

Architecture d'intégration Dataiku vers Iceberg pour le dashboard Comex (Zone Gold)

Use case dashboard ComexGOLD

Architecture d'intégration d'Oracle vers Iceberg pour le dashboard Comex (Use case CX).

Ingestion Schématique (Zone Gold)

Transformation des données depuis la source Oracle vers les tables Iceberg via Dataiku PySpark.

Source Oracle PySpark Dataiku Datalake Iceberg

CF_D_SERVICE

test_cf_d_service

CF_F_BUDGET_I_OPEX

cf_f_budget_i_opex_copy

CF_F_BUDGET_CAPEX

cf_f_budget_capex_copy

CF_F_PROFIT

GOLD_F_PROFIT

CF_F_LOSS

CF_F_LOSS_COPY

CF_F_BUDGET_OPEX

CF_F_BUDGET_OPEX_copy

CF_F_BUDGET_I_CAPEX

CF_F_BUDGET_I_CAPEX_copy

CF_D_LOSS

CF_D_LOSS_copy

Recette PySpark Type

Script d'ingestion standardisé de Dataiku vers le Datalake Iceberg.

from dataiku import spark as dkuspark
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql import SparkSession

# Configuration de la session Spark avec Iceberg
spark = SparkSession.builder \
    .appName("Iceberg") \
    .config("spark.sql.catalog.iceberg_catalog", "org.apache.iceberg.spark.SparkCatalog") \
    .config("spark.sql.catalog.iceberg_catalog.type", "hive") \
    .config("spark.sql.catalog.iceberg_catalog.warehouse", "/user/dataiku/dataiku2/lakehouse/prd/gold/comex/dashboard_comex") \
    .enableHiveSupport() \
    .getOrCreate()

sc = spark.sparkContext
sqlContext = SQLContext(sc)

# Lecture des données (via la connexion Oracle dans Dataiku)
CF_F_PROFIT = dataiku.Dataset("CF_D_SERVICE")
CF_F_PROFIT_df = dkuspark.get_dataframe(sqlContext, CF_F_PROFIT)

# Écriture dans la table Iceberg en utilisant le nom complet de la table
CF_F_PROFIT_df.writeTo("iceberg_catalog.dku_dataiku2.GOLD_CF_D_SERVICE") \
    .using("iceberg") \
    .overwritePartitions()