TF Profiler ile Darboğaz Analizi: Adım Adım

import tensorflow as tf

# Log dizinini tanımlayın
log_dir = "logs/profiler"

# TensorBoard + Profiler callback
tensorboard_cb = tf.keras.callbacks.TensorBoard(
    log_dir=log_dir,
    histogram_freq=1,
    profile_batch="5,10"  # 5-10. batch arasını profil et
)

model.fit(
    dataset,
    epochs=10,
    callbacks=[tensorboard_cb]
)

# TensorBoard'u başlatın:
# tensorboard --logdir=logs/profiler

# ❌ Yavaş pipeline
dataset = tf.data.TFRecordDataset(files)
dataset = dataset.map(parse_fn)
dataset = dataset.batch(32)

# ✅ Optimize edilmiş pipeline
AUTOTUNE = tf.data.AUTOTUNE

dataset = (
    tf.data.TFRecordDataset(files, num_parallel_reads=AUTOTUNE)
    .cache()
    .shuffle(buffer_size=10000, reshuffle_each_iteration=True)
    .map(parse_fn, num_parallel_calls=AUTOTUNE)
    .batch(32, drop_remainder=True)
    .prefetch(AUTOTUNE)
)

# Yöntem 1: Tüm modeli JIT derle
tf.config.optimizer.set_jit(True)

# Yöntem 2: Sadece eğitim adımını derle (önerilen)
@tf.function(jit_compile=True)
def train_step(x, y):
    with tf.GradientTape() as tape:
        logits = model(x, training=True)
        loss = loss_fn(y, logits)
    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))
    return loss

# İlk çağrı derleme yapar (~30s), sonrakiler hızlıdır

from tensorflow.keras import mixed_precision

# A100/H100 için bfloat16; RTX serisi için float16
policy = mixed_precision.Policy("mixed_bfloat16")
mixed_precision.set_global_policy(policy)

# Loss scaling (float16 için gerekli, bfloat16 için opsiyonel)
optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)
optimizer = mixed_precision.LossScaleOptimizer(optimizer)

# Model otomatik olarak yeni policy ile çalışır
model = build_model()  # Değişiklik gerekmez