Я тренирую CNN с помощью этого [файла .config][1]:
rms_prop_optimizer: { learning_rate: { exponential_decay_learning_rate { initial_learning_rate: 0.004 decay_steps: 800720 decay_factor: 0.95 } } momentum_optimizer_value: 0.9 decay: 0.9 epsilon: 1.0 }}
Как видите, в качестве оптимизатора используется rms_prop. Что, если я захочу использовать Адама? Как я должен редактировать этот файл?
если я прав, вы пытаетесь использовать модель object_detection с предварительно обученной сетью, предлагаемой Tensorflow, я прав? Затем, если вы немного разбираетесь в программировании, вы можете заглянуть в models/research/object_detection/builders/optimizer_builder.py и посмотреть, какие оптимизаторы можно использовать и с какими параметрами. Вместо этого, если вам просто нужно готовое решение, вот как я это сделал:
optimizer {
# momentum_optimizer {
adam_optimizer: {
learning_rate: {
manual_step_learning_rate {
initial_learning_rate: .0002
schedule {
step: 4500
learning_rate: .0001
}
schedule {
step: 7000
learning_rate: .00008
}
schedule {
step: 10000
learning_rate: .00004
}
}
}
# momentum_optimizer_value: 0.9
}
use_moving_average: false
}
По своему (небольшому) опыту я заметил, что использование того же Learning_experience, что и momentum_optimizer, делает обучение слишком быстрым и/или приводит к NaN Losses, поэтому я обычно уменьшаю его в 10 и более раз. Я пытаюсь прямо сейчас. :)
