Как мы знаем, классификация изображений включает в себя извлечение признаков из изображения для наблюдения за некоторыми закономерностями в наборе данных. CNN следует иерархической модели, которая работает над созданием сети, такой как воронка, и, наконец, выдает полностью связанный слой (плотный слой), где все нейроны связаны друг с другом, а выходные данные обрабатываются.

СНС очень эффективно уменьшают количество параметров без потери качества моделей. Изображения имеют высокую размерность (поскольку каждый пиксель рассматривается как функция).

В 2017 году команда под руководством Эндрю Нг опубликовала документ, демонстрирующий модель глубокого обучения для выявления пневмонии. Эндрю — один из самых признанных исследователей в мире, и работа показала отличные результаты.

Но возникла большая проблема с результатами.

Посмотрим, сможете ли вы определить

проблема. Вот выдержка из

оригинальная статья, которую они опубликовали.

3.1. Обучение

Мы используем набор данных ChestX-rayl4, выпущенный Wang et al. (2017), который содержит 112 120 рентгеновских снимков в прямой проекции 30,80 млрд уникальных пациентов. Ван и др. (2017) аннотируют каждое изображение до 14 различных меток торакальной патологии, используя методы автоматического извлечения из рентгенологических отчетов. Мы помечаем изображения с пневмонией как одну из аннотированных патологий как положительные примеры, а все остальные изображения помечаем как отрицательные примеры для задачи обнаружения пневмонии. Мы случайным образом разделили весь набор данных на 80% обучения и 20% проверки.

Обратите внимание, что у них было примерно в четыре раза больше изображений, чем у пациентов. Это означает, что набор данных содержал несколько изображений, по крайней мере, для некоторых из их пациентов. Но это не проблема, верно?

Не совсем, за исключением того, что они случайным образом разбивают набор данных. Случайное разделение отправило бы изображения одного и того же пациента в наборы для обучения и проверки. Это создает дырявую стратегию проверки.

Вот пример:

Представьте пациента со шрамом от предыдущей операции. Модель может использовать эту информацию для прогнозирования. Каждое изображение с одним и тем же шрамом будет принадлежать к одному и тому же классу!

Мы называем это утечками. Позже команда опубликовала статью, исправляющую ошибку.

Теперь мы замечаем, что между наборами нет совпадения пациентов.

3.1. Обучение

Мы используем набор данных ChestX-rayl4, выпущенный Wari et al. (2017), который содержит 112 120 рентгеновских снимков в прямой проекции 30 805 уникальных пациентов. Ван и др. (2017) аннотируют каждое изображение до 14 различных меток торакальной патологии, используя методы автоматического извлечения из рентгенологических отчетов. Мы помечаем изображения с пневмонией как одну из аннотированных патологий как положительные примеры, а все остальные изображения помечаем как отрицательные примеры. Для задачи обнаружения пневмонии мы случайным образом разделили набор данных на обучение (28744 пациента, 98637 изображений), проверку (1672 пациента, 6351 изображение) и тест (389 пациентов, 420 изображений). Между наборами нет перекрытия пациентов.

Уроки этой истории:

  • Случайные разбиения могут привести к дырявой стратегии проверки. Остерегайтесь этого!
  • Все совершают ошибки. Так мы учимся и добиваемся прогресса.