Угрожает ли вашей конфиденциальности распознавание лиц в клинической рутине?

Как я реконструировал свое лицо по МРТ-сканированию мозга

Полезен ли этот проект? Нет. Это вдохновляет? Также нет. Но разве это весело? Да, я так думаю.

Два года назад я наткнулся на статью, в которой говорилось, что авторам удалось идентифицировать анонимных участников исследовательского проекта МРТ с помощью МРТ-сканирования мозга и программного обеспечения для распознавания лиц (Шварц и др.). Эта статья привлекла большое внимание и была процитирована в статье Wall Street Journal, в которой говорилось, что:

Эта находка привлекает внимание к угрозе конфиденциальности, которая будет возрастать по мере совершенствования технологий и роста объемов медицинских данных, считают эксперты в области медицинской визуализации и распознавания лиц.

Я был впечатлен тем, что реконструкция может быть выполнена так легко, с помощью нескольких строк кода и некоторого бесплатного программного обеспечения. Поскольку это казалось вполне выполнимым, я решил попробовать это на своих собственных данных. За свою жизнь я получил пару снимков МРТ головного мозга, сделанных в стандартных клинических условиях.

Моя цель состояла в том, чтобы реконструировать свое лицо по МРТ-изображению моего мозга, которое у меня есть, и выполнить распознавание лиц с моими реальными фотографиями.

Давайте погрузимся в увлекательный мир МРТ и распознавания лиц и выясним, почему исследователи, компании, занимающиеся визуализацией, и больницы должны очень внимательно относиться к сохранению личной информации своих пациентов.

Почему МРТ-изображения головного мозга сохраняют черты лица?

Магнитно-резонансная томография (МРТ) — это хорошо разработанный неинвазивный метод визуализации, который используется для создания изображений органов и тканей с высоким разрешением. В клинической практике, если у пациента проявляются симптомы рака, эпилепсии или любого неврологического расстройства, может быть назначена МРТ головного мозга. Изображения в МРТ создаются путем записи сигнала, который создается на основе ядерного магнитного резонанса (ЯМР), геометрическое положение которого в пространстве кодируется с помощью градиентных магнитных полей. В клинической практике МРТ основана на возбуждении протонов ядер водорода в тканях, поскольку позволяет получать высококачественные анатомические изображения благодаря высокому гиромагнитному отношению. протонов и их большое количество в биологических тканях, особенно в воде и жире.

Если говорить предельно упрощенно, то вода (ок. 40%) и жир (ок. 60%) — основные компоненты мозга (люди — огурцы с тревогой ©). Конечно, с биологией сложнее. Однако ЯМР и МРТ не очень заботятся обо всех различных компонентах. Если поместить человека в сканер, то сильное магнитное поле увидит протоны, и ему будет все равно, в мозгу ли они, в носу или в щеках. Вот почему, когда радиолог делает предварительное сканирование, чтобы определить точное местоположение вашего мозга, записывается и лицо целиком. А если это записано, то это можно и визуализировать.

Как это можно визуализировать? Идея следующая: поскольку МРТ регистрирует сигналы с каждого положения лица, а сигнал пропорционален количеству атомов водорода в этом месте, мы могли бы попытаться реконструировать поверхность, основываясь на сигнале с каждой точки МРТ. изображение. Конвейер, который я использовал для реконструкции своего лица по скану T1, был следующим:

1. Сделайте МРТ (мне это сделали по медицинским показаниям).
2. Получите файлы DICOM изображения МРТ на вашем ПК. DICOM — это формат изображений, обычно используемый в клинической практике.
3. Перенести DICOM в NIFTI (с NIFTI работать гораздо проще, т.к. в Python и Matlab есть пакеты для работы с форматом .nii). Вы также можете визуализировать NIFTI, в том числе с помощью программного обеспечения ITK-Snap.
4. Выполните шумоподавление изображения с помощью Matlab (например, с помощью функции MainMRIDenoising от Pierrick Coupe). Некоторые изображения в МРТ страдают такими артефактами, как алиасинг. В этом случае эту ошибку необходимо исправить, поместив недостающую информацию в нужное место.
5. Перенесите файл .nii в .surf.gii, который представляет собой реконструкцию поверхности. Эту операцию можно выполнить, например, с помощью функции nii_nii2gii, написанной для Matlab (от Chris Rorden’s Lab). Важными параметрами для создания поверхности являются порог для изоповерхности, reduceFrac, представляющий коэффициент упрощения сетки, и smooth, приводящий к размытию изображения.
6. Вновь созданный файл .surf.gii далее конвертируется в Gifti. Это позволяет нам увидеть правильно реконструированную поверхность, которую можно визуализировать с помощью Matlab или другого программного обеспечения (например, SurfIce, созданного для нейробиологических целей).

Таким образом, из изображения МРТ после некоторых преобразований получается следующее изображение. Выглядит настоящим, да?

Давайте кодировать!

Теперь я покажу вам, насколько хорошо реконструированное изображение совпадает с моей реальной фотографией (см. ниже). Для этого я использовал пакеты face_recognition и dlib от Python. Приведенный ниже код взят из здесь, здесь и здесь. Для выполнения распознавания лиц и определения черт лица используется предварительно обученная модель глубокого обучения от dlib.

Ищем лица на картинках.

Давайте также нарисуем обнаруженные черты лица на изображениях.

В то время как на реальной фотографии ориентиры расположены правильно, на реконструированном изображении форма лица очерчена не идеально. В этом аспекте можно проделать дополнительную работу, поскольку распознавание оказывается очень чувствительным к освещению реконструированного изображения.

Здесь вы найдете ссылку на репозиторий GitHub с полным блокнотом Jupiter.

Если вы никогда не думали об этом, должны ли вы сейчас беспокоиться о своих медицинских данных?

Если вы не уверены в конфиденциальности своих данных, постарайтесь понять, как данные защищены и как они используются. Не продавайте свои данные и тщательно обдумайте, что вы даете разрешение делать с вашими данными! Контракты на обмен данными существуют именно для этой цели. Однако, если вы лечитесь в больнице, имейте в виду, что существует множество инструментов, защищающих вашу конфиденциальность. Эти инструменты очень хорошо продуманы. Также целью сбора данных в больнице является улучшение вашего здоровья.

В той же статье Wall Street Journal говорится следующее:

Однако угрозы конфиденциальности со стороны МРТ, вероятно, ограничены, и в рамках исследования программного обеспечения для распознавания лиц удалось избежать некоторых более сложных проблем, встречающихся в повседневной жизни, сказал г-н Шварц и другие исследователи, которые не участвовали в исследовании.

«Риск для типичного пациента действительно невелик», — сказал Элиот Сигел, профессор радиологии Медицинской школы Университета Мэриленда, изучавший этот вопрос, но не участвовавший в недавнем исследовании.

По его словам, исследователи обычно обязуются не пытаться идентифицировать участников медицинских исследований по контрактам на обмен данными. Программное обеспечение для распознавания лиц также, вероятно, не будет работать при поиске совпадений среди тысяч случайных фотографий вместо десятков изображений.

Существует ряд инструментов для удаления лица (дефейсинга) и анонимизации медицинских изображений, которые обычно применяются. Для научных исследований финансирование предоставляется только в том случае, если гарантируется надлежащая защита данных. Так что не слишком тревожьтесь! Также постоянно разрабатываются новые инструменты для удаления лица. В 2021 году Шварц и соавт. опубликовал еще одну бумагу, предлагающую новые подходы к удалению черт лица, и ведутся активные исследования как в области снижения распознавания лиц на медицинских сканах, так и в сохранении качества изображения.

Источники

Шварц, Кристофер Г. и др. «Идентификация анонимных участников исследования МРТ с помощью программного обеспечения для распознавания лиц». Медицинский журнал Новой Англии 381.17 (2019): 1684–1686.