Лица Победы: начало
Сегодня мы приоткроем завесу тайны и расскажем немножко о технологиях будущего Портала боевой славы. По правде говоря, я возлагаю большие надежды на то, что при помощи этих технологий мы сможем вернуть фронтовые фотографии героев Великой Отечественной войны в миллионы семей.
Задачей этой, честно признаюсь, занимаются многие, но в ручном режиме. На сайте «Бессмертного полка», например, есть раздел Неизвестный солдат. Если «Вы не знаете имени человека, который смотрит на вас со снимка», технологии сайта позволяют просто «поместить фото на сайте, подробно описать его», а потом, видимо, должно произойти чудо, и – «благодаря вам Неизвестный Солдат может обрести имя».
Я сам недавно вручил фотографию героя его правнучке и отдаю себе отчёт, что если бы не вовлеченность неравнодушных людей, которые помогли репостами в местной группе, и изрядная доля везения, то я до сих пор взывал к интернетам о помощи.
Поэтому для массовой доставки фронтовых фото героев Великой Отечественной войны их родственникам нужны технологии, позволяющие быстро, бесплатно и надежно определить личность бойца или командира на фотокарточке. Такой технологии, насколько мне известно, пока не существует.
Но любая технология, как известно, начинается с прототипа. Поэтому сегодня я вам расскажу о том, какие технологии рождаются в лаборатории «Боевой славы».
Мы поговорим о нескольких задачах, которые возникают в связи с анализом фронтовых фотографий:
Первая, базовая задача – выделить лицо и контуры героя на фотографии, причем с узнаванием одного и того же человека на разных фотографиях.
Вторая задача, в которой масса нюансов, но она хорошо формализуется – распознать знаки отличия и награды героев.
Третья и, вообще говоря, творческая и плохо формализуемая задача – комплексировать данные фотографий и открытых архивных источников, чтобы однозначно идентифицировать героя или хотя бы сократить круг подходящих героев до минимума.
Ну и четвёртая задача, предельно сложная, но без которой все остальные не имеют особого смысла – подтвердить по личным документам или у родственников героя, что на фотографии действительно он. Для этого, понятное дело, эти документы или родственников надо сначала найти.
Всё началось с вот этой фронтовой фотографии из семейного альбома. На ней в центре мой дед, майор Берёзко Захар Васильевич, замполит 120 минометного полка.
Цель нашего исследования – ответить на вопрос: кто герой на фотографии слева от майора Берёзко?
Возможно также, что два дополнительных фото из семейного архива нам помогут получить ответ на вопрос. А полученный ответ, в свою очередь, поможет нам понять, кто остальные командиры на двух других фотографиях:
Примечание: в этом исследовании будут только фотографии бойцов и командиров в погонах – то есть, сделанные после проведенной в феврале 1943 года реформы знаков отличия (про реформу можно почитать, например, в этой статье). Но все алгоритмы будут работать и с дореформенными знаками отличия, да и вообще с любыми изображениями, на которых можно провести машинное обучение, хоть с иллюстрациями времен Отечественной войны 1812 года.
Забегая вперёд: я вовсе не рассчитывал, что почти 4 месяца буду искать ответ на вопрос! Но этот поиск позволил сделать несколько полезных обобщений, которыми я поделюсь по ходу изложения.
Итак, существует четыре уровня сложности задач, связанных с фронтовыми фотографиями.
Задача 1: отметить одного и того же героя на фотографиях
Вы можете сразу узнать Захара Васильевича и выделить его на трех фотографиях. Сегодняшний уровень технологий позволяет автоматизировать процесс поиска лиц на фотографиях, более того, достаточно надежно идентифицирует уже известные лица на фотографиях (вас же не удивляют сообщения на фейсбуке о том, что кто-то загрузил фотографию, на которой есть вы?).
Вот Захар Васильевич Берёзко (его местоположение на фотографиях обозначено красным).
Как показал небольшой эксперимент, люди достаточно быстро находят одного и того же Героя на всех фотографиях. В нашем примере на фото 1 наш герой – слева, на фото 2 – второй справа в верхнем ряду, на фото 3 – стоит 4-й слева (местоположение обозначено жёлтым).
Текущий уровень развития технологий, как было сказано, позволяет выделить лица. Но существует проблема с тем, чтобы надежно распознать одного и того же человека на старых черно-белых фотографиях. Например, по форме ушей и другим деталям человек с уверенностью может сказать, что капитан на фото 1 и два командира на фото 2 – три разных человека, но алгоритм может давать ложные срабатывания.
Задача 2: распознать знаки отличия, ордена и медали на фотографиях
Рода войск и звания на погонах довольно чётко видны на многих фотографиях. Например, у моего деда на погонах род войск – артиллерия и звание – майор. Если присмотреться к нашему герою, то окажется, что за время, прошедшее между фотографиями 1 и 2, он был повышен в звании: старший лейтенант на фото 1, капитан на фото 2. (На фото 3, к сожалению, погоны не рассмотреть).
Это, кстати, полевые погоны! Они отличались от повседневных защитным цветом.
С наградами ситуация более интересная. Мой дед был награждён «За оборону Ленинграда» 20 июля 1943 года, я об этом рассказывал, и эта медаль есть на фото 2, но отсутствует на фото 1 и 3. Благодаря этому мы можем сделать вполне обоснованное предположение, что фото 1 и 3 были сделаны до 20 июля, а фото 2 – после.
Интересующий нас герой носит на гимнастерке орден Красной Звезды, который хорошо виден на фото 1 и 3, и частично закрыт на фото 2. Таким образом, он получил орден Красной Звезды не позднее 20 июля 1943 года, будучи в звании не выше старшего лейтенанта.
Вполне очевидно, что, если бы мы установили личности других Героев на фотографии, по появлению наград на их гимнастерках мы смогли бы ещё точнее указать временной промежуток, в который эти фотографии были сделаны!
Алгоритм распознавания наград и званий уже надо разрабатывать, но в целом задача поиска известных объектов на фотографиях – задача решаемая. Несколько интереснее её делает необходимость привязывать награды и звания к профилю конкретного человека на фотографии, а на серии из нескольких фотографий появляется возможность отслеживать появление наград в динамике. Ложку дегтя добавляет тот факт, что бойцы и командиры носили медали и ордена не всегда, либо могли носить планки.
Ещё возникнут трудности с распознаванием медалей на черно-белых фотографиях, поскольку при одинаковой форме они будут различаться только взаимным расположением серых полос разных оттенков. Но, в целом, при хорошем качестве исходных фотографий можно будет добиться приемлемой надежности распознавания.
Задача 3: приобщить архивные данные и сузить круг «подозреваемых» кандидатов на личность неизвестного героя
Любые известные нам детали, такие как войсковая часть, воинское звание, награды, позволяют сузить область поиска в онлайн-архиве «Память народа».
Соберём вместе всё, что нам известно о нашем герое:
- Служит в 120 минометном полку. На самом деле это гипотеза, но вполне правдоподобная: они с майором Берёзко З.В. вместе на трёх фото, оба артиллеристы, он ниже деда по званию, а то, что они решили сфотографироваться узким кругом втроём, скорее всего указывает на то, что это его соратник или сослуживец (т.е. член ВКП(б) или политработник).
- Получил орден Красной Звезды в звании старшего лейтенанта. Эта гипотеза менее обоснована, потому что, вообще говоря, на момент получения ордена он мог быть и лейтенантом, и младшим лейтенантом. Но, поскольку каждое повышение в звании требует времени, а мы дополнительно знаем, что 120 минометный полк прибыл на Волховский фронт 19 августа 1942 года и наш Герой получил повышение до капитана не позднее 20 июля, наиболее правдоподобная версия – что орден Красной Звезды он получил именно в звании старшего лейтенанта. При этом мы всё же проверим лейтенантов, поскольку всё бывает.
На самом деле, у нас есть «ломик в рукаве». Недавно я писал о том, что в 120 минометном полку до операции «Искра» января 1943 года не было вручено ни одного ордена. Если наш Герой служил в 120 минп, можно ограничиться поиском нашего героя среди старших лейтенантов.
Конечно, вся эта логика рассыпается, если наш старлей перешел в 120 минп из другой части. Будем надеяться, что это не наш случай.
Заходим на Память народа, выбираем «Расширенный поиск» и вводим следущие параметры:
Обращаю внимание на важную деталь: поиск по «Дате награждения» работает чрезвычайно ненадежно. Скорее всего, поскольку это поле заполняется вручную из сканов документов, оно заполнено не везде и иногда с ошибками. Поэтому в нашем примере поиск среди награжденных в 1943 году выдает 4-х старших лейтенантов, хотя на самом деле их 8.
А если ввести год награждения 1944, то поиск вернет пустой результат – 0, хотя на самом деле их 11.
Поэтому «год награждения» при поиске не указываем и получаем 80 награждений. Обратите внимание, в результаты поиска по воинскому званию «старший лейтенант» попали и младшие, и просто лейтенанты. Такова специфика работы поиска на «Памяти народа». Поэтому среди 80 записей надо дополнительно вручную отфильтровать только нужные.
Опуская лишние подробности, после фильтрации по званию и дате приказов о награждении орденами у нас остается список из всего 6 старших лейтенантов 120 минп, награжденных орденами Красной Звезды до июля 1943 года:
- Духатин Александр Павлович, 1913 г.р., замполит 3-й батареи, член ВКП(б), на Волховском фронте с 19 августа 1942 (т.е. с самого начала боевых действий 120 минп). Дата приказа – 20 февраля 1943.
- Попов Никита Иванович, 1916 г.р., замполит батареи, член ВКП(б), на Волховском фронте с 19 августа 1942. Дата приказа – 30 марта 1943.
- Соколов Алексей Трофимович, 1921 г.р., командир 5-й батареи, кандидат ВКП(б), на Волховском фронте с 19 августа 1942. Дата приказа – 3 апреля 1943.
- Костюкевич Иван Митрофанович, 1922 г.р., командир 2-й батареи, беспартийный, на Волховском фронте с 19 августа 1942. Дата приказа – 3 апреля 1943 (тот же, что у Соколова).
- Медведев Семен Дмитриевич, 1922 г.р., секретарь партийного бюро, член ВКП(б), на Волховском фронте с 19 августа 1942. Дата приказа – 7 апреля 1943.
- Крашенинников Иван Петрович, 1908 г.р., командир батареи, член ВКП(б), на Волховском фронте с 19 августа 1942. Дата приказа – 24 апреля 1943.
Отдельно отрефлексируем тот факт, что на фото 2 наш герой был повышен до капитана. Беглая проверка шестерых ст. лейтенантов по онлайн-архиву «Память народа» показывает, что ст. лейтенант Костюкевич И.М., 1922 г.р., командир 2-й батареи, нам не подходит, поскольку в наградном листе на май 1945 он по-прежнему старший лейтенант. Обобщая, можно сказать, что любая дополнительная информация налагает дополнительные ограничения на героев, что позволяет сократить список «подозреваемых». В этом конкретном случае мы исключили одного из шести.
Для контроля я тем же спопобом проверил лейтенантов и мл. лейтенантов 120 минп, награжденных орденом Красной Звезды до 20 июля 1943 года. Их всего четверо, и по всем из них есть документы, подтверждающие, что никто из них не «вырос» до звания капитана. Таким образом, мы действительно можем их не рассматривать.
Подведем промежуточный итог: если наш герой служит в 120 минометном полку, и если исключить возможность ошибок или нехватки документов в базе, то он – один из этих пяти старших лейтенантов.
Задача 4: найти подтверждение личности героя по личным документам или у родственников
Конечно, в идеальном мире все подписывают фотографии с обратной стороны. Но ни одна из трёх фотографии не была подписана, что усложняло задачу.
Здесь надо сделать лирическое отступление и рассказать историю моего знакомого, давно и глубоко занимающегося восстановлением своего генеалогического древа. Он рассказал, как однажды приехал к четвероюродному брату и начал показывать фотографии, чтобы попытаться установить личности общих родственников. «Погоди-погоди», сказал четвероюродный брат, «у нас есть точно такая же фотография!» – и принес, действительно, такую же фотографию, только подписанную с обратной стороны, благодаря чему они смогли установить личности людей на фото.
Оказалось, что после встречи общих родственников было сделано несколько отпечатков сделанных снимков. Автор снимка не видел смысла подписывать свой отпечаток, и именно этот экземпляр перешел по наследству моему знакомому. А вот отпечаток, направленный на память родственнику, был подписан.
Фотографии не были подписаны, да. Но благодаря этой истории затеплилась надежда, что мой дед мог, отправляя домашним свои фотографии в конвертах, подписывать их в письмах.
До меня фотографии и письма дошли по отдельности. То есть, фотокарточки лежали в фотоальбоме, а фронтовые письма – в папках. Конверты тоже не сохранились. Но, поскольку пять кандидатов – это слишком много, чтобы рассчитывать найти родственников всех, я погрузился в чтение фронтовых писем, чтобы найти какие-либо зацепки и описание фотографий.
Первым нашлось письмо 21 апреля 1943 года:
После долгих колебаний сегодня пересылаю тебе одну свою фотокарточку, только прошу ее никому не показывать, ибо она очень паршиво сделана. Рядом со мной секретарь партбюро Медведев.
Теперь мы знаем, как выглядит капитан Медведев, и что на фото 1-3 его нет.
Кроме того, капитан Медведев С.Д., секретарь партийного бюро (парторг) 120 минп, к сожалению, погиб от осколка вражеского снаряда 4 мая 1943 года, меньше чем через месяц после награждения. Это фото, которое вы видите, сделано всего за две недели до его гибели. Я уже писал у себя в FB и в паблике ВК, что хочу передать это фото родственникам Семёна Дмитриевича.
Следующим нашлось письмо 11 июня 1943 года:
Сегодня я пересылаю тебе любительский фотоснимок. Запечатлено то место, где погиб мой хороший друг Семён Медведев.
Ты замечаешь зелень, которая нас окружает. Со мной мой сослуживец тов. Духатин.
Капитан Духатин вообще легендарная личность, в своё время расскажу о нём отдельно. Он отличился в Синявинской наступательной операции в августе-сентябре 1942 года (его подвиги упоминаются в недавно опубликованном «письме Андрею Петровичу»). Закончил войну майором, старшим инструктором политотдела 5 минометной бригады. После ранения деда в октябре 1944 майор Духатин Александр Павлович также писал ему письма. На самом деле, на фото 2 и 3 он действительно есть, но он вот:
UPDATE: после написания статьи я нашёл на портале «Дорога памяти» фото Александра Павловича, сделанное уже после Великой Отечественной, загруженное кем-то из его родственников:
Так мы исключили ещё двоих из пяти кандидатов и, кажется, вышли на финишную прямую. Ну и, наконец, привожу третье письмо от 19 июля 1943 года:
Написал маме и послал такую же фотокарточку, какую пересылаю тебе.
Лизок! В этой карточке левый работает вместо Медведева. Оба замечательные воины-командиры.
Вот это поворот! Оказывается, наш герой работает «вместо Медведева» – это вместо того самого паторга 120 минп капитана Медведева Семёна Дмитриевича, погибшего 4 мая 1943 года.
Казалось бы, всё просто!
Достаточно вернуться к нашему списку трёх оставшихся старлеев и проверить, кто на 19 июля 1943 мог быть парторгом 120 минометного полка и вскоре получил повышение до капитана!
Ст. лейтенант Соколов А.Т., 1921 г.р., командир 5-й батареи, не подходит, поскольку при награждении 20 июля 1943 медалью «За оборону Ленинграда» он по-прежнему занимает должность командира батареи.
Остаётся всего два кандидата!
И вот здесь стоит вспомнить вопрос, который я задавал 28 сентября в пабликах проекта (ВК и FB): сколько лет человеку на этой фотографии? Согласитесь, у этого вопроса не самая очевидная подоплёка.
И все же ответ на этот вопрос является решающим. В 1943 году Крашенинникову исполнилось 35, а Попову – 27. Так как ответили люди в комментариях?
Даже после опроса 20 человек ситуация несильно прояснилась, правда?
На самом деле, польза от этого опроса все равно есть. Все ответившие сошлись в том, что наш герой не старше Захара Васильевича Берёзко (я специально написал, что на фото ему 37 лет). Практически безошибочно удаётся указать возраст неизвестного героя в терминах «старше – младше» героя, чей возраст известен.
Но и это ещё не конец!
Ст. лейтенант Крашенинников И.П., 1908 г.р., на дату награждения 24 апреля орденом Красной Звезды – командир батареи, а 13 июля 1943 года в журнале боевых действий (ЖБД) была сделана следующая запись:
Ответственным за организацию марша и переброску боеприпасов назначается зам. командира [120 минометного] полка по строевой части капитан Крашенинников.
То есть, ст. лейтенант Крашенинников действительно получил повышение до звания капитана в подходящее нам время, но не мог капитан Крашенинников Иван Петрович 19 июля работать парторгом вместо погибшего Медведева, поскольку не позднее 13 июля уже работал зам. командира полка по строевой.
NB: чтобы найти запись про Крашенинникова в ЖБД, пришлось прочитать около 100 страниц рукописного текста. Наткнулся я на неё случайно, когда искал информацию для привязки писем к карте боевых действий. Это чрезвычайно трудоемкий процесс с негарантированным результатом. Одна из важных функций, которую мы будем закладывать в технологическую платформу проекта Боевая слава – краудсорсинг перевода сканов ЖБД в текст, потому что это чрезвычайно ценный источник информации о героях и их боевом пути.
Итак, у нас остался последний кандидат!
Ст. лейтенант Попов Никита Иванович, 1916 г.р., замполит 1-й батареи. Он политработник, и для него повышение до парторга 120 минп – логичный «карьерный рост», подразумевающий повышение в звании, а общее фото со своим начальником – логичный ход.
К сожалению, документы на «Памяти народа» не позволяют отследить его дальнейший путь. Похоже на то, что ст. лейтенант Попов получил звание капитана не позднее сентября 1944 года, и стал командиром батальона 76-мм пушек 1024-го стрелкового полка 391-й стрелковой Режицкой дивизии (к сожалению, мы узнаем это из донесения о безвозвратных потерях, т.к. он был убит в бою 15 сентября 1944).
Мог ли замполит-минометчик Попов стать командиром батальона стрелкового полка? Да, такое возможно, поскольку численность политического состава в 1943 году сокращали, и многие политработники проходили обучение и меняли профиль на командный. В пользу того, что это он, говорит совпадение места призыва – Никифоровский райвоенкомат Тамбовской области.
Вот здесь надо сделать паузу для осмысления.
Вроде бы, полный успех: начав с полной неопределенности, мы последовательно исключили всех возможных кандидатов, кроме одного. При это мы задействовали, вроде бы, весь арсенал методов: анализ признаков на фото, комплексирование фото и архивов, даже письма перечитали. Осталось сделать последний шаг: запустить в соцсети клич «Разыскиваются родственники Попова Никиты Ивановича, ст. лейтенанта / замполита батареи 120 минп и капитана / комбата 1024 сп 391 сд».
А что, если это ошибка? Что, если родственники Попова найдутся, а это окажется не он?
Не даёт покоя, что, даже зная должность героя – парторг 120 минп, приходится его искать, как иголку в стоге сена.
О том, как разрешилась эта ситуация – во второй части.