# От аудио- и видеоданных к доказательствам: AI-аналитика, биометрия и детекция спуфинга и дипфейков Михаил Инкин · ООО ЦРТ Слайды · https://2025.moscow-forensics-day.workers.dev/slides/19-crt-ot-audio-i-videodannyh-k-dokazatelstvam Текст слайдов распознан автоматически с картинок комплекта; мелкий текст внутри скриншотов распознаётся не всегда. --- ## Стр. 1 — 08:51:41 \| ГРУППА (C) ИРТ КОМПАНИЙ MOSCOW FORENSICS DAY '25 12.09.25 г. От аудио- и видеоданных к доказательствам Al-аналитика, биометрия, детекция спуфинга и дипфейков Спикер: Михаил Инкин Руководитель группы проектов 16+ ## Стр. 2 — 08:52:09 • компании (О) ЦРТ • ГРУППА КОМПАНИЙ Группа компаний ЦРТ — разработчик продуктов и решений на основе интеллектуальных речевых технологий, генеративного искусственного интеллекта, лицевой и голосовой биометрии (С)) Санкт-Петербург C)) Москва Один из крупнейших игроков рынка ИИ в России 30+ 5000+ проектов по всему миру, в т.ч. лет на рынке проекты национального масштаба технологий ИИ Победитель международных научных конкурсов по распознаванию речи и биометрии CHiME NIST ASVSPOOF CHALLENGE 750+ сотрудников в штате компании 70+ команд R&D 20 кандидатов и докторов наук Кадровый ресурс ViTMO Корпоративная лаборатория Технологии человеко-машинного взаимодействия www.speechpro.ru 2 ## Стр. 3 — 08:52:35 Решения LLM от Сбера (С) ЦРТ КОМПАН- КОМПАНИЙ Трансформация бизнес-процессов 8794 Поиск по базе знаний Расчёт маржинального дохода Прогнозная диагностика оборудования Ассистент в закупках GIGAIDE 8582 VERSE www.speechpro.ru ## Стр. 4 — 08:52:53 Проблемы Постоянно растущие объемы (С) ЦРТ ГРУППА КОМПАНИЙ неструктурированных данных Низкая эффективность поиска и обработки данных Высокая стоимость масштабирования систем обработки данных Низкая скорость анализа и принятия решений Потеря важной информации www.speechpro.ru и ценных сведений ## Стр. 5 — 08:53:31 Типы биометрических систем (C) ЦРТ ГРУППА КОМПАНИЙ Типы систем Автоматические Автоматизированные Экспертные (ручные) Не зависят от языка Зависят от языка Не зависят от текста Зависят от текста GMM-UBM Xvector ResNet Wav2Vec (HuBERT) Тип микрофона: ближний средний дальний www.speechpro.ru 5 ## Стр. 6 — 08:54:17 Синтез речи человеком (С) ЦРТ КРУПАН КОМПАНИЙ Голос каждого человека уникален! Более 70 частей тела вовлечены в формирование голоса Важно не то, что мы говорим, а кто говорит Более 30 лет опыта использования для судебной экспертизы Hard Palate Soft Palate (Velum) Pharyngeal Cavity Larynx Esophagus Trachea Nasal Cavity - Nostril • Lip Tongue Teeth Oral Cavity Jaw • Lung Diaphragm www.speechpro.ru ## Стр. 7 — 08:54:35 Модель диктора (С) ЦРТ КОМПАН- кОМПАнИЙ Вектор признаков, эмбеддинг V1, V1,2 ... Vi,m V2,1 V2,2... V2n V3,1 V3,2 ... V3,n Vn.л Vn,2 ••. Vn.л www.speechpro ru ## Стр. 8 — 08:54:56 Идентифицирующие характеристики гОЛОса (С) ЦРТ ІГРУППА КОМПАНИЙ Частота основного тона (FO) (ЧОТ, Фундаментальная частота, основной тон) — частота колебаний голосовых складок определяется характеристиками речевого тракта и лежит в диапазонах (60-180 Гц М, 160-350 Гц Ж, и 200-650 Гц для детей). Форманты - частотные максимумы, возникающие в результате резонанса речевого тракта человека. Обычно три форманты (F1, F2, F3) достаточны как для звукоразличения, так и для узнавания диктора. Каждая форманта является функцией всех частей речевого тракта, хотя степень их влияния неодинакова в каждом случае. 8 ## Стр. 9 — 08:55:52 Сложности задачи (О) ЦРТ \| ГРУППА КОМПАНИЙ Причины вариативности данных' Чтение, спонтанная речь, монолог, диалог, групповое общение Междикторская вариативность Внутридикторская вариативность Шум, ОСШ Микрофон Словарь Акцент, диалект Дикторские Технологические Коммуникативные Стресс Эмоции Эффект Ломбарда Язык/Культура [1] - Speaker recognition by machines and humans [Hansen J.H.L., Hasan T., 2015] 9 ## Стр. 10 — 08:56:30 Подходы к сравнению дикторов (С) ЦРТ КОМПАНИЙ Аудитивный Акустико-фонетический Спектрографический: сравнение формант, ОТ, гармоник ОТ Автоматический www.speechpro.ru ## Стр. 11 — 08:57:00 Решение прикладного кейса ## Стр. 12 — 08:57:32 Продуктовая линейка и этапы криминалистического процесса (С) ЦРТ КРУПА КОМПАНИЙ Сбор данных Анализ данных Доказательство Решение • Мультипаспорт • Незабудка • Гном • AVIS • ИКАР Лаб 3 • Nestor.Al www.speechpro.ru 13 ## Стр. 13 — 08:58:21 AVIS (С) ЦРТ ГРУППА КОМПАНИЙ Продукты для общественной безопасности Биометрический поиск Диаризация Полнотекстовый ПОИСК Поиск по метаданным Пол, язык Семантический поИск Автоперевод Кластерный анализ Речь в текст Статистический анализ Детектор спуфинга/дипфейков Анализ связей GOG Разрозненные данные Практический результат Комплексы видеоидентификации ON Институты общественной безопасности Биометрические данные Обогащение профиля личности 14 ## Стр. 14 — 08:58:51 Что происходит с данными в AVIS (С) ЦРТ КОМПАН кОМПАНИЙ Рабочий стол www.speechpro.ru ## Стр. 15 — 08:58:59 Что происходит с данными в AVIS (С) ЦРТ кОМПАНИЙ Аналиа www.speechpro.ru ## Стр. 16 — 08:59:06 Что происходит с данными в AVIS (С) ЦРТ ГРУППА кОмПАНИЙ Анализ www.speechpro.ru ## Стр. 17 — 08:59:13 Что происходит с данными в AVIS • ГРУППА (С) ЦРТ КОМПАНИЙ Аналиа www.speechpro.ru 15 ## Стр. 18 — 08:59:27 Что происходит с данными в AVIS () ЦРТ КОМПАНИЙ ## Стр. 19 — 08:59:45 Что происходит с данными в AVIS (С) ЦРТ • ГРУППА КОМПАНИЙ www.speechpro.ru ## Стр. 20 — 08:51:16 Биометрический граф связей (С) ЦРТ КРУПА КОМПАНИЙ www.speechpro.ru ## Стр. 21 — 09:00:24 LLM в решении задач криминалиста (С) ЦРТ КОМПЛА КОМПАНИЙ Генерация текста по инструкции Ответы на вопросы Классификация текста Персонализация ответов Создание связанного и грамматически правильного текста на заданную тему Предоставление ответов на вопросы, основанные на известной LLM информации и контексте Определение категорий или меток для заданного текста (например, анализ тональности) Адаптация ответов и поведения под конкретного пользователя Извлечение информации Поддержка беседы Генерация и отладка кода Резюмирование текста Выделение ключевых фактов и данных из текста Ведение диалогов с пользователями, понимание и контекстуализация предыдущих реплик Написание и исправление ошибок в коде на различных языках программирования на основе описания задачи Краткое изложение длинных текстов, выделение основных идей Перевод текста Перевод текста с одного языка на другой Интерпретация данных Объяснение результатов анализа данных, визуализация данных www.speechpro.ru 19 ## Стр. 22 — 09:00:43 Массовая обработка информации КОМПАН AVIS Поиск в архиве panta 0 0 00000 30а 01 33 34 www.speechpro.ru ## Стр. 23 — 09:00:55 Массовая обработка информации () ЦРТ \| ГРУППА КОМПАНИЙ AVIS Поиск в архиве MeTE www.speechpro.ru 20 ## Стр. 24 — 09:01:04 Массовая обработка информации (0) ЦРТ Т ГРУППА КОМПАНИЙ AVIS Анализ • 23000 00 10.54 DU1AT1 3018 10 Dances sou www.speechpro.ru 20 ## Стр. 25 — 09:01:11 Массовая обработка информации МПАН AVIS Анализ 2 santos Q. Беседы зази • XS090 301411 Dance 30 crocume 301211 www.speechpro.ru 20 ## Стр. 26 — 09:01:25 Массовая обработка информации (0) ЦРТ • ГРУППА КОМПАНИ AVIS Анализ Q Беселы рази ame Iligence Repor www speechpro.ru 20 ## Стр. 27 — 09:01:32 Массовая обработка информации (0) ЦРТ \| ГРУППА КОМПАНИЙ AVIS Анализ 9 беседы рази 0 230 20 ## Стр. 28 — 09:02:08 Автоаннотирование индивидуальных записей (С)) ЦРТ КРУПАН КОМПАНИЙ Детали Результат работы Al-агента Call summary_ Eng О дати Отчет по Анализу Звонка 1. Название Звонка: Обсуж 2. Дата Звомка: Не 3. Ключевы зднике" (birthday party) 06 •(cake coming through this ероприятикх (petting the big lesques"). Be' ("propert) ительность мероприятия ениет Тейст Эрок / Время Дополнительная Информан Отсутствует точная дата звони альшого дня" ('big day) шего анализа www.speechpro.ru 22 ## Стр. 29 — 09:02:38 ГРУППА (C) ИРТ КОМПАНИЙ Выгрузка записей в SIS Анализ 1 Рост уведомления Data KZ + KW Аудиозаписи Статистикл дунио записи + Дата события 2023-01-24 2135 Выгрузить аудио mato -tos 104101 Mena 2023-01-24 000251 ## Стр. 30 — 09:03:02 Предварительный анализ (О) ЦРТ ГРУППА КОМПАНИЙ www.speechpro.ru 24 ## Стр. 31 — 09:03:20 Извлечение признаков и идентификация (С) ЦРТ | КОМПАНИЯ Автоматические алгоритмы сравнения Детектирование речи и шумов Редактирование и обработка фонограмм Идентификационный визард Экспертные методы сравнения Расчет характеристик сигнала Tho bas ho bo ba Визуализация и анализ фонограмм Модуль EdiTracker HO DH Ti bà bà bà ba bie Диагностика аутентичности Заключение эксперта 41 4 Модуль «Супер лупа» 25 ## Стр. 32 — 09:04:10 (С) ЦРТ КОМПАН КОМПАНИЙ Пример 2 ## Стр. 33 — 09:06:03 Детектор спуфинга (С) ЦРТ ГРУППА КОМПАНИЙ Модуль детектирования* оценивает вероятность спуфинга (синтез/конверсия, реплей, общая оценка) на фонограмме. - A.Ri wa - ElevenLatu, 2125-08-23710,34,44, Egor 12 Постовеная состиагающия Рассчитывается общая оценка и отдельные оценки по типам атак. • Mapod 13.09 секуто Формируются три графика спуфограммы с отображением значений скользящих оценок в соответствии со временем сигнала. При наличии оценки вероятности синтеза от 50% можно включить дополнительную функцию определения вендора синтеза. * Поставляется под отдельной лицензией 27 ## Стр. 34 — 09:07:09 Проверка спуфинга или проверка (С) ЦРТ І ГРУППА КОМПАНИЙ аутентичности Проверка аутентичности Проверка на спуфинг - идентификация и выявление поддельных медиафайлов с помощью алгоритмов анализа нестыковок Проверка спуфинт» и технологий детекции дипфейков. Врализ по. Проверка аутентичности — подтверждение оригинальности и целостности цифрового контента: • анализ метаданных; • проверка цифровых подписей и водяных знаков; • сравнение с достоверными источниками; • обнаружение дипфейков. Анализ Обнаружение дипфейков направлено на выявление поддельных медиафайлов, в то время как проверка подлинности подтверждает оригинальность и целостность цифрового контента. www.speechpro.ru ## Стр. 35 — 09:07:51 История спуфинга (С) ИРТ ГРУППА • КОМПАНИЙ "SH" whistle. Nostrils Speech sounds come out here..) Resonator of leather' 'SH" lever Reed cut-off "S"* lever Bellows, Auxiliary bellows "S" whistle Leather Nostril - Reed Compressed mina air chamber Mark J. Jones, Rachael-Anne Knight (Eds.) The Bloomsbury Companion to Phonetics. 2013 www.speechpro ru 29 ## Стр. 36 — 09:08:54 Некоторые примеры (О) ЦРТ КРУПА- КОМПАНИЙ 1920 1979 Fidelity Voice Chess Challenger (1979) первые говорящие шахматы https://www.ismenio.com/ chess fidelity vcc.html 2000 Простой генератор речи https://ieeexplore.ieee.org /document/861820 2023 2024 Fake Joe Biden robocall urges New Hampshire voters not to vote in Tuesday's Democratic 00 Простое ИИ- клонирование голоса Продвинутые системы клонирования голоса С ЭМОЦИЯМИ Google search: voice clone https://www.cnn.com/2024/01/ 22/politics/fake-joe-biden- robocall/index.html 31 ## Стр. 37 — 09:09:57 Возможности SIS (C)) ЦРТ ГРУППА КОМПАНИЙ Экспертный метод определения спуфинга Оценка спуфинга • Автоматический детектор формирует первичную оценку записи Эксперт фиксирует признаки спуфинга в интерактивной таблице артефактов* Итог — отчёт, сохраняемый в проект * Поставляется под отдельной лицензией www.speechpro.r ## Стр. 38 — 09:10:30 Возможности SIS ГРУППА ()) ЦРТ І КОМПАНИЙ Модуль EdiTracker EdiTracker позволяет выявить признаки нарушения аутентичности с помощью следующих методов: Исследование технических характеристик записывающего устройства Indicators of Dighal Processing Spr 6. 5.512. 8. 11.025. 16 KH2 the spectrum contains a fal off typicaly caured by and alas flering at lection rehabilly: medum Обнаружение следов цифровой предобработки сигнала Обнаружение стационарных гармоник и сканирование их фазы Сканирование фонового шума Аудитивный анализ www.speechpro.n ## Стр. 39 — 09:12:13 І ГРУППА (C) ИРТ КОМПАНИЙ LOVE FRIENDSHIP Пример 3 ACCeSS ## Стр. 40 — 09:12:45 Анализ дипфейков () ЦРТ КРУПАНИЙ 1 ГРУППА Проводится анализ видеокадров медиафайла Определена высокая вероятность дипфейка для синтетического видео Покадровый анализ показывает оценку для каждого кадра LOVE FRIENDSIIP После анализа выводится усредненная высокая вероятность наличия дипфейка www.speechpro.ru ## Стр. 41 — 09:12:52 Анализ дипфейков (С) ЦРТ КРУПАНИ 1 ГРУПП Проводится анализ видеокадров медиафайла Определена высокая вероятность дипфейка для синтетического видео Покадровый анализ показывает оценку для каждого кадра LovE FRIENDSHIP Iml 380 конн После анализа выводится усредненная высокая вероятность наличия дипфейка www.speechpro.ru 38 ## Стр. 42 — 09:13:34 Анализ дипфейков ()) ЦРТ \| ГРУППА І КОМПАНИЙ Проводится анализ видеокадров медиафайла Определена высокая вероятность дипфейка для синтетического видео Покадровый анализ показывает оценку для каждого кадра LOVE FRIENDSHE 98% -28.02 граку После анализа выводится усредненная высокая вероятность наличия дипфейка www speechpro.ru 38 ## Стр. 43 — 09:14:26 Анализ дипфейков (С) ЦРТ \| ГРУППА КОМПАНИЙ Проводится анализ видеокадров медиафайла Определена низкая вероятность дипфейка для оригинального видео Покадровый анализ показывает оценку для каждого кадра ASCeSS После анализа выводится усредненная низкая вероятность наличия дипфейка www.speechpro.ru 39 ## Стр. 44 — 09:14:57 Возможности SIS (О) ЦРТ І ГРУППА І КОМПАНИЙ Экспертный метод определения дипфейков Автоматическая оценка может быть дополнена экспертным анализом признаков дипфейка* на видеокадрах Эксперт использует интерактивную таблицу артефактов, отмечая характерные искажения не только на лице, но и по всему кадру Результатом становится отчёт, который сохраняется в проекте * Поставляется под отдельной лицензией 40 ## Стр. 45 — 09:15:39 Nestor.Al (О) ЦРТ ГРУППА \| КОМПАНИЙ destor Al Admin e При проведении судебных разбирательств по аудиоподделке использовалась система Nestor.Al, которая автоматически превратила речь заседания в текст, а ИИ помощник подготовил краткую сводку содержания и сохранил ее в документ строгой формы вместе со стенограммой 0 beting Name Ites quine arman. 2106.2025,3415 21.05.2025.34.15 m 588R.audo.3025-02-12,00 sudio.2025-02-18.00-27-44 mar 12-37 wNd0.2023-02-19.00-22-37m0 22-33 SHER. Ando.1021-02-12.00 aс0 2020-02-300-22-28 ман 5869.sudio.2025-02-12,09 22-24 5809.0080.2025-02-18.09- adi, 2029-02-18.010-21-13 ma Rec 1 4110) Строк на стран www.speechpro * Поставляется под отдельной лицензией 41 ## Стр. 46 — 09:16:10 Nestor.Al (С) ЦРТ КОМПЛА \| КОМПАНИ! lentoc Al trasnes Admin 6 При проведении судебных разбирательств по аудиоподделке использовалась система Nestor.Al, которая автоматически превратила речь заседания в текст, а ИИ помощник подготовил краткую сводку содержания и сохранил ее в документ строгой формы вместе со стенограммой Ric 1 0000L.1.1 ma camel 2021-09-22 Pyccon 2025-08-20 2025-08-20 2025-00-54 2025-08-14 Русскии 2023-08-14 Русскин Русский 2025-08-13 2025-08-13 Prcosi 2025-08-07 2001-04-06 Pyccon 2001-04-08 2025-08-07 Pyccon 2023-08-07 2001-04-00 Arcan 20 - 1-7 Cooa tee * Поставляется под отдельной лицензией 41 ## Стр. 47 — 09:16:15 Nestor.Al \| ГРУППА (С) ЦРТ КОМПАНИЙ destoc Al Framan Tm Admin e При проведении судебных разбирательств по аудиоподделке использовалась система Nestor.Al, которая автоматически превратила речь заседания в текст, а ИИ помощник подготовил краткую сводку содержания и сохранил ее в документ строгой формы вместе со стенограммой 01 L0 2021-09-27 Русский 2025-08-21 2085-00 20 2025-08-20 Русски 2025-09-14 2025-08-54 EFFEEEFD Русски 2073-08-14 2025-08-14 Русски 61 m 2025-08-14 2025-08-14 Pycoond 2025-08-13 2025-09-13 2025-08-07 2001-04-06 Русски 2025-08-07 Pycoon on-3a 2001-04-00 2025-08-07 Орокнетіренн 20 - 1-20 * Поставляется под отдельной лицензией 41 ## Стр. 48 — 09:16:20 Nestor.Al (С) ЦРТ ГРУППА КОМПАНИЙ lentor Al Admis e При проведении судебных разбирательств по аудиоподделке использовалась система Nestor.Al, которая автоматически превратила речь заседания в текст, а ИИ помощник подготовил краткую сводку содержания и сохранил ее в документ строгой формы вместе со стенограммой TUPI OCEA 02.06.207100207 POCOETA MPO 2025-08-21 2025-08-20 2025-09-14 30 2025-08-14 2025-08-14 038 2025-08-13 200 2025-08-07 20 2025-08-07 www.speechpro * Поставляется отдельной лицензией 41 ПОД ## Стр. 49 — 09:16:30 Nestor.Al (О) ЦРТ І ГРУППА \| КОМПАНИЙ destoc Al Franar Admic 6 При проведении судебных разбирательств по аудиоподделке использовалась система Nestor.Al, которая автоматически превратила речь заседания в текст, а ИИ помощник подготовил краткую сводку содержания и сохранил ее в документ строгой формы вместе со стенограммой OUCO 1 02.0.2071.90.202 Сірок не страния 2025-08-21 2025-08-20 2025-08-14 30 2025-08-14 2025-08-14 2025-09-13 www.speechpro * Поставляется дельной лицензией 41 ## Стр. 50 — 09:16:35 Nestor.Al (0) ЦРТ | І ГРУППА destoc Al Frasa При проведении судебных разбирательств по аудиоподделке использовалась система Nestor.Al, которая автоматически превратила речь заседания в текст, а ИИ помощник подготовил краткую сводку содержания и сохранил ее в документ строгой формы вместе со стенограммой * Поставляется отдельной лицензией 41 ## Стр. 51 — 09:16:40 Nestor.Al (О) ЦРТ КРУПА- КОМПАНИЙ destoc Al Fase Admin e При проведении судебных разбирательств по аудиоподделке использовалась система Nestor.Al, которая автоматически превратила речь заседания в текст, а ИИ помощник подготовил краткую сводку содержания и сохранил ее в документ строгой формы вместе со стенограммой Экотирту Speaker зя организовать поездку в офи Отвентвенне Срок оручени Андерс- укачено і зеленые лина! рганизовить повзаку в орис мовый позлучный пари інтерст садут одушный шарик в форми накрос Спортие поженть Meeting Minutes www.speechpro * Поставляется под отдельной лицензией 41 ## Стр. 52 — 09:16:54 Заключение ГРУППА (С) ЦРТ КОМПАНІ Продукты группы компаний ЦРТ работают на разных этапах криминалистического процесса, позволяют использовать речевую биометрию, лицевую биометрию и интеллектуальные речевые технологии для решения задач поиска целевых материалов, а также получения криминалистических заключений www.speechpro.rul