Интерактивная шпаргалка по видам модальностей и их применению
Нажмите на карточку для подробной информации
Обработка и анализ текстовой информации
Анализ визуальной информации
Обработка звука и речи
Анализ видеоконтента и движений
Работают с одним типом данных (текст ИЛИ изображение ИЛИ аудио)
Обрабатывают несколько типов данных одновременно в одном пространстве
Переводят информацию между модальностями (текст в изображение, речь в текст и т.д.)
| Характеристика | Унимодальные | Мультимодальные | Кроссмодальные |
|---|---|---|---|
| Входные данные | Один тип | Несколько типов | Несколько типов |
| Сложность | Низкая | Высокая | Очень высокая |
| Вычисления | Минимальные | Средние | Максимальные |
| Понимание контекста | Ограниченное | Полное | Полное + генерация |
Использование BERT-подобных моделей для извлечения ключевых положений, сроков, условий из юридических документов и их автоматической классификации.
Семантический поиск похожих судебных решений на основе векторных представлений текстов исков, возражений и решений суда.
Автоматическое создание исков, претензий, мотивировочных частей решений на основе обучающей выборки юридических текстов.
OCR-преобразование и анализ судебных документов, полученных как изображения, с поиском подделок и изменений.
Выявление возможных подделок печатей, подписей, способов изменения текста в физических и сканированных документах.
Автоматическое преобразование записей заседаний в текстовый протокол с использованием Whisper или аналогичных моделей.
Детектирование эмоциональных характеристик и признаков давления при проведении переговоров или медиации.
Объединение видео (движения, жесты свидетелей), аудио (слова, тон) и текста (субтитры) для комплексного анализа видеозаписей на суде.
Обработка документов, содержащих текст, таблицы, графики, печати и подписи для автоматического извлечения данных.
Многоканальная система, принимающая текстовые ответы, голос клиента и видеозапись для оценки достоверности показаний.
Создание схем ДТП, расположения объектов на основе текстового описания из материалов дела (текст→изображение).
Преобразование текстовых судебных решений в аудиоформат для слепых и слабовидящих пользователей (текст→аудио).
Преобразование устных показаний (аудио) в письменный протокол с встроенной проверкой и визуализацией (аудио→текст+изо).
Ответьте на вопросы и оцените уровень понимания