Коряковская Дарья Олеговна — стажер-исследователь
Санкт-Петербург, 199178
Darya O. Koryakovskaya — Intern Researcher
Saint Petersburg, 199178
Аксёнов Александр Александрович — кандидат технических наук, старший научный сотрудник
Санкт-Петербург, 199178
sc 57203963345
Alexandr A. Axyonov — PhD, Senior Researcher
Saint Petersburg, 199178
sc 57203963345
Рюмина Елена Витальевна — кандидат технических наук, младший научный сотрудник
Санкт-Петербург, 199178
sc 57220572427
Elena V. Ryumina — PhD, Junior Researcher
Saint Petersburg, 199178
sc 57220572427
Рюмин Дмитрий Александрович — кандидат технических наук, старший научный сотрудник
Санкт-Петербург, 199178
sc 57191960214
Dmitry A. Ryumin — PhD, Senior Researcher
Saint Petersburg, 199178
sc 57191960214
Введение. Многозадачный анализ психологического портрета человека позволяет формировать более целостное представление о нем, что особенно востребовано в системах персонализации, HR-технологиях и человеко- машинном взаимодействии. Однако до настоящего времени подобные исследования не проводились из-за отсутствия корпусов с совместной разметкой по обеим задачам, что делает невозможным традиционное многозадачное обучение. Метод. Предложен метод полуконтролируемого кросс-доменного обучения, позволяющий эффективно интегрировать два раздельно аннотированных корпуса: CMU Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) (для распознавания эмоций) и ChaLearn First Impressions v2 (FIv2) (для оценивания личностных характеристик), без дополнительной разметки. Экспериментальная установка включает два этапа: обучение независимых однозадачных моделей для извлечения доменно-специфичных признаков и формирование базовых прогнозов; создание совместной кросс-доменной модели с блоками перекрестного внимания, которая объединяет эмоциональные и личностные признаки. Финальное предсказание формируется путем усреднения выходов однозадачных и совместной моделей, что повышает робастность. Выполнено сравнение предобученных энкодеров (Jina-v3 и BGE-en) и контекстных моделей (трансформер и Mamba). Обучение моделей осуществлено с использованием гибридной функции потерь, сочетающей контролируемые и полуконтролируемые компоненты с псевдометками. Основные результаты. Эксперименты показали, что наилучшие результаты достигаются при использовании энкодера Jina-v3 и контекстной модели Mamba: средняя взвешенная точность классификации (mWACC) составила 62,52 %, а средняя взвешенная F1-мера (mMF1) — 61,03 % на корпусе CMU-MOSEI; средняя точность (mACC) составила 88,80 %, а средний коэффициент корреляции конкордации Лина (mCCC) — 25,44 % на FIv2. Модель демонстрирует устойчивую передачу знаний между задачами и превосходит современные решения. Визуализация внимания методом Gradient-weighted Class Activation Mapping подтверждает интерпретируемость прогнозов. Обсуждение. Представленные результаты исследования открывают возможности разработки масштабируемых систем психологического профилирования по тексту в условиях дефицита разметки. Предложенный метод применим в кадровом менеджменте, адаптивных обучающих платформах, персонализированных чат-ботах и цифровой психометрике, где требуются одновременный учет эмоционального состояния и устойчивых личностных характеристик.
Multi-task analysis of a human’s psychological profile enables a more holistic representation of the individual, which is particularly valuable in personalization systems, HR technologies, and human–Artificial Intelligence interaction. However, such studies have not been conducted to date due to the lack of datasets jointly annotated for both emotion and personality traits, rendering conventional multi-task learning infeasible. We propose a semi-supervised cross-domain learning method that effectively integrates two separately annotated corpora, CMU-MOSEI (for emotion recognition) and ChaLearn First Impressions v2 (FIv2) (for personality trait assessment), without requiring additional labeling. The experimental setup comprises two stages: first, independent single-task models are trained to extract domain-specific features and generate baseline predictions; second, a joint cross-domain model with cross-attention blocks fuses emotional and personality-related representations. Final predictions are obtained by averaging the outputs of the singletask and joint models, enhancing robustness. We compare pre-trained encoders (Jina-v3 and BGE-en) and contextual decoders (Transformer and Mamba), using a hybrid loss function that combines supervised and semi-supervised components with confidence-based pseudo-labeling. Experiments show that the best performance is achieved with the Jina-v3 encoder and the Mamba contextual model: mWACC = 62.52 % (Mean Weighted Accuracy Classification) and mMF1 = 61.03 % (Mean Weighted F1-Measure) on CMU-MOSEI (Multimodal Opinion Sentiment and Emotion Intensity) corpus; mACC = 88.80 % (Mean Accuracy) and mCCC = 25.44 % (Mean Concordation Correlation Coefficient) on FIv2. The model demonstrates stable knowledge transfer across tasks and outperforms current state-ofthe- art methods. Attention visualization via Grad-CAM confirms the interpretability of predictions. The proposed method enables the development of scalable text-based psychological profiling systems under realistic annotation scarcity. It is applicable in recruitment, adaptive learning platforms, personalized chatbots, and computational psychometrics where simultaneous consideration of emotional states and stable personality traits is essential.
The authors declare that there are no conflicts of interest present.