Основа подхода
Принцип работы системы заключается в анализе показаний акселерометра и гироскопа, закрепленных на теле рабочего в течение всего рабочего дня. Из собранных показаний извлекаются признаки, характеризующие то или иное действие. На основе полученных признаков была сделана классификация действий человека в рассматриваемые моменты времени.
Устройства с датчиками крепятся на правую руку, левую руку и правую ногу рабочего. В течение дня сигналы с устройств записываются и передаются на отдельный компьютер. Данные с одного устройства представляют собой многомерный временной ряд (шесть одномерных временных рядов): 3 ряда с акселерометра, по одному на каждую из компонент в проекции на оси x, y, z; 3 ряда с гироскопа, по одному на каждую из компонент в проекции на оси x, y, z. Устройства работают на частоте 50 Гц, что позволяет получать по 50 точек для каждого из сигналов каждую секунду.
Из собранных временных рядов извлекаются объекты, соответствующие разным промежуткам времени в исходном ряде. Каждый из полученных объектов характеризуется признаковым описанием, построенным по значениям сигнала внутри соответствующего временного отрезка.
При помощи методов машинного обучения для имеющихся объектов строится алгоритм, способный определять, какое именно действие совершал человек в рассматриваемый промежуток времени, и ставить ему в соответствие метку класса.
В качестве классов несанкционированных действий были рассмотрены следующие: курение, переписка при помощи мобильного устройства, игра в настольный футбол и игра с теннисным мячом. Выбор данных действий обусловлен их продолжительностью и регулярностью в течение рабочего дня. Качество распознавания действий составило более 80% в среднем для всех рассмотренных классов.
Итоги
В результате была создана система интеллектуального анализа сигналов носимых устройств, основанная на импортозамещающих решениях и технологиях, способная решать задачу распознавания человеческой активности и выявления действий, не относящихся к рабочему процессу.
Критерием качества распознавания действий была выбрана метрика Recall. Результаты классификации представлены в таблице:
Действие | Recall |
Курение | 0.86 |
Переписка | 0.74 |
Результаты показывают, что разработанная система с высокой точностью выделяет из непрерывного сигнала действия не относящиеся к рабочему процессу и верно их классифицирует.