Life Logging에 이용되는 센서 기술
우리 주위에서는 다양한 형태의 센서를 통해서 사용자의 행동 패턴을 수집할 수 있다. 이러한 행통 패턴 수집을 통해서 사용자와 그래픽을 통한 인터렉션이 아닌, 사용자가 인지하지 않는 형태의 인터렉션 서비스를 제공할 수 있다.
이러한 사용자의 경험에 대한 데이터를 축척하고 인지된 형태에서 서비스를 제공하는 기술이 증가하고 있다.
행위 인식에 활용 되는 센서
관련연구 |
센서데이터 |
인식행위 |
행위 구분 |
Thomaz et al. |
가속도계 |
식사 |
- 포크/나이프/스푼/손을 이용한 음식 섭취, 식사 이외의 다른 행위(영상 시청, 대화, 걷기, 전화 걸기, 양치질, 머리 빗기) |
Rahman et al. |
가속도계, 자이로스코프, GPS, 심박수, 피부 온도, 피부 전기 반응, 신체 소리, 네트워크 위치, 사용자 기록 정보 |
- | - 식습관 모델링, 다음 음식 섭취 시간 예측 |
Chen et al. |
가속도계, 조도계, 스마트폰 사용 통계 |
수면 |
- 수면 시간, 패턴, 정적 동적 상태 |
Paefgen et al. |
가속도계, 자이로스코프, GPS |
운전 |
- 자동차의 가속, 브레이크, 회전 |
Kaplan et al. |
카메라 |
- |
- 운전자의 졸음, 주의 분산(안구 움직임, 눈 감는 비율, 눈 감은 시간, 눈 깜박이는 빈도, 입모양과 하품), 표정 |
Tao et al. |
가속도계, ZigBee센서 데이터 |
일상 생활의 여러 데이터 |
- 휴식, 걷기, 빠르게 걷기, 뒤로 걷기, 제자리 걷기, 뛰기, 계단 오르기, 계단 내려오기, 점프, 자전거 타기 |
감정 인식에 활용되는 센서
관련연구 | 센서데이터 | 행위 구분 |
Singh et al. | PPG, 산소 측정계(혈중산소포화도), 복식 호흡 벭, GSR 벨크로 전극 | - 운전 상황에서 편안한, 보통의 스트레스 받은 감정 |
Rebolledo-Mendez et al. | ECG. EEG 호흡 측정 센서, 카메라 | - 운전 상황에서 집중한, 긴장한, 피곤한, 편안한 감정 |
Thirunavukkarasu et al. | 비침습형 뇌전도 측정기 및 드라이브 전극 | - 운전 상황에서의 행복한, 슬픈, 편안한, 분노한 감정 |
LiKamWa et al. | 스마트폰 사용 통계(SMS, email, 통화, 앱 사용, 웹 브라우징, 장소) 사용자 기록 데이터 | - 5단계의 기분 상태 |
Valenze et al. | ECG, 안전기형 호흡 측정 센서, 가속도계 | - 조울증 환자의 우울, 복합, 경조증, 정상 감정 상태 |
Snyder et al. | EDA | - 개인의 각성, 흥분 감정의 트렌드 |
PPG Photo-plethysmography) : 광 혈류 측정도
ECG (Electrocardiography) : 심전도
EEG (Electroencephalogram) : 뇌전도
EDA (Electrodermal Activity) : 피부 전기 활동
EMG (Electro-myography) : 근전도
EOG (Electro-oculography) : 안전도
GSR (Galvanic Skin Response) : 전기 피부 반응
IMU (Inertial Measurement Unit) : 관성 측정 센서
경험 기반 모델링 기술
경험 기반 모델링 기술은 사용자의 인지증강 서비스를 목적으로 경험 데이터를 기반으로 사용자의 특정 패턴분석 및 예측을 할 수 있도록 하기 위해서 경험데이터 간 관계를 포함하는 질의 처리를 할 수 있는 구조를 지원한다.
1. 이벤트 기반 자동 태깅
- 상황인지 서비스를 위해 모바일 라이프로깅 데이터의 상황 정보를 분석하고 이를 태그로 사용하여 데이터를 관리하는 방법
- 시간과 이동활동의 레코드로 구성하고, 다수의 일화에서 주제를 나타내는 키워드로 자동 태깅하는 방식
- 라이프로깅 데이터를 이동활동, 청각활동, 시각활동, 기록활동, 말하기 활동 등의 사용자 활동으로 분류
- 이동상황, 지속상황, 감지상황, 선택상황 등의 상황정보로 추상화 시켜 자동 태깅하여 저장
2. 관계 데이터 모델 기반의 모델링
- 관계 기반의 데이터를 종류별로 분류하고 각 데이 간의 관계기술을 테이블로 정의하고 관리하는 방법
- Web, GPS, Email, Audio, Video, Picture, Document, Contact
- 소스 데이터를 위한 "source" 속성, 타겟 데이터를 위한 "Target"속성, 소스와 타겟 간 관계의 의미를 나타내는 "Relationship type" 속성으로 분류
3. 시멘틱 네트워크 기반 모델링
- 다수의 이질적인 데이터를 갖는 사용자 경험 데이터를 기반으로 특정 상황을 인지하고 추론하기 위해 베이즈 네트워크를 기반으로 확률적 상황인지 기법을 적용