Life Logging에 이용되는 센서 기술

우리 주위에서는 다양한 형태의 센서를 통해서 사용자의 행동 패턴을 수집할 수 있다. 이러한 행통 패턴 수집을 통해서 사용자와 그래픽을 통한 인터렉션이 아닌, 사용자가 인지하지 않는 형태의 인터렉션 서비스를 제공할 수 있다. 

이러한 사용자의 경험에 대한 데이터를 축척하고 인지된 형태에서 서비스를 제공하는 기술이 증가하고 있다. 

행위 인식에 활용 되는 센서

관련연구	센서데이터	인식행위	행위 구분
Thomaz et al.	가속도계	식사	- 포크/나이프/스푼/손을 이용한 음식 섭취, 식사 이외의 다른 행위(영상 시청, 대화, 걷기, 전화 걸기, 양치질, 머리 빗기)
Rahman et al.	가속도계, 자이로스코프, GPS, 심박수, 피부 온도, 피부 전기 반응, 신체 소리, 네트워크 위치, 사용자 기록 정보	-	- 식습관 모델링, 다음 음식 섭취 시간 예측
Chen et al.	가속도계, 조도계, 스마트폰 사용 통계	수면	- 수면 시간, 패턴, 정적 동적 상태
Paefgen et al.	가속도계, 자이로스코프, GPS	운전	- 자동차의 가속, 브레이크, 회전
Kaplan et al.	카메라	-	- 운전자의 졸음, 주의 분산(안구 움직임, 눈 감는 비율, 눈 감은 시간, 눈 깜박이는 빈도, 입모양과 하품), 표정
Tao et al.	가속도계, ZigBee센서 데이터	일상 생활의 여러 데이터	- 휴식, 걷기, 빠르게 걷기, 뒤로 걷기, 제자리 걷기, 뛰기, 계단 오르기, 계단 내려오기, 점프, 자전거 타기

감정 인식에 활용되는 센서

관련연구	센서데이터	행위 구분
Singh et al.	PPG, 산소 측정계(혈중산소포화도), 복식 호흡 벭, GSR 벨크로 전극	- 운전 상황에서 편안한, 보통의 스트레스 받은 감정
Rebolledo-Mendez et al.	ECG. EEG 호흡 측정 센서, 카메라	- 운전 상황에서 집중한, 긴장한, 피곤한, 편안한 감정
Thirunavukkarasu et al.	비침습형 뇌전도 측정기 및 드라이브 전극	- 운전 상황에서의 행복한, 슬픈, 편안한, 분노한 감정
LiKamWa et al.	스마트폰 사용 통계(SMS, email, 통화, 앱 사용, 웹 브라우징, 장소) 사용자 기록 데이터	- 5단계의 기분 상태
Valenze et al.	ECG, 안전기형 호흡 측정 센서, 가속도계	- 조울증 환자의 우울, 복합, 경조증, 정상 감정 상태
Snyder et al.	EDA	- 개인의 각성, 흥분 감정의 트렌드

PPG Photo-plethysmography) : 광 혈류 측정도

ECG (Electrocardiography) : 심전도

EEG (Electroencephalogram) : 뇌전도

EDA (Electrodermal Activity) : 피부 전기 활동

EMG (Electro-myography) : 근전도

EOG (Electro-oculography) : 안전도

GSR (Galvanic Skin Response) : 전기 피부 반응

IMU (Inertial Measurement Unit) : 관성 측정 센서

경험 기반 모델링 기술

경험 기반 모델링 기술은 사용자의 인지증강 서비스를 목적으로 경험 데이터를 기반으로 사용자의 특정 패턴분석 및 예측을 할 수 있도록 하기 위해서 경험데이터 간 관계를 포함하는 질의 처리를 할 수 있는 구조를 지원한다. 

1. 이벤트 기반 자동 태깅

- 상황인지 서비스를 위해 모바일 라이프로깅 데이터의 상황 정보를 분석하고 이를 태그로 사용하여 데이터를 관리하는 방법

- 시간과 이동활동의 레코드로 구성하고, 다수의 일화에서 주제를 나타내는 키워드로 자동 태깅하는 방식

- 라이프로깅 데이터를 이동활동, 청각활동, 시각활동, 기록활동, 말하기 활동 등의 사용자 활동으로 분류

- 이동상황, 지속상황, 감지상황, 선택상황 등의 상황정보로 추상화 시켜 자동 태깅하여 저장

2. 관계 데이터 모델 기반의 모델링

- 관계 기반의 데이터를 종류별로 분류하고 각 데이 간의 관계기술을 테이블로 정의하고 관리하는 방법

- Web, GPS, Email, Audio, Video, Picture, Document, Contact

- 소스 데이터를 위한 "source" 속성, 타겟 데이터를 위한 "Target"속성, 소스와 타겟 간 관계의 의미를 나타내는 "Relationship type" 속성으로 분류

3. 시멘틱 네트워크 기반 모델링

- 다수의 이질적인 데이터를 갖는 사용자 경험 데이터를 기반으로 특정 상황을 인지하고 추론하기 위해 베이즈 네트워크를 기반으로 확률적 상황인지 기법을 적용