David.Cheon
UIpac
David.Cheon
  • UIpac (462)
    • 기획·PM (26)
    • UI·UX (30)
    • 콘텐츠·서비스 (15)
    • 마케팅·분석 (15)
    • 경제·경영 (8)
    • 업무자료 (6)
    • 읽을거리 (142)
    • 정보공유 (143)
      • 교육 (24)
      • 인공지능 (19)
      • 모빌리티 (4)
      • ICT동향 (73)
      • 가트너 (12)
      • M-Report (10)
    • 개인공간 (74)
      • 비공개 스크랩 (0)
      • 자기계발 (25)
      • 음악·도서 (9)
      • 영화·공연 (7)
      • 여행·맛집 (3)
      • 프로젝트 (0)
      • 기타 (30)

인기 글

Tags

  • 2015
  • 애플리케이션
  • 웨어러블
  • Gartner
  • 동향
  • UI
  • trend
  • 반응형웹
  • 분석
  • 모바일
  • 트랜드
  • 2014
  • 트렌드
  • 벤치마킹
  • 큐레이션
  • Curation
  • 인공지능
  • Mreport
  • 다음카카오
  • 유니티
  • 디자인
  • 디자인참고
  • 기획참고
  • 사물인터넷
  • 가트너
  • daumkakao
  • UX
  • 사이트
  • 세계 게임시장 규모
  • 기획

최근 댓글

방명록

전체 방문자
오늘
어제
Uipac
David.Cheon
정보공유/인공지능

데이터과학

정보공유/인공지능

데이터과학

2015. 6. 30. 14:58
반응형


하둡 매리듀스(Mapreduce)

매리듀스는 하나의 빅데이터를 많은 수의 작은 데이터 세트로 나눈 후에 여러 개의 서버나 컴퓨터로 내보내어 각각의 작은 데이터 세를 개별적으로 작업한 뒤 다시 합쳐서 모으는 기술

(많은 수의 데이터 처리에 부적합하며 많은 수의 데이터를 처리하는 경우 인메모리(In Memory)나 인데이터베이스(In database) 방식을 적용하는 것이 효율적)



하둡 파일 시스템은 1개의 데이터 파일에 입력된 데이터를 검색하는 것은 빠르지만, 데이터를 다시 꺼내어 정제하고 업데이트하여 분석하는 전처리(preprocess) 과정에는 효율적이지 못하고, 다양한 통계 분석이나 복잡한 고급 알고리즘을 사용하기 어렵다는 단점이 있다. 

아직 몇몇 알고리즘(아파치의 머아웃Mahout 이용)을 제외하고는 오픈 소스든 상업용이든 대부분의 분석 알고리즘이 싱글 노드(simgle node)로 생성되고 있어, 다양한 분석 알고리즘을 분산 처리하여 하둡에서 사용하기에는 어려움이 있다. 



출처 : 김옥기의 데이터 과학

반응형
저작자표시 비영리 변경금지 (새창열림)

'정보공유 > 인공지능' 카테고리의 다른 글

2017 글로벌 인공지능 스타트업  (0) 2017.10.17
돌핀어택(DolphinAttack)  (0) 2017.09.07
Must have Alexa skills  (0) 2017.07.10
텐서플로우 (Tensorflow)  (0) 2017.04.02
딥러닝 관련 링크  (0) 2015.12.23

    티스토리툴바

    단축키

    내 블로그

    내 블로그 - 관리자 홈 전환
    Q
    Q
    새 글 쓰기
    W
    W

    블로그 게시글

    글 수정 (권한 있는 경우)
    E
    E
    댓글 영역으로 이동
    C
    C

    모든 영역

    이 페이지의 URL 복사
    S
    S
    맨 위로 이동
    T
    T
    티스토리 홈 이동
    H
    H
    단축키 안내
    Shift + /
    ⇧ + /

    * 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.