빅데이터(Big Data)란 | 정의, 활용, AI와의 관계, 보급 이유 1

 

 

 

 

 

방대한 양의 데이터가 생성되고 그들에게 쉽게 접근 할 수 있게 된 지금, '빅 데이터'라는 말이 세계적으로 보급하고 있습니다. 빅 데이터는 우리의 삶을 크게 바꿀 가능성을 간직하면서 사업 분야에서도 많은 주목을 끌고 있습니다. 

 

빅 데이터의 보급의 이유와 그 활용 사례 또한 빅 데이터가 안고있는 문제, AI 및 IoT와의 관계에 대해 자세히 설명합니다.

 

 

 

1. 빅 데이터 (Big Data)
2. 빅 데이터는 왜 대중 가지
3. 빅 데이터 활용 사례와 분석 방법
4. 빅 데이터를 이용한 분석 방법
5. 빅 데이터의 응용 예
6. 빅 데이터 및 IoT
7. 빅 데이터와 AI의 관계
8. 빅 데이터와 AI "Watson"
9. 빅 데이터의 과제
10. 빅 데이터 전망

---

 

 

빅 데이터 (Big Data)　

 

 

빅 데이터 (Big Data) 는 기존의 데이터 베이스 관리 시스템 등에서는 기록 보관 및 분석이 어려운 같은 방대한 데이터 모음입니다. 명확한 정의가 있는 것은 아니고, 기업 정보 시스템 제조 업체의 마케팅 용어로 많이 사용되고 있습니다. [IT 용어 사전에서 발췌]

 

 

 

일반적으로 빅 데이터는 Volume (볼륨), Velocity (속도), Variety (종류) 의 3 개의 V에 의해 표시됩니다.

 

 

 

Volume (볼륨)

빅 데이터 "빅"은 그 데이터의 양을 나타냅니다. 빅 데이터는 밀도가 낮고, 구조화 되지 않은 데이터를 대량으로 처리해야 합니다. 데이터 량의 단위는 수십 테라 바이트의 경우도 있으면, 수백 페타 바이트 (1 페타 바이트 = 1024 테라 바이트)에 이르는 것도 있습니다.


Velocity (속도)

속도는 데이터가 수신되어 처리 될 때까지 빠른 속도입니다. 다양한 서비스와 미디어, 센서 등에서 얻을 수있는 방대한 양의 데이터를 거의 실시간으로 처리해야합니다.


Variety (종류)

종류는 유효한 데이터가 다양하다는 것을 의미합니다. 기존의 데이터는 구조화 되어있었습니다. 빅 데이터의 보급과 함께, 텍스트, 음성, 동영상 등의 구조화되지 않은 새로운 데이터의 종류가 증가하고 있습니다.

 

 

 

2000 년대 초반에 정의 된 3V이지만, 최근 들어 새로운 V가 추가되었습니다. 그것이 Value (가치) 입니다.

 

 

Value (가치)

데이터는 고유 한 가치가 있습니다. 그러나 그도 그럴 가치가 발견되지 않으면 의미가 없습니다. 마찬가지로 중요한 것은 그 데이터가 얼마나 신뢰 할 수 있는가 하는 것입니다. 빅 데이터에 가치를 제시하는데 중요한 것은 그 분석뿐만 아니라 검색 과정입니다.

 

 

---

 

빅 데이터는 왜 대중 가지

 

 

 

 

 

빅 데이터가 대중적인 주요 요인은 두 가지가 있습니다.

 

 

요인 1
SNS 등의 보급으로 매일 대량의 디지털 데이터가 만들어지게 되었습니다. 지금 우리의 눈앞에서 '정보 폭발' 이 일어나고있는 것입니다.

요인 2
방대한 양의 데이터를 수집하고 저장하는 프레임 워크가 개발 된 것으로, 빅 데이터의 취급이 용이하며 저장 비용이 감소했습니다.

정보 폭발이란? 
클라우드 컴퓨팅의 확산, SNS (Social Networking Service)의 보급, 센서 네트워크 및 스마트 폰의 보급 등을 배경으로 디지털 데이터가 폭발적으로 증가하는 것을 말합니다.

 

 

지금은 1 억 명 이상의 활성 사용자를 보유한 트위터는 하루 2억 5000 만개의 짹짹이 발생 하는 것으로 알려져 있습니다. 이것을 단위로 변환하면 트위터 전체 1일 8 테라 바이트의 데이터가 만들어지고 있다. 라고 말할 수 있습니다.

또한 Facebook 의 시스템은 매일 25억 개의 콘텐츠 단위로 변환하면 500 테라 바이트 이상의 데이터를 처리하고있는 것으로 알려져 있습니다. 이와 같이 정보량이 폭발적으로 증가함에 따라 이 데이터를 저장하는 받침대도 개발되면서 빅데이터는 기업 사이에서도 취급하게 되었습니다.

더불어 오픈데이터의 개념도 빅데이터가 보급된 요인을 뒷받침하고 있습니다.오픈 데이터란 누구나 2차 이용이 가능한 공개된 데이터를 말합니다.빅데이터를 공개하고 공공을 이용함으로써 새로운 사업과 서비스 창출, 지역경제 활성화 등으로 이어질 것으로 기대됩니다.

 

 

 

---

 

 

빅 데이터 활용 사례와 분석 방법

 

 

빅 데이터를 이용한 분석은 비즈니스 등 다양 다종인 업종에 변혁을 가져올 것이라고 합니다.

사용할 수 있는 정보가 많아 기존에 불가능했던 복잡한 분석이 가능하게되었습니다. 

 

 

 

 

 

예를 들어, 

Google은 이용자가 웹에서 검색 한 정보를 축적 · 분석함으로써 그 사람의 흥미 · 관심에 맞는 광고를 표시합니다. 

축적하는 정보가 많을수록 명확하게 분석 할 수 있습니다. 

Google은 하루에 24 페타 바이트 이상의 데이터를 처리하고있는 것으로 알려져 있습니다. 이것은 미국 의회 도서관에 소장되어있는 모든 인쇄물의 수천 배의 정보량에 상당하는 데이터 량입니다.

 

 

 

 

 

 

아마존은 단순히 "어떤 책이 팔렸 는가 '라는 데이터뿐만 아니라 "사용자가 과거에 어떤 책을 샀는지 " 또는 "이번 어떤 책을 체크하여 최종 구매에 이르렀는가'라는 데이터 모두 축적, 저장, 분석하여 왜 그 책이 팔린 여부를 알 수 있습니다.

 

아마존 같은 인터넷 기업이 빅 데이터를 웹상에서 쉽게 수집하고 분석하여 매출을 늘리고 있습니다.

 

 

---

 

빅데이터(Big Data)란 | 정의, 활용, AI와의 관계, 보급 이유 2

 

빅데이터(Big Data)란 | 정의, 활용, AI와의 관계, 보급 이유 2