빅데이터(Big Data)란 | 정의, 활용, AI와의 관계, 보급 이유 2

 

빅데이터(Big Data)란 | 정의, 활용, AI와의 관계, 보급 이유 1

 

1. 빅 데이터 (Big Data) 
2. 빅 데이터는 왜 대중 가지 
3. 빅 데이터 활용 사례와 분석 방법 
4. 빅 데이터를 이용한 분석 방법 
5. 빅 데이터의 응용 예 
6. 빅 데이터 및 IoT 
7. 빅 데이터와 AI의 관계 
8. 빅 데이터와 AI "Watson" 
9. 빅 데이터의 과제 
10. 빅 데이터 전망

 

 

---

 

 

4. 빅 데이터를 이용한 분석 방법

 

  빅 데이터를 이용한 분석 방법은 주로 다음의 세 단계로 나눌 수 있습니다.

 

 

1. 통합 
빅 데이터는 종류가 다른 다수의 소스 및 응용 프로그램에서 비즈니스 과제 해결에 필요한 데이터를 수집합니다. 

2. 관리 
빅 데이터를 저장하려면 스토리지가 필요합니다. 데이터가 어떤 구조 든 그것을 저장하는 환경을 정비하는 것이 중요합니다. 

3. 분석 
분석 방법에 따라 수집 한 데이터를 분석하고 비즈니스 과제 해결을 초래할 수있는 지식을 구워 내고 있습니다.

 

 

---

 

 

5. 빅 데이터의 응용 예

 

 

의료

 

매일 대량의 복잡한 비정형 데이터를 생성하는 의료 업계에서는 빅 데이터를 예방 의료에 도움을줍니다. 

예를 들어, 웨어러블 장치 등으로 부터 수집 된 빅 데이터를 활용하여 환자의 건강 상태를 모니터링 하고 의료 기관에 데이터를 전송할 수 있습니다.

 

또한 수백 수천만 명의 환자에서 수집 된 데이터를 사용하여 증거 기반 진단을 할 수 있습니다.

 

 

관광

 

여행 업계는 주로 고객의 관광지에 대한 관심과 그 행동 특성의 데이터를 기반으로 사업을 전개하고 있습니다. 

예를 들어, 고객과 고객의 검색 키워드의 데이터를 분석하여 제공하는 서비스의 수요와 과제를 찾아 볼 수 있습니다.

 

 

교육

 

학생 학습 이력이나 행동 이력 등 빅 데이터를 수집하고 시각화하고 분석함으로써 학습의 평가와 다양한 예측, 성적과 학습 행동의 관계를 밝힐 수 있습니다. 

 

예를 들어, 학습 이력 데이터를 사용하여 개별 학생에 대한 맞춤형 과정과 계획을 작성하여 학생의 전반적인 결과를 개선 할 수 있습니다.

 

 

소매

 

빅 데이터를 이용한 시장과 고객 관심의 분석을 통해 소매업의 생산성과 효율성을 도모하고 있습니다. 

 

예를 들어 매출 데이터를 분석하여 제품의 수급 예측의 정확도를 향상시키고 제품의 입고에 대해 합리적인 결정을 내릴 수 있습니다.

 

 

농업

 

기존 농업은 경험과 감에 의존 부분이 대부분을 차지하고 있었지만, 농사에 빅 데이터를 활용 있다면, 수확 예측 및 생산성 향상으로 이어집니다. 예를 들어, 센서에서 얻어진 기온 일사량 · 강우량과 농사의 데이터를 분석하여 생산 계획에서 수확 · 출하까지를 시각화 할 수 있습니다.

 

 

---

6. 빅 데이터 및 IoT

 

 

 

 

 

최근에는 IoT가 보급되면서 빅데이터 수집이 용이해지고 있습니다.도요타 자동차는 빅 데이터와 IoT를 잘 활용함으로써 교통사고를 줄이려는 목적이 있습니다.

지금부터 판매되는 토요타 신형차에는, 장애물이 없는 상황에서도 비정상인 액셀 조작시에 가속을 억제하는 「급액셀시 가속 억제 기능」이 탑재될 예정입니다.

이 기능은, 지금 타고 있는 connected car(항시 넷 접속되어 최신의 도로 상태를 취득해 최적인 루트를 산출하거나 차량에 트러블이 발생했을 때에 적당한 곳에 연락해 주거나 하는 기능을 탑재한 차)로부터 얻을 수 있는, 액셀 페달 밟히는 방법의 특징인 빅데이터를 활용하는 것으로 실현되고 있습니다.

IoT에서 얻은 빅 데이터에 의해 비정상적인 악셀 조작 상황을 파악하고 산출 가속 억제를 실시함으로써 교통사고의 위험을 삭감하는 구조로 되어 있습니다.

 

 

 

---

 

 

7. 빅 데이터와 AI의 관계

 

 

 

 

 

통계적인 분석이나 AI에 의한 해석을 통해 빅데이터로 높은 가치를 창출하는 '빅데이터 × AI'가 최근 주목받고 있습니다.

빅데이터와 AI는 서로 밀접한 관계를 맺고 있습니다. 종래의 기술로는 방대한 데이터의 관리나 보관은 어려운 것이 있었습니다. 그러나, AI 중에서도 기계 학습이나 딥러닝의 발전에 의해, 종래 불가능하다고 여겨졌던 방대한 데이터의 관리나 해석이 가능하게 되었습니다. 이를 통해 기업이 가지고 있는 많은 양의 데이터도 효율적으로 분석하고 정리하여 유용한 데이터만을 추출할 수 있게 되었습니다.

게다가 기계 학습이나 딥러닝의 분야는, 현재도 굉장한 스피드로 진화를 계속하고 있습니다.

특히 2012년에 딥러닝이 등장한 이래, 화상 인식의 정도가 향상하여,  사람이 손을 움직이던 화상이나 음성등의 빅 데이터의 분석 · 정리도 컴퓨터에 의해서 실시할 수 있게 되었습니다. 딥러닝의 정확도를 높이기 위해서는 교재가 되는 빅데이터가 필요하며, 이로 인해 데이터 취급에 능하고 AI 개발에도 관여할 수 있는 데이터 사이언티스트의 수요가 확대되고 있는 것입니다.

예를 들어 AI 개발에 종사하는 데이터 사이언티스트라면 AI 시스템을 구축하고 운용할 때 학습 데이터의 질을 이해하고 적절하게 가르치는 업무를 합니다. 방대한 정보·통계로부터 가치를 찾아내 AI에 어떠한 「데이터」를 줄지에 따라 출력되는 결과도 변해갑니다.

 

 

---

 

8. 빅 데이터와 AI "Watson"

 

2011년 2월에 미국에서 방영된 퀴즈 프로그램에 승리해 주목을 받은, 자연 언어를 이해하는 AI의 「Watson」는, 의료기관에서 활약하고 있습니다.

미국의 6개 의료기관과 태국의 1개 의료기관은 암 치료에 있어서 Watson을 이용하고 있습니다.

 

Watson은, 암 치료의 가이드 라인이나 의학 문헌의 초록, 도서관의 공개 데이터 등에서 「이 증상은, 이런 진단이 된다」 「이 치료를 하면 어떨까」라고, 진단이나 치료에 관한 의사의 판단을 지원합니다.

 

예를 들어, 위암의 스테이지 2라면, 「어떤 항암제라면 효과가 있을까」 「이런 검사를 하면 어떨까」라고 의사에게 제시합니다. 의사가 다른 보기가 좋다고 판단이 되면 그 정보가 이번에는 Watson에 등록이 되고 다음 부터는 활용이 됩니다.

Watson은 문헌에서 축적 된 빅 데이터와 자신의 경험에서 얻은 데이터를 곱하여 결정의 정밀도가 향상하고 있습니다. 

소프트 뱅크 사에서는 2017 년부터 인사부에 AI, "Watson" 을 도입하여 AI에 의한 대량의 ES (원서)의 자동 분류를 실현함으로써 업무 효율을 크게 개선 하고 있습니다. 

소프트 뱅크의 경우 매년 보내 오는 3000 인분의 ES를 직접 읽을 수는 인사부에게는 부담이 큰 것이 었습니다. 업무 상황을 개선하기 위해, 인사 담당자가 Watson 지금까지 채용 한 학생의 ES를 기억하고 같은 경향이있는 학생을 정리하는 데 성공했습니다. 이후 소프트 뱅크는 방대한 데이터를 가져온 AI가 ES의 자동 분류함으로써 효율적으로 효과적으로 우수한 인재를 찾을 수 있도록합니다. 

지금까지 사람의 경험과 감에 의존해온 부분을 빅 데이터 × AI로 대체하여 더 높은 가치를 창출 데 성공하고있는 예입니다.

 

 

---

 

 

9. 빅 데이터의 과제

 

 

 

 

빅 데이터는 많은 점에서 유망하지만 문제가없는 것은 아닙니다. 빅 데이터를 이용하는 경우에 떠오르는 문제점은 두 가지가 있습니다. 

 

문제 1 데이터의 정리에 시간이 걸린다

빅 데이터는 그 이름대로 방대한 양의 데이터를 의미합니다. 데이터를 저장하기위한 새로운 기술도 개발되고는 있지만 지금 데이터의 양은 2년마다 2배로 증가하고 있는 것으로 알려져 있습니다. 각 기업은 아직도 엄청난 양의 데이터를 효율적으로 저장하는 방법을 찾는데 어려움을 겪고있는 것이 현실입니다. 

또한, 데이터는 그냥 저장하면 좋은 것이 없습니다. 빅 데이터는 사용하여 처음으로 가치를 창출하며, 이를 위해서는 빅 데이터를 정리하는 것이 필요합니다. 클린 데이터, 즉 고객에게 적절하고 의미있는 형태로 분석 할 수 있도록 구성 되어있는 데이터를 제공하려면 상당한 노력이 필요합니다. 데이터 과학자는 실제로 데이터를 사용할 수있게되기 전의 준비와 정비 업무 시간의 50 ~ 80 %를 소비하는 것으로 알려져 있습니다.

 

 

 

문제 2 프라이버시

빅 데이터에 개인 정보가 포함될 수 있으며, 무단으로 데이터를 활용하면 개인 정보 침해 가능성도 있습니다. 개인 정보 보호법에서는 익명 데이터 및 통계 데이터 등 개인이 특정되지 않는 정보는 개인 정보에 해당하지 않고 제 3 자에게 제공 관해서도 본인의 동의를 필요로 하지 않는다고 되어 있습니다.  

빅 데이터는 과학 유사한 '양날의 검' 이 될 수 있습니다. 잘못 사용하면 사람에게 해를 입힐 가능성은 지울 수 없습니다. 한편 올바르게 사용을 하면, 사람과 사회에 긍정적인 영향을 줄 수도 있다는 것을 이해할 필요가 있다고 생각합니다.

 

 

 

---

 

10. 빅 데이터 전망

 

 

 

 

 

방대한 데이터가 도처에 편재하며 누구나 접근할 수 있는 시대에 돌입한 지금, 빅데이터 분석/활용은 전 세계 기업 및 사회에 혁신적인 이점을 가져올 수 있습니다. 
장점을 누리기 위해서는 빅데이터를 올바르게 사용해석 해야합니다.

그리고 향후에는 더욱 더 AI기술을 이용한 빅데이터 해석이 기업 사이에서도 보급되어 가는 일이 현실 세계에서 일어나고 있는 사례를 통해 생각할 수 있습니다.