데이터 분석가 블로그

텍스트가 여러 파일에 존재하면 파일을 한 위치에 저장하여 관리하기 쉽게 만들어야 한다.

데이터베이스의 겨우 텍스트를 포함하는 필드를 판별해야 한다.

텍스트 마이닝 알고리즘을 소스 텍스트에 적용한다.

군집, 분류 및 예측 모델링과 같은 일반적인 데이터 미이닝 기술을 사용하여 개념 간의 관계를 발견한다.

추출한 개념을 다른 구조화된 데이터와 병합하여 새로운 데이터를 만들어 낼 수도 있다.

서로 관련 있는 정보들을 이어주고, 꼭 필요한 정보를 제 때 찾아주는 등 텍스트 마이닝을 기반으로 한 리스크 관리 소프트웨어를 사용했을 때 리스크 관리 능력이 향상되었다.

금융업과 같은 산업에서 리스크 관리를 위해 텍스트 마이닝을 사용한다.

수많은 연구 자료들을 엮어 새로운 지식을 만들어 낼 수 있다.

의료 분야에서 수십 년 동안 연구한 자료들과 임상 실험 데이터를 마이닝하여 더 유효한 검증 방법 및 질병 예측법을 만들어 낼 수 있다.

텍스트 마이닝 기법을 통해 범죄 예방 어플리케이션 등 개인 및 기관을 대상으로 하는 인터넷 범죄 예방에 도움을 주고 있다.

고객을 대상으로 설문조사나 전화 상담 등의 자료를 분석하여 서비스를 향상시킬 수 있다.

보험 회사에서 텍스트 분석과 정형 데이터를 결합해 사기를 방지하고 고객의 불편사항을 빠르게 처리 하고 있다.

텍스트 마이닝 기술로 정보를 차곡차곡 쌓게 되면 보다 더 사용자 친화적인 컨텐츠를 생산하는데 도움을 줄 것이다.

소셜 미디어 시장에서 고객 정보를 파악하는데 텍스트 마이닝 기법이 활용되고 있다. 

비정형 데이터의 특성으로 인해 제품을 사용한 사람들의 감성을 알아 볼 수 있다는 점에서 각광받고 있다.

데이터 마이닝이 가장 활발하게 응용되는 분야로 스팸 문자, 이메일 등을 걸러내는데 도움을 준다.

웹 구조 마이닝은 웹 사이트와 웹 페이지의 구조적 요약 정보를 얻는 것을 목표로 한다. 웹 사이트의 구조적 정보란, 웹 페이지 사이의 하이퍼링크를 통한 그래프 구조를 뜻한다.

웹 내용 마이닝은 실제 웹 사이트를 구성하고 있는 페이지로부터 의미 있는 내용을 추출하는 기법이다. 이는 일종의 정보 추출이라고도 할 수 잇고, 텍스트 마이닝 기술과도 밀접한 관련이 있다. 즉, 온라인에 있는 방대한 웹 데이터(텍스트, 그림, 사운드 등)에서 유용한 정보를 자동으로 찾는 기술이다.

웹 사용 마이닝은 웹 사용자의 사용 패턴을 분석하는 것이다. 이를 통해 웹 사용자의 행동을 접속 통계 정보 이상으로 이해할 수 있고, 또한 웹 페이지의 이용 패턴을 알 수 있게 된다. 이러한 정보를 통해 사용자에게 더욱 친숙하게 페이지를 재구성하거나, 웹 서버 로드 밸런스, 사용자별 맞춤형 웹 페이지 구성 등에 이용된다.

웹에 올라오는 상품 혹은 서비스 구매자의 문장에서 의미있는 형태소를 추출하는 전처리를 한다.

전처리한 데이터에서 사용자가 상품 혹은 서비스에 대해 가지는 감정에 대해 각각 점수를 부여하여 수치화 한다.

2번에서 수치화한 데이터를 수집하여 최종적으로 구매자의 반응, 상품/서비스에 보여준 감정의 형태, 개선점 등을 추출하여 의미있는 데이터로 만든다.

개인은 휴대 전화, 태블릿, 노트북, 카메라 및 인터넷에 연결된 모든 기기를 다양한 용도로 사용하므로 gps 위치에서 google의 자주하는 질문에 이르기까지 다양한 데이터를 생선한다. 

개인용 장치에서 많은 데이터를 수집 할 수 있지만 이는 개인의 삶의 일부분이므로 보다 더 많은 데이터를 수집하기 위해서 생체 인식 장치, Fitbit, Nike+, Polar 등의 장치를 이용해서데이터를 얻을 수 있다.

회사 등의 집단 행동을 하는 그룹을 관찰하고자 RFID를 이용하여 그룹의 구성원들의 동선을 측정하거나 머무는 시간, 일의 효율 등을 측정하여 보다 더 나은 지식 관리 시스템을 구축하여 집단의 효율을 증가시키는데 사용된다.

교통 신호 및 속도 카메라로 인구 이동에 대한 데이터를 수집하는 방법으로 도시 규모의 리얼리티 마이닝을 실시한다.

뿐만 아니라 도시 규모의 범죄 데이터를 수집하여 범죄가 일어나기 전에 경찰관을 자동으로 범죄율이 높은 장소에 배치하는 방법으로 치안효과를 증진시키는 방법으로도 이용되고 있다.

인구 조사 결과 등 공공데이터를 이용하여 더 나은 사회를 만들기위해 사용한다.

UN의 질병 통제에 관현 정책 수립, 저소득 국가의 통계 시스템 계획 및 국가 통계 개발 전략 수립, 개발 도상국의 완전한 참여 보장, 국제 가계 조사 네트워크 설립, 가계 기반 사회 경제적 데이터 수집을 통해 더 나은 사회를 만드는 데 이용된다.