본문 바로가기
MS

SharePoint 팀 사이트 정리

by wizmusa 2021. 9. 8.

회사에서 팀 협업 사이트로 쓰던 MS SharePoint Server를 정리하니 데이터를 알아서 보관하라는 공지 메일을 받았습니다. 차세대 그룹웨어를 곧 오픈하기 때문이었습니다. SharePoint designer도 쓰던 나름 파워유저였던 터라 참 잘 써왔습니다. 저희 팀 역시 회사에서 SharePoint 많이 쓰기로 둘째 가라면 서러울 정도였기에 백업해야 할 자료가 꽤 나왔습니다.

SharePoint를 팀에서 먼저 써버릇한 건 저였기에 조직이 바뀔 때마다 팀 로고를 급조해서 만들곤 했습니다. 조악한 흔적을 보면서 전산실을 떠나 본사에 와서 이런 저런 부침을 겪었던 기억이 잠시 스쳐지나갔습니다.

 

마구 만든 팀 로고 #1
마구 만든 팀 로고 #2
마구 만든 팀 로고 #3 (끝)

버려둘 건 버려두면서 둘러 보자니 그땐 그랬지 싶은 기록이 많군요. 아래는 2015년 이래로 팀원들과 공유하려 했던 링크 자료입니다. 몇 명이나 둘러 봤을까요? 한두 명이라도 한두 번이라도 쓸모가 있었기를 바랍니다. 링크가 없는 항목은 구글로 검색하면 바로 나옵니다. (구글 스프레드시트 백업본: https://docs.google.com/spreadsheets/d/1iuN5Aq9WGqSQ_x-efkblyuKSUu3GbY38z6s2ZO62_4c/edit?usp=sharing)

  • CES2019 트렌드 10: 유비테크 크루저 로봇도 나옵니다
  • 카카오, AI 한국어 독해 능력 평가 1위…인간보다 높은 점수 AI가 인간보다 높은 점수를 기록한 것은 처음.
  • 센티미터 급 위치 정확도 구현하는 ‘블루투스 위치 추적 시스템’ 새로운 기능 발표
    • 블루투스 SIG, 디바이스가 보내는 신호가 어디서 왔는지를 감지, 디바이스의 방향을 파악할 수 있는 ‘블루투스 근접 솔루션’과 센티미터 수준의 위치 정확도를 구현하는 ‘블루투스 위치 추적 시스템’ 개발이 가능해졌다.
  • 인간과 인공지능의 토론 대결에서 인간이 승리했다
    • 나타라얀은 보조금 지급 반대, IBM 인공지능은 보조금 지급 찬성의 입장이었다. 결과는 참석한 관객(700명의 관객 중에는 교육분야 관계자, 100명 이상의 기자 포함)의 투표에 따라 결정됐다. 인간의 승리.
    • 재미난 점은 관객들이 어느 토론자의 지식이 더 도움이 됐냐는 질문에 50% 이상이 인공지능을 선택했고, 인간은 20%였다. 아무래도 데이터베이스에서 객관적인 자료를 끌어왔기 때문인 것 같다. 다만, 인간 챔피언의 말을 반박하는 능력은 아직 부족하다는 의견이 지배적이다.
  • 마이크로서비스로 이전하기··· ‘현장의 조언 8가지’
    • 1. 도메인 주도적 디자인을 도입하라
      2. 코드 라이브러리에 대한 가이드라인을 수립하라
      3. 마이크로서비스들 사이에서 데이터베이스를 공유하지 말라
      4. 보안 문제를 해결하라
      5. 복잡한 관계를 피하라
      6. 애플리케이션을 처음부터 구축하는 것을 고려하라
      7. 확장 시의 성능을 측정하라
      8. 변화관리에 집중하라
  • 구글은 챗봇이 나쁜 생각이었다고 인정했다
    • https://www.fastcompany.com/90243776/google-admits-chatbots-were-a-bad-idea
    • 'Google admits chatbots were a bad idea'란 기사를 번역해 보았습니다. 중요한 부분만 요약하고 제 생각을 조금 추가하였습니다. 최근 구글 어시스턴트가 시각적인 인터페이스를 강조하여 업데이트가 되었는데요. 앞으로 챗봇이 메신저의 대화창에서 점점 앱 기반의 대화 서비스로 발전할거라 예상됩니다.
  • 챗봇, AI스피커, 왜 불편한가?
    • "구글이 기대했던것만큼 사람들은 봇과 연속적인 대화를 하지 않는다고 한다. 유저가 길게 대화하지 않으려는 성향은 봇을 만들어보면 단번에 알수 있다."
  • [Biz times] 제조업의 새 심장, AI 별도의 AI조직 쓸모없어…회사 전체를 AI 조직화하라
  • `AI 세계적 석학` 앤드루 응 美스탠퍼드대 교수
    • 매경 실리콘밸리 특파원 현지 단독인터뷰
    • "인공지능이 세상을 삼킬 것이다(AI will eat the world)."
  • George Hotz | Livecoding twitchchess | a simple neural chess AI | part1
    • 라이브 코딩으로 체스를 두는 AI를 개발하고 학습하게 하는 영상
  • CJ제일제당, 'MI 룸' 신설…원재료 글로벌 구매 역량 강화
    • CJ제일제당은앞으로 Global MI Room을 적극 활용해 원당, 곡물 등 원재료 시장 현황 분석을 보다 고도화하고 최적의 구매 전략을 수립할 계획이다. 특히 시황 분석과 예측 외에도 원당과 곡물의 실시간 거래도 진행할 수 있는 기반을 갖춰 원재료 현물 및 선물 거래에도 보다 능동적으로 대응할 수 있을 전망이다. 향후 빅데이터 기반의 곡물시세예측 프로그램을 구축해, 궁극적으로 최고 수준의 구매 역량과 예측 시스템을 갖출 계획이다.
  • 마케터에게 빅데이터는 반쪽짜리 데이터에 불과합니다
    • 마케터에게 진정으로 중요한 데이터에는 두 가지 형태가 있습니다. 바로 틱데이터(thick data)와 빅데이터(big data)입니다. 틱데이터를 만들어내는 이들은 민속지학자와 인류학자를 비롯해 인간행동을 관찰하고 그 기저에 깔려있는 동기를 분석하는 사람들입니다. 빅데이터는 기업과 소비자가 맺고 있는 수백만 개의 접점에서 얻어집니다.
  • 자습해도 모르겠던 딥러닝, 머리속에 인스톨 시켜드립니다.
  • [전문가 칼럼] 당신이 알고 있는 ‘빅데이터’는 틀렸다
    • https://news.samsung.com/kr/전문가-칼럼-당신이-알고-있는-빅데이터는-틀렸
    • 수요일 저녁, 기저귀와 맥주 매출의 상관 관계 (월마트)
    • 페이스북이 자체 검색 엔진 개발에 나선 ‘진짜’ 이유
    • 월마트와 페이스북 사례는 두 가지 교훈을 던진다.
      • 첫째, 빅데이터에서 ‘빅(big)’이란 실로 천문학적 규모의 데이터를 의미한다.
      • 둘째, 특정 데이터가 빅데이터의 일부로 인정 받으려면 최소한의 ‘자격’을 갖춰야 한다.
    • 이런 데이터 찌꺼기(혹은 중복)를 속 시원히 제거하기 위해서라도 기업 정보를 한눈에 들여다볼 수 있는 데이터맵은 반드시 존재해야 한다. 데이터맵에 자신 있게 나타낼 수 없다면 데이터로서의 존재 가치는 없는 것과 마찬가지다. 문제는 국내 기업 중 수준급 전사데이터맵을 갖춘 기업이 사실상 한 군데도 없다는 사실이다. 단언컨대 전사데이터맵 개념이 없거나 희박한 기업에 빅데이터란 한낱 신기루에 불과하다.
  • [전문가 칼럼] ‘지도’조차 없이 헤매는 기업 정보시스템
    • 기업 정보시스템에서 프로그램 문제로 정답 도출이 늦어지는 경우는 거의 없다. 대부분은 ‘데이터 설계 시 발생한 치명적 하자’가 그 원인이다. 요컨대 ‘프로그램 중심’의 현행 사고를 ‘데이터 중심’으로 하루빨리 바꾸지 않으면 기업 정보시스템은 영원히 애물단지 신세를 벗지 못할 것이다.
  • [전문가 칼럼] 당신의 데이터 감각 지수는?
    • ‘XX 여부’가 데이터일까? 정답부터 말하면 ‘아니다’. ‘결제 여부’나 ‘승인 여부’ 같은 것을 현업에서 많이 쓰는 데, 이것이 데이터가 아니라고 하면 의아할 독자가 많을 줄 안다. 관행이 무서운 것이다. 특히 학교나 교과서에서 원론적으로 배운 바가 전혀 없는 주제에 대해 현업의 선배로부터 잘못 전수받은 것들이 불러일으키는 부작용은 크다.
    • 기업 정보시스템에 ‘3초 룰’이라는 원칙이 있다. 기업 정보시스템에 어떤 질문을 넣었을 때 어느 경우라도 답이 3초 이내에 나와야 한다는 기본 철칙이다. 예외는 존재하지 않는다. 항상 3초 이내다.
  • 엘론 머스크의 킬러 로봇 금지협약 촉구
    • 저 유명한 엘론 머스크가 무기로서 킬러 로봇을 금지하자는 공개서한을 UN에 보냈다고 합니다. 오히려 이런 무시무시한 일에는 사람들이 반대할까 봐 '인공지능'이나 '로봇'이라는 어휘를 쓰지 않는군요. 이미 삼성도 '자율보초화기'라는 인공지능 로봇을 비무장지대 경계에 배치했다고 합니다.
    • Open letter signed by Tesla chief and Alphabet’s Mustafa Suleyman urges UN to block use of lethal autonomous weapons to prevent third age of war
  • "인간은 인내력이 없어 이혼하고 기억력이 없어 또 결혼하지, 좀 더 참고 함께 살아봐"
    • 일본 요코하마시(市)가 운영하는 분리수거 도우미 인공지능(AI) 채팅로봇에 일본 주부들이 장난 삼아 "남편은 어떻게 버려야 하느냐"고 물었다. 이에 대해 채팅로봇이 반말로 한 대답이 화제다. "인간은 판단력이 없어서 결혼하고, 인내력이 없어서 이혼하고, 기억력이 없어서 재혼한다는 말도 있잖아. 인내심을 가져보면 어떨까."
    • 인터넷에 '프라이팬'이라고 치면 로봇이 "소형 금속이니까 재활용 쓰레기"라고 알려주는 식이다.
    • 요코하마시청은 일본 언론에 "시험 가동을 시작한 뒤 첫 4개월간 총 5만6000건의 질문이 들어올 만큼 반응이 좋다"고 했다.
  • 타블로 "파워BI 10가지 단점" vs. MS "침소봉대··· 이미 개선"
    • 타블로는 이 자료에서 파워BI를 조목조목 비판했다. 시각화를 3,500개 데이터 포인트로 제한하는 것, 가상 시나리오 계산이 어려운 점, 팝업 상자 사용자 지정을 할 수 없는 것 등이다(단, 파워 BI는 툴 팁에서 추가적인 카테고리를 넣을 수 있다). 타블로는 이를 통해 자사 소프트웨어가 단순히 데이터를 시각화할 뿐 아니라 분석하는 데도 훨씬 도움이 된다고 주장했다.
    • 당연히 마이크로소프트는 강하게 반발했다. 소프트웨어를 2개 비교하면 서로 있는 기능과 없는 기능이 있기 마련이라는 것이다. 마이크로소프트 비즈니스 인텔리전스(Business Intelligence)의 기술 임원 겸 수석 아키텍트인 아미르 넷츠는 "타블로가 제시한 목록을 보면 차별점을 찾기 위해 애쓴 흔적이 역력하다. 그러나 이 목록은 소프트웨어의 주요 특징이 아니라 일부 특징의 작은 차이를 나열한 것에 불과하다. 그나마 일부는 이미 개선됐고 다른 것들은 개발 중이다"라고 말했다.
  • 신한銀, 빅데이터 덕에 아이적금 3배 늘어
    • "고객상담 30만건 키워드 뽑아 엄마마음 읽었죠"
    • "세뱃돈 넣을 통장 만들래요" 문의 늘자 추천상품·마케팅 연계해 신규계좌 확대
  • IBM, ‘왓슨 포 사이버 시큐리티’ 발표 AI 보안서비스, 보안문서 100만건 이상 학습
    • ‘왓슨 포 시큐리티’의 혁신 기술로는 ▲IBM 큐레이더 왓슨 어드바이저(IBM QRadar Watson Advisor) ▲빅픽스 디텍트(BigFix Detect ▲매니지드 보안서비스(Managed Security Services) ▲챗봇 음성 보안 어시스트를 위한 프로젝트 헤이빈(Havyn) 등이 있다.
  • MongoDB and MySQL Compared The relational database has been the foundation of enterprise applications for decades, and since MySQL’s release in 1995 it has been a popular and inexpensive option. Yet with the explosion in the volume and variety of data in recent years, non-relational database technologies like MongoDB have emerged to address the requirements of new applications. MongoDB is used for new applications as well as to augment or replace existing relational infrastructure.
  • Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs OrientDB vs Aerospike vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris vs RethinkDB comparison Apache Myriad (incubating) Deploy Apache YARN Applications Using Apache Mesos
  • Apache Myriad enables the co-existence of Apache Hadoop and Apache Mesos on the same physical infrastructure. By running Hadoop YARN as a Mesos framework, YARN applications and Mesos frameworks can run side-by-side, dynamically sharing cluster resources.
  • 조세회피 의혹 파헤친 그래프 DB 기술 '대단해'
    • 데이터 분석-시각화에 NEO4j 그래프 DB 기술 사용 위력 과시
    • 국제탐사보도언론인협회(ICIJ)의 파나마 페이퍼스 데이터 분석과 시각화에 NEO4j 그래프 DB 기술이 사용됐다.
    • 파나마 페이퍼스는 파나마의 법률회사 모색폰세카에서 유출된 내부 문서다. 각국 전현직 지도자와 정치인, 유명인사의 조세회피 의혹을 담고 있다. ICIJ는 1년간 파나마 페이퍼스의 데이터를 분석해 BBC, 가디언, 뉴스타파 등 각국 회원 언론사에 지난 3일 배포, 공개했다.
    • ICIJ는 파나마 페이퍼스 데이터를 쪼개 내부 구조를 드러내는데 NEO4j 기술을 활용했다. NEO4j는 문건 속 인물과 회사, 고객명 사이의 관계를 시각적으로 드러냈다.
    • 그래프 DB 기술은 대규모 데이터 활용에 맞게 설계됐다. 특히 데이터 사이의 모든 관계를 보여주는데 특화됐다. 깊이 연관된 데이터를 관리하고, 복잡한 쿼리를 처리하는데 유용하다. 관계형DB에서 쓰이는 테이블 대신 노드와 속성, 엣지, 릴레이션십 등으로 데이터를 정의하고 저장한다.
  • [데이터시각화] 시각화 차트 유형 총정리
    • 차트별 개별 페이지에는 위 시트의 정보(차트 이름, 유사이름, 데이터 필드 구조)들을 넣고, 사례는 기본 구조를 보여줄 수 있는 대표 사례와 이를 활용한 콘텐츠의 응용사례 2가지를 추가하였다. 이 과정에서 중복이 있는 차트 등을 재정리하여 최종적으로 6개 분류 58개의 차트를 정리하였다. 이번에 차트 위키로 정리한 차트의 경우 필요시 추가 정보를 업데이트 할 예정이며, 신규로 추가해야 하는 차트 유형이 있다면 이를 더하는 등의 방식으로 차트 위키에 대한 업데이트를 이어나갈 계획이다.
    • https://docs.google.com/spreadsheets/d/16Ii3pdCdVuKO4wrTJmKPLERGb-6L9OB6eX-DzwREqT4/edit#gid=0
  • 가장 학습하기 힘든 직업이 살아남는다
    • 흥미롭게도 컴퓨터화 가능한 확률은 직업 평균 임금과 높은 음의 관계를 보였습니다. 즉, 해당 직업에 대해 계산되어 나온 컴퓨터화 할 수 있는 확률이 높을수록 임금이 낮았다는 뜻입니다.
    • IBM 인공지능 왓슨의 새로운 직업, '쇼핑 도우미' 소매유통업체인 메이시스(Macy's)가 매장내 쇼핑객들이 왓슨에게 도움을 청하는 새로운 모바일 서비스를 자체 테스팅한 결과를 발표했다.
    • 메이시스 온-콜(On-Call)이라는 이 툴은 스마트폰을 소유한 쇼핑객에게 왓슨에게 한 가게의 제품, 서비스, 시설에 대해 질문을 요청할 수 있도록 한다. 이들이 모바일 브라우저에 질문들을 입력하면 IBM 협력업체인 세티스파이(Satisfi)의 위치기반 지원 소프트웨어를 통해 클라우드로 왓슨에 접속한다. 이 앱은 영어와 스페인어로 작동한다.
    • 왓슨의 대답은 각 개인별 상점에 맞춤화되어 있다. 스마트폰의 GPS를 통해 위치를 파악하고 사용자가 요구하는 질문에 각 상황에 맞는 대답을 제시한다.
    • 예를 들어, 사용자가 "숙녀용 신발이 어디있나", 또는 "INC 드레스(의류 브렌드 이름)"라고 입력하면 왓슨은 해당 위치를 전달하고 이 상점으로 가는 길을 안내할 것이다.
    • 메이시스 온-콜은 각 상점의 고객들에 대해 좀더 배우기 위해 시간이 지남에 따라 진화하는 머신러닝을 사용하고 있다. 이는 최근 미국 전역 10개의 메이시스 상점에서 파일럿 프로젝트로 진행됐다.
  • 오프라인 매장이 온라인 쇼핑몰을 이기는 방법
    • 오래 전부터 리테일 업체들은 아마존을 비롯한 온라인 기업에게 고객을 빼앗겨 골치를 썩었다. 오프라인 매장과 달리 온라인 쇼핑몰은 방문자의 행동 패턴을 분석해 이를 판매에 활용할 수 있다는 강점을 갖고 있다.
    • 오프라인 매장에도 소비자 행동 패턴을 파악, 분석해 실시간으로 판매에 적용할 수 있는 애널리틱스 기술이 필요한 상황이다. 이런 상황에 예외인 기업은 아마도 거의 없을 것이다.
    • 필자는 얼마 전 열린 CES에서 오프라인 매장의 이런 문제를 해결해 줄 솔루션을 발견했다. 클로버리프(Cloverleaf)라는 기업이 내놓은 딥 러닝 AI 플랫폼이다. 인스토어 센서에 연동된 이 플랫폼을 잘 활용하면 오프라인과 온라인의 기술 간극을 줄이고 오프라인 리테일 업체의 경쟁력을 한 단계 끌어올릴 수 있을 것으로 보였다.
  • SCM과 빅데이터 분석이 만나면··· '효율 ↑ 위험 ↓'
    • 빅데이터 분석이 공급망 가시성을 높이고 통찰력을 제공하는데 기여할 수 있다. 빅데이터를 활용해 공급망 기업들은 자주 변경되는 요구나 공급망 위험에 대응하는 방법을 개선하고 이 문제들과 관련한 우려를 줄일 수 있는 방법을 소개한다.
    • SCM 월드의 연구에 따르면, 공급망 관리자 가운데 64%가 빅데이터의 중요성과 변혁적 가치를 인정하고 이를 자사의 장기적 변화 관리 활동의 근간으로 삼으려는 계획을 구상하고 있었다. 빅데이터 분석이 자사 공급망에 전달하는 효익을 이해하고 있다고 생각하는 공급망 관리자는 무려 97%에 달했다. 그러나 이와 대조적으로, 액센츄어의 조사에 따르면 한 곳 혹은 그 이상의 공급망에 실제 분석 툴을 적용한 관리자는 17%에 불과했다.
  • 현대 마케터에게 절실해지는 '빅데이터' 역량
    • 마케터의 핵심 역할 중 하나는 브랜드, 제품, 기업에 대한 인식을 고양시키는 것이다. 바로 이 역할로 인해 데이터 분석이 마케터에게 점차 중요해지고 있다. 데이터 분석은 트렌드, 기존의 캠페인, 실패한 계획에 대한 실시간 통찰력을 제공할 수 있기 때문이다.
    • AOS(Act-On Software)의 CMO 미쉘 허프는 "그 어느 때보다도 숫자, 수치, 지표에 민감한 마케터들이 등장하고 있다. 이들은 마케팅 캠페인의 성공이 데이터를 분석해 실행 가능한 통찰력으로 바꾸는 능력에 좌우된다는 사실을 알고 있다"라고 말했다.
    • "결국 팀워크가 순환하게 된다. 엔지니어링팀은 데이터를 통합하고 데이터 공학자는 마케터의 최신 데이터 문제를 알고리즘으로 전환하며 마케터는 이런 통찰력을 가져다가 새롭거나 개선된 전략으로 바꾼다. 팀워크가 그 어느 때보다 중요하다는 의미다"
  • 예측 엇나간 미 대선, 왜 데이터가 실패한 것일까?
    • 올해 미국 대선은 빅데이터 업계의 최대 참사라고 부를만하다. 모두가 클린턴의 승리를 점쳤으나 실제 승자는 트럼프였다. 무엇이 문제였을까? 조사 수단, 거짓 응답, 성 혹은 소득에 따른 경향 등 다양한 분석이 나왔다. 불확실성이 많은 정치 이슈의 특성상 일반적인 빅데이터와 다를 수 있다는 지적도 있다. 실제로 브렉시트를 둘러싼 투표 결과도 애초 예상과 달랐다. 이번 미국 대선은 데이터를 다루는 일이 얼마나 민감하고 어려운 일인지를 잘 보여줬다.
    • 많은 관심을 받은 여론조사 실패는 어쩌면 우연이었을지도 모르지만, 유사한 사례가 줄이어 일어난다는 점에서 관련 데이터를 선거 예측에 활용할 때 더욱 불안감이 커진다. 단순히 “데이터가 엉망이라 결과도 엉망”이라는 이야기를 하려는 것이 아니다. 데이터를 다루는 사람이 그 데이터로 무엇을 할 수 있고 어떤 것을 알아낼 수 없는지를 이해하지 못한다면 이것은 더 이상 데이터의 잘못이 아니다. 단순히 모델이 정확해야 데이터도 정확하다는 원칙을 천명하면 되는 단계를 넘어섰다는 의미다.
  • 철강 기업 게르다우의 산업 IoT 활용법
    • 대형 설비를 이용해 상품을 만드는 제조업체에 있어 빅데이터의 또다른 이름이 바로 사물인터넷(IoT)이다. 소중한 생산장비에 다양한 센서를 부착하고 여기서 나오는 막대한 빅데이터를 이용해 고장으로 인한 생산 차질을 막고 설비 유지비용을 절감하는 것이다. 브라질의 대표 철강업체 게르다우가 대표적이다. GE가 수행한 이 프로젝트를 통해 72시간 가량의 생산중단을 피할 수 있었다.
    • - 모니터링할 자산 결정
      - 모니터링 능력 조직화 및 평가
      - 예측적 통찰을 제공하는 모델 구축
      - 데이터 통찰을 관리 조치로 전환
  • "빅데이터 시장 성숙, 클라우드와 결합 뚜렷" 앳스케일 보고서
    • 올해 빅데이터 분야에서 나타난 흥미로운 변화 중 하나는 클라우드와의 결합이다. 빅데이터는 유용하지만 관련 시스템을 직접 구축해 관리하는 것은 예상외로 까다롭다는 것이 먼저 '실패한' 기업의 공통된 증언이다.
    • 결국 대안은 클라우드였다. 기업의 72%는 앞으로 빅데이터 시스템을 클라우드에서 운영할 것이라고 밝혔다. 관리의 어려움은 가고 분석의 과실만 갖겠다는 것이다. 물론 유연성은 포기하고 추가 비용을 내야 한다.
  • DIY vs. 완전 통합형 하둡, 어느 쪽이 최적의 선택일까?
    • 핵심은 당신 기업이 나아가려는 빅데이터 프로젝트의 방향성을 명확히 이해하는 데 있다.
    • 맞춤 개발 솔루션이 필요한 독특한 요구 사항을 가진 곳, 제한된 수준의 문제 처리만을 필요로 하는 곳, 또는 기존 데이터 수집 프로세스 및 인프라의 변화를 원치 않는 곳 등 명확한 요구 사항을 지닌 기업들이라면 그것을 명확히 반영하는 맞춤 개발 빅데이터 플랫폼이 올바른 선택일 것이다.
    • 반대로 핵심 비즈니스 전략을 지원할 일반적 도구로 빅데이터를 바라보는 기업들이라면, 사전 통합형 기성 솔루션을 통해 빠르고 손쉽게 데이터 발굴 과정을 시작할 수 있겠다.
  • 빅데이터가 'CSI'라면, 머신러닝은 '강력계 형사'
    • 특정 직원의 계정이 사외에서 사용되거나 해당 직원이 업무 수행에 필요 없는 시스템에 접근하거나 한밤중에 로그인을 시도하는지 등을 확인한다. 머신러닝 기술은 직원의 정상적인 컴퓨터 사용을 분석하고 기준 패턴을 설정했기 때문에 특정 로그인 시도가 정상이 아니며 잠재적으로 위험하다는 것을 알 수 있고 IT 직원이 해당 상황을 조사할 때까지 사용자를 차단한다.
    • 이처럼 머신러닝은 사용자 데이터에 대한 즉각적이고 필수적이며 조치 가능한 통찰을 제공하며, 빅데이터 분석으로는 불가능한 실시간 보호를 제공한다. 정상과 비정상을 지속적으로 학습하기 때문에 시스템을 보호하는 최선의 방법이며 해커가 시스템에 침투해 수 백 또는 수 천 개의 기록을 훔치기 전에 바로 정보에서 차단할 수 있다.
  • "나쁜 데이터 vs. 좋은 데이터" IoT의 진짜 문제점
    • IoT 시대를 맞아, 데이터 품질 관리 및 거버넌스가 더욱 중요해졌다고 합니다.
    • GE 프레딕스(Predix) 소프트웨어 사업 부문 부사장 겸 GE 디지털의 CTO인 하렐 코데쉬는 "사물인터넷 네트워크 종단에서 생성되는 데이터 중 40%가 '겉으로만 그럴싸한 데이터', 즉 내용이 틀린 것은 아니지만 쓸모가 없는 데이터다. 직원이 실수로 2차례 업로드한 중복된 정보, 유휴 상태의 머신이 자동으로 반복 전송하는 메시지 같은 것"이라고 말했다. #IBM #Watson #유령센서
  • 구글 번역기, 자신만의 언어 형성에 다가서다
    • 실제로 구글 번역기 시스템 개발자들이 쓴 다중 언어간 번역 논문을 살펴보면 그 이야기가 자세히 나와 있습니다. 이 논문에서는 다국어 모델에 대해 시각적으로 분석하였을 때 구글 번역기 시스템이 번역 과정을 거치면서 자신만의 자체 언어, 즉 여러 언어들 사이 중간 언어를 학습하고 있다고 소개합니다.
  • 시간 데이터를 지도에 시각화해볼까요? ( ArcGIS의 Time Slider Tool)
    • 시간 데이터를 활용한 개선된 스토리텔링 방법을 알아볼까요?
    • 1. 촛불집회 참가인원
      2. 한반도 지진분포
      3. 미세먼지 수치
  • 구글 클라우드 자연어 처리 API와 스피치 API 오픈 베타를 소개합니다!
    • http://www.bloter.net/archives/260492
    • 구글이 7월25일 클라우드 자연어 처리 API와 클라우드 스피치 API를 베타 버전으로 공개했다.
    • 자연어처리 API는 텍스트의 구조와 의미를 여러 언어로 간편하게 분석해주는 기술이다. 이번 베타버전에는 영어, 스페인어, 일본어만 지원된다. 구글 공식 홈페이지에서 간단한 문장을 입력하고 테스트할 수 있다.
    • 클라우드 스피치 API는 음성을 텍스트로 변환해주는 기술이다. 개발자는 이 API로 앱과 IoT 기기에 한국어를 포함한 80개 이상의 언어의 음성인식 기능을 추가할 수 있다. 클라우드 스피치 API는 현재 구글 검색, 구글 나우에서 적용돼있다.
  • 파워 BI가 엑셀의 미래인 이유
    • 엑셀은 앞으로도 건재하겠지만 각종 추가 도구들이 덕지덕지 달라붙는 모습은 점차 줄어들 것이다. 대신 파워 BI 데스크톱이 셀프서비스 애널리틱스 허브로 부상할 가능성이 높다.
    • "비즈니스 분석가가 시각 보고서를 얻는데 많은 비용이 발생해서는 안 된다. 데이터 모델링과 시각화는 무료여야 한다"
    • 의외로 쉽다' MS 파워 BI 대시보드 활용법 제품은 3가지 버전으로 판매된다. 온라인 SaaS 버전인 '파워 BI 서비스', 윈도우 데스크톱에서 사용하는 '파워 BI 데스크톱', 그리고 윈도우폰과 윈도우 기반 태블릿, 안드로이드와 iOS 기기를 지원하는 '파워 BI 모바일'이다. 이들 제품 간에는 서로 정보가 호환되므로, 데스크톱에서 만든 보고서를 파워 BI 서비스와 파워 BI 모바일에서 공유할 수 있다.
    • 사실 파워 BI의 많은 기능을 마이크로소프트 엑셀에서 애드온 파워 피봇(Power Pivot), 파워 쿼리(Power Query), 파워 뷰(Power View), 파워 맵(Power Map) 툴로 사용할 수 있다. 그러나 파워 BI는 사용하기 더 편하고 직관적이다. 대시보드, 보고서, 차트 제작, 데이터 변화, 시각화 생성, 모델 실행에 필요한 작업 단계를 줄여준다.
  • 교통 범칙금 400만 달러 아낀 무료 로봇 변호사 ‘두낫페이’
    • 두낫페이의 인공 지능 소프트웨어는 채팅 방식의 인터페이스로 사용자들과 인터랙션을 한다. 또한 항공편이 연착된 승객들이 보상을 받는 데도 도움을 줄 수 있다. 개발자 브라우더는 이 서비스를 미국 시애틀로 확대할 계획인 것으로 알려졌다.
  • Deep Learning with Python Keras는 텐서플로우와 Theano를 이용하여 딥러닝 모델을 구축할 수 있는 래퍼(Wrapper) 라이브러리 입니다. Keras, Theano, TensorFlow 를 이용한 딥러닝 책이 새로 출간되었습니다. 이 책의 저자는 machinelearningmastery.com 을 운영하고 있는 Jason Brownlee 입니다.
    • Lessons
      Lesson 01: Theano 라이브러리 소개
      Lesson 02: TensorFlow 라이브러리 소개
      Lesson 03: Keras 라이브러리 소개
      Lesson 04: 멀티레이어 퍼셉트론 속성 코스
      Lesson 05: Keras를 사용한 첫번째 뉴럴 네트워크
      Lesson 06: 딥러닝 모델 성능 평가
      Lesson 07: scikit-learn과 함께 Keras 모델 사용하기
      Lesson 08: 모델 직렬화(Serialization)
      Lesson 09: 훈련과정에서 최적 모델 찾기
      Lesson 10: 훈련과정에서 모델 변화 이해하기
      Lesson 11: 드롭아웃(Dropout) 정규화(Regularization)로 오퍼피팅 피하기
      Lesson 12: 학습속도 스케줄링으로 성능 강화
      Lesson 13: 콘볼루션(Convolution) 뉴럴 네트워크 속성 코스
      Lesson 14: 이미지 증강(Augmentation)을 이용하여 모델 성능 향상
    • Projects
      Project 01: 클라우드를 사용하여 저렴하게 GPU에서 대규모 모델 개발
      Project 02: 꽃의 종(Species)에 대한 다중(Multiclass) 분류
      Project 03: 수중음파 탐지 데이터를 이용한 이진 분류
      Project 04: 보스톤 주택 가격 회귀분석
      Project 05: 손글씨 숫자 인식
      Project 06: 사진속의 물체 인식
      Project 07: 영화 리뷰를 사용한 감성(Sentiment) 예측
  • SAS & Machine Learning 머신러닝을 위한 6가지 고려 사항
    • 데이터 준비 기능(Data preparation capabilities) : 데이터를 만드는 데 게을리하지 않는 시스템이어야 합니다.
    • 기본 및 고급 알고리즘(algorithms-basic and advanced) : 머신러닝의 핵심은 알고리즘입니다. 검증된 알고리즘을 제공할 수 있어야 합니다.
    • 자동화 및 반복적 프로세스(automation and iterative processes) : 자동화 되고 반복적인 프로세스가 가능해야 합니다. 특히 반복은 머신러닝에서 굉장히 중요한 요소 중 하나입니다.
    • 확장성(scalability) : 데이터의 종류는 앞으로 더 다양해지고 더욱 커질 것입니다. 그때마다 시스템을 새로 구성하는 건 굉장히 어렵습니다. 유연한 시스템이 뒷받침 돼야만 합니다.
    • 앙상블 모델링(ensemble modeling) : 앙상블 모델링이 가능해야 합니다.
    • 구현의 용이성 및 유연성e(asy & flexibility to implement) : 쉽고 유연해야 합니다. ‘쉽다’ 는 말은 ‘생각하는 것을 쉽게 구현할 수 있어야 한다’는 의미입니다.
  • Google 자연어 처리 오픈소스 SyntaxNet 공개
    • 저희 구글에서는, 사람이 사용하는 언어를 컴퓨터가 읽고, 또 이해할 수 있는 정도의 인공지능적 방법을 구현하기 위해 오랜시간동안 연구하였습니다. 바로 오늘, 저희 연구의 성과를 여러분께 공개하게 되어서 기쁩니다. 저희가 선보이는 일명 SyntaxNet은 인공 신경망 프레임워크이며, open-source로 제공됩니다. 특히, 핵심기능이라 할 수 있는 자연어 이해(Natural Language Understanding)기능을 Google TensorFlow를 사용하여 구현하였습니다. 당신이 학습시키고자 하는 Data를 SyntaxNet model을 이용하여 처리할 수 있도록 모든 코드를 공개합니다. 뿐만 아니라, (영어에 한정하여) 텍스트 분석이 가능한 구문 분석기(English parser)를 제공합니다. 이것은 일명 Parsey McParseface라고 부르며, 이미 학습(trainning)이 완성된 상태로 제공되기 때문에 여러분은 별도의 trainning없이, 그저 활용하시면 됩니다.
  • Tensorflow로 선형 회귀 풀어보기
    • 머신러닝이나 통계학 부분을 다룰때 거의 가장 첫 챕터에 등장하는 선형 회귀(Linear Regression)에 대해 설명하고, 구글 Tensorflow를 이용하여 간단한 선형회귀 문제를 풀어보도록 하겠습니다. (중략) 2000번의 학습을 수행한 끝에 추정된 W값과 b값이 보입니다. 직접 돌려보시면 이해가 쉬우실 것입니다. 학습을 100번 미만으로 수행했을때만해도 오차가 꽤 큽니다. 그러다가 학습이 진행될 수록 점차적으로 근사하게 다가가는 것을 알 수 있습니다.
  • “시리는 따분해” 미래를 안내하는 새로운 가상 비서 3종
    - 에이미(Amy): 회의일정 잡기
    - 셰어(Shea): 세밀한 개인화와 데이터의 전자적 특성, 가족사 통합, 개인 건강 세부내역, 건강 지식, 환경 데이터에 기반한 예방
    - 삼성 오토(Otto): 물리적 가전 제품인 동시에 안면 인식 기술을 활용. 내년쯤 출시 예상.
    - 아마존 알렉사 이용 앱: 트리비(냉장고문 부착), 코워치(알렉사와 이야기할 수 있는 손목시계), 로저(무료 안드로이드 및 iOS 앱으로 로저가 알렉사와 대화하는 역할)
  • 피부측정기기, 화장품 업계에 새로운 경쟁무기 되나
    • 화장품 업계 진일보한 피부측정기기 도입, 새로운 전략 변화 조짐 ‘관심’
    • 바이오랩에서는 피부를 측정한 결과를 2~4일 이내에유수분 기준 피부 타입과 제품, 미용법, 피부관리 가이드, 음식, 생활습관 가이드, 재방문 및 문의 가이드 등의 정보를 SMS로 발송해 주며, 시즌별 새로운 테마로 진행되어 재방문시 과거 내역과 비교분석이 가능한 것이 특징이다.
  • Design Methods – toolkit: 디자인, 기획 관련한 기법 모음
  • Splunk 자료 해당 포스트 외에 관련 글도 참고할 만함
  • B2B에도 부는 디지털 마케팅 바람, 성공에 필요한 요소는?
    • 세일즈포스의 아시아 태평양 마케팅 VP 웬디 존스턴은 "이제 모두가 연결되어 있으며 고객들은 모바일, 소셜, 디지털 등 다양한 채널을 사용한다"고 행사 참가자들에게 설명했다. 존스턴에 따르면, 기업은 고객이 어디에 있는지 파악해 적절한 채널로 이들과 커뮤니케이션 해야 한다.
    • "동시에 고객들의 요구는 점점 더 많아지고 있으며 기업이 자신과 관련성이 있으면서 개인화되기를 바란다."
    • 존스턴은 최근 포레스터의 연구 보고서를 인용하며 “B2B 구매자 74%가 영업 직원보다 온라인 상호작용을 더욱 선호하는 것으로 나타났다”고 말했다.
  • B2C 넘어 B2B 마케팅도··· "소셜 미디어가 시작이자 끝"
    • 소셜 미디어 활용 측면에서 B2B 마케터는 비슷한 경력의 B2C 마케터에 비하면 여전히 뒤처져 있다. 그러나 그 차이는 줄어들고 있고 이런 프로그램의 투자 효과(ROI)가 명확해지면서 점점 더 많은 기업이 이런 흐름을 보일 것으로 전망된다. 포레스터는 B2B 기업이 마케팅과 세일즈 간의 긴밀한 협업을 통해 소셜 판매를 마케팅 전략에 통합해야 한다고 조언했다. 이 전략은 가능한 많은 프로세스를 자동화해야 한다는 것도 덧붙였다.
  • 통계청, 카드승인 빅데이터로 소비 속보지표 만든다
    • 통계청은 오는 10월을 목표로 여신금융협회에서 제공한 국내 신용카드 승인액 정보를 활용한 속보성 소비지수를 개발 중이라고 7일 밝혔다.
    • 새로 선보일 소비지수는 국내 8개 신용카드사가 집계한 신용카드 승인 빅데이터를 활용하는 것이 특징이다.
    • 여신금융협회가 통계청에 제공하는 자료는 178개 업종별, 17개 시·도별로 세분화한 날짜별 신용카드 승인액이다.
    • 통계청은 지표를 정교화하기 위해 여신금융협회 협조와는 별도로 대형마트·백화점 등 업체유형별 카드승인액 자료도 확보해 지수 개발에 활용할 계획이다.
    • 통계청 관계자는 "카드 승인액은 전체 소비·판매액의 76%를 차지하는 만큼 기존 지수를 보완하는 속보지표로서 신뢰할만하다고 보고 있다"며 "검토를 거쳐 지표가 완성되면 매달 초 전달의 소비·판매 추이를 확인할 수 있을 것"이라고 말했다.
  • [머니포커스] 카드사 빅데이터 사업, 문제는 '정보유출'이야
    • 카드사들이 빅데이터 분석 활용 영역을 확대해 나가고 있다. 마땅한 수익원 확보가 어려워지자 빅데이터 분석 역량을 활용, 컨설팅 사업에까지 진출했다. 무분별한 정보 수집에 대한 우려와 함께 시장 생태계 파괴에 대한 대응책을 마련해야 한다는 목소리가 나온다.
    • 업계 1위인 신한카드는 지난해 ‘빅데이터 트렌드 연구소’를 출범했고 올해 초부터 컨설팅 사업에 본격적으로 나섰다. 소비자의 소비 지출 행태를 분석해 새 수익 창출을 꾀하겠다는 것이다.
    • KB국민카드는 지난해 신설한 ‘데이터전략부’를 올해 ‘빅데이터전략센터’로 확대 개편했다. 기업과의 협업을 통해 빅데이터 서비스를 제공하겠다는 계획이다. 앞서 지난 4월에는 빅데이터 분석 전문기업 ‘NICE지니데이타’와 ‘빅데이터 업무 협력 협약’을 체결, 컨설팅 사업에 협력키로 한 바 있다.
    • 이처럼 카드사들이 컨설팅 사업에 뛰어드는 건 먹거리에 대한 갈증 때문이다. 사실 카드사 수익 악화에 대한 걱정은 어제오늘의 일이 아니다. 수익의 반을 차지하는 가맹점 수수료율이 2013년부터 낮아지고 있어 카드승인금액이 매년 증가함에도 이익은 크게 늘지 않고 있다.
  • 사용자가 뽑은 최고의 마케팅 자동화 툴은?
    • 미국의 기업용 소프트웨어 평가 플랫폼인 G2 크라우드(G2 Crowd)의 ‘2016년 마케팅 자동화 소프트웨어 그리드(2016 Marketing Automation Software Grid)’ 보고서에서는, 시장 영향력이 강하고 고객만족도 평가에서 높은 점수를 받은 마케팅 자동화 툴 업체들로 허브스팟(HubSpot), 파닷(Pardot, 세일즈포스닷컴, 마케토(Marketo), 액트-온(Act-On), 오라클 엘로콰(Eloquoa), 아이컨택트 프로(iContact Pro) 등이 언급됐다. 이들 가운데 허브스팟은 전반적인 고객만족도와 시장 영향력에서 가장 높은 점수를 받았다.
  • 에이수스, 가정용 로봇 '젠보' 공개 "노인·아동 돌봄 기능... PC 1대 가격"
    • 에이수스가 이번 주 타이베이에서 열린 트레이드 쇼 컴퓨텍스에서 가정용 음성 로봇 '젠보'를 공개했다. 가정에서 노인을 돌보거나 아이에게 이야기를 읽어줄 수 있는 개인형 가상 비서라고 회사는 소개했다.
    • 60cm 정도 크기에 바퀴가 달린 젠보는 얼굴 부위에 탑재된 디스플레이를 탑재해 표정을 표현하거나, 영상통화, 영화 스트리밍 등 각종 기능을 구혀하는 로봇이다. 가격은 599달러다.
  • 마케팅 예산 관리는…' 전문가들이 말하는 5가지 팁
    • 1. '70:30'이라는 예산 관리 원칙을 수용한다
    • 2. 회귀 분석을 피한다
    • 3. 리드(잠재 고객)가 아닌 매출에 미치는 영향을 추적 관리한다
    • 4. ROI를 추적 관리할 수 있는 신뢰도 높은 메커니즘에 투자한다
    • 5. 자주 검토해 조정한다
  • 데이터 과학자에게 무슨 일을 시킬까?
    • 트라이팩타(Trifacta)의 데이터 과학 책임자 타이 래튼베리는 기업들이 데이터 과학자들을 고용하고 활용하는 시도가 늘어나면서 그 역할이 점차 변화하고 발전하고 있다고 진단했다. 그는 이어 기업들은 데이터 과학자를 고용하고 나서야 활용도를 모색하기보다는 확실하게 수립된 계획을 갖고 데이터 전략을 실시할 필요성이 있다고 강조했다.
  • 실시간 데이터로 오피스 문서의 정의가 바뀐다
    • 2013년도 문서입니다만, 여전히 MS의 이상처럼 보입니다. 이런 쪽의 변화는 빠르지 않네요.
    • 마이크로소프트의 비전이 확산되면 정적인 데이터를 담고 있는 정적인 문서는 시간이 지나면서 점차 관련성이 적어지는 것처럼 보일 것이다. "여름 휴가를 위해 유럽과 중동에서 내가 방문하기에 가장 좋은 나라는 어디인가?"라는 기본적인 질문에 대한 답을 제시한 여행사의 PDF를 생각해보자. 현재 문서 버전의 답은 고정적이다. 하지만 우리는 이런 쿼리를 언제든지 물어보고 환율, 호텔, 날씨, 정치적 안정성 등 다양한 변수를 반영한 결과를 얻게 될 것이다.
  • 말 걸어오는 소비자, 반응 없는 기업··· 소셜 채널, 고객 지원 활용성에 주목해야
    • 소셜 미디어가 고객 서비스에 얼마나 유용할 수 있는지 대다수의 기업들이 이해하지 못하고 있다는 연구 결과가 제시됐다. 보고서에 따르면 소비자들이 소셜 사이트에 남기는 피드백을 수많은 브랜드들이 그저 무시하고 있었다.
    • 이러한 격차는 기업에 부정적인 영향으로 이어졌다. 응답자의 약 75%가 소셜 사이트 상에서 여러 기업들과 부정적인 경험을 가진 바 있다고 응답했으며 36%는 브랜드의 질 낮은 고객 서비스를 비난하기 위해 소셜 앱을 이용했다고 대답했다. 응답해오지 않는 브랜드를 저버리고 경쟁사 제품을 선택했다고 대답한 비율도 30%에 달했다.
    • 단 빠르게 응답하거나 유용한 대답을 제시한 기업들은 그에 따른 보상을 맛볼 수 있었다. 보고서에 따르면 소비자에 제대로 대응할 경우 소비자의 75%는 해당 긍정적인 경험을 소셜 미디어에서 공유하고자 했다. 브랜드 충성도가 상승했다고 응답한 한 비율은 65%였다.
  • 코난테크놀로지, IBK기업은행 빅데이터 시스템 구축
    • 영업점·콜센터 상담내용 등 텍스트데이터 분석해 맞춤형 상품·서비스 제안
    • 금융권 특성을 고려해 영업점과 콜센터의 상담내용 등 텍스트데이터를 분석했으며, 문장 패턴 및 의미 분석, 감성 분석, 데이터 자동분류, 주제어 추출 등 텍스트마이닝 기술을 활용했다. IBK기업은행은 이를 바탕으로 고객에게 맞춤형 상품과 서비스를 제안하고, 고객 불만 관리, 기업정보 분석, 마케팅 등에도 활용할 계획이다.
    • “검색과 분석 사업의 경계가 허물어지고, 데이터 융합을 통한 가치창출이 중요시되는 현 시점에서 코난테크놀로지는 앞선 비즈니스 모델을 제공하는 기업이 될 것”
  • 주목 받는 머신러닝, 현실은 여전히 틈새 기술 머신러닝은 장기적으로 기업과 사회에 엄청난 영향을 주겠지만 아직은 매우 협소한 시장에 머물러 있다는 분석이다.
  • 윌리엄슨은 이를 마치 '울타리로 둘러싸인 정원'으로 비유했다. 그는 "연구자가 저마다 자신만의 방법으로 모델을 코딩하기 때문에 이를 공유할 수 없다. 연구자 사이에서 매우 심각한 문제지만 아직 누구도 이러한 한계를 극복하지 못했다"고 말했다.
  • 윌리엄스는 MLaaS가 일부 인상적인 결과를 보여주기도 하지만 기업은 여전히 주의를 기울여야 한다고 경고했다. 그는 "이 분야는 매우 기술 주도적인 특징을 갖고 있다. 많은 업체가 '내가 개발한 놀라운 기술을 봐. 핵심적인 벡터 머신(vector machines)을 개발했어. 정말 훌륭한 기술이야'라고 이야기한다. 그러나 여전히 기술일 뿐이다. 우리가 처한 문제를 해결하는 데 얼마나 효과적일지 아무도 알지 못한다"고 말했다.
  • 글로벌 대기업 94% "빅데이터 전략, 제대로 가고 있다" 기업의 빅데이터 리더는 자신의 빅데이터 전략이 제대로 된 방향으로 가고 있다고 확신하지만, 대부분은 데이터를 다루는데 어려움을 느끼고 있었다.
  • 고객 카탈로그와 데이터 처리를 돕는 기업인 아티비오(Attivio)의 CEO인 스티븐 베이커는 "빅데이터가 없어지는 게 아니다. 반등하면서 점점 더 증가하고 있다. 사람들은 다양한 활용 사례 유형을 이해하고 개념 단계에서 실행 단계로 옮겨가기 시작했다"고 말했다. 이어서 해결해야 할 과제도 언급했다. 그는 “딱 맞는 인재를 고용해야 한다는 과제가 있고 사람들이 행동하는 방식을 조직적으로 바꾸는 것에 대한 과제가 있다”며 “이는 섀도우 BI 개념이다”고 설명했다.
  • IT리더에게 듣는다 | "인더스트리 4.0을 준비한다"
    • LS글로벌 박희석 대표이사 그룹내 우수 사례의 경우 공장 자동화보다는 좀더 폭넓은 개념으로 공장 전체를 자동화하고 IT시스템의 지원으로 거의 사람의 손이 닿지 않아도 운영될 수 있도록 하는 것이다. 공장 인원을 효율화하면서도 생산성이나 품질은 몇 년 사이에 대폭 향상되는 결과를 얻고 있다. 그 결과 주문, 생산계획, 부품공급, 조립, 시험, 포장, 운반 등 모든 설비에 걸쳐 자동화 시스템을 갖춰 생산성을 높이고 에너지를 절감할 수 있었다.
  • 데이터 과학자가 대세라는 5가지 증거
    • ‘데이터 과학자’에 대한 기대가 과한 것처럼 보이지만, 실제 수요도 많은 것으로 나타났다.
    • 1. 데이터 과학자의 초봉이 상승하고 있다
    • 2. 데이터 과학자는 다른 분석 전문가보다 더 많이 벌 것이다
    • 3. 꼭 박사 학위가 있어야 하는 것은 아니다
    • 4. 기회가 넘쳐나고 있다
    • 5. 데이터 과학 역량은 차별화 요소가 될 수 있다
  • 파나마 페이퍼 '빅데이터와 클라우드로 찾아냈다'
    • 전세계를 떠들썩하게 했던 국제탐사보도언론인협회의 파나마 페이퍼 취재에 빅데이터 분석과 클라우드 활용이 크게 기여한 것으로 알려졌다. 2.6테라바이트라는 방대한 양의 데이터를 어떻게 분석하고 정리했는지 국제탐사보도언론인협회의 데이터와 조사 담당 부서에서 일하는 마르 카브라에게 들어 봤다.
  • '이젠 로펌도…' 파나마 페이퍼로 본 기업의 정보보안 책임은 어디까지?
    • http://www.ciokorea.com/news/29687
    • 기업의 사이버보안 위험을 관리하는데 법이 학문적 접근의 중요한 측면으로써 필요하다. 모색 폰세카라는 로펌이 해킹돼 파나마 페이퍼 문건이 유출된 일은 법적 관점에서 시사하는 바가 크다.
  • 스마트 시티를 위해서는 스마트 IT 아키텍처가 필요하다
    • 스마트 시티 애플리케이션은 데이터 사일로가 생성되는 것을 방지하고, 데이터를 정확한 위치에 두기 위해 많은 시간과 비용이 소모되는 ETL(Extract Translate Load)을 피하기 위해 새로운 형태의 스케일-아웃 아키텍처가 요구된다. 이러한 플랫폼은 데이터 입수 작업을 신속하게 처리하고 온디맨드로 VM을 가동하여 애플리케이션을 실행시키는 것은 물론 전체 VM에 대해 데이터를 공유할 수 있다. 또한 데이터 소스 단에서 직접 하둡 작업을 병행 시키는 것도 가능해진다.
    • 효성인포메이션시스템이 최근 공개한 Hitachi Hyper Scale-Out Platform(HSP)은 이러한 요건을 모두 만족시킬 뿐만 아니라, Pentaho를 탑재하여 다양한 데이터 소스를 병합하고 시각화함으로써 인프라 사일로를 피하는 것은 물론 효과적으로 데이터를 분석할 수 있도록 지원한다. 또한 커넥터를 사용하여 S/4 HANA와 같은 기존의 엔터프라이즈 애플리케이션과 손쉽게 통합할 수 있다.
  • Top 31 Predictive Analytics Software - Predictive Analytics Today Predictive analytics uses data mining, machine learning and statistics techniques to extract information from data sets to determine patterns and trends and predict future outcomes. List of Predictive Analytics Software including SAS Predictive Analytics, IBM Predictive Analytics, SAP Predictive Analytics, RapidMiner, Angoss Predictive Analytics, GraphLab Create, SAP InfiniteInsight, FICO Predictive Analytics, Salford Analytics, Oracle Data Mining (ODM), TIMi Suite, TIBCO Analytics, Alteryx Analytics, Alpine Chorus, KNIME, Actian Analytics Platform, Portrait, Predixion, Data Science Studio, H2O, Analytics Solver, STATISTICA, Viscovery Data Mining Suite, Lavastorm Analytics Engine, Rapid Insight Analytics, Advanced Miner, CMSR Data Miner Suite, GMDH Shell, Mathematica, MATLAB, and Minitab in no particular order.
  • Top 20 Predictive Analytics freeware software R, Orange, RapidMiner, Weka, GraphLab Create, Octave, Data Science Studio (DSS), H2O, Lavastorm Public Edition, Tanagra, PredictionIO, HP Distributed R, KNIME, scikit-learn, Actian Analytics Platform, Apache Spark MLlib, Apache Mahout, LIBLINEAR, Vowpal Wabbit, NumPy , and SciPy are some of the key players in the freeware predictive analytics market in no particular order.
  • IBM Bluemix Catalog
    • IBM 왓슨이 변화를 일으킨 7가지 산업 IBM이 지난해 왓슨(Watson)을 세상에 개방한 후, 많은 개발자와 스타트업이 이를 이용한 새로운 기술 개발에 박차를 가하고 있다. 왓슨 기반 개발 커뮤니티는 280여 개의 협력업체와 수만 명의 개발자, 학생, 창업가 등으로 구성되어 있다. 이들이 왓슨 API를 요청하는 수가 월 30억에 달한다.
    • 다음은 헬스케어(의료), 여행, 엔터테인먼트, 석유 & 가스 산업에 변화를 가져오고 있는 왓슨 기반 앱 7종이다.
  • 멤버스 ETL 솔루션: TeraStream DataStream
  • 엔터프라이즈 플랫폼을 위한 하둡의 현재 위치 및 발전 방향 (summary of Hadoop summit 2014)
    • - 데이터 관리
    • - 데이터 접근(Access)
    • - 거버넌스(Governance) 와 연동 혹은 통합(Integration)
    • - 보안
    • - 운영 (Operations)
    • 5가지의 핵심적인 요소들이 이 블로그에서 소개드린 다양한 에코시스템의 통합을 통해서 지원하는 수준으로 발전했습니다.
  • 하둡의 보안을 강화하려는 노력 (Apache Knox Gateway 0.3.0: Another release of perimeter security for Hadoop) 하둡 보안 아키텍쳐와 Apache Knox의 역할 (New Features for Security and Apache Knox)
  • 데이터 전송 시의 암호화 (Wire Encryption in Hadoop from Hortonworks)
  • Apache Knox Gateway
    • Hadoop the Knox Gateway is able to provide valuable functionality to aid in the control, integration, monitoring and automation of critical administrative and analytical needs of the enterprise.
      • • Authentication (LDAP and Active Directory Authentication Provider)
      • • Federation/SSO (HTTP Header Based Identity Federation)
      • • Authorization (Service Level Authorization)
      • • Auditing
  • EMC Product Positioning Guide
    • EMC 제품만이 아니라 MS, Oracle, SAP 및 오픈소스 솔루션까지 주제 별로 설명합니다.
  • ODS로서의 하둡 활용
    • BI 관점에서 보면 하둡은 raw data를 '일단' 적재하기 하기 좋은 수단입니다. 기존에는 RDB 형식으로 ODS(Operational Data Store)를 설계하고 운용해야 했기에 기민하게 시작하기 힘들었지만, 하둡이나 여타의 NoSQL은 우선 시작하는 데에 큰 이슈가 생기지 않아 좋습니다. 관련한 니즈가 분명해지고 비즈니스 가치를 가시화 하면 이 빅 데이터 ODS로부터 별도의 small data를 뽑아낼 수 있으므로(Altert, Monitoring, reporting) ROI가 좋은 수단이라고 봅니다.
  • KorQuAD
    • What is KorQuAD 2.0?
      • KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia artic
    • korquad.github.io
 

[전문가 칼럼] 당신이 알고 있는 ‘빅데이터’는 틀렸다

문송천 카이스트 경영대학 교수   최근 페이스북이 자사 서비스 가입자를 대상으로 감정 조작 실험을 감행한 사실이 알려져 화제다. ‘뉴스 피드(news feed)에 대한 긍·부정 반응을 임의로 조작했

news.samsung.com

 

내 인생에서 제일 힘들었던 프로젝트. 고객 때문이었다면 그렇게까지 힘들지 않았을 듯.

반응형
저작자표시 동일조건

'MS' 카테고리의 다른 글

Loop로 더욱 강해질 MS Office 365  (0) 2021.12.05
윈도 10 보안을 깎아 먹지 말자  (0) 2020.03.17
MS SQL Server 2016 세미나 요약  (0) 2016.07.05

관련글

티스토리툴바