빅데이터5 AI 전성시대에 버림 받는 데이터가 있을까? 인류는 데이터(유무형의 기록)라는 유산을 상속하여 왔기에 문명사회로 발전했다. 기록이 모든 걸 담지는 못해도 많을 걸 담아왔기에 물려 받은 데이터를 발전의 발판으로 삼았다. 그런데 어느 순간 한 사람이 여러 주제에 걸친 데이터에는 온전한 맥락을 터득하기가 어렵게 되기 시작했다. 정보기술이 발전하여 데이터를 보관하는 비용과 처리하는 비용이 줄어들수록 데이터 생성량은 점점 더 커졌기 때문이다. 데이터 홍수 속에서 허우적대다 일단 손에 들어 온 데이터를 맥락 없이 따르거나 데이터를 내던지고 구원자를 찾아 나서게 될 뻔했던 게 2010년 즈음의 상황이었다. 뭔가 지침이 필요한 시점이었다. Data swamp를 거론할 정도로 기록 폭증으로 벌어지는 혼란을 피하려면 기록을 한 취지가 드러나야 한다. 거창한 얘기로 .. 2019. 5. 12. 인공지능은 언제쯤 일자리를 가로채는 지니가 될까? 인공지능이 암을 진단하는 의사 노릇까지 한다는 기사가 났다. 인공지능이 일자리를 없앤다는 기사는 부지기수다. 과연 인공지능 기술이 발전해서 사람의 일자리가 사라지게 될까? 사람 일자리가 사라지는지 여부는 다음에 하기로 하고. ☺ 2017년 5월 기준 인공지능은 잘 알려졌다시피 프로 바둑 기사를 너끈히 이기고 유명한 화가 화풍으로 그림을 그리지만, 사람 말을 여전히 다 못 알아들으며, 힘든 농사일은 여전히 사람 손을 필요로 한다. 당분간 인공지능과 로봇을 빌미로 한 대량해고는 없을 거라고 본다. 과연 언제쯤 인공지능이 디스토피아 드라마틱하게 사람의 일자리를 가로 채게 될까? 시기는 특정하지 못하겠지만, 진척이 보이는 지표가 일단 두 가지 있긴 하다. 1) 로봇 청소기의 청소능력 로봇 청소기가 정말로 청소를.. 2017. 5. 25. 빅데이터 열풍은 끝났을까요? 기술용어라기 보다는 마케팅 구호에 가까웠던 빅데이터는 여전히 폄훼의 대상이어서는 안 됩니다. 최소한 한국에서는요. 최근 몇 년 간 '무턱대고 데이터를 저장해서는 빅데이터를 통한 효용을 얻지 못한다'는 얘기를 들을 때마다 답답해지는 마음을 달랠 길이 없었습니다. 삼성전자나 이동통신업계를 빼면 페타바이트 규모로 데이터를 저장하는 기업을 대기업 중에서도 찾기가 어렵습니다. 걱정스러울 정도로 데이터를 많이 저장하는 한국 기업이 정말 있는지 궁금합니다. 한국 대기업의 고질적인 모험회피 성향은 데이터 활용에도 그대로 영향을 미치기 때문에 어지간한 분석가들이 마음 놓고 분석할 만한 환경을 갖춘 곳은 드물기만 합니다. 그나마 최근에는 PC 성능이 좋아져서 분석가 개인적인 시도가 쉬워졌습니다만, 데이터 사일로 현상을 부.. 2016. 10. 18. SQL on Hadoop 솔루션 선택 도움말 Hadoop에 SQL로 Query한다 하면 Hive가 기본이지만, 비즈니스 니즈에 따라 Impala를 위시한 SQL on Hadoop 솔루션이 많이 나왔습니다. 오픈소스부터 상용, 상용 서브스크립션 제품까지 다양합니다. Hive는 배치 잡에 걸맞는 질의 수단이기 때문에 여타의 SQL on Hadoop 솔루션은 질의결과를 바로(빨리) 받아야 하는 비즈니스 니즈를 충족하고자 나왔다고 해도 무리가 없겠습니다. Hive on Tez, Hive on Spark가 발전하는 중이지만 아직은 다른 SQL on Hadoop 솔루션들이 빠릅니다. Hive보다 빨라야 존재의의가 있다고도 하겠습니다. 민감하기도 하고, 변동이 빠르기도 한 분야라 상용 솔루션 이름은 굳이 언급하지 않겠습니다. SQL on Hadoop을 구분하는.. 2016. 9. 27. 직관을 버리라는 얘기가 아니다 데이터 분석결과에 근거하여 의사를 결정해야 한다고 말하면 의례적으로 나오는 반론 패턴이 있다. 데이터를 모을 시간이 없다.직관을 이기지는 못한다.분석해 봐야 부정확하다. 잭 웰치 얘기라면 나도 동의한다. (LGERI의 일단 추천) 의사결정 시기를 놓치면 정확성이 무슨 소용이겠나? 그러나 시기를 놓치지 않은 성공적인 의사결정을 위해 직관을 중요시 한 잭 웰치조차 분석이 무익한 작업이라 한 적은 없다. 아마도 그가 두려워한 것은 의사결정에 대한 책임을 지지 않기 위해 공신력 있는 근거를 얻고자 금쪽같은 시간을 분석한답시며 흘려버리는 위선이 아니었을까 한다. 위선을 배제하고 나면 시간과 자원이 허락하는 한 분석을 통해 판단의 근거를 갖춰야 한다. 언뜻 머리를 스치고 지나간 상념이나 자기 이해에 데이터를 꿰어 .. 2014. 7. 1. 이전 1 다음 반응형
