数据分析的路该怎么走?新手上路,求指点.
showr
2013-03-07
目前公司的 数据库是 几百个G 的 MySQL, 但是数据挖掘/分析 这块还是空白,想趁这个机会自己学习下.也为公司数据提炼出点价值..
首先 日志分析之类的,一想到就是 Hadoop 及周边类似产品... 但如果是MySQL呢?需要怎么去处理呢? 目前公司过亿记录的表有好几张,出于业务需求,需要对这表进行多纬度的分析处理,出报表. 对于这样亿级别的MySQL,直接查询分析性能吃不消. 如果分表分库,那对各类列表查询又是致命的..... 对于这样的需求. 有什么好的方法么? 有什么像Hadoop分析日志那样的解决方案吗? |
|
liusheng112078
2013-03-08
几百G数据首先应该面向主题分类建立DWA层表,这样数据就会收敛很多,最终在此基础上做你专题分析等等。
|