1 数据仓库的概念

• 数据仓库（Data Warehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。
• 通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、题号提高产品质量等。
• 数据仓科，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等等。

2 项目需求分析

1. 用户行为数据采集平台搭建
2. 业务数据采集平台搭建
3. 数据仓库维度建模
4. 分析：用户、流量、会员、商品、销售、地区、活动等电商核心主题，统计的报表指标近100个
5. 采用即席查询工具，随时进行指标分析
6. 对集群新能及逆行监控，发生异常需要报警
7. 元数据管理
8. 质量监控

3 项目框架

3.1 技术选型

3.2 系统数据流程设计

3.3 框架版本选型

3.4 服务器选型

• 本地搭建3台Centos6虚拟机（4g内存 40g硬盘）

3.5 集群资源规划设计

3.5.1 集群规模计算

1. 每天日活用户100万，每人一天平均生产100条：100万*100条=1亿条
2. 每条日志1kb左右，每天1亿条：100000000/1024/1024=100G
3. 半年内不扩容：100G*180=18T
4. 保存3个副本：18T*3=54T
5. 预留20%~30%=54T/0.7=77T
6. 共计8T*10台服务器（128G内存，8T硬盘）

3.5.2 本地测试集群服务器规划

• 注意：HDFS的NameNode、SecondaryNameNode和Yarn的ResourceManager要配置在不同的服务器中，因为都很耗内存

4 数据生成

4.1 埋点数据基本格式

• 公共字段：基本所有手机都包含的字段
• 业务字段：埋点上报的字段，有具体的业务类型

1587692644625 | {
    "cm": { //公共字段
        "ln": "-66.7", //double lng经度
        "sv": "V2.0.1", //String sdkVersion
        "os": "8.1.7",
        "g": "50F3N8XP@gmail.com", //String gmail
        "mid": "998", //String 设备唯一id
        "nw": "3G", //String 网络模式
        "l": "en", //String language 系统语言
        "vc": "18", //String versionCode 程序版本号
        "hw": "750*1134", //String height width 屏幕宽高
        "ar": "MX", //String area 区域
        "uid": "998", //String 用户标识
        "t": "1587650831270", //String 客户端日志产生时的事件
        "la": "5.2", //double lat纬度
        "md": "HTC-16", //String model 手机型号
        "vn": "1.3.1", //String versionName 程序版本名
        "ba": "HTC", //String brand 手机品牌
        "sr": "N" //String source 渠道号，应用从哪个渠道来的
    },
    "ap": "app", //项目数据来源 app pc
    "et": [{ //事件
        "ett": "1587626436201", //客户端事件产生时间
        "en": "loading", //事件名称
        "kv": { //事件结果，key-value
            "extend2": "",
            "loading_time": "0",
            "action": "3",
            "extend1": "",
            "type": "1",
            "type1": "201",
            "loading_way": "2"
        }
    }, {
        "ett": "1587604641583",
        "en": "ad",
        "kv": {
            "activityId": "1",
            "displayMills": "38392",
            "entry": "1",
            "action": "1",
            "contentType": "0"
        }
    }, {
        "ett": "1587672451544",
        "en": "active_background",
        "kv": {
            "active_source": "1"
        }
    }, {
        "ett": "1587631751514",
        "en": "favorites",
        "kv": {
            "course_id": 8,
            "id": 0,
            "add_time": "1587610751419",
            "userid": 1
        }
    }, {
        "ett": "1587633225209",
        "en": "praise",
        "kv": {
            "target_id": 7,
            "id": 9,
            "type": 2,
            "add_time": "1587692182176",
            "userid": 2
        }
    }]
}

4.2 事件日志数据

4.2.1 商品列表页 loading

4.2.2 商品点击 display

4.2.3 商品详情页 newsdetail

4.2.4 广告 ad

4.2.5 消息通知 notification

4.2.6 用户后台活跃 active_background

4.2.7 评论 comment

4.2.8 收藏 favorates

4.2.9 点赞 praise

4.2.10 错误日志

4.3 启动日志数据