Articles in the category of Tech

  1. Home
  2. Tech

数据仓库 — 03_Hadoop的安装（集群配置、免密登陆、rsync远程同步工具）

1 安装hadoop1.1 将hadoop导入到/opt/software中我使用xftp实现文件上传1.2 安装hadoop解压tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/1.3 添加hadoop环境变量在/etc/profile.d/env.sh中添加hadoop环境变量##HADOOP_HOME export HADOOP_HOME=/o...

  • ruki_in_HDU
  • May 2, 2020
  • No comments
    •

    数据仓库 — 02_虚拟机环境准备（设置静态ip、安装JDK）

    1 Hadoop运行环境搭建1.1 修改虚拟机的静态ip并克隆参考文章：vmware centos6 设置静态IP地址本机集群ip：主机iphadoop102192.168.222.102hadoop103192.168.222.103hadoop104192.168.222.104修改网卡vim /etc/udev/rules.d/70-persistent-net.rules如果有两个配...

  • ruki_in_HDU
  • April 26, 2020
  • No comments
    •

    数据仓库 — 项目需求分析与技术选型（数仓概念、项目需求及架构设计、数据生成模块格式要求）

    1 数据仓库的概念数据仓库（Data Warehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、题号提高产品质量等。数据仓科，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等等。2 项目需求分析用户行为数据采集平台搭建业务数据采集平台...

  • ruki_in_HDU
  • April 24, 2020
  • No comments
    •

    中间件 — Apache POI & EasyExcel（POI读写03和07版本excel、EasyExcel读写07版本excel）

    1 Apache POI1.1 POI简介Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。Apache POI官网地址：https://poi.apache.org/1.2 基本结构HSSF － 提供读写Microsoft Excel格式档案的功能。03版本的excel，即<font c...

  • ruki_in_HDU
  • April 23, 2020
  • No comments
    •

    全文检索 — ElasticSearch_06（查询所有、分页查询、TermQuery、MatchQuery、MultuQuery、BoolQuery、Filter过滤器、sort排序、高亮）

    1 查询所有文档1.1 http请求1.1.1 查询所有索引库的文档urlpost http://localhost:9200/_search1.1.2 查询指定索引库指定类型下的文档urlpost http://localhost:9200/xc_course/doc/_search1.1.3 请求体json{ "query": { "...

  • ruki_in_HDU
  • February 22, 2020
  • No comments