MapReducede的架构

MapReduce的工作流程图

切片、数据块、MapTask并行度，ReduceTask数量

数据块：是数据存储在HDFS上得基本单位。和磁盘速率，寻址时间有关
切片：是MapReduce程序计算数据输入单位，是逻辑上进行数据切分，物理上不切分。默认是块大小。
MapTask并行度：一个切片创建一个MapTask实例。
ReduceTask数量：和分区数数量一致，一个分区对应一个ReduceTask数量。

编写MapReduce程序

1. 环境配置，需要下载windows版本的hadoop环境，双击winutils.exe黑屏一闪而过就ok。并在环境变量中进行配置。
   path
   H:\work\hadoop\WindowsDep\hadoop-3.1.0\bin
   HADOOP_HOME
   H:\work\hadoop\WindowsDep\hadoop-3.1.0

2. 打开idea，配置moven，导入hadoop-client依赖包。添加打包依赖，进行打包（打包分为把依赖包一块打包，或者只打包自己的程序，看自己配置而定）。

    <build>
        <plugins>
            <!--打包插件，不会将依赖得jar包进行打包-->
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.6.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <!--打包插件，打包得时候，会将依赖得jar包进行打包-->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

3. 编写相关程序就ok

MapReduce的压缩