hadoop集群单机模式搭建

大数据
hadoop集群单机模式搭建

配置客户端连接服务器上的hadoop集群,毕竟自己的机子性能有限,进行一些大规模的计算还是需要到服务器上进行,以下记录了配置客户端的全过程。 搭建环境:CentOS7+hadoop3.0.3+jdk8 前置需求 配置静态ip地址 修改主机名 配置主机名和ip地址映射 关闭防火墙,设置开机不自启动 安装并配置好jdk注:以上操作在笔者之前的Linux相关笔记中均有介绍 正...

多线程详解

服务端
多线程详解

在后续的学习中,发现多线程的水还是相当深的,之前只掌握了线程最基本的操作。因此,最近抽出时间将线程相关的知识好好复习一遍并补充一些线程常用的知识点。 基础知识 进程不同的应用程序运行的过程中都需要在内存中分配自己独立的运行空间,彼此之间不会相互的影响。我们把每个独立应用程序在内存的独立空间称为当前应用程序运行的一个进程。进程:它是内存中的一段独立的空间,可以负责当前应用程...

设计模式-代理模式

服务端
设计模式-代理模式

简介 给目标对象(被代理对象)提供一个代理对象,并由代理对象控制对目标对象(被代理对象)的引用,代理对象相当于一个中介。 通过引入代理对象的方式来间接访问目标对象,防止直接访问对象给系统带来不必要的复杂性。 相当于,代理对象拥有被代理对象的所有功能,并且代理对象还添加了额外的功能来控制被代理对象。 静态代理代理类与被代理类实现同一个接口,将被代理类组合到代理类中并添加控...

Maven入门学习

服务端
Maven入门学习

简介Maven项目对象模型,可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具。主要功能:相同的项目结构和统一维护jar包。 安装 下载官方下载地址:http://maven.apache.org/download.cgi 配置环境变量右键我的电脑-属性-高级系统设置-环境变量-系统变量-Path添加maven路径:D:\学习\Soft\Maven\a...

Shell编程(CentOS7)

服务器
Shell编程(CentOS7)

简介 Shell是用户与内核进行交互操作的一种接口,目前最流行的Shell称为bash Shell Shell也是一门编程语言<解释型的编程语言>,即shell脚本 一个系统可以存在多个shell,可以通过cat /etc/shells命令查看系统中安装的shell,不同的shell可能支持的命令语法是不相同的 变量 输出变量的值 echo $JAVA_HO...

Linux学习笔记(CentOS7)

服务器
Linux学习笔记(CentOS7)

在学习搭建hadoop集群的过程中,我发现在Linux方面还有许多命令我并没有掌握,特此补充相关的知识点以及CentOS7的新特性。 主机名 查看当前主机名hostname 修改主机名(重启后失效)hostname XXX 修改主机名(永久修改)vi /etc/sysconfig/network添加:NETWORKING=yesHOSTNAME=XXX IP地址 查看当...

zookeeper入门学习

分布式
zookeeper入门学习

搭建环境:CentOS7+zookeeper-3.4.5 简介Zookeeper是一个分布式协调服务,就是为用户的分布式应用程序提供协调服务。 zookeeper是为别的分布式程序服务的 zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务…… zookeeper在底层其实只提供了两个功能 管理(存储,读取)用户程...

Hadoop背景简介

大数据
Hadoop背景简介

Hadoop简介 HADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 HADOOP的核心组件有 HDFS(分布式文件系统) MAPREDUCE(分布式运算编程框架) 广义上来讲,HADOOP通常指的是一个更加广泛的概念——HADOOP生态圈重点组件: HDFS:分布式文件系统 M...

算法-八皇后问题

服务端
算法-八皇后问题

问题简述:八皇后问题是一个以国际象棋为背景的问题:如何能够在8×8的国际象棋棋盘上放置八个皇后,使得任何一个皇后都无法直接吃掉其他的皇后?为了达到此目的,任两个皇后都不能处于同一条横行、纵行或斜线上。八皇后问题可以推广为更一般的n皇后摆放问题:这时棋盘的大小变为n1×n1,而皇后个数也变成n2。而且仅当n2=1或n1≥4时问题有解。 解决方案一:递归思路分析:定义num来...

×
  • {title}