JustDoDT

JustDoDT-->From Zero To Hero.

配置多台机器SSH相互通信信任

5台机器执行 ssh-keygen [root@sht-sgmhadoopnn-01 ~]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'. Enter pa...

Posted by JustDoDT on March 3, 2018

HDFS 架构与工作原理

一、目标 HDFS 全称 Hadoop 分布式文件系统，其最主要的作用是作为 Hadoop 生态中各系统的存储服务。面对大规模的数据，HDFS 在设计上满足了以下目标：高度容错性：HDFS 可能由成百上千的服务器构成，任何一个组件都可能失效，因此错误检测和快速、自动的恢复时 HDFS 最核心的架构目标。支持大规模数据集：运行在 HDFS 应用具有很大的数据集，它应该能提...

Posted by JustDoDT on March 3, 2018

Python中的正则表达式

1. 正则表达式 1.1 简介字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Email地址，虽然可以编程提取@前后的子串，再分别判断是否是单词和域名，但这样做不但麻烦，而且代码难以复用。正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它...

Posted by JustDoDT on February 12, 2018

JPS命令和Linux中的/tmp文件夹所遇的问题

jps命令的真相 [hadoop@hadoop001 ~]$ jps 13397 NameNode 13718 SecondaryNameNode 13530 DataNode 13887 Jps [hadoop@hadoop001 ~]$ 位置哪里的 [hadoop@hadoop001 ~]$ which jps /usr/java/jdk1.8.0_144/bin/jps [h...

Posted by JustDoDT on January 20, 2018

Linux中一些常见命令(下)

Linux中一些常见命令(下) 怎么退出vim 直接在命令行模式下输入shift zz 插入模式 i #从光标所在的位置前面开始插入 I #在当前行首插入 a #在当前行尾插入 o #在光标所在行下方新增一行并进入输入模式 O #在当前上面一行插入移动光标（命令模式） gg #到文件的第一行，如10gg，表示跳到10行 G #到文件最后一行(也可以用Shift+g) ^ ...

Posted by JustDoDT on January 18, 2018

Python中的装饰器和描述符

1. 单例模式类每次实例化的时候都会创建一个新的对象，如果要求类只能被实例化一次该怎么做呢？用__new__实现单例模式 class Earth: def __new__(cls): if not hasattr(cls,'instance'): cls.instance = super().__new__(cls) ...

Posted by JustDoDT on January 17, 2018

Python中的异常

1. 认识异常 help(TypeError) class TypeError(Exception) | Inappropriate argument type. | | Method resolution order: | TypeError | Exception | BaseException | object | ...

Posted by JustDoDT on January 16, 2018

Python中的类

1. 面向对象简介类（Class）：用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数之外。类变量通常不作为实例变量使用。数据成员：类变量或者实例变量，用于处理类及其实例对象的相关的数据。方法重写：如果从父类继承的方法不能满足子类的要求，可以对其...

Posted by JustDoDT on January 15, 2018

Python中的文件操作

1. 文件的概述为啥需要文件？因为文件可以持久化的存储到磁盘中。 2. 文件的操作 2.1 文件的打开 In [1]: file = open('test.txt','r') --------------------------------------------------------------------------- FileNotFoundError ...

Posted by JustDoDT on January 13, 2018

Python中的控制流程

1. 条件语句语法结构： if 判断语句1: 执行语句1 elif 判断语句2: 执行语句2 … else: 执行语句 2. 三目运算符 In [61]: a = 4 In [62]: print(True) if a > 5 else print(False) False # 语法糖就是节省代码格式，用更简单的格式把代码写出来，如三目运算，装饰器...

Posted by JustDoDT on January 11, 2018