Solo  当前访客:1 登录 注册
☆gater yu☆

~~ 一个java老鸟的博客 ~~

Spark修炼之道(基础篇)——Linux大数据开发基础:第四节:Linux文件系统(二)

本节主要内容访问控制列表ACL链接压缩和归档文件其他日常管理实用程序1.访问控制列表ACL在实际使用使用过程中,可能linux系统自身权限控制不能满足要求,还需要进一步细化,此时可以用ACL(AccessControlList)进行,它主要提供owner,group,others的read,write,execute权限之外的细部权限配置。它可以针对单一使用者,单一文件或目录来进行r,w,x的权限...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 211 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第五节:vi、vim编辑器(一)

本节主要内容vim编辑器的三种模式移动光标输入模式修改文本作者:周志湖微信号:zhouzhihubeyond网名:摇摆少年梦1.vi编辑器的三种模式学会使用vi编辑器是学习linux系统的必备技术之一,因为一般的linux服务器是没有GUI界面的,linux运维及开发人员基本上都是通过命令行的方式进行文本编辑或程序编写的。vi编辑器是linux内置的文本编辑器,几乎所有的类unix系统中都内置了v...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 195 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第六节:vi、vim编辑器(二)

本节主要内容缓冲区的使用文件的存盘与读盘文本查找文本替换作者:周志湖微信号:zhouzhihubeyond网名:摇摆少年梦1.缓冲区的使用在利用vim进行文本编辑时,编辑修改后的文本不会立即保存到硬盘上,而是保存在缓冲区中,如果没有把缓冲区里的文件存盘,原始文件不会被更改。vim在打开文件时将文本内容读到缓冲区中,在进行文本编辑时,修改的文本保存在缓冲区,此时硬盘上的原文件不变。下面让我们来演示一...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 378 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第七节:进程管理

本节主要内容进程管理简介进程管理常用命令计划任务1.进程管理简介(1)进程概念进程是操作系统中非常重要的一个概念,进程是程序的执行过程,相对于程序,进程是动态的,在linux系统中,它与用户权限相关,程序与进程并没有一一对应,一个程序可能对应多个进程,例如://ps命令列出当前所有对应当前用户的活动进程xtwy@ubuntu:~$psPIDTTYTIMECMD2087pts/000:00:00ba...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 215 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第八节:网络管理

本节主要内容ifconfig命令网络配置其它常用网络管理命令1.ifconfig命令ifconfig命令主要用于配置网络接口,如果不加任何参数,则ifconfig命令用于查看当前所有活动网络接口的状态信息,例如:图中的eth0表示活动的以太网接口,对应的描述信息中给出了网络的整体状况信息包括网络类型、MAC地址、IP地址、子网掩码等等,lo表示本地环回网络地址。从图中可以看到,所有的网络类型都是i...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 213 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第一节Spark1.5.0集群搭建

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容操作系统环境准备Hadoop2.4.1集群搭建Spark1.5.0集群部署注:在利用CentOS6.5操作系统安装spark1.5集群过程中,本人发现Hadoop2.4.1集群可以顺利搭建,但在Spark1.5.0集群启动时出现了问题(可能原因是64位操作系统原因,源码需要重新编译,但本人没经过测试),经本人测试在ubu...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 471 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第二节Hadoop、Spark生成圈简介

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容Hadoop生态圈Spark生态圈1.Hadoop生态圈原文地址:http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa02b3b983df6df9...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 189 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第三节SparkIntellijIDEA开发环境搭建

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容IntellijIDEA14.1.4开发环境配置Spark应用程序开发1.IntellijIDEA14.1.4开发环境配置IntellijIDEA功能十分强大,能够开发JAVA、Scala等相关应用程序,在依赖管理智能提示等方面做到了极致,大家可以到:http://www.jetbrains.com/idea/downl...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 315 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第四节Spark编程模型(一)

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容Spark重要概念弹性分布式数据集(RDD)基础1.Spark重要概念本节部分内容源自官方文档:http://spark.apache.org/docs/latest/cluster-overview.html(1)Spark运行模式目前最为常用的Spark运行模式有:-local:本地线程方式运行,主要用于开发调试Sp...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 198 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第五节Spark编程模型(二)

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本文主要内容RDD常用Transformation函数1.RDD常用Transformation函数(1)unionunion将两个RDD数据集元素合并,类似两个集合的并集union函数参数:/***ReturntheunionofthisRDDandanotherone.Anyidenticalelementswillappear...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 435 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第六节Spark编程模型(三)

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容RDDtransformation(续)RDDactions1.RDDtransformation(续)(1)repartitionAndSortWithinPartitions(partitioner)repartitionAndSortWithinPartitions函数是repartition函数的变种,与repa...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 237 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第七节Spark运行原理

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容Spark运行方式Spark运行原理解析本节内容及部分图片来自:http://blog.csdn.net/book_mmicky/article/details/25714419http://blog.csdn.net/yirenboy/article/details/47441465这两篇文件对Spark的运行架构原理...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 210 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第八节SparkSQL与DataFrame(一)

本节主要内宾SparkSQL简介DataFrame1.SparkSQL简介SparkSQL是Spark的五大核心模块之一,用于在Spark平台之上处理结构化数据,利用SparkSQL可以构建大数据平台上的数据仓库,它具有如下特点:(1)能够无缝地将SQL语句集成到Spark应用程序当中(2)统一的数据访问方式DataFramesandSQLprovideacommonwaytoaccessavar...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 420 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第九节:Shell编程入门(一)

本节主要内容shell编程简介变量定义常用特殊变量1.shell编程简介学习linux操作系统最让人着迷的事情莫过于shell脚本编程,这是因为如果要完成某些复杂的功能,单纯地通过GUI操作不可能达到,shell脚本可以直接与操作系统内核打交道,从而完成任意复杂的任务。shell有很多种,最常用的是Bash(BourneAgainShell),它是Linux操作系统默认的shell环境。在linu...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 176 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)

参考书目:linuxshellscriptingcookbook本节主要内容shell命令行中的基本运算文件描述符与文件重定向1.shell命令行中的基本运算通过上一节我们知道,LinuxBashshell命令行的变量都被解析成字符串,如//变量被解析为字符串root@sparkmaster:~/ShellLearning/chapter09#first=1root@sparkmaster:~/S...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 187 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第十一节:Shell编程入门(三)

本节主要内容shell数组shell命令别名时间操作1.Shell数组同C、C++等语言一样,shell脚本也提供了数组这样一个重要的数据结构,shell中的数组有两种,一种为普通数组,另外的一种称为关联数组。普通数据的存取通过整数进行,关联数组的存取通过字符串进行。具体如下://用()定义一个数组,注意数组元素间不能用,否则达不到预期目的root@sparkmaster:~/ShellLearn...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 187 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第十二节:Shell编程入门(四)

本节主要内容shell脚本调试shell函数shell控制结构初步1.shell脚本调试当脚本出错时,需要对脚本进行调试,学会脚本调试是每个linux系统使用者必备技能。shell脚本调试无需任何额外的工具,只需要要在脚本文件前加-x选项即可,创建debug.sh文件,内容如下:#!/bin/bash#Filename:debug.shecho"scripting"echo"...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 362 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第十三节:Shell编程入门(五)

本节主要内容while循环控制结构if条件判断until循环控制结构1.while循环控制结构本节例子来源:http://blog.chinaunix.net/uid-25880122-id-2901409.html语法格式:whileexpressiondocommandcommanddone(1)计数器格式适用于循环次数已知或固定时root@sparkslave02:~/ShellLearni...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 172 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第十四节:Shell编程入门(六)

本文主要内容case控制结构read命令管道1.case控制结构参考:http://blog.csdn.net/dreamtdp/article/details/8048720case控制结构语法格式:caseexpressioninpattern1)statements;;pattern2)statements;;...esaccase控制结构较之于if条件判断,代码可读性更强,典型的应用场景是...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 169 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第十五节:基础正则表达式(一)

参考书目:鸟哥的LINUX私房菜基础学习篇(第三版)LinuxShellScriptingCookbook本节主要内容基础正则表达式1.基础正则表达式(1)^行开始符^匹配一行的开始,例如’^Spark’匹配所有Spark开始的行//grep-n表示查找到的结果显示行号root@sparkslave02:~/ShellLearning#grep-n'^Spark'/hadoopLe...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 194 | 评论总数: 0 | 标签:

第一页 上一页 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 下一页 最后一页   共 59 页面