Solo  当前访客:1 登录 注册
☆gater yu☆

~~ 一个java老鸟的博客 ~~

标签:
Spark修炼之道 (135)

Spark修炼之道系列教程预告

课程内容Spark修炼之道(基础篇)——Linux基础(15讲)、Akka分布式编程(8讲)Spark修炼之道(进阶篇)——Spark入门到精通(30讲)Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲)Spark修炼之道(高级篇)——Spark源码解析(50讲)部分内容会在实际编写时动态调整,或补充、或删除。Spark修炼之道(基础篇)——Linux大数据开发基础(15讲)、Li...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 219 | 评论总数: 0 | 标签:

Spark修炼之道——Spark学习路线、课程大纲

课程内容Spark修炼之道(基础篇)——Linux基础(15讲)、Akka分布式编程(8讲)Spark修炼之道(进阶篇)——Spark入门到精通(30讲)Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲)Spark修炼之道(高级篇)——Spark源码解析(50讲)部分内容会在实际编写时动态调整,或补充、或删除。Spark修炼之道(基础篇)——Linux大数据开发基础(15讲)、Li...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 242 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第一节、Linux介绍、安装及使用初步

本节主要内容Linux简史Linux系统整体介绍UbuntuLinux安装Linux使用初步1.Linux简史要讲述大名鼎鼎的Linux,必然要先从UNIX系统谈起,下面这幅图给出了Unix系统的进化图:图片来源:http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8BuSDkbwmldtmUEm...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 288 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第二节:Linux文件系统、目录(一)

本节主要内容如何获取帮助文档Linux文件系统简介目录操作访问权限1.如何获取帮助文档在实际工作过程当中,经常会忘记命令的使用方式,例如ls命令后面可以跟哪些参数,此时可以使用man命令来查看其使用方式,例如//man命令获取命令帮助手册xtwy@ubuntu:~$manls可以使用键盘上的来显示下一行或上一行命令,也可以使用进行上一页或下一页(屏)命令的查看,另外空格鍵也可以用来显示下一屏的命令...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 391 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第三节:用户和组

本节主要内容理解用户和组的概念用户管理组管理权限分配1.理解用户和组的概念在第一讲中我们提到,linux是一种多任务、多用户的操作系统,在讲ls-l命令行我们看到如下文件详细信息:root@ubuntu:/home/xtwy#ls-ltotal48drwxr-xr-x2xtwyxtwy40962015-08-2023:31Desktopdrwxr-xr-x2xtwyxtwy40962015-08-...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 195 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第四节:Linux文件系统(二)

本节主要内容访问控制列表ACL链接压缩和归档文件其他日常管理实用程序1.访问控制列表ACL在实际使用使用过程中,可能linux系统自身权限控制不能满足要求,还需要进一步细化,此时可以用ACL(AccessControlList)进行,它主要提供owner,group,others的read,write,execute权限之外的细部权限配置。它可以针对单一使用者,单一文件或目录来进行r,w,x的权限...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 211 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第五节:vi、vim编辑器(一)

本节主要内容vim编辑器的三种模式移动光标输入模式修改文本作者:周志湖微信号:zhouzhihubeyond网名:摇摆少年梦1.vi编辑器的三种模式学会使用vi编辑器是学习linux系统的必备技术之一,因为一般的linux服务器是没有GUI界面的,linux运维及开发人员基本上都是通过命令行的方式进行文本编辑或程序编写的。vi编辑器是linux内置的文本编辑器,几乎所有的类unix系统中都内置了v...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 195 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第六节:vi、vim编辑器(二)

本节主要内容缓冲区的使用文件的存盘与读盘文本查找文本替换作者:周志湖微信号:zhouzhihubeyond网名:摇摆少年梦1.缓冲区的使用在利用vim进行文本编辑时,编辑修改后的文本不会立即保存到硬盘上,而是保存在缓冲区中,如果没有把缓冲区里的文件存盘,原始文件不会被更改。vim在打开文件时将文本内容读到缓冲区中,在进行文本编辑时,修改的文本保存在缓冲区,此时硬盘上的原文件不变。下面让我们来演示一...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 378 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第七节:进程管理

本节主要内容进程管理简介进程管理常用命令计划任务1.进程管理简介(1)进程概念进程是操作系统中非常重要的一个概念,进程是程序的执行过程,相对于程序,进程是动态的,在linux系统中,它与用户权限相关,程序与进程并没有一一对应,一个程序可能对应多个进程,例如://ps命令列出当前所有对应当前用户的活动进程xtwy@ubuntu:~$psPIDTTYTIMECMD2087pts/000:00:00ba...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 215 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第八节:网络管理

本节主要内容ifconfig命令网络配置其它常用网络管理命令1.ifconfig命令ifconfig命令主要用于配置网络接口,如果不加任何参数,则ifconfig命令用于查看当前所有活动网络接口的状态信息,例如:图中的eth0表示活动的以太网接口,对应的描述信息中给出了网络的整体状况信息包括网络类型、MAC地址、IP地址、子网掩码等等,lo表示本地环回网络地址。从图中可以看到,所有的网络类型都是i...

作者:sky | 创建日期: 2016-11-16 12:01 | 浏览次数: 213 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第一节Spark1.5.0集群搭建

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容操作系统环境准备Hadoop2.4.1集群搭建Spark1.5.0集群部署注:在利用CentOS6.5操作系统安装spark1.5集群过程中,本人发现Hadoop2.4.1集群可以顺利搭建,但在Spark1.5.0集群启动时出现了问题(可能原因是64位操作系统原因,源码需要重新编译,但本人没经过测试),经本人测试在ubu...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 471 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第二节Hadoop、Spark生成圈简介

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容Hadoop生态圈Spark生态圈1.Hadoop生态圈原文地址:http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa02b3b983df6df9...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 189 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第三节SparkIntellijIDEA开发环境搭建

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容IntellijIDEA14.1.4开发环境配置Spark应用程序开发1.IntellijIDEA14.1.4开发环境配置IntellijIDEA功能十分强大,能够开发JAVA、Scala等相关应用程序,在依赖管理智能提示等方面做到了极致,大家可以到:http://www.jetbrains.com/idea/downl...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 315 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第四节Spark编程模型(一)

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容Spark重要概念弹性分布式数据集(RDD)基础1.Spark重要概念本节部分内容源自官方文档:http://spark.apache.org/docs/latest/cluster-overview.html(1)Spark运行模式目前最为常用的Spark运行模式有:-local:本地线程方式运行,主要用于开发调试Sp...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 198 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第五节Spark编程模型(二)

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本文主要内容RDD常用Transformation函数1.RDD常用Transformation函数(1)unionunion将两个RDD数据集元素合并,类似两个集合的并集union函数参数:/***ReturntheunionofthisRDDandanotherone.Anyidenticalelementswillappear...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 435 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第六节Spark编程模型(三)

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容RDDtransformation(续)RDDactions1.RDDtransformation(续)(1)repartitionAndSortWithinPartitions(partitioner)repartitionAndSortWithinPartitions函数是repartition函数的变种,与repa...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 237 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第七节Spark运行原理

作者:周志湖网名:摇摆少年梦微信号:zhouzhihubeyond本节主要内容Spark运行方式Spark运行原理解析本节内容及部分图片来自:http://blog.csdn.net/book_mmicky/article/details/25714419http://blog.csdn.net/yirenboy/article/details/47441465这两篇文件对Spark的运行架构原理...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 210 | 评论总数: 0 | 标签:

Spark修炼之道(进阶篇)——Spark入门到精通:第八节SparkSQL与DataFrame(一)

本节主要内宾SparkSQL简介DataFrame1.SparkSQL简介SparkSQL是Spark的五大核心模块之一,用于在Spark平台之上处理结构化数据,利用SparkSQL可以构建大数据平台上的数据仓库,它具有如下特点:(1)能够无缝地将SQL语句集成到Spark应用程序当中(2)统一的数据访问方式DataFramesandSQLprovideacommonwaytoaccessavar...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 420 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第九节:Shell编程入门(一)

本节主要内容shell编程简介变量定义常用特殊变量1.shell编程简介学习linux操作系统最让人着迷的事情莫过于shell脚本编程,这是因为如果要完成某些复杂的功能,单纯地通过GUI操作不可能达到,shell脚本可以直接与操作系统内核打交道,从而完成任意复杂的任务。shell有很多种,最常用的是Bash(BourneAgainShell),它是Linux操作系统默认的shell环境。在linu...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 176 | 评论总数: 0 | 标签:

Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)

参考书目:linuxshellscriptingcookbook本节主要内容shell命令行中的基本运算文件描述符与文件重定向1.shell命令行中的基本运算通过上一节我们知道,LinuxBashshell命令行的变量都被解析成字符串,如//变量被解析为字符串root@sparkmaster:~/ShellLearning/chapter09#first=1root@sparkmaster:~/S...

作者:sky | 创建日期: 2016-11-16 12:00 | 浏览次数: 187 | 评论总数: 0 | 标签:

1 2 3 4 5 6 7   共 7 页面