Solo  当前访客:2 登录 注册
☆gater yu☆

~~ 一个java老鸟的博客 ~~

我的第一本著作:Spark技术内幕上市!

现在各大网站销售中!京东:http://item.jd.com/11770787.html当当:http://product.dangdang.com/23776595.html亚马逊:http://www.amazon.cn/SparkInternals前言和目录附上,以便有需要了解的同学:诞生于2005年的Hadoop解决了大数据的存储和计算问题,已经成为大数据处理的事实标准。但是,随着数据规...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 204 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.1

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱,是根据现有深度学习教程《UFLDL教程》中的算法,在SparkMLlib中的实现。具体SparkMLlibDeepLearning(深度学习)目录结构:第一章NeuralNet(NN)1、源码2、源码解...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 260 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.2

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.2http://blog.csdn.net/sunbow0第一章NeuralNet(神经网络)2基础及源码解析2.1NeuralNet神经网络基础知识2.1.1神经网络基础知识参照:http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 380 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.3

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.3http://blog.csdn.net/sunbow0第一章NeuralNet(神经网络)3实例3.1测试数据3.1.1测试函数采用智能优化算法的经典测试函数,如下:(1)SphereModel函数表达式搜索范围全局最优值函数简介:此函数为非线性的对称单峰函数,不同维之间是不可分离的。此函数相对比较简单,大...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 234 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.1

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱,是根据现有深度学习教程《UFLDL教程》中的算法,在SparkMLlib中的实现。具体SparkMLlibDeepLearning(深度学习)目录结构:第一章NeuralNet(NN...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 267 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.2

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.2http://blog.csdn.net/sunbow0第二章DeepBeliefNetwork(深度信念网络)2基础及源码解析2.1DeepBeliefNetwork深度信念网络基础知识1)综合基础知识参照:http://tieba.baidu.com/p/2895759455http:...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 388 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.3

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.3http://blog.csdn.net/sunbow0第二章DeepBeliefNetwork(深度信念网络)3实例3.1测试数据按照上例数据,或者新建图片识别数据。3.2DBN实例//****************例2(读取固定样本:来源于经典优化算法测试函数SphereModel)...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 239 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.1

3、SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱,是根据现有深度学习教程《UFLDL教程》中的算法,在SparkMLlib中的实现。具体SparkMLlibDeepLearning(深度学习)目录结构:第一章Neu...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 197 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.2

3、SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.2http://blog.csdn.net/sunbow0第三章ConvolutionNeuralNetwork(卷积神经网络)2基础及源码解析2.1ConvolutionNeuralNetwork卷积神经网络基础知识1)基础知识:自行google,百度,基础方面的非常多,...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 424 | 评论总数: 0 | 标签:

SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.3

3、SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.3http://blog.csdn.net/sunbow0第三章ConvolutionNeuralNetwork(卷积神经网络)3实例3.1测试数据按照上例数据,或者新建图片识别数据。3.2CNN实例//2测试数据Logger.getRootLogger.setLevel(...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 207 | 评论总数: 0 | 标签:

[置顶]倾情大奉送--Spark入门实战系列

这一两年Spark技术很火,自己也凑热闹,反复的试验、研究,有痛苦万分也有欣喜若狂,抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍,从Spark的简介、编译、部署,再到编程模型、运行架构,最后介绍其组件SparkSQL、SparkStreaming、SparkMLib和SparkGraphX等。文章内容的整理一般是先介绍原理,随后是实战例子,由于面向的是入门读者,在实...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 223 | 评论总数: 0 | 标签:

Spark入门实战系列--1.Spark及其生态圈简介

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1、简介1.1Spark简介Spark是加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目,速度之快足见过人之处,Spark以其先进的设计理念,迅速...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 449 | 评论总数: 0 | 标签:

Spark入门实战系列--2.Spark编译与部署(上)--基础环境搭建

【注】1、该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取;2、Spark编译与部署将以CentOS64位操作系统为基础,主要是考虑到实际应用一般使用64位操作系统,内容分为三部分:基础环境搭建、Hadoop编译安装和Spark编译安装,该环境作为后续实验基础;3、文章演示了Hadoop、Spark的编译过程,同时附属资源提供了编译好的安装包,觉得编译费时间可以...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 223 | 评论总数: 0 | 标签:

Spark入门实战系列--2.Spark编译与部署(中)--Hadoop编译安装

【注】该系列文章以及使用到安装包/测试数据可以在《[倾情大奉送–Spark入门实战系列](http://blog.csdn.net/yirenboy/article/details/47291765)》获取1编译Hadooop1.1搭建环境1.1.1安装并设置maven1.下载maven安装包,建议安装3.0以上版本,本次安装选择的是maven3.0.5的二进制包,下载地址如下http://mir...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 235 | 评论总数: 0 | 标签:

Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1编译SparkSpark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具,而Maven安装则需要maven工具,两种方式均需要在联网下进行,通过比较发现SBT编译速度较慢(原因有可能是1、时间不一样,SBT是白天编译,Ma...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 184 | 评论总数: 0 | 标签:

Spark入门实战系列--3.Spark编程模型(上)--概念及SparkShell实战

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1Spark编程模型1.1术语定义应用程序(Application):基于Spark的用户程序,包含了一个DriverProgram和集群中多个的Executor;驱动程序(DriverProgram):运行Application的main()函数并且创建SparkContext,通常用SparkContex...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 350 | 评论总数: 0 | 标签:

Spark入门实战系列--3.Spark编程模型(下)--IDEA搭建及实战

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1安装IntelliJIDEAIDEA全称IntelliJIDEA,是java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、创新的GUI设计等方面的功能可以说是超常的。IDEA是Je...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 179 | 评论总数: 0 | 标签:

Spark入门实战系列--4.Spark运行架构

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1Spark运行架构1.1术语定义Application:SparkApplication的概念和HadoopMapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码;Driver:Spark中的Driver即运行上述A...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 160 | 评论总数: 0 | 标签:

Spark入门实战系列--5.Hive(上)--Hive介绍及部署

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1Hive介绍1.1Hive介绍Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据。它是Facebook2008年8月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口,Hive有如下优缺点:优点:1.Hive使用类SQL查询语法,最大限度的实现了和SQL标...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 334 | 评论总数: 0 | 标签:

Spark入门实战系列--5.Hive(下)--Hive实战

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1Hive操作演示1.1内部表1.1.1创建表并加载数据第一步启动HDFS、YARN和Hive,启动完毕后创建Hive数据库hive>createdatabasehive;hive>showdatabases;hive>usehive;第二步创建内部表由于Hive使用了类似SQL的语法,所以...

作者:sky | 创建日期: 2016-11-15 12:01 | 浏览次数: 241 | 评论总数: 0 | 标签:

第一页 上一页 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 下一页 最后一页   共 59 页面