SlideShare a Scribd company logo
深度学习平台介绍
DEEPLEARNING4J, ND4J, NS4J, CANOVA, ARBITER
Skymind 的合作伙伴:
Skymind 的深度学习平台生态系统简介
Skymind的深度学习平台是由4个系统组成:CANOVA, DL4J, ND4J 和 ARBITER
CANOVA
- 处理非结构数据
- 将数据简单化
- 将数据转化为机器
学习工具使用矢量
格式
ARBITER
- 深度学习程式检
测评估器
- 调整及优化机械
学习模型
DL4J: DEEP LEARNING FOR JAVA
- 企业级,开源分布式的商用深度学习框架
- 包含所有的深度学习神经网络
ND4J: N-DIMENSIONAL ARRAYS FOR JAVA
- 矩阵操作的科学计算引擎
- 同时也是DL4J主要的科学计算引擎
开源分布式深度学习平台
利用世界的力量打造完美平台,同时还可以充分保护用户的权利
Skymind的深度学习框架是开源的:
- 利用世界的力量打造完美平台
- 增快技术产出与技术更新
- 开源软件对用户的权利保护得更充分
- 开源软件让用户数据的隐私受保证
深度学习平台
超过2000位活跃的开发者开发者来自超过26个世界
不同的国家,超过8个不
同的时区
开发者来自超过50
家不同的企业、集
团、公司
兼容于企业大数
据系统
用户的数据隐私受保证
使用Skymind开源分布式深度学习平台,创立属于你自己的应用程序
一般的深度学习平台 Skymind 的深度学习平台
深度学习公司甲
公司甲
深度学习平台
公司丙
公司丙
数据
数据
分析结果
数据库 应用软件
深度学习平台
公司丙
数据库 应用软件
公司丙
数据
数据
分析结果
通过Skymind
平台开发
公司丙
技术
支持
- 公司丙通过API将所数据导入公司甲的深入学习平
台,这些数据将在公司甲的平台上进行分析
- 公司甲把数据分析结果反馈给公司丙
- 数据分析过程可能会缓慢
- 公司丙的数据隐私将不受保证
- 公司丙通过Skymind深度学习平台创立属于自己的
深度学习应用程序
- 公司丙在自己的系统上运行数据分析并得出总结
- 建立在同个系统上,数据分析过程将可迅速完成
- 在公司丙自己的平台上运行,数据隐私将受保证
系统架构系统架构
Skymind深度学习平台:我们的优势
首个使用JAVA和SCALA编写的商业级开源分布式深度学习平台
唯一一个使用Java, Scala 和 Clojure编程的平台
20X速度
运行时间
Skymind平台
一般平台(使用Python、C/C++编辑)
总体运行速度非常快 跨平台 完全兼容于所有企业的大数据系统
Skymind深度学习平台架构:HADOOP(供参考)
在HADOOP系统上使用Skymind深度学习平台
- 操作仪表盘 -
基础设施投资
- 客户记分卡 -
带宽分配
- 呼叫数据记录(CDR)分析 - 产品开发
- 主动维护
深度学习平台
EDW
MPP
数据库
分析
传统数据来源 新兴或非传统的数据来源
安全
系统
操作
系统HDFS (HADOOP DISTRIBUTED FILE SYSTEM)
HADOOP分布式文件系统
YARN:数据操作系统
Others
Script
SQL
NoSQL
Stream
Search
Batch
客户关系管理
订阅数据
企业资源计划
产品目录
帐单数据
网络数据
点击流
服务器日志
在线咨询
呼叫细节
传感器数据
商品清单
社会媒体
数据管理
数据
治理
整合
Skymind深度学习平台架构:模型训练(供参考)
使用Skymind深度学习平台构建与优化机械学习模型
CANOVA
DL4J
GPU
CUDA
CPU
MKL
ETL:数据抽取,清洗,转换和装载
从AMAZON S3, CASSANDRA, HDFS和任何NoSQL DB抽取数据并将数据转化为机器
学习工具使用矢量格式。
智能层
在多核的处理器上运行深层神经网络,对数据进行分类,聚类然后做出预测和评估。
分布式运行
数据分析(模型训练)编排系统:SPARK在集群服务器上的CUDA控制主机线程。在云
分布式系统上进行数据并行化和参数平均化训练。
硬件加速
标准计算机的本机硬件子系统: CUBLAS ,自定义的CUDA内核。使用轮循方式将其中
一个主机线程连接到特定的图形处理器(GPU)。对于CPU ,我们将对自定义的操作
和MKL的链接使用SIMD(单指令多数据)指令;或对引用BLAS impl,OpenBlas的链
接使用SIMD指令。
Skymind深度学习平台架构:实时审核(供参考)
使用Skymind深度学习平台运行机械学习模型
数据源 数据对接
Logs
IoT
RDBMS
DL4J:
训练出来的
机械学习模型
GPU
CUDA
CPU
MKL
机械学习
模型
机械学习
模型
DROPWIZARD
基于JVM的
应用程式层
Protocol Buffers
1
2
3
- 使用Protocol Buffers
(Protobuf) 沟通
- kafka 与 DL4J 之间使用
Flat Buffers
- 二进制格式 针对故障使用多种机械学习模型应对多种需求。每个
模型将会在一台机上运算。无分布式运行(因此也没
有平均化),因为之间的沟通是低效的。
把实时预测连接上图形用户
界面(GUI)
企业版和社区版
世界首个企业级商用的深度学习平台:快速完成大数据分析与总结
- 开源平台: https://github.com/deeplearning4j
- 包含所有的神经网络,如:Convolutional Nets,
Recurrent Nets, Recursive Nets, Deep Autoencoders,
Deep-Belief Nets 等。参考 deeplearning4j.org
- 技术支持:通过GITTER开发者实时讨论区获得支持 -
https://gitter.im/deeplearning4j
- 拥有社区版所有的功能与特征
- 支持CPU和GPU即时切换和并行
- 支持分布式系统(如:HADOOP大数据系统等),满
足企业对深度学习模型分布式训练的需求
- 支持手机应用、移动应用
- 全天候专业技术支持:电话,邮件,客户支持系统
社区版
企业版
联系方式
联系人 :吴书卫(Goh Shu Wei)
邮件 :gsw@skymind.io
手机 :+60197259601
微信 :gohshuwei20000
微博 :weibo.com/dl4j
官网 :skymind.io
微信:扫一扫

More Related Content

PDF
Skymind Intro - CN
PDF
机器学习概述
PDF
Shanghai Deep Learning Meetup #1
PDF
Which Is Deeper - Comparison Of Deep Learning Frameworks On Spark
PDF
神经网络与深度学习
PDF
Deep Learning on AWS (November 2016)
PPTX
Brief introduction to Distributed Deep Learning
PDF
"Energy-efficient Hardware for Embedded Vision and Deep Convolutional Neural ...
Skymind Intro - CN
机器学习概述
Shanghai Deep Learning Meetup #1
Which Is Deeper - Comparison Of Deep Learning Frameworks On Spark
神经网络与深度学习
Deep Learning on AWS (November 2016)
Brief introduction to Distributed Deep Learning
"Energy-efficient Hardware for Embedded Vision and Deep Convolutional Neural ...

Viewers also liked (20)

PPTX
Ibm truenorth
PPTX
Truenorth - Ibm’s brain like chip
PPTX
Recurrent nets and sensors
PDF
"Trends and Recent Developments in Processors for Vision," a Presentation fro...
ODP
Hubba Deep Learning
PDF
Machine Learning with New Hardware Challegens
PDF
Enabling Artificial Intelligence - Alison B. Lowndes
PDF
Skymind 深度学习 - T11 Summit
PDF
Deep Learning on Production with Spark
PDF
DL4J at Workday Meetup
PDF
Deeplearning on Hadoop @OSCON 2014
PDF
DeepLearning4J and Spark: Successes and Challenges - François Garillot
PDF
DeepLearning4J: Open Source Neural Net Platform
PPTX
Deep Learning using Spark and DL4J for fun and profit
PDF
Differences of Deep Learning Frameworks
PPT
Deep Learning Jeff-Shomaker_1-20-17_Final_
ODP
Deep Learning meetup
PDF
Getting Started with Deep Learning using Scala
PDF
"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel
PPTX
Sf data mining_meetup
Ibm truenorth
Truenorth - Ibm’s brain like chip
Recurrent nets and sensors
"Trends and Recent Developments in Processors for Vision," a Presentation fro...
Hubba Deep Learning
Machine Learning with New Hardware Challegens
Enabling Artificial Intelligence - Alison B. Lowndes
Skymind 深度学习 - T11 Summit
Deep Learning on Production with Spark
DL4J at Workday Meetup
Deeplearning on Hadoop @OSCON 2014
DeepLearning4J and Spark: Successes and Challenges - François Garillot
DeepLearning4J: Open Source Neural Net Platform
Deep Learning using Spark and DL4J for fun and profit
Differences of Deep Learning Frameworks
Deep Learning Jeff-Shomaker_1-20-17_Final_
Deep Learning meetup
Getting Started with Deep Learning using Scala
"Accelerating Deep Learning Using Altera FPGAs," a Presentation from Intel
Sf data mining_meetup
Ad

Skymind's Platform - CN