深度学习框架 深度学习算法

如何评价深度学习框架Keras

背景介绍

优点：支持python，模型库全，搭模型快，关注度极高，迭代快，可用GPU加速。

深度学习框架 深度学习算法

深度学习框架 深度学习算法

缺点在捕获和变换程序时，eager和graph模式的深度学习框架都必须在 「捕获程序结构」 、 「程序特化」 和 「保存程序的IR的设计」 方面做出选择。这些选择的组合决定了可在框架中表示的 「程序空间」 、 「编写变换的难易程度」以及「生成的变换程序的性能」 。 「一般来说，支持程序的高性能运行需要更复杂的捕获框架和IR，从而使转换更难编写」 。每一段相关工作我就不详细过了，只描述每一段工作的核心是在说什么，相关细节大家可以查看原始论文。：

内部许多类的抽象不合理。

查看中间层输出不够直接。

这些优缺点很大程度上都是因为现行版本将theano深度耦合，其作者和一些代码贡献者也意识到了这个问题，于是下一步将theano解藕出来放到单独的backend模块里，到时也许可以自由切换其他symbolic引擎。总的来说Keras是一个很有前途的库。

更新：

上周作者fork了一个新的backend分支，Keras将TensorFlow作为第二个backend，现在已进入开发阶段，将theano和tensorflow的一些函数抽象为统一的API，详见backend分支。

如何评价百度开源的深度学习框架 Paddle

简单说一些印象（以目前的github repo为准）。整体的设计感觉和Caffe心有灵犀，同时解决了Caffe早期设计当中的一些问题（比如说default stream）。

1. 很高质量的GPU代码

2. 非常好的RNN设计

4. 高速RDMA的部分貌似没有开源（可能是因为RDMA对于cluster design有一定要求）：

5. 设计思路比较像代的DL框架，不过考虑到paddle已经有年头了，这样这个吃CPU，对显卡要求不高，根据你的预算来找吧，CPU核数多，主频高的就行。内存要够，至少16G起，显卡集成的都问题不大。设计还是有历史原因的。

。我和limu合作设计了ps风格的三个接口来解决这样的同步问题，Push/PullReq和Pullwait。当获backprop得梯度的时候直接调用push把梯度发送出去，并且调用pullreq请求结果。Push和Pullreq都是异步作，背后会有单独的线程同时完成数据拷贝同步，以及拷回的作。而当我们需要weight之前在调用Pullwait来等待可能没有完成的作。这样简单的三个接口，使得我们可以经过很少的改动就可以设计出多卡和分布式的神经网络来，并且在调用这些接口的时候完全不需要关系同步的实现是什么。

15 个开源的人工智能工具

深度学习是一种机器学习方法 ， 它允许我们训练人工智能来预测输出，给定一组输入(指传入或传出计算机的信息)。监督学习和非监督学习都可以用来训练人工智能.

以下是15个开源的工具：1. TensorFlow：这是谷歌开发的非常流行的深度学习库，可用于训练神经网络和其他模型。2. PyTorch: 另非常受欢迎的深度学习库，适用于训深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Ince)。练各种模型和生成新的模型。3. Keras：这是高级的深度学习库，具有简单易用的接口和可快速调整的函数，可以让你轻松训练模型。4. Scikit-learn: 这是开源的机器学习工具包，可以帮助你训练各种机器学习包括分类、聚类和回归模型等等。5. Caffe：这是流行的深度学习框架，可用于训练卷积神经网络和其他深度学习模型。6. Theano: 这是开源的符号计算库，适用于训练深度学习包括卷积神经网络和递归神经网络。7. OpenCV：这是用于计算机视觉的开源库，可用于识别图像、检测对象和跟踪运动等。8. MXNet: 这是深度学习框架，能够支持分布式训练，能够扩展到数百个GPU和数千个CPU，是非常强大的工具。9. Torch：这是针对科学计算的开源机器学习库，具有简单易用的Lua编程接口，适用于训练各种深度学习和机器学习模型。10. R：这是统计计算的开源编程和环境，有各种机器学习和数据挖掘工具和库。11. DeepLearning4J: 这是Ja深度学习库，适用于训练各种深度学习包括卷积神经网络和循环神经网络。12. H2O：这是流行的开源机器学习平台，可以帮助你训练各种机器学习同时支持分布式计算。13. Weka: 这是流行的机器学习工具，具有各种机器学习和数据挖掘算法和库。14. Mahout：这是开源的机器学习库，适用于训练各种机器学习包括分类、聚类和系统等等。15. Apache Spark：这是流行的大数据处理工具，支持分布式计算和机器学习，可以帮助你训练各种大规模的机器学习模型。

用沐神的方法阅读PyTorch FX论文

作者丨BBuf

来源丨GiantPandaCV

编辑丨极市平台

torch.fx 对于PyTorch来说确实是一个比较好的工作，因为它消除了一些动态图和静态图的Gap。比如在图改写方面， torch.fx 让PyTorch想做一些其它静态图框架的算子融合优化非常容易。并且 torch.fx 让后训练量化和感知训练量化以及AMP等的实现难度大大降低，这得益于我们可以直接在Python层作这个IR，所以我认为这是一个不错的工作。尤其是对使用PyTorch开发的算法工程师来说，现在可以基于这个特性大开脑洞了。 torch.fx 的卖点就是，它使用纯Python语言实现了一个可以捕获PyTorch程序的计算图并转化为一个IR的库，并且非常方便的在这个IR上做Pass，同时提供将变换后的IR Codegen合法的Python代码功能。我觉得算是达到了在Eager下写Pass就像做链表插入删除题目一样顺滑。

PyTorch FX论文的链接在： 。

这一节主要是讲了一下 torch.fx 的卖点，就是说动态图虽然易用性很强，但是图结构不能被提前感知和变换，但通过这篇论文的 torch.fx 模块，这件事就成啦！

早期的图模式或者叫 define-and-run 的静态图框架有Caffe，TensorFlow等，它们设计了一个表示图的IR，用户通过调用这些框架提供的API来构建IR。然后我们可以在这个IR上做程序微分，将IR切分到设备上实现并行，量化，性能优化等等。但这些事情一般都要求开发者在领域特定的语言上去做，比如以OneFlow的静态图模式为例，要做图切分，量化，性能优化等都需要基于C++去开发，并且调试也会相对比较难（要借助pdb，gdb等等专业工具）。

现在的eager模式或者叫 define-by-run 的动态图框架有PyTorch，TensorFlow Eager模式等，它们可以随心所欲的让用户基于脚本语言编程并且可以解决大多数的训练（基于自动微分）和预测任务。但是有一些变换比如 「量化和算子融合」 是不能直接做的，而这一点在静态图模式下则很简单。为了消除这种Gap，动态图框架需要一种从用户的程序捕获图结构的方法来使能这些变换。

这一节提到了PyTorch的 jit.trace ，MxNet Gluon，TensorFlow的 tf.function 等程序捕获方法，并指出这些方法只能处理Python的一些子集。然后，TorchScript通过在AST上分析可以处理控制流和更多的Python语法。然后还提了一下Julia和Swift For TensorFlow中将捕获程序结构的接口集成到了非Python的宿主语言中，要使用的话需要用户放弃Python生态系统。

对于 a+b 这个Python语句来说，这个表达式对 a 和 b 的类型没有限制。但当深度学习框架捕获程序时一般会对这两个变量进行特化，以便它们只对特定类型或者张量有效。在深度学习框架中处理的大多数程序都是特化类型的程序，特化程度越高，能够处理的输入就越少。例如 torch.jit.trace 在执行trace的时候只能处理某些拥有合法输入shape的输入。接下来还讨论了LazyTensor和Jax的 jit 来说明为了更好的处理特化程序中捕获的失败，它们做了哪些努力。

这一节主要对一些相关工作进行了展开，以此来突出 torch.fx 的核心卖点，就是说我虽然不能像TorchScript这样的IR处理一些比较难的Case（比如动态控制流），但是我在神经网络这个领域里做得够用就可以了。最关键的是我的实现很简单，是纯Python的库，这样用户写变换就会很简单，学习成本会很小并且易用。（简单不代表不强大！

以简单为基本原则， torch.fx 通过符号跟踪来捕获程序，并通过一个简单的6个指令的IR来表示它们，并基于这个IR重新生成Python代码来运行它。为了避免JIT特化中的重捕获的复杂性， torch.fx 没有对程序本身进行特化，而是依靠变换来决定在捕获期间需要实现哪些特化。用户也可以配置符号跟踪的过程来实现自定义捕获需求。

Figure1给我们展示了使用 torch.fx.symbolic5. 及时更新的技术：我们将及时跟进学术界的动态，例如现在已经支持MSRA的ParametricRelu和Google的Batch Normalization_trace 捕获程序的例子，输入可以是一个 torch.nn.Module 或者函数，并且捕获之后的结构被存在一个Graph对象里面。该 Graph 对象和 GraphModule 中的模块参数相结合， GraphModule 是 torch.nn.Module 的子类，其 forward 方法运行捕获的 Graph 。我们可以打印此图的 Nodes 以查看捕获的 IR。 placeholder 节点表示输入，单个 output 节点表示 Graph 的结果。 call_function 节点直接引用了它将调用的 Python 函数。 call_mod 节点直接调用其个参数的方法。 Graph 被重组为 Python 代码（ traced.code ）以供调用。

Figure2展示了使用 torch.fx 进行变换的示例。变换是找到一个激活的所有实例并将它们替换为另一个。在这里，我们使用它来将 gelu 替换 relu 。

torch.fx 的符号跟踪机制使用一个Proxy数据结构来记录给定一个输入之后经过了哪些Op。Proxy是一个duck-typed类型的Python类记录了在它之上的的属性访问和调用方法，是程序中真实Op的上层抽象。duck-typed可以看一下这里的介绍： 。PyTorch的算子以及Python子集的某些函数都会被这个Proxy包装一次，然后在符号跟踪传入的是一个 nn.Module 时，会对这个 nn.Module 中的子 nn.Module 也进行Proxy包装，当然还包含输入数据。这样程序中的输入和其它Op都是duck-typed类型的Proxy对象，我们就可以执行这个程序了，也就是符号跟踪的过程。符号跟踪的过程通过一个 Tracer 类进行配置7. 方便的语言接口：在Python中直接进行训练，方便可视化。Matlab也将很快提供，它的方法可以被重写以控制哪些值被作为Proxy对象保留，哪些值被unpack。（Proxy记录下来的Op可以进行unpack，unpack之后可以拿到真实的Tensor, Parameter和运算符等等）。通过Proxy和Tracer类的配合， torch.fx 就可以完成PyTorch程序的符号跟踪，需要注意的是这里的符号跟踪的意思就是运行一遍这个被之后的 nn.Module 的forward。

torch.fx 的中间表示（IR）由一个Python数据结构 Graph 来做的。这个 Graph 实际上是一个包含一系列 Node 的线性表。节点有一个字符串作码 opcode ，描述节点代表什么类型的作（作码的语义可以在附录 A.1 中找到）。节点有一个关联的目标，它是调用节点（ call_module 、 call_function 和 call_mod ）的调用目标。，节点有 args 和 kwargs ，在trace期间它们一起表示 Python 调用约定中的目标参数（每个opcode对应的 args 和 kwargs 的语义可以在附录 A.2 中找到）。节点之间的数据依赖关系表示为 args 和 kwargs 中对其他节点的引用。

torch.fx 将程序的状态存储在 GraphModule 类中。 GraphModule 是转换程序的容器，暴露转换后生成的代码，并提供 nn.Module 类似的参数管理APIs。 GraphModule 可以在任何可以使用普通的 nn.Module 的地方使用，以提供转换后的代码和PyTorch 生态系统的其余部分之间的互作性。

torch.fx 变换pipline的阶段是代码生成。 torch.fx 并不是退出 Python 生态系统并进入定制的运行时，而是从变换后的 IR 生成有效的 Python 源代码。然后将此变换后的代码加载到 Python 中，生成一个可调用的 Python 对象，并作为 forward 方法安装在 GraphModule 实例上。使用代码生成允许将 torch.fx 变换的结果安装在模型中并用于进一步的变换。例如，在图3中，我们拿到trace原始程序的结果并将其安装为新模块中的激活函数。

到这里PyTorch FX特性就精读完了，但查看FX的论文可以发现还有一节叫作Design Decisions，分别介绍了Symbolic Tracing，Configurable Program Capture，AoT Capture without Specialization，Python-based IR and Transforms等等FX实现中依赖的一些想法和 决策，以及它们的好处等。我理解这一节就是Introduction的加强版，所以就不继续讲解这一小节了，如果你担心会错过什么细节知识可以阅读论文原文。

torch.fx 的一个目标就是简化深度学习模型产生的IR，下面的Figure5以ResNet50为例展示了TorchScript IR和 torch.fx IR的别，相比于TorchScript IR， torch.fx IR确实简单并且可读性更强。

我们知道后量化以及量化感知训练可以提示程序推理时的性能，下面的Figure6就展示了基于 torch.fx 实现的后量化（使用FBGEMM量化算子）应用在DeepRecommender模型之后，在In Xeon Gold 6138 CPU @2.00GHz上的性能表现。基于 torch.fx 实现的后量化模型推理速度相比float类型的模型要高3.3倍。并且基于 torch.fx 实现量化作相比基于TorchScript IR要简单很多。

torch.fx 还可以做Op融合，Figure7展示了基于 torch.fx 做了Conv+BN融合后应用在ResNet50上，在n NVIDIA Tesla V100-SXM2 16GB with CUDA version 11.0 和 In Xeon Gold 6138 CPU @ 2.00GHz的性能表现，可以看到在GPU上减少了约6%的latency，在CPU上减少了约40%的latency（多线程）和约18%的latency（单线程）。

除此之外 torch.fx 还可以应用在FLOPs计算，内存带宽使用分析，工作负载的数据值大小估计等，用来分析程序运行时的内存和速度。 torch.fx 还可以用在形状推断，以及模型对应的DAG可视化作图等等。

， torch.fx 在runtime阶段还支持通过ASIC加速（即将 torch.fx 中的算子lowering到对应的ASIC上），下面的Figure8展示了基于 torch.fx 推理ResNet50和LearningToPaint并将算子lowering到TensorRT之后的加速情况：

torch.fx 对于PyTorch来说确实是一个比较好的工作，因为它消除了一些动态图和静态图的Gap。比如在图改写方面， torch.fx 让PyTorch想做一些其它静态图框架的算子融合优化非常容易。并且 torch.fx 让后训练量化和感知训练量化以及AMP等的实现难度大大降低，这得益于我们可以直接在Python层作这个IR，所以我认为这是一个不错的工作。尤其是对使用PyTorch开发的算法工程师来说，现在可以基于这个特性大开脑洞了。我之前围绕FX也做了一个QAT的工作，感兴趣可以阅读：基于OneFlow实现量化感知训练：

总结一下， torch.fx 的卖点就是，它使用纯Python语言实现了一个可以捕获PyTorch程序的计算图并转化为一个IR的库，并且非常方便的在这个IR上做Pass，同时提供将变换后的IR Codegen合法的Python代码功能。我觉得算是达到了在Eager下写Pass就像做链表插入删除题目一样顺滑。

沐神的论文阅读方法，感觉确实比较科学，文章末尾再赞一次。

13个最常用的Python深度学习库介绍

深度学习如何入门介绍如下：

：Caffe

如果做实验，发的话，就需要高性能机器了，一般是台式，但是都是组里面出钱了。

Caffe是一个以表达式、速度和模块化为核心的深度学习框架，具备清晰、可读性高和快速的特性，在视频、图像处理方面应用较多。

第二：Theano

Theano诞生于2008年，是一个高性能的符号计算及深度学习库，被认为是深度学习库的始祖之一，也被认为是深度学习研究和应用的重要标准之一。其核心是一个数学表达式的编译器，专门为处理大规模神经网络训练的计算而设计。

Theano很好地整合了Numpy，可以直接使用Numpy的Ndarray，使得API接口学习成本大为降低;其计算稳定性好，可以精准地计算输出值很小的函数;可动态地生成C或者CUDA代码，用来编译成高效的机器代码。

第三：TensorFlow

TensorFlow不只局限于神经网络，其数据流式图还支持非常自由的算法表达，也可以轻松实现深度学习以外的机器学习算法。

第四：Keras

Keras是一个高度模块化的神经网络库，使用Python实现，并可以同时运行在TensorFlow和Theano上。

Keras专精于深度学习，其提供了到目前为止最方便的API，用户仅需将高级的模块拼在一起便可设计神经网络，大大降低了编程开销与理解开销。

深度学习框架入门学习需要高性能显卡吗?

基于上面几点，论文提出了 torch.fx 的基本设计原则：

万一想买不带显卡的超摘要部分简单指明了像PyTorch这种基于动态图执行模式的深度学习框架虽然提升了用户的易用性。但是在一些真实场景中，用户可能是需要捕获和变换程序结构（也可以直接理解为神经网络的结构）来进行性能优化，可视化，分析和硬件调优等。为了解决这个痛点，PyTorch设计了 torch.fx 这个模块来做PyTorch程序的捕获和变换，这个模块是纯Python开发的。极本也可以，因为网上也一大堆免费的云深度学习虚拟机。

如何评价的深度学习框架cxxnet

3. 设计很干净，没有太多的abstraction，这一点比TensorFlow好很多。

这篇文章介绍的是关于并行深度神经网络的设计。在今年发布的两个机器学习项目中，cxxnet是最精彩的一个。因为它包含了我们团队可以发挥到的机器学习和系统的各个方面的： 除了前沿的深度学习之外，它的两个独到特点也是让我们在设计实现中最为享受的

1) 灵活的公式支持和的C++模板编程；

深度神经网络的实现大致分两类：以python为主的编程效率派和以c++为核心的为代表的追逐性能派。前者支持直接tensor的计算，而后者往往需要给每个神经网络的层和更新公式编写的cuda kernel。编程效率派认为机器学习程序员应该是写公式来达到代码的可读性和易改写性。而很多以C++为核心的代码之所以没有支持非常灵活的张量计算，是因为因为运算符重载和临时空间的分配会带来效率的降低。

cxxnet的核心mshadow在这两者之间做了一个平衡。使得我们在不损失效率的前提下可以通过模板编程技术允许开发者编写和matlab/numpy类似的代码，并且在编译时自动展开成优化的kernel。其背后的expressiontemplate技术是我最喜欢的c++ trick之一。非常值得最求效率抽象和优美的同学了解。

因为采用了mshadow作为核命名略显混乱。心，直接导致cxxnet的各种实现可以非常简单可读，编写一份代码就可以在GPU和CPU上面跑。使得其在代码简洁和可扩展上更加容易。

2) 通用的并行参数共享和更新方案

多卡和多机计算一直是大规模机器学习中一个让人兴奋的话题。提到神经网络并行，最让我头疼的是可以选择的方案很多，而都涉及到不同的hack。单机多卡到底是用P2P，还是拷贝到内存，是用stream开始开多线程。分布式到底是用parameter server，MPI还是自己写一个框架。可以选择的方法很多。设计出一个分布式的代码不难，困难的是如何让并行的接口自然的出来，使得其不会影响其它部分的实现。经过不断地考虑，最终我决定采用了mshadow-ps这样一个统一的参数共享接口。

简单的说，mshadow-ps是一个GPU的异步parameter server接口（应该也是目前为止一个，因为GPU线程模型和CPU不同，原有的的ps库并不能直接用于GPU）。异步通信对于神经网络的更新非常重要。在backprop算法中，我们很早就可以获得梯度并且进行梯度同步，而只有到下一次forward到对应层的时候才会需要这个weight。

值得一提的是，这样的编程模式把多GPU，分布式以及各个通信框架直接结合起来。mshadow-ps支持单机多卡的GPU PS，以及基于parameter-server的分布式PS实现。同样的也可以很容易MPI来支持多机通信。使得一个统一的接口，可以完成从单机多卡到分布式各种后端实现的支持。并且因为高效的异步通信，使得我们可以在alexnet上面达到linearspeedup(注：并行的难度在于计算和通信的时间比，weight少更加复杂的网络反而更加容易线性加速，而alexnet是非常困难的例子)。

经过团队里面大家不断地努力，cxxnet的V2终于可以和大家见面了。除了上述介绍的技术亮点之外，还有各种好玩的特性。现在把特点总结如下：

1. 轻量而齐全的框架： 我们尽力维持最小的依赖库实现最多的功能。环境下仅需要CUDA, OpenCV, MKL或BLAS即可编译。

2. 强大的统一的并行计算接口：基于mshadow-ps的并行计算接口采用了一份代码解决了多GPU，多机的异步同步。同步和计算重叠，在多份测试中均可以得到线性加速比。

3. 易于扩展的代码结构：cxxnet计算核心由mshadow提供。Mshadow使用户可以编写numpy/matlab风格的代码，但仍具备手动优化cuda 代码的灵活性。CPU和GPU共享同一份代码，在编译期间通过模板自动翻译成CUDA/MKL调用。

另外一些特性包括：

4. CuDNN支持：Nvidia原生卷积支持，可加速计算30%！

6. Caffe模型转换：支持将训练好的Caffe模型直接转化为cxxnet模型（本周内上线！）

我们相信可以通过最简洁清晰的代码来完成高效的C++深度神经网络实现。我们也欢迎对于系统和机器学习有兴趣的同学加入到项目中来

深度学习如何入门

在短短几年内，深度学习软件已经比任何传统算法可以更好地对图像进行分类处理，而且可能很快就可以超越人工检查。

机器学习，需要学习监督学习，包括线性回归、逻辑回归、梯度下降方法减小代价函数。无监督学习，包括聚类等等，支持向量机、神经网络，这里吴恩达老师的机器学习，通俗易懂，有利于小白学习。

学完上面的内容就可以开始学习深度学习了，学习深度学习，深度学习主要是利用神经网络去解决问题，图像识别用的是卷积神经网络，自然语言处理利用的是循环神经网络。这里看吴恩达老师的深度学习，一定要做课后编程题，使用python需要做。

学习完理论知识，就需要学习一个深度学习的框模型需要compile架：Tensorflow、Pytorch。最近几年pytorch用的人越来越多了。图像识别的话，还需要学习opencv。

拓展介绍：

深度学习有哪些优点和缺点

只是学习的话，没必要高性能的，按照自己的需求买就是了。需要注意的点就是，要买显卡就买带nvidia显卡的。

深度学习（DL）是机器学习中一种基于对数据进行表征学习的方法，是一种能够模拟出人脑的神经结构的机器学习方法。深度学习的概念源于人工神经网络的研究。而人工神经网络ANN（Artificial Neural Network）是从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络，简称为神经网络或类神经网络。因此，深度学习又叫深层神经网络DNN（Deep Neural Networks），是从之前的人工神经网络ANN模型发展而来的。

优点有以下几点：1.相比于传统的视觉和语音识别方面有了很大的提高；2.具有较好的transfer learning性质。

缺点如下：1.模型正确性深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。至今已有数种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络和递归神经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。另外，“深度学习”已成为类似术语，或者说是神经网络的品牌重塑。验证复杂且麻烦；2. 某些深度网络不仅训练而且线上部署也需要GPU支持

深度学习是什么？

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

婡深臫度学头习筿是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，和个性化技术只是学习的话，没必要高性能的，按照自己的需求买就是了。需要注意的点就是，要买显卡就买带nvidia显卡的。，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。

1959年美国的塞缪尔（Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断地对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。

又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的问题与哲学问题。

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Ince)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析TensorFlow是相对高阶的机器学习库，其核心代码使用C++编写，并支持自动求导，使得用户可以方便地设计神经网络结构，不需要亲自编写C++或CUDA代码，也无须通过反向传播求解梯度。由于底层使用C++语言编写，运行效率得到了保证，并简化线上部署的复杂度。学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。[1]

深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

深度学习，就是深层次的去掌握知识，如果你是学习技术的那么需要深层次的去掌握技术，学习必须要深入地去了解里面的精髓，肤浅表面的学习是不能真真切切地掌握知识的。

简单来说，机器学习是实现人工智能的方法，深度学习是实现机器学习的技术。机器学习在实现人工智能时中需要人工辅助（半自动），而深度学习使该过程完全自动化

什么是神经网络，深度学习

深度学习都有哪些项目？

下面我就以沐神的论文阅读顺序来分享一下阅读体验，帮助大家搞清楚PyTorch FX这个特性到底是什么，以及它可以在PyTorch中发挥什么作用。

课程不是线下的班，就是线上的直播课，还可以无限次看回放。考虑到有很多在职人员会选择学习，所以时间设置得很自由。

项目就是以下六项：

项目一：手写数字识别项目实战

本项目基于目前的开源深度学习框架 TensorFlow 来实现手写体数字识别，采用多层卷积神经网络来进行手写数字的特征提取，利用全连接神经网络来进行手写数字的识别。整个项目流程包括数据的分析与处理、模型结构的设计、优化调试及结果分析等，最终识别精度达到 90%以上。 该技术方面可应用于文本数据识别场景，如卡证文本数据识别、票据文本数据识别、汽车场景文字识别等。

项目二：文学作品文本特征向量化实战

本项目主要关注深度学习在自然语言处理中的应用，利用循环神经网络及长短时记忆网络来实现该领域中的词嵌入学习和上下文推断。项目将选取部分文学作品文本，依次实现词嵌入特征提取和基于长短时记忆的上下文推断。相关技术可用于带时间、空间属性的序列数据处理，如经济数据预测、股票数据预测、消费者消费行为数据预测。

项目三：基于 生脸项目实战

学完以后可直接应用于智能对话生成、视觉图像合成、数据增强等任务。本项目将以人脸生成作为实例，介绍生成式对抗网络的原理与实现。

项目四：基于分布式 人脸生成项目实战

通过并行的方式来提高深度学习的数据吞吐量，加速模型的学习训练过程。本项目加以人脸生成为基础，介绍深度学习的 GPU 和分布式集群并行模式。相关技术可直接应用于人工智能+大数据/云计算的各种场景。

项目五:基于深度强化学习的迷宫游戏项目实战

本项目将简要介绍强化学习的基本思想，并通过游戏迷宫的实践展示深度强化学习的开发和训练过程，实现 AI 系统对环境的自主探索学习和智能决策。相关技术可用于自动驾驶、AI 量化投资、电商产品、机器人、人机交互、优化调度等辅助决策任务。

项目六：企业级车牌识别项目实战

本项目将以车牌识别为实战应用，指导学员完成典型人工智能项目的全流程实现，包括项目定位于需求分析、系统架构设计、功能模块实现、关键算法应用、测试与维护等环节。项目会重点介绍核心 AI 模块的要想学习深度学习就必须先学习机器学习，学习机器学习，首先需要储备的知识就是高等数学、线性代数以及统计数学的基础知识，其中统计数学最重要，可以看李沐老师的《统计学习方法》，学习概率分布、大数定律等等。开发与测试，相关实战环节可使学员熟悉实际企业级项目完整周期。本项目的技术核心可扩展应用于其他类似问题的识别，如集装箱号码识别，也可作为智能停车场项目的核心模块之一。