英特尔的分布式深度学习库BigDL

BigDL是英特尔开源的分布式深度学习库, 运行在 Apache Spark 集群上, 可简化从 Hadoop 的大数据集的数据加载。

特点:

提供全面的深度学习支持，包括数值计算（通过 Tensor）和高层面的神经网络；此外，用户还可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。

极高的性能。为了实现高性能，BigDL 在每一个 Spark 任务中都使用了 Intel MKL 和多线程编程。从而使得 BigDL 在单节点 Xeon（与主流 GPU 媲美）上能够实现比当前开源的 Caffe、Torch 或 TensorFlow 快几个数量级的表现。

有效的扩展。BigDL 可以利用 Apache Spark（一种超快的分布式数据处理框架）以及同步 SGD 的有效实现和在 Spark 上的 all-reduce 通信来进行有效地扩展，从而可在「大数据规模」上执行数据分析。

相关文档：
Linux 或 macOS 上安装和编译 BigDL：https://github.com/intel-analytics/BigDL/wiki/Build-Page

运行 BigDL 程序（作为本地 Java 程序或 Spark 程序）：https://github.com/intel-analytics/BigDL/wiki/Getting-Started

EC2 上运行BigDL：https://github.com/intel-analytics/BigDL/wiki/Running-on-EC2

使用BigDL快速创建一个实用的神经网络：https://github.com/intel-analytics/BigDL/wiki/Tutorials

[repo owner=”intel-analytics” name=”BigDL”]