NDArray — 基于 Java 的 N 维数组工具

{"value":"\n\n##### 前言\n随着数据科学在生产中的应用逐步增加，使用 N 维数组灵活的表达数据变得愈发重要。我们可以将过去数据科学运算中的多维循环嵌套运算简化为简单几行。由于进一步释放了计算并行能力，这几行简单的代码运算速度也会比传统多维循环快很多。这种数学计算的包已经成为于数据科学，图形学以及[机器学习](https://aws.amazon.com/cn/machine-learning/?trk=cndc-detail)领域的标准。同时它的影响力还在不断的扩大到其他领域。 在 Python 的世界，调用 NDArray 的标准包叫做 NumPy。但是如今在 Java 领域中，并没有与之同样标准的库。为了给Java开发者创造同一种使用环境，亚马逊云服务开源了 DJL，一个基于 Java 的深度学习库。尽管它包含了深度学习模块，但是它最核心的 NDArray 系统可以被用作 N 维数组的标准。它具备优良的可扩展性，全平台支持，以及强大的后端引擎支持 (TensorFlow, PyTorch, Apache MXNet)。无论是 CPU 还是 GPU, PC 还是安卓，DJL 都可以轻而易举的完成任务。 在这个文章中，我们将带你了解 NDArray，并且教你如何写与 Numpy 同样简单的 Java 代码以及如何将 NDArray 使用在现实中的应用之中。\n\n##### 安装 DJL\n可以通过下方的配置来配置你的 gradle 项目。或者，你也可以跳过设置直接使用我们在线 JShell。\n\n```\\nplugins {\\nid 'java'\\n}\\nrepositories {\\njcenter()\\n}\\ndependencies {\\nimplementation \\"ai.djl:api:0.6.0\\"\\n// PyTorch\\nruntimeOnly \\"ai.djl.pytorch:pytorch-engine:0.6.0\\"\\nruntimeOnly \\"ai.djl.pytorch:pytorch-native-auto:1.5.0\\"\\n}\\n```\n\n\n然后，我们就可以开始上手写代码了。\n\n基本操作\n我们首先尝试建立一个 try block 来包含我们的代码（如果使用在线 JShell 可跳过此步）：\n\n```\\ntry(NDManager manager = NDManager.newBaseManager()) {\\n}\\n```\n\n\nNDManager 是 DJL 中的一个 class 可以帮助管理 NDArray 的内存使用。通过创建 NDManager，我们可以更及时的对内存进行清理。当这个 block 里的任务运行完成时，内部产生的 NDArray 都会被清理掉。这个设计保证了我们在大规模使用 NDArray 的过程中，可以通过清理其中的 NDManager 来更高效的利用内存。 为了做对比，我们可以参考 NumPy 在 Python 之中的应用。\n\n```\\nimport numpy as np\\n```\n\n\n###### 创建NDArray\n```\\nones\\n```\n 是一个创建全是1的 N 维数组操作. Python (Numpy)\n\n```\\nnd = np.ones((2, 3))\\n```\n[[1. 1. 1.]\n[1. 1. 1.]]\n```\\n```\n\n\nJava (DJL NDArray)\n\n```\\nNDArray nd = manager.ones(new Shape(2, 3));\\n/*\\nND: (2, 3) cpu() float32\\n[[1., 1., 1.],\\n[1., 1., 1.],\\n]\\n*/\\n```\n\n\n你也可以尝试生成随机数。比如我们需要生成一些从0到1的随机数： Python (Numpy)\n\n```\\nnd = np.random.uniform(0, 1, (1, 1, 4))\\n# [[[0.7034806 0.85115891 0.63903668 0.39386125]]]\\n\\nJava (DJL NDArray)\\n\\nNDArray nd = manager.randomUniform(0, 1, new Shape(1, 1, 4));\\n/*\\nND: (1, 1, 4) cpu() float32\\n[[[0.932 , 0.7686, 0.2031, 0.7468],\\n],\\n]\\n*/\\n```\n\n\n这只是简单演示一些常用功能。现在 NDManager 支持多达20种在 NumPy 中 NDArray 创建的方法。\n\n###### 数学运算\n你可以使用 NDArray 进行一系列的数学操作。假设你想做对数据做一个转置操作，然后对所有数据加一个数的操作。你可以参考如下的实现：\n\nPython (Numpy)\n\n\n```\\nnd = np.arange(1, 10).reshape(3, 3)\\nnd = nd.transpose()\\nnd = nd + 10\\n```\n[[11 14 17]\n[12 15 18]\n[13 16 19]]\n```\\n```\n\n\nJava (DJL NDArray)\n\n```\\nNDArray nd = manager.arange(1, 10).reshape(3, 3);\\nnd = nd.transpose();\\nnd = nd.add(10);\\n/*\\nND: (3, 3) cpu() int32\\n[[11, 14, 17],\\n[12, 15, 18],\\n[13, 16, 19],\\n]\\n*/\\n```\n\n\nDJL 现在支持60多种不同的 NumPy 数学运算，基本涵盖了大部分的应用场景。\n\n## Get 和 Set\n其中一个对于 NDArray 最重要的亮点就是它轻松简单的数据设置/获取功能。我们参考了 NumPy 的设计，将 Java 过去对于数据表达中的困难做了精简化处理。 假设我们想筛选一个 N 维数组所有小于10的数：\n\nPython (Numpy)\n\n\n```\\nnd = np.arange(5, 14)\\nnd = nd[nd >= 10]\\n# [10 11 12 13]\\n\\nJava (DJL NDArray)\\n\\nNDArray nd = manager.arange(5, 14);\\nnd = nd.get(nd.gte(10));\\n/*\\nND: (4) cpu() int32\\n[10, 11, 12, 13]\\n*/\\n\\n```\n\n\n\n是不是非常简单？接下来，我们看一下一个稍微复杂一些的应用场景。假设我们现在有一个3×3的矩阵，然后我们想把第二列的数据都乘以2:\n\nPython (Numpy)\n\n```\\nnd = np.arange(1, 10).reshape(3, 3)\\nnd[:, 1] *= 2\\n```\n[[ 1 4 3]\n[ 4 10 6]\n[ 7 16 9]]\n```\\n```\n\n\nJava (DJL NDArray)\n\n```\\nNDArray nd = manager.arange(1, 10).reshape(3, 3);\\nnd.set(new NDIndex(\\":, 1\\"), array -> array.mul(2));\\n/*\\nND: (3, 3) cpu() int32\\n[[ 1, 4, 3],\\n[ 4, 10, 6],\\n[ 7, 16, 9],\\n]\\n*/\\n```\n\n\n在上面的案例中，我们在 Java 引入了一个 NDIndex 的 class。它复刻了大部分在 NumPy 中对于 NDArray 支持的 get/set 操作。只需要简单的放进去一个字符串表达式，开发者在 Java 中可以轻松玩转各种数组的操作。\n\n##### 现实中的应用场景\n上述的操作对于庞大的数据集是十分有帮助的。现在我们来看一下这个应用场景：基于单词的分类系统训练。在这个场景中，开发者想要利用从用户中获取的数据来进行情感分析预测。NDArray 被应用在了对于数据进行前后处理的工作中。\n\n###### 分词操作\n在输入到 NDArray 数据前，我们需要对于输入的字符串进行分词操作并编码成数字。下面代码中看到的 tokenizer 是一个 Map<String, Integer>。它是一个单词到字典位置的映射。\\n\\n```\\nString text = \\"The rabbit cross the street and kick the fox\\";\\nString[] tokens = text.toLowerCase().split(\\" \\");\\nint[] vector = new int[tokens.length];\\n/*\\nString[9] { \\"the\\", \\"rabbit\\", \\"cross\\", \\"the\\", \\"street\\",\\n\\"and\\", \\"kick\\", \\"the\\", \\"fox\\" }\\n*/\\nfor (int i = 0; i < tokens.length; i++) {\\nvector[i] = tokenizer.get(tokens[i]);\\n}\\nvector\\n/*\\nint[9] { 1, 6, 5, 1, 3, 2, 8, 1, 12 }\\n*/\\n```\\n\\n\\n###### NDArray 处理\\n经过了编码操作后，我们创建了 NDArray. 然后，我们需要转化数据的结构：\\n\\n```\\nNDArray array = manager.create(vector);\\narray = array.reshape(new Shape(vector.length, 1)); // form a batch\\narray = array.div(10.0);\\n/*\\nND: (9, 1) cpu() float64\\n[[0.1],\\n[0.6],\\n[0.5],\\n[0.1],\\n[0.3],\\n[0.2],\\n[0.8],\\n[0.1],\\n[1.2],\\n]\\n*/\\n\\n```\\n\\n最后，我们将数据传入深度学习模型中。如果使用 Java 要达到这些需要更多的工作量： 如果我们需要实现类似于 reshape 的方法，我们需要创建一个 N 维数组：List<List<List<...List<Float>...>>>来保证不同维度的可操作性。同时我们需要能够支持插入新的 List<Float> 来创建最终的数据格式。\\n\\n## 为什么应该使用 NDArray 呢?\\n经过了这个教程，你应该获得了基本的 NDArray 在 Java 中的使用体验。但是这仍然只是表象，它的很多内在价值只有在生产环境中才能体现出来。总结一下，NDArray 具有如下几个优点：\\n\\n易如反掌: 轻松使用超过 60+ 个在 Java 中的方式实现与 NumPy 相同的结果。\\n快如闪电: 具备各路深度学习框架加持，DJL NDArray 具备了各种硬件平台的加速，比如在 CPU 上的 MKLDNN 加速以及 GPU 上的 CUDA 加速。无论多大的数据集都可以轻松应对。\\n深度学习：同时具备高维数组支持，同时具备离散数组支持。你可以轻松的将DJL与其他大数据或者流数据平台结合起来应用：比如分布式处理的 Apache Spark 平台，以及 Apache Flink 的流数据平台。为你现有的方案构建一层深度学习的中间件。\\n*离散数组现在只包含 PyTorch 中的 COO 以及 MXNet 中的 CSR/Row_Sparse.\\n\\n##### NDArray 在 DJL中 的实现过程\\n你也许会好奇，NDArray 究竟是如何在 DJL 之中构建的呢？接下来，我们会讲解一下 NDArray 在 DJL 内部中的架构。\\n\\n###### NDArray 架构\\n\\n\\n\\n如上图所示，NDArray 有三个关键的层。 界面层 (Interface) 包含了你所用到的 NDArray，它只是一个 Java 的界面并定义了 NDArray 的输入输出结构。我们很仔细的分析了每一个方式的使用方法以便尽可能的将它们和用户的应用场景统一以及便于使用。 在引擎提供者层(EngineProvider)，是 DJL 各种深度学习引擎为 NDArray 界面开发的包。这个层把原生的深度学习引擎算子表达映射在 NumPy 之上。这样经过这样一层转译，我们在不同引擎上看到 NDArray 的表现都是一致的而且同时兼顾了 NumPy 的表现。 在 C++ 层，为了更便于 Java 使用，我们构建了 JNI 和 JNA 暴露出 C/C++ 的等方法，它可以保证我们有足够的方法来构建 NDArray 所需要的功能。同时 C++ 与 Java 的直接调用也可以保证 NDArray 拥有最好的性能。\\n\\n###### 关于 DJL\\n\\n\\n\\nDeep Java Library (DJL) 是一个基于 Java 的深度学习框架，同时支持训练以及推理。DJL 博取众长，构建在多个深度学习框架之上 (TenserFlow, PyTorch, MXNet, etc)也同时具备多个框架的优良特性。你可以轻松使用DJL来进行训练然后部署你的模型。它同时拥有着强大的模型库支持：只需一行便可以轻松读取各种预训练的模型。现在 DJL 的模型库同时支持高达70个来自 GluonCV, HuggingFace, TorchHub 以及 Keras 的模型。 NDArray 的到来帮助 DJL 成功转变为 Java 在深度学习领域中最好的工具。它具备平台自检测机制，无需任何额外设置，便可以在应用中构建基于 CPU/GPU 的代码。 在最新的版本中，DJL 0.6.0添加了对于 MXNet 1.7.0, PyTorch 1.5.0 and TensorFlow 2.2.0的支持。我们同时也添加了 ONNXRuntime 以及PyTorch 在安卓平台的支持。 请参考我们的 GitHub, demo repository, Slack channel 以及知乎来获取更多信息！\\n\\n##### 本篇作者\\n\\n\\n\\n**兰青**\\nQing Lan, AWS AI 软件开发工程师。DJL 深度学习框架作者之一，Apache 软件基金会项目管理委员会成员。","render":"<p><img src=\\"https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/cb401faac1674ad99e8b90ee99bf58e4_image.png\\" alt=\\"image.png\\" /></p>\n<h5><a id=\\"_2\\"></a>前言</h5>\\n<p>随着数据科学在生产中的应用逐步增加，使用 N 维数组灵活的表达数据变得愈发重要。我们可以将过去数据科学运算中的多维循环嵌套运算简化为简单几行。由于进一步释放了计算并行能力，这几行简单的代码运算速度也会比传统多维循环快很多。这种数学计算的包已经成为于数据科学，图形学以及机器学习领域的标准。同时它的影响力还在不断的扩大到其他领域。 在 Python 的世界，调用 NDArray 的标准包叫做 NumPy。但是如今在 Java 领域中，并没有与之同样标准的库。为了给Java开发者创造同一种使用环境，亚马逊云服务开源了 DJL，一个基于 Java 的深度学习库。尽管它包含了深度学习模块，但是它最核心的 NDArray 系统可以被用作 N 维数组的标准。它具备优良的可扩展性，全平台支持，以及强大的后端引擎支持 (TensorFlow, PyTorch, Apache MXNet)。无论是 CPU 还是 GPU, PC 还是安卓，DJL 都可以轻而易举的完成任务。 在这个文章中，我们将带你了解 NDArray，并且教你如何写与 Numpy 同样简单的 Java 代码以及如何将 NDArray 使用在现实中的应用之中。</p>\n<h5><a id=\\"_DJL_5\\"></a>安装 DJL</h5>\\n<p>可以通过下方的配置来配置你的 gradle 项目。或者，你也可以跳过设置直接使用我们在线 JShell。</p>\n<pre><code class=\\"lang-\\">plugins {\\nid 'java'\\n}\\nrepositories {\\njcenter()\\n}\\ndependencies {\\nimplementation &quot;ai.djl:api:0.6.0&quot;\\n// PyTorch\\nruntimeOnly &quot;ai.djl.pytorch:pytorch-engine:0.6.0&quot;\\nruntimeOnly &quot;ai.djl.pytorch:pytorch-native-auto:1.5.0&quot;\\n}\\n</code></pre>\\n<p>然后，我们就可以开始上手写代码了。</p>\n<p>基本操作<br />\\n我们首先尝试建立一个 try block 来包含我们的代码（如果使用在线 JShell 可跳过此步）：</p>\n<pre><code class=\\"lang-\\">try(NDManager manager = NDManager.newBaseManager()) {\\n}\\n</code></pre>\\n<p>NDManager 是 DJL 中的一个 class 可以帮助管理 NDArray 的内存使用。通过创建 NDManager，我们可以更及时的对内存进行清理。当这个 block 里的任务运行完成时，内部产生的 NDArray 都会被清理掉。这个设计保证了我们在大规模使用 NDArray 的过程中，可以通过清理其中的 NDManager 来更高效的利用内存。 为了做对比，我们可以参考 NumPy 在 Python 之中的应用。</p>\n<pre><code class=\\"lang-\\">import numpy as np\\n</code></pre>\\n<h6><a id=\\"NDArray_42\\"></a>创建NDArray</h6>\\n<pre><code class=\\"lang-\\">ones\\n</code></pre>\\n<p>是一个创建全是1的 N 维数组操作. Python (Numpy)</p>\n<pre><code class=\\"lang-\\">nd = np.ones((2, 3))\\n</code></pre>\\n<p>[[1. 1. 1.]<br />\\n[1. 1. 1.]]</p>\n<pre><code class=\\"lang-\\"></code></pre>\\n<p>Java (DJL NDArray)</p>\n<pre><code class=\\"lang-\\">NDArray nd = manager.ones(new Shape(2, 3));\\n/*\\nND: (2, 3) cpu() float32\\n[[1., 1., 1.],\\n[1., 1., 1.],\\n]\\n*/\\n</code></pre>\\n<p>你也可以尝试生成随机数。比如我们需要生成一些从0到1的随机数： Python (Numpy)</p>\n<pre><code class=\\"lang-\\">nd = np.random.uniform(0, 1, (1, 1, 4))\\n# [[[0.7034806 0.85115891 0.63903668 0.39386125]]]\\n\\nJava (DJL NDArray)\\n\\nNDArray nd = manager.randomUniform(0, 1, new Shape(1, 1, 4));\\n/*\\nND: (1, 1, 4) cpu() float32\\n[[[0.932 , 0.7686, 0.2031, 0.7468],\\n],\\n]\\n*/\\n</code></pre>\\n<p>这只是简单演示一些常用功能。现在 NDManager 支持多达20种在 NumPy 中 NDArray 创建的方法。</p>\n<h6><a id=\\"_90\\"></a>数学运算</h6>\\n<p>你可以使用 NDArray 进行一系列的数学操作。假设你想做对数据做一个转置操作，然后对所有数据加一个数的操作。你可以参考如下的实现：</p>\n<p>Python (Numpy)</p>\n<pre><code class=\\"lang-\\">nd = np.arange(1, 10).reshape(3, 3)\\nnd = nd.transpose()\\nnd = nd + 10\\n</code></pre>\\n<p>[[11 14 17]<br />\\n[12 15 18]<br />\\n[13 16 19]]</p>\n<pre><code class=\\"lang-\\"></code></pre>\\n<p>Java (DJL NDArray)</p>\n<pre><code class=\\"lang-\\">NDArray nd = manager.arange(1, 10).reshape(3, 3);\\nnd = nd.transpose();\\nnd = nd.add(10);\\n/*\\nND: (3, 3) cpu() int32\\n[[11, 14, 17],\\n[12, 15, 18],\\n[13, 16, 19],\\n]\\n*/\\n</code></pre>\\n<p>DJL 现在支持60多种不同的 NumPy 数学运算，基本涵盖了大部分的应用场景。</p>\n<h2><a id=\\"Get__Set_126\\"></a>Get 和 Set</h2>\\n<p>其中一个对于 NDArray 最重要的亮点就是它轻松简单的数据设置/获取功能。我们参考了 NumPy 的设计，将 Java 过去对于数据表达中的困难做了精简化处理。 假设我们想筛选一个 N 维数组所有小于10的数：</p>\n<p>Python (Numpy)</p>\n<pre><code class=\\"lang-\\">nd = np.arange(5, 14)\\nnd = nd[nd &gt;= 10]\\n# [10 11 12 13]\\n\\nJava (DJL NDArray)\\n\\nNDArray nd = manager.arange(5, 14);\\nnd = nd.get(nd.gte(10));\\n/*\\nND: (4) cpu() int32\\n[10, 11, 12, 13]\\n*/\\n\\n</code></pre>\\n<p>是不是非常简单？接下来，我们看一下一个稍微复杂一些的应用场景。假设我们现在有一个3×3的矩阵，然后我们想把第二列的数据都乘以2:</p>\n<p>Python (Numpy)</p>\n<pre><code class=\\"lang-\\">nd = np.arange(1, 10).reshape(3, 3)\\nnd[:, 1] *= 2\\n</code></pre>\\n<p>[[ 1 4 3]<br />\\n[ 4 10 6]<br />\\n[ 7 16 9]]</p>\n<pre><code class=\\"lang-\\"></code></pre>\\n<p>Java (DJL NDArray)</p>\n<pre><code class=\\"lang-\\">NDArray nd = manager.arange(1, 10).reshape(3, 3);\\nnd.set(new NDIndex(&quot;:, 1&quot;), array -&gt; array.mul(2));\\n/*\\nND: (3, 3) cpu() int32\\n[[ 1, 4, 3],\\n[ 4, 10, 6],\\n[ 7, 16, 9],\\n]\\n*/\\n</code></pre>\\n<p>在上面的案例中，我们在 Java 引入了一个 NDIndex 的 class。它复刻了大部分在 NumPy 中对于 NDArray 支持的 get/set 操作。只需要简单的放进去一个字符串表达式，开发者在 Java 中可以轻松玩转各种数组的操作。</p>\n<h5><a id=\\"_182\\"></a>现实中的应用场景</h5>\\n<p>上述的操作对于庞大的数据集是十分有帮助的。现在我们来看一下这个应用场景：基于单词的分类系统训练。在这个场景中，开发者想要利用从用户中获取的数据来进行情感分析预测。NDArray 被应用在了对于数据进行前后处理的工作中。</p>\n<h6><a id=\\"_185\\"></a>分词操作</h6>\\n<p>在输入到 NDArray 数据前，我们需要对于输入的字符串进行分词操作并编码成数字。下面代码中看到的 tokenizer 是一个 Map&lt;String, Integer&gt;。它是一个单词到字典位置的映射。</p>\n<pre><code class=\\"lang-\\">String text = &quot;The rabbit cross the street and kick the fox&quot;;\\nString[] tokens = text.toLowerCase().split(&quot; &quot;);\\nint[] vector = new int[tokens.length];\\n/*\\nString[9] { &quot;the&quot;, &quot;rabbit&quot;, &quot;cross&quot;, &quot;the&quot;, &quot;street&quot;,\\n&quot;and&quot;, &quot;kick&quot;, &quot;the&quot;, &quot;fox&quot; }\\n*/\\nfor (int i = 0; i &lt; tokens.length; i++) {\\nvector[i] = tokenizer.get(tokens[i]);\\n}\\nvector\\n/*\\nint[9] { 1, 6, 5, 1, 3, 2, 8, 1, 12 }\\n*/\\n</code></pre>\\n<h6><a id=\\"NDArray__206\\"></a>NDArray 处理</h6>\\n<p>经过了编码操作后，我们创建了 NDArray. 然后，我们需要转化数据的结构：</p>\n<pre><code class=\\"lang-\\">NDArray array = manager.create(vector);\\narray = array.reshape(new Shape(vector.length, 1)); // form a batch\\narray = array.div(10.0);\\n/*\\nND: (9, 1) cpu() float64\\n[[0.1],\\n[0.6],\\n[0.5],\\n[0.1],\\n[0.3],\\n[0.2],\\n[0.8],\\n[0.1],\\n[1.2],\\n]\\n*/\\n\\n</code></pre>\\n<p>最后，我们将数据传入深度学习模型中。如果使用 Java 要达到这些需要更多的工作量： 如果我们需要实现类似于 reshape 的方法，我们需要创建一个 N 维数组：List&lt;List&lt;List&lt;…List&lt;Float&gt;…&gt;&gt;&gt;来保证不同维度的可操作性。同时我们需要能够支持插入新的 List&lt;Float&gt; 来创建最终的数据格式。</p>\n<h2><a id=\\"_NDArray__231\\"></a>为什么应该使用 NDArray 呢?</h2>\\n<p>经过了这个教程，你应该获得了基本的 NDArray 在 Java 中的使用体验。但是这仍然只是表象，它的很多内在价值只有在生产环境中才能体现出来。总结一下，NDArray 具有如下几个优点：</p>\n<p>易如反掌: 轻松使用超过 60+ 个在 Java 中的方式实现与 NumPy 相同的结果。<br />\\n快如闪电: 具备各路深度学习框架加持，DJL NDArray 具备了各种硬件平台的加速，比如在 CPU 上的 MKLDNN 加速以及 GPU 上的 CUDA 加速。无论多大的数据集都可以轻松应对。<br />\\n深度学习：同时具备高维数组支持，同时具备离散数组支持。你可以轻松的将DJL与其他大数据或者流数据平台结合起来应用：比如分布式处理的 Apache Spark 平台，以及 Apache Flink 的流数据平台。为你现有的方案构建一层深度学习的中间件。<br />\\n*离散数组现在只包含 PyTorch 中的 COO 以及 MXNet 中的 CSR/Row_Sparse.</p>\n<h5><a id=\\"NDArray__DJL__239\\"></a>NDArray 在 DJL中 的实现过程</h5>\\n<p>你也许会好奇，NDArray 究竟是如何在 DJL 之中构建的呢？接下来，我们会讲解一下 NDArray 在 DJL 内部中的架构。</p>\n<h6><a id=\\"NDArray__242\\"></a>NDArray 架构</h6>\\n<p><img src=\\"https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/720bff4c852543249a7a0738d525647a_image.png\\" alt=\\"image.png\\" /></p>\n<p>如上图所示，NDArray 有三个关键的层。 界面层 (Interface) 包含了你所用到的 NDArray，它只是一个 Java 的界面并定义了 NDArray 的输入输出结构。我们很仔细的分析了每一个方式的使用方法以便尽可能的将它们和用户的应用场景统一以及便于使用。 在引擎提供者层(EngineProvider)，是 DJL 各种深度学习引擎为 NDArray 界面开发的包。这个层把原生的深度学习引擎算子表达映射在 NumPy 之上。这样经过这样一层转译，我们在不同引擎上看到 NDArray 的表现都是一致的而且同时兼顾了 NumPy 的表现。 在 C++ 层，为了更便于 Java 使用，我们构建了 JNI 和 JNA 暴露出 C/C++ 的等方法，它可以保证我们有足够的方法来构建 NDArray 所需要的功能。同时 C++ 与 Java 的直接调用也可以保证 NDArray 拥有最好的性能。</p>\n<h6><a id=\\"_DJL_248\\"></a>关于 DJL</h6>\\n<p><img src=\\"https://awsdevweb.s3.cn-north-1.amazonaws.com.cn/f63db432c6834bdb86f285a2cadfa67c_image.png\\" alt=\\"image.png\\" /></p>\n<p>Deep Java Library (DJL) 是一个基于 Java 的深度学习框架，同时支持训练以及推理。DJL 博取众长，构建在多个深度学习框架之上 (TenserFlow, PyTorch, MXNet, etc)也同时具备多个框架的优良特性。你可以轻松使用DJL来进行训练然后部署你的模型。它同时拥有着强大的模型库支持：只需一行便可以轻松读取各种预训练的模型。现在 DJL 的模型库同时支持高达70个来自 GluonCV, HuggingFace, TorchHub 以及 Keras 的模型。 NDArray 的到来帮助 DJL 成功转变为 Java 在深度学习领域中最好的工具。它具备平台自检测机制，无需任何额外设置，便可以在应用中构建基于 CPU/GPU 的代码。 在最新的版本中，DJL 0.6.0添加了对于 MXNet 1.7.0, PyTorch 1.5.0 and TensorFlow 2.2.0的支持。我们同时也添加了 ONNXRuntime 以及PyTorch 在安卓平台的支持。 请参考我们的 GitHub, demo repository, Slack channel 以及知乎来获取更多信息！</p>\n<h5><a id=\\"_254\\"></a>本篇作者</h5>\\n<p><img src=\\"https://dev-media.amazoncloud.cn/770edbb8658b4844812a521d6a1e0cf2_5a709d62392c4833922cc2612780c995_image.png\\" alt=\\"5a709d62392c4833922cc2612780c995_image.png\\" /></p>\n<p><strong>兰青</strong><br />\\nQing Lan, AWS AI 软件开发工程师。DJL 深度学习框架作者之一，Apache 软件基金会项目管理委员会成员。</p>\n"}