支持python的分布式计算框架Ray详解

项目地址：https://github.com/ray-project/ray

1、简介

ray为构建分布式应用程序提供了一个简单、通用的api。ray是一种分布式执行框架,便于大规模应用程序和利用先进的机器学习库。

ray通过以下方式完成这项任务：

为构建和运行分布式应用程序提供简单的原语。

使最终用户能够并行化单个机器代码，而代码更改很少到零。

在核心ray之上包含大量应用程序、库和工具，以支持复杂的应用程序。

2、安装

安装方式比较简单： pip install ray==1.4.1

3、单机

下面是不使用分布式的代码示例：

运行：python test_ray.py

4、集群

如果需要启动集群模式，则需要先启动服务，选择一台机器作为主服务器，然后按虾米那命令启动：

可以看到里面提示具体的用法。此时通过ray的web界面，端口8265访问，看到已有一台机器。

然后在另外两台机启动客户端节点，保证各个节点的ray版本一致,查看版本：

# pip freeze |grep ray

版本不一致的话，要升级为一致：pip install -u ray， 此处选择的版本为1.4.1

从节点启动方式(密码可以在主节点启动时显示)：

改写程序，用于分布式：

在主节点运行程序，程序会在3台机器上启动。停止ray服务的方式：ray stop.

到此这篇关于支持python的分布式计算框架ray的文章就介绍到这了,更多相关python的分布式计算框架ray内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！