机器学习平台kubeflow搭建
机器学习平台kubeflow搭建
前言
首先来一段官网的介绍:Kubeflow
项目致力于使Kubernetes
上机器学习(ML)工作流的部署变得简单、可移植和可扩展。我们的目标不是重新创建其他服务,而是提供一种直接的方式,为ML部署最佳的开源系统到不同的基础设施。无论你在哪里运行Kubernetes,你都应该能够运行Kubeflow。(谷歌翻译)
kubeflow
可以运行在多种云平台基础设施上(如:GKE)。本文的kubeflow
安装在自建的k8s平台上。
基础环境如下:
- k0s: v1.21.5+k0s.1
- k0sctl: v0.11.3
- k8s: 1.21.5 (k0s构建单机版)
- kubeflow: 1.4.0
`官方文档前提条件:
- kubernetes 版本1.19 (我用的1.21,碰到了问题,文章后面有解决方案)
- kustomize 版本3.2.0不能用4.X (我用的4.4.1通过,反而3.X的不能通过,估计和k8s版本有关)
注意:kubeflow
从1.3版本开始,安装方式出现了变化,具体变化请看manifests
项目的 readme
一、搭建流程
1. k0s 构建k8s平台
具体搭建方法请百度。
2. 准备pv
kubeflow的组件需要存储,所以需要提前准备好pv,本次实验存储采用的本地磁盘存储的方式。流程如下:
- 准备本地目录
mkdir -p /data/istio-authservice /data/katib-mysql /data/minio /data/mysql-pv-claim
- 编写kubeflow-storage.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: authservice
namespace: istio-system
labels:
type: local
spec:
storageClassName: local-storage
capacity:
storage: 10Gi
accessModes:
- ReadWriteOnce
hostPath:
path: "/data/istio-authservice"
---
apiVersion: v1
kind: PersistentVolume
metadata:
namespace: kubeflow
name: katib-mysql
labels:
type: local
spec:
storageClassName: local-storage
capacity:
storage: 10Gi
accessModes:
- ReadWriteOnce
hostPath:
path: "/data/katib-mysql"
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: minio
namespace: kubeflow
labels:
type: local
spec:
storageClassName: local-storage
capacity:
storage: 20Gi
accessModes:
- ReadWriteOnce
hostPath:
path: "/data/minio"
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: mysql-pv-claim
namespace: kubeflow
labels:
type: local
spec:
storageClassName: local-storage
capacity:
storage: 20Gi
accessModes:
- ReadWriteOnce
hostPath:
path: "/data/mysql-pv-claim"
- 创建storageclass 和pv
kubectl apply -f kubeflow-storage.yaml
3. 安装kubeflow
- 拉取
manifest
项目
git clone https://github.com/kubeflow/manifests.git
-
修改yaml,下面每个文件里面添加
storageClassName: local-storage
- apps/katib/upstream/components/mysql/pvc.yaml
- apps/pipeline/upstream/third-party/minio/base/minio-pvc.yaml
- apps/pipeline/upstream/third-party/mysql/base/mysql-pv-claim.yaml
- common/oidc-authservice/base/pvc.yaml
-
安装kubeflow
cd /path/to/manifests
while ! kustomize build example | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 10; done
二、问题
Q: authservice-0 pod 启动失败:Error opening bolt store: open /var/lib/authservice/data.db: permission denied
A: 通过翻看manifests
项目的authservice StatefulSet
定义文件 common/oidc-authservice/overlays/ibm-storage-config/statefulset.yaml:
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: authservice
spec:
template:
spec:
initContainers:
- name: fix-permission
image: busybox
command: ['sh', '-c']
args: ['chmod -R 777 /var/lib/authservice;']
volumeMounts:
- mountPath: /var/lib/authservice
name: data
authservice服务有个initContainers来解决权限问题,并且赋予777的最大权限,考虑到我们采用的是本地的存储,所以给挂载的磁盘目录赋予最大权限即可:chmod -R 777 /data/istio-authservice
三、总结
本文详细介绍了采用单命令方式安装kubeflow最新1.4.0版本,搭建的过程中碰到了不少的问题,在此记录下来。但同时也遗留了一些问题:
- argo目前对non-docker的容器支持的不好,但是k8s本身从1.20版本已经将默认的容器运行时改成了containerd,所以这块如何兼容,需要继续探索。
- 安装过程中很多镜像下载很慢甚至无法下载,文档中目前没有看到所有的镜像列表,请有大佬知晓告知我。
搭建的过程中感觉kubeflow越来越稳定和架构简单了,下一步探索下里面的training部分。
上一篇: 算法手记之快速幂
推荐阅读
-
机器学习平台kubeflow搭建
-
SAP Leonardo图片处理相关的机器学习服务在SAP智能服务场景中的应用 人工智能机器学习SAP Cloud PlatformSAP成都研究院SAP云平台
-
谷歌面向开发者开放机器学习云平台
-
百度组建深度机器学习开源平台 研发“虫洞”项目
-
腾讯深度学习平台亮相机器学习*会议ICML2014
-
BAT在下一盘大棋?深度盘点机器学习平台
-
从零搭建企业大数据分析和机器学习平台-技术栈介绍(三)
-
机器学习入门(Windows开发环境搭建)
-
直播平台源码搭建教程之音视频学习 (十) 基于 Nginx 搭建(rtmp、http)直播服务器
-
腾讯宣布推出新大数据产品 包括机器学习基础平台等