鸿 网 互 联 www.68idc.cn

使用Python对接Gitlab API批量设置镜像仓库

来源:互联网 作者:佚名 时间:2022-07-19 10:48
文章声明:此文基于木子实操撰写 生产环境:Rocky Linux release 8.3, gitlab-ce-13.9.4-ce, Python 3.6.8 问题关键字:Python,Gitlab API,Python对接Gitlab API,Python批量设置Gitlab镜像仓库 前述 最近几天一直没

文章声明:此文基于木子实操撰写 生产环境:Rocky Linux release 8.3, gitlab-ce-13.9.4-ce, Python 3.6.8 问题关键字:Python,Gitlab API,Python对接Gitlab API,Python批量设置Gitlab镜像仓库


前述

最近几天一直没有发Rocky Linux相关基础技术文章,主要在于木子最近迷上了Golang,事情的起因在于之前写了一篇关于《在Rocky Linux 8.3 RC1上安装GitLab实现代码仓库同步容灾》,有博友反馈公司有上千个仓库,如果需要一个一个去设置镜像仓库,势必会干晕一批人,于是就想着写一个批量设置Gitlab镜像仓库的脚本,写完跑了一遍用时11分多钟,太久了...,之前一直听说Golang很快,抱着学习的态度,试着用Golang重写了一遍(如果刚开始一直写弱类型语言,第一次开始写强类型语言,会比较痛苦,木子也是第一次写Golang @-@),同样的实现方式,发现在Golang下执行只需要30多秒,瞬间秒杀一切。本着以练代学的精神,于是开始使用Golang来实现一套相对完善的Gitlab镜像仓库同步功能,其中包括:创建组、创建仓库、同步组、同步仓库、设置镜像仓库等功能。这也是为什么最近木子一直没有更新博文的原因。

来一个 Golang & Python 速度对比

# Golang ./setting-gitlab-mirror-repo 1.12s user 0.94s system 5% cpu 34.574 total # Python3 python3 ./setting-gitlab-mirror-repo.py 6.83s user 0.50s system 0% cpu 17:11.92 total

Python代码实现

以下Python脚本仅仅实现设置镜像仓库功能,适用于第一次批量设置镜像仓库。

#! /usr/bin/env python3 # -*- coding: UTF-8 -*- import requests # 拥有管理员权限的访问令牌 headers = {"PRIVATE-TOKEN": "xxxxxx"} # 源git服务器仓库地址 fromgitapiaddress = "https://git.oubayun.com/api/v4/projects" # sync为同步服务器前缀,木子这里源服务器api接口地址为https://git.oubayun.com/api/v4/projects,目标服务器api接口地址为:https://sync.oubayun.com/api/v4/projects togitapiaddress = "https://username:password@sync" # 获取所有仓库地址 def get_all_repo(fromgitapiaddress, headers): # 存储所有仓库地址 allrepoaddress = [] # 通过返回的仓库数量确认是否还需要翻页 allreponum = 1 # 当前打开第P页 pg = 1 while allreponum != 0: payload = {"private": "true", "per_page": "100", "page": "%s" % pg} res = requests.get(url=fromgitapiaddress, params=payload, headers=headers) allreop = res.json() allreponum = len(allreop) for i in range(allreponum): allrepoaddress.append("%s,%s" % (allreop[i]["id"], allreop[i]["http_url_to_repo"])) pg = pg + 1 return(allrepoaddress) # 获取仓库是否已经设置了镜像地址 def get_mirrorurl(fromgitapiaddress, repoid, headers): gitpageaddress = "%s/%s/remote_mirrors" % (fromgitapiaddress, repoid) res = requests.get(url=gitpageaddress, headers=headers) return(res.json()) # 设置镜像仓库地址 def set_mirrorurl(fromgitapiaddress, repoid, mirrorurl, headers): gitpageaddress = "%s/%s/remote_mirrors" % (fromgitapiaddress, repoid) payload = {"url": mirrorurl, "enabled": "true"} res = requests.post(url=gitpageaddress, data=payload, headers=headers) return(res.text) if __name__ == "__main__": allrepoaddress = get_all_repo(fromgitapiaddress, headers) print(allrepoaddress) for repoinfo in allrepoaddress: repoid = repoinfo.split(",")[0] repourl = repoinfo.split(",")[1] # 如果您返回的repourl是http就截取10位,如果是https就截取11位(与是否有用反向代理有关) mirrorurl = togitapiaddress + repourl[10:] print(mirrorurl) repo_mirror_url = get_mirrorurl(fromgitapiaddress, repoid, headers) print(repo_mirror_url) if len(repo_mirror_url) == 0: print("源仓库ID: %s, 源仓库地址: %s, 目标仓库地址L: %s" % (repoid, repourl, mirrorurl)) print(set_mirrorurl(fromgitapiaddress, repoid, mirrorurl, headers)) print("所有项目数量为: %s" % len(allrepoaddress))

参考文献

[1] Gitlab获取项目地址API: https://docs.gitlab.com/ee/api/projects.html [2] Gitlab仓库镜像配置API: https://docs.gitlab.com/ee/api/remote_mirrors.html#project-remote-mirrors-api

下篇预告:基于Rocky Linux 8.3 RC1搭建Rsync冷备容灾服务器,如果您有任何想学习了解的技术,欢迎在下方留言,木子将根据需求输出对应基础技术博文。


五平台同步更新: 博客: 欧巴云 知乎: 欧巴云 51CTO: 欧巴云 云+社区: 欧巴云 微信公众号: 欧巴云

上一篇:Linux启动管理
下一篇:没有了
网友评论
<