Hello! 欢迎来到小浪资源网!



在多个注册表之间同步 NPM 包


avatar
huizai2013 2024-11-21 29

在多个注册表之间同步 NPM 包

照片由 nicolas radzimski 在 unsplash 上拍摄

问题

我们的团队依靠内部 gitlab npm 注册表来管理包。这非常适合内部分发,但在某些情况下需要与外部协作者共享包。将包从内部注册表同步到外部注册表成为一项新的挑战。

我开始寻找解决方案,但像往常一样,遇到了一系列障碍,这让我的开发者斗争又掀开了新的篇章。

尝试 1:使用 http 请求模仿 npm cli

最初,我认为我可以使用原始 http 请求来处理这个问题,本质上是模仿 npm cli 在幕后所做的事情。这个想法很简单:查询源注册表中的包元数据,获取 tarball,并将其上传到目标注册表。

为什么失败:

• 过程过于复杂且脆弱。
• 它需要为每个版本手动构建整个package.json 清单。
• 每一个小失误都会导致包裹破损。

尝试 2:利用 npm-registry-sync

接下来,我发现了 npm-registry-sync,一个专为同步 npm 注册表而设计的库。这个工具几乎解决了这个问题;它可以监控更改并跨注册表复制它们。

为什么它对我不起作用:

• 它以“守护程序模式”运行,不断轮询更新。
• 在 gitlab ci 管道中,我需要一次性执行,完全由管道控制 — 不允许后台进程。

获胜解决方案:npm cli

最终,我意识到我可以坚持使用久经考验的 npm cli。步骤很简单:

  1. 从注册表 a 本地安装软件包。
    1. 重新配置 npm 以指向注册表 b。
    2. 将包发布到registry b。

虽然这很神奇,但需要一些额外的步骤才能使其对 ci 友好。


为多个注册表配置 npm

在 ci 管道中动态管理注册表配置有点棘手。

这是我解决的方法:

总体配置

使用 npm cli,您可以为每个注册表设置参数:

npm config set "//my.awesome.registry.com:<parameter name>=<parameter value>" 

重要问题:
配置中的 url 必须排除协议 (https:)。

包到注册表关联

将特定命名空间或包与注册表关联:

npm config set "<your namespace>:registry" "<your registry url with https:>" 

处理 ci 管道中的身份验证

一些注册表需要用户名/密码组合,而其他注册表则使用令牌。这是我学到的:

代币

令牌很简单,但请确保在配置身份验证 url 时剥离协议:

npm config set "//my.registry.com:_authtoken=<token>" 

基本认证

生成基本的身份验证哈希(用户名:密码)需要注意细节。在某些发行版中,base64 命令具有与其他发行版不同的怪癖。

macos 上:

echo -n "<my username & password hash>" | base64 

会给你(如预期):

d2hhdcbhcmugew91igrvaw5nighlcmu/igdvdcb5ysegc29tzsbtb3jlihrlehqgdg8gbwfrzsb0aglzihjlywxsesbyzwfsbhkgbg9uzw== 

使用 docker linuxkit:

d2hhdcbhcmugew91igrvaw5nighlcmu/igdvdcb5ysegc29tzsbtb3jlihrlehqgdg8gbwfrzsb0 aglzihjlywxsesbyzwfsbhkgbg9uzw== 

这是怎么回事?换行了!

在某些发行版上,wrap 参数默认设置为 76 个字符,用于格式化私钥等。

它的工作原理如下:

echo -n "<my username & password hash>" | base64 --wrap 0 

echo -n 非常重要。如果省略,echo 会在字符串末尾添加换行符,这将操纵您的哈希值。

完成的脚本

将它们放在一起,脚本可能如下所示:

#!/usr/bin/env bash  # input validation if [ "$#" -ne 5 ]; then   echo "usage: $0 <source-registry> <target-registry> <source-registry-token> <target-registry-username> <target-registry-password>"   exit 1 fi  source_registry=$1 target_registry=$2 source_registry_token=$3 target_registry_username=$4 target_registry_password=$5  echo "source_registry=$source_registry" echo "target_registry=$target_registry" echo "source_registry_token=${source_registry_token:0:10}" echo "target_registry_username=${target_registry_username}"  echo "syncing from '$source_registry' to '$target_registry'..."  remove_protocol() {   sed -e 's/^https?://g;t' <<< "$1" }  packages=(   "@my-namespace/my-package" )  # info: removing the protocol (^https:) from the authtoken config is crucial. will not work without it.  # auth for source registry npm config set "$(remove_protocol $source_registry):_authtoken=$source_registry_token"  # --wrap 0 is super important! if omitted, it will cause the base64 to contain a line break after 76 chars! basic_auth=$(echo -n "$target_registry_username:$target_registry_password" | base64 --wrap 0)  # auth for target registry npm config set "$(remove_protocol $target_registry):_auth" "$basic_auth" npm config set "$(remove_protocol $target_registry):always-auth=true"  # set to source registry to fetch metadata npm config set "@my-namespace:registry" "$source_registry"  for package in "${packages[@]}"; do   echo "syncing '$package'..."    for version in $(npm view "$package" --json | jq -r '.versions[]'); do     # install locally     npm install "$package@${version}" --ignore-scripts      # switch to target registry     npm config set "@my-namespace:registry" "$target_registry"      # publish on target     npm publish ./node_modules/"$package"      # re-set to source registry     npm config set "@my-namespace:registry" "$source_registry"   done done  echo "done syncing packages." 

所以你可以像这样使用它:

#!/usr/bin/env bash  SOURCE_REGISTRY=https://my.source.registry.com SOURCE_REGISTRY_TOKEN=abc-xyz-1234568 TARGET_REGISTRY=https://my.target.registry.com TARGET_REGISTRY_USERNAME=john_doe TARGET_REGISTRY_PASSWORD=supersecret123  sync-registries.sh $SOURCE_REGISTRY $TARGET_REGISTRY $SOURCE_REGISTRY_TOKEN $TARGET_REGISTRY_USERNAME $TARGET_REGISTRY_PASSWORD 

主要经验教训

  1. 坚持使用简单的工具:
    npm cli 可能不太适合这项任务,但它很可靠并且可以完成工作。

  2. 注意细节:
    配置身份验证,尤其是使用 base64,可能会出现微妙的特定于平台的怪癖。

  3. 保持 ci 友好:
    在 ci/cd 管道中工作时,避免使用守护进程或后台任务等解决方案。让流程处于管道控制之下。

在注册表之间同步 npm 包是一次令人沮丧但有益的学习经历。如果您面临类似的挑战,我希望这些课程可以帮助您更轻松地度过难关!

相关阅读