Batch replace markdown documents / マークダウン文書の一括置換

[yuki-takei]

Workaround for:

• Upgrading to v6.0.x
• Upgrading to v6.1.x
• Upgrading to v7.0.x

[yuki-takei]

WIP: Example script for mongo shell

#7266

[yuki-takei]

Example (WIP)

git clone https://github.com/weseek/growi
cd growi/bin/data-migrations/v6

NETWORK=growi_devcontainer_default \
MONGO_URI=mongodb://growi_devcontainer_mongo_1/growi \
docker run --rm \
  --network $NETWORK \
  -v "$(pwd)"/src:/opt \
  -w /opt \
  -e MIGRATION_TYPE=v6 \
  mongo:6.0 \
  /bin/mongosh $MONGO_URI migration.js

[yukendev]

(日本語のマニュアルは下の方にあります)

Migration of page body (English)

Warning
Migration in this way is applied only to the latest revision. Past revisions are not applied.

Usage

git clone https://github.com/weseek/growi
cd growi/bin/data-migrations

NETWORK=growi_devcontainer_default \
MONGO_URI=mongodb://growi_devcontainer_mongo_1/growi \
docker run --rm \
  --network $NETWORK \
  -v "$(pwd)"/src:/opt \
  -w /opt \
  -e MIGRATION_MODULE=v60x \
  mongo:6.0 \
  /bin/mongosh $MONGO_URI index.js

Variables

Variable	Description	Default
NETWORK	Network in docker compose of MongoDB server	-
MONGO_URI	URI that can connect to MongoDB	-

Environment variables

Required

Variable	Description	Default
MIGRATION_MODULE	Specify migration module	-

The value of MIGRATION_MODULE is one of the following.

• v60x/drawio: Migration for Draw.io notation only(
  reference)
• v60x/plantuml: Migration for PlantUML notation only(
  reference)
• v60x/tsv: Migration for table notation by TSV only(
  reference)
• v60x/csv: Migration for table notation by CSV only(
  reference)
• v60x/bracketlink: Migration for only page links within GROWI(
  reference)
• v60x or v60x/index: Migration for all notations in v6.0.x series
• v61x/mdcont: Migration for mdcont notation only(reference)
• v61x or v61x/index: Migration for all notations in v6.1.x series
• v70x/bootstrap5: Migration for Bootstrap4 to Bootstrap5
• v70x or v70x/index: Migration for all notations in v7.0.x series
• custom: You can define your own processors and apply them to revision (see "Advanced" below for details)

Optional

Variable	Description	Default
BATCH_SIZE	Number of revisions to be processed at one time（revision）	100
BATCH_INTERVAL	Interval after batch processing（ms）	3000

※The BATCH_INTERVAL is for server load control. If you don't mind the load of the MongoDB, there is no problem to reduce it.

Advanced

By creating a function in growi/bin/data-migrations/src/migrations/custom.js that replaces a specific regular expression, you can replace all specific strings in the latest revisions for all pages.

The following function replaces the string foo with the string bar.

module.exports = [
  (body) => {
      var fooRegExp = /foo/g; // foo regex
      return body.replace(fooRegExp, 'bar'); // replace to bar
  },
];

By passing custom in the environment variable MIGRATION_MODULE and executing it, you can apply the custom.js to all the latest revisions.

git clone https://github.com/weseek/growi
cd growi/bin/data-migrations

NETWORK=growi_devcontainer_default \
MONGO_URI=mongodb://growi_devcontainer_mongo_1/growi \
docker run --rm \
  --network $NETWORK \
  -v "$(pwd)"/src:/opt \
  -w /opt \
  -e MIGRATION_MODULE=custom \
  mongo:6.0 \
  /bin/mongosh $MONGO_URI index.js

ページ本文のマイグレーション (日本語)

Warning
この方法でマイグレーションが適用されるのは最新のrevisionのみです。過去のrevisionには適用されません。

利用例

git clone https://github.com/weseek/growi
cd growi/bin/data-migrations

NETWORK=growi_devcontainer_default \
MONGO_URI=mongodb://growi_devcontainer_mongo_1/growi \
docker run --rm \
  --network $NETWORK \
  -v "$(pwd)"/src:/opt \
  -w /opt \
  -e MIGRATION_MODULE=v60x \
  mongo:6.0 \
  /bin/mongosh $MONGO_URI index.js

必要な変数

Variable	Description	Default
NETWORK	MongoDBサーバーのdocker compose内ネットワーク	-
MONGO_URI	MongoDBへの接続可能なURI	-

環境変数

Required

Variable	Description	Default
MIGRATION_MODULE	マイグレーションモジュール名	-

MIGRATION_MODULEの値は以下のうちのどれかです。

• v60x/drawio: Draw.ioの記法のみをマイグレーション(参考)
• v60x/plantuml: PlantUMLの記法のみをマイグレーション(参考)
• v60x/tsv: TSVによるテーブル作成の記法のみをマイグレーション(参考)
• v60x/csv: CSVによるテーブル作成の記法のみをマイグレーション(参考)
• v60x/bracketlink: GROWI内のページリンクのみをマイグレーション(参考)
• v60x or v60x/index: v6.0.x 系の全てのマイグレーション
• v61x/mdcont: header の mdcont prefix のみのマイグレーション(reference)
• v61x or v61x/index: v6.1.x 系の全てのマイグレーション
• v70x/bootstrap5: Bootstrap4 記法から Bootstrap5 記法へのマイグレーション
• v70x or v70x/index:v7.0.x 系の全てのマイグレーション
• custom: 自分でプロセッサを定義し、revisionに適用させることができる(詳細は下の「応用」を参照 )

Optional

Variable	Description	Default
BATCH_SIZE	1回に処理するrevisionの数（revision）	100
BATCH_INTERVAL	バッチ処理後のインターバル（ms）	3000

※BATCH_INTERVALはサーバーの負荷対策です。実行対象のMongoDBが複数のGROWIで使用されていたり、GROWIが落ちたりすると困る状況ではない場合は、短くしても問題はありません。

応用

growi/bin/data-migrations/src/migrations/custom.js の中に特定の正規表現を置き換える関数を作成することで、すべての最新のrevisionの特定の文字列を全て置き換えることができます。

以下の関数では、hogehogeという文字列をfugafugaという文字列に置き換えています。

module.exports = [
  (body) => {
       var fooRegExp = /foo/g; // foo regex
       return body.replace(fooRegExp, 'bar'); // replace to bar
  },
];

環境変数のMIGRATION_MODULEにcustomを渡して実行することで、custom.js を全ての最新のrevisionに適用させることができます。

git clone https://github.com/weseek/growi
cd growi/bin/data-migrations

NETWORK=growi_devcontainer_default \
MONGO_URI=mongodb://growi_devcontainer_mongo_1/growi \
docker run --rm \
  --network $NETWORK \
  -v "$(pwd)"/src:/opt \
  -w /opt \
  -e MIGRATION_MODULE=custom \
  mongo:6.0 \
  /bin/mongosh $MONGO_URI index.js

[miya]

マイグレーションスクリプトの実行手順が変更されたので更新された手順 ↑ をご確認ください。(2023.5.25)
更新差分はスレッドの右上から確認できます。

[yuki-takei]

仕様変更になってしまうけれど、「MIGRATION_TYPE を渡さずに」よりは、明示的に custom みたいなのを渡した方がわかりやすそう。何も渡ってこなかった場合はエラー表示。

[yuki-takei]

BATCH_INTERVAL に関しては但し書きを付けよう。

• 負荷対策である
• もし実行対象の MongoDB を他者と共用していないなら短くしてもよい