Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

5GB を超えるファイルのアップロード帯域制限に対応する #50

Merged
merged 5 commits into from
Oct 31, 2024
Merged

5GB を超えるファイルのアップロード帯域制限に対応する #50

Show file tree
Hide file tree
Changes from 4 commits
Commits
Show all changes
5 commits
Select commit Hold shift + click to select a range
818a52d
アップロードの帯域制限時に multipart アップロードが使用された倍も帯域制限を行うように修正する
tnamao Oct 30, 2024
354695c
変更履歴に追記する
tnamao Oct 30, 2024
c022abb
変更履歴にカテゴリ変更
tnamao Oct 30, 2024
f56d978
Merge branch 'develop' of github.com:shiguredo/sora-archive-uploader …
tnamao Oct 30, 2024
2a11296
変更履歴の文言修正
tnamao Oct 31, 2024
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
3 changes: 3 additions & 0 deletions CHANGES.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -11,6 +11,9 @@

## develop

- [FIX] 5GB を超えるファイルのアップロード時に帯域制限がかかるように修正する
- 帯域制限設定を行なってもマルチパートアップロードを有効にし、マルチパートアップロードの並列アップロード数を 1 つずつにすることで帯域制限を行う
tnamao marked this conversation as resolved.
Show resolved Hide resolved
- この修正以前は、帯域制限設定を行うとマルチパートアップロードが無効となり 5GB を超えるファイルのアップロードができなかった
- [UPDATE] report ファイルアップロード後のウェブフックに `recording_metadata` を追加する
- アップロードした report ファイルの `recording_metadata` または `metadata` の内容をウェブフックの `recording_metadata` に含めて送信する
- セッション録画の場合は `recording_metadata` の値を使用する
Expand Down
5 changes: 3 additions & 2 deletions s3.go
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -181,9 +181,10 @@ func uploadWebMFileWithRateLimit(ctx context.Context, osConfig *s3.S3CompatibleO
Str("dst", dst).
Msg("WEB-UPLOAD-START")

// 制限時にはマルチパートアップロードを行わない
// 使用帯域の制限時は、巨大なサイズのファイルのアップロードする時に使用される multipart アップロードで
// 並列アップロードは行わずに 1 thread で処理されるようにオプションを設定する
n, err := s3Client.PutObject(ctx, osConfig.BucketName, dst, fileReader, fileSize,
minio.PutObjectOptions{ContentType: "application/octet-stream", DisableMultipart: true})
minio.PutObjectOptions{ContentType: "application/octet-stream", NumThreads: 1})
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

💯

if err != nil {
return "", err
}
Expand Down
Loading