TeDomum issueshttps://git.tedomum.net/groups/tedomum/-/issues2024-03-16T10:10:11Zhttps://git.tedomum.net/tedomum/bitwarden_rs/-/issues/18Mise à jour vers 1.30.52024-03-16T10:10:11ZMickGeMise à jour vers 1.30.5MickGeMickGehttps://git.tedomum.net/tedomum/element/-/issues/60Mettre à jour v1.11.602024-03-15T11:58:03ZMickGeMettre à jour v1.11.60le build est fait : https://forge.tedomum.net/tedomum/element/-/jobs/83759.le build est fait : https://forge.tedomum.net/tedomum/element/-/jobs/83759.do3do3https://git.tedomum.net/tedomum/lemmy/-/issues/19v0.19.0 à installer2024-03-14T20:06:29ZAngedestenebresv0.19.0 à installerVoir: https://join-lemmy.org/news/2023-12-15_-_Lemmy_Release_v0.19.0_-_Instance_blocking,_Scaled_sort,_and_Federation_QueueVoir: https://join-lemmy.org/news/2023-12-15_-_Lemmy_Release_v0.19.0_-_Instance_blocking,_Scaled_sort,_and_Federation_Queuehttps://git.tedomum.net/tedomum/documentation/-/issues/186Erreurs d'écriture sur le registry Docker2024-02-18T14:17:18Zkaiyoupierre@jaury.euErreurs d'écriture sur le registry DockerIl y a des erreurs régulières d'écriture sur le registry Docker. A priori c'est lié à des erreurs sur le backend S3, des parts manquantes par exemple :
```
2024-02-01_20:31:20.89938 time="2024-02-01T20:31:20.899Z" level=info msg="payloa...Il y a des erreurs régulières d'écriture sur le registry Docker. A priori c'est lié à des erreurs sur le backend S3, des parts manquantes par exemple :
```
2024-02-01_20:31:20.89938 time="2024-02-01T20:31:20.899Z" level=info msg="payload copied" action="blob PUT" auth_project_paths="[tedomum/mastodon]" auth_user_name=mickge auth_user_type=build content_length=0 copied=0 correlation_id=01HNK5WV
1J71XV18R6MKAX9FJT go_version=go1.20.12 root_repo=tedomum vars_name=tedomum/mastodon vars_uuid=33eae5c2-f9aa-494a-b961-c1376117b2fa version=v3.88.0-gitlab
2024-02-01_20:31:21.25070 time="2024-02-01T20:31:21.250Z" level=info msg="new blob uploaded" auth_project_paths="[tedomum/mastodon]" auth_user_name=mickge auth_user_type=build correlation_id=01HNK5WV1J71XV18R6MKAX9FJT digest="sha256:825ac1f
c646ed6de1a4041a25df3ed2c435a58e769b24e823beb686434453306" go_version=go1.20.12 media_type=application/octet-stream root_repo=tedomum size_bytes=133243209 vars_name=tedomum/mastodon vars_uuid=33eae5c2-f9aa-494a-b961-c1376117b2fa version=v3.
88.0-gitlab
2024-02-01_20:31:23.41205 time="2024-02-01T20:31:23.411Z" level=error msg="unknown error completing upload" auth_project_paths="[tedomum/mastodon]" auth_user_name=mickge auth_user_type=build correlation_id=01HNK5WV1J71XV18R6MKAX9FJT error="
s3aws: InvalidPart: Parts given to CompleteMultipartUpload do not match uploaded parts\n\tstatus code: 400, request id: , host id: " go_version=go1.20.12 root_repo=tedomum vars_name=tedomum/mastodon vars_uuid=33eae5c2-f9aa-494a-b961-c137611
7b2fa version=v3.88.0-gitlab
2024-02-01_20:31:23.41210 time="2024-02-01T20:31:23.411Z" level=error msg="error canceling upload after error" auth_project_paths="[tedomum/mastodon]" auth_user_name=mickge auth_user_type=build correlation_id=01HNK5WV1J71XV18R6MKAX9FJT erro
r="already closed" go_version=go1.20.12 root_repo=tedomum vars_name=tedomum/mastodon vars_uuid=33eae5c2-f9aa-494a-b961-c1376117b2fa version=v3.88.0-gitlab
2024-02-01_20:31:23.44487 time="2024-02-01T20:31:23.444Z" level=error msg="unknown error" auth_project_paths="[tedomum/mastodon]" auth_user_name=mickge auth_user_type=build code=UNKNOWN content_type=application/octet-stream correlation_id=0
1HNK5WV1J71XV18R6MKAX9FJT detail="s3aws: InvalidPart: Parts given to CompleteMultipartUpload do not match uploaded parts\n\tstatus code: 400, request id: , host id: " error="unknown: unknown error" go_version=go1.20.12 host=docker.tedomum.n
et method=PUT remote_addr="2a01:4f9:c010:60f4::1" root_repo=tedomum uri="/v2/tedomum/mastodon/blobs/uploads/33eae5c2-f9aa-494a-b961-c1376117b2fa?_state=rwuTbf6AJhn9mWPaJnJ-KuODZTctW7PnbGckdq0uZVd7Ik5hbWUiOiJ0ZWRvbXVtL21hc3RvZG9uIiwiVVVJRCI6
IjMzZWFlNWMyLWY5YWEtNDk0YS1iOTYxLWMxMzc2MTE3YjJmYSIsIk9mZnNldCI6MTMzMjQzMjA5LCJTdGFydGVkQXQiOiIyMDI0LTAyLTAxVDIwOjMxOjAwWiJ9&digest=sha256%3A825ac1fc646ed6de1a4041a25df3ed2c435a58e769b24e823beb686434453306" user_agent=kaniko/v1.20.0 vars_na
me=tedomum/mastodon vars_uuid=33eae5c2-f9aa-494a-b961-c1376117b2fa version=v3.88.0-gitlab
2024-02-01_20:31:23.44491 {"content_type":"application/json","correlation_id":"01HNK5WV1J71XV18R6MKAX9FJT","duration_ms":2818,"host":"docker.tedomum.net","level":"info","method":"PUT","msg":"access","proto":"HTTP/1.1","referrer":"","remote_
addr":"127.0.0.1:43534","remote_ip":"2a01:4f9:c010:60f4::1","status":500,"system":"http","time":"2024-02-01T20:31:23.444Z","ttfb_ms":2818,"uri":"/v2/tedomum/mastodon/blobs/uploads/33eae5c2-f9aa-494a-b961-c1376117b2fa?_state=rwuTbf6AJhn9mWPa
JnJ-KuODZTctW7PnbGckdq0uZVd7Ik5hbWUiOiJ0ZWRvbXVtL21hc3RvZG9uIiwiVVVJRCI6IjMzZWFlNWMyLWY5YWEtNDk0YS1iOTYxLWMxMzc2MTE3YjJmYSIsIk9mZnNldCI6MTMzMjQzMjA5LCJTdGFydGVkQXQiOiIyMDI0LTAyLTAxVDIwOjMxOjAwWiJ9\u0026digest=sha256%3A825ac1fc646ed6de1a4041
a25df3ed2c435a58e769b24e823beb686434453306","user_agent":"kaniko/v1.20.0","written_bytes":123}
2
```https://git.tedomum.net/tedomum/mailu/-/issues/35Mise à jour vers 2.0.362024-01-09T21:22:02ZMickGeMise à jour vers 2.0.36Le build est actuellement en cours.Le build est actuellement en cours.MickGeMickGehttps://git.tedomum.net/tedomum/etherpad/-/issues/9Mise à jour vers v1.9.62024-01-07T21:39:02ZMickGeMise à jour vers v1.9.6Actuellement le build est en cours.Actuellement le build est en cours.MickGeMickGehttps://git.tedomum.net/tedomum/synapse/-/issues/115Matrix impose une forte charge à Postgres2023-11-19T13:44:33Zkaiyoupierre@jaury.euMatrix impose une forte charge à PostgresPar plusieurs biais, le service Matrix impose une forte charge à Postgres, qui a été jusqu'à bloquer le service pendant une journée du fait d'effets de bord.
Les principaux effets sont (à compléter au fur et à mesure) :
- Le nombre d'u...Par plusieurs biais, le service Matrix impose une forte charge à Postgres, qui a été jusqu'à bloquer le service pendant une journée du fait d'effets de bord.
Les principaux effets sont (à compléter au fur et à mesure) :
- Le nombre d'utilisateurs, de rooms, et le taux d'événements (10/s fédérés) sont dans l'absolu raisonnable mais commencent à coûter à niveau qui justifie de s'intéresser aux performances
- La complexité de certaines rooms (quelques dizaines, soit < 1% des rooms pour l'essentiel de la complexité du serveur) coûte particulièrement dans l'algorithme de gestion d'état, qui requête beaucoup en base et consomme du CPU en cas de recalcul d'état
- La suppression et le nettoyage continu du serveur (synatainer), en particulier de grosses rooms, génère des requêtes particulièrement longues en DELETE, qui remplissent le wal, s'exécutent sur plusieurs heures ou jours, et imposent des locks sur des centaines de milliers de lignes
- Matrix media repo (mmr) accumule des media depuis plusieurs années sans aucun garbage collecting, ce qui remplit des tables et des index en plus du S3
- mmr a un processus de garbage collection qui liste les media un par un par des SELECT individuels, chargeant un CPU du serveur à 100% pour postgres
Le dernier incident a été en particulier provoqué par les `DELETE` générés par synatainer. Ils ont deux effets délétères principalement : 1. ils consomment des threads du threadpool d'accès à la base, et ralentissent doucement le serveur en causant des temps d'attente de thread bdd disponible puisque plus rares 2. ils s'étendent sur long en posant des locks sur des lignes, bloquant d'autres transactions.
Ce dernier cas a causé le blocage du script de migration de synapse à la mise à jour ce matin. Le `DELETE` s'est poursuivi pendant l'upgrade, synapse en redémarrant a tenté un `ALTER TABLE` sur la table lockée, bloqué par le `DELETE` en cours depuis 3 jours, et synapse n'a pas démarré du fait de la migration bloquée.
En attendant d'avoir amélioré suffisamment la situation, il est possible de redémarrer postgres à tout moment sur le serveur sans effet majeur sur les applications :
```
cd /srv/core/db
docker-compose restart pg
```https://git.tedomum.net/tedomum/peertube/-/issues/56Désactiver le ACL2023-11-15T06:32:05ZMickGeDésactiver le ACLDésactiver l'appel au `setobjectacl` ou autre solution…
Les vidéos chargées en _private_ fonctionnent bien, cependant un message d'erreur s'affiche au moment de sauvegarder.
Pour information, la migration a donné le retour notifié dans...Désactiver l'appel au `setobjectacl` ou autre solution…
Les vidéos chargées en _private_ fonctionnent bien, cependant un message d'erreur s'affiche au moment de sauvegarder.
Pour information, la migration a donné le retour notifié dans le commentaire https://forge.tedomum.net/tedomum/peertube/-/issues/55#note_68693.https://git.tedomum.net/tedomum/www/-/issues/40[Hugo] Ajouter le fichier de lock hugo dans le gitignore2023-09-28T15:49:30Zreminec[Hugo] Ajouter le fichier de lock hugo dans le gitignoreHugo a introduit un fichier de lock, qu'il faudrait qu'on ignore pour ne pas le commit sans le vouloir.
Exemple : https://github.com/kubernetes/website/pull/35405/files
Et aussi : https://discourse.gohugo.io/t/what-is-the-hugo-build-lo...Hugo a introduit un fichier de lock, qu'il faudrait qu'on ignore pour ne pas le commit sans le vouloir.
Exemple : https://github.com/kubernetes/website/pull/35405/files
Et aussi : https://discourse.gohugo.io/t/what-is-the-hugo-build-lock-file/35417/6reminecreminechttps://git.tedomum.net/tedomum/documentation/-/issues/180Authentification Grafana en défaut2023-08-06T20:59:08Zkaiyoupierre@jaury.euAuthentification Grafana en défautDepuis 4 jours l'authentification Grafana est en défaut du fait de la mise à jour vers Grafana 10.
L'issue est suivie upstream sur : https://github.com/grafana/grafana/issues/70203
Globalement : Grafana s'appuie dorénavant sur l'id env...Depuis 4 jours l'authentification Grafana est en défaut du fait de la mise à jour vers Grafana 10.
L'issue est suivie upstream sur : https://github.com/grafana/grafana/issues/70203
Globalement : Grafana s'appuie dorénavant sur l'id envoyé par l'OP et non plus le mail par défaut, sauf que la table des id ne se met pas à jour magiquement, donc ça ne fonctionne plus pour les utilisateurices déjà inscrits. Le problème était global lors de l'update pour tous les déploiements avec SSO.
La solution fournie d'activer `GF_AUTH_OAUTH_ALLOW_INSECURE_EMAIL_LOOKUP` ne semble pas résoudre le problème. C'est documenté dans l'issue comme un bypass temporaire pour fallback sur le mail, ça semble fonctionner avec Keycloak, mais avec nous sur Hiboo.https://git.tedomum.net/tedomum/documentation/-/issues/177Mise à jour de Mobilizon vers 3.1.32023-06-23T20:56:02ZMickGeMise à jour de Mobilizon vers 3.1.3Actuellement le build est en cours.Actuellement le build est en cours.MickGeMickGehttps://git.tedomum.net/tedomum/pixelfed/-/issues/29Mise à jour vers v0.11.82023-05-31T21:00:00ZMickGeMise à jour vers v0.11.8__Le commit est fait.__
Pour le moment, le build ne passe pas pour une histoire de secret…
```console
ERROR: Job failed (system failure): prepare environment: setting up credentials: secrets is forbidden: User "system:serviceaccount:te...__Le commit est fait.__
Pour le moment, le build ne passe pas pour une histoire de secret…
```console
ERROR: Job failed (system failure): prepare environment: setting up credentials: secrets is forbidden: User "system:serviceaccount:tedomum-runner:runner-gitlab-runner" cannot create resource "secrets" in API group "" in the namespace "tedomum-runner". Check https://docs.gitlab.com/runner/shells/index.html#shell-profile-loading for more information
```
Tag : `v0.11.7+tedomum.1`.https://git.tedomum.net/tedomum/etherpad/-/issues/8Upgrade to 1.8.182023-04-23T13:17:44ZMickGeUpgrade to 1.8.18Pour faire la mise à jour, il faut faire le changement dans la base de données.
L'image est plus ou moins prête, il y a un problème de db.
```console
# mysql -u <user> -p
Enter password:
Welcome to the MariaDB monitor. Commands end...Pour faire la mise à jour, il faut faire le changement dans la base de données.
L'image est plus ou moins prête, il y a un problème de db.
```console
# mysql -u <user> -p
Enter password:
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 17
Server version: 10.11.2-MariaDB-1:10.11.2+maria~ubu2204-log mariadb.org binary distribution
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]> SHOW SESSION VARIABLES LIKE 'character\_set\_%';
+--------------------------+---------+
| Variable_name | Value |
+--------------------------+---------+
| character_set_client | utf8mb3 |
| character_set_connection | utf8mb3 |
| character_set_database | utf8mb4 |
| character_set_filesystem | binary |
| character_set_results | utf8mb3 |
| character_set_server | utf8mb4 |
| character_set_system | utf8mb3 |
+--------------------------+---------+
7 rows in set (0.006 sec)
MariaDB [(none)]> SHOW SESSION VARIABLES LIKE 'collation_connection';
+----------------------+--------------------+
| Variable_name | Value |
+----------------------+--------------------+
| collation_connection | utf8mb3_general_ci |
+----------------------+--------------------+
1 row in set (0.001 sec)
MariaDB [(none)]> SHOW DATABASES;
+--------------------+
| Database |
+--------------------+
| etherpad |
| information_schema |
+--------------------+
2 rows in set (0.002 sec)
```
- [docker version of 1.8.18 is failing, 1.8.17 is working fine · Issue 5551 · etheretherpad-lite](https://github.com/ether/etherpad-lite/issues/5551)
- [Consider MySQL UTF8 issues · Issue 2516 · etheretherpad-lite](https://github.com/ether/etherpad-lite/issues/2516#issuecomment-79659984-permalink)
- [MySQL MySQL 8.0 Reference Manual 10.4 Connection Character Sets and Collations](https://dev.mysql.com/doc/refman/8.0/en/charset-connection.html)MickGeMickGehttps://git.tedomum.net/tedomum/mastodon/-/issues/48Mise à jour vers la V4.1.22023-04-05T19:39:16ZMickGeMise à jour vers la V4.1.2Actuellement le build est en cours : <a target="_blank" href="https://forge.tedomum.net/tedomum/mastodon/-/jobs/65101">job/65101</a>.Actuellement le build est en cours : <a target="_blank" href="https://forge.tedomum.net/tedomum/mastodon/-/jobs/65101">job/65101</a>.https://git.tedomum.net/tedomum/pixelfed/-/issues/28Mise à jour vers v0.11.52023-03-26T13:38:59ZMickGeMise à jour vers v0.11.5Le build est en cours : https://forge.tedomum.net/tedomum/pixelfed/-/pipelines/24833
Après déploiement, penser à :
```shell
docker-compose exec app php artisan config:cache
docker-compose exec app php artisan route:cache
docker-compose...Le build est en cours : https://forge.tedomum.net/tedomum/pixelfed/-/pipelines/24833
Après déploiement, penser à :
```shell
docker-compose exec app php artisan config:cache
docker-compose exec app php artisan route:cache
docker-compose exec app php artisan migrate --force
```https://git.tedomum.net/tedomum/mailu/-/issues/32Version 1.9.45 à installer2023-02-08T20:44:51ZAngedestenebresVersion 1.9.45 à installerVoir : https://github.com/Mailu/Mailu/releases
- [Release 1.9.45 · MailuMailu](https://github.com/Mailu/Mailu/releases/tag/1.9.45)Voir : https://github.com/Mailu/Mailu/releases
- [Release 1.9.45 · MailuMailu](https://github.com/Mailu/Mailu/releases/tag/1.9.45)MickGeMickGehttps://git.tedomum.net/tedomum/mastodon/-/issues/45Nettoyage du cache d'objets fédérés2022-12-07T19:27:24Zkaiyoupierre@jaury.euNettoyage du cache d'objets fédérésLe cache de l'instance Mastodon comporte bien trop d'objets pour être synchronisé correctement vers garage, il est question d'y nettoyer les objets fédérés qui peuvent être aisément retelechargés.
Aussi, comme le mode de stockage a chan...Le cache de l'instance Mastodon comporte bien trop d'objets pour être synchronisé correctement vers garage, il est question d'y nettoyer les objets fédérés qui peuvent être aisément retelechargés.
Aussi, comme le mode de stockage a changé dans l'histoire de Mastodon sans migration, il coexiste du stockage mélangé local-fédéré avec du stockage d'objets fédérés séparés.
# Compréhension de la stack
Le stockage est basé integralement sur Paperclip, qui gère le backend différencié entre local et S3. Les champs `file_name` et `updated_at` sont directement bindés sur Paperclip.
Le chemin Paperclip inclut dans l'ordre : un préfixe, un type d'objet, un id (décimal, par blocs de 3 chiffres en hiérarchie de sous dossiers), la famille d'objet (original, miniature, etc.) et le fichier lui-même. Cette structure créée en moyenne 3 à 4 répertoires par fichier, soir plus de 10M d'inodes pour les quelques 3M d'objets qu'on avait en cache, de quoi effondrer le filesystem. Ça devrait être moins gourmand en ressources une fois dans S3.
Le concern Remoteable est en charge de distinguer entre le local et le distant. Lorsque le domaine est distant il inclut le préfixe `cache/` en début de chemin. Ce comportement est récent et l'attribut de `storage_version` différencie l'historique qui n'a pas été migré.
Le concern Cacheable gère la mise en cache de certains objets et le service à travers une URL de proxy quand le cache local n'est pas peuplé.
Au programme pour mettre ça d'applomb :
- [ ] Mener un premier nettoyage manuel concluant et le documenter
- [ ] Ajouter et jouer une commande de migration de version de stockage pour distinguer le local du distant
- [ ] Ajouter une commande de vidage complet du cache à jouer avant la synchro S3
# Nettoyage des preview cards
Procédure standard et efficace :
```
tootctl preview_cards delete
```
# Nettoyage des pièces jointes
Première étape pour le cache standard, qui ne nettoie pas tout :
```
tootctl media delete
```
Suppression du cache dans une version de stockage récente :
```
rm -rf cache/media_attachments
```
Marquage comme supprimé pour forcer le passage par le media proxy et remise en cache à l'affichage :
```
update media_attachments set media_file_name=null, media_updated_at=null where media_storage_version=1
```https://git.tedomum.net/tedomum/peertube/-/issues/49Stockage vers S32022-12-07T19:26:45ZJae Lo PrestiStockage vers S3Basculer le stockage des vidéos vers un serveur MinIO décrit dans https://forge.tedomum.net/tedomum/kity/-/issues/8.Basculer le stockage des vidéos vers un serveur MinIO décrit dans https://forge.tedomum.net/tedomum/kity/-/issues/8.https://git.tedomum.net/tedomum/mastodon/-/issues/43Version 3.5.3 à installer2022-08-19T14:21:46ZAngedestenebresVersion 3.5.3 à installerVoir : https://github.com/mastodon/mastodon/releasesVoir : https://github.com/mastodon/mastodon/releaseskaiyoupierre@jaury.eukaiyoupierre@jaury.euhttps://git.tedomum.net/tedomum/synapse/-/issues/108locale de la base de données2022-08-18T11:38:19Zayiniholocale de la base de donnéesLa mise à jour vers la dernière version de synapse requiert une migration de base de données.
Synapse will additionally now refuse to start when using PostgreSQL with a non-C values for COLLATE and CTYPE, unless the config flag allow_u...La mise à jour vers la dernière version de synapse requiert une migration de base de données.
Synapse will additionally now refuse to start when using PostgreSQL with a non-C values for COLLATE and CTYPE, unless the config flag allow_unsafe_locale, found in the database section of the configuration file, is set to true. See the upgrade notes for details.
https://github.com/matrix-org/synapse/releases/tag/v1.56.0ayinihoayiniho