modification, fusion de gribs : quel outil ? (grib2, météofrance, routage qtvlm)

Hello,

on a de super fichiers météo france maintenant.... par contre un peu gros et courts dans le temps
connaissez vous des outils de manipulation de fichier grib2 pour permettre ensuite des routages sur durée > 6h par exemple ? (dans qtvlm par ex)

L'équipage
30 avr. 2016
30 avr. 201616 juin 2020

1 - Les meilleurs gribs de Meteo-France sont disponibles en format grib1 (pas grib2) grâce à l'amabilité d'Olivier Bouyssou
grib.weather4d.com[...]romeHD/
2 - L'appli Squid, gratuite, permet la conversion grib2 vers grib1
www.squid-sailing.com[...]charger

30 avr. 2016

vraiment top weather 4D et vraiment sympa pour ces gribs
j'acheterai s'ils font une version PC/Windows...

merci de l'info

30 avr. 201630 avr. 2016

qtVlm lit les fichiers grib2 directement (à part un soucis avec le grib2 0.01 de météo-france qui n'est pas réglé). La prochaine version (très bientôt) pourra charger encore plus de types de grib (1 ou 2), utilisant des templates différentes (comme les gribs ECMWF).

30 avr. 2016

j'ai essayé de faire un routage sans succès avec les gribs de météo france arome, sans succès (il n'arrive pas à "relier la destination" d'après le message)
le souci dont tu parles ?

ce qui serait top, ça serait de trouver un petit outil pour retailler et fusionner les gribs de météo france

je n'ai pas essayé de fusionner 2 ou 3 gribs de 60 Mo avec qtvlm, est ce que ça marche ?

30 avr. 201616 juin 2020

@ Mataï
Qtvlm:
bien sûr (exemple avec les grib2 'historiques' de la NOAA (monde entier, 0,5°, 60 Mo)
mais si j'ose, les grib2 à 0,01° de Météo-France (de taille énorme) sont prédécoupés par Olivier, ce qui rend le téléchargement plus aisé...

30 avr. 2016

Il a RAISON: router dans le passé, c'est plus sûr que router dans l'avenir !
:acheval:

30 avr. 2016

Le paléoroutage, une technique qui a de l'avenir.
:-p

30 avr. 2016

J'ai un exemple d'un utilisateur qui charge dans qtVlm des gribs de 1Gb, pour router dans le passé sur 20 ans, ca fonctionne (lentement je suppose, lol)

30 avr. 2016

“Les prévisions sont difficiles, surtout lorsqu’elles concernent l’avenir.”
Pierre Dac
:langue2:

30 avr. 201630 avr. 2016

Tout dépend du fichier que tu prends. Les gribs dispo sur méteo france sont à échéance de 6h donc pas moyen de router plus loin sauf à les concaténer. Pas d'outils simples pour faire ça (wgrib2 doit faire ça, sous linux).

Le plus simple est de prendre les fichiers qu'Olivier de W4D a mis à dispo.

Après c'est un peu ridicule de router à plus de disons 1 ou 2 journées avec une maille si fine qui sera fausse de toutes façons. L'idéal serait de pouvoir charger 2 gribs, un avec une maille très fine mais court dans le temps, et ensuite un fichier grib plus grossier qui va plus loin dans le temps. C'est une idée (je note).

La concaténation de grib dans qtVlm est très basique, pas sur que ca fonctionne pour ce cas, je ne me rappelle plus... Ca ne serait pas très difficile à améliorer, faut juste trouver le temps et les ressources (comme d'hab).

30 avr. 2016

Oui, tout à fait, des arômes sur 24h puis du gfs std

30 avr. 2016

La commande Copy du système fusionne très bien les grib

sous windows : copy /B *.grb out.grb

fusionne tous les GRIB du répertoire.

IIRC. Le seul problème est l'ordre de 'fusion' des fichiers, en cas de doubles (1), le fichier dont tiendra compte le logiciel d'affichage sera le dernier lu : il y a 'overwrite'.

Suis-je clair ? Non pas très :-)

Jacques

(1) même date-heure, échéance différente. A 10 jours, à raison de quatre publications de grib de par jour, 40 grib donnent une valeur pour maintenant, l'afficheur n'en retiendra qu'une, la dernière lue ... il faut que ce soit la plus récente, elle doit donc apparaître en dernier dans la concaténation.

30 avr. 201630 avr. 2016

Il est possible avec QTVLM (pas avec ZYgrib) d'afficher des fichiers fusionnés de différentes résolutions et différentes tailles/surfaces et ainsi obtenir un Grib Arome+NOAA portant sur 10 jours où QTVLM pourra router sur 10 jours ou moins selon votre choix sur Zygrib.

Pour fusionner Arôme et NOAA/GFS:

1 - dézipper le grib téléchargé avec zygrib (utilisez l'utilitaire 7Z par exemple)
20160430194554.grb.bz2 devient ainsi
20160430194554.grb

2 - télécharger un fichier 'Arome' sur grib.weather4d.com[...]romeHD/ j'ai téléchargé Manche-2016043012.grb

3 - sous Windows, fusion binaire des fichiers avec la ligne de commande suivante, en adaptant les noms de fichiers 'of course',

copy /B 20160430194554.grb + Manche-2016043012.grb AromePlusGfsNoaa.Grb

!!!!!! AROME toujours après NOAA/gfs !!!!!!

On obtient AromePlusGfsNoaa.Grb (nom à choisir par vous), qui affiche un grib 10 jours max sous QTVLM, les 6 premières heures étant 'Arôme', la suite GFS de Zygrib/NOAAgfs.

---- notes ----

Je ne suis pas certain que la définition 'Arôme' soit conservée par QTVLM ???(avec gfs la résolution minimum est de 0.25° : pas si mal (Arome 0.1 IIRC)) mais ce sont les valeurs 'Arôme' qui sont présentées pour les 6 premières heures et elles seront utilisées pour le routage.

Un conseil pour mieux comprendre et constater, téléchargez avec Zygrib (ou autres) une carte plus grande que Arôme et vous verrez après les 6 heures 'Arôme' la carte changer de taille, ce qui atteste du passage 'Arôme/gfsNOAA' (Lancer sous QTVLM l'animation avec un pas de une heure pour faire cette constatation).

Pour des raisons de copyright, j'hésite à publier un fichier grib AROME+NOAA, de quoi se fâcher avec tout le monde ;-)

Jacques

PS : erreur : Arome couvre plus de 6 heures, je compte 36 heures sur mon fichier ?

01 mai 2016

la définition du pas géographique est définie record par record (un record par date), donc oui c'est gardé. C'est d'ailleurs pour ça que ca fonctionne avec des gribs à pas variable (par exemple les gribs de 15 jours qu'on peut obtenir par saildocs passe à un pas de 2.5° après 7/8 jrs (et 12h au lieu de 3).

Je sens que je vais essayer de faire un truc plus facile dans qtVlm pour merger ces gribs.

01 mai 201601 mai 2016

"Je sens que je vais essayer de faire un truc plus facile dans qtVlm pour merger ces gribs"
:pouce:

01 mai 2016

En fait la fonction "merge" de qtVlm n'est pas si mal. J'ai juste rajouté un test pour garder systématiquement le record avec la meilleure résolution et un ou deux contrôles supplémentaires (par exemple ca n'est pas possible pour l'instant de merger des grib1 avec des grib2, faut que ca soit de la même sorte). L'ordre dans lequel les fichiers sont fusionnés n'a plus d'importance.

Avantage indirect ca permet de fusionner des gribs courants/vagues/vent/pression/etc en un seul grib et de le transférer tel quel sur Android ou iOS, sans avoir à s'embêter à charger plusieurs gribs simultanément.

Ca sera dans la prochaine version, semaine prochaine sûrement.

11 mai 2016

Bonjour,
Oui elle est bien la fonction merge, comme tout le logiciel, je ne peux plus m'en passer (version windows, linux et IOS), un grand bravo! Il me reste à construire une polaire raisonnable de mon Sélection car je n'ai pas 7 baraqués à bord pour le rappel et j'arrive après le loup de mer!
En essayant de combiner deux gribs AromeHD du même run téléchargés chez Weather 4D (Corse et Lion) je n'obtiens pas l'aire espérée mais seulement celle du grib Corse. Est-ce un bug?
Encore bravo
Eric (Voilier Zigoto)

12 mai 2016

La prochaine version gérera les 2 slots gribs différemment: On pourra charger n'importe quel grib (pas forcément courant dans le 2eme slot) et la fusion se fera du coup même au niveau géographique. Il faudra faire attention à charger le grib le plus fin dans le 1er slot.

11 mai 2016

Pas vraiment un bug, disons une limitation: le merge ne fusionne pas de zone géographique, mais des dates de grib. Ca vient de la structure même des fichiers gribs, qui sont organisés en enregistrement par date. Si 2 records ont la même date, qtVlm garde le record qui contient la meilleure résolution géographique (le plus fin). Mais il ne fusionne pas les 2 enregistrements pour étendre la zone, ca serait compliqué et surtout très coûteux en temps de génération du grib fusionné.

L'idée selon moi c'est que tu n'as pas besoin de données HD pour les 2 zones. Si tu es en Corse et que tu vas dans le Lion, tu commences par un grib HD (2jrs) et tu complète par un grib moins fin mais par exemple de 5 jours.

Le problème se pose si on quitte la limite géographique du grib HD avant sa dernière date, puisque du coup qtVlm ne voit pas encore la zone géographique plus grande du grib moins fin. On n'exclut pas d'essayer d'améliorer ca un de ces 4 ;)

01 mai 2016

Et là se pose la question : est-il permis de tripatouiller les GRIB(1) et de publier les résultats ? Zygrib le fait. Mais éclater les GRIB et ne retenir que les GRIB élémentaires utiles à la fusion souhaitée (fichiers 10 à 30 fois moins longs) ou interpoler pour obtenir des résolutions équivalentes, ...

Au minimum, il faudrait supprimer la référence à la source dans les GRIB élémentaires mais peut-on le faire ? (1)


Pour le routage, il y a une limite lourde à la méthode que je propose dans mon message précédent : tant qu'on est dans la portée temporelle des prévisions 'Arôme' la carte NOAA n'est pas connue et les limites de la carte pour le routage sont les limites de la zone 'Arôme'. Si lors d'un routage, on sort de la zone 'Arôme' à une date-heure où 'Arôme' donne toujours des prévisions, la zone 'Arôme' est toujours la limite du routage, les limites de la zone ne passent à la zone gfsNOAA que lorsque les prévisions 'Arôme' cessent.

:-) La solution consiste à limiter la portée temporelle des prévisions 'Arôme' à un peu moins que le temps nécessaire pour sortir de la carte 'Arôme' :-) ... un peu compliqué ... non !

Jacques

(1) le message d'accueil sur download sur FTP polar.ncep.noaa.gov n'est pas rassurant :-)

01 mai 2016

A mon humble avis ca ne pose aucun problème de droits, surtout du moment que tu n'en fais pas commerce (et même, certains le font sans avoir de soucis). La version à venir de qtVlm a aussi une fonction filtre données et zone géographique et je ne vois pas en quoi ca poserait un problème.

Bien vu pour les limites du routage, inévitable sauf horrible gymnastique.

02 mai 201616 juin 2020

Si on fait l'exercice d'afficher les 2 à la fois, ça fait une sacré différence entre la NOAA et Arome...

02 mai 201616 juin 2020

Bravo ! Belle maitrise. Il m'a fallu renoncer, trop hétérogène pour mes outils ou plutôt ma maîtrise de ces outils.

Une simple fusion permet d'afficher les paramètres NOAA_gfs et 'Arôme' pour autant qu'ils ne soient pas présents dans les deux GRIB. Ici - si l'image est attachée :-) -, la pression atmosphérique gfs passe mais pas 33-34 gfs.

Jacques

06 juin 201616 juin 2020

Chose promise chose due: qtVlm 5.3.5 permet de superposer des gribs, par exemple avec des résolutions différentes, ou bien des zones géographiques différentes. Ca plus la fonction fusionner des gribs (y compris compressés), ca permet de faire déjà pas mal de trucs...

06 juin 2016

Génial,
Coupler deux-trois Arome plus un ou deux Arpège pour avoir toute la traversée, je suis impatient d'essayer cela.
merci mille fois
Eric

Le phare du Creac'h à Ouessant, un soir d'automne (1985, image argentique, ce qui explique le grain)

Phare du monde

  • 4.5 (81)

Le phare du Creac'h à Ouessant, un soir d'automne (1985, image argentique, ce qui explique le grain)

2022