upgrade 1D

[margrietpalm]

Major changes:

• CrossSectionDefinition is no longer in a separate table but instead these definitions are in CrossSectionLocation, Pipe, Orifice, Culvert and Weir. Because the CrossSecitonDefinitions must be in the gridadmin, they are rebuilt based on the defintiions in the other tables. Only unique entries are kept they are mapped to their origin tables and rows. This also affects the order in which data is read from the schematisation in make_gridadmin.
• The width and height of a tabulated cross section are no longer stored in the same column as those for a non-tabulated cross section but instead these are gathered in the cross_section_shape. This required some changes in tabulators and reading of width and height
• There is no longer a difference between singular and plural vegetation parameters. The singular ones are kept and will only contain a single value. The plural ones are replaced by cross_section_vegetation_table. This is all handled in set_friction_vegetation_values.
• The new column model_settings.node_open_water_detection is processed that modified how open / closed is detected for ConnectionNodes; either based on having storage (node_open_water_detection=1, default in migration) or being connected to channels (node_open_water_detection=0)
• Obstacle is extended with columns: affects_2d, affects_1d2d_open_water and affects_1d2d_closed. When these are True, dpumax for intersected flow lines is increased with the obstacle's crest level. On migration affects_2d and affects_1d2d_open_water are set to True and affects_1d2d_closed to False which should cause no changes in behavior.
• Culverts, Pipes, Orifices and Weirs can either have their friction parameters in the table or be linked to a material.

Testing

I used https://github.com/nens/schema_300_integration_tests/tree/test_228 to test these changes. The gridadmin files produced are not identical, but should be equivalent. See https://github.com/nens/schema_300_integration_tests/blob/test_228/test_libs/compare_gridadmin.py for details on this comparisson.

[margrietpalm]

Any suggestions of doing this in a better way are welcome. I've considered putting this in a parameterize decorator, but that became complex very quickly.

[margrietpalm]

Reading of cross section locations, pipes, weirs, culverts and orifices is moved up so the extracted cross section definitions can be properly mapped.

[martijn-siemerink]

Ik heb nog wel vraagteken bij deze check. Wat nu als de connection_node_start_id ook aan een pipe zit? Dan is dat nu altijd een channel, ondanks dat het misschien een manhole is en is_closed logischer is. Ik overzie het niet helemaal, maar potentieel is dit te strict.

als kcu bekend is hier voor aanliggende 1d2d verbinding zou ik die checken, ook omdat de dpumax uiteindelijk gezet wordt voor de 1d2d line.

LineType enum definieert de kcu types

[margrietpalm]

Dit lijkt me niet de plek om zoiets aan te passen; dit doet namelijk niet meer dan checken of iets een channel is. Als dat de lading niet dekt moet hooguit de naam worden aangepast.

Ik overzie het niet helemaal, maar potentieel is dit te strict. Als kcu bekend is hier voor aanliggende 1d2d verbinding zou ik die checken, ook omdat de dpumax uiteindelijk gezet wordt voor de 1d2d line.

Lijkt me iets wat aangepast moet worden in het kiezen tussen is_closed en is_channel: https://github.com/nens/threedigrid-builder/blob/margriet_389_schema_300_1D/threedigrid_builder/grid/grid.py#L757-L765. Maar ik snap nog niet helemaal welke logica je hier zou willen zien. Is dat iets als:

if node_open_water_detection == 0 and isinstance(objects, ConnectionNodes):
  if line.kcu != -9999:
      is_closed = (line.kcu == LINE_1D2D_SINGLE_CONNECTED_CLOSED or line.kcu == INE_1D2D_DOUBLE_CONNECTED_CLOSED)
  else:
      is_closed = is_channel()

[martijn-siemerink]

Als het originele manhole_id de database pk is, zou ik hier de connection_node pk schrijven. Anders prima

[margrietpalm]

De originele manhole_id zit niet meer in de schematisatie; dus die kan ook niet meer in de gridadmin terecht komen. Daarnaast lijkt het me vreemd om een id te gebruiken dat niet meer naar een bestaand object refereert.