📥 Node Streams - Concat Large Files

Utilizando Node Streams para trabalhar com muitos dados de arquivos, mudando formato dos dados (csv -> json, json -> csv), Transform, manipulação de dados, leitura e escrita sob demanda etc. Tudo isso foi visto pela aula do Erick Wendel

• Versão do node: 14.21.2

• Dependências:

  • csvtojson: ^2.0.10,

  • debug: ^4.1.1,

  • json-to-csv-stream: ^1.1.0,

  • stream-concat: ^0.3.0

ℹ️ Base de dados usada

• https://www.kaggle.com/datasets/stackoverflow/so-survey-2017?select=survey_results_public.csv

• https://www.kaggle.com/datasets/stackoverflow/stack-overflow-2018-developer-survey?select=survey_results_public.csv

Os arquivos .csv devem ser guardados em uma pasta chamada dataset, onde esta pasta de preferência deve ficar dentro do diretório deste projeto.

🔗 Links de apoio

• https://v8.dev/features/top-level-await

• https://www.w3schools.com/nodejs/met_path_dirname.asp

• https://developer.mozilla.org/pt-BR/docs/Web/JavaScript/Reference/Operators/import.meta

• https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Array/filter

• https://httptoolkit.com/blog/unblocking-node-with-unref/

• https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/JSON/parse

• https://www.w3schools.com/js/js_json_parse.asp

• https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/JSON/stringify

• https://www.w3schools.com/js/js_json_stringify.asp

• https://www.npmjs.com/package/csvtojson