Wat betekent de NO2 waarde -999

Repke

Vraag: af en toe is er bij sommige HOLU's een -999 waarde in de data download. Wat betekent dit?

Aanleiding: in de Buiksloterham zijn we het monitoring script aan het uitbreiden met een check op te lage of te hoge waarden - dat blijkt een nuttige aanwijzing of een HOLU een probleem heeft of aan het krijgen is met de sensoren. Wat weer (blijkt hier in de praktijk) tot totale uitval kan leiden. En we willen geen gaten in de data reeks.

Mijn vermoeden over de NO2 -999: lijkt me een typische "missing cases" waarde: een vlaggetje dat ergens in de keten iets niet lukte waardoor geen NO2 meting beschikbaar is. Waarschijnlijk het heen en weer naar het RIVM om de kalibratiefactor (uniek voor elke Extended Holu) toe te laten passen?
Ik heb in de code gekeken die op de Holu draait en in de back end code bij Waag (die ging me al helemaal boven de pet) maar zie dáár geen -999 ingreep. Ligt ook niet voor de hand want ik zou denken: Holu en back end bij Waag hóren ook niet in te grijpen? Een "missing cases" vlaggetje wordt pas bij de analyse aangebracht?

Emma

Hi Repke ,

yes, there are some kits for which the "no2_mean" is -999, e.x. kit 79.
Do you maybe have the list of the interested kit?
From what I could see, those are basic kits that are not supposed to send any no2 data. I think those data should not be taken in consideration. If the HoLu kit is basic, it shouldn't send any gas measurements and this is implemented in the code but there is no filter in case of unreasonable data.
I don't know the details of the filters applied at database level.

Repke

Hi again - very helpful information!
Here is the list of HOLU's where I noticed the -999;
it comes from May 11th and October 12 data snapshots (click for access, the -999 is coloured yellow in the NO2 column) I once did using the https://data.waag.org/api/holu/holukit/calibrated/recent API.

May 11 has these ID's with a -999: 87, 84, 83, 81, 79, 77, 66 and 62. All Basic HOLU's!! Nevertheless a NO2 -999.
October 12 same story and for the most part the same ID's: 87, 84, 83, 79, 77, 74, 66, 61; all Basic HOLU's with a NO2 -999.
October 12 also has -999 for ID's 193 and 191 which areExtended HOLU's. Given your explanation this is odd?!

Lastly: if I understand you correctly, you are explaining that in the code running in the HOLU there is "no filter in case of unreasonable data"; that sounds like a good approach: have the data out of a HOLU as raw as possible and decide later / downstream what is used or not in analysis. Question to be sure ( @denis too): is the HOLU code inserting a -999 or some step later in the data infrastructure?

Emma

Hi again Repke,

thank you for identifying the HoLu kits!

About the HoLu basic, I don't understand from where the 'no2_mean' comes from. The API data are not the raw data, they are the mean over one hour and they are calibrated.

About the HoLu extended, yes, it is odd. I looked at the raw data of the kits 191 and 193 on the 12th of October, the plots are here: https://raw.githubusercontent.com/waagsociety/holu-kit-20/master/Forum_images/HoLu_191_193_no2a_Oct12.png, https://raw.githubusercontent.com/waagsociety/holu-kit-20/master/Forum_images/HoLu_191_193_no2b_Oct12.png. The HoLu read two signals out of the sensor, no2a and no2b, this two data are sent to the TTN server without filters; the calculation of NO2 concentration happens later in the data flow and it uses both no2a and no2b with the calibration factors. Looking at the raw data, I can't explain the -999, I confirm that the HoLu code doesn't insert any -999.
Maybe @denis can help with the insight of the steps in the data infrastructure.