import - HiSPARC

HiSPARC
Data
Arne de Laat
2014-06-23
1
Event Summary Data van station 502 op 17 juni 2014
2
Wat meten we?
Station
Events
Tijdstempel, traces en afgeleiden
Weer
Tijdstempel, sensor uitlezing en afgeleiden
HiSPARC
3
Events
HiSPARC
4
HiSPARC
Chandra, HiSPARC, ASUS, DELL
5
HiSPARC
Station 501
6
ADC
ADC zet analoog signaal uit PMT om
naar digitale waarden
Er zijn 2 ADCs per PMT kanaal
Elke PMT wordt continu, om de 2.5 ns,
uitgelezen
1 ADC count is ongeveer -0.57 mV
Bereik: 0.1V t/m -2 V wordt omgezet
tot: 0 t/m 4095 ADC counts
HiSPARC
7
Trigger window
Electronica op scherp als één
signaal over de lage drempel gaat.
Pre-coincidence
Trigger window
window
1 µs
1.5 µs
Post-coincidence window
ADC counts
3.5 µs
high
low
t (ns)
HiSPARC
In de deze grafieken in de 'nullijn' van de signalen al afgetrokken.
Die ligt normaal rond 200 ADC counts (dus 0 mV)
8
Trigger
ADC counts
Twee (drie) signalen over hoge (lage)
drempel binnen de trigger window!
Twee signalen over lage drempel
voor 2 detector station.
2 high
3 low
t (ns)
HiSPARC
9
GPS timestamp
Trigger tijdstempel in GPS-tijd
ADC counts
tGPS = 1403049593382116801
2 high
3 low
t (ns)
HiSPARC
10
Data reductie
ADC counts
Verwijder ‘lege’ delen van de traces
noise filter
t (ns)
HiSPARC
11
Trigger timestamp
ADC counts
Trigger tijdstempel tov begin van trace
2 high
3 low
t (ns)
HiSPARC
ttrigger = 1195
12
Detector timestamps
ADC counts
Detector tijdstempels tov begin van trace
Detection
Threshold
t4 = 15
HiSPARC
t (ns)
t2 = -999
t3 = -999
t1 = 1190
13
Fout codes
-1 = niet aanwezige detector/sensor
-999 = reconstructie lukt niet of onmogelijk
HiSPARC
14
Detector timestamp in GPS-tijd
Eerste deeltje in station in GPS-tijd
tfirst,GPS =
tGPS - ttrigger + min(t1-4) =
1403049593382116801 - 1195 + 15 = 1403049593382115621
Let op!
ttrigger en t1-4 kunnen -1 of -999 zijn!
Alleen positieve waarden (en 0) voor de variabelen zijn
geldig.
HiSPARC
15
Pulse integrals
ADC counts
Oppervlakte onder de trace, een maat voor aantal deeltjes
t (ns)
HiSPARC
16
Pulse heights
ADC counts
Hoogte van puls, ook indicatie aantal deeltje en verzadiging
t (ns)
HiSPARC
17
Number of MIPs
Aantal deeltjes, door verhouding pulsintegraal per deeltje
1 MIP
HiSPARC
18
Number of MIPs
Pulseintegral1-4
= Number of MIPs
PulseintegraalMIP
1
2
3
7
8
9 10
0
1
2
3 4 5 6 7
Aantal deeltjes
8
9 10
4
5
6
Aantal events
Aantal deeltjes in een detectie
0
1993 / 2233 = 0.8926
Niet altijd hele getallen
Mogelijk is het pulseintegraal bereik niet
linear
HiSPARC
Aantal events
Let op!
19
Figuur 2.2 – Histogram van de componenten van het signaal uit een HiSPARC
de
kunnen 1, 2, 3, of meerdere deeltjes door een detector gaan. Middelste plot: door
Tools
HiSPARC
20
Publieke database
Data overzicht en toegang
API - toegang tot metadata en traces
ESD - gefilterde en deels geanalyseerde data
Status - nagios status
Coincidenties - air showers gemeten door
meer stations
HiSPARC
21
Download events
# Event Summary Data
#
# Station: (304) Bonhoeffer College
#
# Data taken from June 22, 2014, midnight to June 23, 2014, midnight
#
#
# This data contains the following columns:
#
# date:
time of event [GPS calendar date]
# time:
time of event [GPS time of day]
# timestamp:
time of event [UNIX timestamp]
# nanoseconds:
time of event [number of nanoseconds after timestamp]
# pulseheights (4x):
maximum signal pulseheight [ADC]
# integral (4x):
integral of the signal [ADC.ns]
# number_of_mips (4x): estimate for the number of particles in the detector
# arrival_times (4x): relative time of arrival of the first particle in the
# trigger_time:
relative time of the trigger timestamp [ns]
#
# Values of -1 for detectors 3 and 4 indicate that the station only has
# two detectors. Values of -999 indicate a problem in the analysis of
# that particular event. Usually, this is the result from noise in the
# signal.
#
#
2014-06-22!
00:00:00!
1403395200!
867762961!
92!
1687!
2014-06-22!
00:00:03!
1403395203!
919733901!
255!
195!
2014-06-22!
00:00:06!
1403395206!
662360946!
1419!
2541!
2014-06-22!
00:00:08!
1403395208!
116251436!
948!
665!
2014-06-22!
00:00:08!
1403395208!
204591870!
501!
301!
2014-06-22!
00:00:08!
1403395208!
714195629!
811!
951!
2014-06-22!
00:00:09!
1403395209!
191729977!
67!
257!
2014-06-22!
00:00:10!
1403395210!
334783992!
325!
292!
2014-06-22!
00:00:17!
1403395217!
158107941!
499!
329!
2014-06-22!
00:00:18!
1403395218!
410533350!
903!
1188!
2014-06-22!
00:00:24!
1403395224!
788627171!
70!
68!
2014-06-22!
00:00:31!
1403395231!
555070060!
63!
583!
2014-06-22!
00:00:33!
1403395233!
856696559!
209!
225!
2014-06-22!
00:00:34!
1403395234!
698149547!
255!
258!
2014-06-22!
00:00:36!
1403395236!
742303052!
731!
226!
2014-06-22!
00:00:38!
1403395238!
978544779!
70!
69!
2014-06-22!
00:00:38!
1403395238!
988090375!
138!
669!
2014-06-22!
00:00:41!
1403395241!
516576578!
85!
144!
2014-06-22!
00:00:44!
1403395244!
207348286!
278!
422!
2014-06-22!
00:00:54!
1403395254!
774429311!
1547!
2079!
2014-06-22!
00:00:57!
1403395257!
45034129!
548!
508!
2014-06-22!
00:00:57!
1403395257!
323780858!
284!
518!
2014-06-22!
00:00:58!
1403395258!
940624413!
212!
417!
HiSPARC
detector [ns]
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
677!
25549!
2935!
2266!
21877! 49588!
16428! 8705!
6942!
3523!
10413! 12152!
787!
3462!
4547!
3621!
5538!
3938!
16241! 25351!
695!
297!
505!
7087!
2647!
2904!
3316!
3438!
9461!
2523!
647!
676!
1337!
11507!
883!
1411!
2722!
5165!
23680! 36810!
6732!
6119!
3161!
9107!
2885!
6768!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
0.2411!
1.0451!
7.7902!
5.8499!
2.472!
3.708!
0.2802!
1.6191!
1.972!
5.7833!
0.2475!
0.1798!
0.9426!
1.1808!
3.369!
0.2304!
0.4761!
0.3144!
0.9693!
8.4322!
2.3972!
1.1256!
1.0273!
9.3106! -1!
0.8258! -1!
18.0709!-1!
3.1723! -1!
1.2839! -1!
4.4284! -1!
1.2616! -1!
1.3196! -1!
1.4351! -1!
9.2384! -1!
0.1082! -1!
2.5826! -1!
1.0583! -1!
1.2529! -1!
0.9194! -1!
0.2463! -1!
4.1934! -1!
0.5142! -1!
1.8822! -1!
13.4143!-1!
2.2299! -1!
3.3188! -1!
2.4664! -1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
222.5!
12.5!
15.0!
15.0!
22.5!
15.0!
1257.5!
15.0!
12.5!
12.5!
1215.0!
1137.5!
1362.5!
27.5!
15.0!
12.5!
27.5!
1167.5!
12.5!
15.0!
15.0!
15.0!
12.5!
22
Download coincidencties
# Coincidences
#
# Coincidences between stations in the HiSPARC network
# Data taken from June 22, 2014, midnight to June 23, 2014, midnight
# Showing only coincidences with at least 2 events
#
# This data contains the following columns:
#
# coincidence_id:
events with the same id belong to the same coincidence
# station_number:
the station number that detected the event
# date:
time of event [GPS calendar date]
# time:
time of event [GPS time of day]
# timestamp:
time of event [UNIX timestamp]
# nanoseconds:
time of event [number of nanoseconds after timestamp]
# pulseheights (4x):
maximum signal pulseheight [ADC]
# integral (4x):
integral of the signal [ADC.ns]
# number_of_mips (4x): estimate for the number of particles in the detector
# arrival_times (4x): relative time of arrival of the first particle in the detector [ns]
# trigger_time:
relative time of the trigger timestamp [ns]
#
# Values of -1 for detectors 3 and 4 indicate that the station only has
# two detectors. Values of -999 indicate a problem in the analysis of
# that particular event. Usually, this is the result from noise in the
# signal.
#
#
0!
7002!
2014-06-22!
00:00:01!
1403395201!
383154986!
151!
97!
0!
7003!
2014-06-22!
00:00:01!
1403395201!
383155025!
293!
128!
1!
13003! 2014-06-22!
00:00:12!
1403395212!
814860738!
99!
68!
1!
13001! 2014-06-22!
00:00:12!
1403395212!
814860978!
4!
333!
2!
7003!
2014-06-22!
00:00:26!
1403395226!
557573088!
70!
313!
2!
7002!
2014-06-22!
00:00:26!
1403395226!
557573179!
376!
215!
3!
20003! 2014-06-22!
00:01:15!
1403395275!
162026694!
295!
218!
3!
20002! 2014-06-22!
00:01:15!
1403395275!
162027224!
399!
463!
4!
7002!
2014-06-22!
00:01:28!
1403395288!
790548388!
560!
539!
4!
7003!
2014-06-22!
00:01:28!
1403395288!
790548453!
633!
760!
5!
508!
2014-06-22!
00:01:48!
1403395308!
535399309!
2642!
828!
5!
507!
2014-06-22!
00:01:48!
1403395308!
535399356!
222!
6!
5!
501!
2014-06-22!
00:01:48!
1403395308!
535399389!
522!
531!
6!
7001!
2014-06-22!
00:01:56!
1403395316!
104905646!
1597!
767!
6!
7002!
2014-06-22!
00:01:56!
1403395316!
104905677!
192!
126!
6!
7003!
2014-06-22!
00:01:56!
1403395316!
104905686!
824!
173!
7!
20003! 2014-06-22!
00:02:38!
1403395358!
814592793!
179!
443!
7!
20002! 2014-06-22!
00:02:38!
1403395358!
814593032!
527!
478!
8!
7003!
2014-06-22!
00:02:46!
1403395366!
568106070!
107!
362!
8!
7002!
2014-06-22!
00:02:46!
1403395366!
568106082!
158!
173!
8!
7001!
2014-06-22!
00:02:46!
1403395366!
568106124!
405!
504!
HiSPARC
-1!
-1!
-1!
7!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
11!
1024!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
319!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
218!
1387!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
1993!
1216!
-1!
3187!
1389!
-1!
1629!
712!
-1!
0!
2934!
0!
1014!
5977!
-1!
3204!
3532!
-1!
5116!
2740!
-1!
4426!
8202!
-1!
9115!
8306!
-1!
8082!
9426!
-1!
59242! 10922! -1!
2492!
0!
0!
6564!
8415!
12334!
23095! 12748! -1!
3419!
1630!
-1!
12933! 1706!
-1!
1349!
4890!
-1!
11352! 8854!
-1!
848!
6121!
-1!
1589!
2184!
-1!
5415!
7389!
-1!
-1!
-1!
-1!
2278!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
2184!
19543!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
0.8926!
1.3953!
-999!
0.0!
0.4439!
1.435!
-999!
-999!
4.0823!
3.5383!
-999!
1.3095!
2.4363!
7.6781!
1.5313!
5.6621!
-999!
-999!
0.3713!
0.7117!
1.8003!
0.459!
0.5661!
-999!
1.9032!
2.4361!
1.3332!
-999!
2.9474!
3.1351!
3.8418!
-999!
0.0!
2.7636!
-999!
0.6152!
0.6953!
-999!
3.1817!
2.4948!
0.8244!
-999!
-1!
-1!
-1!
0.0!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
0.0!
4.4898!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
-1!
23
jSparc
Web applicaties
Library - eenvoudige toegang tot API en esd
Data retrieval - esd data visualizatie
elke tab-separated csv
Analyse tool - coïncidenties analyseren
Trigger simulation -
HiSPARC
24
SAPPHiRE
Python framework
API - toegang tot metadata en traces
Clusters - stations en detectoren
ESD - afgeleide data download (sneller)
Corsika - simulaties van air showers
Simulations - corsika simulaties op stations, respons
Analysis - coincidenties, richting en core reconstructie
HiSPARC
25
Corsika
Simulatie van air showers
IN - primair deeltje
Soort, energie en richting
OUT - alle deeltjes op observatie niveau
Soort, positie, tijd en momentum
HiSPARC
26
Andere activiteiten
Reconstructies - betere richting reconstructie
Arne en David
Science Park core - meer stations op Science Park
Arduino weer station - tastbaar, zelf te bouwen
GZ simulaties - simulatie van GZ-events
Raspberry Pi - vervanging van station PC
Hans
Norbert
Niek
David
Iedereen
Info pakket - lesmateriaal, werkbladen met uitwerkingen
HiSPARC
27
SAPPHiRE installatie
Benodigdheden: Python 2.7, pip,
Python packages: NumPy, SciPy,
HDF5, gfortran, Atlas...
PyTables, mock, progressbar
Installatie:
Download en installeer Anaconda: http://continuum.io/downloads
Deze installeert de meeste benodigdheden en een Command Prompt,
voer daarin de volgende twee commando's uit om het af te ronden:
pip install --allow-unverified progressbar progressbar==2.3
pip install hisparc-sapphire
Nu kan je iPython starten en sapphire gebruiken, zie de voorbeelden
HiSPARC
28
$ pip install hisparc-sapphire
Later upgraden:
$ pip install -U hisparc-sapphire
HiSPARC
PyPI
29
Voorbeelden
SAPPHiRE
HiSPARC
30
>>> from matplotlib.pyplot import plot
>>> from datetime import date
>>> from sapphire import api
>>> stations = [1001, 1008, 2001]
>>> dates = [date(y, m, 1)
...
for y in range(2004, 2014)
...
for m in range(1, 13)]
HiSPARC
31
>>> from matplotlib.pyplot import plot
>>> from datetime import date
>>> from sapphire import api
>>> stations = [1001, 1008, 2001]
>>> dates = [date(y, m, 1)
...
for y in range(2004, 2014)
...
for m in range(1, 13)]
>>> for station in stations:
...
s = api.Station(station)
...
events = [s.n_events(year=d.year, month=d.month) for d in dates]
...
plot(dates, events)
1008
1001
2001
HiSPARC
32
>>> import tables
>>> from sapphire.simulations.groundparticles import GroundParticlesSimulation
>>> from sapphire.clusters import ScienceParkCluster
HiSPARC
33
>>> import tables
>>> from sapphire.simulations.groundparticles import GroundParticlesSimulation
>>> from sapphire.clusters import ScienceParkCluster
>>> cluster = ScienceParkCluster()
HiSPARC
34
>>> import tables
>>> from sapphire.simulations.groundparticles import GroundParticlesSimulation
>>> from sapphire.clusters import ScienceParkCluster
>>> cluster = ScienceParkCluster()
>>> with tables.openFile('simulation.h5', 'w') as data:
...
sim = GroundParticlesSimulation('corsika.h5', 300, cluster, data, '/', 100)
...
sim.run()
HiSPARC
35
>>> from matplotlib.pyplot import scatter, axis
>>> from sapphire.clusters import HiSPARCNetwork
>>>
>>>
>>>
>>>
cluster = HiSPARCNetwork()
x, y = zip(*[s.position for s in cluster.stations])
scatter(x, y)
axis('equal')
HiSPARC
36
>>> from matplotlib.pyplot import scatter, axis
>>> from sapphire.clusters import HiSPARCNetwork
>>>
>>>
>>>
>>>
cluster = HiSPARCNetwork()
x, y = zip(*[s.position for s in cluster.stations])
scatter(x, y)
axis('equal')
Aarhus (Denemarken)
Nederland
England
KASCADE (Duitsland)
HiSPARC
37
http://docs.hisparc.nl
Documentatie
HiSPARC
38
Ontwikkeling
HiSPARC
39
GitHub
Organization HiSPARC - http://github.com/HiSPARC
HiSPARC
40
Samenwerking
Issue tracking, automatische tests..
HiSPARC
41
Hands-on
http://data.hisparc.nl/media/jsparc/
Data retrieval
HiSPARC
42
Browser compatibiliteit
We hopen dat de website in zo veel mogelijk browsers werkt. Helaas lukt
dat niet altijd.Vooral Internet Explorer doet vaak moeilijk.
Wij testen in de huidige versies van:
Mozilla Firefox, Google Chrome en Apple Safari
De nieuwste versies van Internet Explorer (10+) voldoen beter aan
internet standaarden en hebben dus een grotere kans ook goed te werken.
Zit je vast aan PCs met een oude Internet Explorer (versie 7 of 8) en heb
je niet de rechten hebt daar iets anders te installeren, dan raden we aan om
Firefox, Portable Edition te gebruiken. Die kan op een USB stick
geïnstaleerd worden, en op PCs vanaf de USB gebruikt worden.
Dat hebben wij ook zo op Woudschoten gedaan, en dat werkte goed.
HiSPARC
43
Data inkijken
Bekijk de data die je ingeladen hebt via `show`
Bekijk de traces van de events
HiSPARC
44
Correlaties (scatter plot)
timestamp vs. nanoseconds
event rate (events) vs. atmospheric pressure (weather)
pulseheight vs. pulseintegral
Probeer de verschillende fit functies uit
HiSPARC
45
Histogrammen
timestamp
t_trigger
pulseheight
Speel met aantal bins!
Probeer de assen logaritmisch te maken
HiSPARC
46