source: codes/icosagcm/devel/Python/dev/unstructured.pyx @ 977

Last change on this file since 977 was 977, checked in by dubos, 5 years ago

devel/Python : now only dynamico.dev modules require link to DYNAMICO/XIOS shared objects

File size: 15.2 KB
Line 
1import time
2import math
3from dynamico.dev import wrap
4from dynamico.dev.libs import libicosa
5from dynamico.util import list_stencil
6
7from ctypes import c_void_p, c_int, c_double, c_float, c_bool
8from numpy cimport ndarray
9cimport numpy as np
10import numpy as np
11
12from dynamico import getargs
13log_master, log_world = getargs.getLogger(__name__)
14INFO, DEBUG, ERROR = log_master.info, log_master.debug, log_world.error
15INFO_ALL, DEBUG_ALL = log_world.info, log_world.debug
16
17#--------------   choose precision of kernel computations  ------------#
18
19# the compile-time constant CPP_MIXED_PREC is set by setup.py
20# based on the value of mixed_prec defined in module data_unstructured
21 
22IF CPP_MIXED_PREC:
23   c_num=c_float
24   ctypedef float num
25   np_num=np.float32
26ELSE:
27   c_num=c_double
28   ctypedef double num
29   np_num=np.float64
30
31ctypedef num *num_ptr
32
33#------------- direct Cython interface to DYNAMICO routines -------------#
34
35
36cdef enum: max_nb_stage=5
37cdef extern :
38    cdef num tauj[max_nb_stage]
39    cdef num cslj[max_nb_stage][max_nb_stage]
40    cdef num cflj[max_nb_stage][max_nb_stage]
41    cdef int nb_stage[1]
42
43cdef extern from "functions.h":
44     cdef void dynamico_ARK_step(int nstep,
45                                 num *mass_col, num *rhodz, num *theta_rhodz, 
46                                 num *u, num *geopot, num *w,
47                                 num *theta, num *ps, num *pk, num *hflux, num *qv,
48                                 num *dmass_col, num *drhodz, num *dtheta_rhodz,
49                                 num *du_fast, num *du_slow,
50                                 num *dPhi_fast, num *dPhi_slow, 
51                                 num *dW_fast, num *dW_slow)
52     cdef void dynamico_remap(num *rhodz, num *theta_rhodz, num *u)
53     cdef void dynamico_init_params()
54     cpdef void dynamico_setup_xios()
55     cpdef void dynamico_xios_set_timestep(double)
56     cpdef void dynamico_xios_update_calendar(int)
57
58#------------- import and wrap DYNAMICO routines -------------#
59
60ker=wrap.Struct() # store imported fun X as funs.X
61
62check_args = False # use True instead of False for debugging, probably with some overhead
63
64try:   
65   kernels = wrap.SharedLib(vars(ker), libicosa, check_args=check_args) 
66   setvar, setvars, getvar, getvars = kernels.setvar, kernels.setvars, kernels.getvar, kernels.getvars
67except OSError:
68   ERROR("Unable to load shared library 'libicosa.so' !")
69   raise
70
71# providing a full prototype enables type-checking when calling
72# if a number n is present in the prototype, the previous type is repeated n times
73kernels.import_funs([
74                     ['dynamico_setup_xios',None],
75                     ['dynamico_print_trace',None],
76                     ['dynamico_xios_set_timestep',c_double],
77                     ['dynamico_xios_update_calendar',c_int],
78                     ['dynamico_init_mesh',c_void_p,13],
79                     ['dynamico_init_metric', c_void_p,6],
80                     ['dynamico_init_hybrid', c_void_p,3],
81                     ['dynamico_caldyn_unstructured', c_num, c_void_p,20],
82                     ['dynamico_scalar_laplacian', c_void_p,2],
83                     ['dynamico_curl_laplacian', c_void_p,2],
84                     ['dynamico_init_transfer', c_int, c_int,2,c_void_p,3, c_int,2,c_void_p,3],
85                     ['dynamico_update_halo', c_int,3,c_void_p] ])
86
87# set/get global variables
88eta_mass,eta_lag=(1,2)
89thermo_theta,thermo_entropy,thermo_moist,thermo_boussinesq=(1,2,3,4)
90
91kernels.addvars(
92    c_bool,'hydrostatic','debug_hevi_solver', 'is_mpi_master',
93    c_int,'llm','nqdyn','primal_num','max_primal_deg',
94    'dual_num','max_dual_deg','edge_num','max_trisk_deg',
95    'caldyn_thermo','caldyn_eta','nb_threads',
96    c_double,'elapsed',
97    c_num, 'g', 'ptop', 'cpp', 'cppv',
98    'Rd', 'Rv', 'preff', 'Treff', 'pbot', 'rho_bot', 'Phi_bot')
99
100elapsed=0.
101
102#------------------------ Extension type performing a full ARK time step ----------------------
103
104cdef num_ptr ptr1(num[:] data) except *: return &data[0]
105cdef num_ptr ptr2(num[:,:] data) except *: return &data[0,0]
106cdef num_ptr ptr3(num[:,:,:] data) except *: return &data[0,0,0]
107cdef num_ptr ptr4(num[:,:,:,:] data) except *: return &data[0,0,0,0]
108cdef num_ptr ptr(data) except * :
109    n=data.ndim
110    if n==1 : return ptr1(data)
111    if n==2 : return ptr2(data)
112    if n==3 : return ptr3(data)
113    if n==4 : return ptr4(data)
114    if n>4: raise IndexError
115       
116cdef alloc(num_ptr *p, allocator, n=1):
117    data=allocator(n)
118    p[0]=ptr(data)
119    return data
120
121cdef class Caldyn_step:
122    # number of time steps to do at each invocation of advance()
123    cdef int nstep
124    # pointer to allocated arrays
125    cdef num_ptr p_mass, p_theta_rhodz, p_u, p_geopot, p_W                   # prognostic
126    cdef num_ptr p_mass_col, p_dmass_col, p_ps, p_theta, p_pk, p_hflux, p_qv # diagnostic
127    cdef num_ptr p_drhodz, p_dtheta_rhodz, p_du_fast, p_du_slow                # tendencies
128    cdef num_ptr p_dPhi_fast, p_dPhi_slow, p_dW_fast, p_dW_slow                # tendencies
129    # allocated arrays, must remain referenced or segfault
130    cdef readonly ndarray mass, theta_rhodz, u, geopot, W
131    cdef readonly ndarray mass_col, dmass_col, ps, theta, pk, hflux, qv
132    cdef readonly ndarray drhodz, dtheta_rhodz, du_fast, du_slow
133    cdef readonly ndarray dPhi_fast, dPhi_slow, dW_fast, dW_slow
134
135    def __init__(self,mesh,time_scheme, nstep):
136        self.nstep=nstep
137        #        self.mesh=mesh
138        fps, ftheta, fmass = mesh.field_ps, mesh.field_theta, mesh.field_mass
139        fw, fu, fz = mesh.field_w, mesh.field_u, mesh.field_z
140        # collect coefficients of time scheme
141        cdef double[:]   tauj_ = time_scheme.tauj
142        cdef double[:,:] cslj_ = time_scheme.csjl
143        cdef double[:,:] cflj_ = time_scheme.cfjl
144        ns = time_scheme.nstage
145        nb_stage[0]=ns
146
147        cdef int i,j
148        for i in range(ns):
149            tauj[i]=tauj_[i]
150            for j in range(ns):
151                cslj[i][j]=cslj_[i,j]
152                cflj[i][j]=cflj_[i,j]
153        # allocate arrays, store pointers to avoid overhead when calling dynamico
154        #    prognostic/diagnostic
155        self.ps                       = alloc(&self.p_ps, fps) 
156        self.mass_col, self.dmass_col = alloc(&self.p_mass_col, fps), alloc(&self.p_dmass_col, fps,ns), 
157        self.mass, self.theta_rhodz   = alloc(&self.p_mass, fmass), alloc(&self.p_theta_rhodz, fmass),
158        self.theta, self.pk           = alloc(&self.p_theta, fmass), alloc(&self.p_pk, fmass), 
159        self.geopot, self.W           = alloc(&self.p_geopot, fw), alloc(&self.p_W, fw),
160        self.hflux, self.u            = alloc(&self.p_hflux, fu), alloc(&self.p_u, fu) 
161        self.qv                       = alloc(&self.p_qv,fz)
162        #    tendencies
163        self.drhodz, self.dtheta_rhodz  = alloc(&self.p_drhodz,fmass,ns), alloc(&self.p_dtheta_rhodz,fmass,ns) 
164        self.du_fast, self.du_slow      = alloc(&self.p_du_fast,fu,ns), alloc(&self.p_du_slow,fu,ns)
165        self.dPhi_fast, self.dPhi_slow  = alloc(&self.p_dPhi_fast,fw,ns), alloc(&self.p_dPhi_slow,fw,ns)
166        self.dW_fast, self.dW_slow      = alloc(&self.p_dW_fast,fw,ns), alloc(&self.p_dW_slow,fw,ns)
167    def next(self):
168        #        global elapsed
169        # time1=time.time()
170        dynamico_ARK_step(self.nstep,
171                          self.p_mass_col, self.p_mass, self.p_theta_rhodz,
172                          self.p_u, self.p_geopot, self.p_W,
173                          self.p_theta, self.p_ps, self.p_pk, self.p_hflux, self.p_qv,
174                          self.p_dmass_col, self.p_drhodz, self.p_dtheta_rhodz,
175                          self.p_du_fast, self.p_du_slow,
176                          self.p_dPhi_fast, self.p_dPhi_slow,
177                          self.p_dW_fast, self.p_dW_slow)
178        #time2=time.time()
179        #if time2>time1: elapsed=elapsed+time2-time1
180    def remap(self):
181        dynamico_remap(self.p_mass, self.p_theta_rhodz, self.p_u)
182
183def caldyn_step_TRSW(mesh,time_scheme,nstep):
184    setvars(('hydrostatic','caldyn_thermo','caldyn_eta'),
185            (True,thermo_boussinesq,eta_lag))
186    dynamico_init_params()
187    return Caldyn_step(mesh,time_scheme, nstep)
188def caldyn_step_HPE(mesh,time_scheme,nstep, caldyn_thermo,caldyn_eta, thermo,BC,g):
189    setvars(('hydrostatic','caldyn_thermo','caldyn_eta',
190             'g','ptop','Rd','cpp','preff','Treff'),
191             (True,caldyn_thermo,caldyn_eta,
192              g,BC.ptop,thermo.Rd,thermo.Cpd,thermo.p0,thermo.T0))
193    dynamico_init_params()
194    return Caldyn_step(mesh,time_scheme, nstep)
195def caldyn_step_NH(mesh,time_scheme,nstep, caldyn_thermo, caldyn_eta, thermo,BC,g):
196    setvars(('hydrostatic','caldyn_thermo','caldyn_eta',
197             'g','ptop','Rd','cpp','preff','Treff','pbot','rho_bot'),
198             (False,caldyn_thermo,caldyn_eta,
199              g,BC.ptop,thermo.Rd,thermo.Cpd,thermo.p0,thermo.T0,
200              BC.pbot.max(), BC.rho_bot.max()))
201    dynamico_init_params()
202    return Caldyn_step(mesh,time_scheme, nstep)
203   
204#----------------------------- Base class for dynamics ------------------------
205
206class Caldyn:
207    def __init__(self,mesh):
208        self.mesh=mesh
209        fps, ftheta, fmass = mesh.field_ps, mesh.field_theta, mesh.field_mass
210        fw, fu, fz = mesh.field_w, mesh.field_u, mesh.field_z
211        self.ps, self.ms, self.dms       = fps(), fps(), fps()
212        self.s, self.hs, self.dhs        = ftheta(), ftheta(), ftheta()
213        self.pk, self.berni, self.geopot, self.hflux = fmass(),fmass(),fw(),fu()
214        self.qu, self.qv                 = fu(),fz()
215        self.fmass, self.ftheta, self.fu, self.fw = fmass, ftheta, fu, fw
216    def bwd_fast_slow(self, flow, tau):
217        global elapsed
218        time1=time.time()
219        flow,fast,slow = self._bwd_fast_slow_(flow,tau)
220        time2=time.time()
221        elapsed=elapsed+time2-time1
222        return flow,fast,slow
223
224# when calling caldyn_unstructured, arrays for tendencies must be re-created each time
225# to avoid overwriting in the same memory space when time scheme is multi-stage
226
227#-------------------------- Shallow-water dynamics ---------------------
228
229class Caldyn_RSW(Caldyn):
230    def __init__(self,mesh):
231        Caldyn.__init__(self,mesh)
232        setvars(('hydrostatic','caldyn_thermo','caldyn_eta'),
233                (True,thermo_boussinesq,eta_lag))
234        self.dhs = self.fmass()
235        dynamico_init_params()
236    def _bwd_fast_slow_(self, flow, tau):
237        h,u = flow
238        # h*s = h => uniform buoyancy s=1 => shallow-water
239        dh, du_slow, du_fast, hs, buf = self.fmass(), self.fu(), self.fu(), h.copy(), self.geopot
240        assert type(tau) is np_num, 'tau must be of type unstructured.np_num.'
241        ker.dynamico_caldyn_unstructured(tau, self.ms, h, hs, u, self.geopot, buf,
242                  self.s, self.ps, self.pk, self.hflux, self.qv,
243                  self.dms, dh, self.dhs, du_fast, du_slow,
244                  buf, buf, buf, buf)
245        return (h,u), (0.,du_fast), (dh,du_slow)
246
247#----------------------------------- HPE ------------------------------------
248
249class Caldyn_HPE(Caldyn):
250    def __init__(self,caldyn_thermo,caldyn_eta, mesh,thermo,BC,g):
251        Caldyn.__init__(self,mesh)
252        setvars(('hydrostatic','caldyn_thermo','caldyn_eta',
253                 'g','ptop','Rd','cpp','preff','Treff'),
254                (True,caldyn_thermo,caldyn_eta,
255                 g,BC.ptop,thermo.Rd,thermo.Cpd,thermo.p0,thermo.T0))
256        dynamico_init_params()
257    def _bwd_fast_slow_(self, flow, tau):
258        dm, dS, du_slow, du_fast, buf = self.fmass(), self.ftheta(), self.fu(), self.fu(), self.geopot
259        m,S,u = flow
260        ker.dynamico_caldyn_unstructured(tau, self.ms, m, S, u, self.geopot, buf,
261                  self.s, self.ps, self.pk, self.hflux, self.qv,
262                  self.dms, dm, dS, du_fast, du_slow,
263                  buf, buf, buf, buf)
264        return (m,S,u), (0.,0.,du_fast), (dm,dS,du_slow)
265
266#----------------------------------- NH ------------------------------------
267
268class Caldyn_NH(Caldyn):
269    def __init__(self,caldyn_thermo,caldyn_eta, mesh,thermo,BC,g):
270        Caldyn.__init__(self,mesh)
271        setvars(('hydrostatic','caldyn_thermo','caldyn_eta',
272                 'g','ptop','Rd','cpp','preff','Treff',
273                 'pbot','rho_bot'),
274                (False,caldyn_thermo,caldyn_eta,
275                 g,BC.ptop,thermo.Rd,thermo.Cpd,thermo.p0,thermo.T0,
276                 BC.pbot.max(), BC.rho_bot.max()))
277        dynamico_init_params()
278    def bwd_fast_slow(self, flow, tau):
279        ftheta, fmass, fu, fw = self.ftheta, self.fmass, self.fu, self.fw
280        dm, dS, du_slow, du_fast = fmass(), ftheta(), fu(), fu()
281        dPhi_slow, dPhi_fast, dW_slow, dW_fast = fw(), fw(), fw(), fw()
282        m,S,u,Phi,W = flow
283        ker.dynamico_caldyn_unstructured(tau, self.ms, m, S, u, Phi, W,
284                  self.s, self.ps, self.pk, self.hflux, self.qv,
285                  self.dms, dm, dS, du_fast, du_slow,
286                  dPhi_fast, dPhi_slow, dW_fast, dW_slow)
287        return ((m,S,u,Phi,W), (0.,0.,du_fast,dPhi_fast,dW_fast), 
288                (dm,dS,du_slow,dPhi_slow,dW_slow))
289
290#------------------------ Copy mesh info to Fortran side -------------------
291
292def init_mesh(llm, nqdyn, edge_num, primal_num, dual_num,
293              max_trisk_deg, max_primal_deg, max_dual_deg,
294              primal_nb, primal_edge, primal_ne,
295              dual_nb,dual_edge,dual_ne,dual_vertex, 
296              left,right,down,up,trisk_deg,trisk,
297              Ai, Av, fv, le_de, Riv2, wee):
298
299    DEBUG('Types of Ai, Av, fv, le_de, Riv2, wee : %s' % 
300          ((Ai.dtype,Av.dtype,fv.dtype,le_de.dtype,Riv2.dtype,wee.dtype),) )
301    for var,varname in zip((Ai,Av,fv,le_de,Riv2,wee), ('Ai','Av','fv','le_de','Riv2','wee')):
302        assert var.dtype == np.float64, '%s must be double precision'%varname
303
304    setvars( ('llm','nqdyn','edge_num','primal_num','dual_num',
305              'max_trisk_deg','max_primal_deg','max_dual_deg'),
306             (llm, nqdyn, edge_num, primal_num, dual_num, 
307              max_trisk_deg, max_primal_deg, max_dual_deg) )       
308    INFO('init_mesh ...')
309    ker.dynamico_init_mesh(primal_nb,primal_edge,primal_ne,
310              dual_nb,dual_edge,dual_ne,dual_vertex,
311              left,right,down,up,trisk_deg,trisk)
312    INFO('...done')
313    INFO('init_metric ...')
314    ker.dynamico_init_metric(Ai,Av,fv,le_de,Riv2,wee)
315    INFO('...done')
316
317#------------------------ Mesh partitioning ------------------------
318
319# Helper functions and interface to ParMETIS
320# loc_stencil returns the start/end indices (vtxdist) expected by ParMETIS
321# i.e. index[start:end] with start=vtxdist[cell], end=vtxdist[cell+1] lists the edges of cell 'cell'
322
323def loc_stencil(degree, stencil):
324    loc=0
325    for i in range(degree.size):
326        yield loc
327        loc=loc+degree[i]
328    yield loc
329
330def partition_mesh(degree, stencil, nparts): 
331    # arguments : PArray1D and PArray2D describing mesh, number of desired partitions
332    dim_cell, degree, stencil = degree.dim, degree.data, stencil.data
333    comm, vtxdist, idx_start, idx_end = dim_cell.comm, dim_cell.vtxdist, dim_cell.start, dim_cell.end
334    mpi_rank, mpi_size = comm.Get_rank(), comm.Get_size()
335    adjncy_loc, xadj_loc = list_stencil(degree, stencil), loc_stencil(degree, stencil)
336    adjncy_loc, xadj_loc = [np.asarray(list(x), dtype=np.int32) for x in (adjncy_loc, xadj_loc)]
337    owner = np.zeros(idx_end-idx_start, dtype=np.int32);
338    ker.dynamico_partition_graph(mpi_rank, mpi_size, vtxdist, xadj_loc, adjncy_loc, nparts, owner)
339    return owner
Note: See TracBrowser for help on using the repository browser.