source: XIOS3/branches/xios-3.0-beta/src/io/onetcdf4.cpp @ 2478

Last change on this file since 2478 was 2478, checked in by jderouillat, 16 months ago

Add tunable output chunking. The user can specify a chunking_blocksize_target (in Mo, default = 20) as a field attribute, and the chunking dimensions in domain/axis definition through the attributes : (chunking_weight_i, chunking_weight_j)/chunking_weight. Weights are relativized for more or less chunking along the directions concerned

  • Property copyright set to
    Software name : XIOS (Xml I/O Server)
    http://forge.ipsl.jussieu.fr/ioserver
    Creation date : January 2009
    Licence : CeCCIL version2
    see license file in root directory : Licence_CeCILL_V2-en.txt
    or http://www.cecill.info/licences/Licence_CeCILL_V2-en.html
    Holder : CEA/LSCE (Laboratoire des Sciences du CLimat et de l'Environnement)
    CNRS/IPSL (Institut Pierre Simon Laplace)
    Project Manager : Yann Meurdesoif
    yann.meurdesoif@cea.fr
File size: 30.4 KB
RevLine 
[528]1#include <fstream>
2
[219]3#include "onetcdf4.hpp"
[352]4#include "group_template.hpp"
[382]5#include "mpi.hpp"
[379]6#include "netcdf.hpp"
[498]7#include "netCdfInterface.hpp"
8#include "netCdfException.hpp"
[1158]9#include "timer.hpp"
[219]10
[335]11namespace xios
[219]12{
13      /// ////////////////////// Définitions ////////////////////// ///
14
[686]15      CONetCDF4::CONetCDF4(const StdString& filename, bool append, bool useClassicFormat,
[878]16                                                        bool useCFConvention,
[1639]17                           const MPI_Comm* comm, bool multifile, const StdString& timeCounterName)
[686]18        : path()
19        , wmpi(false)
20        , useClassicFormat(useClassicFormat)
[878]21        , useCFConvention(useCFConvention)
[219]22      {
[878]23         this->initialize(filename, append, useClassicFormat, useCFConvention, comm, multifile, timeCounterName);
[219]24      }
[498]25
[219]26      //---------------------------------------------------------------
[286]27
[219]28      CONetCDF4::~CONetCDF4(void)
29      {
30      }
31
32      ///--------------------------------------------------------------
33
[878]34      void CONetCDF4::initialize(const StdString& filename, bool append, bool useClassicFormat, bool useCFConvention, 
[1639]35                                 const MPI_Comm* comm, bool multifile, const StdString& timeCounterName)
[219]36      {
[517]37         this->useClassicFormat = useClassicFormat;
[878]38         this->useCFConvention = useCFConvention;
[517]39
40         int mode = useClassicFormat ? 0 : NC_NETCDF4;
[605]41
42         // Don't use parallel mode if there is only one process
43         if (comm)
44         {
45            int commSize = 0;
[1639]46            MPI_Comm_size(*comm, &commSize);
[605]47            if (commSize <= 1)
48               comm = NULL;
49         }
50         wmpi = comm && !multifile;
51
52         if (wmpi)
[517]53            mode |= useClassicFormat ? NC_PNETCDF : NC_MPIIO;
54
[528]55         // If the file does not exist, we always create it
56         if (!append || !std::ifstream(filename.c_str()))
[219]57         {
[1158]58            CTimer::get("Files : create").resume();
[605]59            if (wmpi)
[1639]60               CNetCdfInterface::createPar(filename, mode, *comm, MPI_INFO_NULL, this->ncidp);
[605]61            else
62               CNetCdfInterface::create(filename, mode, this->ncidp);
[1158]63            CTimer::get("Files : create").suspend();
64 
[528]65            this->appendMode = false;
[219]66         }
67         else
68         {
[528]69            mode |= NC_WRITE;
[1158]70            CTimer::get("Files : open").resume();
[605]71            if (wmpi)
[1639]72               CNetCdfInterface::openPar(filename, mode, *comm, MPI_INFO_NULL, this->ncidp);
[605]73            else
74               CNetCdfInterface::open(filename, mode, this->ncidp);
[1158]75            CTimer::get("Files : open").suspend();
[528]76            this->appendMode = true;
[219]77         }
[517]78
79         // If the classic NetCDF format is used, we enable the "no-fill mode" globally.
80         // This is done per variable for the NetCDF4 format.
81         if (useClassicFormat)
[606]82            CNetCdfInterface::setFill(this->ncidp, false);
[802]83
84         this->timeCounterName = timeCounterName;
[219]85      }
[498]86
[286]87      void CONetCDF4::close()
88      {
[1158]89        CTimer::get("Files : close").resume();
[686]90        CNetCdfInterface::close(this->ncidp);
[1158]91        CTimer::get("Files : close").suspend();
[286]92      }
[498]93
[219]94      //---------------------------------------------------------------
[498]95
[219]96      void CONetCDF4::definition_start(void)
[498]97      {
[686]98         CNetCdfInterface::reDef(this->ncidp);
[219]99      }
[498]100
[219]101      //---------------------------------------------------------------
[498]102
[219]103      void CONetCDF4::definition_end(void)
104      {
[686]105         CNetCdfInterface::endDef(this->ncidp);
[219]106      }
107
108      //---------------------------------------------------------------
[498]109
[219]110      int CONetCDF4::getCurrentGroup(void)
111      {
[686]112         return this->getGroup(this->getCurrentPath());
[219]113      }
[498]114
[219]115      //---------------------------------------------------------------
[498]116
[686]117      int CONetCDF4::getGroup(const CONetCDF4Path& path)
[219]118      {
119         int retvalue = this->ncidp;
[498]120
[686]121         CONetCDF4Path::const_iterator it = path.begin(), end = path.end();
[219]122
[686]123         for (; it != end; it++)
[219]124         {
[686]125            const StdString& groupid = *it;
126            CNetCdfInterface::inqNcId(retvalue, groupid, retvalue);
[219]127         }
[686]128         return retvalue;
[219]129      }
[498]130
[219]131      //---------------------------------------------------------------
[498]132
[686]133      int CONetCDF4::getVariable(const StdString& varname)
[219]134      {
135         int varid = 0;
136         int grpid = this->getCurrentGroup();
[686]137         CNetCdfInterface::inqVarId(grpid, varname, varid);
138         return varid;
[219]139      }
[498]140
[219]141      //---------------------------------------------------------------
[498]142
[686]143      int CONetCDF4::getDimension(const StdString& dimname)
[219]144      {
145         int dimid = 0;
146         int grpid = this->getCurrentGroup();
[686]147         CNetCdfInterface::inqDimId(grpid, dimname, dimid);
148         return dimid;
[219]149      }
[498]150
[219]151      //---------------------------------------------------------------
[498]152
[219]153      int CONetCDF4::getUnlimitedDimension(void)
154      {
155         int dimid = 0;
156         int grpid = this->getCurrentGroup();
[686]157         CNetCdfInterface::inqUnLimDim(grpid, dimid);
158         return dimid;
[219]159      }
[498]160
[266]161      StdString CONetCDF4::getUnlimitedDimensionName(void)
162      {
163         int grpid = this->getGroup(path);
164         int dimid = this->getUnlimitedDimension();
[498]165
166         StdString dimname;
[686]167         if (dimid != -1)
168           CNetCdfInterface::inqDimName(grpid, dimid, dimname);
169         return dimname;
[266]170      }
[498]171
[219]172      //---------------------------------------------------------------
[498]173
[686]174      std::vector<StdSize> CONetCDF4::getDimensions(const StdString& varname)
[219]175      {
176         StdSize size = 0;
177         std::vector<StdSize> retvalue;
178         int grpid = this->getCurrentGroup();
179         int varid = this->getVariable(varname);
180         int nbdim = 0, *dimid = NULL;
181
[686]182         CNetCdfInterface::inqVarNDims(grpid, varid, nbdim);
[219]183         dimid = new int[nbdim]();
[686]184         CNetCdfInterface::inqVarDimId(grpid, varid, dimid);
[219]185
186         for (int i = 0; i < nbdim; i++)
187         {
[686]188            CNetCdfInterface::inqDimLen(grpid, dimid[i], size);
[219]189            if (size == NC_UNLIMITED)
190                size = UNLIMITED_DIM;
191            retvalue.push_back(size);
192         }
[401]193         delete [] dimid;
[686]194         return retvalue;
[219]195      }
196
[686]197      std::vector<std::string> CONetCDF4::getDimensionsIdList(const std::string* _varname)
[266]198      {
[498]199         int nDimNull = 0;
[266]200         int nbdim = 0, *dimid = NULL;
201         int grpid = this->getCurrentGroup();
202         int varid = (_varname != NULL) ? this->getVariable(*_varname) : NC_GLOBAL;
203         std::vector<std::string> retvalue;
[498]204
[266]205         if (_varname != NULL)
206         {
[686]207            CNetCdfInterface::inqVarNDims(grpid, varid, nbdim);
[266]208            dimid = new int[nbdim]();
[686]209            CNetCdfInterface::inqVarDimId(grpid, varid, dimid);
[266]210         }
211         else
212         {
[686]213            CNetCdfInterface::inqDimIds(grpid, nbdim, NULL, 1);
[266]214            dimid = new int[nbdim]();
[686]215            CNetCdfInterface::inqDimIds(grpid, nDimNull, dimid, 1);
[266]216         }
[498]217
[266]218         for (int i = 0; i < nbdim; i++)
219         {
[498]220            std::string dimname;
[686]221            CNetCdfInterface::inqDimName(grpid, dimid[i], dimname);
[266]222            retvalue.push_back(dimname);
223         }
224         delete [] dimid;
[498]225
[686]226         return retvalue;
[266]227      }
228
[219]229      //---------------------------------------------------------------
230
[707]231      void CONetCDF4::getTimeAxisBounds(CArray<double,2>& timeAxisBounds, const StdString& name, bool collective)
232      {
233        int grpid = this->getCurrentGroup();
234        int varid = this->getVariable(name);
235
236        std::vector<StdSize> start(2), count(2);
237        start[0] = 0;
238        // Find out how many temporal records have been written already to the file we are opening
239        int ncUnlimitedDimId;
240        CNetCdfInterface::inqUnLimDim(this->ncidp, ncUnlimitedDimId);
241        CNetCdfInterface::inqDimLen(this->ncidp, ncUnlimitedDimId, count[0]);
242        start[1] = 0;
243        count[1] = 2;
244
245        timeAxisBounds.resize(count[1], count[0]);
246
247        if (this->wmpi && collective)
248          CNetCdfInterface::varParAccess(grpid, varid, NC_COLLECTIVE);
249        if (this->wmpi && !collective)
250          CNetCdfInterface::varParAccess(grpid, varid, NC_INDEPENDENT);
251
252        CNetCdfInterface::getVaraType(grpid, varid, &start[0], &count[0], timeAxisBounds.dataFirst());
253      }
254
[1158]255      void CONetCDF4::getTimeAxisBounds(CArray<double,2>& timeAxisBounds, const StdString& name, bool collective, size_t record)
256      {
257        int grpid = this->getCurrentGroup();
258        int varid = this->getVariable(name);
[707]259
[1158]260        std::vector<StdSize> start(2), count(2);
261        start[0] = record;
262        count[0] = 1 ;
263        start[1] = 0;
264        count[1] = 2;
265
266        timeAxisBounds.resize(2, 1);
267
268        if (this->wmpi && collective)
269          CNetCdfInterface::varParAccess(grpid, varid, NC_COLLECTIVE);
270        if (this->wmpi && !collective)
271          CNetCdfInterface::varParAccess(grpid, varid, NC_INDEPENDENT);
272
273        CNetCdfInterface::getVaraType(grpid, varid, &start[0], &count[0], timeAxisBounds.dataFirst());
274      }
275
276
277
[686]278      const CONetCDF4::CONetCDF4Path& CONetCDF4::getCurrentPath(void) const
279      { return this->path; }
[219]280
[686]281      void CONetCDF4::setCurrentPath(const CONetCDF4Path& path)
[219]282      { this->path = path; }
283
284      //---------------------------------------------------------------
285
[686]286      int CONetCDF4::addGroup(const StdString& name)
[219]287      {
288         int retvalue = 0;
289         int grpid = this->getCurrentGroup();
[686]290         CNetCdfInterface::defGrp(grpid, name, retvalue);
291         return retvalue;
[219]292      }
[498]293
[219]294      //---------------------------------------------------------------
[498]295
[219]296      int CONetCDF4::addDimension(const StdString& name, const StdSize size)
297      {
298         int retvalue = 0;
299         int grpid = this->getCurrentGroup();
300         if (size != UNLIMITED_DIM)
[686]301            CNetCdfInterface::defDim(grpid, name, size, retvalue);
[219]302         else
[686]303            CNetCdfInterface::defDim(grpid, name, NC_UNLIMITED, retvalue);
304         return retvalue;
[219]305      }
[498]306
[219]307      //---------------------------------------------------------------
[498]308
[686]309      int CONetCDF4::addVariable(const StdString& name, nc_type type,
[1456]310                                 const std::vector<StdString>& dim, int compressionLevel)
[219]311      {
[350]312         int varid = 0;
[219]313         std::vector<int> dimids;
[606]314         std::vector<StdSize> dimsizes;
[857]315         int dimSize = dim.size();
[2478]316
317         int grpid = this->getCurrentGroup();
318
319         std::vector<StdString>::const_iterator it = dim.begin(), end = dim.end();
320
321         for (int idx = 0; it != end; it++, ++idx)
322         {
323            const StdString& dimid = *it;
324            dimids.push_back(this->getDimension(dimid));
325         }
326
327         CNetCdfInterface::defVar(grpid, name, type, dimids.size(), &dimids[0], varid);
[878]328         
[2478]329         return varid;
330      }
331
332      //---------------------------------------------------------------
333
334      int CONetCDF4::addChunk(CField* field, nc_type type,
335                              const std::vector<StdString>& dim, int compressionLevel)
336      {
337         const StdString& name = field->getFieldOutputName();
338         int varid = 0;
339         std::vector<StdSize> dimsizes;
340         int dimSize = dim.size();
341         
[606]342         StdSize size;
343         StdSize totalSize;
[498]344
[2478]345         // default chunk size         
346         StdSize maxSize = 1024 * 1024 * 20; // = 20 Mo (exp using large NEMO like grids)
347         StdSize targetSize = maxSize;
348         if (!field->chunking_blocksize_target.isEmpty())
349         {
350           targetSize = field->chunking_blocksize_target.getValue()*1024*1024;
351         }
352         StdSize recordSize = 1; //sizeof(type);
353         if (field->prec.isEmpty()) recordSize *= 4;
354         else recordSize *= field->prec;
355
[219]356         int grpid = this->getCurrentGroup();
[498]357
[606]358         std::vector<StdString>::const_iterator it = dim.begin(), end = dim.end();
[219]359
[878]360         for (int idx = 0; it != end; it++, ++idx)
[219]361         {
[686]362            const StdString& dimid = *it;
[606]363            CNetCdfInterface::inqDimLen(grpid, this->getDimension(dimid), size);
364            if (size == NC_UNLIMITED) size = 1;
[2478]365            recordSize *= size;
[606]366            dimsizes.push_back(size);
[219]367         }
[2478]368         double chunkingRatio = (double)recordSize / (double)targetSize;
[453]369
[2478]370         varid = this->getVariable(name);
[498]371
[517]372         // The classic NetCDF format does not support chunking nor fill parameters
373         if (!useClassicFormat)
[453]374         {
[2478]375            // Browse field's elements (domain, axis) and NetCDF meta-data to retrieve corresponding chunking coefficients
376            //   in the file order !
377            CGrid* grid = field->getGrid();
378            std::vector<CDomain*> domains = grid->getDomains();
379            std::vector<CAxis*> axis = grid->getAxis();
380
381            std::vector<double> userChunkingWeights; // store chunking coefficients defined by users
382            std::vector<StdString>::const_reverse_iterator itId = dim.rbegin(); // NetCDF is fed using dim, see this::addVariable()
383            int elementIdx(0);
384            int outerAxis(-1), outerDomJ(-1), outerDomI(-1);
385            for (vector<StdSize>::reverse_iterator itDim = dimsizes.rbegin(); itDim != dimsizes.rend(); ++itDim, ++itId, ++elementIdx)
[517]386            {
[2478]387              bool isAxis(false);
388              for ( auto ax : axis )
389              {
390                StdString axisDim;
391                // Rebuild axis name from axis before comparing
392                if (ax->dim_name.isEmpty()) axisDim = ax->getAxisOutputName();
393                else axisDim=ax->dim_name.getValue();
394                if (axisDim == *itId)
395                {
396                  if (!ax->chunking_weight.isEmpty()) userChunkingWeights.push_back( ax->chunking_weight.getValue() );
397                  else userChunkingWeights.push_back( 0. );
398                  isAxis = true;
399                  outerAxis = elementIdx; // Going backward in dimsizes, overwriting will keep outer
400                  break;
401                }
402              } // end scanning axis
403              bool isDomain(false);
404              for ( auto dom : domains )
405              {
406                StdString axisDim;
407                // Rebuild axis I name from domain before comparing
408                if (!dom->dim_i_name.isEmpty()) axisDim = dom->dim_i_name.getValue();
409                else
410                {
411                  if (dom->type==CDomain::type_attr::curvilinear)  axisDim="x";
412                  if (dom->type==CDomain::type_attr::unstructured) axisDim="cell";
413                  if (dom->type==CDomain::type_attr::rectilinear)  axisDim="lon";
414                }
415                if (axisDim == *itId)
416                {
417                  if (!dom->chunking_weight_i.isEmpty()) userChunkingWeights.push_back( dom->chunking_weight_i.getValue() );
418                  else userChunkingWeights.push_back( 0. );
419                  isDomain = true;
420                  outerDomI = elementIdx; // Going backward in dimsizes, overwriting will keep outer
421                  break;
422                }
423                // Rebuild axis J name from domain before comparing
424                if (!dom->dim_j_name.isEmpty()) axisDim = dom->dim_j_name.getValue();
425                else {
426                  if (dom->type==CDomain::type_attr::curvilinear)  axisDim="y";
427                  if (dom->type==CDomain::type_attr::rectilinear)  axisDim="lat";
428                }
429                if (axisDim == *itId)
430                {
431                  if (!dom->chunking_weight_j.isEmpty()) userChunkingWeights.push_back( dom->chunking_weight_j.getValue() );
432                  else userChunkingWeights.push_back( 0. );
433                  outerDomJ = elementIdx; // Going backward in dimsizes, overwriting will keep outer
434                  isDomain = true;
435                  break;
436                }
437              } // end scanning domain
438              // No chunking applied on scalars or time
439              if ((!isAxis)&&(!isDomain))
440              {
441                userChunkingWeights.push_back( 0. );
442              }
[517]443            }
[2478]444
445            double sumChunkingWeights(0);
446            for (int i=0;i<userChunkingWeights.size();i++) sumChunkingWeights += userChunkingWeights[i];
447            if ( (!sumChunkingWeights) && (chunkingRatio > 1) )
448            {
449              if (outerAxis!=-1) userChunkingWeights[outerAxis] = 1;      // chunk along outer axis
450              else if (outerDomJ!=-1) userChunkingWeights[outerDomJ] = 1; // if no axis ? -> along j
451              else if (outerDomI!=-1) userChunkingWeights[outerDomI] = 1; // if no j      -> along i
452              else {;}
453            }
454
455            int countChunkingDims(0); // number of dimensions on which chunking is operated : algo uses pow(value, 1/countChunkingDims)
456            double normalizingWeight(0); // use to relativize chunking coefficients for all dimensions
457            for (int i=0;i<userChunkingWeights.size();i++)
458              if (userChunkingWeights[i]>0.)
459              {
460                countChunkingDims++;
461                normalizingWeight = userChunkingWeights[i];
462              }
463
464            std::vector<double> chunkingRatioPerDims; // will store coefficients used to compute chunk size
465            double productRatios = 1; // last_coeff = pow( shrink_ratio / (product of all ratios), 1/countChunkingDims )
466            for (int i=0;i<userChunkingWeights.size();i++)
467            {
468              chunkingRatioPerDims.push_back( userChunkingWeights[i] / normalizingWeight );
469              if (chunkingRatioPerDims[i]) productRatios *= chunkingRatioPerDims[i];
470            }
471            for (int i=0;i<userChunkingWeights.size();i++)
472            {
473              chunkingRatioPerDims[i] *= pow( chunkingRatio / productRatios, 1./countChunkingDims );
474            }
475           
476            std::vector<double>::iterator itChunkingRatios = chunkingRatioPerDims.begin();
477            //itId = dim.rbegin();
478            double correctionFromPreviousDim = 1.;
479            for (vector<StdSize>::reverse_iterator itDim = dimsizes.rbegin(); itDim != dimsizes.rend(); ++itDim, ++itChunkingRatios, ++itId)
480            {
481              *itChunkingRatios *= correctionFromPreviousDim;
482              correctionFromPreviousDim = 1;
483              if (*itChunkingRatios > 1) // else target larger than size !
484              {
485                StdSize dimensionSize = *itDim;
486                //info(0) << *itId << " " << *itDim << " " << *itChunkingRatios << " " << (*itDim)/(*itChunkingRatios) << endl;
487                *itDim = ceil( *itDim / ceil(*itChunkingRatios) );
488                correctionFromPreviousDim = *itChunkingRatios/ ((double)dimensionSize/(*itDim));
489              }
490            }
[857]491            int storageType = (0 == dimSize) ? NC_CONTIGUOUS : NC_CHUNKED;
492            CNetCdfInterface::defVarChunking(grpid, varid, storageType, &dimsizes[0]);
[517]493            CNetCdfInterface::defVarFill(grpid, varid, true, NULL);
[453]494         }
495
[1456]496         setCompressionLevel(name, compressionLevel) ;
497         
[606]498         return varid;
[219]499      }
500
501      //---------------------------------------------------------------
502
[606]503      void CONetCDF4::setCompressionLevel(const StdString& varname, int compressionLevel)
504      {
[607]505         if (compressionLevel < 0 || compressionLevel > 9)
506           ERROR("void CONetCDF4::setCompressionLevel(const StdString& varname, int compressionLevel)",
507                 "Invalid compression level for variable \"" << varname << "\", the value should range between 0 and 9.");
508         if (compressionLevel && wmpi)
509           ERROR("void CONetCDF4::setCompressionLevel(const StdString& varname, int compressionLevel)",
510                 "Impossible to use compression for variable \"" << varname << "\" when using parallel mode.");
511
[606]512         int grpid = this->getCurrentGroup();
513         int varid = this->getVariable(varname);
514         CNetCdfInterface::defVarDeflate(grpid, varid, compressionLevel);
515      }
516
517      //---------------------------------------------------------------
518
[219]519      template <>
[686]520      void CONetCDF4::addAttribute(const StdString& name, const StdString& value, const StdString* varname)
[219]521      {
522         int grpid = this->getCurrentGroup();
523         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]524         CNetCdfInterface::putAttType(grpid, varid, name, value.size(), value.c_str());
[219]525      }
[498]526
[219]527      //---------------------------------------------------------------
[498]528
[219]529      template <>
[686]530      void CONetCDF4::addAttribute(const StdString& name, const double& value, const StdString* varname)
[219]531      {
532         int grpid = this->getCurrentGroup();
533         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]534         CNetCdfInterface::putAttType(grpid, varid, name, 1, &value);
[219]535      }
[391]536
[686]537      template <>
538      void CONetCDF4::addAttribute(const StdString& name, const CArray<double,1>& value, const StdString* varname)
[391]539      {
540         int grpid = this->getCurrentGroup();
541         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]542         CNetCdfInterface::putAttType(grpid, varid, name, value.numElements(), value.dataFirst());
[498]543      }
[219]544      //---------------------------------------------------------------
[498]545
[219]546      template <>
[686]547      void CONetCDF4::addAttribute(const StdString& name, const float& value, const StdString* varname)
[219]548      {
549         int grpid = this->getCurrentGroup();
550         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]551         CNetCdfInterface::putAttType(grpid, varid, name, 1, &value);
[219]552      }
[391]553
[686]554      template <>
555      void CONetCDF4::addAttribute(const StdString& name, const CArray<float,1>& value, const StdString* varname)
[391]556      {
557         int grpid = this->getCurrentGroup();
558         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]559         CNetCdfInterface::putAttType(grpid, varid, name, value.numElements(), value.dataFirst());
[498]560      }
561
[219]562      //---------------------------------------------------------------
[498]563
[219]564      template <>
[686]565      void CONetCDF4::addAttribute(const StdString& name, const int& value, const StdString* varname)
[219]566      {
567         int grpid = this->getCurrentGroup();
568         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]569         CNetCdfInterface::putAttType(grpid, varid, name, 1, &value);
[219]570      }
571
[686]572      template <>
573      void CONetCDF4::addAttribute(const StdString& name, const CArray<int,1>& value, const StdString* varname)
[391]574      {
575         int grpid = this->getCurrentGroup();
576         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]577         CNetCdfInterface::putAttType(grpid, varid, name, value.numElements(), value.dataFirst());
[498]578      }
579
[472]580      template <>
[686]581      void CONetCDF4::addAttribute(const StdString& name, const short int& value, const StdString* varname)
[472]582      {
583         int grpid = this->getCurrentGroup();
584         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]585         CNetCdfInterface::putAttType(grpid, varid, name, 1, &value);
[472]586      }
[219]587
[686]588      template <>
589      void CONetCDF4::addAttribute(const StdString& name, const CArray<short int,1>& value, const StdString* varname)
[472]590      {
591         int grpid = this->getCurrentGroup();
592         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]593         CNetCdfInterface::putAttType(grpid, varid, name, value.numElements(), value.dataFirst());
[498]594      }
595
[472]596      template <>
[686]597      void CONetCDF4::addAttribute(const StdString& name, const long int& value, const StdString* varname)
[472]598      {
599         int grpid = this->getCurrentGroup();
600         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]601         CNetCdfInterface::putAttType(grpid, varid, name, 1, &value);
[472]602      }
603
[686]604      template <>
605      void CONetCDF4::addAttribute(const StdString& name, const CArray<long int,1>& value, const StdString* varname)
[472]606      {
607         int grpid = this->getCurrentGroup();
608         int varid = (varname == NULL) ? NC_GLOBAL : this->getVariable(*varname);
[686]609         CNetCdfInterface::putAttType(grpid, varid, name, value.numElements(), value.dataFirst());
[498]610      }
611
[686]612      //---------------------------------------------------------------
[498]613
[686]614      void CONetCDF4::getWriteDataInfos(const StdString& name, StdSize record, StdSize& array_size,
615                                        std::vector<StdSize>& sstart,
616                                        std::vector<StdSize>& scount,
617                                        const std::vector<StdSize>* start,
618                                        const std::vector<StdSize>* count)
[498]619      {
[266]620         std::vector<std::size_t> sizes  = this->getDimensions(name);
[857]621         if (sizes.size()==0) 
[266]622         {
[2264]623           
624            if ((start != NULL) && (count != NULL) && start->size()==1 && count->size()==1) // pur scalar case
625              array_size*=(*count)[0] ;
626            else array_size=1 ;
[266]627         }
[857]628         else
629         {
630           std::vector<std::string> iddims = this->getDimensionsIdList (&name);
631           std::vector<std::size_t>::const_iterator
632           it  = sizes.begin(), end = sizes.end();
633           int i = 0;
[219]634
[857]635           if (iddims.begin()->compare(timeCounterName) == 0)
636           {
637             sstart.push_back(record);
638             scount.push_back(1);
[2264]639             if ((start == NULL) && (count == NULL)) i++;
640             it++;
641             if (it==end)
642             {
643               if ((start != NULL) && (count != NULL) && start->size()==1 && count->size()==1) // pur scalar case
644               {
645                 scount[0]=(*count)[0] ;
646                 array_size *= (*count)[0];
647               }
648             }
[857]649           }
[2264]650           
[857]651           for (;it != end; it++)
652           {
653              if ((start != NULL) && (count != NULL))
654              {
655                 sstart.push_back((*start)[i]);
656                 scount.push_back((*count)[i]);
657                 array_size *= (*count)[i];
658                 i++;
659              }
660              else
661              {
662                 sstart.push_back(0);
663                 scount.push_back(sizes[i]);
664                 array_size *= sizes[i];
665                 i++;
666              }
667           }
668
[219]669         }
670      }
[498]671
[857]672
[219]673      template <>
[686]674      void CONetCDF4::writeData_(int grpid, int varid,
675                                 const std::vector<StdSize>& sstart,
676                                 const std::vector<StdSize>& scount, const double* data)
[219]677      {
[686]678         CNetCdfInterface::putVaraType(grpid, varid, &sstart[0], &scount[0], data);
[219]679      }
[498]680
[219]681      //---------------------------------------------------------------
[498]682
[219]683      template <>
[686]684      void CONetCDF4::writeData_(int grpid, int varid,
685                                 const std::vector<StdSize>& sstart,
[1158]686                                 const std::vector<StdSize>& scount, char* data)
687      {
688          CNetCdfInterface::putVaraType(grpid, varid, &sstart[0], &scount[0], data);
689      }
690     
691      template <>
692      void CONetCDF4::writeData_(int grpid, int varid,
693                                 const std::vector<StdSize>& sstart,
[686]694                                 const std::vector<StdSize>& scount, const int* data)
[219]695      {
[686]696          CNetCdfInterface::putVaraType(grpid, varid, &sstart[0], &scount[0], data);
[219]697      }
698      //---------------------------------------------------------------
[498]699
[219]700      template <>
[686]701      void CONetCDF4::writeData_(int grpid, int varid,
702                                 const std::vector<StdSize>& sstart,
[1957]703                                 const std::vector<StdSize>& scount, const size_t* data)
704      {
705          CNetCdfInterface::putVaraType(grpid, varid, &sstart[0], &scount[0], data);
706      }
707      //---------------------------------------------------------------
708
709      template <>
710      void CONetCDF4::writeData_(int grpid, int varid,
711                                 const std::vector<StdSize>& sstart,
[686]712                                 const std::vector<StdSize>& scount, const float* data)
[219]713      {
[686]714          CNetCdfInterface::putVaraType(grpid, varid, &sstart[0], &scount[0], data);
[219]715      }
716
717      //---------------------------------------------------------------
718
[686]719      void CONetCDF4::writeData(const CArray<int, 2>& data, const StdString& name)
[219]720      {
721         int grpid = this->getCurrentGroup();
722         int varid = this->getVariable(name);
[2264]723         
[219]724         StdSize array_size = 1;
725         std::vector<StdSize> sstart, scount;
726
727         this->getWriteDataInfos(name, 0, array_size,  sstart, scount, NULL, NULL);
[1158]728
[369]729         this->writeData_(grpid, varid, sstart, scount, data.dataFirst());
[1158]730
[219]731      }
732
[686]733      void CONetCDF4::writeTimeAxisData(const CArray<double, 1>& data, const StdString& name,
[413]734                                        bool collective, StdSize record, bool isRoot)
735      {
736         int grpid = this->getCurrentGroup();
737         int varid = this->getVariable(name);
[498]738
[686]739         map<int,size_t>::iterator it=timeAxis.find(varid);
740         if (it == timeAxis.end()) timeAxis[varid] = record;
[498]741         else
[413]742         {
[686]743           if (it->second >= record) return;
744           else it->second =record;
[413]745         }
[498]746
[413]747         StdSize array_size = 1;
748         std::vector<StdSize> sstart, scount;
[498]749
[413]750         if (this->wmpi && collective)
[686]751            CNetCdfInterface::varParAccess(grpid, varid, NC_COLLECTIVE);
[413]752         if (this->wmpi && !collective)
[686]753            CNetCdfInterface::varParAccess(grpid, varid, NC_INDEPENDENT);
[498]754
[413]755         this->getWriteDataInfos(name, record, array_size,  sstart, scount, NULL, NULL);
[1158]756         this->writeData_(grpid, varid, sstart, scount, data.dataFirst());
757       }
758
759      void CONetCDF4::writeTimeAxisDataBounds(const CArray<double, 1>& data, const StdString& name,
760                                        bool collective, StdSize record, bool isRoot)
761      {
762         int grpid = this->getCurrentGroup();
763         int varid = this->getVariable(name);
764
765         map<int,size_t>::iterator it=timeAxis.find(varid);
766         if (it == timeAxis.end()) timeAxis[varid] = record;
767         else
[686]768         {
[1158]769           if (it->second >= record) return;
770           else it->second =record;
[686]771         }
[1158]772
773         StdSize array_size = 1;
774         std::vector<StdSize> sstart, scount;
775
776         if (this->wmpi && collective)
777            CNetCdfInterface::varParAccess(grpid, varid, NC_COLLECTIVE);
778         if (this->wmpi && !collective)
779            CNetCdfInterface::varParAccess(grpid, varid, NC_INDEPENDENT);
780
781         this->getWriteDataInfos(name, record, array_size,  sstart, scount, NULL, NULL);
[413]782         this->writeData_(grpid, varid, sstart, scount, data.dataFirst());
783       }
784
[1158]785
[219]786      //---------------------------------------------------------------
[498]787
[686]788      bool CONetCDF4::varExist(const StdString& varname)
[219]789      {
790         int grpid = this->getCurrentGroup();
[686]791         return CNetCdfInterface::isVarExisted(grpid, varname);
[219]792      }
793
[878]794      bool CONetCDF4::dimExist(const StdString& dimname)
795      {
796         int grpid = this->getCurrentGroup();
797         return CNetCdfInterface::isDimExisted(grpid, dimname);
798      }
799
[286]800      void CONetCDF4::sync(void)
801      {
[686]802         CNetCdfInterface::sync(this->ncidp);
[498]803      }
[219]804      ///--------------------------------------------------------------
[337]805 } // namespace xios
Note: See TracBrowser for help on using the repository browser.