source: XIOS/trunk/src/node/grid.hpp @ 586

Last change on this file since 586 was 586, checked in by mhnguyen, 9 years ago

Fixing some bugs on writting non-distributed data

+) Implement scalar grid: Allow to send scalar real data
+) Modify the way to compute the mapping of buffer size from one client to a server
+) Fix a bug of writting axis on one_file mode
+) Make some changes in test_new_features.f90 and test_complete.f90

Test
+) On Curie,
+) test_client and test_complete pass and results are correct

  • Property copyright set to
    Software name : XIOS (Xml I/O Server)
    http://forge.ipsl.jussieu.fr/ioserver
    Creation date : January 2009
    Licence : CeCCIL version2
    see license file in root directory : Licence_CeCILL_V2-en.txt
    or http://www.cecill.info/licences/Licence_CeCILL_V2-en.html
    Holder : CEA/LSCE (Laboratoire des Sciences du CLimat et de l'Environnement)
    CNRS/IPSL (Institut Pierre Simon Laplace)
    Project Manager : Yann Meurdesoif
    yann.meurdesoif@cea.fr
File size: 11.3 KB
Line 
1#ifndef __XMLIO_CGrid__
2#define __XMLIO_CGrid__
3
4/// xios headers ///
5#include "xmlioserver_spl.hpp"
6#include "group_factory.hpp"
7
8#include "declare_group.hpp"
9#include "domain.hpp"
10#include "axis.hpp"
11#include "array_new.hpp"
12#include "attribute_array.hpp"
13#include "distribution_client.hpp"
14#include "distribution_server.hpp"
15#include "server_distribution_description.hpp"
16#include "client_server_mapping.hpp"
17#include "utils.hpp"
18
19namespace xios {
20
21   /// ////////////////////// Déclarations ////////////////////// ///
22
23   class CGridGroup;
24   class CGridAttributes;
25   class CDomainGroup;
26   class CAxisGroup;
27   class CGrid;
28   class CDistributionClient;
29   class CDistributionServer;
30   class CServerDistributionDescription;
31   class CClientServerMapping;
32
33   ///--------------------------------------------------------------
34
35   // Declare/Define CGridAttribute
36   BEGIN_DECLARE_ATTRIBUTE_MAP(CGrid)
37#  include "grid_attribute.conf"
38     DECLARE_ATTRIBUTE(bool, scalar_grid)
39   END_DECLARE_ATTRIBUTE_MAP(CGrid)
40
41   ///--------------------------------------------------------------
42
43   class CGrid
44      : public CObjectTemplate<CGrid>
45      , public CGridAttributes
46   {
47         /// typedef ///
48         typedef CObjectTemplate<CGrid>   SuperClass;
49         typedef CGridAttributes SuperClassAttribute;
50
51      public :
52
53         typedef CGridAttributes RelAttributes;
54         typedef CGridGroup      RelGroup;
55
56         enum EEventId
57         {
58           EVENT_ID_INDEX, EVENT_ID_ADD_DOMAIN, EVENT_ID_ADD_AXIS
59         } ;
60
61         /// Constructeurs ///
62         CGrid(void);
63         explicit CGrid(const StdString & id);
64         CGrid(const CGrid & grid);       // Not implemented yet.
65         CGrid(const CGrid * const grid); // Not implemented yet.
66
67         /// Traitements ///
68//         void solveReference(void);
69
70         void solveDomainAxisRef(bool areAttributesChecked);
71
72         void checkMaskIndex(bool doCalculateIndex);
73
74 //        virtual void toBinary  (StdOStream & os) const;
75//         virtual void fromBinary(StdIStream & is);
76
77         /// Tests ///
78         bool hasAxis(void) const;
79
80      public :
81
82         /// Accesseurs ///
83         const std::deque< CArray<int, 1>* > & getStoreIndex(void) const;
84         const std::deque< CArray<int, 1>* > & getOutIIndex(void)  const;
85         const std::deque< CArray<int, 1>* > & getOutJIndex(void)  const;
86         const std::deque< CArray<int, 1>* > & getOutLIndex(void)  const;
87
88         const CAxis*   getRelAxis  (void) const;
89         const CDomain* getRelDomain(void) const;
90
91         StdSize getDimension(void) const;
92
93//         StdSize getLocalSize(void) const;
94//         StdSize getGlobalSize(void) const;
95         StdSize  getDataSize(void) const;
96//         std::vector<StdSize> getLocalShape(void) const;
97//         std::vector<StdSize> getGlobalShape(void) const;
98
99         /// Entrées-sorties de champs ///
100         template <int n>
101            void inputField(const CArray<double,n>& field, CArray<double,1>& stored) const;
102
103         void inputFieldServer(const std::deque< CArray<double, 1>* > storedClient,
104                               CArray<double, 1>&  storedServer) const;
105
106         void outputField(int rank, const CArray<double,1>& stored,  CArray<double,3>& field)  ;
107         void outputField(int rank, const CArray<double,1>& stored,  CArray<double,2>& field)  ;
108         void outputField(int rank, const CArray<double,1>& stored,  CArray<double,1>& field)  ;
109         void outputField(int rank, const CArray<double,1>& stored,  double* field);
110
111         virtual void parse(xml::CXMLNode & node);
112
113         /// Destructeur ///
114         virtual ~CGrid(void);
115
116      public :
117
118         /// Accesseurs statiques ///
119         static StdString GetName(void);
120         static StdString GetDefName(void);
121
122         static ENodeType GetType(void);
123
124         /// Instanciateurs Statiques ///
125         static CGrid* createGrid(CDomain* domain);
126         static CGrid* createGrid(CDomain* domain, CAxis* axis);
127         static CGrid* createGrid(std::vector<CDomain*> domains, std::vector<CAxis*> axis);
128
129      public :
130
131         /// Entrées-sorties de champs (interne) ///
132         void storeField_arr(const double * const data, CArray<double,1>& stored) const;
133
134         /// Traitements protégés ///
135         void computeIndexServer(void);
136         void computeIndex(void);
137         void computeIndexScalarGrid();
138
139         void solveDomainRef(bool checkAtt);
140         void solveAxisRef(bool checkAtt);
141         void solveDomainAxisRefInheritance(bool apply = true);
142
143         void sendAddDomain(const std::string& id="");
144         void sendAddAxis(const std::string& id="");
145         void sendAllDomains();
146         void sendAllAxis();
147
148         static void recvAddDomain(CEventServer& event) ;
149         void recvAddDomain(CBufferIn& buffer) ;
150         static void recvAddAxis(CEventServer& event) ;
151         void recvAddAxis(CBufferIn& buffer) ;
152
153         static bool dispatchEvent(CEventServer& event) ;
154         void outputFieldToServer(CArray<double,1>& fieldIn, int rank, CArray<double,1>& fieldOut) ;
155         static void recvIndex(CEventServer& event) ;
156         void recvIndex(int rank, CBufferIn& buffer) ;
157         void sendIndex(void) ;
158         void sendIndexScalarGrid();
159
160         void computeDomConServer();
161         std::map<int, int> getDomConServerSide();
162         std::map<int, StdSize> getConnectedServerDataSize();
163         std::vector<StdString> getDomainList();
164         std::vector<StdString> getAxisList();
165         std::vector<CDomain*> getDomains();
166         std::vector<CAxis*> getAxis();
167         std::vector<int> getAxisOrder();
168         std::vector<int> getGlobalDimension();
169
170         bool doGridHaveDataToWrite();
171         bool doGridHaveDataDistributed();
172         size_t getWrittenDataSize() const;
173
174         const CDistributionServer* getDistributionServer() const;
175
176      public:
177
178         /// Propriétés privées ///
179         bool isChecked;
180         bool isDomainAxisChecked;
181         bool isIndexSent;
182
183         std::deque< CArray<int, 1>* > storeIndex ;
184        CArray<int, 1>  storeIndex_client ;
185
186
187         map<int, CArray<int, 1>* >  storeIndex_toSrv ;
188         map<int,int> nbSenders ;
189
190         map<int, CArray<size_t, 1>* > outIndexFromClient;
191         void checkMask(void) ;
192
193      private:
194       template<int N>
195       void checkGridMask(CArray<bool,N>& gridMask,
196                          const std::vector<CArray<bool,2>* >& domainMasks,
197                          const std::vector<CArray<bool,1>* >& axisMasks,
198                          const CArray<bool,1>& axisDomainOrder);
199        void setVirtualDomainGroup(CDomainGroup* newVDomainGroup);
200        void setVirtualDomainGroup();
201        void setVirtualAxisGroup(CAxisGroup* newVAxisGroup);
202        void setVirtualAxisGroup();
203
204        void setAxisList(const std::vector<CAxis*> axis = std::vector<CAxis*>());
205        void setDomainList(const std::vector<CDomain*> domains = std::vector<CDomain*>());
206
207        void computeGridGlobalDimension(const std::vector<CDomain*>& domains,
208                                        const std::vector<CAxis*>& axis,
209                                        const CArray<bool,1>& axisDomainOrder);
210
211        CDomain* addDomain(const std::string& id);
212        CAxis* addAxis(const std::string& id);
213
214        CAxisGroup* getVirtualAxisGroup() const;
215        CDomainGroup* getVirtualDomainGroup() const;
216        std::vector<int> globalDim_;
217      private:
218        CDomainGroup* vDomainGroup_;
219        CAxisGroup* vAxisGroup_;
220        std::vector<std::string> axisList_, domList_;
221        bool isAxisListSet, isDomListSet;
222
223        CDistributionClient* clientDistribution_;
224        CDistributionServer* serverDistribution_;
225        CServerDistributionDescription* serverDistributionDescription_;
226        CClientServerMapping* clientServerMap_;
227        size_t writtenDataSize_;
228        std::map<int,size_t> connectedDataSize_;
229        std::vector<int> connectedServerRank_;
230        bool isDataDistributed_;
231   }; // class CGrid
232
233   ///--------------------------------------------------------------
234
235   template <int n>
236   void CGrid::inputField(const CArray<double,n>& field, CArray<double,1>& stored) const
237   {
238      if (this->getDataSize() != field.numElements())
239         ERROR("void CGrid::inputField(const  CArray<double,n>& field, CArray<double,1>& stored) const",
240                << "[ Awaiting size of the data = " << this->getDataSize()       << ", "
241                << "Received data size = "      << field.numElements() << " ] "
242                << "The array of data has not the good size !")
243      this->storeField_arr(field.dataFirst(), stored) ;
244   }
245
246   template<int N>
247   void CGrid::checkGridMask(CArray<bool,N>& gridMask,
248                             const std::vector<CArray<bool,2>* >& domainMasks,
249                             const std::vector<CArray<bool,1>* >& axisMasks,
250                             const CArray<bool,1>& axisDomainOrder)
251   {
252     int idx = 0;
253     int numElement = axisDomainOrder.numElements();
254     int dim = domainMasks.size()*2 + axisMasks.size();
255
256     std::vector<int> idxLoop(dim,0), indexMap(numElement), eachDimSize(dim);
257     std::vector<int> currentIndex(dim);
258     int idxDomain = 0, idxAxis = 0;
259    for (int i = 0; i < numElement; ++i)
260    {
261      indexMap[i] = idx;
262      if (true == axisDomainOrder(i)) {
263          eachDimSize[indexMap[i]]   = domainMasks[idxDomain]->extent(0);
264          eachDimSize[indexMap[i]+1] = domainMasks[idxDomain]->extent(1);
265          idx += 2; ++idxDomain;
266      }
267      else {
268        eachDimSize[indexMap[i]] = axisMasks[idxAxis]->numElements();
269        ++idx; ++idxAxis;
270      }
271    }
272
273    if (!gridMask.isEmpty())
274    {
275      for (int i = 0; i < dim; ++i)
276      {
277        if (gridMask.extent(i) != eachDimSize[i])
278           ERROR("CGrid::checkMask(void)",
279                <<"The mask has one dimension whose size is different from the one of the local grid"<<endl
280                <<"Local size is "<< i << " " << eachDimSize[i]<<endl
281                <<"Mask dimension size is "<<gridMask.extent(i));
282      }
283    }
284    else {
285        CArrayBoolTraits<CArray<bool,N> >::resizeArray(gridMask,eachDimSize);
286        gridMask = true;
287    }
288
289    int ssize = gridMask.numElements();
290    idx = 0;
291    while (idx < ssize)
292    {
293      for (int i = 0; i < dim-1; ++i)
294      {
295        if (idxLoop[i] == eachDimSize[i])
296        {
297          idxLoop[i] = 0;
298          ++idxLoop[i+1];
299        }
300      }
301
302      // Find out outer index
303      idxDomain = idxAxis = 0;
304      bool maskValue = true;
305      for (int i = 0; i < numElement; ++i)
306      {
307        if (axisDomainOrder(i))
308        {
309          maskValue = maskValue && (*domainMasks[idxDomain])(idxLoop[indexMap[i]],
310                                                          idxLoop[indexMap[i]+1]);
311          ++idxDomain;
312        }
313        else
314        {
315          maskValue = maskValue && (*axisMasks[idxAxis])(idxLoop[indexMap[i]]);
316          ++idxAxis;
317        }
318      }
319
320      int maskIndex = idxLoop[0];
321      int mulDim = 1;
322      for (int k = 1; k < dim; ++k)
323      {
324        mulDim *= eachDimSize[k-1];
325        maskIndex += idxLoop[k]*mulDim;
326      }
327      *(gridMask.dataFirst()+maskIndex) = maskValue;
328
329      ++idxLoop[0];
330      ++idx;
331    }
332
333   }
334
335   ///--------------------------------------------------------------
336
337   // Declare/Define CGridGroup and CGridDefinition
338   DECLARE_GROUP(CGrid);
339
340   ///--------------------------------------------------------------
341
342} // namespace xios
343
344#endif // __XMLIO_CGrid__
Note: See TracBrowser for help on using the repository browser.