Routino SVN Repository Browser

Check out the latest version of Routino: svn co http://routino.org/svn/trunk routino

ViewVC logotype

Annotation of /trunk/src/segmentsx.c

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1408 - (hide annotations) (download) (as text)
Fri Jun 21 14:43:37 2013 UTC (11 years, 9 months ago) by amb
File MIME type: text/x-csrc
File size: 25011 byte(s)
Use the new functions for buffering while reading when looping through files
other than the ones already done that use the FILESORT_VARINT method of storing
data.

1 amb 110 /***************************************
2     Extended Segment data type functions.
3 amb 151
4     Part of the Routino routing software.
5 amb 110 ******************/ /******************
6 amb 1297 This file Copyright 2008-2013 Andrew M. Bishop
7 amb 110
8 amb 151 This program is free software: you can redistribute it and/or modify
9     it under the terms of the GNU Affero General Public License as published by
10     the Free Software Foundation, either version 3 of the License, or
11     (at your option) any later version.
12    
13     This program is distributed in the hope that it will be useful,
14     but WITHOUT ANY WARRANTY; without even the implied warranty of
15     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16     GNU Affero General Public License for more details.
17    
18     You should have received a copy of the GNU Affero General Public License
19     along with this program. If not, see <http://www.gnu.org/licenses/>.
20 amb 110 ***************************************/
21    
22    
23     #include <math.h>
24     #include <stdlib.h>
25 amb 955 #include <string.h>
26 amb 110
27     #include "types.h"
28 amb 228 #include "segments.h"
29     #include "ways.h"
30 amb 110
31 amb 955 #include "typesx.h"
32 amb 449 #include "nodesx.h"
33     #include "segmentsx.h"
34     #include "waysx.h"
35 amb 110
36 amb 449 #include "files.h"
37 amb 519 #include "logging.h"
38 amb 532 #include "sorting.h"
39 amb 449
40    
41 amb 680 /* Global variables */
42 amb 110
43 amb 289 /*+ The command line '--tmpdir' option or its default value. +*/
44 amb 284 extern char *option_tmpdirname;
45 amb 110
46 amb 1100 /* Local variables */
47    
48 amb 1107 /*+ Temporary file-local variables for use by the sort functions. +*/
49 amb 1132 static NodesX *sortnodesx;
50 amb 1100 static SegmentsX *sortsegmentsx;
51 amb 1132 static WaysX *sortwaysx;
52 amb 1100
53 amb 680 /* Local functions */
54 amb 110
55 amb 275 static int sort_by_id(SegmentX *a,SegmentX *b);
56 amb 1160
57 amb 949 static int delete_pruned(SegmentX *segmentx,index_t index);
58 amb 1160
59 amb 1132 static int deduplicate_super(SegmentX *segmentx,index_t index);
60 amb 275
61 amb 1160 static int geographically_index(SegmentX *segmentx,index_t index);
62    
63 amb 1168 static distance_t DistanceX(NodeX *nodex1,NodeX *nodex2);
64 amb 110
65    
66     /*++++++++++++++++++++++++++++++++++++++
67 amb 326 Allocate a new segment list (create a new file or open an existing one).
68 amb 110
69     SegmentsX *NewSegmentList Returns the segment list.
70     ++++++++++++++++++++++++++++++++++++++*/
71    
72 amb 1339 SegmentsX *NewSegmentList(void)
73 amb 110 {
74     SegmentsX *segmentsx;
75    
76 amb 213 segmentsx=(SegmentsX*)calloc(1,sizeof(SegmentsX));
77 amb 110
78 amb 1166 logassert(segmentsx,"Failed to allocate memory (try using slim mode?)"); /* Check calloc() worked */
79 amb 243
80 amb 1120 segmentsx->filename_tmp=(char*)malloc(strlen(option_tmpdirname)+32);
81 amb 216
82 amb 1339 sprintf(segmentsx->filename_tmp,"%s/segmentsx.%p.tmp",option_tmpdirname,(void*)segmentsx);
83 amb 256
84 amb 1402 segmentsx->fd=OpenFileBufferedNew(segmentsx->filename_tmp);
85 amb 326
86 amb 1297 #if SLIM
87     segmentsx->cache=NewSegmentXCache();
88     #endif
89    
90 amb 110 return(segmentsx);
91     }
92    
93    
94     /*++++++++++++++++++++++++++++++++++++++
95 amb 226 Free a segment list.
96 amb 110
97 amb 681 SegmentsX *segmentsx The set of segments to be freed.
98 amb 110 ++++++++++++++++++++++++++++++++++++++*/
99    
100 amb 1339 void FreeSegmentList(SegmentsX *segmentsx)
101 amb 110 {
102 amb 1339 DeleteFile(segmentsx->filename_tmp);
103 amb 1120
104     free(segmentsx->filename_tmp);
105 amb 256
106 amb 949 if(segmentsx->firstnode)
107     free(segmentsx->firstnode);
108    
109     if(segmentsx->next1)
110     free(segmentsx->next1);
111    
112 amb 1297 #if SLIM
113     DeleteSegmentXCache(segmentsx->cache);
114     #endif
115    
116 amb 110 free(segmentsx);
117     }
118    
119    
120     /*++++++++++++++++++++++++++++++++++++++
121 amb 493 Append a single segment to an unsorted segment list.
122 amb 110
123 amb 681 SegmentsX *segmentsx The set of segments to modify.
124 amb 110
125 amb 1349 index_t way The index of the way that the segment belongs to.
126 amb 285
127 amb 1349 index_t node1 The index of the first node in the segment.
128 amb 285
129 amb 1349 index_t node2 The index of the second node in the segment.
130 amb 285
131 amb 1168 distance_t distance The distance between the nodes (or just the flags).
132 amb 110 ++++++++++++++++++++++++++++++++++++++*/
133    
134 amb 1349 void AppendSegmentList(SegmentsX *segmentsx,index_t way,index_t node1,index_t node2,distance_t distance)
135 amb 110 {
136 amb 285 SegmentX segmentx;
137 amb 110
138 amb 643 if(node1>node2)
139     {
140 amb 1349 index_t temp;
141 amb 643
142     temp=node1;
143     node1=node2;
144     node2=temp;
145    
146 amb 1168 if(distance&(ONEWAY_2TO1|ONEWAY_1TO2))
147     distance^=ONEWAY_2TO1|ONEWAY_1TO2;
148 amb 643 }
149    
150 amb 285 segmentx.node1=node1;
151     segmentx.node2=node2;
152 amb 643 segmentx.next2=NO_SEGMENT;
153 amb 285 segmentx.way=way;
154 amb 1168 segmentx.distance=distance;
155 amb 110
156 amb 1402 WriteFileBuffered(segmentsx->fd,&segmentx,sizeof(SegmentX));
157 amb 281
158 amb 650 segmentsx->number++;
159 amb 466
160 amb 1166 logassert(segmentsx->number<SEGMENT_FAKE,"Too many segments (change index_t to 64-bits?)"); /* SEGMENT_FAKE marks the high-water mark for real segments. */
161 amb 285 }
162 amb 227
163 amb 281
164 amb 285 /*++++++++++++++++++++++++++++++++++++++
165 amb 1120 Finish appending segments and change the filename over.
166    
167     SegmentsX *segmentsx The segments that have been appended.
168     ++++++++++++++++++++++++++++++++++++++*/
169    
170 amb 1151 void FinishSegmentList(SegmentsX *segmentsx)
171 amb 1120 {
172 amb 1136 if(segmentsx->fd!=-1)
173 amb 1402 segmentsx->fd=CloseFileBuffered(segmentsx->fd);
174 amb 1120 }
175    
176    
177     /*++++++++++++++++++++++++++++++++++++++
178 amb 1160 Find the first extended segment with a particular starting node index.
179    
180     SegmentX *FirstSegmentX Returns a pointer to the first extended segment with the specified id.
181    
182     SegmentsX *segmentsx The set of segments to use.
183    
184     index_t nodeindex The node index to look for.
185    
186     int position A flag to pass through.
187     ++++++++++++++++++++++++++++++++++++++*/
188    
189     SegmentX *FirstSegmentX(SegmentsX *segmentsx,index_t nodeindex,int position)
190     {
191     index_t index=segmentsx->firstnode[nodeindex];
192     SegmentX *segmentx;
193    
194     if(index==NO_SEGMENT)
195     return(NULL);
196    
197     segmentx=LookupSegmentX(segmentsx,index,position);
198    
199     return(segmentx);
200     }
201    
202    
203     /*++++++++++++++++++++++++++++++++++++++
204     Find the next segment with a particular starting node index.
205    
206     SegmentX *NextSegmentX Returns a pointer to the next segment with the same id.
207    
208     SegmentsX *segmentsx The set of segments to use.
209    
210     SegmentX *segmentx The current segment.
211    
212     index_t nodeindex The node index.
213     ++++++++++++++++++++++++++++++++++++++*/
214    
215     SegmentX *NextSegmentX(SegmentsX *segmentsx,SegmentX *segmentx,index_t nodeindex)
216     {
217     #if SLIM
218     int position=1+(segmentx-&segmentsx->cached[0]);
219     #endif
220    
221     if(segmentx->node1==nodeindex)
222     {
223     if(segmentsx->next1)
224     {
225     index_t index=IndexSegmentX(segmentsx,segmentx);
226    
227     if(segmentsx->next1[index]==NO_SEGMENT)
228     return(NULL);
229    
230     segmentx=LookupSegmentX(segmentsx,segmentsx->next1[index],position);
231    
232     return(segmentx);
233     }
234     else
235     {
236     #if SLIM
237     index_t index=IndexSegmentX(segmentsx,segmentx);
238     index++;
239    
240     if(index>=segmentsx->number)
241     return(NULL);
242    
243     segmentx=LookupSegmentX(segmentsx,index,position);
244     #else
245     segmentx++;
246    
247     if(IndexSegmentX(segmentsx,segmentx)>=segmentsx->number)
248     return(NULL);
249     #endif
250    
251     if(segmentx->node1!=nodeindex)
252     return(NULL);
253    
254     return(segmentx);
255     }
256     }
257     else
258     {
259     if(segmentx->next2==NO_SEGMENT)
260     return(NULL);
261    
262     return(LookupSegmentX(segmentsx,segmentx->next2,position));
263     }
264     }
265    
266    
267     /*++++++++++++++++++++++++++++++++++++++
268 amb 1354 Sort the segment list.
269 amb 1100
270 amb 1354 SegmentsX *segmentsx The set of segments to sort.
271 amb 285 ++++++++++++++++++++++++++++++++++++++*/
272 amb 110
273 amb 1160 void SortSegmentList(SegmentsX *segmentsx)
274 amb 285 {
275     int fd;
276 amb 243
277 amb 285 /* Print the start message */
278 amb 232
279 amb 1160 printf_first("Sorting Segments");
280 amb 110
281 amb 555 /* Re-open the file read-only and a new file writeable */
282    
283 amb 1120 segmentsx->fd=ReOpenFile(segmentsx->filename_tmp);
284 amb 110
285 amb 1120 DeleteFile(segmentsx->filename_tmp);
286 amb 110
287 amb 1120 fd=OpenFileNew(segmentsx->filename_tmp);
288 amb 110
289 amb 285 /* Sort by node indexes */
290 amb 132
291 amb 1160 segmentsx->number=filesort_fixed(segmentsx->fd,fd,sizeof(SegmentX),NULL,
292 amb 1132 (int (*)(const void*,const void*))sort_by_id,
293 amb 1354 NULL);
294 amb 1100
295 amb 555 /* Close the files */
296 amb 285
297 amb 612 segmentsx->fd=CloseFile(segmentsx->fd);
298 amb 281 CloseFile(fd);
299    
300     /* Print the final message */
301    
302 amb 1355 printf_last("Sorted Segments: Segments=%"Pindex_t,segmentsx->number);
303 amb 110 }
304    
305    
306     /*++++++++++++++++++++++++++++++++++++++
307 amb 680 Sort the segments into id order, first by node1 then by node2, finally by distance.
308 amb 110
309 amb 285 int sort_by_id Returns the comparison of the node fields.
310 amb 110
311 amb 285 SegmentX *a The first segment.
312 amb 110
313 amb 285 SegmentX *b The second segment.
314 amb 256 ++++++++++++++++++++++++++++++++++++++*/
315    
316 amb 285 static int sort_by_id(SegmentX *a,SegmentX *b)
317 amb 256 {
318 amb 1349 index_t a_id1=a->node1;
319     index_t b_id1=b->node1;
320 amb 256
321 amb 285 if(a_id1<b_id1)
322     return(-1);
323     else if(a_id1>b_id1)
324     return(1);
325     else /* if(a_id1==b_id1) */
326 amb 256 {
327 amb 1349 index_t a_id2=a->node2;
328     index_t b_id2=b->node2;
329 amb 256
330 amb 285 if(a_id2<b_id2)
331     return(-1);
332     else if(a_id2>b_id2)
333     return(1);
334     else
335     {
336 amb 1168 distance_t a_distance=DISTANCE(a->distance);
337     distance_t b_distance=DISTANCE(b->distance);
338 amb 256
339 amb 1168 if(a_distance<b_distance)
340 amb 285 return(-1);
341 amb 1168 else if(a_distance>b_distance)
342 amb 285 return(1);
343     else
344 amb 1153 {
345 amb 1168 distance_t a_distflag=DISTFLAG(a->distance);
346     distance_t b_distflag=DISTFLAG(b->distance);
347 amb 1153
348 amb 1168 if(a_distflag<b_distflag)
349 amb 1153 return(-1);
350 amb 1168 else if(a_distflag>b_distflag)
351 amb 1153 return(1);
352     else
353     return(FILESORT_PRESERVE_ORDER(a,b)); /* preserve order */
354     }
355 amb 285 }
356 amb 256 }
357     }
358    
359    
360     /*++++++++++++++++++++++++++++++++++++++
361 amb 1351 Process segments (non-trivial duplicates).
362 amb 110
363 amb 1136 SegmentsX *segmentsx The set of segments to modify.
364    
365 amb 681 NodesX *nodesx The set of nodes to use.
366 amb 195
367 amb 1140 WaysX *waysx The set of ways to use.
368 amb 110 ++++++++++++++++++++++++++++++++++++++*/
369    
370 amb 1351 void ProcessSegments(SegmentsX *segmentsx,NodesX *nodesx,WaysX *waysx)
371 amb 110 {
372 amb 1349 index_t duplicate=0,good=0,total=0;
373     index_t prevnode1=NO_NODE,prevnode2=NO_NODE;
374     index_t prevway=NO_WAY;
375 amb 1168 distance_t prevdist=0;
376 amb 275 SegmentX segmentx;
377     int fd;
378 amb 110
379 amb 275 /* Print the start message */
380    
381 amb 1351 printf_first("Processing Segments: Segments=0 Duplicates=0");
382 amb 227
383 amb 1349 /* Map into memory / open the file */
384    
385     #if !SLIM
386     nodesx->data=MapFile(nodesx->filename_tmp);
387     waysx->data=MapFile(waysx->filename_tmp);
388     #else
389     nodesx->fd=ReOpenFile(nodesx->filename_tmp);
390     waysx->fd=ReOpenFile(waysx->filename_tmp);
391    
392     InvalidateNodeXCache(nodesx->cache);
393     InvalidateWayXCache(waysx->cache);
394     #endif
395    
396 amb 1351 /* Allocate the way usage bitmask */
397    
398     segmentsx->usedway=AllocBitMask(waysx->number);
399    
400     logassert(segmentsx->usedway,"Failed to allocate memory (try using slim mode?)"); /* Check AllocBitMask() worked */
401    
402 amb 555 /* Re-open the file read-only and a new file writeable */
403 amb 275
404 amb 1408 segmentsx->fd=ReOpenFileBuffered(segmentsx->filename_tmp);
405 amb 555
406 amb 1339 DeleteFile(segmentsx->filename_tmp);
407 amb 275
408 amb 1408 fd=OpenFileBufferedNew(segmentsx->filename_tmp);
409 amb 275
410 amb 555 /* Modify the on-disk image */
411    
412 amb 1408 while(!ReadFileBuffered(segmentsx->fd,&segmentx,sizeof(SegmentX)))
413 amb 110 {
414 amb 1351 NodeX *nodex1=LookupNodeX(nodesx,segmentx.node1,1);
415     NodeX *nodex2=LookupNodeX(nodesx,segmentx.node2,2);
416    
417 amb 1349 if(prevnode1==segmentx.node1 && prevnode2==segmentx.node2)
418 amb 812 {
419 amb 1349 if(prevway==segmentx.way)
420     {
421     WayX *wayx=LookupWayX(waysx,segmentx.way,1);
422 amb 812
423 amb 1349 logerror("Segment connecting nodes %"Pnode_t" and %"Pnode_t" in way %"Pway_t" is duplicated.\n",logerror_node(nodex1->id),logerror_node(nodex2->id),logerror_way(wayx->id));
424     }
425 amb 1173 else
426     {
427     if(!(prevdist&SEGMENT_AREA) && !(segmentx.distance&SEGMENT_AREA))
428 amb 1349 logerror("Segment connecting nodes %"Pnode_t" and %"Pnode_t" is duplicated.\n",logerror_node(nodex1->id),logerror_node(nodex2->id));
429 amb 1155
430 amb 1173 if(!(prevdist&SEGMENT_AREA) && (segmentx.distance&SEGMENT_AREA))
431 amb 1349 logerror("Segment connecting nodes %"Pnode_t" and %"Pnode_t" is duplicated (discarded the area).\n",logerror_node(nodex1->id),logerror_node(nodex2->id));
432 amb 1155
433 amb 1173 if((prevdist&SEGMENT_AREA) && !(segmentx.distance&SEGMENT_AREA))
434 amb 1349 logerror("Segment connecting nodes %"Pnode_t" and %"Pnode_t" is duplicated (discarded the non-area).\n",logerror_node(nodex1->id),logerror_node(nodex2->id));
435 amb 1155
436 amb 1173 if((prevdist&SEGMENT_AREA) && (segmentx.distance&SEGMENT_AREA))
437 amb 1349 logerror("Segment connecting nodes %"Pnode_t" and %"Pnode_t" is duplicated (both are areas).\n",logerror_node(nodex1->id),logerror_node(nodex2->id));
438 amb 1173 }
439 amb 1155
440     duplicate++;
441     }
442 amb 275 else
443 amb 257 {
444 amb 1155 prevnode1=segmentx.node1;
445     prevnode2=segmentx.node2;
446 amb 1173 prevway=segmentx.way;
447 amb 1168 prevdist=DISTANCE(segmentx.distance);
448 amb 1155
449 amb 1351 /* Mark the ways which are used */
450    
451     SetBit(segmentsx->usedway,segmentx.way);
452    
453     /* Set the distance but keep the other flags except for area */
454    
455     segmentx.distance=DISTANCE(DistanceX(nodex1,nodex2))|DISTFLAG(segmentx.distance);
456     segmentx.distance&=~SEGMENT_AREA;
457    
458     /* Write the modified segment */
459    
460 amb 1408 WriteFileBuffered(fd,&segmentx,sizeof(SegmentX));
461 amb 1351
462 amb 275 good++;
463 amb 110 }
464    
465 amb 275 total++;
466 amb 256
467 amb 275 if(!(total%10000))
468 amb 1351 printf_middle("Processing Segments: Segments=%"Pindex_t" Duplicates=%"Pindex_t,total,duplicate);
469 amb 110 }
470    
471 amb 555 segmentsx->number=good;
472 amb 275
473 amb 555 /* Close the files */
474    
475 amb 1408 segmentsx->fd=CloseFileBuffered(segmentsx->fd);
476     CloseFileBuffered(fd);
477 amb 275
478 amb 1349 /* Unmap from memory / close the file */
479    
480     #if !SLIM
481     nodesx->data=UnmapFile(nodesx->data);
482     waysx->data=UnmapFile(waysx->data);
483     #else
484     nodesx->fd=CloseFile(nodesx->fd);
485     waysx->fd=CloseFile(waysx->fd);
486     #endif
487    
488 amb 275 /* Print the final message */
489    
490 amb 1351 printf_last("Processed Segments: Segments=%"Pindex_t" Duplicates=%"Pindex_t,total,duplicate);
491 amb 110 }
492    
493    
494     /*++++++++++++++++++++++++++++++++++++++
495 amb 1160 Index the segments by creating the firstnode index and filling in the segment next2 parameter.
496    
497     SegmentsX *segmentsx The set of segments to modify.
498    
499     NodesX *nodesx The set of nodes to use.
500    
501     WaysX *waysx The set of ways to use.
502     ++++++++++++++++++++++++++++++++++++++*/
503    
504     void IndexSegments(SegmentsX *segmentsx,NodesX *nodesx,WaysX *waysx)
505     {
506     index_t index,i;
507    
508     if(segmentsx->number==0)
509     return;
510    
511     /* Print the start message */
512    
513     printf_first("Indexing Segments: Segments=0");
514    
515     /* Allocate the array of indexes */
516    
517     if(segmentsx->firstnode)
518     free(segmentsx->firstnode);
519    
520     segmentsx->firstnode=(index_t*)malloc(nodesx->number*sizeof(index_t));
521    
522 amb 1166 logassert(segmentsx->firstnode,"Failed to allocate memory (try using slim mode?)"); /* Check malloc() worked */
523 amb 1160
524     for(i=0;i<nodesx->number;i++)
525     segmentsx->firstnode[i]=NO_SEGMENT;
526    
527     /* Map into memory / open the files */
528    
529     #if !SLIM
530     segmentsx->data=MapFileWriteable(segmentsx->filename_tmp);
531     #else
532     segmentsx->fd=ReOpenFileWriteable(segmentsx->filename_tmp);
533 amb 1297
534     InvalidateSegmentXCache(segmentsx->cache);
535 amb 1160 #endif
536    
537     /* Read through the segments in reverse order */
538    
539     for(index=segmentsx->number-1;index!=NO_SEGMENT;index--)
540     {
541     SegmentX *segmentx=LookupSegmentX(segmentsx,index,1);
542    
543     if(nodesx->pdata)
544     {
545     segmentx->node1=nodesx->pdata[segmentx->node1];
546     segmentx->node2=nodesx->pdata[segmentx->node2];
547     }
548    
549     if(waysx->cdata)
550     segmentx->way=waysx->cdata[segmentx->way];
551    
552     segmentx->next2=segmentsx->firstnode[segmentx->node2];
553    
554     PutBackSegmentX(segmentsx,segmentx);
555    
556     segmentsx->firstnode[segmentx->node1]=index;
557     segmentsx->firstnode[segmentx->node2]=index;
558    
559     if(!(index%10000))
560     printf_middle("Indexing Segments: Segments=%"Pindex_t,segmentsx->number-index);
561     }
562    
563     /* Unmap from memory / close the files */
564    
565     #if !SLIM
566     segmentsx->data=UnmapFile(segmentsx->data);
567     #else
568     segmentsx->fd=CloseFile(segmentsx->fd);
569     #endif
570    
571     /* Free the memory */
572    
573     if(nodesx->pdata)
574     {
575     free(nodesx->pdata);
576     nodesx->pdata=NULL;
577     }
578    
579     if(waysx->cdata)
580     {
581     free(waysx->cdata);
582     waysx->cdata=NULL;
583     }
584    
585     /* Print the final message */
586    
587     printf_last("Indexed Segments: Segments=%"Pindex_t,segmentsx->number);
588     }
589    
590    
591     /*++++++++++++++++++++++++++++++++++++++
592     Prune the deleted segments while resorting the list.
593    
594     SegmentsX *segmentsx The set of segments to sort and modify.
595    
596     WaysX *waysx The set of ways to check.
597     ++++++++++++++++++++++++++++++++++++++*/
598    
599     void RemovePrunedSegments(SegmentsX *segmentsx,WaysX *waysx)
600     {
601     int fd;
602     index_t xnumber;
603    
604 amb 1208 if(segmentsx->number==0)
605     return;
606    
607 amb 1160 /* Print the start message */
608    
609     printf_first("Sorting and Pruning Segments");
610    
611     /* Allocate the way usage bitmask */
612    
613     segmentsx->usedway=AllocBitMask(waysx->number);
614    
615 amb 1166 logassert(segmentsx->usedway,"Failed to allocate memory (try using slim mode?)"); /* Check AllocBitMask() worked */
616 amb 1160
617     /* Re-open the file read-only and a new file writeable */
618    
619     segmentsx->fd=ReOpenFile(segmentsx->filename_tmp);
620    
621     DeleteFile(segmentsx->filename_tmp);
622    
623     fd=OpenFileNew(segmentsx->filename_tmp);
624    
625     /* Sort by node indexes */
626    
627     xnumber=segmentsx->number;
628    
629     sortsegmentsx=segmentsx;
630    
631     segmentsx->number=filesort_fixed(segmentsx->fd,fd,sizeof(SegmentX),(int (*)(void*,index_t))delete_pruned,
632     (int (*)(const void*,const void*))sort_by_id,
633     NULL);
634    
635     /* Close the files */
636    
637     segmentsx->fd=CloseFile(segmentsx->fd);
638     CloseFile(fd);
639    
640     /* Print the final message */
641    
642     printf_last("Sorted and Pruned Segments: Segments=%"Pindex_t" Deleted=%"Pindex_t,xnumber,xnumber-segmentsx->number);
643     }
644    
645    
646     /*++++++++++++++++++++++++++++++++++++++
647     Delete the pruned segments.
648    
649     int delete_pruned Return 1 if the value is to be kept, otherwise 0.
650    
651     SegmentX *segmentx The extended segment.
652    
653     index_t index The number of unsorted segments that have been read from the input file.
654     ++++++++++++++++++++++++++++++++++++++*/
655    
656     static int delete_pruned(SegmentX *segmentx,index_t index)
657     {
658     if(IsPrunedSegmentX(segmentx))
659     return(0);
660    
661     SetBit(sortsegmentsx->usedway,segmentx->way);
662    
663     return(1);
664     }
665    
666    
667     /*++++++++++++++++++++++++++++++++++++++
668 amb 1132 Remove the duplicate super-segments.
669 amb 110
670 amb 1132 SegmentsX *segmentsx The set of super-segments to modify.
671 amb 110
672 amb 680 WaysX *waysx The set of ways to use.
673 amb 110 ++++++++++++++++++++++++++++++++++++++*/
674    
675 amb 1132 void DeduplicateSuperSegments(SegmentsX *segmentsx,WaysX *waysx)
676 amb 110 {
677 amb 1132 int fd;
678     index_t xnumber;
679 amb 110
680 amb 1208 if(waysx->number==0)
681     return;
682    
683 amb 275 /* Print the start message */
684    
685 amb 1132 printf_first("Sorting and Deduplicating Super-Segments");
686 amb 227
687 amb 555 /* Map into memory / open the file */
688 amb 256
689 amb 452 #if !SLIM
690 amb 1120 waysx->data=MapFile(waysx->filename_tmp);
691 amb 555 #else
692 amb 1120 waysx->fd=ReOpenFile(waysx->filename_tmp);
693 amb 1297
694     InvalidateWayXCache(waysx->cache);
695 amb 452 #endif
696 amb 275
697 amb 555 /* Re-open the file read-only and a new file writeable */
698 amb 275
699 amb 1120 segmentsx->fd=ReOpenFile(segmentsx->filename_tmp);
700 amb 555
701 amb 1120 DeleteFile(segmentsx->filename_tmp);
702 amb 275
703 amb 1120 fd=OpenFileNew(segmentsx->filename_tmp);
704 amb 275
705 amb 1132 /* Sort by node indexes */
706 amb 555
707 amb 1132 xnumber=segmentsx->number;
708 amb 256
709 amb 1132 sortsegmentsx=segmentsx;
710     sortwaysx=waysx;
711 amb 110
712 amb 1132 segmentsx->number=filesort_fixed(segmentsx->fd,fd,sizeof(SegmentX),NULL,
713     (int (*)(const void*,const void*))sort_by_id,
714     (int (*)(void*,index_t))deduplicate_super);
715 amb 264
716 amb 555 /* Close the files */
717    
718 amb 612 segmentsx->fd=CloseFile(segmentsx->fd);
719 amb 275 CloseFile(fd);
720    
721 amb 555 /* Unmap from memory / close the file */
722 amb 275
723 amb 452 #if !SLIM
724 amb 1122 waysx->data=UnmapFile(waysx->data);
725 amb 555 #else
726 amb 612 waysx->fd=CloseFile(waysx->fd);
727 amb 452 #endif
728 amb 275
729     /* Print the final message */
730    
731 amb 1132 printf_last("Sorted and Deduplicated Super-Segments: Super-Segments=%"Pindex_t" Duplicate=%"Pindex_t,xnumber,xnumber-segmentsx->number);
732 amb 110 }
733    
734    
735     /*++++++++++++++++++++++++++++++++++++++
736 amb 1132 De-duplicate super-segments.
737    
738     int deduplicate_super Return 1 if the value is to be kept, otherwise 0.
739    
740     SegmentX *segmentx The extended super-segment.
741    
742     index_t index The number of sorted super-segments that have already been written to the output file.
743     ++++++++++++++++++++++++++++++++++++++*/
744    
745     static int deduplicate_super(SegmentX *segmentx,index_t index)
746     {
747     static int nprev=0;
748     static index_t prevnode1=NO_NODE,prevnode2=NO_NODE;
749     static SegmentX prevsegx[MAX_SEG_PER_NODE];
750     static Way prevway[MAX_SEG_PER_NODE];
751    
752     WayX *wayx=LookupWayX(sortwaysx,segmentx->way,1);
753     int isduplicate=0;
754    
755     if(index==0 || segmentx->node1!=prevnode1 || segmentx->node2!=prevnode2)
756     {
757     nprev=1;
758     prevnode1=segmentx->node1;
759     prevnode2=segmentx->node2;
760     prevsegx[0]=*segmentx;
761     prevway[0] =wayx->way;
762     }
763     else
764     {
765     int offset;
766    
767     for(offset=0;offset<nprev;offset++)
768     {
769 amb 1168 if(DISTFLAG(segmentx->distance)==DISTFLAG(prevsegx[offset].distance))
770 amb 1132 if(!WaysCompare(&prevway[offset],&wayx->way))
771     {
772     isduplicate=1;
773     break;
774     }
775     }
776    
777     if(isduplicate)
778     {
779     nprev--;
780    
781     for(;offset<nprev;offset++)
782     {
783     prevsegx[offset]=prevsegx[offset+1];
784     prevway[offset] =prevway[offset+1];
785     }
786     }
787     else
788     {
789 amb 1166 logassert(nprev<MAX_SEG_PER_NODE,"Too many segments for one node (increase MAX_SEG_PER_NODE?)"); /* Only a limited amount of information stored. */
790 amb 1132
791     prevsegx[nprev]=*segmentx;
792     prevway[nprev] =wayx->way;
793    
794     nprev++;
795     }
796     }
797    
798     return(!isduplicate);
799     }
800    
801    
802     /*++++++++++++++++++++++++++++++++++++++
803 amb 1160 Sort the segments geographically after updating the node indexes.
804 amb 209
805 amb 681 SegmentsX *segmentsx The set of segments to modify.
806 amb 209
807 amb 1100 NodesX *nodesx The set of nodes to use.
808 amb 209 ++++++++++++++++++++++++++++++++++++++*/
809    
810 amb 1160 void SortSegmentListGeographically(SegmentsX *segmentsx,NodesX *nodesx)
811 amb 209 {
812 amb 1160 int fd;
813 amb 209
814 amb 1208 if(segmentsx->number==0)
815     return;
816    
817 amb 275 /* Print the start message */
818    
819 amb 1160 printf_first("Sorting Segments Geographically");
820 amb 227
821 amb 1160 /* Re-open the file read-only and a new file writeable */
822 amb 643
823 amb 1160 segmentsx->fd=ReOpenFile(segmentsx->filename_tmp);
824 amb 643
825 amb 1160 DeleteFile(segmentsx->filename_tmp);
826 amb 643
827 amb 1160 fd=OpenFileNew(segmentsx->filename_tmp);
828 amb 1102
829 amb 1160 /* Update the segments with geographically sorted node indexes and sort them */
830 amb 643
831 amb 1160 sortnodesx=nodesx;
832 amb 209
833 amb 1160 filesort_fixed(segmentsx->fd,fd,sizeof(SegmentX),(int (*)(void*,index_t))geographically_index,
834     (int (*)(const void*,const void*))sort_by_id,
835     NULL);
836     /* Close the files */
837 amb 275
838 amb 1160 segmentsx->fd=CloseFile(segmentsx->fd);
839     CloseFile(fd);
840 amb 280
841 amb 1160 /* Print the final message */
842 amb 209
843 amb 1160 printf_last("Sorted Segments Geographically: Segments=%"Pindex_t,segmentsx->number);
844     }
845 amb 1098
846 amb 1100
847 amb 1160 /*++++++++++++++++++++++++++++++++++++++
848     Update the segment indexes.
849 amb 209
850 amb 1160 int geographically_index Return 1 if the value is to be kept, otherwise 0.
851 amb 448
852 amb 1160 SegmentX *segmentx The extended segment.
853 amb 558
854 amb 1160 index_t index The number of unsorted segments that have been read from the input file.
855     ++++++++++++++++++++++++++++++++++++++*/
856 amb 209
857 amb 1160 static int geographically_index(SegmentX *segmentx,index_t index)
858     {
859     segmentx->node1=sortnodesx->gdata[segmentx->node1];
860     segmentx->node2=sortnodesx->gdata[segmentx->node2];
861 amb 275
862 amb 1160 if(segmentx->node1>segmentx->node2)
863     {
864     index_t temp;
865 amb 275
866 amb 1160 temp=segmentx->node1;
867     segmentx->node1=segmentx->node2;
868     segmentx->node2=temp;
869 amb 1100
870 amb 1168 if(segmentx->distance&(ONEWAY_2TO1|ONEWAY_1TO2))
871     segmentx->distance^=ONEWAY_2TO1|ONEWAY_1TO2;
872 amb 1100 }
873    
874 amb 1160 return(1);
875 amb 209 }
876    
877    
878     /*++++++++++++++++++++++++++++++++++++++
879 amb 285 Save the segment list to a file.
880    
881 amb 681 SegmentsX *segmentsx The set of segments to save.
882 amb 285
883     const char *filename The name of the file to save.
884     ++++++++++++++++++++++++++++++++++++++*/
885    
886 amb 681 void SaveSegmentList(SegmentsX *segmentsx,const char *filename)
887 amb 285 {
888     index_t i;
889     int fd;
890 amb 500 SegmentsFile segmentsfile={0};
891 amb 780 index_t super_number=0,normal_number=0;
892 amb 285
893     /* Print the start message */
894    
895 amb 519 printf_first("Writing Segments: Segments=0");
896 amb 285
897 amb 558 /* Re-open the file */
898    
899 amb 1408 segmentsx->fd=ReOpenFileBuffered(segmentsx->filename_tmp);
900 amb 558
901 amb 461 /* Write out the segments data */
902 amb 285
903 amb 1408 fd=OpenFileBufferedNew(filename);
904 amb 461
905 amb 1408 SeekFileBuffered(fd,sizeof(SegmentsFile));
906 amb 461
907 amb 285 for(i=0;i<segmentsx->number;i++)
908     {
909 amb 643 SegmentX segmentx;
910 amb 944 Segment segment={0};
911 amb 448
912 amb 1408 ReadFileBuffered(segmentsx->fd,&segmentx,sizeof(SegmentX));
913 amb 558
914 amb 1168 segment.node1 =segmentx.node1;
915     segment.node2 =segmentx.node2;
916     segment.next2 =segmentx.next2;
917     segment.way =segmentx.way;
918     segment.distance=segmentx.distance;
919 amb 643
920 amb 558 if(IsSuperSegment(&segment))
921 amb 285 super_number++;
922 amb 558 if(IsNormalSegment(&segment))
923 amb 285 normal_number++;
924    
925 amb 1408 WriteFileBuffered(fd,&segment,sizeof(Segment));
926 amb 448
927 amb 285 if(!((i+1)%10000))
928 amb 790 printf_middle("Writing Segments: Segments=%"Pindex_t,i+1);
929 amb 285 }
930    
931 amb 461 /* Write out the header structure */
932    
933     segmentsfile.number=segmentsx->number;
934     segmentsfile.snumber=super_number;
935     segmentsfile.nnumber=normal_number;
936    
937 amb 1408 SeekFileBuffered(fd,0);
938     WriteFileBuffered(fd,&segmentsfile,sizeof(SegmentsFile));
939 amb 461
940 amb 1408 CloseFileBuffered(fd);
941 amb 285
942 amb 558 /* Close the file */
943    
944 amb 1408 segmentsx->fd=CloseFileBuffered(segmentsx->fd);
945 amb 558
946 amb 285 /* Print the final message */
947    
948 amb 790 printf_last("Wrote Segments: Segments=%"Pindex_t,segmentsx->number);
949 amb 285 }
950    
951    
952     /*++++++++++++++++++++++++++++++++++++++
953 amb 110 Calculate the distance between two nodes.
954    
955 amb 1168 distance_t DistanceX Returns the distance between the extended nodes.
956 amb 110
957     NodeX *nodex1 The starting node.
958    
959     NodeX *nodex2 The end node.
960     ++++++++++++++++++++++++++++++++++++++*/
961    
962 amb 1168 static distance_t DistanceX(NodeX *nodex1,NodeX *nodex2)
963 amb 110 {
964 amb 223 double dlon = latlong_to_radians(nodex1->longitude) - latlong_to_radians(nodex2->longitude);
965     double dlat = latlong_to_radians(nodex1->latitude) - latlong_to_radians(nodex2->latitude);
966     double lat1 = latlong_to_radians(nodex1->latitude);
967     double lat2 = latlong_to_radians(nodex2->latitude);
968 amb 110
969 amb 219 double a1,a2,a,sa,c,d;
970 amb 110
971     if(dlon==0 && dlat==0)
972     return 0;
973    
974 amb 219 a1 = sin (dlat / 2);
975     a2 = sin (dlon / 2);
976     a = (a1 * a1) + cos (lat1) * cos (lat2) * a2 * a2;
977     sa = sqrt (a);
978 amb 110 if (sa <= 1.0)
979 amb 219 {c = 2 * asin (sa);}
980 amb 110 else
981 amb 219 {c = 2 * asin (1.0);}
982 amb 110 d = 6378.137 * c;
983    
984     return km_to_distance(d);
985     }

Properties

Name Value
cvs:description Extended segments functions.