giXwRCaw

1#use mc2_enel_202003;
2use mc2_edison;
3
4SET @nameDB = 'enel'; 
5
6
7drop table if exists tmp_estrai_doc;
8create temporary table tmp_estrai_doc (
9id_posizione varchar(20));
10
11drop table if exists tmp_esiti;
12create temporary table tmp_esiti(
13documento text);
14
15LOAD DATA LOCAL INFILE 'C:\\Users\\drossi00\\Desktop\\mcc\\migrazione\\edison_pratiche.csv' into table tmp_estrai_doc FIELDS TERMINATED BY ';' LINES TERMINATED BY '\r\n';# IGNORE 1 LINES;
16LOAD DATA LOCAL INFILE 'C:\\Users\\drossi00\\Desktop\\mcc\\migrazione\\listnew_edison.txt' into table tmp_esiti FIELDS TERMINATED BY ';' LINES TERMINATED BY '\r\n';# IGNORE 1 LINES;
17
18alter table tmp_esiti add index idx (documento);
19alter table tmp_res add index idx (command);
20
21set sql_safe_updates=0;
22delete from tmp_esiti where documento not like '%.%';
23delete from tmp_esiti where documento like '%Corredo informativo.';
24delete from tmp_esiti where documento like '%.';
25delete from tmp_esiti where documento like '%. ';
26
27select categoria from dim_categoria_doc;
28
29select * from dim_documento where id_posizione='2CEDE0053649';
30/srv/www/mcc_blob/mc2/output/edison/2CEDE0053649/Ricorso per decreto ingiuntivo/570419_ed1197.pdf
31
32;select * from tmp_esiti where documento not like '%/Diffide/%' and documento not like '%/PDR_%/%' order by length(documento); where documento like '%. ';
33;select * from tmp_esiti where documento like '%/Diffide/%' order by length(documento); where documento like '%. ';
34;select * from tmp_esiti where documento like '%/PDR_%/%' order by length(documento); where documento like '%. ';
35select distinct command from tmp_res where command not like '%/PDRS/%' and command not like '%/Diffide/%' order by length(command); limit 1000;
36
37drop table tmp_res_f;
38create temporary table tmp_res_f;
39select md5,replace(command,'/srv/www/mcc_blob/mc2/output/edison/','') as command from tmp_res 
40where 
41-- command like '%Cartolina Esito Diffida - Lato B%' or
42command like '%Corrispondenza%' or
43command like '%Pagamenti%' or
44command like '%Invio documenti contabili: estratto conto e fatture%' or
45command like '%Varie%' or
46command like '%Ricerche Patrimoniali%';
47
48drop table tmp_esiti_f;
49create temporary table tmp_esiti_f;
50select replace(documento,'/srv/www/mcc_blob/mc2/output/edison/','') as documento from tmp_esiti 
51where 
52-- documento like '%Cartolina Esito Diffida - Lato B%' or
53-- documento like '%Corrispondenza%' or
54documento like '%Pagamenti%' or
55documento like '%Invio documenti contabili: estratto conto e fatture%' or
56-- documento like '%Varie%' or
57documento like '%Ricerche Patrimoniali%';
58
59select * from tmp_res_f
60left join tmp_esiti_f on documento=command
61where documento is null;
62
63
64select * from fact_posizione_g where id_posizione;
65
66select id_posizione from fact_posizione_g where id_posizione in (select * from tmp_estrai_doc)
67union
68select id_posizione from fact_posizione where id_posizione in (select * from tmp_estrai_doc1);
69
70drop table if exists tmp_estrai_doc1;
71drop table if exists tmp_estrai_doc2;
72drop table if exists tmp_estrai_doc3;
73
74create temporary table tmp_estrai_doc1
75select * from tmp_estrai_doc;
76create temporary table tmp_estrai_doc2
77select * from tmp_estrai_doc;
78create temporary table tmp_estrai_doc3
79select * from tmp_estrai_doc;
80
81alter table tmp_estrai_doc add index idx(id_posizione);
82alter table tmp_estrai_doc1 add index idx(id_posizione);
83alter table tmp_estrai_doc2 add index idx(id_posizione);
84alter table tmp_estrai_doc3 add index idx(id_posizione);
85
86
87#select * from dim_documento; ##where data>curdate();
88
89#select * from dim_decreto;
90
91#select * from tmp_estrai_doc where id_posizione like '%/%';
92
93drop table if exists tmp_dim_pdr;
94create temporary table tmp_dim_pdr
95select 
96id_posizione,
97id_debitore,denominazione,'PDRS',data_creazione_file,'Piano di Rientro Stragiudiziale' categoria,'Piano di Rientro Stragiudiziale' titolo,
98cast(concat(id_debitore,'_PDR_stragiud.pdf') as char) as nuovo_nome_file,
99cast(concat('cp ',concat(percorso,'/',substr(md5,1,1),'/',substr(md5,2,1),'/',md5),' "/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/PDR_stragiud/',id_pdr,'_PDR_stragiud.pdf','"') as char) as command,
100-- cast(concat('/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/PDRS/',id_pdr,'_PDRS.pdf') as char) as command
101cast(concat('mkdir -p ', ' "/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/PDR_stragiud', '"') as char) as command_mkdir
102from dim_pdr a
103join (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
104union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
105join tmp_estrai_doc1 using (id_posizione)
106join dim_debitore using(id_debitore)
107join tbl_percorso b
108where b.id='blob_pdr' and md5 is not null and md5 != '' and id_lotto<>'L0';
109
110drop table if exists tmp_dim_pdr_g;
111create temporary table tmp_dim_pdr_g
112select id_posizione,
113id_debitore,denominazione,'PDRS',data_creazione_file,'Piano di Rientro Giudiziale' categoria,'Piano di Rientro Giudiziale' titolo,
114cast(concat(id_debitore,'_PDR_giud.pdf') as char) as nuovo_nome_file,
115cast(concat('cp ',concat(percorso,'/',substr(md5,1,1),'/',substr(md5,2,1),'/',md5),' "/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/PDR_giud/',id_pdr,'_PDR_giud.pdf','"') as char) as command,
116-- cast(concat('/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/PDRS/',id_pdr,'_PDRS.pdf') as char) as command
117cast(concat('mkdir -p ', ' "/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/PDR_giud', '"') as char) as command_mkdir
118from dim_pdr_g a
119join (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
120union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
121join tmp_estrai_doc2 using (id_posizione)
122join dim_debitore using(id_debitore)
123join tbl_percorso b
124where b.id='blob_pdr' and md5 is not null and md5 != '' and id_lotto<>'L0';
125 
126drop table if exists tmp_dim_diffida;
127create temporary table tmp_dim_diffida
128select id_posizione,
129-- id_debitore,denominazione,'Diffida',data_predisposizione,'Diffida' categoria,'Diffida' titolo,
130-- cast(concat(id_debitore,'_Diffida_',id_diffida,'.pdf') as char) as nuovo_nome_file,
131-- cast(concat('cp ',concat(percorso,'/',substr(md5,1,1),'/',substr(md5,2,1),'/',md5),' "/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/Diffide/',replace(id_posizione,'/' ,'_' ),'_',id_diffida,'.pdf','"') as char) as command ,
132cast(concat('/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/Diffide/',replace(id_posizione,'/' ,'_' ),'_',id_diffida,'.pdf') as char) as command 
133-- cast(concat('mkdir -p ', ' "/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/Diffide', '"') as char) as command_mkdir
134from dim_diffida a
135join (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
136union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
137join tmp_estrai_doc3 using (id_posizione)
138join dim_debitore using(id_debitore)
139join tbl_percorso b
140where b.id='blob_diffida' and md5 is not null and md5 != '' and id_lotto<>'L0';
141
142drop table if exists tmp_dim_documento;
143create temporary table tmp_dim_documento
144select id_posizione,
145-- id_debitore,denominazione,nome_file,data,categoria,titolo,
146-- cast(concat(id_debitore,'_',id_documento,'_',
147-- replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(
148-- replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(nome_file,'…',''),'Â','A'),'í','i'),'¦ ',''),'á','a'),'·',''),'Ò','O'),'€',''),'â',''),'ç',''),'?á','a'),'ˆ',''),'£','E'),'è','A'),'Ã','A'),'’',''),' ',' '),'²',''),'È','E'),'¼',''),'¬',''),'À','A'),'“',''),'ý','y'),'–','_'),'€','E'),'°','o'),'Ã','a'),'é','e'),'ù','u'),'ì','i'),'ò','o'), 'è', 'e'), 'à', 'a'),'*',''),'~',''),'\\',''),'/',''),':',''),'?',''),'"',''),'<',''),'>',''),'|',''),'\'','')) as char) as nuovo_nome_file,
149-- cast(concat('cp ',concat(percorso,'/',substr(md5,1,1),'/',substr(md5,2,1),'/',md5),' "/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/',categoria,'/',id_documento,'_',
150-- replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(
151-- replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(nome_file,'…',''),'Â','A'),'í','i'),'¦ ',''),'á','a'),'·',''),'Ò','O'),'€',''),'â',''),'ç',''),'?á','a'),'ˆ',''),'£','E'),'è','A'),'Ã','A'),'’',''),' ',' '),'²',''),'È','E'),'¼',''),'¬',''),'À','A'),'“',''),'ý','y'),'–','_'),'€','E'),'°','o'),'Ã','a'),'é','e'),'ù','u'),'ì','i'),'ò','o'), 'è', 'e'), 'à', 'a'),'*',''),'~',''),'\\',''),'/',''),':',''),'?',''),'"',''),'<',''),'>',''),'|',''),'\'','')
152-- ,'"') as char) as command,
153cast(concat('/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/',categoria,'/',id_documento,'_',
154replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(
155replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(nome_file,'…',''),'Â','A'),'í','i'),'¦ ',''),'á','a'),'·',''),'Ò','O'),'€',''),'â',''),'ç',''),'?á','a'),'ˆ',''),'£','E'),'è','A'),'Ã','A'),'’',''),' ',' '),'²',''),'È','E'),'¼',''),'¬',''),'À','A'),'“',''),'ý','y'),'–','_'),'€','E'),'°','o'),'Ã','a'),'é','e'),'ù','u'),'ì','i'),'ò','o'), 'è', 'e'), 'à', 'a'),'*',''),'~',''),'\\',''),'/',''),':',''),'?',''),'"',''),'<',''),'>',''),'|',''),'\'','')
156) as char) as command,md5
157-- cast(concat('mkdir -p ', ' "/srv/www/mcc_blob/mc2/output/',@nameDB,'/',replace(id_posizione,'/' ,'_' ),'/',categoria, '"') as char) as command_mkdir
158from dim_documento a
159join dim_categoria_doc using(id_categoria_doc)
160join (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
161union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
162join tmp_estrai_doc using (id_posizione)
163join dim_debitore using(id_debitore)
164join tbl_percorso b
165where b.id='blob_documento' and md5 is not null and md5 != '' and id_lotto<>'L0';
166
167select *, length(command) from tmp_res 
168-- where command like '%/Z1400535/%'
169order by length(command);
170Z1406327
171Z1413471;
172select * from dim_documento where id_posizione='Z1413471';
173
174alter table tmp_res modify column command varchar(400);
175
176alter table tmp_esiti_f add index idx (documento);
177alter table tmp_res add index idx (command);
178
179
180drop table if exists tmp_res;
181create temporary table tmp_res
182select distinct command from tmp_dim_documento
183union all
184select distinct command from tmp_dim_pdr
185union all
186select distinct command from tmp_dim_pdr_g
187union all
188select distinct command from tmp_dim_diffida;
189
190/*select id_posizione, count(*) from tmp_res group by 1;*/
191select * from tmp_res;
192
193
194
195
196drop table if exists tmp_res_check;
197create temporary table tmp_res_check
198select 'dim_documento', count(*) as presenti, (select count(*) from tmp_dim_documento) trovati  from dim_documento# join tmp_estrai_doc1 using (id_posizione)
199union
200select 'dim_pdr', count(*) as presenti, (select count(*) from tmp_dim_pdr) trovati from dim_pdr #join tmp_estrai_doc2 using (id_posizione)
201union
202select  'dim_pdr_g', count(*) as presenti, (select count(*) from tmp_dim_pdr_g) trovati  from dim_pdr_g #join tmp_estrai_doc3 using (id_posizione) ##i 3 diversi hanno perso md5
203union
204select 'dim_diffida', count(*) as presenti, (select count(*) from tmp_dim_diffida) trovati from dim_diffida# join tmp_estrai_doc using (id_posizione); ##differenza di 2
205;
206select *  from tmp_res_check; 
207*/
208
209dim_documento	16386	16729
210dim_pdr			0		0
211dim_pdr_g		134		126
212dim_diffida		3156	3157
213;
214select id_posizione, id_debitore, id_lotto from (select id_posizione, id_debitore, id_lotto from fact_posizione_g 
215union select id_posizione, id_debitore, id_lotto from fact_posizione) b
216order by 1;
217
218select id_posizione
219from dim_diffida a
220join (select id_posizione,id_debitore,id_lotto from fact_posizione_g
221union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
222#join tmp_estrai_doc3 using (id_posizione)
223#join dim_debitore using(id_debitore)
224#join tbl_percorso b
225where
226 #b.id='blob_diffida' and 
227 md5 is not null and md5 != '' and id_lotto<>'L0';
228*/
229
230create table tmp_tbl_diffida_test
231select id_posizione, id_diffida from dim_diffida;
232
233create table tmp_tbl_diffida_test2
234select id_posizione, id_diffida from dim_diffida join (select id_posizione,id_debitore,id_lotto from fact_posizione_g
235union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione);
236
237select id_posizione, id_diffida, count(*) from tmp_tbl_diffida_test t1  left join tmp_tbl_diffida_test2 t2 using(id_posizione, id_diffida) group by id_posizione, id_diffida having count(*)>1;
238
239select * from dim_diffida where id_posizione in ('1CBSN00937'
240'1CBSN00937',
241'1CBSN00939',
242'1CBSN00943',
243'1CBSN00947',
244'1CBSN00949',
245'1CBSN00951',
246'1CBSN01049',
247'1CBSN01364',
248'1CBSN01407',
249'1CBSN01407',
250'1CBSN01409');
251
252;
253select id_posizione, id_diffida, count(*)
254from dim_diffida a
255join (select id_posizione,id_debitore,id_lotto from fact_posizione_g
256union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
257#join tmp_estrai_doc3 using (id_posizione)
258#join dim_debitore using(id_debitore)
259join tbl_percorso b
260where b.id='blob_diffida' and md5 is not null and md5 != '' and id_lotto<>'L0'
261group by id_posizione, id_diffida having count(*)>1;
262
263
264
265
266select id_posizione, count(*) as cnt from (select id_posizione,id_debitore from fact_posizione_g 
267union select id_posizione,id_debitore from fact_posizione) b
268group by id_posizione having count(*)>1;
269
270select *  from (select id_posizione,id_debitore from fact_posizione_g 
271union select id_posizione,id_debitore from fact_posizione) b
272where id_posizione in ('1CBSN00937') order by 1;
273
274select * from dim_documento dd
275join tmp_estrai_doc3 using(id_posizione)
276join (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
277union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
278where id_posizione in ('10007/SEN/2018') order by 2;
279
280select * from (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
281union select id_posizione,id_debitore,id_lotto from fact_posizione) a  where id_posizione in ('10007/SEN/2018');
282
283select distinct * from (select id_posizione from fact_posizione_g 
284union select id_posizione from fact_posizione) a
285
286/*select id_posizione from dim_documento 
287join tmp_estrai_doc3 using(id_posizione)
288join (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
289union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
290join dim_debitore using(id_debitore)
291join tbl_percorso b
292where b.id='blob_documento' and md5 is not null and id_lotto<>'L0';
293#group by id_posizione having count(*)>1;
294
295select id_debitore from (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
296union select id_posizione,id_debitore,id_lotto from fact_posizione) b  where id_posizione in ('4CPUR0000024',
297'4CPUR0000036');
298
299select * from dim_debitore where id_debitore in ('0001021540',
300'TC00000570',
301'00000570TC',
302'0001021540');*/
303/*
304select id_posizione, id_diffida, count(*) as cnt from dim_diffida 
305join tmp_estrai_doc3 using(id_posizione)
306join (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
307union select id_posizione,id_debitore,id_lotto from fact_posizione) b using(id_posizione)
308group by id_posizione, id_diffida having count(*)>1;
309
310
311select * from (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
312union select id_posizione,id_debitore,id_lotto from fact_posizione) a where id_posizione in ('4CPUR0000024',
313'4CPUR0000036')
314
315select * from tmp_estrai_doc3;
316select * from (select id_posizione,id_debitore,id_lotto from fact_posizione_g 
317union select id_posizione,id_debitore,id_lotto from fact_posizione) b;*/