Χρήστης:Lou/Χειρισμός bot/getall.pl

#!/usr/bin/perl

# Encoding : UTF8
# Is used with RAW XML !!!
# 

my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
$year += 1900 ;
$mon += 1 ;

@ttlang = ( "aa", "ab", "af", "ak", "als", "am", "an", "ang", "ar", "as", "ast", "av", "ay", "az", "ba", "be", "bg", "bh", "bi", "bm", "bn", "bo", "br", "bs", "ca", "ch", "chr", "co", "cr", "cs", "csb", "cy", "da", "de", "dv", "dz", "el", "en", "eo", "es", "et", "eu", "fa", "fi", "fj", "fo", "fr", "fy", "ga", "gd", "gl", "gn", "gu", "gv", "ha", "he", "hi", "hr", "hu", "hy", "ia", "id", "ie", "ik", "io", "is", "it", "iu", "ja", "jbo", "jv", "ka", "kk", "kl", "km", "kn", "ko", "ks", "ku", "kw", "ky", "la", "lb", "li", "ln", "lo", "lt", "lv", "mg", "mh", "mi", "mk", "ml", "mn", "mo", "mr", "ms", "mt", "my", "na", "nah", "nds", "ne", "nl", "nn", "no", "oc", "om", "or", "pa", "pi", "pl", "ps", "pt", "qu", "rm", "rn", "ro", "roa-rup", "ru", "rw", "sa", "sc", "scn", "sd", "sg", "sr", "ss", "st", "su", "sv", "sw", "ta", "te", "tg", "th", "ti", "tk", "tl", "tlh", "tn", "to", "tokipona", "tpi", "tr", "ts", "tt", "tw", "ug", "uk", "ur", "uz", "vi", "vo", "wa", "wo", "xh", "yi", "yo", "za", "zh", "zh-min-nan", "zu" ) ;

$today = "$year-$mon-$mday" ;

open( RESFILE,">$today.txt");

foreach ( @ttlang ) {
  $lang_cur = $_ ;
  $url1 = "http://download.wikimedia.org/" ;
  $url2 = "wiktionary/latest/" ;
  $url3 = "wiktionary-latest-all-titles-in-ns0" ;
  `wget $url1$lang_cur$url2$lang_cur$url3.gz` ;
  `gunzip $lang_cur$url3.gz`;
  open( XMLFILE, "< $lang_cur$url3" ) ;

  $line = <XMLFILE> ; # we don't take the first line into account
  while ( $line = <XMLFILE> ) {
    $line =~ s/_/ /g;
    print RESFILE "$lang_cur:$line" ;
  }
#  `rm $lang_cur$url3.gz` ;
  `rm $lang_cur$url3` ;
}