Add hello world tests for all languages (enabled when RELEASE_TESTING is true)
[gruntmaster-daemon.git] / t / 01-jobs.t
index 32f299b60bb777486a9d6b1b3c7c025da4401535..4b763104d1dce74d4f0de8b0883db157b458e53f 100644 (file)
@@ -3,14 +3,14 @@ use v5.14;
 use strict;
 use warnings;
 
-use t::FakeData;
-BEGIN { Gruntmaster::Data->import }
 use Gruntmaster::Daemon;
 
 use Cwd qw/cwd/;
 use File::Basename qw/fileparse/;
 use File::Slurp qw/read_file/;
 use File::Temp qw/tempdir/;
+use File::Which qw/which/;
+use Hash::Merge qw/merge/;
 use List::Util qw/sum/;
 use Log::Log4perl;
 use Test::More;
@@ -18,7 +18,19 @@ use YAML::Any qw/LoadFile/;
 
 ##################################################
 
-my $loglevel = $ENV{TEST_LOG_LEVEL} // 'OFF';
+use constant COMPILER => {
+       qw/C gcc
+          CPP g++
+          MONO gmcs
+          JAVA javac
+          PASCAL fpc
+          GOLANG go
+          GCCGO gccgo
+          HASKELL ghc
+          PERL perl
+          PYTHON python/};
+
+my $loglevel = $ENV{TEST_LOG_LEVEL} // ($ENV{TEST_VERBOSE} ? 'TRACE' : 'OFF');
 my $log_conf = <<CONF;
 log4perl.category.Gruntmaster.Daemon = $loglevel, stderr
 
@@ -28,58 +40,59 @@ log4perl.appender.stderr.layout.ConversionPattern = [\%d] [\%F{1}:\%M{1}:\%L] [\
 CONF
 Log::Log4perl->init(\$log_conf);
 
-$ENV{PATH}.=':' . cwd;
+$ENV{PATH} = cwd . ':' . $ENV{PATH};
+umask 0022;
 
 sub check_job{
-  my $job = shift;
-  my $jobh = get_job $job;
-  my $meta = job_inmeta $job;
-  $meta->{result} = $jobh->{result};
-  $meta->{result_text} = $jobh->{result_text};
-  $meta->{results} = $jobh->{results};
-  if (defined $meta->{results}) {
-       delete $meta->{results}[$_]{time} for keys $meta->{results};
-  }
-  is $meta->{result}, $meta->{expected_result}, "Result is correct";
-  is $meta->{result_text}, $meta->{expected_result_text}, "Result text is correct";
-  is_deeply $meta->{results}, $meta->{expected_results}, "Results are correct";
+       my $meta = shift;
+       if (defined $meta->{results}) {
+               delete $meta->{results}[$_]{time} for keys @{$meta->{results}};
+       }
+       is $meta->{result}, $meta->{expected_result}, "Result is correct";
+       is $meta->{result_text}, $meta->{expected_result_text}, "Result text is correct";
+       is_deeply $meta->{results}, $meta->{expected_results}, "Results are correct";
 }
 
 my @problems = exists $ENV{TEST_PROBLEMS} ? map {"t/problems/$_"} split ' ', $ENV{TEST_PROBLEMS} : <t/problems/*>;
+@problems = grep { $_ !~ /hello/ } @problems unless $ENV{RELEASE_TESTING} || $ENV{TEST_PROBLEMS};
+
 plan tests => 3 * sum map { my @temp = <$_/tests/*>; scalar @temp } @problems;
 note "Problems to be tested: " . join ', ', @problems;
 
-my $tempdir = tempdir CLEANUP => 1;
+my $tempdir = tempdir "gruntmaster-daemon-testingXXXX", TMPDIR => 1, CLEANUP => 1;
+chmod 0777, $tempdir;
 
 my $job = 0;
 
 for my $problem (@problems) {
-  my $meta = LoadFile "$problem/meta.yml";
-  for (1 .. $meta->{testcnt}) {
-       $meta->{infile}[$_ - 1] = read_file "$problem/$_.in" if $meta->{generator} eq 'File';
-       $meta->{okfile}[$_ - 1] = read_file "$problem/$_.ok" if $meta->{runner} eq 'File';
-  }
-  if (exists $meta->{files}) {
-         $_->{content} = read_file "$problem/$_->{name}" for values $meta->{files}
-  }
-  set_problem_meta scalar fileparse($problem), $meta;
+       my $pbmeta = LoadFile "$problem/meta.yml";
+       for (1 .. $pbmeta->{testcnt}) {
+               $pbmeta->{infile}[$_ - 1] = read_file "$problem/$_.in" if $pbmeta->{generator} eq 'File';
+               $pbmeta->{okfile}[$_ - 1] = read_file "$problem/$_.ok" if $pbmeta->{runner} eq 'File';
+       }
+       if (exists $pbmeta->{files}) {
+               $_->{content} = read_file "$problem/$_->{name}" for values %{$pbmeta->{files}}
+       }
 
- TODO: {
-       local $TODO = $meta->{todo} if exists $meta->{todo};
-       note "Now testing problem $meta->{name} ($meta->{description})";
 TODO: {
+               local $TODO = $pbmeta->{todo} if exists $pbmeta->{todo};
+               note "Now testing problem $pbmeta->{name} ($pbmeta->{description})";
 
-       for my $source (<$problem/tests/*>) {
-         my $meta = LoadFile "$source/meta.yml";
-         $meta->{files}{prog}{content} = read_file "$source/$meta->{files}{prog}{name}";
-         $job++;
-         set_job_inmeta $job, $meta;
-         set_job_problem $job, scalar fileparse $problem;
-         note "Running $meta->{test_name} ($meta->{test_description})...";
-         my $savedcwd = cwd;
-         chdir $tempdir;
-         Gruntmaster::Daemon::process $job;
-         check_job $job;
-         chdir $savedcwd;
+               for my $source (<$problem/tests/*>) {
+                 SKIP: {
+                               my $meta = LoadFile "$source/meta.yml";
+                               my $compiler = COMPILER->{$meta->{files}{prog}{format}};
+                               skip "$compiler not found in path", 3 unless $ENV{GRUNTMASTER_VM} || which $compiler;
+                               local $TODO = $meta->{todo} if exists $meta->{todo};
+                               $meta->{files}{prog}{content} = read_file "$source/$meta->{files}{prog}{name}";
+                               $meta = merge $meta, $pbmeta;
+                               note "Running $meta->{test_name} ($meta->{test_description})...";
+                               my $savedcwd = cwd;
+                               chdir $tempdir;
+                               Gruntmaster::Daemon::process $meta;
+                               chdir $savedcwd;
+                               check_job $meta;
+                       }
+               }
        }
-  }
 }
This page took 0.013559 seconds and 4 git commands to generate.