]> iEval git - gruntmaster-data.git/blobdiff - gruntmaster-problem
Make gruntmaster-problem check also set/clear time limit overrides
[gruntmaster-data.git] / gruntmaster-problem
index 816f919917e42a3c9c1a1cca412928d85963c672..e74449b61731fdd35b7bec51707e9d121f5b59ee 100755 (executable)
@@ -145,19 +145,21 @@ END
 }
 
 sub cmd_check {
-       my ($id) = @_;
+       my ($set, $clear);
+       GetOptions ( 'set|s' => \$set, 'clear|c' => \$clear );
+       my ($id) = @ARGV;
        my @jobs = $db->jobs->search({problem => $id, reference => { '!=', undef }})->all;
        say 'Rerunning ' . @jobs . ' reference jobs...';
        $_->rerun for @jobs;
        sleep 1 while $db->jobs->search({problem => $id, result_text => undef})->count;
 
-       my (@good_times, @fail_times, $fail);
+       my (%pass, %fail, $fail);
 
        for (@jobs) {
                $_->discard_changes;
-               my @times = map { $_->{time} } @{decode_json $_->results};
-               push @good_times, @times if $_->reference == 0;
-               push @fail_times, @times if $_->reference == 3;
+               my $time = max map { $_->{time} } @{decode_json $_->results};
+               $pass{$_->format} = max ($pass{$_->format} // (), $time) if $_->reference == 0;
+               $fail{$_->format} = max ($fail{$_->format} // (), $time) if $_->reference == 3;
                if ($_->result == $_->reference) {
                        say 'Job ' . $_->id . ' OK'
                } else {
@@ -166,14 +168,30 @@ sub cmd_check {
                }
        }
 
-       say 'Max time for AC: ' . max @good_times if @good_times;
-       say 'Min time for TLE: ' . min @fail_times if @fail_times;
+       printf "Min timeout for %s: %.2fs\n", $_, $pass{$_} for keys %pass;
+       printf "Max timeout for %s: %.2fs\n", $_, $fail{$_} for keys %fail;
        say $fail ? 'Test failed' : 'Test successful';
+
+       if ($clear) {
+               $db->limits->search({problem => $id})->delete;
+               say 'Cleared time limits';
+       }
+
+       if ($set) {
+               for (keys %pass) {
+                       my $time = $pass{$_};
+                       $time = sprintf '%.1f', $time * 3/2 + 0.1;
+                       $db->limits->create({problem => $id, format => $_, timeout => $time});
+                       say "Set time limit for $_ to $time";
+               }
+       }
+
        exit $fail if $fail;
 }
 
 ##################################################
 
+Getopt::Long::Configure 'bundling';
 my $cmd = 'cmd_' . shift;
 cmd_help unless exists $main::{$cmd};
 no strict 'refs';
@@ -197,7 +215,7 @@ gruntmaster-problem - shell interface to Gruntmaster 6000 problems
   gruntmaster-problem set [--file] problem_id key value
   gruntmaster-problem get problem_id key
   gruntmaster-problem edit problem_id key
-  gruntmaster-problem check problem_id
+  gruntmaster-problem check [-cs] [--clear] [--set] problem_id
 
 =head1 DESCRIPTION
 
@@ -237,10 +255,14 @@ Opens an editor with the value of the I<key> configuration option. After the edi
 
 Sets the I<key> configuration option of problem I<id> to the contents of the file I<file>.
 
-=item B<check> I<id>
+=item B<check> [args] I<id>
 
 Rerun all reference jobs for problem I<id> and check their results.
 
+With the I<--clear> or I<-c> argument, removes all time limit overrides for this problem.
+
+With the I<--set> or I<-s> argument, automatically adds time limit overrides based on the times used by the reference solutions.
+
 =back
 
 =head1 AUTHOR
This page took 0.022398 seconds and 4 git commands to generate.