<p>Martin Roth has uploaded this change for <strong>review</strong>.</p><p><a href="https://review.coreboot.org/20877">View Change</a></p><pre style="font-family: monospace,monospace; white-space: pre-wrap;">WIP: Add extended tests<br><br>The basic tests were broken out of the what-jenkins-does target. These<br>start to add additional tests that aren't currently done on the servers.<br><br>TODO:<br>- Add save/restore of .config file<br>- Add additional QEMU testing<br>- Add additional abuild tests for flags that are typically disabled<br>- Get extended payload test working - Need to create config files<br>for each.<br><br>Change-Id: If8a126c5e12526611e3a02ea46c007bb5a997f55<br>Signed-off-by: Martin Roth <martinroth@google.com><br>---<br>M util/testing/Makefile.inc<br>1 file changed, 30 insertions(+), 0 deletions(-)<br><br></pre><pre style="font-family: monospace,monospace; white-space: pre-wrap;">git pull ssh://review.coreboot.org:29418/coreboot refs/changes/77/20877/1</pre><pre style="font-family: monospace,monospace; white-space: pre-wrap;">diff --git a/util/testing/Makefile.inc b/util/testing/Makefile.inc<br>index 160210b..1ff3b8a 100644<br>--- a/util/testing/Makefile.inc<br>+++ b/util/testing/Makefile.inc<br>@@ -16,11 +16,14 @@<br>       @echo  '  what-jenkins-does      - Run platform build tests with junit output'<br>        @echo  '  lint / lint-stable     - run coreboot lint tools (all / minimal)'<br>   @echo  '  test-basic             - Run stardard build tests. All expected to pass.'<br>+  @echo  '  test-extended          - Run extended tests.'<br>       @echo  '  test-lint              - basic: Run stable and extended lint tests.'<br>        @echo  '  test-tools             - basic: Tests a basic list of tools.'<br>       @echo  '  test-abuild            - basic: Builds all platforms'<br>       @echo  '  test-payloads          - basic: Builds internal payloads'<br>   @echo  '  test-cleanup           - basic: Cleans coreboot directories'<br>+       @echo  '  test-external-payloads - extended: Builds external payloads'<br>+       @echo  '  test-qemu              - extended: Builds & boots QEMU targets'<br> <br> # junit.xml is a helper target to wrap builds that don't create junit.xml output<br> # BLD = Subdirectory the build lives in - The name of the build<br>@@ -63,6 +66,12 @@<br> coreinfo \<br> nvramcui<br> <br>+TEST_PAYLOADLIST_EXTERNAL= \<br>+iPXE \<br>+Memtest86Plus \<br>+SeaBIOS \<br>+tint<br>+<br> JENKINS_PAYLOAD?=none<br> TEST_PAYLOAD?=$(JENKINS_PAYLOAD)<br> CPUS?=4<br>@@ -82,6 +91,8 @@<br> <br> test-basic: test-lint test-tools test-abuild test-payloads test-cleanup<br> <br>+test-extended: test-external_payloads test-qemu<br>+<br> test-lint:<br>    util/lint/lint lint-stable<br>    util/lint/lint-015-final-newlines<br>@@ -100,6 +111,14 @@<br>               $(MAKE) $(payload) -j $(CPUS) V=$(V) Q=$(Q)\<br>          || exit 1; )<br> <br>+test-external-payloads:<br>+    export MFLAGS=;export MAKEFLAGS=;\<br>+   $(foreach payload, $(TEST_PAYLOADLIST_EXTERNAL), \<br>+           echo "*** Making payload $$payload ***"; \<br>+         $(MAKE) -C payloads/exeternal/$(payload) clean; \<br>+            $(MAKE) $(payload) -j $(CPUS) V=$(V) Q=$(Q) \<br>+                || exit 1; )<br>+<br> test-tools:<br>         @echo "Build testing $(TOOLLIST)"<br>   $(foreach tool, $(TOOLLIST), $(MAKE) -C util/$(tool) clean ; )<br>@@ -107,6 +126,16 @@<br>  $(foreach tool, $(TOOLLIST), echo "Building $(tool)";export MFLAGS= ;export MAKEFLAGS= ;$(MAKE) -C util/$(tool) all V=$(V) Q=$(Q) || exit 1; )<br>      echo "Building romcc"<br>       $(MAKE) -C util/romcc all test -j $(CPUS) V=$(V) Q=$(Q)<br>+<br>+test-qemu:<br>+      cp $(top)/configs/config.emulation_qemu_x86_i440fx $(top)/.config<br>+    echo "CONFIG_PAYLOAD_NONE=y" > $(top)/.config<br>+   make olddefconfig; make clean; make all<br>+      qemu-system-x86_64 -bios build/coreboot.rom -serial file:QEMU.LOG -daemonize -pidfile $(top)/QEMU.PID<br>+        sleep 5<br>+      kill $$(cat $(top)/QEMU.PID)<br>+ grep -q "Payload not loaded."  $(top)/QEMU.LOG<br>+     rm $(top)/QEMU.PID $(top)/QEMU.LOG<br> <br> test-cleanup:<br>         rm -rf coreboot-builds coreboot-builds-chromeos<br>@@ -118,3 +147,4 @@<br> .PHONY: test-basic test-lint test-abuild test-payloads<br> .PHONY: test-tools test-cleanup test-help<br> .PHONY: lint lint-stable what-jenkins-does<br>+.PHONY: test-extended test-external_payloads test-qemu<br></pre><p>To view, visit <a href="https://review.coreboot.org/20877">change 20877</a>. To unsubscribe, visit <a href="https://review.coreboot.org/settings">settings</a>.</p><div itemscope itemtype="http://schema.org/EmailMessage"><div itemscope itemprop="action" itemtype="http://schema.org/ViewAction"><link itemprop="url" href="https://review.coreboot.org/20877"/><meta itemprop="name" content="View Change"/></div></div>

<div style="display:none"> Gerrit-Project: coreboot </div>
<div style="display:none"> Gerrit-Branch: master </div>
<div style="display:none"> Gerrit-MessageType: newchange </div>
<div style="display:none"> Gerrit-Change-Id: If8a126c5e12526611e3a02ea46c007bb5a997f55 </div>
<div style="display:none"> Gerrit-Change-Number: 20877 </div>
<div style="display:none"> Gerrit-PatchSet: 1 </div>
<div style="display:none"> Gerrit-Owner: Martin Roth <martinroth@google.com> </div>