Compilers Everywhere

Compilers Everywhere
Bernd M¨uller
Ostfalia
Bernd M¨uller 5.7.2018 1/48

Vortragstypus ???
Nice to Know

Vortragstypus ???

Agenda
Was ist Just-in-Time-Compilation ?
Was der JIT-Compiler so alles macht
VM-Schalter zum Selbstausprobieren . . .
Ahead of Time Compilation
Graal
GraalVM
(Demo)

Referent
Vorstellung Referent
Prof. Informatik (Ostfalia, HS Braunschweig/Wolfenbüttel)
Buchautor (JSF, Seam, JPA, ...)
Mitglied EGs JSR 344 (JSF 2.2) und JSR 338 (JPA 2.1)
Geschäftsführer PMST GmbH
JUG Ostfalen (Mitorganisator)
. . .
bernd.mueller@ostfalia.de
@berndmuller

(Java) Compiler Basics

Compilers
A compiler is a program that reads a
program written in one programming
language – the source language – and
translates it into an equvalent program in
another language – the target language.

Compiler (from Wikipedia)
. . .
The translation process inﬂuences the design of computer languages which leads to a
preference of compilation or interpretation.
. . .
In practice, an interpreter can be implemented for compiled languages and compilers
can be implemented for interpreted languages.
. . .
https://en.wikipedia.org/wiki/Compiler

The Java Language: A White Paper / An Overview, 1995
Section Interpreted
The Java interpreter can execute Java bytecodes directly on any machine to which the
interpreter has been ported. And since linking is a more incremental and lightweight
process, the development process can be much more rapid and exploratory.

The Java Language: A White Paper / An Overview, 1995
Section High Performance
While the performance of interpreted bytecodes is usually more than adequate, there
are situations where higher performance is required. The bytecodes can be translated
on the ﬂy (at runtime) into machine code for the particular CPU the application is
running on. For those accustomed to the normal design of a compiler and dynamic
loader, this is somewhat like putting the ﬁnal machine code generator in the dynamic
loader. The bytecode format was designed with generating machine codes in mind, so
the actual process of generating machine code is generally simple.
In interpreted code we’re getting about 300,000 method calls per second on an Sun
Microsystems SPARCStation 10. The performance of bytecodes converted to machine
code is almost indistinguishable from native C or C++.

HotSpot-Ank¨undigung 1999
PARIS–(BUSINESS WIRE)–April 27, 1999
Sun Microsystems, Inc. today announced the release of the Java HotSpot(TM)
Performance Engine, the fastest software to date for Java(TM) technology
performance. The Java HotSpot performance engine breaks new ground in software
design and raises the bar by providing 100% higher performance than the previous Java
platform. The Java HotSpot Performance Engine will be available free of charge for
download at http://java.sun.com/products/hotspot/index.html.
”Java HotSpot Performance Engine turbocharges the Java 2 platform – performance is
no longer an issue,” said Jon Kannegaard, Vice President and General Manager, Java
Platform at Sun Microsystems, Inc.’s Java Software. This release maintains
uncompromising compatibility while dramatically boosting speed. It’s now the obvious
choice for deploying full-scale Java applications in the enterprise.”
URL

Just-in-Time-Compilation
Bernd M¨uller 5.7.2018 11/48

Hot-Spot-Compilation oder JIT-Compilation
Idee: Performanz hängt hauptsächlich davon ab, wie schnell häufig ausgeführter
Code ist
Bernd Müller 5.7.2018 12/48

Code ist
Daher: sp¨ate (nicht zum Programmstart), optionale Compilierung sinnvoll
Bernd M¨uller 5.7.2018 12/48

Code ist
Compilierung ben¨otigt Zeit, diese evtl vergeudet, falls Code selten aufgerufen
Bernd M¨uller 5.7.2018 12/48

Code ist
JVM benötigt Informationen über Ausführung, um optimalen Code zu erzeugen
Bernd Müller 5.7.2018 12/48

Code ist
Beispiel: obj1.equals(obj2)
Bernd M¨uller 5.7.2018 12/48

Code ist
Falls obj1 die letzen Male immer String war, String.equals() verwenden und
nicht dynamisch dispatchen
Bernd M¨uller 5.7.2018 12/48

Code ist
Falls obj1 die letzen Male immer String war, String.equals() verwenden und
nicht dynamisch dispatchen
Aber: obj1 k¨onnte mal von anderem Typ sein, muss also beobachtet werden
Bernd M¨uller 5.7.2018 12/48

Die beiden JIT-Compiler
Client-Compiler, auch C1 genannt
Server-Compiler, auch C2 genannt
Warum zwei ?
Bernd M¨uller 5.7.2018 13/48

Warum zwei ?
Client-Compiler optimiert, um Start-Up-Zeit zu minimieren
Server-Compiler optimiert, um auf lange Sicht bessere Performanz zu haben
Bernd M¨uller 5.7.2018 13/48

Warum zwei ?
Warum kann der Server-Compiler evtl. besser sein?
Bernd M¨uller 5.7.2018 13/48

Warum zwei ?
Warum kann der Server-Compiler evtl. besser sein?
Weil er den ausgeführten Code länger beobachtet und gründlicher analysiert hat und
damit gezieltere Optimierungen einbauen kann
Bernd Müller 5.7.2018 13/48

Tiered Compilation
Tiered Compilation
Bernd M¨uller 5.7.2018 14/48

Tiered Compilation
Tiered Compilation
Zu Beginn Client-Compiler verwenden, um schnellen Startup zu bekommen
Bernd M¨uller 5.7.2018 15/48

Tiered Compilation
Tiered Compilation
Wenn Code
”
hot“ wird und genügend Laufzeitinformationen gesammelt wurden,
nochmals durch Server-Compiler übersetzen
Bernd Müller 5.7.2018 15/48

Tiered Compilation
Tiered Compilation
Wenn Code
”
Zu setzen mit -XX:+TieredCompilation
Bernd M¨uller 5.7.2018 15/48

Tiered Compilation
Tiered Compilation
Wenn Code
”
Seit Java 8 der Default
Bernd M¨uller 5.7.2018 15/48

Tiered Compilation
Tiered Compilation
Wenn Code
”
Seit Java 8 der Default
Tiered Compilation setzt Server-Compiler voraus.
java -client -XX:+TieredCompilation l¨auft daher ohne Tiered Compilation
Bernd M¨uller 5.7.2018 15/48

Tiered Compilation
2 Compiler — 5 Ausf¨uhrungs-Level (bei Tiered Compilation)
Level 0: interpreted code
Bernd M¨uller 5.7.2018 16/48

Tiered Compilation
Level 1: simple C1 compiled code (with no proﬁling)
Bernd M¨uller 5.7.2018 16/48

Tiered Compilation
Level 2: limited C1 compiled code (with light proﬁling)
Bernd M¨uller 5.7.2018 16/48

Tiered Compilation
Level 3: full C1 compiled code (with full proﬁling)
Bernd M¨uller 5.7.2018 16/48

Tiered Compilation
Level 4: C2 compiled code (uses proﬁle data from the previous steps)
Bernd M¨uller 5.7.2018 16/48

Tiered Compilation
Level 4: C2 compiled code (uses proﬁle data from the previous steps)
Normalerweise: 0 ⇒ 3 ⇒ 4
Bernd M¨uller 5.7.2018 16/48

Compilation Thresholds
Bernd M¨uller 5.7.2018 17/48

Was ist häufig ausgeführter Code?
Bernd Müller 5.7.2018 18/48

Was ist häufig ausgeführter Code?
Zwei Zähler
Anzahl Aufrufe einer Methode
Anzahl Rücksprünge innerhalb einer Schleife
Setzen mit -XX:CompileThreshold=N
Setzen mit -XX:BackEdgeThreshold=N
Defaults in Client-Compiler: 1500 in Server-Compiler 10000
In der Regel selten bis nie zu änder laut [Oaks], da mit diesen Werten Info für
optimale Compilierung vorhanden
Bernd Müller 5.7.2018 18/48

Nur zur Info ein paar Thresholds . . . (Java 8, 64 Bit)
intx CompileThreshold = 10000 {pd product}
uintx IncreaseFirstTierCompileThresholdAt = 50 {product}
intx Tier2CompileThreshold = 0 {product}
intx BackEdgeThreshold = 100000 {pd product}
intx Tier2BackEdgeThreshold = 0 {product}
Bei Interesse: advancedThresholdPolicy.hpp
Bernd M¨uller 5.7.2018 19/48

Inlining
Inlining
Bernd M¨uller 5.7.2018 20/48

Inlining
Code der aufzurufenden Methode/Funktion an Stelle des Aufrufs

Inlining
Code der aufzurufenden Methode/Funktion an Stelle des Aufrufs
bool C1ProﬁleInlinedCalls true C1 product
intx FreqInlineSize 325 pd product
bool IncrementalInline true C2 product
bool Inline true product
ccstr InlineDataFile product
intx InlineSmallCode 2000 pd product
bool InlineSynchronizedMethods true C1 product
intx MaxInlineLevel 9 product
intx MaxInlineSize 35 product
intx MaxRecursiveInlineLevel 1 product
intx Tier23InlineeNotifyFreqLog 20 product
bool UseInlineCaches true product
bool UseOnlyInlinedBimorphic true C2 product

On-Stack Replacement
Bernd M¨uller 5.7.2018 22/48

Was tun, wenn eine Methode eine Schleife enthält, die sehr lange läuft?
Oder eine Schleife, die nie terminiert?
Bernd Müller 5.7.2018 23/48

Dann muss Schleife übersetzt werden, ohne auf den Methodenaufruf warten zu
können
Bernd Müller 5.7.2018 23/48

k¨onnen
Wenn Back-EdgeThreshold erreicht, Compilation anstoßen
Bernd M¨uller 5.7.2018 23/48

können
Wenn Back-EdgeThreshold erreicht, Compilation anstoßen
Und compilierte Version anstoßen, solange Schleife noch läuft
Bernd Müller 5.7.2018 23/48

Escape Analysis
Escape Analysis
Bernd M¨uller 5.7.2018 24/48

Escape Analysis
Escape Analysis
Jeder Heap-Zugriff erfolgt über Field-Name oder (Array-)Index
Bernd Müller 5.7.2018 25/48

Escape Analysis
Escape Analysis
Wenn Objekt in Methode erzeugt und nur dort verwendet wird, kann optimiert
werden
Bernd M¨uller 5.7.2018 25/48

Escape Analysis
Escape Analysis
werden
Man sagt:
”
the object does not escape“
Bernd M¨uller 5.7.2018 25/48

Escape Analysis
Escape Analysis
werden
Man sagt:
”
M¨ogliche Optimierungen:
Bernd M¨uller 5.7.2018 25/48

Escape Analysis
Escape Analysis
werden
Man sagt:
”
Automatic Stack Allocation, damit kein GC n¨otig
Bernd M¨uller 5.7.2018 25/48

Escape Analysis
Escape Analysis
werden
Man sagt:
”
Scalar Replacement, Fields auf Stack oder CPU-Register
Bernd M¨uller 5.7.2018 25/48

Escape Analysis
Escape Analysis
werden
Man sagt:
”
Scalar Replacement, Fields auf Stack oder CPU-Register
Switch -XX:+DoEscapeAnalysis, Default seit 7u4
Bernd M¨uller 5.7.2018 25/48

Deoptimization
Deoptimization
Bernd M¨uller 5.7.2018 26/48

Deoptimization
Deoptimization
Manche (einige/viele) Optimierungen müssen rückgängig gemacht werden
Bernd Müller 5.7.2018 27/48

Deoptimization
Deoptimization
Z.B. Unterklasse wird geladen, kann Methode ¨uberschreiben
Bernd M¨uller 5.7.2018 27/48

Deoptimization
Deoptimization
Z.B. Unterklasse wird geladen, kann Methode überschreiben
Nächste Tier hat compiliert (C2 muss C1-Code ersetzen)
Ausgaben im Log:
made not entrant
made zombie
Bernd Müller 5.7.2018 27/48

Informationen ¨uber den Compilier-Vorgang
Bernd M¨uller 5.7.2018 28/48

-XX:+PrintCompilation
java -XX:+PrintCompilation
Attribute:
%: On Stack Replacement
s: Method is synchronized
!: Method has Execption Handler
b: Compilation in Blocking Mode // nicht im Hintergrund
n: Compilation for Wrapper to native Method
Compilation Tier
Methodenname
Anzahl Bytes Byte-Code
Deoptimization (made not reentrant, made zombie)
Bernd M¨uller 5.7.2018 29/48

-Xint und -Xcomp
-Xint: nur interpretieren
-Xcomp: alles sofort compilieren
Bernd M¨uller 5.7.2018 30/48

-XX:+PrintInlining
java -XX:+UnlockDiagnosticVMOptions -XX:+PrintInlining
Zeigt Infos ¨uber Inlining (kleiner Methoden)
Durchaus nicht trivial (PrintFlagsFinal grep
”
Inline“)
Bernd M¨uller 5.7.2018 31/48

java -XX:+CITime
java -XX:+CITime
Statistiken zur Compilierung werden nach JVM-Ende ausgegeben
Bernd M¨uller 5.7.2018 32/48

-XX:+LogCompilation
java -XX:+UnlockDiagnosticVMOptions -XX:+LogCompilation
Sehr detaillierte Informationen werden in Datei hotspot pidXYZ.log geschrieben
Bernd M¨uller 5.7.2018 33/48

-XX:+PrintOptoAssembly
java -XX:+UnlockDiagnosticVMOptions -XX:+PrintOptoAssembly
Zeigt erzeugten Assembler an
Ben¨otigt Debug-VM
Bernd M¨uller 5.7.2018 34/48

-XX:+CompileCommand=<method>
java -XX:+UnlockDiagnosticVMOptions
-XX:CompileCommand=print,*<class>.<method>
print: print assembly
inline: Versuch zu inlinen
exclude: diese Methode nicht compilieren
. . .
Bernd M¨uller 5.7.2018 35/48

Bernd M¨uller 5.7.2018 36/48

JEP 295: Ahead-of-Time Compilation
Bernd M¨uller 5.7.2018 37/48

Summary Compile Java classes to native code prior to launching the virtual
machine.
Bernd M¨uller 5.7.2018 37/48

Ahead-of-Time Compilation: so gehts!
Neuer Compiler jaotc ab JDK 9 (nur Linux)
Ab JDK 10 auch in Windows
Verwendung:
jaotc --output libWaste.so de.pdbm.Waste1
jaotc --output libjava.base.so --module java.base
java -XX:AOTLibrary=./libWaste.so,./libjava.base.so de.pdbm.Waste1
Bernd M¨uller 5.7.2018 38/48

Ahead-of-Time Compilation: so gehts!
Neuer Compiler jaotc ab JDK 9 (nur Linux)
Ab JDK 10 auch in Windows
Verwendung:
jaotc --output libWaste.so de.pdbm.Waste1
jaotc --output libjava.base.so --module java.base
java -XX:AOTLibrary=./libWaste.so,./libjava.base.so de.pdbm.Waste1
Compilieren des Basismoduls: 2+ Minuten, 323 MB
Bernd M¨uller 5.7.2018 38/48

Graal und Java Virtual Machine Compiler Interface (JVM CI)
Bernd M¨uller 5.7.2018 39/48

Java Virtual Machine Compiler Interface (JVM CI)
JEP 243: Java-Level JVM Compiler Interface
Summary Develop a Java based JVM compiler interface (JVMCI) enabling a
compiler written in Java to be used by the JVM as a dynamic compiler.
Bernd M¨uller 5.7.2018 40/48

Java Virtual Machine Compiler Interface (JVM CI)
JEP 243: Java-Level JVM Compiler Interface
Summary Develop a Java based JVM compiler interface (JVMCI) enabling a
compiler written in Java to be used by the JVM as a dynamic compiler.
Umgangssprachlich: Schreib deinen eigenen Compiler und
”
plug it in“
Bernd M¨uller 5.7.2018 40/48

Graal
C1 und C2 in JVM enthalten und in C++ geschrieben,
Bernd M¨uller 5.7.2018 41/48

Graal
Einarbeitungs- und Wartungsaufwand Albtraum
Bernd M¨uller 5.7.2018 41/48

Graal
Neuer Compiler Graal in Java geschrieben
Bernd M¨uller 5.7.2018 41/48

Graal
JEP 317: Experimental Java-Based JIT Compiler
Bernd M¨uller 5.7.2018 41/48

Graal
Integriert ¨uber allgemeines Java Virtual Machine Compiler Interface (JVM CI)
Bernd M¨uller 5.7.2018 41/48

Graal
AOT bereits mit Graal realisiert, also in JDK 9 Linux enthalten
Bernd M¨uller 5.7.2018 41/48

Graal
AOT bereits mit Graal realisiert, also in JDK 9 Linux enthalten
Ab JDK 10 oﬃziell (experimental) verwendbar:
-XX:+UnlockExperimentalVMOptions -XX:+UseJVMCICompiler
Bernd M¨uller 5.7.2018 41/48

GraalVM
GraalVM
Bernd M¨uller 5.7.2018 42/48

GraalVM
GraalVM
https://www.graalvm.org/: GraalVM is a universal virtual machine for running
applications written in JavaScript, Python, Ruby, R, JVM-based languages like
Java, Scala, Kotlin, and LLVM-based languages such as C and C++.
Bernd M¨uller 5.7.2018 43/48

GraalVM
GraalVM
Modifizierte/erweiterte JVM mit Truffle und Substrate VM
Bernd Müller 5.7.2018 43/48

GraalVM
GraalVM
Enth¨alt native-image: generate an image that contains ahead-of-time compiled
Java code
Bernd M¨uller 5.7.2018 43/48

GraalVM
GraalVM
Enthält native-image: generate an image that contains ahead-of-time compiled
Java code
Zu beachten:
Reflection (Graal SDK unterstützt)
sun.misc.Unsafe: Field-Offsets müssen im Image neu berechnet werden
Nicht vollständiger Classpath: AOT muss alle referenzierten Klassen eager laden, um
übersetzen zu können. Ohne AOT kann Programm laufen, wirft aber evtl. Exception.
Kann mit Option --report-unsupported-elements-at-runtime verhindert
werden
Bernd Müller 5.7.2018 43/48

GraalVM
GraalVM native-image
native-image de.pdbm.HelloWorld
Compilierung: 10+ Sekunden, stand-alone Executable 5MB
Bernd M¨uller 5.7.2018 44/48

GraalVM
Es geht immer weiter . . .
Zum Abschluss die gute Nachricht — es geht immer weiter ;-)
JEP draft: JWarmup precompile java hot methods at application startup (5/2018)
Bernd M¨uller 5.7.2018 45/48

GraalVM
Es geht immer weiter . . .
Zum Abschluss die gute Nachricht — es geht immer weiter ;-)
JEP draft: JWarmup precompile java hot methods at application startup (5/2018)
Kurzgefasst:
Vor Produktion Testlauf, der Daten sammelt und speichert
Diese beim richtigen Lauf sofort für JIT nutzen
Produktion läuft dann mit nativem Code von Anfang an
Bernd Müller 5.7.2018 45/48

Und was nutzt mir das jetzt alles ?
Und was n¨utzt mir das jetzt alles ?
Seeing is believing . . . Demo Time !
Shell-Script zur Diagrammerzeugung:
Bernd M¨uller 5.7.2018 46/48

Fragen und Anmerkungen
Bernd M¨uller 5.7.2018 47/48

Referenzen
[Oaks] Scott Oaks, Java Performance — The Deﬁnitive Guide. O’Reilly, 2014.
Und Google ;-)
Bernd M¨uller 5.7.2018 48/48

Compilers Everywhere

Weitere ähnliche Inhalte

Empfohlen (20)

Compilers Everywhere