8-Bit Unicode Transformation Format

Das 8-Bit Unicode Transformation Format / UTF-8 ist die am weitesten verbreitete Kodierung für Unicode-Zeichen. Dabei wird jedem Unicode-Zeichen eine besonders kodierte Bytekette von variabler Länge zugeordnet. UTF-8 unterstützt bis zu vier Byte, auf die sich wie bei allen UTF-Formaten alle Unicode-Zeichen abbilden lassen.

UTF-8 wurde als Alternative zu UTF-16 entwickelt und stellt jedes Zeichen durch 8 Bit bzw. ein Byte dar. Dabei werden die US-ASCII-Zeichen (7 Bit) wie bisher durch ein Byte dargestellt, deren oberstes Bit 0 ist. Alle anderen Unicode-Zeichen werden durch zwei bis vier Byte lange Byte-Ketten dargestellt. Damit gibt es keinen unmittelbaren Zusammenhang mehr zwischen der Anzahl Byte und der Anzahl Zeichen einer Datei.

UTF-8 hat eine zentrale Bedeutung als globale Zeichenkodierung im Internet und ist inzwischen die meist genutzte Unicode-Anwendung. Die Internet Engineering Task Force verlangt von allen neuen Internetkommunikationsprotokollen, dass die Zeichenkodierung deklariert wird und dass UTF-8 eine der unterstützten Kodierungen ist. Das Internet Mail Consortium / IMC empfiehlt, dass alle E-Mail-Programme UTF-8 darstellen und senden können.

Auch bei dem in Webbrowsern verwendeten HTML setzt sich UTF-8 zur Darstellung von länder- und sprachspezifischen Zeichen zunehmend durch und ersetzt die vorher benutzten HTML-Sonderzeichen.

Verwendung

Zeichen	ISO 8859-1 (Latin1)		Unicode (UTF-8)			URL
	Dezimal	Oktal	Dezimal	Oktal	Hexadez.
Ä	196	304		303 204	C3 84	%C3%84
ä	228	344		303 244	C3 A4	%C3%A4
Ö	214	326		303 226	C3 96	%C3%96
ö	246	366		303 266	C3 B6	%C3%B6
Ü	220	334		303 234	C3 9C	%C3%9C
ü	252	374		303 274	C3 BC	%C3%BC
α				316 261	CE B1
(Zeilenumbruch)				\n	0A
(nichts)				\0	00
Unklar, ob folgende stimmen:
(Leerzeichen)					0000	%00%00
/					2215	%22%15
(					0028	%00%28
)					0029	%00%29

Ausgabe der UTF-8-Kodierung des Zeichens "α" (Alpha aus dem griechischen Alphabet). Im Beispiel wird für das Zeichen "α" die (hexadezimale) UTF-8-Kodierung "ceb1" (also genau umgekehrt wie von "echo" ausgegeben; dezimal: 316 261, hier ist die Reihenfolge wie angezeigt). Danach folgt noch ein Zeilenumbruch ("0a") und nichts weiter ("00"). Zu beachten ist natürlich, dass das verwendete Terminal auch tatsächlich auf die Anzeige von UTF-8 eingestellt ist! Der entsprechende Code Point für die Darstellung als Zeichen in HTML lautet "03b1".

$ echo α | od -xc
0000000 b1ce 000a
        316 261  \n  \0
0000003

Dieselbe Ausgabe, aber ohne von "echo" an die Ausgabe angehängten Zeilenumbruch.

$ echo -n α | od -xc
0000000 b1ce 000a
        316 261
0000002

Anzeige von UTF-8 Zeichen in Codepoint hex-Darstellung.

$ echo 'UTF-8 ist schön' | preconv -r
UTF-8 ist sch\[u00F6]n

Umwandlung des Wertes "FC" von Hexadezimal zu Dezimal (252) mit "bc".

$ echo "ibase=16; FC" | bc
252

Umwandlung des Wertes "334" von Oktal zu Dezimal (220) mit "bc".

$ echo "ibase=8; 334" | bc
220

Umwandlung einer Datei mit Zeichensatz Latin1 zu Zeichensatz UTF-8.

$ iconv -f latin1 -t utf-8 latin1.txt > utf8.txt

Einige Spezialzeichen

special signs 1   Code Unicode ▲ ▲ ► ► ▼ ▼ ◄ ◄ ■ ■ □ □ ▣ ▣ ▤ ▤ ▥ ▥ ▦ ▦ ▧ ▧ ▨ ▨ ▩ ▩ ▪ ▪ ▫ ▫ ◊ ◊ ◊ ○ ○ ● ● ☺ ☺ ☻ ☻ ☼ ☼

german umlaut   Code Unicode ä ä ä Ä Ä Ä Ã¶ ö ö Ö Ö Ö Ã¼ ü ü Ãœ Ü Ü ÃŸ ß ß money signs   Code Unicode € € € ¢ ¢ ¢ £ £ £ Â¥ ¥ ¥ ¤ ¤ ¤ ₪ ₪

special signs 2   Code Unicode ♀ ♀ ♂ ♂ ♠ ♠ ♠ ♤ ♤ ♣ ♣ ♣ ♧ ♧ ♥ ♥ ♥ ♡ ♡ ♦ ♦ ♦ ★ ★ ☆ ☆ ⌂ ⌂ № № ☎ ☎ ☏ ☏ ♨ ♨ ☜ ☜ ☞ ☞ ♩ ♩ ♪ ♪ ♫ ♫ ♬ ♬ ♭ ♭ † † ‡ ‡

arrows   Code Unicode ← ← ← ↑ ↑ ↑ → → → ↓ ↓ ↓ ↔ ↔ ↔ ↕ ↕ ↖ ↖ ↗ ↗ ↘ ↘ ↙ ↙

special signs 3   Code Unicode   &nbsp; &#160; " &quot; &#34; & &amp; &#38; < &lt; &#60; > &gt; &#62; § &sect; &#167; « &laquo; &#171; » &raquo; &#187; © &copy; &#169; ® &reg; &#174; â„¢ &trade; &#8482; ± &plusmn; &#177; ¿ &iquest; &#191; ¡ &iexcl; &#161; @ &#64;

math signs   Code Unicode × &times; &#215; ÷ &divide; &#247; + &#43; - &#45; Ω &#8486; √ &#8730; ¼ &frac14; &#188; ½ &frac12; &#189; ¾ &frac34; &#190; ⅓ &#8531; ⅔ &#8532; ⅛ &#8539; ⅜ &#8540; ⅝ &#8541; ⅞ &#8542; % &#37; ‰ &#8240; ¹ &sup1; &#185; ² &sup2; &#178; ³ &sup3; &#179;

Weblinks

Herausgeber	Sprache	Webseitentitel	Anmerkungen
Wikipedia	ger	UTF-8wbm	Enzyklopädischer Artikel
	ger	UTF-8-Codetabelle mit Unicode-Zeichenwbm	Anmerkung: der Unicode Codepoint ist gelb hinterlegt, der UTF-8-Code ist rot hinterlegt.

• UTF-8-Codetabelle mit Unicode-Zeichen (Oktal)
• UTF-8-Codetabelle mit Unicode-Zeichen (Hexadezimal)

• UTF-8-Kodierungen Cheatsheet

• https://www.utf8-chartable.de/unicode-utf8-table.pl?utf8=dec

• Filtering invalid UTF-8

Unicode-Zeichen mit Hexadezimalcode 00df (das Zeichen "ß" bzw. "LATIN SMALL LETTER SHARP S").

• https://www.fileformat.info/info/unicode/char/00df/index.htm