Byte-Reihenfolge-Markierung

Als Byte-Reihenfolge-Markierung (engl. byte order mark / BOM) wird eine charakteristische Byte-Folge am Anfang eines Datenstroms bezeichnet, welche das Unicode-Zeichen U+FEFF (engl. zero width no-break space) kodiert. Diese Byte-Folge dient als Kennung zur Definition der Byte-Reihenfolge und Kodierungsform in Unicode-Zeichenketten, insbesondere Textdateien.

UTF-8 benötigt keine Byte-Reihenfolge-Markierung (und so wird normalerweise auch keine gesetzt), die anderen Unicode-Kodierungen benötigen aber eine.

• http://www.unicode.org/faq/utf_bom.html#bom4

Hinzufügen einer BOM zu bestehenden UTF-Dateien

Eine Datei.

$ sed -i '1s/^/\xef\xbb\xbf/' datei.txt

Alle Dateien im aktuellen Verzeichnis.

$ for datei in $(ls -1)
    do
    sed -i '1s/^/\xef\xbb\xbf/' ${datei}
    done

Entfernen einer BOM aus bestehenden UTF-Dateien

Eine Datei.

$ sed -i '1s/^\xef\xbb\xbf//' orig.txt

Alle Dateien im aktuellen Verzeichnis.

$ for datei in $(ls -1)
    do
    sed -i '1s/^\xef\xbb\xbf//' ${datei}
    done

Weblinks

Herausgeber	Sprache	Webseitentitel	Anmerkungen
Wikipedia	ger	Byte-Reihenfolgewbm	Enzyklopädischer Artikel
Wikipedia	ger	Byte Order MarkOrder Mark wbm	Enzyklopädischer Artikel