einzelnes Unicode Zeichen ersetzen

[Lengen1971]

Hallo mermshaus,

vielen Dank für deine ausführliche Erklärung und Mühe.

Den Post kann ich nicht sinnvoll ändern, ich kann ja nur Copy-Paste aus der Ausgabe deiner Funktion.

Ja, es betrifft das Euro-Zeichen und diverse Anführungszeichen und Binde- oder Gedankenstriche. So lös ich das jetzt:

$arr_unicode=array("/\x{0080}/u","/\x{0084}/u","/\x{0093}/u","/\x{0096}/u");
$arr_ersetz=array("€","„",""","–"); 

Grüßla
Michel

[mermshaus]

Hat mein Code nicht Zeilenumbrüche hinzugefügt? Kannst du das in deinem Post bitte mal irgendwie fixen?

Jedenfalls: Die Eingabedaten scheinen völlig korrekt in UTF-8 kodiert zu sein.

Es wurden lediglich teilweise falsche Zeichen kodiert. Das ist sicherlich ein vorangehender Konvertierungsfehler.

Das einzige Problem mit den geposteten Beispieldaten ist das Zeichen, welches eigentlich das €-Zeichen sein sollte. Das ist kodiert als xC280. xC280 steht in der Unicode-Tabelle direkt hinter ASCII und bezeichnet einen „<control>“-Character.

- Unicode/UTF-8-Zeichentabelle

Wenn man sich etwas mit Zeichensätzen auskennt, kann man sich jetzt in etwa denken, was passiert ist:

Es gab eine ursprüngliche Eingabe in ISO-8859-1, die nach UTF-8 kodiert wurde. x80 ist in ISO-8859-1 aber ein Kontrollzeichen, nicht das €-Symbol, und wurde deshalb völlig korrekt zu diesem ominösen xC280.

Nur war diese Eingabe eigentlich kein ISO-8859-1, sondern Windows-1252. Dort steht x80 für das €-Zeichen.

- ISO 8859-1 ? Wikipedia

In Code:

<?php // Datei-Kodierung: UTF-8

header('Content-Type: text/html; charset=UTF-8');

// String in Windows-1252 erzeugen
$cp1252 = mb_convert_encoding('Kaufpreis: € 150,00 / m²', 'Windows-1252', 'UTF-8');

// Diesen String fälschlich als ISO-8859-1 interpretieren und nach UTF-8 umwandeln
echo mb_convert_encoding($cp1252, 'UTF-8', 'ISO-8859-1');

Gibt's einen Fix? – Eigentlich nein. Aber da du wohl davon ausgehen kannst, dass niemand Steuerzeichen in seinen Text setzt, kannst du bei den entsprechenden Zeichen annehmen, dass sie falsch konvertiert wurden.

Das betrifft alle Zeichen, die in Windows-1252 dort liegen, wo in ISO-8859-1 die Steuerzeichen liegen. In UTF-8 gesprochen: Alles zwischen xC280 und xC29F. Die müssen in die korrekten UTF-8-Entsprechungen konvertiert werden.

Um es kurz zu machen:

function cp1252Fixes($input)
{
    $fixes = array(
        "\xC2\x80" => "\xE2\x82\xAC",
        "\xC2\x81" => "\xEF\xBF\xBE",
        "\xC2\x82" => "\xE2\x80\x9A",
        "\xC2\x83" => "\xC6\x92",
        "\xC2\x84" => "\xE2\x80\x9E",
        "\xC2\x85" => "\xE2\x80\xA6",
        "\xC2\x86" => "\xE2\x80\xA0",
        "\xC2\x87" => "\xE2\x80\xA1",
        "\xC2\x88" => "\xCB\x86",
        "\xC2\x89" => "\xE2\x80\xB0",
        "\xC2\x8A" => "\xC5\xA0",
        "\xC2\x8B" => "\xE2\x80\xB9",
        "\xC2\x8C" => "\xC5\x92",
        "\xC2\x8D" => "\xEF\xBF\xBE",
        "\xC2\x8E" => "\xC5\xBD",
        "\xC2\x8F" => "\xEF\xBF\xBE",
        "\xC2\x90" => "\xEF\xBF\xBE",
        "\xC2\x91" => "\xE2\x80\x98",
        "\xC2\x92" => "\xE2\x80\x99",
        "\xC2\x93" => "\xE2\x80\x9C",
        "\xC2\x94" => "\xE2\x80\x9D",
        "\xC2\x95" => "\xE2\x80\xA2",
        "\xC2\x96" => "\xE2\x80\x93",
        "\xC2\x97" => "\xE2\x80\x94",
        "\xC2\x98" => "\xCB\x9C",
        "\xC2\x99" => "\xE2\x84\xA2",
        "\xC2\x9A" => "\xC5\xA1",
        "\xC2\x9B" => "\xE2\x80\xBA",
        "\xC2\x9C" => "\xC5\x93",
        "\xC2\x9D" => "\xEF\xBF\xBE",
        "\xC2\x9E" => "\xC5\xBE",
        "\xC2\x9F" => "\xC5\xB8"
    );

    return str_replace(array_keys($fixes), array_values($fixes), $input);
}

header('Content-Type: text/plain; charset=UTF-8');

$input = cp1252Fixes($input);

echo $input; 

Rant am Rande:

Warum passieren solche Fehler? Auch deshalb, weil Browser sowas…

<?php // UTF-8

header('Content-Type: text/html; charset=ISO-8859-1');

echo mb_convert_encoding('Dies ist „ein“ Test €.', 'Windows-1252', 'UTF-8');

…„korrekt“ (also lesbar) rendern. Das ist falsch falsch falsch. (Auch wenn die offiziellen Stellen vielleicht etwas anderes behaupten. )

[Lengen1971]

der HEX-Code

Na, dann bin ich mal gespannt, hier die Ausgabe der oben geposteten Funktion des unveränderten Rückgabe-Strings:

46 6C 75 72 2D 4E 75 6D 6D 65 72 3A 09 32 32 37 39 2F 34 20 0D 0A 0D 0A 42 61 75 72 65 63 68 74 3A 09 0D 0A 4D 69 73 63 68 67 65 62 69 65 74 20 6E 61 63 68 20 C2 A7 20 33 34 20 42 61 75 47 42 2C 20 42 65 62 61 75 62 61 72 6B 65 69 74 20 67 65 6D C3 A4 C3 9F 20 75 6D 6C 69 65 67 65 6E 64 65 72 20 42 65 62 61 75 75 6E 67 2C 20 77 69 65 20 45 69 6E 66 61 6D 69 6C 69 65 6E 68 61 75 73 20 6F 64 65 72 20 44 6F 70 70 65 6C 68 61 75 73 2E 20 0D 0A 0D 0A 47 72 75 6E 64 73 74 C3 BC 63 6B 73 66 6C C3 A4 63 68 65 3A 09 0D 0A 31 2E 34 38 38 20 6D C2 B2 20 69 6E 73 67 65 73 61 6D 74 2C 20 69 6E 20 50 61 72 7A 65 6C 6C 65 6E 20 61 62 20 63 61 2E 20 34 30 30 20 6D C2 B2 20 74 65 69 6C 62 61 72 2E 0D 0A 0D 0A 45 72 73 63 68 6C 69 65 C3 9F 75 6E 67 3A 09 0D 0A 44 69 65 20 53 74 72 61 C3 9F 65 6E 61 75 73 62 61 75 62 65 74 72 C3 A4 67 65 20 73 69 6E 64 20 61 62 67 65 72 65 63 68 6E 65 74 20 75 6E 64 20 62 65 7A 61 68 6C 74 2E 20 0D 0A 0D 0A 44 65 72 20 56 65 72 6B 61 75 66 20 65 72 66 6F 6C 67 74 20 64 69 72 65 6B 74 20 75 6E 64 20 70 72 6F 76 69 73 69 6F 6E 73 66 72 65 69 20 76 6F 6E 20 75 6E 73 20 61 6C 73 20 45 69 67 65 6E 74 C3 BC 6D 65 72 2E 0D 0A 0D 0A 4B 61 75 66 70 72 65 69 73 3A 20 C2 80 20 31 35 30 2C 30 30 20 2F 20 6D C2 B2

[Lengen1971]

Hi,

zu einem früheren Problem hatte ich die Entwickler angeschrieben. Bei einer API würde ich mir eine Art Ticket-System wünschen oder ein Forum, in dem evtl. sogar einer der Entwickler mitspielt. Leider gibt´s nur eine Email, auf die dann laaaang nicht geantwortet wird.

Diese API wird auch nicht weiterentwickelt und wirft hunderte Warnings und Notices. Macht ja nix...

Es ist jetzt eine neue API angekündigt, aber noch nicht freigegeben.

Nachdem ich das relativ sinnvoll in ein CMS bauen muss stehen mir schon wieder die Haare zu Berge, da es nur den Umweg über IFrame gibt.

Aber das hat nichts mit dem Problem zu tun.

Grüßla
Michel

PS: ÜBRIGENS: am IE wurden die Zeichen gar nicht dargestellt, also, auch nicht dieses Viereck mit dem Unicode.

[mermshaus]

Die erhaltenen Daten sehen wirklich nicht gut aus.

Du könntest einen Hex-Dump der unveränderten Eingabedaten posten.

Dann lässt sich sicherer überprüfen, ob da was nicht passt.

<?php

function strToHex($string)
{
    $hex = '';
    $l = strlen($string);

    for ($i = 0; $i < $l; $i++) {
        $hex .= sprintf('%02X', ord($string[$i]));

        if (($i + 1) % 16 === 0) {
            $hex .= "\n";
        } else {
            $hex .= ' ';
        }
    }
    
    return rtrim($hex);
}

$input = file_get_contents(__FILE__); /* Whatever */

echo '<pre>' . strToHex($input), '</pre>';

Scheint mir aber auch so, dass der Anbieter da Mist gebaut hat.

The Single Most Important Fact About Encodings

If you completely forget everything I just explained, please remember one extremely important fact. It does not make sense to have a string without knowing what encoding it uses. [Hervorhebungen verändert.]

- The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!) - Joel on Software

[h3ll]

Ich hatte schonmal Kontakt zu dem Entwicklerteam, das war sehr ernüchternd.

Was war die Antwort? Wir sind unfähig und könnens eben nicht besser?

[Lengen1971]

Hi,

ja, siehe Screenshot. Ich denk schon, dass das Ei bereits in der API passiert.

Ich hatte schonmal Kontakt zu dem Entwicklerteam, das war sehr ernüchternd.

Gruß
Michel

[h3ll]

99% der Zeichen heißt, dass auch ä, ö, ü, ß, etc. richtig dargestellt werden?

[Lengen1971]

... grad hast noch gesagt mit UTF8 deck ich alles ab.

Ich WEISS NICHT, was von da zurückkommt. Aber alle Konvertierungsversuche schlugen fehl. Bei UTF8 werden 99% der Zeichen angezeigt, wie sie sein sollen. Bis auf die paar eben. Also, was soll ich jetzt unternehmen?

Gruß
michel

[h3ll]

Bevor du irgendwas konvertierst, musst du erst mal herausfinden von was in was du konvertieren möchtest. Ohne diese Information kommt einfach irgendein Zufallsprodukt raus, aber zu 99% nicht das, was richtig ist.

[Lengen1971]

Hi,

in UTF8 konvertiert:



Ich werde mich mit dem Entwicklerteam der IS24-API nicht nochmal auseinandersetzen. Das kostet mich zuviel Nerven.

Gruß
Michel

PS: ich vermute, dass der Kunde bei Immoscout Text auf Word oder sonst. Psychoprogrammen Copy-Pastet. Somit entstehen Zeichen, die auf der HP vielleicht dargestellt werden können, aber über die API nicht kommen.

[h3ll]

ich hab ja keinen Einfluß auf den Text, der kommt über einen API Aufruf zurück. Egal, was ich als Zeichensatz einstelle und in welchen ich ihn konvertiere, es sind nie alle Zeichen da.

Wenn du UTF-8 verwendest, ist praktisch alles abgedeckt (nicht wirklich genau alles, aber das ist vernachlässigbar).

Egal in welchem Zeichensatz die API den Text liefert, du solltest ihn zumindest in UTF-8 konvertieren und darstellen können.

Wenn die API keinen kaputten Text liefert, halte ich das für eine faule Ausrede. Im Falle, dass kaputter Text geliefert ist, solltest du dich mit dem Anbieter in Verbindung setzen. Den hoffentlich liegt es ja auch in seinem Interesse, dass seine API kein Müll ausliefert.

[Lengen1971]

Hi,

ich hab ja keinen Einfluß auf den Text, der kommt über einen API Aufruf zurück. Egal, was ich als Zeichensatz einstelle und in welchen ich ihn konvertiere, es sind nie alle Zeichen da.

Gruß
Michel

[h3ll]

Und warum ersetzt du das Zeichen, statt den Text einfach im richtigen Zeichensatz darzustellen? Das ist ja nur eine sehr kurzfristige Lösung, bis das nächste Zeichen auftaucht, das Probleme macht.

[Lengen1971]

Ah, danke,

der Modifier /u war´s. Jetzt geht´s.

Danke für eure Hilfe.

Gruß
Michel