-
Danke noch mal für die Erklärung. es sind meist relative Adressen, werde es noch anpassen. -
Kein Eingang von GET oder POST, den ich nicht kontrollieren würde:Originally posted by newbie1955 View Post
Zum eigentlichen Script:PHP Code:// Erlaubte Zeichen, alles andere sollte entfernt werden.
$voneingang = preg_replace("/[^a-zA-Z0-9]/", "", $voneingang);
Was mir gerade noch einfällt, Du müsstest auch noch prüfen ob es sich um Verweise mit relativen oder absoluten Pfadangaben handelt.PHP Code:<?php
$data = file_get_contents("http://www. ... .com/");
// Entfernt alle Zeilenumbrüche und mehr als 1 Leerzeichen in Reihe,
// so dass aus dem String ein String in Reihe wird.
$data = preg_replace("#\s{2,}#", "", $data);
// Wirft JS aus dem String heraus
$data = preg_replace("#<script(.+?)</script>#i", "", $data);
//Sucht nach allen Vorkommen von h2
preg_match_all("#<h2>(.+?)</h2>#i", $data, $matches);
// Zählt die Vorkommen von h2
$wieviel = count($matches[1]);
for ($i = 0; $i < $wieviel; $i++) {
/* Diese Zeile wäre eigentlich in der Form nur erforderlich gewesen,
wenn $matches[0] weiter verarbeitet wird. In $matches[1] ist kein
h2-Tag mehr enthalten, so dass die Zeile eigentlich entfallen könnte
bzw. $daten = $matches[1][$i] auch funktionieren sollte. */
$daten = preg_replace("#<h2><(.+?)></h2>#i", "<li><$1></li>", $matches[1][$i]);
// Kontrolle ob href und Default in $daten enthalten sind.
$posi1 = stripos($daten, "href=");
$posi2 = stripos($daten, "Default");
if ($posi1 !== false and $posi2 === false) {
// Entfernt span-Tags plus dessen Inhalt.
$daten = preg_replace("#<span([^>]+)>#", "", $daten);
$daten = preg_replace("#</span>#", "", $daten);
// Übernimmt URL und Linktext in $2 und $3, die id= wäre in $1 gespeichert
// wird aber nicht benötigt.
$hreft = preg_replace("#<a(.+?)href=\"([^>]+)\">(.+?)</a>#", "$2", $daten);
$title = preg_replace("#<a(.+?)href=\"([^>]+)\">(.+?)</a>#", "$3", $daten);
echo "\t\t<li><a href=\"".htmlspecialchars($hreft, ENT_QUOTES)."\" target=\"_blank\">".htmlspecialchars($title, ENT_QUOTES)."</a></li>\n";
/* Damit nicht beim nächsten Schleifendurchlauf ein Wert vom letzten
Durchlauf hängen bleibt, was immer dann passieren kann, wenn ein
Wert beim nachfolgenden Durchlauf nicht gefunden oder übergeben wird,
werden die Variablen nach jedem Durchlauf zurückgesetzt. */
unset($hreft);
unset($title);
}
}
?>
PHP Code:$posi3 = stripos($daten, "http://www. ... .com");
...
if ($posi3 === false) {
echo "\t\t<li><a href=\"http://www. ... .com".htmlspecialchars($hreft, ENT_QUOTES)."\" target=\"_blank\">".htmlspecialchars($title, ENT_QUOTES)."</a></li>\n";
}
else {echo "\t\t<li><a href=\"".htmlspecialchars($hreft, ENT_QUOTES)."\" target=\"_blank\">".htmlspecialchars($title, ENT_QUOTES)."</a></li>\n";
}
Last edited by Melewo; 15-01-2013, 15:55.Leave a comment:
-
Dank
für Dein script, muss es noch anpassen, denn wenn ich das auf die h1-tags erweitere kommen auch a-tags statt title, da muss ich mir die Seite noch mal genau anschauen. Vor allem muss ich erstmal verstehen, was Du da machst. Ich habe preg_replace zwar auch mal benutzt, mir dann aber in einem Forum sagen lassen, dass nutze man nicht mehr. Ja, werde es mal studieren und sei herzlich bedankt.
Gruß
newbie1955Leave a comment:
-
Jetzt habe ich auch noch etwas zusammengespielt, funktioniert zumindest mit der Anzeige der Zeichen richtig. Bei den Meta-Tags hab ich nichts verändert, das kannst Du alleine machen.
PHP Code:<?php
ini_set("user_agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0");
header("Content-Type: text/html; charset=utf-8");
error_reporting(E_ALL);
?>
<!DOCTYPE html>
<!--[if lt IE 7 ]><html lang="de" class="no-js ie6" xmlns="http://www.w3.org/2000/xhtml"><![endif]-->
<!--[if IE 7 ]><html lang="de" class="no-js ie7" xmlns="http://www.w3.org/2000/xhtml"><![endif]-->
<!--[if IE 8 ]><html lang="de" class="no-js ie8" xmlns="http://www.w3.org/2000/xhtml"><![endif]-->
<!--[if IE 9 ]><html lang="de" class="no-js ie9" xmlns="http://www.w3.org/2000/xhtml"><![endif]-->
<!--[if (gt IE 9)|!(IE)]><!--><html lang="de" class="no-js" xmlns="http://www.w3.org/2000/xhtml"><!--<![endif]-->
<head>
<title>Testseite</title>
<meta name="description" content="Die ..... international" />
<meta name="Author" content="Test" />
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/>
<meta name="content-language" content="de" />
<meta name="language" content="deutsch, de" />
<link href="navi1.css" type="text/css" rel="stylesheet" media="screen" />
<link href="print3a.css" type="text/css" rel="stylesheet" media="print" />
<link rel="shortcut icon" href="http://www.nachrichtentisch.de/favicon.ico" />
</head>
<body>
<div id="alles">
<div id="header">
<img alt="header" src="br_headeraus.png" width="100%"></div>
<div id="navi4">
<ul>
<li><a href="index.php">Home</a> </li>
<li><a href="#">Ressorts</a>
<ul>
<li><a href="index.php">Politik</a></li>
<li><a href="regionales.php">Region</a></li>
<li><a href="wirtschaft.php">Wirtschaft</a></li>
<li><a href="kultur.php">Kultur</a></li>
<li><a href="wissen.php">Wissen</a></li>
<li><a href="sport.php">Sport</a></li>
</ul>
</li>
<li><a href="aus.php">Ausland</a> </li>
<li><a href="#">Ansichten</a>
<ul>
<li><a href="aus.php">Alles</a></li>
<li><a href="aus_7.php">7 news</a></li>
<li><a href="aus_5.php">5 news</a></li>
<li><a href="aus_3.php">3 news</a></li>
<li><a href="aus_1.php">Topthema</a></li>
</ul>
</li>
<li><a href="impressum.php">Impressum</a> </li>
<li><a href="presseschau.php">Intern</a> </li>
</ul>
</div>
<div id="main">
<div id="col1">
<div class="border">
<a href="http://www.bbbb.com/" target="_blank">
<img alt="Hurriyet Daily News" height="35" src="logos/hudn.png" style="margin: 3px 0px 0px -45px; padding: 0px;" width="50" /></a>
<ul>
<?php
$data = file_get_contents("http://www.hurriyetdailynews.com/");
$data = preg_replace("#\s{2,}#", "", $data);
$data = preg_replace("#<script(.+?)</script>#i", "", $data);
preg_match_all("#<h2>(.+?)</h2>#i", $data, $matches);
$wieviel = count($matches[1]);
for ($i = 0; $i <= $wieviel; $i++) {
$daten = preg_replace("#<h2><(.+?)></h2>#i", "<li><$1></li>", $matches[1][$i]);
$posi1 = stripos($daten, "href=");
$posi2 = stripos($daten, "Default");
if ($posi1 !== false and $posi2 === false) {
$daten = preg_replace("#<span([^>]+)>#", "", $daten);
$daten = preg_replace("#</span>#", "", $daten);
$hreft = preg_replace("#<a(.+?)href=\"([^>]+)\">(.+?)</a>#", "$2", $daten);
$title = preg_replace("#<a(.+?)href=\"([^>]+)\">(.+?)</a>#", "$3", $daten);
echo "\t\t<li><a href=\"".htmlspecialchars($hreft, ENT_QUOTES)."\" target=\"_blank\">".htmlspecialchars($title, ENT_QUOTES)."</a></li>\n";
unset($hreft);
unset($title);
}
}
?>
</ul>
</div>
</div>
</div>
</div>
</body>
</html>Last edited by Melewo; 14-01-2013, 20:49.Leave a comment:
-
Ja, diese G g mit Oberbogen sind U+011D und U+011E in der:Originally posted by newbie1955 View Post
Unicode/UTF-8-ZeichentabelleLeave a comment:
-
Danke
aber für Deine viele Mühe. Das merkwürdige ist ja, wenn man deren feed der rein türkischen hurriyet-Seite mit magpie einliest, funktioniert alles problemlos. Nur diese englische Seite macht Probleme. Hast Du denn schon mal was von türkischem utf-8 gehört????Leave a comment:
-
Nun habe ich mir auch noch einmal einige Stunden die Zeit vertrödelt, bekomme es auch nicht hin. Diese Warnungen bleiben bei mir, egal wie viel ich da schon vorher filtere:
Habe mal versucht $data zu speichert, sieht noch schlechter aus. Habe auch wenig Lust mir noch etwas einzufangen. Was nun, doch die wichtigsten Zeichen mit preg_replace umschreiben? Mir fällt dazu nichts mehr weiter ein. Man kann ja nicht deren Seite erst einmal aufräumen, falls es nur daran liegen sollte. Oder Du parst die Seite anders. Hatte ich mir auch schon überlegt, würde mit entsprechenden RegEx-Ausdrücken auch gehen und DOM wäre dann über. Nun ja, erst einmal bin ich mit meinem Latein am Ende.error parsing attribute name in Entity, line: 1
Unexpected end tag : link in Entity, line: 1Leave a comment:
-
error
Es kamen vor allem solche Fehler:
Etwa ein DutzendCode:Warning: DOMDocument::loadHTML(): htmlParseEntityRef: no name in Entity, line: 11 in /customers/6/d/c/testseite.php on line 705 Warning: DOMDocument::loadHTML(): Unexpected end tag : link in Entity, line: 15 in /customers/6/d/c/testseite.php Warning: DOMDocument::loadHTML(): htmlParseEntityRef: expecting ';' in Entity, line: 1328
Leave a comment:
-
Na ja, einen Scraper habe ich auch noch nicht programmiert. Doch wenn ich sehe, dass die Seite, die Du da auslesen möchtest als HTML 4.01 ausgezeichnet wurde, dann aber schon bei den Meta-Tags sich HTML mit XHTML in munterer Folge abwechselt, der Validator mir über 1.100 Warnungen anzeigt, dann verstehe ich auch den Parser, dass der einen Hustenanfall bekommt.Originally posted by newbie1955 View Post
Nehme doch erst einmal error_reporting(E_ALL); und schau welche Fehler da bemeckert werden und ob die sich mit dem anderen Beispiel umgehen lassen. Doch ist es besser wenigstens die häufigsten und gröbsten Fehler zu beseitigen, als an den Symptomen umher zu basteln.Leave a comment:
-
Danke
für Deine Antwort. Naja, langsam gehen mir die Ideen aus (zumal ich aufgrund meines Anfängerstatus' sowie nicht so viele dazu habe). Und alles übrige habe ich ja versucht. Gibt es nicht auch eine Art türkisches UTF-8. Irgendwo beim Googeln habe ich mal sowas gesehen http://www.html.de/php/28660-tuerkische-zeichen.html, ließ sich aber nichts davon so richtig umsetzen.Leave a comment:
-
Nee, gehe doch einmal Schrittweise vor und suche nach den Ursachen. Also $data wird ja noch mit richtig dargestellten Zeichen ausgegeben. Anschließend beginnt doch erst der Salat und der muss Ursachen haben.Leave a comment:
-
$title mit htmlspecialchars geändert
....aber das ändert leider auch nichts, also doch alle Zeichen einzeln ändern?Leave a comment:
-
Wenn Du die Ausgabe von $title nicht genau wie die Ausgabe von $hreft absicherst, so könnte Dir jemand statt Titelstring einen String-iFrame-String andrehen, in dem dann eine Seite mit Schadcode nachgeladen wird. Gegenwertig scheint diese Vorgehensweise mit dem Nachladen per iFrame an Beliebtheit zu gewinnen. Im vorletzten Listing hattest Du noch $title = htmlentities verwendet, im letzten nichts mehr, doch htmlspecialchars würde ich für die Ausgabe von $title schon verwenden.Originally posted by newbie1955 View Post
Meiner augenblicklichen Meinung nach müsste bereits $data gefiltert werden, nur wie am besten? Bei der Verwendung von strip_tags() würde wohl für DOM nichts mehr übrig bleiben. Was da ankommt, dass scheint nun einmal kein valides HTML zu sein. Außerdem kannst Du Dich nicht auf die Quellen verlassen. So sollte es zumindest JS ausfiltern:
Die Fehler verschwinden dadurch aber noch nicht.PHP Code:$data = file_get_contents('http://www.hurriyetdailynews.com/');
$data = preg_replace("#\s{2,}#", "", $data);
$data = preg_replace("#<script(.+?)</script>#i", "", $data);
$doc = new DOMDocument();
$doc->loadHTML($data);
Last edited by Melewo; 14-01-2013, 13:38.Leave a comment:
-
aktueller code
Originally posted by h3ll View PostIm head-Bereich sieht es so aus:PHP Code:
<?php
$data = file_get_contents('http://www.hurriyetdailynews.com/');
$doc = new DOMDocument();
$doc->loadHTML($data);
$xPath = new DOMXPath($doc);
$zaehler = 0;
foreach ($xPath->query('//h2/a') as $element)
{
$href = $element->getAttribute('href');
$hreft = "http://www.hurriyetdailynews.com" . $href;
$class = $element->getAttribute('class');
$title = $element->nodeValue;
If ($zaehler <= 6)
{
echo "<li><a href=\"".htmlspecialchars($hreft)."\" target='_blank'>$title</a></li>";
$zaehler++;
}
}
foreach ($xPath->query('//h1/a') as $element)
{
$href = $element->getAttribute('href');
$hreft = "http://www.hurriyetdailynews.com" . $href;
$class = $element->getAttribute('class');
$title = $element->nodeValue;
If ($zaehler <= 15)
{
/* echo "<li><a href=$hreft target='_blank'>$title</a></li>"; */
echo "<li><a href=\"".htmlspecialchars($hreft)."\" target='_blank'>$title</a></li>";
$zaehler++;
}
}
?>
HTML Code:<?php header('Content-Type: text/html; charset=UTF-8'); ?> <!DOCTYPE html > <!--[if lt IE 7 ]><html lang="de" class="no-js ie6" xmlns="http://www.w3.org/2000/xhtml"><![endif]--> <!--[if IE 7 ]><html lang="de" class="no-js ie7" xmlns="http://www.w3.org/2000/xhtml"><![endif]--> <!--[if IE 8 ]><html lang="de" class="no-js ie8" xmlns="http://www.w3.org/2000/xhtml"><![endif]--> <!--[if IE 9 ]><html lang="de" class="no-js ie9" xmlns="http://www.w3.org/2000/xhtml"><![endif]--> <!--[if (gt IE 9)|!(IE)]><!--><html lang="de" class="no-js" xmlns="http://www.w3.org/1999/xhtml"><!--<![endif]--> <html lang="de"> <head> <title>Test Ausland</title> <!-- Mimic Internet Explorer 9 --> <!--[if IE]><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><![endif]--> <meta name="description" content="Die Nachrichten-Übersicht international " /> <meta name="Author" content="test" /> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/> <link href="navi1.css" type="text/css" rel="stylesheet" media="screen" /> <link href="print3a.css" type="text/css" rel="stylesheet" media="print" />
Leave a comment:
-
Benutzt Du eigentlich error_reporting(E_ALL); und kommen da Warnungen?
Wenn ich Dein Script nehme, so kommt da bei mir:
In Zeile:htmlParseEntityRef: no name in Entity
Unexpected end tag : link in Entity
Bei stackoverflow finde ich dazu:PHP Code:$doc->loadHTML($data);
Doch ob das eine saubere Lösung ist, ich habe da meine Zweifel.PHP Code:$data = file_get_contents($url);
$doc = new DOMDocument();
$doc->recover = true;
$dom->strictErrorChecking = false;
$doc->loadHTML($data);
Leave a comment:
Leave a comment: