Änderungen

Projekt Civil Commons:Crawling

1.869 Byte hinzugefügt, 14:11, 9. Jul. 2019

Die Seite wurde neu angelegt: „{| class="contenttable" |- || || || || |- || || || || |} Entität: 'Web-Seite-Stand' Im Folgenden sind die Informationen beschrieben, die im Rahmen des Crawl…“

{| class="contenttable"
|-
||
||
||
||
|-
||
||
||
||
|}
Entität: 'Web-Seite-Stand'


Im Folgenden sind die Informationen beschrieben, die im Rahmen des Crawlings für jede Web-Seite erfasst bzw. generiert werden.


Feld  Key Typ  Inhalt<br />--------------------------------------------------------------------------<br />URL-MD5  PK Char(32)<br />URL   Varchar  Vollständige URL der Seite<br />Domain   Varchar  Domain (ggf. ohne Subdomain) der Seite<br />Crawling-Time  Timestamp Timestamp der Aktualisierung des Datensatzes aus dem Crawling-Lauf<br />HTML-Text  Varchar  HTML-Texte der Seite<br />PDF-Text  Blob  PDF-Dokument der HTML-Seite<br />HTML-Text-Chars  Integer  Anzahl Zeichen der HTML-Seite<br />HTML-Text-Bytes  Integer  Anzahl Bytes der Seite in UTF8-Codierung<br />HTML-Text-MD5 PK Char(32) MD5 der HTML-Seite<br />DIFF-Percent  Float  Umfang der Änderung der Seite gegenüber vorhergehendem Stand<br />HTML-Extract  Varchar  Extrakt der HTML-Seite (incl. CSS-Link)<br />Extract-Bytes  Integer  Anzahl Bytes des Extrakts in UTF8-Codierung<br />Extract-MD5  Char(32) MD5 des Extrakts<br />PDF-Extract  Blob  PDF-Dokument des Extrakts<br />First-Seen-URL  Date  Erstes Auftreten der URL in einem Crawling-Lauf<br />Last-Seen-URL  Date  Letztes Auftreten der URL in einem Crawling-Lauf<br />First-Seen-Text  Date  Erstes Auftreten der Fassung/Version der Seite (d.h. HTML-Text-MD5)<br />Last-Seen-Text  Date  Letztes Auftreten der Fassung/Version der Seite (d.h. HTML-Text-MD5)<br />Last-Scan-Time  Date  Zeitpunkt der Beendigung des letzten Crawling-Laufs der Domain


Diese Informationen können teilweise im Nachgang des Crawling-Laufs generiert werden - z.B. der Extrakt der Seite und die PDF-Dokumente.


Diese Zusammenstellung ist ein erster Entwurf, Stand 8.7.2019.

Stephan Frenzel

BdB_Heidelberg, Bibliothek_KH, DAI_Makerspace_Projekt, Graphiken KF, Landfried, N_E_U_Project, Projekt_BdB_Heidelberg, Projekt_Civil_Commons, Projekt_Landfried, Projekt_OG, Team_UIEG_Heidelberg, Team_UIEV_Heidelberg, UIEG_Heidelberg, UIEV_Heidelberg, Bürokrat, Administrator, Widget-Bearbeiter

955

Bearbeitungen