Hi! Letztens war bei Fefe ein Vortrag+Diskussion über Technologie und wie sie uns verändert: https://blog.fefe.de/?ts=a6b72d1c (btw, fand ich recht gut) Da hab ich mich jetzt gefragt ob es sowas wie eine AI, welche Nachrichten filtert nicht schon gibt? Das Problem was ich oft habe, ist folgendes: Ich verwende einen RSS Reader um von diveresen Seiten die Newseinträge zu aggregieren. Nun verlinken die sich sowie alle gegenseitig und wenn zB wieder irgendeine Security Lücke auftaucht (zB aktuell das Netgear Router Problem), dann poppen da 20 Newseinträge auf, wobei mich eigentlich nur das Original interessiert (da meist die wirklichen Infos) oder Seiten denen ich besonders vertraue (zB weil Journalistisch gut (subjektiv)). Das dumme ist nur, ich kann schlecht nur Seite X beobachten, die immer alles von woanders zusammensucht, weil die Qualität dort sehr schlecht ist. Nur die "Quellen" zu haben ist aber auch blöd, weil auf Seite X dann doch hin und wieder Sachen auftauchen von denen man keine Quelle hat. Außerdem verlinken die Quellseiten sich auch gegenseitig, so dass man eigentlich keinen vollständigen "Source-Only Feed" bekommt. *Eigentlich* sollte es ja nicht so sonderlich schwer sein, jeden News Eintrag nach Links zu checken und dann zu vergleichen ob man das Quellen zuordnen kann. Wenn dabei herauskommt, dass man eine Quelle nicht kennt, kann man die seinem Pool hinzufügen (quasi in eine Staging area, wo mal noch keine News zu mir durch kommen). Weiters sollte man mit Zeitpunkt der Veröffentlichung auch noch gewisse Korrelationen erkennen können. Präsentiert wird mir dann nur die original Story + alle Verlinkungen die gefunden wurden, evt möchte man ja doch auf einer anderen Seite weiterlesen. Twitter und co machen sowas ja eh eigentlich indem sie Trending Topics erfassen, geht halt eher nur auf Keywords (Hashtags) und nicht so sehr auf einen Baum von Verlinkungen... Das wäre dann auch eine weitere Möglichkeit, quasi "wichtige" Themen zu identifizieren - ist natürlich zT alles nur Bullshit was die Seiten da verbreiten und ein "trending" Thema muss jetzt nicht wichtig sein (1. nicht für mich und 2. vielleicht auch generell nicht - aka Clickbaiting), wobei dieser Begriff ja rein subjektiv ist. Ich hab gerade mal bei Google News reingeschaut, die machen sowas ja auch, zumindest kann ich da pro Nachrichtenquelle einen Slider adjustieren, vermutlich wieviel Content ich von denen haben will. Nur dort wird mir vermutlich die Filterblase von Google aufgezwungen (Bei mir: Klick auf "Wissen/Technik", oberste Subkategorie ist "Donald Trump"... WTF?!) Was ich so gehört habe, filtern die ja für mich nach Relevanz raus, also umso öfter ich auf Artikel über Z klicke, desto öfter bekomme ich sowas (?). Im Vortrag wird dann auch gesagt sowas sollte jedenfalls selfhostet sein. Da bin ich auch schwer dafür... Gibt es da was? Ideen, Anmerkungen? LG Sebastian
On Tue, 13 Dec 2016 09:15:34 +0100, Sebastian Bachmann <me@free-minds.net> wrote:
*Eigentlich* sollte es ja nicht so sonderlich schwer sein, jeden News Eintrag nach Links zu checken und dann zu vergleichen ob man das Quellen zuordnen kann. Wenn dabei herauskommt, dass man eine Quelle nicht kennt, kann man die seinem Pool hinzufügen (quasi in eine Staging area, wo mal noch keine News zu mir durch kommen). Weiters sollte man mit Zeitpunkt der Veröffentlichung auch noch gewisse Korrelationen erkennen können. Präsentiert wird mir dann nur die original Story + alle Verlinkungen die gefunden wurden, evt möchte man ja doch auf einer anderen Seite weiterlesen.
das wirklich schwierige an solchen problemen ist die genaue spezifikation. z.B.: spannt die vorgabe "gewisse Korrelationen" ein themenfeld von einfachen suchalgorithmen über natural language processing bis zu weis-nicht-was auf.
On Tue, Dec 13, 2016 at 05:31:59PM +0100, Amir Hassan wrote:
On Tue, 13 Dec 2016 09:15:34 +0100, Sebastian Bachmann <me@free-minds.net> wrote:
*Eigentlich* sollte es ja nicht so sonderlich schwer sein, jeden News Eintrag nach Links zu checken und dann zu vergleichen ob man das Quellen zuordnen kann. Wenn dabei herauskommt, dass man eine Quelle nicht kennt, kann man die seinem Pool hinzufügen (quasi in eine Staging area, wo mal noch keine News zu mir durch kommen). Weiters sollte man mit Zeitpunkt der Veröffentlichung auch noch gewisse Korrelationen erkennen können. Präsentiert wird mir dann nur die original Story + alle Verlinkungen die gefunden wurden, evt möchte man ja doch auf einer anderen Seite weiterlesen.
das wirklich schwierige an solchen problemen ist die genaue spezifikation. z.B.: spannt die vorgabe "gewisse Korrelationen" ein themenfeld von einfachen suchalgorithmen über natural language processing bis zu weis-nicht-was auf.
Die spezifikation "mach mir sinnvolle News" ist halt eher nix... schon klar. Ich denke mal, dass das Aufbauen eines einfachen Graphen, welcher die Quelle eines News-eintrags erkennen kann, dürfte nicht so schwer sein. Probleme sehe ich da hauptsächlich an einer fehlenden kanonischen Darstellung von Links (woher weiß ich dass Link X == Link Y ist? - ok vermutlich gar nicht soo schwierig in Zeiten von CleanURLs...) und dass nicht jede Newsbude ihre Artikel sinnvoll verlinkt. Ich würde das aufbauen eines Graphens welcher die Artikel beinhaltet mal als Schritt 1 betrachten. Von dort weg kann man schon ein paar interessante Dinge tun. Aber gibt es denn außer den wirklich großen wie Google, Facebook, Twitter, ... keine Möglichkeit so etwas für einen selber zu machen? LG Sebastian
On Tue, 13 Dec 2016 18:10:00 +0100, Sebastian Bachmann <me@free-minds.net> wrote:
Aber gibt es denn außer den wirklich großen wie Google, Facebook, Twitter, ... keine Möglichkeit so etwas für einen selber zu machen?
DIY :p ich empfehle: -- boost graph: http://www.boost.org/doc/libs/1_62_0/libs/graph/doc/ -- python bindings: https://github.com/erwinvaneijk/bgl-python
Teilnehmer (2)
-
Amir Hassan -
Sebastian Bachmann