Was ist der vordere abschnittsweise Regressionsalgorithmus Kreuz Validated

Was's the forward stagewise regression algorithm Cross Validated very good at

Vielleicht ist es nur, dass ich müde bin, aber ich habe Probleme beim Versuch, die nach vorne abschnittsweise Regression Algorithmus zu verstehen. Von "Elemente des statistischen Lernens" Seite 60:

Zukunftsabschnittsweise Regression (FS) ist noch mehr eingeschränkt als zukunfts schrittweise Regression. Es beginnt wie die Zukunft schrittweise Regression, mit einem Abschnitt gleich [Mittelwert] y. und zentriert Prädiktoren mit coecients zunächst alle 0.

Bei jedem Schritt Identitäten der Algorithmus die variable meisten mit der aktuellen Rest korreliert. Es berechnet dann die einfache lineare Regression coecient des Rest auf dieser ausgewählten Variable, und fügt sie dann an den aktuellen co- ecient für diese Variable. Dies wird fortgesetzt, bis keine der Variablen haben Korrelation mit der Residuen-d.h. die am wenigsten Quadrate t, wenn N gt; Seite


So ist der Algorithmus diese ?:

Wobei b ein Spaltenvektor der Koeffizienten ist, X eine Matrix von Eingaben und y ein Spaltenvektor der Ausgänge. D. h y = X * b + Fehler.

Fragen, weil dieser Algorithmus mir nur wenige Nicht-Null-Koeffizienten auf den Datensatz auf Ich teste gibt (mit Schwelle = 0,0001), und die Vorhersagegenauigkeit ist gar nicht sehr gut.

fragte um 20:14 Uhr 8 ’12 Juli

Sie Autoren machen einen schlechten Job zu erklären, den Algorithmus in ihrem Buch. Wenn Sie auf Gleichungen sehen 1.6 und 1.7 in ihrem Papier. es wird klarer. Das Papier hat eine etwas andere Formulierung (den Rest baut anstelle der Koeffizientenvektor), aber der entscheidende Punkt ist, dass es sich um eine der kleinsten Quadrate sehr in sehr kleinen Schritten erreicht (aus diesem Grund das Buch der Algorithmus erwähnt nehmen "viel mehr als p Schritte" beenden). Sie könnten entweder ersetzen "regredieren (.)" mit einigen wenigen, oder man könnte es durch so etwas wie 0,05 multiplizieren. Spielen Sie mit ihm um und sehen, was funktioniert.

Auch Ihre Schwelle scheint klein. r ‚* X wird Zahlen geben proportional zu, aber viel größer als die tatsächliche Korrelationen (beispielsweise für die Diabetes-Daten in dem Papier sind die Korrelationen

Quelle: stats.stackexchange.com

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

fünfzehn − 8 =