ToolBox 1.0 veröffentlicht

Andiministrator · 05. Dezember 2011 11:14

Wie in meinem Post von MultiDomains 2.0 angekündigt, habe ich die Funktionen, welche nichts mit dem Einsatz meherer Domains unter CMSms zu tun haben, in ein eigenes Modul gepackt, namens ToolBox.

Funktionsumfang von Toolbox 1.0

Nun habe ich gerade die Version 1.0 veröffentlicht, welche die ehemaligen Zusatz-Funktionen von MultiDomains enthält:

404 Fehler Tracking
301 Weiterleitungen

Wer MultiDomains kannte, weiß dass beide Funktionen eng miteinander verzahnt sind. So kann man z.B. aus einem 404 Fehler mit einem Klick eine 301-Weiterleitung erstellen und auch Reguläre Ausdrücke in den 301-Weiterleitungs-Regeln verwenden. Für die 404-Fehlerliste gibt es einen Ignorier-Filter (ebensfalls mit Regulären Ausdrücken verwendbar). 404 Fehler werden nicht nur von Webseiten gezeigt, sondern auch von Bildern und anderen Dateien. Beim ersten Einsatz werdet Ihr Euch wundern, welche Fehler Eure Seite enthält wink
Jede Funktion ist in den Einstellungen de-/aktivierbar. Somit kann jeder nur die Funktionen einschalten, die er auch wirklich benötigt.

Roadmap von ToolBox

Die gibt es nicht. Ich werde hier so einige Funktionen reinpacken, die ich für unsere Projekte benötige. Zur Zeit arbeite ich an zwei Funktionen:

Modifikation der HTTP-Header nach einstellbaren Regeln
Eingangs-Quelle (Referer) samt Keywords erfassen und in jedem weiteren Besucher-Schritt zur Verfügung stellen

Gründe für ToolBox

Warum habe ich die Funktionen aus MultiDomains in die ToolBox verlagert?
Nun ja, zum einen hoffe ich, das CMSms irgendwann selbst mit verschiedenen Domains umgehen kann. Zum anderen möchte ich diese Funktionen auch für Single-Domain-Webseiten zur Verfügung stellen und dort braucht man ja kein MultiDomains-Modul.

Fragen und Anregungen ToolBox

Wenn Ihr Fragen oder Anregungen zur ToolBox habt, würde ich mich über Eure Nachricht freuen - egal ob hier im Forum oder per Mail.

Andynium · 05. Dezember 2011 12:33

Funktioniert denn bei der Weiterleitung auch die Hierarchie-Abbildung (wir hatten dazu vor längerem mal einen Chat und ich habs vergessen in den Bugtracker einzutragen wink )?

Gemeint war dies:

Weiterleitung von domain.de/blub/bla.html nach domain.de/platsch/bla.html (Auswahl der Seite via Dropdown)
bei Aufruf der alten Webseite wurde aber auf domain.de/bla.html weitergeleitet (ohne Hierarchie)

PS: Der Modulname Toolbox ist irgend wie anonym cool - zumindest kann man anhand des Namens nicht erraten, was das Modul wohl machen könnte.

Andiministrator · 05. Dezember 2011 14:18

cyberman schrieb:

Funktioniert denn bei der Weiterleitung auch die Hierarchie-Abbildung (wir hatten dazu vor längerem mal einen Chat und ich habs vergessen in den Bugtracker einzutragen )?
Gemeint war dies:
Weiterleitung von domain.de/blub/bla.html nach domain.de/platsch/bla.html (Auswahl der Seite via Dropdown)
bei Aufruf der alten Webseite wurde aber auf domain.de/bla.html weitergeleitet (ohne Hierarchie)

Aufgrund der Anfrage von "nockenfell" muss ich mir das heute abend sowieso mal anschauen wink

cyberman schrieb:

PS: Der Modulname Toolbox ist irgend wie anonym - zumindest kann man anhand des Namens nicht erraten, was das Modul wohl machen könnte.

Da ich nicht weiß, welche Funktionen noch alles hinzukommen, ist doch ein unabhängiger Name nicht schlecht, oder? wink
Aber für Vorschläge habe ich immer zwei Ohren offen ...

Andynium · 05. Dezember 2011 14:33

Andiministrator schrieb:

cyberman schrieb:
PS: Der Modulname Toolbox ist irgend wie anonym - zumindest kann man anhand des Namens nicht erraten, was das Modul wohl machen könnte.
Da ich nicht weiß, welche Funktionen noch alles hinzukommen, ist doch ein unabhängiger Name nicht schlecht, oder?

Da ist was dran - wie wärs mit 'ner kleinen Ergänzung "URL-Toolbox"?

Andiministrator · 05. Dezember 2011 14:34

Klingt nicht schlecht ... ich denk mal drüber nach.

nockenfell · 05. Dezember 2011 14:50

Fragt sich ob auch mal noch weitere Funktionen welche nichts mit der URL zu tun haben, dazu kommen können. Mir wäre ein Modul welches ich um von mir genutzte Funktionen erweitern kann, willkommen. Da würde ich auch mit entwickeln.

Andiministrator · 05. Dezember 2011 15:27

@nockenfell Welche wären das denn?

nockenfell · 05. Dezember 2011 15:36

Das wären z.B. verschiedene Plugins welche damit kanalisiert werden könnten. (cms plugins wie auch smarty plugins)

Andiministrator · 05. Dezember 2011 15:39

Na wir könnten ja mal telefonieren oder chatten, ob das Sinn macht.
Ich schick Dir mal meine Kontaktdaten.

nockenfell · 05. Dezember 2011 15:57

klar smile ist angekommen

faglork · 06. Dezember 2011 11:37

Andiministrator schrieb:

Eingangs-Quelle (Referer) samt Keywords erfassen und in jedem weiteren Besucher-Schritt zur Verfügung stellen

Sowas hatte ich selbst mal vor bin aber nie dazu gekommen. Das wär ja richtig geil wenn das drin wäre.
Thumbs up!

Servus,
Alex

Andynium · 15. Januar 2012 21:44

In der Ankündigung von MD war etwas von einer Importfunktion zu lesen ...

Andiministrator schrieb:

Durch die Entfernung der Funktionen für 404-Fehlertracking und Umleitungen alter URL's werden auch die dort gemachten Einstellungen gelöscht. Wer von Euch diese Funktionen genutzt hat, sollte auf Veröffentlichung des Moduls ToolBox warten. Hier werde ich eine Übernahmemöglichkeit der alten Daten einbauen. Nach der Übernahme der Daten in das Modul ToolBox kann MultiDomains aktualisiert werden.

Sind die Tomaten auf meinen Augen heute wirklich so groß, dass ich etwas übersehen habe oder gibt es die Funktion wirklich noch nicht?

Andiministrator · 16. Januar 2012 08:55

Doch, diese Funktion gibt es. Die Übernahme der alten Daten geschieht automatisch beim Installieren des Moduls (insofern die alten MultiDomains-Tabellen noch da sind).

Siehe auch:
http://www.cmsmadesimple.de/forum/viewt … 607#p13607

nockenfell · 16. Januar 2012 09:04

Andiministrator schrieb:

Doch, diese Funktion gibt es. Die Übernahme der alten Daten geschieht automatisch beim Installieren des Moduls (insofern die alten MultiDomains-Tabellen noch da sind).

Das Script zur Übername ist unbrauchbar. (Bei der Kontrolle ob die Tabelle vorhanden ist, wird nicht auf den individuellen Tabellenpräfix geschaut. Alles was nicht "cms_" heisst, wird nicht gefunden. Zudem sollten danach die Tabellen des Multidomains-Moduls nicht gleich gelöscht werden. Es gibt keine Überprüfung ob die Tabellen korrekt übertragen wurden.

Andiministrator · 16. Januar 2012 09:41

Nagut, dann werde ich da nochmal nacharbeiten.
An das cms_ hatte ich gar nicht gedacht.

nockenfell · 16. Januar 2012 10:33

Andiministrator schrieb:

Nagut, dann werde ich da nochmal nacharbeiten.
An das cms_ hatte ich gar nicht gedacht.

Du kannst den Teil in der method.install.php wie folgt ersetzen:

Hier klicken, um den Code zum Kopieren zu markieren

// Get data from old MultiDomains tables
$tables = $tbDb->GetCol('SHOW TABLES', array());

// 301 (Redirects) table
$redirect_table_found = false;
if (in_array(cms_db_prefix().'module_multidomains_redirect',$tables)) {
    $temp = $tbDb->GetAll('SELECT id,page_id,url,active,notes,created_date,modified_date,tourl,url_regexp FROM '.cms_db_prefix().'module_multidomains_redirect', array());
    if ($temp) {
        foreach ($temp as $t) {
            $res = $tbDb->Execute(
                'INSERT INTO '.cms_db_prefix().'module_toolbox_redirect (id,page_id,url,active,notes,created_date,modified_date,tourl,url_regexp) VALUES (?,?,?,?,?,?,?,?)',
                array($t['id'],$t['page_id'],$t['active'],$t['url'],$t['notes'],$t['created_date'],$t['modified_date'],$t['tourl'],$t['url_regexp'])
            );
        }
        
    }
    // Drop table
    //$sqlarray = $dict->DropTableSQL( cms_db_prefix().'module_multidomains_redirect' );
    //$dict->ExecuteSQLArray($sqlarray);
    $redirect_table_found = true;
}
// 404 (Errors) table
$error_table_found = false;
if (in_array(cms_db_prefix().'module_multidomains_errors',$tables)) {
    $temp = $tbDb->GetAll('SELECT id,fromurl,tourl,visits,created_date,modified_date FROM '.cms_db_prefix().'module_multidomains_errors', array());
    if ($temp) {
        foreach ($temp as $t) {
            $res = $tbDb->Execute(
                'INSERT INTO '.cms_db_prefix().'module_toolbox_errors (id,fromurl,tourl,visits,created_date,modified_date) VALUES (?,?,?,?,?,?)',
                array($t['id'],$t['fromurl'],$t['tourl'],$t['visits'],$t['created_date'],$t['modified_date'])
            );
        }
    }
    // Drop table
    //$sqlarray = $dict->DropTableSQL( cms_db_prefix().'module_multidomains_errors' );
    //$dict->ExecuteSQLArray($sqlarray);
    $error_table_found = true;
}
// 301 (Redirects) ignore table
if (in_array(cms_db_prefix().'module_multidomains_errors_ignore',$tables)) {
    $temp = $tbDb->GetAll('SELECT id,iurl,iregexp,created_date,modified_date FROM '.cms_db_prefix().'module_multidomains_errors_ignore', array());
    if ($temp) {
        foreach ($temp as $t) {
            $res = $tbDb->Execute(
                'INSERT INTO '.cms_db_prefix().'module_toolbox_errors_ignore (id,iurl,iregexp,created_date,modified_date) VALUES (?,?,?,?,?)',
                array($t['id'],$t['iurl'],$t['iregexp'],$t['created_date'],$t['modified_date'])
            );
        }
    }
    // Drop table
    //$sqlarray = $dict->DropTableSQL( cms_db_prefix().'module_multidomains_errors_ignore' );
    //$dict->ExecuteSQLArray($sqlarray);
}

Eine Prüfung ob die Datensätze übernommen wurde, könnte zusätzlich ergänzt werden. Das Löschen der Multidomainstabellen würde ich ins MultiDomains-Modul übernehmen. Damit löscht man erst dann, wenn auch gelöscht wird nach offizieller Verlautbarung.

mike-r · 20. Januar 2012 00:13

cyberman schrieb:

Weiterleitung von domain.de/blub/bla.html nach domain.de/platsch/bla.html (Auswahl der Seite via Dropdown)
bei Aufruf der alten Webseite wurde aber auf domain.de/bla.html weitergeleitet (ohne Hierarchie)

Kann ich bestätigen. Wird es da einen Fix geben? (mal abgesehen, stattdessen als Workaround die "externe" Url zu verwenden)

Andiministrator · 20. Januar 2012 13:10

Ja klar behebe ich den Fehler. Bin grad über dem Modul drüber und versuche die Version 1.1 fertig zu bekommen.

Andiministrator · 20. Januar 2012 17:40

Thema Import aus MultiDomains

So, den Import von den Daten aus dem MultiDomains Modul habe ich nun verbessert.

Dieser wird nun nicht mehr beim Installieren der ToolBox ausgeführt.
Stattdessen gibt es in den Toolbox-Einstellungen ganz unten eine Checkbox für den Import der Daten. Diese wird nur angezeigt, wenn die Tabellen des MultiDomains-Moduls auch noch vorhanden sind.

Eine Prüfung auf Vorhandensein des einzelnen Datensatzes gibt es jetzt ebenfalls.

Weiterhin gibt es eine Checkbox, mit der man die alten MultiDomains Tabellen löschen kann. Diese wird aber nur angezeigt, wenn die Tabellen vorhanden sind und das MultiDomains Modul bereits auf => 2.0 upgedatet oder deinstalliert wurde. Es dürfte also zu keinen Fehlern kommen.

Den Fehler wegen dem Tabellen-Prefix hatte nockenfell schon behoben. Hier hatte ich leider eine Abfrage übersehen.

Das Ganze existiert bereits als ToolBox 1.1 im SVN, für die finale ToolBox 1.1 wird sich aber noch mehr ändern.

Andynium · 20. Januar 2012 22:28

DAAAAANKE!!

nockenfell · 20. Januar 2012 22:33

Die ToolBox wartet beim Update mit einigen weiteren Neuerungen auf:

- Smartytools (teilweise mit cgsimplesmarty identisch, jedoch erweitert)
- verschiedene Plugins welche mit AC genutzt werden können
- SocialSharePrivacy
- tail-Log (eine PHP/jQuery Umsetzung von tail)
- Logfunktionalität welche einfach in eigenen UDTs, Plugins, Template etc. eingebaut werden kann. Dies kann der Entwicklung dienen oder auch dem allgemeinen Loggen irgendwelcher Tätigkeiten. Der Inhalt des Logfiles wird jeweils ständig aktualisierend angezeigt.

mike-r · 10. Februar 2012 14:21

Sieht gut aus!

in der 1.1.0 (R61) ist allerdings offenbar das Fehlertracking kaputt, kann das jemand bestätigen?
Edit: Die Weiterleitungs-Statistik läuft - so weit ich das sehe - auch nicht (weiterleitung selbst funktioniert)

Für lange Winterabende:
ich fände eine Weiterleitung (und/oder Sperre) nach IP* ganz brauchbar, so die Richtung:

Hier klicken, um den Code zum Kopieren zu markieren

if 404 domain.tld/joomla/exploit.php... == IP-> localhost

Hintergrund ist, wie man in Toolbox schön sieht, das automatisierte Scannen auf etliche verschiedene Sicherheitslücken verschiedener CMSe.

* Apropos: Anzeige der IP(s) im Fehlertracking wäre überhaupt auch 'ne feine Sache

Beitrag geändert von mike-r (10. Februar 2012 14:25)

Andiministrator · 10. Februar 2012 18:50

Bin gerade über dem Modul und würde mir die genannten Probleme gern anschauen.
Welche CMSms Version setzt Du ein? Hast Du eine 404-Seite erstellt, die auch im Klappmenü als Fehlerseite definiert ist?

Dein Vorschlag mit der IP-Weiterleitung:
Warum willst Du den Angreifer auf eine lokale IP weiterleiten? Die Toolbox arbeitet als Teil von CMSms, d.h. zur Zeit der Ausführung sind die meisten CMS-Funktionen schon durchgelaufen ...
Was ich gut finde, ist die Idee mit der if-Anweisung. So könnte man abhängig von verschiedenen Bedingungen (z.B. angefragter Domain oder eingehendes Google-Keyword) den Besucher z.B. auf verschiedene 404-Seiten weiterleiten.

Die Anzeige der IP im 404-Tracking sollte kein Problem sein, werden wir in der nächsten Version berücksichtigen.

mike-r · 11. Februar 2012 23:05

Ich verwende CMSMS 1.10.3. Frisch installiert vorgestern, jungfräulich, keine Hacks, nix komisches drin.
CMSMS-Fehlerseite ist auch aktiv, hatte ich eingerichtet nachdem mir das Problem aufgefallen war -> keine Änderung.

Wg. der Weiterleitung, schön dass ich da was anregen konnte, soweit hatte ich gar nich gedacht.
Wg. den Spambots hatte ich nicht bedacht, dass das zur Laufzeit kommt. Bliebe allerdings noch die Lösung Toolbox beizubringen in der .htaccess rumzuschreiben, aber das is glaube etwas overkill und glaube auch nicht ganz fehlertolerant.
(if 404 domain.tld/joomla/exploit.php... == .htaccess -> deny IP)

Anzeige der IP, schön dass das kommt, ist aber auch nicht ganz trivial, wie man das dann layouterisch ausgibt. (Sortierung nach IP oder nach falscher Seite/Datei, oder Beides oder was einem da noch dazu einfällt...)

Edit: Grad noch einen winzigen "Bug" gefunden: wenn das 404-Log leer ist, habe ich einen Button "alle löschen". Könnte noch eine Abfrage rein smile

Beitrag geändert von mike-r (11. Februar 2012 23:08)

nockenfell · 05. März 2012 17:46

Ich habe gerade die Version 1.1.0 von ToolBox veröffentlicht.
http://dev.cmsmadesimple.org/project/files/1075

Hier das Changelog:

- Smarty Plugin $tbtools hinzugefügt. Damit stehen diverse Content Funktionen zur Verfügung
- Diverse Plugin hinzugefügt
- Plugins zur Erweiterung von AdvancedContent
- Plugin SocialSharePrivacy hinzugefügt
- tail Log Funktionalität
- Modulhilfe umfangreich erweitert
- ToolBox Aufruf direkt über {ToolBox}

Forum für CMS/made simple

#1 05. Dezember 2011 11:14