Forum

Guest  

Welcome Guest, posting in this forum requires registration.
Pages: [1] 2
Topic: Aangepaste feed zorgt voor enorm grote database
Fritsje
Member
Posts: 158
Aangepaste feed zorgt voor enorm grote database
on: July 11, 2014, 08:17

Hallo daar,


Sinds enige maanden (8+) heb ik bij één van de Tradetracker feed last van het verkeerd weergeven van bepaalde karakters.

Karakters zoals é, ë en Ø worden als è of à weergegeven (feed wordt met standaardinstellingen aangemaakt: XML, UTF-8).


Als ik de feed aanmaak en download als bestand en dan open in een editor dan zijn deze tekens ook zoals boven weergegeven, de feed bevat dus de fouten.


Nu heb ik hierover geklaagd bij Tradetracker, en warempel: na 8 maanden is er een nieuw feed aangemaakt, deze heeft als toevoeging “XML” gekregen waar de originele feed nu “CSV” als toevoeging heeft.

De nieuwe feed (XML) bevat niet de genoemde fouten: alle symbolen staan netjes correct in de feed en worden door TTstore ook zo weergegeven op mijn website (ik maak de feed weer aan met standaard instellingen: XML, UTF-8).


Fantastisch!


Echter: het bewerken van de nieuwe feed is een ramp, het laden bij Item selectie duurt minuten en er worden altijd 0 items gevonden volgens het scherm (maar wel worden ze allemaal weergegeven). Ik kan stores wel editen maar er worden geen feed-namen weergegeven die ik kan selecteren, etc.

Tevens heb ik van mijn webhoster een melding gekregen dat ik mijn opslagcapaciteit ver heb overschreven, daar waar ik normaal zo rond de 40% capaciteit zit.


Dit is dus gekomen nadat ik de nieuwe feed heb ingeladen.


Ik heb beide feeds gedownload:


De oude feed (die nu CSV heet) heeft een omvang van 35.4MB, de nieuwe feed heeft een omvang van 36.9MB. Geen noemenswaardig verschil dus.


Mijn vragen:


Hoe kan het dat de nieuwe feed mijn database zo opvult?

Wat kan ik doen om toch de correcte karakters in de feed te hebben en toch een normaal werkende TTstore?

Moet ik iets met het uitvoertype doen bij Tradetracker (JSON, RSS?)

Of de karakterset wijzigen (UTF-16? US-ASCII? ISO-8859-1?)


Het leven van een affiliate-marketeer….


Alvast bedankt voor de hulp.
RPG
Administrator
Posts: 326
Re: Aangepaste feed zorgt voor enorm grote database
on: July 11, 2014, 11:38

Hoi,


Heb je een linkje van de feed voor mij dan kan ik zien wat er precies mee gebeurt. En kwa overschrijving van data is dat op de harde schijf of in de database of in dataverkeer? Als het dataverkeer is kan het de volgende oorzaken hebben:


De plugin maakt split files aan om de bestanden makkelijker te importeren. Als je de import vaker achter elkaar doet maakt hij elke keer de bestanden op nieuw aan waardoor dat snel op kan lopen kwa gebruik.


Na de import van de feed worden de split files weggegooid en blijft alleen de cache.xml staan. Dus normaliter kan het geen impact op je harde schijf ruimte hebben.


Als het op de database is kan het mogelijk zo zijn dat ze veel extra velden mee leveren wat voor issues kan zorgen. Maar daarvoor heb ik de feed nodig om dat beter te kunnen beoordelen.


Robert
Fritsje
Member
Posts: 158
Re: Aangepaste feed zorgt voor enorm grote database
on: July 11, 2014, 14:31

Hoi Robert,


Zoals altijd: snel met een reactie, waarvoor dank.


Het iverschijven van data is de harde schijf, die plotseling 3,5gb bevat, niet het dataverkeer dus.


Links naar de feeds:

"CSV" originele feed, met foute karakters: http://pf.tradetracker.net/?aid=158652&encoding=utf-8&type=xml-v2&fid=251447&r=CSVfeed&categoryType=2&additionalType=2


"XML" feed, nieuwe feed zonder karakter-problemen, veroorzaakt enorme toename van opgeslagen data bij hoster: http://pf.tradetracker.net/?aid=158652&encoding=utf-8&type=xml-v2&fid=584064&r=XMLfeed&categoryType=2&additionalType=2


Bij voorbaat dank voor je hulp!
RPG
Administrator
Posts: 326
Re: Aangepaste feed zorgt voor enorm grote database
on: July 11, 2014, 23:14

Wow 3.5gb is wel heel groot. Konden ze ook aangeven in welk bestand dat het geval was?


Ik heb de nieuwe feed getest. Als ik alles inclusief the extra velden importeer neemt het 178.2 MiB inbeslag in de sql database. Er zijn namelijk 306,814 extra velden.
Fritsje
Member
Posts: 158
Re: Aangepaste feed zorgt voor enorm grote database
on: July 14, 2014, 14:21

Ik heb de 'oude' feed er snel weer ingezet omdat ik niet alleen problemen kreeg met hosting maar de feeds waren ook zeeeeer traag met laden in de itemselectie en de feeds werden niet meer weergegeven in de shop zelf als ik die aan wilde passen.


Ik kan niet meer zien welk bestand er zo groot werd.


De oude feed met verkeerde karakters is nu weer geladen maar de problemen met de traagheid blijft.

De enorme hoeveelheid data is weg (geen problemen meer met de hosting) maar nog steeds zie ik als ik item selectie van een shop doe:


0 van 0 items

(shop is leeg)


Het openen van item selectie duurt bij elke shop ongeveer 1-2 minuten.


Als ik dan zoek op een items dan worden ze wel weergegeven na 1-2 minuten, er blijft boven staan (onder de zoekbox):"0 van 0 items".


Niet alle feeds lijken geladen te worden, ook al geeft de import geen foutmelding.


Dus zowel item selectie als het bewerken van een shop duurt echt een aantal minuten per keer, ook het sorteren op prijs duurt 1-2 minuten.


Ik vermoed dat er ergens iets niet goed zit in de database. Dit zijn de bestanden in /wp-content/plugins/tradetracker-store/:


/Cache (4 files, in totaal 86MB)

/images

/import (3 files + 1 folder 22MB)

/js

/menu

/splits (2644 files + 1 folder 458MB)

/tinymce

/translation

/widget

en nog een aantal kleine bestanden


Is er een mogelijkheid om de hele bool leeg te gooien (database) en opnieuw in te laden? Want ik kan niet goed items selecteren zo, er is echt iets mis…
RPG
Administrator
Posts: 326
Re: Aangepaste feed zorgt voor enorm grote database
on: July 14, 2014, 14:29

Hoi,


wp_tradetracker_extra, wp_tradetracker_cat en wp_tradetracker_store bevat alle informatie van de feeds. Bij elke update worden die leeg gegooid en daarna opnieuw gevuld.


Ik zie dat er ook nog splitfiles staan op je server. Ik gok dat de import dus nooit volledig draait van die feed. Als hij volledig gedraaid heeft gooit hij alle split files namelijk weg. Mogelijk dat je in je apache error log (of in je wordpress debug.log) kan zien waar de import op vast liep.


Je kan daar ook vaak ook zien waarom hij geen items toont.


Mocht je wordpress debug niet aan hebben staan kan je dat aanzetten


Dat doe je door je wp-config bestand aan te passen en dan


define('WP_DEBUG', false);

te vervangen voor:

define('WP_DEBUG', true);

define('WP_DEBUG_LOG', true);

define('WP_DEBUG_DISPLAY', false);

@ini_set('display_errors',0);


Nu zal hij een debug.log aanmaken in je wp-content map nadat wordpress een foutmelding geeft.
Fritsje
Member
Posts: 158
Re: Aangepaste feed zorgt voor enorm grote database
on: July 16, 2014, 09:36

Ik heb debugging angezet.


De import van feeds geeft geen foutmelding, in het TT-plugin scherm.


De log geeft meteen dit:


[16-Jul-2014 08:19:39 UTC] PHP Notice: Trying to get property of non-object in /public_html/wp-content/plugins/tradetracker-store/cache/xxxx.php on line 325


[16-Jul-2014 08:19:40 UTC] PHP Notice: Trying to get property of non-object in /public_html/wp-content/plugins/tradetracker-store/cache/xxxx.php on line 346


[16-Jul-2014 08:19:40 UTC] PHP Notice: Undefined variable: widthtitle in /public_html/wp-content/plugins/tradetracker-store/cache/xxxx.php on line 390


[16-Jul-2014 08:19:40 UTC] PHP Notice: Undefined variable: colorbutton in /public_html/wp-content/plugins/tradetracker-store/cache/xxxx.php on line 408


[16-Jul-2014 08:19:40 UTC] PHP Notice: Undefined variable: categorieid in /public_html/wp-content/plugins/tradetracker-store/cache/xxxx.php on line 533


[16-Jul-2014 08:19:40 UTC] PHP Notice: Undefined variable: xmlfeedid in /public_html/wp-content/plugins/tradetracker-store/cache/xxxx.php on line 582


[16-Jul-2014 08:19:40 UTC] PHP Notice: Undefined index: in /public_html/wp-content/plugins/tradetracker-store/cache/xxxx.php on line 582


[16-Jul-2014 08:19:40 UTC] PHP Notice: Use of undefined constant cf – assumed 'cf' in /public_html/wp-content/plugins/embedit-pro/embed-it-pro.php on line 95


[16-Jul-2014 08:19:40 UTC] PHP Notice: Use of undefined constant snippet – assumed 'snippet' in /public_html/wp-content/plugins/embedit-pro/embed-it-pro.php on line 103


[16-Jul-2014 08:19:40 UTC] PHP Notice: Use of undefined constant snippet – assumed 'snippet' in /public_html/wp-content/plugins/embedit-pro/embed-it-pro.php on line 105


[16-Jul-2014 08:19:40 UTC] PHP Notice: Undefined index: href in /public_html/wp-content/plugins/wp-external-links/includes/class-wp-external-links.php on line 335


(Ik heb mijn website URL eruit gefilterd).


Ik lees graag wat ik kan doen om eea op te lossen…
RPG
Administrator
Posts: 326
Re: Aangepaste feed zorgt voor enorm grote database
on: July 17, 2014, 11:27

Hoi,


Heb je ook fatal errors in de log staan? Notices zijn vaak variablen die niet bestaan. Ik heb paar aanpassingen in de productpage addon gedaan zodat die niet meer naar voren zouden moeten komen.


Robert
Fritsje
Member
Posts: 158
Re: Aangepaste feed zorgt voor enorm grote database
on: July 18, 2014, 06:43

Ja nu wel:


PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 532015 bytes) in /public_html/wp-includes/wp-db.php on line 1033


Die komt regelmatig terug. Dat verklaart het een en ander denk ik?
Robert R
Member
Posts: 2
Re: Aangepaste feed zorgt voor enorm grote database
on: July 18, 2014, 22:49

Hoi, volgens mij ligt het aan Tradetracker. Als ik bij Tradetracker in de productbrowser op Lanterna (camping Istrie) zoek, dan krijg ik ongeveer 80 resultaten, als ik vervolgens klik op "Genereer productfeed op basis van huidige selectie" en daarna weer op "Genereer" krijg ik: Geschatte aantal producten:156.600. Nogal veel, toch?
Pages: [1] 2
WP Forum Server by ForumPress | LucidCrew
Version: 4 ; Page loaded in: 0.051 seconds.