Recent
- Nieuwe vriezer
- Gratis postcode tabel
- Don't do drugs kids
- JSON lines file handler (in PHP)
- Vrij ingewikkelde
hotelwisselschakeling - Base-N encoding en decoding (in PHP)
- Afstandsbediening
- Flowmeter fun
- Hier heeft iemand ook nog nooit van een URL-shortner gehoord
- We want more
- Jaaroverzicht
- Mijn uurtje zonder internet
- Glasvezel Q&A
- WiFi dieet
- Jaarafrekening 2020
Archief
2023
2022
2021
2020
2019
2018
2017
2016
2015
2014
2013
2012
2011
2010
2009
2008
2007
2006
2005
2004
Navigatie
JSON lines file handler (in PHP)
Werktechnisch zit ik met bakken data (denk terabyte) te kijken die we bijna nooit nodig hebben - alleen om bij "problemen" dingen uit te zoeken. Daarnaast is het ook nog niet in een vast formaat (geen vaste veldindeling). Teveel en te onhandig dus om een database mee lastig te vallen, maar alles zomaar in een file dumpen maakt het gestructureerd doorzoeken er ook niet handiger op. Enter JSON lines: een text based format met op elke regel een JSON object. Een beetje een soort CSV zonder vaste kolomindeling. En daar moet je dan wat mee:
<?php
namespace Rsi\Object;
/**
* Manipulate a JSON lines file.
*/
class JsonLinesFile{
public $delimiter = "\n"; //!< Line delimiter.
public $assoc = true; //!< Return data as assoc.array.
protected $_filename = null;
public function __construct($filename){
$this->_filename = $filename;
}
/**
* Append data to the file.
* @param mixed $data
* @return bool True on success.
*/
public function append($data){
return file_put_contents($this->_filename,json_encode($data) . $this->delimiter,LOCK_EX | FILE_APPEND) !== false;
}
/**
* Clear (empty) the file.
* @return bool True on success.
*/
public function clear(){
return file_put_contents($this->_filename,null) !== false;
}
/**
* Walk through all lines in the file.
* @param callable $callback Function to call for each line. The line is in the first parameter, and the index in the file
* (base-0) in the second.
*/
protected function lines($callback){
if(is_file($this->_filename)){
$f = fopen($this->_filename,'r');
$index = 0;
while(!feof($f)) if(strlen($line = fgets($f)) && (call_user_func($callback,$line,$index++) === false)) break;
fclose($f);
}
}
/**
* Number of records in the file.
* @return int
*/
public function count(){
$count = 0;
$this->lines(function() use (&$count){
$count++;
});
return $count;
}
/**
* Decode a line.
* @param string $line Encoded JSON line.
* @return mixed Decoded data.
*/
protected function decode($line){
if((($data = json_decode($line,$this->assoc)) === null) && (json_last_error() != JSON_ERROR_NONE))
throw new \Exception(json_last_error_msg());
return $data;
}
/**
* Walk through all records in the file.
* @param callable $callback Function to call for each record. The data is in the first parameter, and the index in the file
* (base-0) in the second. Return false to break.
*/
public function each($callback){
$this->lines(function($line,$index) use ($callback){
return call_user_func($callback,$this->decode($line),$index);
});
}
/**
* Retrieve a slice of the records in the file.
* @param $offset int Record to start from.
* @param $length int Number of records to return (when available).
* @return array The selected records (key = index, value = data).
*/
public function slice($offset,$length){
$length += $offset;
$result = [];
$this->lines(function($line,$index) use ($offset,$length,&$result){
if($index >= $offset){
if($index < $length) $result[$index] = $this->decode($line);
else return false; //break
}
});
return $result;
}
/**
* Filter the records in the file.
* @param callable $callback If this function returns true, the record is preserved. The data is in the first parameter, and
* the index in the file (base-0) in the second.
* @return bool True on success.
*/
public function filter($callback){
$f = fopen($temp = $this->_filename . '-' . bin2hex(random_bytes(16)),'w');
try{
$this->lines(function($line,$index) use ($callback,$f){
if(call_user_func($callback,$this->decode($line),$index)) fputs($f,$line);
});
fclose($f);
return rename($temp,$this->_filename);
}
catch(\Exception $e){
unlink($temp);
throw $e;
}
}
/**
* Edit the records in the file.
* @param callable $callback Function that returns the modified record. The original data is in the first parameter, and the
* index in the file (base-0) in the second. Return false to remove the record, or true to keep the original record.
* @return bool True on success.
*/
public function edit($callback){
$f = fopen($temp = $this->_filename . '-' . bin2hex(random_bytes(16)),'w');
try{
$this->lines(function($line,$index) use ($callback,$f){
if(($data = call_user_func($callback,$this->decode($line),$index)) !== false)
fputs($f,$data === true ? $line : json_encode($data) . $this->delimiter);
});
fclose($f);
return rename($temp,$this->_filename);
}
catch(\Exception $e){
unlink($temp);
throw $e;
}
}
}
Rob, zaterdag 27 april 2024, 22:18
Laatste reacties
- npo1: npo1 (Uitzending gemist gids)
- Hank 2.0: Hoi daniël, doet jasper het goed op school? is hij een leuke vriend? groetjes het zusje ... (Verjaardag)
- Hank: Ik ken Jasper van school ik zit bij hem in de klas (Verjaardag)
- Reinier: hallo kan je meer info geven over je project? ik wil ook mijn bel afvangen maar weet niet hoe? ... (Internet of Deurbel)
- Dennis: Ha die Rob, Niks veranderd zie ik. Hoogstens nog een tandje of honderd erbij! Groet uit ... (cURL wrapper)
- Rob: Dag Richard, Beetje late reactie, maar ... die NEN-normen heb ik toentertijd bij een ... (Copyright)
- richard: Beste Rob, Bedankt voor het openbaar stellen van de constructieberekeningen van je ... (Copyright)
- Saskia van Vollenhoven : Hallo Rob, Zie nu pas jouw leuke stukje geschreven over onze gele vierkante klamboe, erg leuk ... (Boe)
- Rob: Oeps ... er kan weer gereaguurd worden ... (Testing 12)
- Rob: Dag Koen. Ja, gewoon pollen. De server staat hier toch al de hele dag aan, dus daar kan nog wel ... (Plugwise review)
- Koen Zomers: Leuke review. Ik heb zelf ook het e.e.a. aan software rondom de Plugwise Circles geschreven. Ik ... (Plugwise review)
- Marloes: Nou de volgende stap nog ... (We've got him (2))
- J.'tje: Ik zeg niets, wordt mij straks ook een oor aangenaaid.
(Wat zou je doen?) - ronny: ik vind de marine blowe team de beste
(Klus-neger) - david: ik vind de nieuwe serie echt prutswerk kijk er geen eens na heeft niks met knight rider te ... (K.I.T.T. met peren)
