Alleen voor degenen zoals ik, die googlen en een oplossing proberen te vinden voor laravel 5.4 . U kunt -> . gebruiken operator om JSON uit te pakken, dat is gelijk aan json_extract functie of naar column->"$.key" syntaxis.
$users->orderBy('column->key', 'desc');
Het lijkt erop dat het eind 2013 erg nuttig zou zijn (glimlach).