Als je deze fout opnieuw tegenkomt na het upgraden naar 12.04 (of voor mensen die hier aankomen na het googelen van de titel van deze pagina na het upgraden naar 12.04), werkte het volgende voor mij:
gem uninstall mysql2
gem install mysql2
Dit zal de edelsteen opnieuw compileren met libmysqlclient18, en dat werkte voor mij.
Ik hoop dat dat iemand helpt.