Ik had hetzelfde probleem bij het installeren van mysql2-0.3.21 op Mac Pro.
Onderstaande oplossing werkte voor mij (voer de onderstaande 3 commando's uit in de terminal die naar je projectmap verwijst):
brew install mysql
gem install mysql2 -v '0.3.21' -- --srcdir=/usr/local/mysql/include
bundle install