Ik denk dat aus_lacy er een beetje naast zit in zijn oplossing - eerst moet je de QuerySet converteren naar een string die de SQL bevat die de QuerySet ondersteunt
from django.db import connection
query = str(ModelToRetrive.objects.all().query)
df = pandas.read_sql_query(query, connection)
Er is ook een minder geheugenefficiënte maar nog steeds geldige oplossing:
df = DataFrame(list(ModelToRetrive.objects.values('id','some_attribute_1','some_attribute_2')))