pycharm获取yelp相关数据(二)

pycharm获取yelp相关数据(二)

# 1-9 统计不同类型（中国菜、美式、墨西哥）的餐厅类型及数量

df9 = df.select(explode(split(df.categories, ', ')).alias('category')) .where((col('category')=='Chinese') | (col('category').like('American%')) | (col('category')=='Mexican')) .groupBy(col('category')) .agg(count(col('category')).alias('count')) .show()

# 1-10 统计不同类型（中国菜、美式、墨西哥）的餐厅的评论数量

df10_1 = df .select(col('name'),col('categories'),col('review_count')) .where("categories like '%Chinese%'") .agg(sum("review_count")) .withColumnRenamed("sum(review_count)","sum_Chinese") .show()df10_2 = df .select(col('name'),col('categories'),col('review_count')) .where("categories like '%Mexican%'") .agg(sum("review_count")) .withColumnRenamed("sum(review_count)", "sum_Mexican") .show()df10_3 = df .select(col('name'),col('categories'),col('review_count')) .where("categories like '%American%'") .agg(sum("review_count")) .withColumnRenamed("sum(review_count)", "sum_American") .show()

# 1-11 统计不同类型（中国菜、美式、墨西哥）的餐厅的评分分布
# 建立三张表，分别有1—5分的评分对应数量

# 中国菜
df11_1 = df .select(col('categories'),col("stars")) .where("categories like '%Chinese%'") .groupBy("stars") .agg(count("stars")) .withColumnRenamed("stars","stars_Chinese") .orderBy(col('stars_Chinese').desc()) .show()# 墨西哥
df11_2 = df .select(col('categories'),col("stars")) .where("categories like '%Mexican%'") .groupBy("stars") .agg(count("stars")) .withColumnRenamed("stars","stars_Mexican") .orderBy(col('stars_Mexican').desc()) .show()# 美式
df11_3 = df .select(col('categories'),col("stars")) .where("categories like '%American%'") .groupBy("stars") .agg(count("stars")) .withColumnRenamed("stars","stars_American") .orderBy(col('stars_American').desc()) .show()

# 文章中出现的df，请查看第一章节即可知晓。

"""
        如果通过上述文章未能解决你的问题，请联系QQ：1491284097，请注明来意，将协助你解决问题。
"""