linux-master/mm/page_alloc.c

1539 							unsigned int alloc_flags)
1552 	if (alloc_flags & ALLOC_NO_WATERMARKS)
1766 		unsigned int alloc_flags, int start_type, bool whole_block)
1792 	if (boost_watermark(zone) && (alloc_flags & ALLOC_KSWAPD))
2007 						unsigned int alloc_flags)
2021 	if (order < pageblock_order && alloc_flags & ALLOC_NOFRAGMENT)
2072 	steal_suitable_fallback(zone, page, alloc_flags, start_migratetype,
2088 						unsigned int alloc_flags)
2098 		if (alloc_flags & ALLOC_CMA &&
2109 		if (alloc_flags & ALLOC_CMA)
2113 								alloc_flags))
2126 			int migratetype, unsigned int alloc_flags)
2134 								alloc_flags);
2722 			   unsigned int order, unsigned int alloc_flags,
2731 		if (alloc_flags & ALLOC_HIGHATOMIC)
2734 			page = __rmqueue(zone, order, migratetype, alloc_flags);
2742 			if (!page && (alloc_flags & ALLOC_OOM))
2815 			unsigned int alloc_flags,
2828 					migratetype, alloc_flags);
2846 			int migratetype, unsigned int alloc_flags)
2868 	page = __rmqueue_pcplist(zone, order, migratetype, alloc_flags, pcp, list);
2893 			gfp_t gfp_flags, unsigned int alloc_flags,
2906 				       migratetype, alloc_flags);
2911 	page = rmqueue_buddy(preferred_zone, zone, order, alloc_flags,
2916 	if ((alloc_flags & ALLOC_KSWAPD) &&
2933 				unsigned int order, unsigned int alloc_flags)
2942 	if (likely(!(alloc_flags & ALLOC_RESERVES)))
2947 	if (!(alloc_flags & ALLOC_CMA))
2964 			 int highest_zoneidx, unsigned int alloc_flags,
2971 	free_pages -= __zone_watermark_unusable_free(z, order, alloc_flags);
2973 	if (unlikely(alloc_flags & ALLOC_RESERVES)) {
2978 		if (alloc_flags & ALLOC_MIN_RESERVE) {
2988 			if (alloc_flags & ALLOC_NON_BLOCK)
2998 		if (alloc_flags & ALLOC_OOM)
3028 		if ((alloc_flags & ALLOC_CMA) &&
3033 		if ((alloc_flags & (ALLOC_HIGHATOMIC|ALLOC_OOM)) &&
3042 		      int highest_zoneidx, unsigned int alloc_flags)
3044 	return __zone_watermark_ok(z, order, mark, highest_zoneidx, alloc_flags,
3050 				unsigned int alloc_flags, gfp_t gfp_mask)
3065 		reserved = __zone_watermark_unusable_free(z, 0, alloc_flags);
3073 	if (__zone_watermark_ok(z, order, mark, highest_zoneidx, alloc_flags,
3083 	if (unlikely(!order && (alloc_flags & ALLOC_MIN_RESERVE) && z->watermark_boost
3084 		&& ((alloc_flags & ALLOC_WMARK_MASK) == WMARK_MIN))) {
3087 					alloc_flags, free_pages);
3131 	unsigned int alloc_flags;
3137 	alloc_flags = (__force int) (gfp_mask & __GFP_KSWAPD_RECLAIM);
3141 		return alloc_flags;
3144 		return alloc_flags;
3153 		return alloc_flags;
3155 	alloc_flags |= ALLOC_NOFRAGMENT;
3157 	return alloc_flags;
3162 						  unsigned int alloc_flags)
3166 		alloc_flags |= ALLOC_CMA;
3168 	return alloc_flags;
3176 get_page_from_freelist(gfp_t gfp_mask, unsigned int order, int alloc_flags,
3190 	no_fallback = alloc_flags & ALLOC_NOFRAGMENT;
3198 			(alloc_flags & ALLOC_CPUSET) &&
3241 				alloc_flags &= ~ALLOC_NOFRAGMENT;
3258 					ac->highest_zoneidx, alloc_flags,
3265 		mark = wmark_pages(zone, alloc_flags & ALLOC_WMARK_MASK);
3267 				       ac->highest_zoneidx, alloc_flags,
3288 			if (alloc_flags & ALLOC_NO_WATERMARKS)
3306 					ac->highest_zoneidx, alloc_flags))
3315 				gfp_mask, alloc_flags, ac->migratetype);
3317 			prep_new_page(page, order, gfp_mask, alloc_flags);
3323 			if (unlikely(alloc_flags & ALLOC_HIGHATOMIC))
3348 		alloc_flags &= ~ALLOC_NOFRAGMENT;
3401 			      unsigned int alloc_flags,
3407 			alloc_flags|ALLOC_CPUSET, ac);
3414 				alloc_flags, ac);
3516 		unsigned int alloc_flags, const struct alloc_context *ac,
3530 	*compact_result = try_to_compact_pages(gfp_mask, order, alloc_flags, ac,
3547 		prep_new_page(page, order, gfp_mask, alloc_flags);
3551 		page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
3574 should_compact_retry(struct alloc_context *ac, int order, int alloc_flags,
3596 		ret = compaction_zonelist_suitable(ac, order, alloc_flags);
3641 		unsigned int alloc_flags, const struct alloc_context *ac,
3649 should_compact_retry(struct alloc_context *ac, unsigned int order, int alloc_flags,
3669 					ac->highest_zoneidx, alloc_flags))
3788 		unsigned int alloc_flags, const struct alloc_context *ac,
3801 	page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
3842 	unsigned int alloc_flags = ALLOC_WMARK_MIN | ALLOC_CPUSET;
3858 	alloc_flags |= (__force int)
3867 			alloc_flags |= ALLOC_NON_BLOCK;
3870 				alloc_flags |= ALLOC_HIGHATOMIC;
3878 		if (alloc_flags & ALLOC_MIN_RESERVE)
3879 			alloc_flags &= ~ALLOC_CPUSET;
3881 		alloc_flags |= ALLOC_MIN_RESERVE;
3883 	alloc_flags = gfp_to_alloc_flags_cma(gfp_mask, alloc_flags);
3885 	return alloc_flags;
3942 		     struct alloc_context *ac, int alloc_flags,
3984 				ac->highest_zoneidx, alloc_flags, available);
4053 	unsigned int alloc_flags;
4071 	 * The fast path uses conservative alloc_flags to succeed only until
4073 	 * alloc_flags precisely. So we do that now.
4075 	alloc_flags = gfp_to_alloc_flags(gfp_mask, order);
4101 	if (alloc_flags & ALLOC_KSWAPD)
4105 	 * The adjusted alloc_flags might result in immediate success, so try
4108 	page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
4126 						alloc_flags, ac,
4169 	if (alloc_flags & ALLOC_KSWAPD)
4174 		alloc_flags = gfp_to_alloc_flags_cma(gfp_mask, reserve_flags) |
4175 					  (alloc_flags & ALLOC_KSWAPD);
4182 	if (!(alloc_flags & ALLOC_CPUSET) || reserve_flags) {
4188 	/* Attempt with potentially adjusted zonelist and alloc_flags */
4189 	page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);
4202 	page = __alloc_pages_direct_reclaim(gfp_mask, order, alloc_flags, ac,
4208 	page = __alloc_pages_direct_compact(gfp_mask, order, alloc_flags, ac,
4225 	if (should_reclaim_retry(gfp_mask, order, ac, alloc_flags,
4236 			should_compact_retry(ac, order, alloc_flags,
4257 	    (alloc_flags & ALLOC_OOM ||
4327 		unsigned int *alloc_flags)
4343 			*alloc_flags |= ALLOC_CPUSET;
4351 	*alloc_flags = gfp_to_alloc_flags_cma(gfp_mask, *alloc_flags);
4400 	unsigned int alloc_flags = ALLOC_WMARK_LOW;
4441 	if (!prepare_alloc_pages(gfp, 0, preferred_nid, nodemask, &ac, &alloc_gfp, &alloc_flags))
4449 		if (cpusets_enabled() && (alloc_flags & ALLOC_CPUSET) &&
4459 		mark = wmark_pages(zone, alloc_flags & ALLOC_WMARK_MASK) + nr_pages;
4462 				alloc_flags, gfp)) {
4490 		page = __rmqueue_pcplist(zone, 0, ac.migratetype, alloc_flags,
4543 	unsigned int alloc_flags = ALLOC_WMARK_LOW;
4565 			&alloc_gfp, &alloc_flags))
4572 	alloc_flags |= alloc_flags_nofragment(ac.preferred_zoneref->zone, gfp);
4575 	page = get_page_from_freelist(alloc_gfp, order, alloc_flags, &ac);